How to Build a Personal AI Web Research Agent with Ollama and Qwen

ollama pull qwen3.5:4b

python3 -m venv venv
source venv/bin/activate
pip install ollama requests beautifulsoup4

import os
import json
import requests
import ollama
from bs4 import BeautifulSoup
from datetime import datetime
from pathlib import Path

API_KEY = os.getenv("OLLAMA_API_KEY")
SEARCH_URL = "https://ollama.com/api/web_search"
MODEL = "qwen3.5:4b"

# 使用 Ollama 网络搜索功能进行搜索
def search_web(query):
    response = requests.post(
        SEARCH_URL,
        headers={"Authorization": f"Bearer {API_KEY}"},
        json={"query": query, "max_results": 5},
        timeout=30,
    )
    response.raise_for_status()
    return response.json().get("results", [])

# 获取完整网页内容
def fetch_text(url):
    try:
        response = requests.get(url, timeout=10)
        response.raise_for_status()
    except requests.RequestException as e:
        return ""
    soup = BeautifulSoup(response.text, "html.parser")
    for tag in soup(["script", "style", "nav", "footer"]):
        tag.decompose()
    return soup.get_text(separator="\n", strip=True)

def main():
    user_prompt = input("Enter your prompt: ").strip()
    if not user_prompt:
        print("Prompt cannot be empty.")
        return

    results = search_web(user_prompt)

    # 对网络搜索结果中的每个 URL 获取完整内容
    pages = []
    for item in results:
        url = item.get("url")
        if not url:
            continue

        print(f"Fetching: {url}")
        page_text = fetch_text(url)

        pages.append({
            "title": item.get("title", ""),
            "url": url,
            "snippet": item.get("content", ""),
            "page_text": page_text,
        })

    # 将网络数据和用户请求发送给 Qwen 模型的提示
    prompt = f"""
    用户请求：
    {user_prompt}

    使用这些网络结果和页面内容以 Markdown 格式进行回答。

    数据：
    {json.dumps(pages, ensure_ascii=False)}
    """

    # 调用本地 Qwen 模型
    response = ollama.chat(
        model=MODEL,
        messages=[{"role": "user", "content": prompt}],
    )

    digest = response.message.content

    # 使用今天的日期和时间构建唯一文件名
    timestamp = datetime.now().strftime("%Y-%m-%d_%H-%M-%S")
    filename = f"digest-{timestamp}.md"

    # 将摘要保存到磁盘
    with open(filename, "w") as f:
        f.write(digest)
    
    print(f"Saved to digest")

if __name__ == "__main__":
    main()

python research_agent.py

输入你的提示：LLMs 有什么新进展
正在获取：https://openai.com/nl-NL/index/chatgpt-memory-dreaming/
正在获取：https://pub.towardsai.net/tai-210-glm-5-2-closes-most-of-the-open-weight-gap-in-ten-weeks-2f970c5f1326
正在获取：https://www.globenewswire.com/news-release/2026/06/23/3315999/0/en/Multiverse-Computing-Launches-Pulsar-16B-in-collaboration-with-NVIDIA-Frontier-Grade-Reasoning-at-Half-the-Parameters.html
正在获取：https://thenextweb.com/news/anthropic-claude-tag-slack-always-on-ai-teammate
正在获取：https://www.aidoers.io/blog/claude-mythos-5-and-fable-5-explained-what-anthropic-actually-shipped

已保存至摘要

# LLMs 的最新进展（2026 年 6 月）

2026 年 6 月，大型语言模型（LLMs）的格局迅速演变，出现了记忆合成、新的前沿模型、企业集成以及市场动态方面的重大更新。

## 1. 记忆与个性化：OpenAI 的“Dreaming”更新

OpenAI 为 ChatGPT 部署了一种新的记忆架构，称为 **Dreaming V3**。
*   **目的：** 改进记忆合成，以优化新鲜度、连贯性和相关性。
*   **演进：**
    *   **2024 年：** “Saved memories”（基于手动指令）。
    *   **2025 年：** “Dreaming V0”（在聊天历史中整理记忆的后台进程）。
    *   **2026 年：** **Dreaming V3**（功能显著增强且计算效率更高的架构）。
*   **影响：** 现在用户可以通过摘要页面查看记忆，并更新信息，设置需要提及的主题的指令。
*   **可用性：** 今天已向美国的 ChatGPT Plus 和 Pro 用户推出，未来几周将扩展到更多国家以及 Free/Go 用户。
*   **功能：** 模型现在可以记住特定用户的设置（例如摄影器材偏好）和约束（例如素食饮食、酒店空调偏好），而无需显式的“记住”提示。

## 2. 新的前沿模型与基准

### Claude Fable 5 & Mythos 5（Anthropic）
*   **分类：** 属于 Mythos 级别，其原始能力高于 Opus。
*   **差异化：** **Fable 5** 向公众开放。**Mythos 5** 是移除了网络安全保护措施的相同模型，仅限于 **Project Glasswing** 合作伙伴使用。
*   **定价：** 每百万输入令牌 $10 / 每百万输出令牌 $50。
*   **可用性：** 在 Pro、Max、Team 和企业计划中免费提供，直到 6 月 22 日。
*   **功能：** 在 **知识工作**、**智能编码**、**视觉**、**法律推理** 和 **生物学** 方面有显著提升。

## 结论

在本教程中，你学习了如何构建一个个人AI网络研究代理，该代理可以搜索网络，使用本地LLM总结结果，并保存Markdown摘要。所有这些都可以在你自己的机器上运行，数据不会离开你的笔记本电脑。你可以完全控制模型和提示，而无需任何API成本。

从这里开始，你可以尝试新的提示来研究不同的主题，调整系统提示以更改输出，替换其他本地模型（如Qwen 3.6或Mistral），或者扩展脚本以适应你自己的工作流程。祝你愉快地探索！

如果你喜欢这个教程，你可以在我的博客上找到更多我的文章（最近的帖子包括系统设计论文系列），在我的个人网站上查看我的作品，以及在LinkedIn上获取更新。

https://darshshah.org/