1. 项目概述:一个能自动生成AI周报的智能体

如果你和我一样,每天被海量的AI资讯淹没,从OpenAI的官方博客、arXiv上的新论文,到GitHub上冒出来的各种新奇项目,再到各路科技媒体的分析解读,信息源多到看不过来,但真正有价值、能形成体系认知的内容却少之又少。这个痛点催生了“AI Weekly Insights Agent”这个开源项目。

简单来说,它是一个全自动的AI资讯聚合与报告生成智能体。它的核心任务非常明确:每周自动抓取、筛选、解读过去7天里最重要的AI领域动态,然后生成一份结构清晰、内容可追溯、可直接阅读或分发的Markdown格式周报。它不是一个试图囊括一切的重型新闻平台,而是一个追求“稳定输出”的自动化工具。你可以把它看作一个不知疲倦的、拥有极强信息筛选和总结能力的个人AI研究助理。

这个项目最初设计是为了解决三个非常实际的问题:

  1. 信息碎片化 :官方公告、行业新闻、论文、开源更新散落在数十个不同的平台和网站,手动追踪耗时耗力。
  2. 信息噪音大 :重复内容多,有效信息密度低,保持持续的追踪和判断一致性非常困难。
  3. 输出不稳定 :很多工具能抓取数据,但能持续产出结构良好、可读性强的周期性报告(尤其是周报)的却凤毛麟角。

因此,这个项目的设计哲学是“轻量、聚焦、可靠”。它不追求功能的庞杂,而是确保每个周末,你都能收到一份质量稳定的“AI周度简报”。目前,它已经整合了官方公告、行业媒体、开源项目、学术论文以及OpenClaw技能排行榜等多个维度的信息源。

2. 核心功能与设计思路拆解

2.1 功能全景:从数据源到可读报告

这个智能体当前版本(v1)的核心工作流可以概括为“采集-过滤-解读-呈现”四个步骤,每个步骤都融入了针对AI领域特点的精心设计。

数据采集层 :项目通过一个中心化的 sources.json 配置文件来管理所有数据源。这个文件按照类别组织,例如:

  • 官方公告 :OpenAI、Anthropic、Google AI、Meta AI、Microsoft AI等巨头的官方博客RSS。
  • 研究论文 :arXiv上AI相关子领域(cs.AI, cs.CL, cs.CV)的每日更新,以及Papers with Code、Semantic Scholar的热门趋势。
  • 代码与开源 :GitHub Trending、Hugging Face Trending 以及一些精选的Awesome仓库。
  • 行业媒体 :TechCrunch AI、The Verge AI、VentureBeat AI、MIT Technology Review AI等主流科技媒体的专栏。
  • 社区讨论 :Reddit的r/MachineLearning等子版块、Hacker News的AI相关话题。
  • 中文AI媒体 :机器之心、量子位、新智元、36氪AI专栏等,确保对中文生态的覆盖。
  • 国内官方模型源 :国内主流大模型厂商的官方页面、开发者平台及社交账号,用于追踪国产模型的动态。

实操心得 :配置 sources.json 时,切忌贪多。初期建议每个类别精选2-3个最核心、更新最稳定的源。过多的源不仅会增加抓取失败率,还会引入大量噪音,影响后续筛选和总结的质量。可以先从官方博客和顶级行业媒体开始,运行几周观察效果后再逐步扩充。

过滤与优先级策略 :这是项目的“大脑”所在。原始数据抓取后,会经过多轮过滤:

  1. 时间窗口过滤 :默认只保留过去168小时(7天)内的内容,确保报告的时效性。
  2. 去重与清洗 :基于标题和链接进行初步去重,并尝试清理HTML标签、无关广告等内容,提取纯净文本。
  3. 内容优先级排序 :采用“新闻优先”原则。官方公告和重要的行业新闻会被赋予更高权重,优先排在报告前列。这是因为这些信息往往代表了行业最明确的动向和商业信号。
  4. 论文比例控制 :这是一个关键设计。为了避免周报变成枯燥的论文列表,项目默认将论文类目的占比上限设置为20%(通过 --max-paper-ratio 0.2 参数调节)。当抓取到的论文数量超过此比例时,系统会按论文本身的热度(如引用数、讨论度)进行二次排序,只保留最热门的部分。

智能解读与总结 :对于筛选出的每条信息,项目会调用大语言模型(LLM)生成一段200字以上的中文解读。这不仅仅是翻译,而是要求模型提炼该信息的核心要点、潜在影响、以及与过往趋势的关联。例如,对于OpenAI的一个新模型发布,解读可能会包括:“该模型在哪些基准上取得了突破?与前代相比主要改进是什么?可能对开发者生态产生什么影响?” 这使得报告不再是简单的信息罗列,而是带有初步分析和洞察的简报。

结构化输出与可追溯性 :最终生成的Markdown报告具有固定的结构。每条信息都包含标题、来源链接、发布日期以及LLM生成的中文解读。报告末尾还会专门附上“信息来源”章节,再次列出所有链接,确保可追溯。如果某些源抓取失败,也会在“抓取错误”部分明确记录,方便后期排查和补充。

2.2 作为OpenClaw技能运行

这个项目的一个亮点是它可以无缝集成到OpenClaw平台,作为一个技能(Skill)来调用。这大大降低了使用门槛,用户无需关心背后的环境配置和脚本运行。

在OpenClaw技能页面,通常建议配置这样的触发短语:

  • 生成AI周报
  • 生成本周AI报告
  • 刷新OpenClaw排行榜

当技能被触发时,背后执行的命令就是项目核心脚本:

python3 run_daily_digest.py --use-llm --llm-provider auto --window-hours 168 --max-paper-ratio 0.2 --min-official-items 3

这条命令的含义是:使用LLM进行总结,自动选择LLM提供商,时间窗口为7天,论文比例不超过20%,并且确保至少包含3条官方新闻(如果不足,系统会自动放宽抓取时间窗口来“填补”)。

生成的报告会自动保存在项目目录下的 daily_docs/ai_weekly_YYYYMMDD.md 文件中,日期会自动更新为报告生成日。

注意事项 :在OpenClaw环境中运行时,API密钥等敏感信息通常由平台运行时注入,这比在本地管理 .env 文件更安全。技能页面上需要明确声明所需的环境变量名(如 ARK_API_KEY ),以便平台正确配置。

3. 环境配置与安全实践详解

要让这个智能体跑起来,核心是正确、安全地配置好LLM(大语言模型)的访问权限。项目设计上支持两种主流的LLM调用模式,并有着严格的安全约定。

3.1 两种LLM模式配置

模式一:Ark模式(兼容火山引擎) 这是为国内环境优化的一种模式,特别适合使用火山引擎方舟等兼容API的服务。

# .env 文件配置示例
ARK_API_KEY=your_ark_api_key_here
ARK_ENDPOINT_ID=ep-your-endpoint-id  # 强烈建议生产环境使用,用于指定具体端点
ARK_MODEL=Doubao-Seed-1.6-lite       # 指定使用的模型名称

ARK_ENDPOINT_ID 的引入是一个很好的实践,它允许你在同一个API Key下管理多个模型端点,便于隔离和路由。

模式二:OpenAI兼容模式 这种模式兼容任何提供OpenAI Chat Completions API格式的网关或服务,包括Azure OpenAI、OpenRouter以及众多开源模型部署平台。

# .env 文件配置示例
OPENAI_API_KEY=sk-your-openai-key-here
OPENAI_BASE_URL=https://your-gateway.com/v1  # 如果以/v1结尾,脚本会自动补全为/chat/completions
OPENAI_MODEL=gpt-4-turbo-preview  # 可选,如果不指定,服务端可能返回默认模型

项目脚本 ( run_daily_digest.py ) 内部会通过 --llm-provider auto 参数或检查环境变量来自动选择模式。优先级通常是:如果配置了 ARK_API_KEY 则使用Ark模式,否则尝试OpenAI兼容模式。

3.2 关键安全策略与“红线”

这个项目在安全方面考虑得相当周全,尤其对于开源项目而言,这些约定至关重要:

  1. 密钥管理“铁律” :

    • 绝对禁止 将真实的 .env 文件提交到代码仓库。仓库中只应包含 .env.example 文件,用于说明需要哪些变量。
    • 必须 在 .gitignore 文件中加入 .env 和 daily_docs/ (防止误提交生成的报告,报告里可能包含聚合的外部信息)。
    • 真实密钥只应存在于运行环境(如服务器环境变量、OpenClaw运行时注入、本地开发时临时设置)中。
  2. 网络访问白名单 : 项目默认启用了严格的出站连接策略。所有抓取源必须是 https:// 开头。LLM的API端点主机名有一个默认的允许列表(Allowlist),只有列表内的主机(如 ark.cn-beijing.volces.com )才能被访问。这有效防止了脚本被恶意修改后向未知端点泄露数据。

    • 如果需要使用自定义的LLM端点,必须显式启用 --allow-custom-llm-endpoint 命令行参数,或者通过环境变量 LLM_ALLOWED_HOSTS 添加受信主机。
    • 同样,Webhook通知功能(如飞书/Lark、钉钉)也限定了只能向官方域名发送。
  3. SSL安全 : 默认情况下,脚本会验证SSL证书。如果遇到某些自签名或证书过期的源,抓取会失败。对于内部或测试源,可以使用 --allow-insecure-ssl 参数来绕过,但 在生产环境中强烈不建议这样做 。

踩坑实录 :早期版本曾发生过因为某个新闻源的SSL证书突然过期,导致整周报告抓取失败的情况。错误被记录在“抓取错误”部分,但当时没有自动重试或降级机制。现在的做法是,对于非关键源,可以考虑在代码中增加简单的重试逻辑,或者将其标记为“可选源”,即使失败也不影响核心报告的生成。

3.3 公共Web模式(BYOK - Bring Your Own Key)

项目还支持一个非常实用的“公共Web模式”。你可以用Streamlit搭建一个前端界面并部署到公网,让访客使用他们自己的API密钥来生成报告。

启用此模式需设置环境变量 PUBLIC_WEB_MODE=true 。在此模式下:

  • 侧边栏的API密钥输入框将不会从服务器环境变量中预填充任何值。
  • 用户输入的密钥仅保存在其浏览器会话( st.session_state )中, 不会 写回服务器的 .env 文件,也不会在用户间共享。
  • 这对于提供公开演示、或在不希望承担他人LLM调用费用的场景下非常有用。

部署时,服务器的 .env 文件应保持最小化,最好只包含一些非敏感或用于演示的默认配置,绝不要放入个人的生产环境密钥。

4. 部署与运维:从本地到生产环境

4.1 本地快速启动与测试

对于开发者或想自己使用的用户,最快捷的方式是本地运行。

# 1. 克隆仓库
git clone https://github.com/Matilda-Grifin/ai-news-weekly-agent.git
cd ai-news-weekly-agent

# 2. 创建虚拟环境并安装依赖(推荐)
python -m venv venv
source venv/bin/activate  # Linux/macOS
# venv\Scripts\activate  # Windows

# 3. 安装依赖
pip install -r requirements.txt

# 4. 复制环境变量示例文件并配置你的API密钥
cp .env.example .env
# 使用文本编辑器打开 .env,填入你的 ARK_API_KEY 或 OPENAI_API_KEY

# 5. 运行一次周报生成
python run_daily_digest.py --use-llm

运行成功后,打开 daily_docs 目录下新生成的 ai_weekly_YYYYMMDD.md 文件,你就能看到第一份自动生成的AI周报了。

4.2 使用Streamlit交互界面

项目内置了一个基于Streamlit的Web UI,让操作更直观。

streamlit run app.py

运行后,浏览器会自动打开本地页面。在侧边栏,你可以:

  • 动态调整时间窗口、论文比例等参数。
  • 输入或覆盖API密钥(在公共模式下尤其重要)。
  • 点击按钮触发报告生成任务。
  • 直接在网页上预览生成的Markdown报告,并下载到本地。

这个UI非常适合进行参数调优和结果预览,比反复修改命令行参数方便得多。

4.3 生产环境部署(以阿里云ECS为例)

对于需要7x24小时自动运行并对外提供服务的场景,建议采用以下架构: Streamlit后台服务 + Nginx反向代理 + HTTPS 。

步骤一:准备服务器 在阿里云购买一台ECS实例(Ubuntu 22.04 LTS),配置安全组,开放80、443端口(用于Web访问),以及22端口(仅限你的管理IP SSH访问)。

步骤二:部署应用代码

# 登录服务器
ssh user@your-server-ip

# 更新系统并安装基础软件
sudo apt update && sudo apt upgrade -y
sudo apt install python3-pip python3-venv nginx git -y

# 克隆项目
git clone https://github.com/Matilda-Grifin/ai-news-weekly-agent.git
cd ai-news-weekly-agent

# 创建虚拟环境并安装依赖
python3 -m venv venv
source venv/bin/activate
pip install -r requirements.txt

步骤三:配置系统服务(Systemd) 为了让Streamlit在后台稳定运行,我们需要将其配置为系统服务。 创建服务文件: sudo nano /etc/systemd/system/ai-weekly.service

[Unit]
Description=AI Weekly Agent Streamlit Service
After=network.target

[Service]
Type=simple
User=www-data  # 或者你创建的非root用户
Group=www-data
WorkingDirectory=/path/to/your/ai-news-weekly-agent
Environment="PATH=/path/to/your/ai-news-weekly-agent/venv/bin"
Environment="PUBLIC_WEB_MODE=true"  # 如果启用公共模式
# 在这里注入必要的环境变量,但避免密钥!建议密钥通过其他更安全的方式管理。
# Environment="ARK_API_KEY=dummy_key_for_demo_only" 
ExecStart=/path/to/your/ai-news-weekly-agent/venv/bin/streamlit run app.py --server.port 8501 --server.address 127.0.0.1 --browser.serverAddress localhost
Restart=on-failure
RestartSec=10

[Install]
WantedBy=multi-user.target

重要提示 :生产环境的API密钥 绝对不要 明文写在服务文件里。更安全的做法是:

  1. 使用像HashiCorp Vault、AWS Secrets Manager这样的密钥管理服务。
  2. 或者,在服务启动前,通过一个安全的脚本从加密存储中读取并设置为环境变量。
  3. 对于简单的部署,可以将密钥放在一个仅root可读的文件中(如 /etc/secrets/ai-weekly.env ),然后在服务文件的 EnvironmentFile 指令中引用它。

启用并启动服务:

sudo systemctl daemon-reload
sudo systemctl enable ai-weekly.service
sudo systemctl start ai-weekly.service
sudo systemctl status ai-weekly.service  # 检查状态

步骤四:配置Nginx反向代理 现在Streamlit在 127.0.0.1:8501 运行,我们需要用Nginx将外部80/443端口的流量转发给它。 创建Nginx配置: sudo nano /etc/nginx/sites-available/ai-weekly

server {
    listen 80;
    server_name your-domain.com;  # 替换为你的域名

    location / {
        proxy_pass http://127.0.0.1:8501;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
        proxy_read_timeout 300s;  # Streamlit可能处理长任务,需要超时
        proxy_buffering off;
    }
}

启用该配置并测试:

sudo ln -s /etc/nginx/sites-available/ai-weekly /etc/nginx/sites-enabled/
sudo nginx -t  # 测试配置语法
sudo systemctl reload nginx

步骤五:启用HTTPS(使用Let‘s Encrypt) 使用Certbot自动获取和安装免费SSL证书。

sudo apt install certbot python3-certbot-nginx -y
sudo certbot --nginx -d your-domain.com

按照提示操作,Certbot会自动修改Nginx配置,将HTTP重定向到HTTPS,并配置好SSL证书。证书会自动续期。

至此,一个具备生产级可靠性的AI周报服务就部署完成了。用户可以通过 https://your-domain.com 访问你的Streamlit界面,使用自己的密钥生成报告。

4.4 监控与日志

部署到生产环境后,监控是必不可少的。

  • 查看服务日志 : sudo journalctl -u ai-weekly.service -f 可以实时查看Streamlit应用的输出和错误。
  • 查看Nginx访问日志 : tail -f /var/log/nginx/access.log 和 error.log 。
  • 使用内置指标脚本 :项目提供了 project/scripts/metrics_report.py 脚本,可以生成运行报告,统计成功率、失败源、耗时等信息,非常适合加入定时任务(如Cron Job)进行周期性健康检查。
    # 每天检查一次过去7天的运行情况
    0 9 * * * cd /path/to/ai-news-weekly-agent && /path/to/venv/bin/python project/scripts/metrics_report.py --json > /tmp/ai_weekly_metrics_$(date +\%Y\%m\%d).json
    

5. 高级用法与架构演进

5.1 基于LangGraph的智能体化改造

项目的“Phase 2”引入了一个更高级的架构:使用LangChain和LangGraph将整个周报生成流程重构为一个有状态的智能体工作流。这带来了几个显著优势:

核心文件 :

  • agent_runtime.py :将原有的抓取、过滤、总结、渲染逻辑包装成一个可复用的管道函数。
  • langgraph_agent.py :定义了基于LangGraph的状态图(State Graph)。这个图描述了智能体的工作流: 运行 -> [可选]重试 -> 持久化 -> 结束 。

状态图的好处 :

  1. 错误恢复与重试 :在原有的脚本中,如果一个步骤失败,整个流程就中断了。而在状态图中,可以定义“重试”节点。例如,如果LLM总结某个条目时超时,智能体可以自动重试几次,或者跳过该条目继续处理下一个,而不是整体失败。
  2. 更好的可观测性 :LangGraph天然支持记录每个节点的输入输出,使得调试和追踪整个生成过程变得更加容易。你可以清晰地看到“为什么某条新闻被过滤掉了”或“LLM对某篇论文的总结是什么”。
  3. 模块化与扩展性 :新的功能可以很容易地作为新的“节点”加入到状态图中。例如,你想增加一个“生成报告摘要图”的功能,只需要新增一个节点,并将其连接到工作流的合适位置即可。

运行这个智能体模式,通常只需要调用封装好的入口函数,而不是直接运行原始脚本。这为集成到更复杂的自动化系统中打下了基础。

5.2 集成MCP(Model Context Protocol)与运行历史

“Phase 3”进一步提升了项目的可扩展性和可观测性,通过集成MCP和建立运行历史记录。

MCP(模型上下文协议)集成 :

  • mcp_bridge.py :这个文件负责发现和连接MCP服务器。MCP允许智能体动态地访问外部工具和数据源,比如一个专用的向量数据库搜索工具,或者一个用于存储历史报告的存储工具。
  • mcp_servers.example.json :这是一个示例配置文件,展示了如何定义本地的MCP服务器。你可以在这里配置一个连接到你公司内部知识库的搜索服务器,这样LLM在生成解读时,就能引用更相关的背景信息。

运行历史与追踪 :

  • 每次运行都会在 runs/<run_id>/ 目录下生成一个 trace.json 文件,详细记录了本次运行每个步骤的状态、耗时和结果。
  • 同时,一个全局的 runs/history.jsonl 文件(JSON Lines格式)会追加本次运行的元数据,如运行ID、时间、状态、生成的报告路径等。这为后续的数据分析、监控仪表盘提供了基础。

要启用MCP功能,你需要:

cp mcp_servers.example.json mcp_servers.json
# 然后编辑 mcp_servers.json,填入你实际MCP服务器的配置

之后,在运行命令或环境变量中指定使用MCP模式,智能体就能利用这些外部工具来增强其能力。

6. 常见问题排查与优化技巧

在实际运行和维护这个项目的过程中,你可能会遇到一些典型问题。以下是我总结的排查清单和优化建议。

6.1 报告生成失败或内容空白的排查

问题现象 可能原因 排查步骤与解决方案
运行脚本后无报告生成,或报告文件为空。 1. API密钥未正确设置或无效。
2. 网络问题导致所有源抓取失败。
3. 时间窗口 ( --window-hours ) 设置过小,近期无新闻。
1. 检查环境变量 :运行 echo $ARK_API_KEY 或 echo $OPENAI_API_KEY 确认密钥已注入且正确。在Streamlit UI中检查侧边栏密钥输入。
2. 检查网络连通性 :在服务器上尝试 curl -v https://ark.cn-beijing.volces.com 或你的LLM端点,看是否通。检查服务器安全组/防火墙规则。
3. 查看日志 :运行脚本时添加 --verbose 参数(如果支持),或直接查看Streamlit服务日志 ( journalctl -u ai-weekly.service ),寻找具体的错误信息。
4. 检查 sources.json :确认其中的RSS或API链接是否仍然有效。
报告内容很少,只有寥寥几条。 1. 论文比例限制 ( --max-paper-ratio ) 过低,过滤掉了大量内容。
2. 很多源抓取失败,但未被注意到。
3. 源本身更新不频繁。
1. 检查“抓取错误”部分 :生成的报告末尾会有专门章节列出失败的源。根据错误信息(如404、超时)修复或替换失效的源。
2. 调整参数 :临时调高 --max-paper-ratio (如到0.4)或调大 --window-hours (如到240小时/10天),看内容是否变多。
3. 运行指标报告 :使用 python metrics_report.py 查看各源的抓取成功率和数据量,针对性优化或添加新源。
LLM生成的中文解读质量差,或出现乱码。 1. LLM模型选择不当(如使用了能力较弱的模型)。
2. 提示词(Prompt)不够优化。
3. 输入给LLM的原文内容过于杂乱或截断。
1. 升级模型 :如果使用Ark模式,尝试切换到更强大的模型(如 Doubao-pro-32k )。如果使用OpenAI模式,尝试 gpt-4 系列。
2. 优化提示词 :项目中的提示词模板可能在 run_daily_digest.py 或相关模块中。可以尝试修改,使其更明确地要求“用中文总结核心要点和影响,避免罗列细节”。
3. 预处理输入文本 :检查抓取到的原始文本是否清洗干净。可以在调用LLM前,增加一步文本清洗和关键信息提取的逻辑。

6.2 性能与成本优化

  • 控制LLM调用成本 :这是最大的潜在成本点。每条新闻/论文都需要调用一次LLM。

    • 策略一:摘要聚合 :不要为每一条信息单独调用LLM。可以先将同一类别(如“开源项目”)的3-5条信息合并成一个批次,让LLM一次性总结,最后再拆分。这能显著减少调用次数。
    • 策略二:使用轻量模型 :对于信息密度不高的行业短讯,可以使用更便宜、更快的模型(如 Doubao-lite 或 gpt-3.5-turbo )进行总结。对于重要的论文或官方公告,再使用大模型。
    • 策略三:设置调用频率上限 :在代码中增加逻辑,如果本周抓取到的条目超过一定数量(如50条),则只选取热度最高的前N条进行LLM总结,其余仅保留标题和链接。
  • 提高抓取速度和稳定性 :

    • 使用异步请求 :将现有的顺序抓取改为使用 aiohttp 或 httpx 进行异步并发抓取,可以大幅缩短数据采集时间。
    • 实现缓存机制 :对于更新不频繁的源(如某些周刊),可以将抓取到的内容缓存起来(例如缓存1小时),避免短时间内重复请求。
    • 设置智能超时与重试 :为不同的源设置不同的超时时间。对于已知响应慢的源,适当延长超时;并为所有源配置2-3次重试。

6.3 内容质量调优

  • 个性化源配置 : sources.json 是你的信息食谱。定期回顾和调整它。如果你主要关注AI Infra(基础设施),就多加入一些相关的博客(如Anyscale, Weights & Biases的工程博客)。如果关注AI应用,就增加Product Hunt AI板块、一些优秀的AI产品通讯。
  • 优化过滤规则 :除了时间、去重和比例控制,可以引入基于关键词的过滤。例如,在配置文件中增加一个 blocklist_keywords 列表,包含“招聘”、“会议预告”等你不想在周报中看到的内容,在抓取后直接过滤掉。
  • 引入人工审核/修正环节 :完全自动化的报告难免有误。可以在生成最终报告后,增加一个“草稿”状态。将草稿发送到某个协作平台(如飞书文档),允许团队成员在发布前添加批注或进行微调,然后再生成最终版。

这个项目的魅力在于,它从一个解决个人痛点的自动化脚本出发,逐步演进成了一个具备生产部署能力、可扩展架构和严格安全考量的开源工具。无论是个人用于信息管理,还是团队用于内部知识同步,它都提供了一个高度可定制的起点。最关键的实践是,从简单的每周自动运行开始,根据实际遇到的内容质量、性能问题,再去迭代你的源配置、过滤规则和总结提示词,让它真正成为贴合你需求的“AI信息滤网”。

Logo

更多推荐