数据抓取代理¶

构建面向任意公共数据源的生产级 AI 数据收集代理。 按计划运行，使用免费 LLM 丰富结果，保存到数据库，并随时间不断改进。

技术栈：Python · Gemini Flash（免费） · GitHub Actions（免费） · Notion / Sheets / Supabase

激活时机¶

• 当用户想要抓取或监控任意公共网站或 API 时
• 当用户说“构建一个检查机器人”“监控 X”“收集数据”时
• 当用户想要跟踪职位、价格、新闻、报告、体育比分、事件、列表时
• 当用户询问如何在不支付托管费用的情况下自动化数据收集时
• 当用户希望代理能够基于决策随时间变得更智能时

核心概念¶

三层¶

所有数据抓取代理都有三层：

COLLECT → ENRICH → STORE
  │           │        │
Scraper    AI (LLM)  Database
runs on    scores/   Notion /
schedule   summarises Sheets /
           & classifies Supabase

免费技术栈¶

工作流¶

1. 定义数据源 - 从哪里抓取，提取什么
2. 构建抓取器 - 基于 BeautifulSoup 或 Playwright 的采集器
3. 配置 LLM - 使用 Gemini Flash 对文本进行评分/摘要/分类
4. 设置存储 - Notion、Sheets、Supabase 之一
5. 配置 GitHub Actions - 设置每日/每周运行计划
6. 添加反馈循环 - 从用户决策中学习

示例¶

• 职位板监控：新的公开