改版一次，解析器就得重写
字段名换了、外面多套一层 div、列表变成瀑布流。昨晚还跑得通的脚本，今早返回空数组。
公开网页 · 结构化交付
别再给每个网站
别再给每个网站
写一个爬虫
财经、舆情、开发者、媒体，这四类公开内容我们抓下来、对齐字段、去掉重复。 一个 JSON API 拉走：要全量就全量，要增量就带游标。字段是同一套，换源不用改代码。
$ curl -s "https://api.databridge.world/v1/feeds/fin-cn-macro/items?limit=2" \ -H "Authorization: Bearer dbw_live_••••"
// 200 OK · application/json { "feed": "fin-cn-macro", "updated_at": "2026-11-04T09:12:40Z", "items": [ { "id": "fin-cn-macro:9f21c8d4", "title": "央行公开市场操作：7 天逆回购 1320 亿元", "published_at": "2026-11-04T01:00:00Z", "lang": "zh", "hash": "9f21c8d4" }, { /* ... */ } ], "next_cursor": null }
150+已接数据源
4覆盖领域
~5 min平均入库延迟
JSON输出格式
自己写会怎样
前三个源还行
到第五个，你花在修解析器上的时间会超过写业务的时间。
封 IP 是常态
UA 会被封，频率得压下来，验证码得想办法过，出口 IP 得换。这些事没有做完的那天。
同样的坑踩十几遍
去重、增量、时区、编码、空值。第 12 个源犯的错，和第 1 个一样。
怎么用
接口就这一套
一个 token，一族端点。要落库、要二次计算、要喂给前端，都是同样的请求。
按需拉，或者增量拉
REST 加 Bearer 鉴权，游标增量，字段固定。第一次拉全量，之后只取新的。
GET /v1/feeds/{feed_id}/items ?since=2026-11-01T00:00:00Z &limit=100 &cursor=eyJvIjoyNDB9 GET /v1/sources # 可用源与状态 GET /v1/feeds/{id} # 单源元信息
- 字段名跨源一致，不用为每个源写适配
- 游标分页，翻到第 200 页还是那个速度
- 配额和限流数字在响应头里，代码能直接读
不想轮询就挂 Webhook
Premium 档可以配推送地址。新条目入库就 POST 过去，带签名，验完再处理。
# 我们发给你，不是你去拉 POST /hooks/dbw X-DBW-Signature: sha256=6b1f...e0 { "feed_id": "tech-github-releases", "items": [ { "id": "...", "title": "..." } ] }
- 签名是 HMAC-SHA256，密钥在你手里
- 失败重试 5 次，间隔从 10 秒翻到 160 秒
- 投递日志在控制台，失败的手动能重放
数据源目录
四类源，字段一样
字段结构统一，解析逻辑写一次，换源不用改。
财经 / 宏观
38政策发布、交易所公告、行情聚合、财报日历
央行交易所财报
社媒舆情
42热搜、公开列表、论坛与公开频道、播客更新
热搜RedditTelegram
科技 / 开发者
46Release、趋势榜、论文、产品更新日志、招聘
GitHubarXivHN
新闻 / 内容
31行业媒体、政府公告、独立博客、Newsletter
行业媒体公告博客
上游做的事
HTML 转 XML 谁都会，难的是转完之后
去重、对齐字段、处理时区，这些都在条目送到你手上之前做完。
字段就那十几个
id、title、url、summary、published_at、lang、hash，所有源都一样。合的时候不用写适配层。
只取新的
游标按条目位置走，不是页码。翻得再深也不会变慢。
同一篇稿子只来一次
十家转载同一条新闻，你只收到一份。按归一化后的 URL 加标题指纹比对。
改过、撤过的稿子留在原处
源站改标题或撤稿，条目带 revision 和 deleted 标记。标记变了，条目还在。
源坏了，控制台先知道
每个源都有上次抓取时间和连续失败次数。坏了能看见，不用等用户来抱怨。
不想轮询就配推送
给个端点，新条目进来直接 POST 过去，带签名头，可以验。
边界
只处理公开内容
抓取范围
只碰不用登录就能打开的页面。看 robots.txt，也看站点条款，请求频率按源站能承受的来。
只碰不用登录就能打开的页面。看 robots.txt，也看站点条款，请求频率按源站能承受的来。
明确的红线
付费墙不绕，登录不破，个人隐私不采。源站来说要下架，24 小时内停。
付费墙不绕，登录不破，个人隐私不采。源站来说要下架，24 小时内停。
定价
先免费用，不够了再付
免费档没有倒计时，够用就一直用。升级只改三样：源的数量、每天能调多少次、入库多快。
Free
接一两个源，看数据对不对得上
¥0/ 永久
免费开始
- 3 个 Feed
- 每日 500 次 API 调用
- 30 分钟内入库
- 社区支持
Basic 最常用
一个人维护的产品、内部工具或自动化流程
¥39/ 月
开始 Basic
- 30 个 Feed
- 每日 20,000 次 API 调用
- 5 分钟内入库
- 7 天历史回溯
- 邮件支持
Premium
上生产，要推送、要回溯
¥129/ 月
开始 Premium
- 不限 Feed（公平使用）
- 每日 200,000 次 API 调用
- 1 分钟内入库
- 90 天历史回溯
- Webhook 推送
- 自定义源需求优先排期