数据源目录

现在接了什么

这里只是公开目录的一部分。登录后能在控制台看到全部源、每个源上次抓取的时间、连续失败了几次。 缺什么发邮件说,能接的我们会接。

央行 · 货币政策与公开市场操作
每日 09:00 抓取
沪深交易所 · 上市公司公告
每 2 分钟抓取
财报日历 · A 股 / 港股 / 美股
每小时更新
加密资产 · 主要交易对快照
每 5 分钟更新
统计局 · 月度宏观数据发布
发布即抓取
微博 · 热搜榜
每 5 分钟更新
Reddit · 指定 subreddit 新帖
每 10 分钟更新
Telegram · 公开频道
每 5 分钟更新
播客 · 新单集(含章节)
每小时更新
知乎 · 问题与高赞回答
每 30 分钟更新
GitHub · 仓库 Release
每 15 分钟更新
GitHub · Trending(按语言)
每小时更新
Hacker News · 首页 / Ask / Show
每 10 分钟更新
arXiv · 分类新提交
每小时更新
产品更新日志 · Changelog
每小时更新
政府与监管 · 公告通知
每日抓取
行业垂直媒体 · 最新文章
每 15 分钟更新
独立博客 / Newsletter
每小时更新
中文科技媒体 · 全文
每 10 分钟更新
关于频率与稳定性
表里写的是目标频率。实际抓取会按源站的反爬策略自动降速。某个源连续失败会被标红并暂停, 恢复后自动补齐漏掉的时间段。不会悄悄丢数据。
统一字段

字段就这一张表

源站各不相同,出来都是下面这些字段。

字段类型说明
idstring全局唯一,形如 feed_id:hash,可直接当主键入库
titlestring原文标题,已去首尾空白与不可见字符
urlstring归一化后的原文链接,已剥离跟踪参数
summarystring摘要或正文首段,纯文本
contentstring \| null全文 HTML,仅对允许转载全文的源提供
published_atISO 8601源站发布时间,统一 UTC
updated_atISO 8601源站最近修改时间,无则为 null
langstring正文语言,BCP-47
tagsstring[]源侧分类或关键词
hashstring内容指纹,用于跨源去重
revisionint该条目被检测到修改的次数
deletedbool源站撤稿标记,条目保留但置位
缺源申请

要的源不在列表里

发邮件说清站点和你需要的字段。公开能访问的源,一般三个工作日内能上。 要登录的、在付费墙后面的,接不了。

邮件里写这三样

① 站点 URL 或具体页面
② 你需要的字段(标题 / 正文 / 时间 / 作者…)
③ 期望的更新频率

接不了的源

需要登录才能看的内容、付费墙后的内容、含个人隐私的数据、 以及站点条款明确禁止抓取的页面。这几条没有例外。

先挑一个源跑通

注册后在控制台勾选要的源,两分钟拿到能直接用的 feed 地址和 token。