← 返回洞察

技术 · 2026.10.23

标讯工具为什么越做越重:我们用一套减法架构把它做轻

政府采购公告分散在几十个省级平台,传统标讯产品要么堆人力、要么堆服务、要么堆机器。我们做瑞讯时,刻意把架构做减法,换来一套能自己跑、还跑得便宜的采集系统。这篇文章讲清背后的工程判断。

很多人把标讯跟踪当成一个小项目:写个爬虫,把网页抓下来,完事。我们实际做下来,结论恰恰相反——标讯工具真正的难点,从来不在“爬”,而在“持续地、稳定地、跨站点地”爬。写好爬虫只是起跑,后面那场没有终点的运维拉锯,才是绝大多数标讯产品越做越重的原因。

这篇文章,就讲我们做瑞讯时怎么反过来,用一套“减法架构”把它做轻。

一、标讯跟踪的真相:不是爬,是持久战

中国政府采购公告的发布格局是高度碎片化的:一个中央主站之外,还有几十个省级分站、数百个地市站。每个站页面结构不同、更新节奏不同,有的要验证码,有的只有浏览器渲染才出数。你今天调通一个站,对方下个月改版,链路就断了。

常见的两种应对,都是“用规模对抗分散”。 要么招一支运营团队,专人盯着几十个网站手动刷新——人力扛不住;要么买商业标讯服务,按站点或条数计费,价格随覆盖广度线性上涨——预算扛不住。

我们的判断不同: 把“对抗分散”当成一个工程问题来设计,而不是当成人力问题去外包。架构选对了,边际成本会随着覆盖扩大而递减,而不是递增。

二、减法架构:能不依赖,就不依赖

基于这个判断,我们后端选了最朴素的组合——轻量接口框架加本地库,不引入多余的中间件,不接任何第三方数据服务。

前端更是直接回到原点——纯原生页面,自包含、零外链,一个文件就能跑,用户打开即用。

为什么要这么“土”? 因为每多一个外部依赖,就多一个会断的环节、多一份升级维护的包袱。对一套要长期自己跑、又不想养一支运维团队的系统来说,“少即是稳”。我们更愿意把它想成一台要自己走十年的老钟:零件越少,越好修,也越不容易停。

三、采集框架:把“各省差异”变成可插拔的适配器

碎片化最麻烦的地方,是每个省的规则都不一样。我们的解法是把共性抽象成底座,把差异收敛成“适配器”——对需要验证码或必须浏览器渲染才能出数的站点,用专门的适配与渲染方案处理,再配合定时任务周期性扫描。

目前系统已覆盖十余个省级站点。 这套设计的关键收益是边际成本递减:新增一个省份,往往只是新增一个适配器,而不是重写一套逻辑。系统铺得越开,单省成本越低。

四、克制带来的副产品:低成本与高可用

做减法还顺手解决了两个老大难:去重和过滤。

去重,我们用最朴素却最稳的办法。 以公告原文的稳定唯一标识作底层约束,插入即忽略重复。不依赖时间窗、不依赖模糊匹配,不会因为算法误判把新公告当重复丢掉,也不会让同一条公告刷屏。

过滤,在采集层就完成。 只保留采购类高价值信息,把中标公示、变更通知、答疑纪要等噪声在入库前拦掉。用户看到的就是干净的目标清单,而不是一堆要自己筛的原始堆。

账号体系同样克制:密码加盐哈希存储,明文永不落库;访客设会员门槛和配额,既压住服务器压力,也给后续商业模式留了口子。

收束

我们越来越确信一件事:在标讯这类“脏活累活”赛道,赢家往往不是功能最多的那一个,而是把链路做得最稳、成本压得最低的那一个。工程上的克制,本身就是竞争力。

AI 应用拼的不是概念密度,是落地密度。先把“稳、准、省”三个字做扎实,比急着堆功能更要紧。

—— 瑞佰仑