别吹 RAG 了!本地知识库实测 SAG2 完胜,又快又准还便宜
才被嘲 RAG 多跳检索是死胡同,转头一个连 embedding 都不用的开源项目,把八项指标全刷到了第一。
一、RAG 好用,但多跳检索是死穴
RAG 这个词 2020 年就有了,真正火起来是 ChatGPT 之后。大模型不知道你公司的事,那就把资料切块转向量,提问时找最像的丢进去。后来加了全文检索、重排序,混合检索成了标配。单文档问答够用,一碰多跳就歇菜。
文档 1 说 A 公司收购了 B 公司,文档 2 说张三当了 A 公司 CTO,文档 3 说张三离职去了盘古大模型项目。问:收购 B 公司的企业,其 CTO 后来去了哪?文档 3 里一个相关词都没有,线索直接断。
二、图谱方案:多跳强了,代价是烧 token
于是有了 GraphRAG、LightRAG、HippoRAG 2 这些图谱方案。入库前让大模型把实体关系全抽出来画大图,多跳强了,代价是索引阶段烧大量 token,新文件进来还得重算。每往前走一步,都在用钱和算力换准确率。

三、被低估的是维护成本
先说说我自己。2024 年初裸辞 All in AI,第一桶金就是帮老板搭 FastGPT、调知识库。搭库不难,难的是维护。分块切不好,张三负责 A 项目和 500 万预算被切成两段,线索就断了;score 调低噪音多,调高又漏东西,按下葫芦浮起瓢。有个朋友的公司,六人团队花了整整半年,才把准确率调到满意的状态。文件一改,又得重新上传、切块、向量化。这些坑,我全踩过。
连文件格式这一关都不轻松。PDF、Word、PPT、Excel 各是一套解析,音视频还要单独装识别组件,格式越杂,前期准备越长。


四、SAG2:把预处理全砍了
说实话,AI 圈混久了,已经很少有东西能让我浑身起鸡皮疙瘩。但最近开源的 SAG2,真就做到了。不用预处理文件,不用向量数据库,不用 GPU,直接把本地文件当知识库用。关键是,又快又准又便宜。

SAG2 把这条路反过来了。建库阶段不调任何模型,就用 BM25 对原文建关键词索引。BM25?九十年代的老古董,Elasticsearch 默认打分就是它。一个刷新 SOTA 的方案,底座居然是个三十年前的老算法。同样是 11,656 段文本,SAG 一代建库 4.57 小时,烧掉 2826 万 token;SAG2 在 M4 Pro Mac 上跑完,2.36 秒,零 token 消耗。4.57 小时到 2.36 秒,整整 7000 倍,砸得人头皮发麻。看到这个数字,我脑子里只有一个念头:预处理全砍了,效果居然还涨了。


语义理解交给 JEV
语义理解靠 JEV,前 OpenAI 研究员发布的模型,不回文章,只给判断和打分,又快又便宜。流程是这样:BM25 粗筛候选,JEV 判断哪些有用,算法挑关键词继续搜,JEV 再结合已有证据判断新内容。
还是张三那例子,第一轮拿「收购、B 公司」搜到文档 1,JEV 判断有用;从文档 1 挑出「A 公司」再搜,命中文档 2,CTO 是张三;拿张三搜文档 3,盘古大模型项目出来了。线索全靠原文关键词串起来,压根不用提前抽实体。
五、实测:三个多跳测试集,八项指标第一
三个多跳测试集,八项指标全部第一。MuSiQue 上 Recall@5 达 80.68%,比 HippoRAG 2 高 15.55 个百分点。EnterpriseRAG-Bench 更狠,51 万份模拟企业文档,LightRAG、MS-GraphRAG、HippoRAG 2 全都没跑完全量,SAG2 全部跑完,建库 8 分 32 秒,Recall@10 达 81.10%。体积呢?十几 MB。


六、我自己也测了:五个真实场景
我自己也测了。把 383 篇历史文章扔进去,问之前蒸馏时处理了多少篇多少字,它翻了两次直接给出准确数字:138 篇、79 万字。

塞了 10 万篇维基词条,只给「李白」和「爱因斯坦」两个名字,要求每一步有出处。原生组翻到刘慈欣作品集,俩人在科幻里同框;接了 SAG2 的这边,定位到学者林庚——他年轻时在清华物理系痴迷相对论,后来写出了《诗人李白》。从相对论连到林庚,再连回李白,两头全是原文。




七、接进 Agent:少翻几次文件
26 份半导体研报里查谁给 SK 海力士独家供 Underfill 胶水,SAG2 调用 3 次工具就命中 Namics,原生组翻到第 11 次才勉强蒙对。


同一位作者还拿同一道代码题做了对照:接入 SAG Search 之后,完成用时从 144 秒降到 95 秒,工具调用从 53 次降到 39 次,Flash 累计 token 从 134.3 万降到 47.5 万。






八、大道至简,全部开源
这套东西让我想起老子的话:大道至简,少则得,多则惑。大家卷参数、卷集群、卷向量库的时候,它退回到 Unix 那句「一切皆文件」。十几 MB 的体积,几秒钟的建库,多跳推理就这么平权到了每个人手里。
SAG2 和桌面端 SAG Wiki 已经全部开源。问个实际的:同样做本地知识库,一个要烧算力伺候,一个十几 MB 零预处理,你选哪个?

让仓储与产线物流先一步智能化
告诉我们您的仓库形态、物料类型与产能目标,方案顾问会给出可落地的自动化路径。