AI标书审查怎么防大模型幻觉?证据溯源的4道防线(实战拆解)

做 AI标书审查系统一年多,被问得最多的一句话是:大模型给的结论,凭什么信?

这个质疑完全成立。投标是要真金白银投进去的事,一份标书几百页,模型扫一遍就告诉你第 3.2 条不满足招标要求、有废标风险,你敢拿这个直接去改标吗?万一它编的呢?

大模型幻觉在这个场景里会变成实打实的生产事故。我的做法是把证据溯源做成硬约束,每一条审查结论都得能定位回投标文件和招标文件的原文页码,复核的人点开就看到原文。这篇把落地的四道防线拆开讲讲,都是踩过坑之后的形态。

妙笔审标

没错,这就是我干的系统,从审标的范围,其实从技术面来说,确实非常多的坑。
表格怎么处理、图片怎么处理、文件格式怎么处理、图片的文字、页码、盖章、签字,这些都是非常大的坑。
不过现在这些坑我总算爬出来了,现在可以和各位分享一下了。

什么是AI标书审查里的证据溯源

标准只有一条,模型说的每个判断,系统都得答得出你从哪看出来的。工程上一般管这叫 grounding,中文说引用溯源。

具体拆开是三个要素:

  • 招标要求原文:这条审查项抽自招标文件哪一页、原文写的什么
  • 投标应答位置:投标文件里响应这条要求的内容在哪一页
  • 引文逐字可查:引用的原文必须和文档库里存的逐字一致,模型自己转述的不算

听着朴素。但只要有一环靠模型自觉,幻觉就会从那一环漏进来。标书审查软件的可信度其实就卡在这一环:结论能不能原路走回原文。

为什么裸用大模型做标书审查靠不住

模型本身已经够强了,扛不住的是这个任务的失败代价。表格对比一下:

维度 直接把标书喂给大模型 带证据溯源的AI标书审查
结论出处 无法核对,全凭转述 每条定位到原文页码
幻觉风险 编造条款号、页码常见 校验层逐字比对拦截
复核成本 等于人工重审一遍 点开原文看一眼
漏审可见性 不知道它跳过了什么 逐条清单,缺席可见
工程成本 一次调用就完事 要额外搭文档库、校验层和轨迹存储,成本高不少

第二列每条都是踩出来的。早期做实验时,我在一批几百页的文档上抽样核对模型给的页码引用,错的比对的多;最离谱的一次,它引的整段原文在文档里根本不存在,写得比真条款还像条款。

AI标书审查的4道防线怎么搭

防线一:抽取阶段,无出处不入库

审查的第一步是条款抽取,把招标文件拆成一条条结构化的审查项。规矩定得很死,每条审查项必须带原文引文和页码才允许入库,给不出出处的条目一律打回重抽。编出来的审查要求,到这一步就死了。

防线二:定位阶段,只准引用真看过的内容

AI标书审查里最耗算力的就是这一环。模型要在投标文件里找应答证据,走的是检索加阅读的循环。这里说的轨迹,就是把它每一步实际打开过哪个文档片段按顺序落盘,事后能回放。每个片段都带一个唯一 ID,最终结论只允许引用轨迹里出现过的 ID;模型报一个它没读过的位置,直接判无效。位置想编也编不出来,它得先在轨迹里出现过。

防线三:校验阶段,独立层逐字比对

这一层做的是引用校验(quote verification)。模型给出的每条引文,都由一个不含任何模型的校验层反查文档库,引文和库里存的原文逐字比对,页码以文档库为准做权威修正。比对不过,这条证据就作废,结论自动降级成未找到证据,绝不带病通过。引文只要被转述走了样,这里就过不去。

顺便说一句,这层是纯代码,也必须是纯代码。拿另一个模型去校验模型,只是把幻觉挪了个地方。AI标书审查里最该由纯代码兜底的,就是这一层。

防线四:判定阶段,关键状态由代码派生

最后一道最容易被忽略。模型输出判定意见,但要不要人工复核这类状态字段,由代码按规则算出来,模型对这个字段没有写权限。比如触及废标条款、判定又不是通过的,一律强制进人工复核队列,模型说破天也改不掉;没有证据支撑的通过,代码层会把它降下来。

三个被追问最多的问题

问:做了证据溯源,AI标书审查就不会错了吗?

会错。溯源管的是让误判露头,露头了人才有机会改。这类系统只能是辅助审查工具,不替代人工终审。写的时候有人觉得这像免责套话,其实工程边界就卡在这儿,溯源保证的是可核对,不保证判对。

问:四道防线会不会把审查拖得很慢?

校验层是纯代码比对,开销和模型推理比可以忽略。真正花时间的是逐条定位本身,但这笔时间换来的是复核的人不用重读整本标书,整体是省的。

问:为什么不把整本标书塞进长上下文一次问完?

试过,不行。几百页文档超窗口是常态。一次性问答没有轨迹,事后无从溯源。而且同一份文档把要点分别放在开头、中段、结尾各问一遍,中段明显更容易问不出来,也就是常说的长上下文中段召回衰减(lost in the middle),漏审了你都不知道。所以我选了笨办法:拆条、检索、逐条核对。

写在最后

回头看,这里面没什么算法上的新东西,靠的全是几条死规矩:不信任模型的每一句话,给每条结论留一条能回查的路。这套 AI标书审查机制在我做的投标文件合规审查系统里跑了一年多,跑到现在我仍然觉得,大模型能力涨得再快,凭什么信你这个问题也只能靠系统设计来回答。

文章摘自:https://www.cnblogs.com/xf4n/p/22703626/ai-biaoshu-shencha-zhengju-suyuan-4-fangxian