公司里有套跨账套的采购销售业务,两边各跑一套 U8。日常最多的工单长这样:两个数对不上,帮我看看怎么查。提工单的人清楚现象,不清楚该查哪张表。
于是把几年积累的运维记录做成了问答助手,让它直接给出能执行的 SQL。技术栈没什么可说的,Python 标准库,零第三方依赖,BM25 检索加一个兼容 OpenAI 接口的多模型路由。知识库先放了八百多条运维记录,后来又补了数据字典。
一开始以为难点在检索。上线之后才意识到,真正的难点是它敢不敢编。在 C 端,模型编一句漂亮话,用户笑笑就过去;在 ERP 运维里,编一个字段名就是 6 个报错加半小时排查。
一、最严重的一次:写进知识库的是一条编造的 SQL
为了杜绝模型编造,系统设计过一个“金标准”机制。人工确认过的联查 SQL 存进知识库,模型用占位符引用,服务端原样注入,一个字都不让它改。这个设计本身没错,问题出在那条 SQL 是人手写的,字段名是照着“标准 U8 应该叫这个”填的。
拿到线上执行,报了 6 个错。
列名 'iOriMoney' 无效。(207)
列名 'iOriTaxPrice' 无效。(207)
列名 'iOriSum' 无效。(207)
列名 'iNatMoney' 无效。(207)
列名 'iNatTax' 无效。(207)
列名 'iNatSum' 无效。(207)
更麻烦的是,第一次我就把归属判错了。看到 6 个列名,第一反应是销售侧少了这 6 列、采购侧 9 列都对。实际情况是两边各错 3 个:销售发票子表没有 iOri* 那三个,采购发票子表没有 iNat* 那三个。执行报错只给列名不给表别名,光看报错确实分不清是谁的锅,这一点我起初没想明白。
二、字段字典不在文档里,在代码里
翻遍文档也没找到权威的字段字典。最后是在代码里找到的,一二期的实体类全带着中文注释。
[SugarTable("PurBillVouchs", TableDescription = "采购发票子表")]
public partial class CollabPurBillVouchs : EntityBase
{
[SugarColumn(ColumnName = "iOriMoney", ColumnDescription = "原币金额")]
public decimal? iOriMoney { get; set; }
[SugarColumn(ColumnName = "iMoney", ColumnDescription = "本币金额")]
public decimal? iMoney { get; set; }
}
从 156 个实体类里解析出 8318 个字段的中文备注,字段名才算彻底对上。对完之后的结果有点反直觉:
| 表 | 原币三列 | 本币三列 |
|---|---|---|
| 销售发票子表 | iMoney / iTax / iSum | iNatMoney / iNatTax / iNatSum |
| 采购发票子表 | iOriMoney / iOriTaxPrice / iOriSum | iMoney / iTaxPrice / iSum |
两张表同名不同义。SaleBillVouchs.iMoney 是原币,PurBillVouchs.iMoney 是本币。按“标准命名”去猜,必错。
顺着服务层的赋值代码往下看,还挖出一个跑了很久的隐患。有四行代码把销售侧的本币值写进了采购侧的原币列,又把原币值写进了本币列。因为汇率固定为 1,数值碰巧相等,一直没人发现。哪天涉及外币,两边的合计和无税金额就全错了。这种问题读文档读不出来,只能读代码。
后来给来源定了优先级:代码实体类 > 服务层赋值代码 > 用户执行报错 > 运维记录片段 > “行业标准常识”。常识只能当线索,不能当依据。前面那次翻车,恰恰是把常识当成了依据。
三、“绝不允许模型写 SQL” 也会翻车
上一条的反面。为了杜绝编造,提示词一度被写死成“绝不允许自己写 SQL,不存在任何例外”。
然后有人问:要两张表完整的联查,包含所有金额字段。
知识库里没有恰好这么一条,规则又不允许拼。模型只能退回去给一串字段名清单。它其实知道关联键、表名、字段名,就是不被允许组合。
后来改成三档。有干净的现成 SQL 就引用,服务端原样注入,一个字都不让模型改。需要把多个片段的表和字段拼起来时允许自己写,但每个标识符必须能在片段里逐字找到,并且标注“执行前按现场数据字典核对”。高频问题另外补人工确认过的模板,不过模板里每个字段必须来自代码,不能再靠常识。
一刀切禁止写起来最省事,也最容易把系统做废。这个道理很朴素,但真正有体会,是在看到模型被这条限制卡住的时候。
四、慢、截断、空回答:表象不同,根子是一类
有段时间的反馈很一致:问个问题要等一分多钟,还以为卡死了。查下来不是网络问题。这些兼容接口上的模型默认会先吐几千上万字的推理过程,正经回答排在后面。
同一个问题、同一份上下文,实测对比:
| 模型 | 开推理 | 关推理 |
|---|---|---|
| A | 31s,finish_reason=length,答案被截断一半 | 5.5s,完整 |
| B | 66s | 10.3s,完整 |
慢只是表象。推理过程吃掉 token 预算,答案直接被切一半,这才是“回答很多是错的、不能用”的隐藏原因。修法是在请求体里加 enable_thinking: false,注意只认这种顶层写法,reasoning: {enabled: false} 是无效的。
顺带还得配单模型超时和单次提问的整体超时上限。某个模型偶发空响应触发兜底链,三个模型各等两分钟,最坏能卡到 6 分钟。
空回答是另一回事,但同源。模型返回了空 content,推理模型尤其常见,后端却当成一次成功调用,把空字符串渲染出去,页面就白了。修法是两头都做,后端空响应直接判失败走兜底证据直出,前端渲染空答案时给明确的占位文案,提示可以重试或看下方检索证据。
坑本身不深,暴露的是习惯问题。当时只测了接口层返回,没在浏览器里真正走一遍空值分支。之后凡是涉及“模型没说话”的改动,都会端到端跑一遍。
五、字典接进去了,检索不到
数据字典接进知识库,260 条记录,索引也重建了。然后问“iNatSum 是什么意思”,返回的 top5 全是运维记录,字典一条都没有。
两个原因叠加,第二个挺隐蔽。
一是切片时用了记录上的整段检索文本,三千多字,同一条记录的所有切片共享同一段超长文本。一张表 155 个字段挤在一起,单个字段被 BM25 的长度归一化惩罚彻底淹没。
二是 BM25 只返回 top(k×3) 个候选。字典切片分太低,连候选集都进不去。这时候在后面怎么加权都没用,它压根不在候选里。这一点排查了挺久,因为从打分逻辑上看不出任何问题。
最后是三件事一起做。字段清单按 18 个一组切成多行,每行自带表头,让切片短而聚焦。对查询里的英文标识符做字段精确命中,命中的字典切片直接强制插入候选集。字段释义类提问再对字典来源加一层权重。
顺手修了个老问题。同一条记录被切成多个切片后会重复占据上下文位置,实测里有一条记录一次占了 4 个位置,把其它来源全挤掉了。按记录去重就行。
六、前端的两个小坑
都是那种写完跑得好好的、一点就崩的类型。
转义函数写的是 (s || '').replace(...),传进来一个整数行号,|| 没兜住,直接 TypeError。改成先判空再用 String() 强转。
复制按钮原来读代码块的 innerText,渲染后经常拿不到完整内容。改成渲染时把原始文本写进 data-code 属性,复制时读属性,跟排版解耦。
都不复杂,但用户感知很强。毕竟就在眼皮底下。
写在最后
这个项目技术栈一点都不炫。没有向量库,没有 Agent 编排,就是 BM25 加一次 HTTP 调用。
做完最大的收获,是关于“准确”这两个字在企业场景里的分量。C 端模型编一句漂亮话,用户笑笑就过去了。ERP 运维里编一个字段名,用户拿去执行就是 6 个报错,还得花半小时排查。同一个幻觉,在不同场景里的代价差着两个数量级。
所以力气应该从“让它答得漂亮”挪到“让它答得有据可查”。检索到的东西要能指认出处,指认不出的就老实说不知道。
最后一点最该记住。我们给模型配了一整套防编造机制,转头自己按“标准命名”手写了一条 SQL 塞进知识库,还被当成金标准注入给用户。防幻觉最难的一关,不在模型,在人。