跳到正文
ZHX NEXUS Studio
返回

集采(ERP)运维问答助手实战记录

编辑页面

公司里有套跨账套的采购销售业务,两边各跑一套 U8。日常最多的工单长这样:两个数对不上,帮我看看怎么查。提工单的人清楚现象,不清楚该查哪张表。

于是把几年积累的运维记录做成了问答助手,让它直接给出能执行的 SQL。技术栈没什么可说的,Python 标准库,零第三方依赖,BM25 检索加一个兼容 OpenAI 接口的多模型路由。知识库先放了八百多条运维记录,后来又补了数据字典。

一开始以为难点在检索。上线之后才意识到,真正的难点是它敢不敢编。在 C 端,模型编一句漂亮话,用户笑笑就过去;在 ERP 运维里,编一个字段名就是 6 个报错加半小时排查。


一、最严重的一次:写进知识库的是一条编造的 SQL

为了杜绝模型编造,系统设计过一个“金标准”机制。人工确认过的联查 SQL 存进知识库,模型用占位符引用,服务端原样注入,一个字都不让它改。这个设计本身没错,问题出在那条 SQL 是人手写的,字段名是照着“标准 U8 应该叫这个”填的。

拿到线上执行,报了 6 个错。

列名 'iOriMoney' 无效。(207)
列名 'iOriTaxPrice' 无效。(207)
列名 'iOriSum' 无效。(207)
列名 'iNatMoney' 无效。(207)
列名 'iNatTax' 无效。(207)
列名 'iNatSum' 无效。(207)

更麻烦的是,第一次我就把归属判错了。看到 6 个列名,第一反应是销售侧少了这 6 列、采购侧 9 列都对。实际情况是两边各错 3 个:销售发票子表没有 iOri* 那三个,采购发票子表没有 iNat* 那三个。执行报错只给列名不给表别名,光看报错确实分不清是谁的锅,这一点我起初没想明白。


二、字段字典不在文档里,在代码里

翻遍文档也没找到权威的字段字典。最后是在代码里找到的,一二期的实体类全带着中文注释。

[SugarTable("PurBillVouchs", TableDescription = "采购发票子表")]
public partial class CollabPurBillVouchs : EntityBase
{
    [SugarColumn(ColumnName = "iOriMoney", ColumnDescription = "原币金额")]
    public decimal? iOriMoney { get; set; }
    [SugarColumn(ColumnName = "iMoney", ColumnDescription = "本币金额")]
    public decimal? iMoney { get; set; }
}

从 156 个实体类里解析出 8318 个字段的中文备注,字段名才算彻底对上。对完之后的结果有点反直觉:

表原币三列本币三列
销售发票子表iMoney / iTax / iSumiNatMoney / iNatTax / iNatSum
采购发票子表iOriMoney / iOriTaxPrice / iOriSumiMoney / iTaxPrice / iSum

两张表同名不同义。SaleBillVouchs.iMoney 是原币,PurBillVouchs.iMoney 是本币。按“标准命名”去猜,必错。

顺着服务层的赋值代码往下看,还挖出一个跑了很久的隐患。有四行代码把销售侧的本币值写进了采购侧的原币列,又把原币值写进了本币列。因为汇率固定为 1,数值碰巧相等,一直没人发现。哪天涉及外币,两边的合计和无税金额就全错了。这种问题读文档读不出来,只能读代码。

后来给来源定了优先级:代码实体类 > 服务层赋值代码 > 用户执行报错 > 运维记录片段 > “行业标准常识”。常识只能当线索,不能当依据。前面那次翻车,恰恰是把常识当成了依据。


三、“绝不允许模型写 SQL” 也会翻车

上一条的反面。为了杜绝编造,提示词一度被写死成“绝不允许自己写 SQL,不存在任何例外”。

然后有人问:要两张表完整的联查,包含所有金额字段。

知识库里没有恰好这么一条,规则又不允许拼。模型只能退回去给一串字段名清单。它其实知道关联键、表名、字段名,就是不被允许组合。

后来改成三档。有干净的现成 SQL 就引用,服务端原样注入,一个字都不让模型改。需要把多个片段的表和字段拼起来时允许自己写,但每个标识符必须能在片段里逐字找到,并且标注“执行前按现场数据字典核对”。高频问题另外补人工确认过的模板,不过模板里每个字段必须来自代码,不能再靠常识。

一刀切禁止写起来最省事,也最容易把系统做废。这个道理很朴素,但真正有体会,是在看到模型被这条限制卡住的时候。


四、慢、截断、空回答:表象不同,根子是一类

有段时间的反馈很一致:问个问题要等一分多钟,还以为卡死了。查下来不是网络问题。这些兼容接口上的模型默认会先吐几千上万字的推理过程,正经回答排在后面。

同一个问题、同一份上下文,实测对比:

模型开推理关推理
A31s,finish_reason=length,答案被截断一半5.5s,完整
B66s10.3s,完整

慢只是表象。推理过程吃掉 token 预算,答案直接被切一半,这才是“回答很多是错的、不能用”的隐藏原因。修法是在请求体里加 enable_thinking: false,注意只认这种顶层写法,reasoning: {enabled: false} 是无效的。

顺带还得配单模型超时和单次提问的整体超时上限。某个模型偶发空响应触发兜底链,三个模型各等两分钟,最坏能卡到 6 分钟。

空回答是另一回事,但同源。模型返回了空 content,推理模型尤其常见,后端却当成一次成功调用,把空字符串渲染出去,页面就白了。修法是两头都做,后端空响应直接判失败走兜底证据直出,前端渲染空答案时给明确的占位文案,提示可以重试或看下方检索证据。

坑本身不深,暴露的是习惯问题。当时只测了接口层返回,没在浏览器里真正走一遍空值分支。之后凡是涉及“模型没说话”的改动,都会端到端跑一遍。


五、字典接进去了,检索不到

数据字典接进知识库,260 条记录,索引也重建了。然后问“iNatSum 是什么意思”,返回的 top5 全是运维记录,字典一条都没有。

两个原因叠加,第二个挺隐蔽。

一是切片时用了记录上的整段检索文本,三千多字,同一条记录的所有切片共享同一段超长文本。一张表 155 个字段挤在一起,单个字段被 BM25 的长度归一化惩罚彻底淹没。

二是 BM25 只返回 top(k×3) 个候选。字典切片分太低,连候选集都进不去。这时候在后面怎么加权都没用,它压根不在候选里。这一点排查了挺久,因为从打分逻辑上看不出任何问题。

最后是三件事一起做。字段清单按 18 个一组切成多行,每行自带表头,让切片短而聚焦。对查询里的英文标识符做字段精确命中,命中的字典切片直接强制插入候选集。字段释义类提问再对字典来源加一层权重。

顺手修了个老问题。同一条记录被切成多个切片后会重复占据上下文位置,实测里有一条记录一次占了 4 个位置,把其它来源全挤掉了。按记录去重就行。


六、前端的两个小坑

都是那种写完跑得好好的、一点就崩的类型。

转义函数写的是 (s || '').replace(...),传进来一个整数行号,|| 没兜住,直接 TypeError。改成先判空再用 String() 强转。

复制按钮原来读代码块的 innerText,渲染后经常拿不到完整内容。改成渲染时把原始文本写进 data-code 属性,复制时读属性,跟排版解耦。

都不复杂,但用户感知很强。毕竟就在眼皮底下。


写在最后

这个项目技术栈一点都不炫。没有向量库,没有 Agent 编排,就是 BM25 加一次 HTTP 调用。

做完最大的收获,是关于“准确”这两个字在企业场景里的分量。C 端模型编一句漂亮话,用户笑笑就过去了。ERP 运维里编一个字段名,用户拿去执行就是 6 个报错,还得花半小时排查。同一个幻觉,在不同场景里的代价差着两个数量级。

所以力气应该从“让它答得漂亮”挪到“让它答得有据可查”。检索到的东西要能指认出处,指认不出的就老实说不知道。

最后一点最该记住。我们给模型配了一整套防编造机制,转头自己按“标准命名”手写了一条 SQL 塞进知识库,还被当成金标准注入给用户。防幻觉最难的一关,不在模型,在人。


编辑页面
分享这篇文章:

上一篇
企业内部如何真正用好AI