有人问「某某条例第十二条原文是什么」,模型给了一条结构完整、措辞专业的条款,条号、适用范围、处罚金额都编得像真的。你去官网逐条查,根本没有这一条。更麻烦的是,它没有加「可能」「大概」,语气比真正查过资料的人还肯定。
另一个场景更常见:问上周刚发布的政策,模型要么说不知道,要么拿两年前的旧版本硬答。这不是它偷懒,训练数据在某个时间点就断了,权重里没有之后的事。幻觉和知识截止是两种不同的问题,前者是生成机制,后者是信息时效,但它们都会让同一个产品在关键时刻失去信任。
幻觉不是撒谎
模型每生成一个 token,做的是一件事:根据前面的内容,给词表里每个候选打分,然后选一个。它的训练目标是让下一个词更可能出现在真实文本里,不是让每句话都对应现实世界的事实。所以「读起来顺」和「是真的」是两套标准,前者是训练直接奖励的,后者要靠额外的检索、校验和拒答机制。
幻觉至少有三类。事实型,编造不存在的条款、人物、事件;引用型,给出一个格式正确但打不开的链接或编号;数值型,把三十天记成六十天,把百分之五说成百分之十五。三类都指向同一个缺口:模型内部没有一个独立的事实数据库去核对,它是在用参数里的统计规律续写。
模型也不是完全不知道自己不确定。只是训练和调优往往奖励「给出回答」,不奖励「我不确定」。在缺少资料时,最流畅的续写往往是一个看起来合理的答案,而不是一句「我不知道」。所以降低温度、让语气更保守,能减少发散,但不能消除编造;温度设成 0 时,它反而可能更自信地重复同一个错误。
幻觉的危险不在于它错,而在于它错得有条理。格式越完整、术语越专业,人越容易放下戒心。核对一条编造条款的成本,往往比生成它高得多。这也是为什么高风险场景不能只看模型输出,必须留一道外部核对。
还有一种情况是诱导性幻觉。用户在问题里预设了一个错误前提,比如「那条已经废止的条款现在还有效吧」,模型顺着前提答,越答越具体。这类问题不能只靠模型自觉,最好在提示里加一步:先判断前提是否成立,不成立就指出来。
知识截止与检索
知识截止是训练数据的时间边界。模型在某个时间点之后发布的内容,它没有见过;即使见过,也可能因为训练配比、去重、清洗而丢失。权重是静态文件,不会自己更新。你可以在提示里告诉它新事实,但这只是临时上下文,不会写回参数,下一次新会话又忘了。
检索增强解决的是「资料不在参数里」的问题:先把文档存进索引,提问时取出相关段落,拼进提示。它能让模型答出上周的政策,也能给出引用。但检索不是保险箱:查询和文档用词不一致会召不回,切块切断了条件会读不懂,索引没更新会拿到旧版本,召回了但模型没注意还会照旧编。
要让检索真正降低幻觉,至少做三件事。第一,在提示里明确「只依据资料回答,资料没有就说没有」。第二,要求输出引用段落编号,便于人工核对。第三,给检索加一个相关性阈值,分数太低时直接走拒答,而不是硬塞几段不相关内容。第三点最容易被跳过,也最容易出问题。
检索质量还取决于查询怎么写。用户问「三个月能退吗」,文档写的是「自签收之日起九十日内」,字面不重合,关键词检索就召不回。实际系统里常做查询改写,把口语问题扩成几个同义说法,再分别检索、合并结果。改写本身也可能引入偏差,所以要保留原始查询作为兜底。
索引更新频率也要定:政策类每天,产品文档每周,历史资料按月。更新太勤浪费,太慢就会答旧版本。把文档的生效日期和索引时间一起存,回答时才能判断这份资料是不是过期。
评测:分数为什么好看
评测集污染是最常见的假高分来源。公开 benchmark 的题目可能以某种形式出现在预训练语料里,模型不是学会了推理,而是见过了答案。题目改个数字、换个问法,分数就掉。还有一些模型在训练时见过 benchmark 的格式,哪怕内容没背下来,也能靠格式线索猜对。
自评偏差是另一个坑。让模型给自己的回答打分,它会偏好更长、更自信、结构更整齐的文本,而不是事实更准确的文本。让模型当裁判比较两个答案,它还会受位置影响:放在前面的答案更容易被选中。这些偏差不一定每次出现,但足以让评测结果失真。
靠谱的评测要满足几个条件。题目不公开,或者按时间切分,用训练截止之后的新题;答案由人盲评,至少两人交叉;指标落到任务上,比如字段抽取的准确率、工单分类的通过率,而不是只看一个综合分。还要记录成本,因为两个方案准确率只差一个点,成本差三倍时,选择并不难。
评测还要看样本量和置信区间。五十道题上差两个点,可能只是多对了一道,说明不了能力差异。题目越少,随机波动越大。把题目分层,每层单独看,比一个总分更能发现问题:事实题掉得厉害、格式题没变,指向的原因完全不同。
成本:按 token 算一笔账
大模型 API 通常按输入 token 和输出 token 分别计价,输出单价往往更高。多轮对话还有一个容易被忽略的点:每一轮都要把历史消息重新发一遍,输入 token 会随着轮次累加。下面这段程序用一个粗略的分词规则估算 token 数,价格是假设的示例值,不是任何厂商的真实报价。
import re
PRICE_IN = 0.80 # 元 / 百万 输入 token,示例价格
PRICE_OUT = 2.40 # 元 / 百万 输出 token,示例价格
def count_tokens(text):
cjk = len(re.findall(r'[\u4e00-\u9fff]', text))
words = len(re.findall(r'[A-Za-z0-9]+', text))
punct = len(re.findall(r'[,。!?;:、,.!?;:]', text))
return cjk + words + punct
system = "你是一名严谨的技术支持。只根据给出的资料回答,资料里没有的内容要明确说没有,不要猜测。"
turns = [
("用户", "我们的导出任务在 2 万行左右就会失败,日志里只有一个内存错误,怎么排查?"),
("助手", "先确认导出时是否把全部数据读进了内存。常见做法是先用 COUNT 估算行数,再按每批 5000 行流式写出。日志里的内存错误如果出现在数组扩容阶段,通常说明有一次性 map 或 join 操作。请贴出读取数据的代码片段,我帮你定位具体位置。"),
("用户", "改成流式以后不报错了,但进度条一直停在 99%,这是为什么?"),
("助手", "进度到 99% 却不再变化,通常不是数据没处理完,而是结束事件没有发出去。检查三个出口:成功、失败、取消,是否都发送了结束消息。另一个常见原因是最后一批数据写完后直接返回,没有触发完成回调。可以在写完最后一批后主动发一条完成事件,并确认前端监听的频道名和发送时一致。"),
("用户", "结束事件补上了,现在想限制一下单次导出的最大行数,怎么做比较稳?"),
("助手", "不要在前端做硬编码限制。把上限放到配置里,并在读取时按批累加计数,超过上限就停止读取、写一条明确的失败原因,同时清理临时文件。上限的默认值可以按业务定,但要在界面上提前提示用户,避免用户等到一半才发现被截断。"),
]
history = system
total_in = total_out = 0
print("%4s %10s %10s %12s %12s" % ("轮次", "输入token", "输出token", "输入费用(元)", "输出费用(元)"))
for i in range(0, len(turns), 2):
user = turns[i][1]
reply = turns[i+1][1]
history += user
tin = count_tokens(history)
tout = count_tokens(reply)
cin = tin / 1_000_000 * PRICE_IN
cout = tout / 1_000_000 * PRICE_OUT
total_in += tin
total_out += tout
print("%4d %10d %10d %12.6f %12.6f" % (i//2 + 1, tin, tout, cin, cout))
history += reply
print()
print("系统提示 tokens =", count_tokens(system))
print("累计输入 token = %d,累计输出 token = %d" % (total_in, total_out))
total = total_in/1e6*PRICE_IN + total_out/1e6*PRICE_OUT
print("总费用 = %.6f 元" % total)
print("其中输入占 %.1f%%,输出占 %.1f%%" %
(total_in/1e6*PRICE_IN/total*100, total_out/1e6*PRICE_OUT/total*100))
print("同样的对话重复 1000 次约 %.2f 元" % (total*1000))
print("重复 10 万次约 %.1f 元" % (total*100000))
轮次 输入token 输出token 输入费用(元) 输出费用(元)
1 78 100 0.000062 0.000240
2 205 129 0.000164 0.000310
3 366 104 0.000293 0.000250
系统提示 tokens = 43
累计输入 token = 649,累计输出 token = 333
总费用 = 0.001318 元
其中输入占 39.4%,输出占 60.6%
同样的对话重复 1000 次约 1.32 元
重复 10 万次约 131.8 元
这组结果里,三轮对话的输入从 78 涨到 366,因为每一轮都把前面的内容重新带上了。累计输入 649、输出 333,按示例单价算总费用 0.001318 元。单次看着几乎为零,但重复一千次是 1.32 元,十万次是 131.8 元。输出 token 只占总量三成多,费用却占了六成,因为输出单价更高。
这笔账还没算完。真实成本还包括检索的索引和查询、失败重试、评测跑批、人工复核、缓存未命中的重复请求。按「每次成功回答的成本」算,往往比按「每次请求的成本」算高出不少。报预算时只看 token 单价,很容易低估一个数量级。这里的 token 数还是粗略估算,真实分词器切出来的数量会有出入,价格也请换成你实际使用的示例值再算。
想省钱,先压输出,再压输入。输出单价通常更高,限制最大 token 数、要求简洁回答,效果直接。输入侧可以复用系统提示的缓存、把历史摘要成短摘要、只检索最相关的几段。但摘要会丢细节,缓存要看服务商是否支持,别把假设当成已经省下的钱。
还有一个隐性成本是失败重试。结构化输出失败一次,就多一次完整请求;如果提示里还带着长资料,重试的成本接近翻倍。把失败率和重试次数记进监控,比事后看总账单更容易定位浪费。
如果业务只关心最终成功率,就把失败重试和人工兜底都算进分母,别用单次成功请求的成本做预算。真正要比较的是「每个正确答案花多少钱」,不是「每次调用花多少钱」。
什么时候不该用大模型
强一致的计算不该交给模型。工资、税费、库存扣减、账单分摊,这些要求结果可复现、可对账、错了能追到具体规则。模型的输出是概率性的,同一个输入也可能给出不同结果,算术还不稳定。这类逻辑应该放在代码和数据库里,模型最多负责把自然语言转成结构化参数,执行仍然交给确定性系统。
隐私敏感的场景要格外小心。把身份证号、病历、合同原文发给第三方接口,数据出了你的边界,后面怎么存、存多久、是否用于训练,都不由你控制。能做的是本地部署、脱敏后再调用、只传必要字段,并且把数据留存策略写清楚。脱敏不是万能的,多个字段组合仍可能重新识别个人。
超低延迟和离线环境也不适合。模型再小,一次前向也要几十到几百毫秒,网络往返还要加时间;工厂设备、车载、无网环境根本调不到接口。这种场景用规则、传统模型或端侧小模型更合适。审计要求高的决策同样如此:信贷拒批、保险定损、医疗建议,需要能解释的依据和责任人,模型只能做辅助,不能做最终裁判。
也不是所有高风险场景都要完全排除模型。可以把模型放在不直接面向用户的环节:帮客服起草回复、给审核员生成摘要、把自然语言转成查询条件,最后由人确认。模型承担的是效率,不是责任。责任留在能签字的人或确定性系统上,这个边界要提前画好。
兜底与人工复核
上线前先定「答错时怎么办」,而不是只定「答对时多好」。事实类问题要求引用,引用对不上就降级为「未找到」;结构化输出要过 schema 校验,失败重试有限次;高风险操作不直接执行,生成建议后等人工确认。兜底路径最好是确定性的,比如查不到就转人工、转知识库链接,而不是让模型再编一版。
人工复核要有抽样,不要全量,也不要只看随机样本。按风险分层:涉及金额、权限、合规的请求全检,普通咨询抽检;把模型回答和引用一起给复核人,减少二次查证成本。复核结果要回流,形成新的评测题和提示改进,不然同一类错误会反复出现。
对用户要说明边界。明确告诉对方这是辅助工具,关键结论要以官方资料为准;给出处链接;允许一键转人工。这些话听起来像产品文案,实际是降低误用的必要设计。模型越像人,用户越容易把它当成权威,界面上的一句提示,可能比模型多训一轮更有用。
拒答也要校准。拒答太多,用户觉得工具没用;拒答太少,错误直接外泄。可以用一组「该拒答」和「不该拒答」的题分别测,前者看漏放率,后者看误拒率。两个指标一起看,才知道阈值调到哪个位置合适,而不是凭感觉说「保守一点」。
出了问题先看哪里
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 编造不存在的条款 | 缺少资料,模型按流畅度续写 | 看本轮是否带检索结果与引用要求 |
| 答上周政策却用过时版本 | 知识截止,索引也没更新 | 核对模型版本、索引时间和文档日期 |
| 给了资料仍答错 | 召回不相关,或关键段被切碎 | 打印实际拼进提示的段落内容 |
| 评测分数很高,线上很差 | 评测集污染或题目太简单 | 换训练截止后的私有题重测 |
| 模型自评很自信但事实错 | 自评偏好流畅与长度,不是真实性 | 改人工盲评,加入引用核对 |
| 账单远超预算 | 历史重发、重试、输出过长 | 按轮统计输入输出 token 与重试次数 |
| 响应慢到无法交互 | 上下文过长或并发挤占显存 | 看首 token 延迟与 KV cache 占用 |
边界与代价
模型能力不等于产品能力。一个模型在榜单上很强,不代表它能稳定接入你的业务:格式可能守不住,拒答可能过度,长文可能中间丢信息,价格可能超出预算。产品化要补的东西,评测、兜底、监控、人工复核,往往比换模型更花时间。
成本会随规模放大。单次调用几分钱,日活一万、每人五次,就是一笔固定支出;再加上重试和检索,预算会更高。更麻烦的是隐性成本:评测集要维护,提示要随模型版本回归,供应商涨价或下线接口时要迁移。这些都不在 token 单价里,却决定了项目能不能长期跑下去。
依赖也是代价。模型版本、接口行为、内容政策都可能变化,今天能用的提示,下个月可能被拒答。把关键逻辑绑死在某一个模型上,迁移成本会很高。比较稳的做法是把模型调用包一层,输入输出格式统一,评测集独立,换供应商时只改适配层,不改业务代码。
数据会漂移。业务话术、产品名称、政策条款都在变,昨天的评测集今天可能已经过时。评测集要定期加新题、退休失效题,并保留一小部分固定题做纵向对比。只加不改,题目会越来越简单;只改不留,历史分数又没法比。
当天能验证的练习
- 问模型一条你确定不存在的规范条款,看它是否编造;再加「只依据以下资料回答」,把资料留空,观察是否改为拒答。
- 找一份上个月更新的文档,分别用「不带资料」和「带检索段落」提问,记录答案与引用是否对得上。
- 用本文脚本,把你最近一次真实对话的消息粘进去,换成你实际看到的示例单价,算出单次和千次成本。
- 从公开评测集里挑十道题,改掉数字和问法再测,比较原题与改题的正确率差距。
- 列出你业务里三个「错了会出事」的环节,为每个写一条确定性兜底路径,并注明谁来复核。
如果只能记住一句话:大模型擅长在模糊信息里给出一个可用的初稿,不擅长在需要精确、可追责、可复现的地方替你做最终决定。把它放在初稿和辅助的位置,配合检索、校验和人工,收益最稳;把它当成不会出错的权威,迟早要还债。
到这里,这一组四篇走完了一条完整的链路:量化决定模型能不能塞进现有机器,上下文决定它一轮能看多少,提示与解码决定这一次输出落在哪里,边界与评测决定它到底该不该上线。四件事没有先后替代关系,任何一环塌了,另外三环的优化都会被抵消。下一步不必急着换更大的模型,先把自己业务里的评测题、成本账和兜底路径补齐,收益通常更直接。