周四下午调好的提示词,周五早上同一句问法,答案从「先给结论」变成「先绕一圈解释」;要一段 JSON,模型每次都规规矩矩写完对象,然后在花括号后面补一句「以上就是结果」,解析器直接崩。你以为是模型不稳定,于是把提示词改得更强硬,结果时好时坏。
这类问题通常不是同一个原因。提示决定模型看到什么条件,解码决定这次从概率分布里挑哪个词。前者影响分布的形状,后者影响采样的落点。把这两层分开看,很多所谓的「玄学」都能定位到具体的旋钮。
提示与解码,两条独立的链路
模型每生成一个 token,都会先算出一组 logits。logits 是模型对词表里每个候选词的原始打分,还没有归一化成概率。经过 softmax 之后,这些分数变成总和为 1 的概率分布。解码策略再从这个分布里挑一个 token,拼回输入,继续算下一个。
提示影响的是 logits 本身。你把任务说清楚、给出例子、限定格式,模型给正确候选的分数就会更高。解码影响的是怎么从这些分数里选。即使分布完全一样,换一个温度或换一个随机种子,选出来的词也可能不同。反过来,解码参数固定,提示里多一句或少一句,分布又会变。
所以「同一句提示今天答对明天答错」要先问两件事:请求参数是否完全一致,包括温度、top-p、最大输出长度、系统提示;模型版本是否一致。很多线上事故不是模型变了,而是某次发布把默认温度从 0 改成了 0.7,或者网关给不同用户加了不同的系统提示。
除了温度和 top-p,还有两个参数容易被忽略:最大输出 token 数和停止词。前者决定回答会不会被硬截断,后者决定模型在哪里停。把它们和采样参数分开记,排错时才知道是选错了词,还是根本没让模型说完。
temperature 干了什么
temperature 的做法很直接:在做 softmax 之前,把每个 logit 除以温度 T。T 小于 1,分数差距被放大,概率分布变尖,最高分的候选更容易被选中;T 大于 1,分数差距被压缩,分布变平,低分候选也有机会。T 趋近 0 时,最高分候选的概率趋近 1,效果接近贪心;T 很大时,分布趋近均匀,输出接近乱选。
它不改模型的知识,也不改事实判断,只是改变探索程度。低温让模型更保守,适合抽取、分类、格式转换;高温让输出更多样,适合头脑风暴、起标题、写文案。但高温也会放大模型本来就很弱的概率,让罕见词、错误搭配更容易出现。所谓「调高温度更有创造力」,准确说是「更愿意选低概率的词」,不等于质量更高。
还有一个边界:T 等于 0 不能直接代进公式,因为除以 0 没有意义。工程实现里通常特判成贪心,直接取 argmax。不同框架对极低温度的处理略有差异,有的设一个很小的下限,有的直接走贪心分支,调参时以实际接口文档为准。
top-k 与 top-p 的差别
top-k 是固定保留分数最高的 k 个候选,其余概率置零,再在剩下的候选里重新归一化采样。k 设成 1 就是贪心,k 设成词表大小就是不截断。它的优点是实现简单、行为可预期;缺点是这个 k 不随分布变化。分布很尖时,k 等于 50 会带进一堆几乎不可能的候选;分布很平时,k 等于 50 又可能砍掉真正需要的长尾。
top-p 也叫核采样,它保留累计概率达到 p 的最小候选集合。分布尖的时候,可能只留两三个词就够;分布平的时候,会自动留更多。p 设成 0.9,意思是把这些候选的概率加起来覆盖到九成,剩下的长尾直接丢掉。它比 top-k 更适应分布形状,代价是候选集大小不固定,某些实现里不够可控。
top-k
固定候选数量,逻辑简单,结果容易解释。适合对候选规模有明确预期的场景。分布形状变化大时,固定 k 要么太宽,要么太窄。
top-p
按累计概率截断,候选数量随分布自适应,通常更稳。适合大多数通用生成。p 调得太低会损失多样性,调得太高又等于没截断。
两者经常一起用:先按温度缩放,再 top-k,再 top-p。顺序在不同框架里可能不一样,有的先截断再缩放。顺序会改变结果,换框架或换服务商时,别假设参数同名就同义。最稳的办法是拿同一组固定输入做对照,确认行为再上线。
固定种子,为什么还是不一样
随机种子控制的是伪随机数生成器的序列。同一个种子、同一段程序、同一台机器,采样序列通常可以复现。但模型推理不止一个随机源:批处理顺序、浮点运算的累加顺序、不同 GPU 内核的实现、动态批大小,都可能让同一个输入算出略有差异的 logits。分数差一点点,采样结果就可能翻到另一个候选。
线上 API 还多一层:服务商可能在同一版本里换内核、做请求合并、在不同机房调度。你传了 seed,只能保证「尽量按这个随机序列走」,不能保证跨机器、跨时间完全一致。真正要求可复现的场景,得把温度设成 0、固定模型版本、固定输入,并且接受「近似一致」而不是逐字一致。
实操上,评测和回归测试应该记录完整的请求参数:模型名、版本、温度、top-p、最大 token 数、系统提示、种子。只存一句提示词,出了问题根本没法复现。线上日志里也别只存最终文本,把 finish_reason 和 token 用量一起记下来,截断和拒答才能区分。
开源框架里,种子通常只控制采样器;如果用了批量推理或张量并行,归约顺序仍可能变化。想在小范围做可复现实验,把批大小固定成 1、关掉动态批处理,比反复换种子有效。
实测:同一组 logits 采样 10 次
下面这段程序只用了标准库。它给六个候选词一组固定 logits,分别用四组温度与 top-p 组合采样十次,打印序列和出现次数。随机种子固定成 42,方便复现。
import math, random
tokens = ["直接答", "先解释", "反问", "拒绝", "含糊", "跑题"]
logits = [2.40, 1.70, 1.10, 0.55, 0.10, -0.60]
def softmax(xs):
m = max(xs)
e = [math.exp(x - m) for x in xs]
s = sum(e)
return [v / s for v in e]
def sample(temp, top_p, seed, times=10):
p = softmax([x / temp for x in logits])
order = sorted(range(len(p)), key=lambda i: p[i], reverse=True)
kept, acc = [], 0.0
for i in order:
kept.append(i)
acc += p[i]
if acc >= top_p:
break
kept.sort()
weights = [p[i] for i in kept]
total = sum(weights)
weights = [w / total for w in weights]
rng = random.Random(seed)
out = []
for _ in range(times):
r = rng.random()
acc = 0.0
for i, w in zip(kept, weights):
acc += w
if r < acc:
out.append(tokens[i])
break
return out
for temp, top_p in [(0.1, 1.0), (1.0, 0.9), (1.0, 0.5), (1.8, 0.9)]:
out = sample(temp, top_p, 42)
print("T=%.1f top-p=%.1f" % (temp, top_p))
print(" 序列:", " ".join(out))
counts = {}
for t in out:
counts[t] = counts.get(t, 0) + 1
print(" 次数:", " ".join("%s=%d" % (k, v) for k, v in
sorted(counts.items(), key=lambda kv: -kv[1])))
print("同一种子重复两次是否一致:")
print(" ", sample(1.0, 0.5, 42), sample(1.0, 0.5, 42))
print("换种子 7:", sample(1.0, 0.5, 7))
T=0.1 top-p=1.0
序列: 直接答 直接答 直接答 直接答 直接答 直接答 直接答 直接答 直接答 直接答
次数: 直接答=10
T=1.0 top-p=0.9
序列: 先解释 直接答 直接答 直接答 先解释 先解释 反问 直接答 直接答 直接答
次数: 直接答=6 先解释=3 反问=1
T=1.0 top-p=0.5
序列: 直接答 直接答 直接答 直接答 先解释 先解释 先解释 直接答 直接答 直接答
次数: 直接答=7 先解释=3
T=1.8 top-p=0.9
序列: 反问 直接答 直接答 直接答 反问 反问 拒绝 直接答 先解释 直接答
次数: 直接答=5 反问=3 拒绝=1 先解释=1
同一种子重复两次是否一致:
['直接答', '直接答', '直接答', '直接答', '先解释', '先解释', '先解释', '直接答', '直接答', '直接答'] ['直接答', '直接答', '直接答', '直接答', '先解释', '先解释', '先解释', '直接答', '直接答', '直接答']
换种子 7: ['直接答', '直接答', '直接答', '直接答', '直接答', '直接答', '直接答', '直接答', '直接答', '直接答']
四组参数看出四件事。第一,温度 0.1 时分布极尖,十次全落在最高分候选,表现跟贪心几乎一样。第二,温度 1.0、top-p 0.9 时,前三名都出现过,但最高分仍占六成,长尾被截掉。第三,同样温度下把 top-p 降到 0.5,候选集缩小,只出现两类,稳定性提高、多样性下降。第四,温度 1.8 时分布变平,连原本分数最低的「拒绝」也冒出来一次,这就是高温放大长尾的直接证据。
最后两行是复现性实验:同一个种子重复调用,结果完全一致;换种子 7,十次全部落在最高分。这说明种子只控制随机序列,不改变分布本身。种子换了,采样点换了,结果自然可能不同。
贪心与 beam,稳定但更死板
贪心解码每一步都取概率最高的 token,不掷骰子。它最稳定、最快,也最容易陷入重复:一旦某个短语被反复选中,后面的上下文会继续强化这个选择,最后整段话绕圈子。短答案、抽取式任务、格式转换适合贪心;开放写作不适合,读起来会像模板。
beam search 同时保留 k 条候选路径,每一步扩展后再按累计对数概率保留前 k 条,最后选总分最高的一条。它比贪心更可能找到整体分数高的句子,但计算量是 k 倍,而且倾向于保守、常见、短的回答。开放对话里 beam 往往显得呆板,翻译和短摘要里更合适。
还有一个细节:beam 比较不同长度的序列时,长句的对数概率天然更低,需要长度归一化,否则会偏向短答案。不同实现的归一化方式不同,结果也会有差异。用 beam 做评测时,把 beam 宽度和长度惩罚记进配置,否则换一套参数,分数就没法比。
选贪心还是采样,本质是选「要一个最像标准答案的输出」,还是「要一批有差异的候选」。抽取、分类、字段填充用贪心或低温采样;文案、命名、方案发散用采样。别用同一套参数覆盖所有任务,那只会让一边将就。
提示结构:角色、任务、约束、示例
一条能用的提示通常包含四块:角色,告诉模型以什么身份说话;任务,明确要它做什么;约束,限定长度、格式、范围;示例,给出输入输出的样子。四块不必按固定顺序,但任务和约束要放在模型容易注意到的位置,别埋在长段背景里。
指令冲突是最常见的问题。系统提示说「只回答技术问题」,用户问了一个业务问题,模型该听谁的?不同模型、不同训练数据的处理方式不一样,不能假设它天然懂优先级。稳妥的做法是把不可违背的规则写在系统提示,把本轮任务写在用户消息,冲突时用明确的话说明「如果不属于范围,直接拒答」。
负面指令也要小心。「不要输出解释」这类话,模型有时反而会提到「解释」这个词。更有效的是给正向替代:「只输出 JSON 对象,第一个字符是左花括号,最后一个字符是右花括号」。用分隔符把资料和指令分开,比如三引号或 XML 标签,能减少模型把资料里的句子当成命令。
提示里少用指代。把「上面那个」改成具体名词,模型不会回头确认你指哪一段。背景也不是越长越好,写满三屏反而稀释了任务本身。把必要的条件留下,其余删掉,模型更容易抓住重点。
结构化输出:别求它听话
「请只输出 JSON」是一句请求,不是约束。模型仍然可能加解释、加 Markdown 代码块、在末尾补一句客套话,因为它训练时见过太多「JSON 后面跟说明」的文本。靠提示词提高服从率可以做,但不能当作工程保证。
真正可靠的做法是约束解码:把 JSON Schema 或语法转成状态机,在每一步只允许合法的下一个 token,非法 token 的概率直接压到零。这样从生成机制上就不可能吐出花括号外的字符。很多推理框架和接口已经支持这种能力,具体支持范围要以文档为准。
即使有约束解码,也要做解析和校验。字段可能合法但语义不对,数字可能超出范围,枚举值可能拼错。校验失败后,把具体的错误信息拼进下一次请求,比如「字段 due_date 缺失,请补齐」,比单纯重试有效。重试要有上限,两次还不行就降级,别让用户等五个来回。
流式输出还有个坑:JSON 还没生成完时,缓冲区里是半截文本,不能直接扔给解析器。要么等结束再解析,要么用增量解析器按已完成的结构处理。前者牺牲首屏速度,后者实现复杂,选哪种取决于你的界面要不要边生成边展示。
出了问题先看哪里
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 同一提示今天对明天错 | 采样参数或模型版本变了 | 对比两次请求的温度、top-p、seed 与版本号 |
| 输出越来越重复 | 温度太低,或重复惩罚没开 | 把温度调到 0.7 附近,检查重复惩罚 |
| 答案天马行空 | 温度或 top-p 太高,长尾被放大 | 降低温度与 top-p,先跑固定评测集 |
| 要 JSON 却多一句话 | 只靠提示,没有约束解码 | 开启 schema 约束,或在解析前截取首个对象 |
| 固定 seed 仍不可复现 | 批处理、内核或浮点顺序不同 | 同机同版本复测,确认差异来源 |
| 指令互相打架 | 系统提示与用户消息优先级不清 | 把硬规则上移,冲突时给明确拒答话术 |
| 输出被截断在半句 | 最大 token 数不够,或 stop 配置错误 | 看 finish_reason 与输出 token 数 |
边界与代价
调参解决不了知识缺失。模型不知道某条新政策,温度再低也不会凭空知道;top-p 再高也只是从错误候选里挑。提示和解码能改善表达、稳定格式、控制多样性,但不能替代检索、微调和数据更新。分清问题的层次,才不会在参数上反复折腾。
约束解码也有代价。语法限制太紧,模型可能被迫选一个语义并不合适的 token,输出合法但质量下降;复杂 schema 会增加每步的校验开销,首 token 延迟变高。约束是保证格式的手段,不是提升内容质量的手段。内容对不对,仍然要靠提示、资料和评测。
重试不是免费的。每次失败重试都多一次输入 token 和一次延迟,约束越复杂、失败率越高,成本越接近翻倍。把重试次数、失败原因和降级路径写进监控,才能知道这套结构化输出到底稳不稳。
评测方法也要固定。同一组提示,每个配置跑多次,记录通过率和方差;只看一次输出,分不清是参数效果还是随机波动。线上做 A/B 时,把温度、top-p、模型版本一起锁定,只改一个变量,否则结论没法归因。
当天能验证的练习
- 把本文脚本里的种子改成 7、温度改成 0.7,重跑四组配置,记录出现次数与原来差多少。
- 拿你线上的一条提示,分别用温度 0、0.7、1.2 跑同一批五个问题,人工标对错和格式合格率。
- 构造一个包含「不要解释」的提示,观察模型是否仍然提到解释,再改成正向约束对比。
- 给一个三字段的 JSON schema,先用纯提示、再用约束解码,各跑十次,统计解析失败次数。
- 记录一次请求的 finish_reason、输入输出 token 数和耗时,判断是否存在截断或异常重试。
提示和解码能把一次回答调稳,但它们管不了模型知不知道、说得对不对。下一篇从「编造一条不存在的规范条款」讲起,拆开幻觉的机制、知识截止、评测污染和成本核算,最后落到哪些场景不该用大模型。