一个识别模型在内部测试集上跑分很漂亮,字错误率只有几个点,团队准备上线。接到客服录音以后,投诉集中在同一句话:听不清。回放才发现,电话窄带、背景空调声、用户带口音,还有大量订单号和地名,测试集里几乎没有这些。离线那套干净朗读音频的分数,和线上根本不是一件事。

另一个例子是合成。评测报告写着 MOS 四点五,听感确实不错,业务却不用。原因是首字延迟长到用户等不及,单路并发要占一张卡,遇到生僻词还会读错。评分只测了「安静环境下像不像人」,没测延迟、成本、稳定性,也没测业务词汇。

指标本身没有错,错在把指标当成了体验。这篇讲三件事:识别和合成的分数怎么算,MOS 这种主观分怎么采,部署时的延迟和成本怎么算账,最后说清离线批量和流式到底怎么选。

现象:分数和投诉对不上

离线评测通常是批量的:一整段音频送进去,模型可以看完整句,语言模型可以重打分,不用考虑并发和排队。测试集往往是朗读、近场、安静、标准口音,参考文本也经过整理。这样测出来的分数,衡量的是「在这批数据上有多准」。

线上是另一套条件:电话窄带砍掉高频,远场有混响,背景有键盘和空调,用户会改口、会停顿、会说方言,专业词和订单号没人给你标注。模型还要流式出字,只能看有限的未来。条件变了,分数自然不能直接搬。

更麻烦的是平均值会掩盖长尾。整体错误率降了,但人名、地名、数字、订单号这些关键实体错得更多,用户的体感就是「听不清、不能用」。一句里错一个订单号,整句的可用性就是零,但在 WER 里它只算一次替换。

所以看评测要先问三个问题:这批数据像不像线上,这个指标加权了什么,部署形态和测试时是不是一回事。三个里有一个不对,分数就只能当参考。

WER:替换、删除、插入与编辑距离

WER 是 word error rate,词错误率。它先把参考文本和识别结果都切成词,再算把识别结果改成参考文本需要多少步编辑,最后除以参考词数。编辑有三种:替换,把一个词换成另一个;删除,识别多了一个参考里没有的词;插入,识别漏了参考里的词。公式是替换数加删除数加插入数,再除以参考词数。

中文常按字算,叫 CER,字符错误率。按字算的好处是不用先分词,口径统一,跨模型可比;坏处是每个字权重一样,「的」错一个和订单号错一个,分数上没区别。按词算更贴近语义,但分词器不同,分母就不同,两个团队的 WER 可能没法直接比。

算编辑距离用动态规划:一行一行填表,每个格子表示「参考的前 i 个词变成识别的前 j 个词,最少要几步」。相同就继承左上角,不同就取左上、上、左三个方向加一的最小值。填完以后再从右下角往回走,记录每一步是替换、删除还是插入,才能得到三个计数,而不只是一个总数。

归一化要在算之前定死。大小写、全半角、标点、数字写法、空格,是否算错,都要有明确规则。中文里「二零二六」和「2026」算不算同一个,取决于业务;如果算,就要在两边都做数字归一化。把同音字也算对,是另一回事,除非业务明确允许。规则不定死,同一批音频每次跑出来的分数都可能不一样。

举个最小的例子:参考「今天下午三点开会」八个字,识别成「今天下午三点开回」,只有最后一个字替换,编辑距离是一,CER 是八分之一,也就是百分之十二点五。如果识别成「今天下午三点」,那两个字被删除;如果识别成「今天下午三点开会了」,那是插入一个字。三种错误的业务含义完全不同,但总数可能一样。

本机跑一遍:手写编辑距离

下面这段程序只用 Python 标准库,手写动态规划、回溯和三项计数。它按字处理,所以输出的是 CER;要做 WER,把输入换成词序列即可。三组参考和识别结果都是我手写的例子,输出是实际运行结果。

def edit(ref, hyp):
    n, m = len(ref), len(hyp)
    dp = [[0] * (m + 1) for _ in range(n + 1)]
    for i in range(n + 1):
        dp[i][0] = i
    for j in range(m + 1):
        dp[0][j] = j
    for i in range(1, n + 1):
        for j in range(1, m + 1):
            if ref[i - 1] == hyp[j - 1]:
                dp[i][j] = dp[i - 1][j - 1]
            else:
                dp[i][j] = 1 + min(dp[i - 1][j - 1], dp[i - 1][j], dp[i][j - 1])

    i, j = n, m
    sub = dele = ins = 0
    ops = []
    while i > 0 or j > 0:
        if i > 0 and j > 0 and ref[i - 1] == hyp[j - 1]:
            i -= 1
            j -= 1
        elif i > 0 and j > 0 and dp[i][j] == dp[i - 1][j - 1] + 1:
            sub += 1
            ops.append("替换 " + ref[i - 1] + " " + hyp[j - 1])
            i -= 1
            j -= 1
        elif i > 0 and dp[i][j] == dp[i - 1][j] + 1:
            dele += 1
            ops.append("删除 " + ref[i - 1])
            i -= 1
        else:
            ins += 1
            ops.append("插入 " + hyp[j - 1])
            j -= 1
    return sub, dele, ins, dp[n][m], ops[::-1]


def report(name, ref, hyp):
    sub, dele, ins, dist, ops = edit(ref, hyp)
    rate = dist / len(ref) * 100
    print(name)
    print(f"  参考: {ref}  ({len(ref)} 字)")
    print(f"  识别: {hyp}")
    print(f"  替换 {sub} 次,删除 {dele} 次,插入 {ins} 次,编辑距离 {dist}")
    print(f"  CER = {dist}/{len(ref)} = {rate:.2f}%")
    print("  操作: " + " | ".join(ops))
    print()


pairs = [
    ("句一", "今天下午三点开会", "今天下午三点开回"),
    ("句二", "请把订单号发给我", "把订单号发给我"),
    ("句三", "明天可能下雨", "明天可能下语了"),
]
total_dist = 0
total_len = 0
errors = 0
for name, ref, hyp in pairs:
    d, n = report(name, ref, hyp)
    total_dist += d
    total_len += n
    if d > 0:
        errors += 1
print(f"合计: 编辑距离 {total_dist},参考总字数 {total_len},"
      f"整体 CER = {total_dist / total_len * 100:.2f}%")
print(f"句错误率 SER = {errors}/{len(pairs)} = {errors / len(pairs) * 100:.2f}%")
句一
  参考: 今天下午三点开会  (8 字)
  识别: 今天下午三点开回
  替换 1 次,删除 0 次,插入 0 次,编辑距离 1
  CER = 1/8 = 12.50%
  操作: 替换 会 回

句二
  参考: 请把订单号发给我  (8 字)
  识别: 把订单号发给我
  替换 0 次,删除 1 次,插入 0 次,编辑距离 1
  CER = 1/8 = 12.50%
  操作: 删除 请

句三
  参考: 明天可能下雨  (6 字)
  识别: 明天可能下语了
  替换 1 次,删除 0 次,插入 1 次,编辑距离 2
  CER = 2/6 = 33.33%
  操作: 插入 语 | 替换 雨 了

合计: 编辑距离 4,参考总字数 22,整体 CER = 18.18%
句错误率 SER = 3/3 = 100.00%

第一句是替换,第二句是删除开头一个字,第三句动态规划选了先插入再替换。三项计数比总数有用:同样是错误,删除会让后面的词整体前移,插入会多出一个词,替换只影响一个位置,对下游抽取、对齐、校对的影响完全不同。线上排查时,先看哪一类错误在涨,比只看 CER 更快找到原因。

最后一行说明句错误率:三句里只要有一处错误,这句就算错,所以是三句全错。CER 只有百分之十八,SER 已经百分之百。很多业务关心的不是字准不准,而是这句能不能直接用;这时候 SER 和实体错误率比 CER 更贴近体感。

句错误率与实体错误:哪些错更贵

SER 是 sentence error rate,句错误率。一句话里只要有替换、删除或插入,整句就算错。它比 WER 严格,也更接近「这句话能不能交付」的判断。做字幕、做会议纪要、做质检,一句错一个关键人名,整句可能要重听,SER 能把这个代价体现出来。

实体错误率是更细的一层。人名、地名、机构名、订单号、金额、日期、型号,这些实体错一个,后果可能比错三个虚词严重。可以单独统计实体的召回和准确率,也可以给不同词加权,算加权 WER。权重怎么定,要和业务一起定,不能拍脑袋。

还有标点和数字格式。识别结果没有标点,可读性会明显下降;数字写成「一二三」而不是「123」,下游抽取又要多做一步。这些不一定算进 WER,但会算进「可用率」。评测时要把后处理链一起测,不能只测声学模型。

置信度也值得看。模型给每个结果一个置信度,低置信度的片段可以转人工、可以标黄、可以拒识。只报一个平均错误率,看不出哪些片段需要人工;把错误率和置信度分布放在一起,才知道该把人力花在哪里。

MOS:主观评分怎么采才算数

MOS 是 mean opinion score,平均主观意见分。听测者听一段音频,按五分制打分,通常一分是很差,五分是几乎听不出合成痕迹。把所有人和所有样本的分数平均,得到一个数。它衡量的是听感,不是准确率;识别有 WER,合成更常用 MOS。

采 MOS 有一套基本要求。听测者要有一定数量,通常十几到几十人;每个样本要多人重复听,排除明显不走心的评分;要控制环境、设备和音量;要给统一的评分说明和锚点样本。最后报的不只是平均值,还要报置信区间和样本数。只写「MOS 四点五」不写怎么采,这个数没有意义。

还有 CMOS 和 MUSHRA。CMOS 是对比打分,给两个样本,问哪个更好、好多少,适合比较两个模型;MUSHRA 一次给多个样本加一个隐藏参考,适合多系统对比。它们比绝对 MOS 更稳定,因为人做相对判断比绝对打分容易。

那为什么 MOS 四点五的模型业务不用?因为听测集可能全是朗读、安静、近场、同一个说话人,测的是「像不像人读课文」;业务要的是电话、噪声、多人、专业词,还要看首字延迟、并发成本、稳定性。分数高只说明它在那个测试集上讨人喜欢,不说明它在你的场景里能用。

MOS 也不能跨测试集直接比。不同的人、不同的样本、不同的评分说明,出来的分数不可比。论文里的四点五和你们内部测的四点五,很可能不是一回事。本文没有做听测,所有 MOS 相关的具体分数都未在本机实测。

RTF、首字延迟、并发与 GPU 成本账

RTF 是 real time factor,实时率,等于处理耗时除以音频时长。小于一表示比实时快,大于一表示处理不过来。它适合衡量吞吐:一段一小时的音频,RTF 零点一,理论上十分钟处理完。但它不是延迟,RTF 再低,如果系统要等一大块音频才开工,用户还是要等。

流式要看首字延迟和尾字延迟。首字延迟从用户开口算到第一个字出现,至少包含传输、攒块、等待右上下文、模型计算、结果回传、界面渲染。尾字延迟还要加端点确认和重打分。只报模型前向耗时,通常会得出过于乐观的结论。

并发可以粗略用 RTF 的倒数估算:单卡 RTF 零点一,理论上能跑十路实时。但这是理想值,要留余量给排队、批处理抖动、显存和预处理。实际并发要压测,不能拿单条音频的数字乘出来。batch 开大能提高吞吐,但会拉高首字延迟,流式场景要单独调。

成本账可以这么算:假设一张 GPU 每小时的成本是 C 元,模型在目标卡上的 RTF 是 r,那么单卡理论上每小时能处理的音频小时数是 1/r,每音频小时的成本大约是 C 乘以 r。这里的 C 要按实际采购和折旧填,r 要在目标硬件上实测,本文不给具体价格和实测值。GPU 训练、显存占用、真实并发都未在本机实测。

除了卡钱,还有存储、带宽、运维和人力。离线批量可以把 batch 拉满、把卡跑满,单位成本低;流式要留空闲容量应对峰值,单位成本高。算账时要把峰值和平均分开,不然平时够用,一到高峰就排队。

离线批量与流式:不是同一个产品

离线批量适合音频已经录完、用户不等着看的场景:会议录音转写、客服质检、字幕后期、内容审核。它可以看完整句,用双向模型,用大语言模型重打分,把 batch 拉满,吞吐高、单位成本低。延迟不重要,准确率和可读性优先。

流式适合用户边说边等的场景:实时字幕、语音助手、电话机器人、同声传译。它只能看有限未来,要用单向或分块模型,要控制首字延迟,要为峰值留容量。准确率通常比离线低,稳定性也更难,因为 partial 会跳变。

同一个模型可以有两种模式,但参数和评测要分开。拿离线的 WER 去承诺流式的效果,是常见的错误;拿流式的延迟去要求离线批量,也没有必要。上线前要分别建测试集、分别定指标、分别压测。

也有混合做法:先流式出草稿,让用户马上看到;音频结束后再用离线模型精修,替换掉草稿。这样首字延迟低,最终准确率也高,代价是两套计算和一次结果替换。替换时要注意下游有没有已经消费了草稿,别让已经发出的消息再改。

出了问题先查哪一项

分数和体感对不上,先别急着换模型。下面这张表把常见现象、原因和第一步检查列在一起,大部分问题在评测口径或部署条件上,不在模型结构上。

现象真实原因第一步查什么
离线分数好,线上投诉听不清测试集与真实场景分布不一致对比噪声、口音、麦克风、远场的分布
WER 正常,用户却说不能用实体或关键词错,标点缺失单独统计人名、数字、订单号的错误率
CER 和 WER 差很多分词口径或文本归一化不一致固定分词器与归一化规则,重跑两边
MOS 很高,业务不用听测集是朗读安静集,没测延迟和成本用业务音频做 CMOS,补测首字延迟
首字延迟高块太大、右上下文太长,或排队打时间线,拆成传输、攒块、计算、渲染
单路成本高batch 小、GPU 利用率低、模型过大算 RTF 与并发,压测不同 batch
长音频尾部越来越差缓存截断、内存增长、分段边界看分段长度与缓存上限,对齐首尾
同一模型两批分数波动解码随机性,或评测脚本版本不一致固定随机种子与评测版本,重跑基线
识别结果没有标点、可读性差后处理链缺标点或数字格式化检查数字格式化与标点模型是否接上

排查顺序建议先看数据,再看口径,最后看模型。把线上抽样音频和测试集放在一起,比一比信噪比、说话人、口音、领域词,很多「模型不行」的结论会变成「测试集不像线上」。口径问题也一样,分词器、归一化、标点处理任一不同,分数就不可比。

确认数据和口径都没问题,再去动模型。动模型也要有对照:同一测试集、同一后处理、同一解码参数,一次只改一个变量。否则分数涨了,你也不知道是哪一步带来的。

边界与代价

WER 和 CER 是代理指标,不是体验。它们对所有词一视同仁,「今天」错成「明天」和「的」错成「得」算一样的代价,但业务后果可能差很远。它们也不关心标点、格式、可读性,一个没有标点的正确转写,WER 可能为零,用户却读不下去。

MOS 的代价是贵、慢、主观。采一轮要找人、找设备、做样本、做筛除,周期以天计;不同批次之间还不可直接比。自动的感知指标可以降低成本,但它们是从数据里学的估计,和真人听感有偏差,适不适用你的场景,待确认。

评测集本身也会过拟合。模型在测试集上调了很久,分数会虚高;测试集和训练集有重叠,分数更没有意义。要留出真实的线上抽样集,按时间、场景、设备分层;最好再留一批对抗样本,专门测口音、噪声、远场、专业词。

成本和延迟同样不能靠单点数字承诺。实验室的 RTF、batch 一的结果、理想网络下的首字延迟,都不能直接拿去报给业务。要在目标设备、目标网络、目标并发下量,留出余量。没有一套评测能覆盖所有场景,只有和业务对齐的那一套。

当天能验证的练习

  1. 抽二十句真实业务音频,人工转写做参考,分别算 CER 和 WER,再和离线测试集的结果对比。
  2. 在编辑距离脚本里加一条数字归一化规则,把「二零二六」和「2026」统一,重跑看分数变化。
  3. 统计一百条识别结果里的实体错误,按人名、地名、数字、订单号分类,算出各自的错误占比。
  4. 录一次真实请求,把首字延迟拆成传输、攒块、计算、渲染四段,记录每一段的耗时。
  5. 用假设的 GPU 单价和 RTF,算一条十分钟音频在离线批量和流式下的成本,把假设写在纸面上。

这一组语音文章从波形、特征、识别、流式、合成、声码器一路讲到评测,收口其实只有一句:每个指标背后都有定义、测试集和部署条件。看到分数先问它测的是什么,再问它和你的场景差多远。指标能帮你做决策,但不能替你做决策。