客服录音转写上线第一周,产品经理拿同一段通话做对比:在安静办公室录的样本,转写基本能看;换成真实工单,带一点方言、空调声、两个人抢话,结果把「退款申请」写成「退换申请」,把用户姓名写成同音的另一个字。更奇怪的是,有些句子开头直接少了一个字,结尾断在半句。

第一反应是模型不够大,于是换更大的声学模型、加更多数据,指标涨了一点,错误类型却没变。把音频切出来听,才发现开头的「喂」被端点检测切掉了;录音其实是 8kHz,训练数据是 16kHz,重采样时又没做抗混叠;产品名不在词典里,解码器只能找发音相近的常见词;语言模型太强,把一段含糊的音频「修正」成了一个更通顺但错误的句子。

这些问题分散在链路的四个不同位置。只盯着声学模型,永远修不完。这篇把从声音到文字的几段拆开,每段负责什么、出错时表现成什么样、先用什么现象定位。最后给一个排查顺序,避免上来就换模型。

一条链路,六段活

一条完整的识别链路,粗分是六段:前端处理、特征提取、声学模型、解码、后处理,以及最外面的业务适配。音频进来先做降噪、端点检测、去混响;然后按上一篇文章的规矩切帧、算特征;声学模型给每一帧打分,说它像哪个音;解码器结合发音词典和语言模型,在所有可能的词序列里找一条最合理的;后处理补标点、数字、大小写;业务层再加热词、替换规则。

从一段音频到一行文字
前端:降噪、端点、去混响
特征:分帧、频谱、CMVN
声学模型:逐帧打分
解码:词典、语言模型、beam
后处理:标点、数字、格式
业务适配:热词、替换

每一段的输出都是下一段的输入,所以错误会顺着链往后传。前端把首字切了,声学模型再强也补不回来;词典里没有这个词,语言模型再准也只能选一个发音相近的词;解码的 beam 太窄,正确的假设在第一遍就被剪掉,后面重打分也没机会。

判断问题在哪一段,不能只看最终文本。要把中间结果拿出来:端点检测的时间戳、每一帧的后验、解码的候选列表、语言模型的打分。没有这些,只能猜。很多团队把识别当成一个黑盒接口,出问题只能换供应商,原因就是中间结果没有留下来。

前端:让模型看到「完整且熟悉」的音频

前端处理的目标是让后面的模型看到干净、完整、和训练数据相似的音频。它包含几件事,顺序和参数都有讲究。

降噪最常见的是谱减和维纳滤波,核心都是估计噪声的频谱,再从带噪频谱里减掉。这里最容易犯的错是降得太狠:噪声没了,语音的弱辅音也被削掉,听起来干净,识别反而更差。另一个坑是训练数据没有做过同样的降噪,模型没见过这种处理后的频谱分布。

端点检测,简称 VAD,判断哪一段有人说话。简单做法看短时能量和过零率,复杂一点用小模型。它有两个参数很关键:起始阈值和结束后的等待时间。阈值太高,开头的轻声和结尾的弱音会被切掉;等待时间太短,说话中间的停顿会被当成结束,一句话被切成两半。

去混响和回声消除针对的是另一类问题。会议室里声音经墙壁反射,同一句话会拖尾;开视频会时,扬声器的声音又被麦克风收进去。回声消除需要参考播放信号,双讲时不能把用户的声音也压掉。这些处理都有副作用,改完必须用真实场景的录音做对比,不能只看降噪后的波形好不好看。

前端不是越干净越好。识别模型是在某种音频分布上训练的,前端把分布改得太多,等于换了一个测试集。线上换降噪算法,要和识别一起评估,而不是单独看降噪指标。

特征:难的不是算法,是两边一致

特征这一段和上一篇讲的是同一套东西:重采样到统一采样率、去直流、预加重、25 毫秒分帧、加窗、算 log Mel 或 MFCC,再做 CMVN。它本身不复杂,难在训练和推理必须完全一致。

常见的不一致有几种:训练用 16kHz,线上传进来 8kHz 没重采样;训练用 Hamming 窗,推理用了矩形窗;训练用整句统计量做 CMVN,流式推理用滑动窗口;训练把幅度归一化到负一到一,推理还是 16bit 整数。每一种都会让特征分布偏移,表现成「模型突然变笨」。

端到端模型可以直接吃波形,但这不代表特征这段可以随便。波形也要归一化、要去掉直流、要统一采样率。有些模型内部第一层就是可学习的滤波器组,省掉了手工 Mel,但训练数据量和正则要跟上,否则不如手工特征稳。

还有一个容易忽略的点是预加重。它把高频抬起来,补偿语音在高频的能量衰减,对辅音有帮助。但预加重的系数、有没有去直流、分帧从第几个点开始,这些细节在训练和推理之间差一点,短句上看不出来,长句上会累积成偏差。

声学模型:这一小段声音像哪个音

声学模型解决的是「这一小段声音像哪个音」。输入是一串帧,输出是每一帧对应各个建模单元的概率。建模单元可以是音素、声母韵母、汉字、子词,甚至是字节。单元越细,词表越小,但序列越长;单元越粗,序列越短,但词表变大、数据稀疏。

传统混合系统用 HMM 做声学模型,每个音素拆成几个状态,帧在状态之间转移,深度网络负责给每一帧算发射概率。它需要强制对齐,也就是知道每个音素从第几帧到第几帧。对齐靠工具迭代得到,标注只有整句文本时也能跑,但流程长,对齐错了后面全错。

CTC 换了一种思路:在词表里加一个 blank,允许模型在任意帧输出符号或什么都不输出,最后把重复的符号合并、去掉 blank,就得到文本。它不需要预先知道每个字在哪一帧,只要整句文本对得上。代价是它假设每一帧的输出现彼此独立,输出的尖峰也可能很碎,后面要专门处理。

注意力模型更像翻译:编码器把整段音频压成一串表示,解码器一个字一个字地生成,每一步用注意力决定看哪几帧。它擅长利用上下文,句子更通顺,但自回归意味着要等前面的字生成完,延迟比 CTC 高;注意力也可能看错位置,出现漏字、重复、凭空补词。这三种结构的细节和代价,下一篇会单独拆。

解码:词典、语言模型和 beam search

声学模型只给每一帧打分,真正决定输出哪句话的是解码器。解码要同时考虑三件事:这段声音像什么,这串词在语言里常不常见,以及词序列的长度和发音词典是否合法。

发音词典把词映射成音素序列。中文可以用拼音或声韵母,英文用音素。词典里没有的词叫集外词,解码器只能拿发音相近的词替代,人名、产品名、缩写最容易错。解决办法是加热词表、允许子词建模,或者在解码时给这些词额外的分数。

语言模型负责「这句话像不像人话」。n-gram 统计前几个词的共现,神经网络语言模型用更长的上下文。它的权重是一个需要调的旋钮:太弱,解码器会输出同音但不成词的串;太强,它会把含糊的音频修正成一个常见但错误的句子。很多「听起来明明说的是 A,结果输出 B」的问题,根子在语言模型。

beam search 是在所有可能序列里做近似搜索。beam 宽表示每一步保留多少个候选。宽一点,正确路径不容易被剪掉,但计算和内存上去;窄一点,快,但容易错过。打分通常是声学分数、语言模型分数、插入惩罚的加权和。传统系统把词典、语言模型和声学模型编译成一张加权有限状态转换器,简称 WFST,把搜索变成图上的路径问题。

插入惩罚也值得单独说。语言模型倾向于奖励短句,因为短句的概率乘积更大;不加约束,解码器会倾向于少输出字,表现成漏字。插入惩罚给每多输出一个词加一点奖励,用来平衡长度。这个值调过头,又会鼓励模型多吐字,出现重复。

传统混合系统与端到端系统

传统混合系统和端到端系统不是简单的「新替代旧」。它们的可调点、失败方式、数据需求都不一样。

传统混合系统

声学、词典、语言模型分开训练,每一段都能单独换、单独看。改一个产品名,加进词典和热词就行。缺点是流程长,强制对齐、特征、解码器版本都要对齐,错误会在段与段之间互相甩锅。

端到端系统

一个网络直接从音频映射到文本,联合优化,省掉了对齐和大部分手工组件。数据足够时效果通常更稳,口音和噪声的鲁棒性也更好。缺点是黑盒,热词难加,容易产生幻觉,输出一段音频里根本没说的通顺句子;领域迁移也更依赖数据。

工程上常见的是折中:端到端做第一遍,再用外部语言模型或更大的模型重打分;热词通过上下文偏置、浅融合或者替换规则加进去。没有哪种方案适合所有场景,关键看你能拿到多少标注、是否能接受不可解释的失败。

还有一个现实差别是迭代速度。混合系统改词典、改语言模型可以当天生效;端到端改一个词,往往要重新训练或至少重新适配。产品名、人名、地名变化快的业务,这一点比单纯的准确率更重要。

置信度、时间戳与重打分

置信度是「这个结果有多可信」的分数。它可以从每一帧的后验概率平均得到,也可以从解码路径的分数归一化得到。不同引擎的置信度不可直接比较,甚至同一引擎不同版本也不能。它的正确用法是排序和设阈值:低置信度的片段转人工、触发二次识别,而不是拿一个固定数值当准确率。

时间戳是每个字或词对应的起止时间。CTC 的尖峰可以直接给出粗略位置,混合系统靠状态对齐,端到端模型则要额外训练一个对齐头或用强制对齐工具。字幕、会议纪要、质检都依赖时间戳;时间戳偏了,用户会觉得字幕和声音不同步,即使文字本身是对的。

重打分是两遍解码:第一遍用小的 beam 快速出候选,第二遍用更强的语言模型或更大的声学模型给候选重新打分。它能明显改善最终文本,代价是延迟和算力。流式场景里,重打分通常只对已经稳定的片段做,或者等一句话结束后再做,不能无限等。

置信度和时间戳最好一起看。一个字时间戳很准、置信度很低,往往是同音混淆;时间戳本身飘忽、置信度也低,可能是端点或切分出了问题。只看文本,分不清这两种情况。

错误归因:从前往后查

遇到识别错误,先别改模型。按链路从前往后查,顺序是音频与端点、特征、声学、语言模型、后处理。前一段的问题没排除,后面调什么都是碰运气。

先听原始音频:有没有削波、有没有强烈背景噪声、采样率对不对、声道是不是空的。再看端点:把 VAD 判定的起止时间画出来,确认首字和尾字有没有被切。很多「模型漏字」其实是端点切掉了。

现象真实原因第一步查什么
句首少字VAD 起点阈值过高,或前置静音被当成噪声切掉打印端点时间,听切点前后各半秒
句尾断掉结束等待时间太短,尾音被提前截断加长尾静音等待,看是否补回
整句被改成通顺的常见句语言模型权重过强降低语言模型权重,看候选列表变化
人名、产品名总错词典里没有该词,属于集外词查词典命中情况,补热词或子词
数字、单位格式错后处理规则或文本归一化问题对比后处理前后的文本
带噪环境明显变差前端降噪与训练数据不匹配对比降噪前后识别结果,做 A/B
8kHz 录音效果差采样率不一致,或重采样缺抗混叠查文件头与整条重采样链路
流式与离线结果不一致分块、右上下文、CMVN 统计不同固定参数,逐帧对齐两边输出

如果前面都正常,再看声学模型:把错词附近的帧后验打印出来,看模型是不是把两个音混淆了。最后才看语言模型和解码参数。这个顺序能把「换模型」从第一反应变成最后手段。

归因时还要注意样本量。听十句就下结论,很容易被偶然样本带偏。至少分场景各抽一批:安静、噪声、方言、远场、多人。每一类单独统计错误类型,才能看出是全局问题还是某个场景的问题。

边界与代价

这条链路每一段都有代价。前端降噪会损伤弱语音,VAD 会切掉边界,特征会丢相位,声学模型有训练分布,语言模型有偏见,重打分有延迟。把它们叠在一起,最终效果不是某一段的分数能代表的。

跨数据集的错误率不能直接比较。不同的测试集、不同的文本归一化规则、不同的分词方式,都会让数字变。看到「某模型错误率降低多少」时,先确认测试集、对齐方式和评分脚本一致,否则没有意义。本文不给具体错误率数字,因为本机没有可复现的测试条件。

方言、口音、远场、多人重叠,是另一类边界。通用模型在标准普通话上表现稳定,换到强方言可能断崖式下降;这不是调一个参数能解决的,需要领域数据、口音词典或者专门的适配。

隐私和合规也在链路里。音频可能包含个人信息,转写文本可能包含敏感内容;日志、缓存、第三方接口都要想清楚保存多久、谁能看。

当天能验证的练习

  1. 拿一段 16kHz 录音,手动降成 8kHz 再升回 16kHz,比较识别结果和置信度,观察重采样链路的影响。
  2. 在句首加 1 秒静音,把 VAD 起点阈值调高,观察首字是否被切;再调低,看是否引入噪声段。
  3. 把同一句话的开头剪掉 100 毫秒,记录是哪个字错,判断问题在端点还是声学模型。
  4. 选五个产品名,查它们是否在词典里;如果不在,记录解码器给出了什么替代词。
  5. 对一段带空调噪声的录音,比较降噪前后的识别文本,把错误分成漏字、同音替换、句子被改写三类。

链路走完,最黑盒的一段是声学模型。它到底怎么把帧变成音,为什么有的方案需要逐帧对齐、有的不需要,CTC 的 blank 在做什么,注意力又凭什么自己找到位置。下一篇从「标注没对齐,帧和字对不上」这个具体困境讲起,把 HMM、CTC 和注意力三种做法拆开对比。