手里有一百小时录音,每一段都配了整句文本,没有逐字的时间戳。想训练一个帧级分类器,问题立刻来了:一句话三秒,按 10 毫秒一帧是三百帧;文本只有二十个字。哪一帧对应哪个字?按字数平均分,停顿、拖音、语速变化全乱;请人手工标,标了两百句就发现根本标不完。
这就是声学模型最原始的矛盾:音频很长,标签很短,而且不知道边界在哪。强行给每一帧贴一个标签,等于假造了一批监督信号,模型学到的是一套错误的对应关系。更麻烦的是,同一个人说同一个字,语速快时可能只占三帧,慢时能占十帧;边界还会前后漂移。
HMM、CTC 和注意力,本质上是在用三种不同方式回答同一个问题:既然对齐是未知的,那就不要假装知道,而是把对齐当成隐变量,或者让模型自己学。理解这一点,比记住三个缩写有用得多。这篇把三种做法拆开,讲清它们各自假设了什么、优化了什么、又在什么地方会出问题。
长度对不上,是所有麻烦的起点
把一段音频的特征序列记作长度 T,把文本记作长度 U。通常 T 远大于 U,三百帧对二十个字很常见。监督学习需要每个输入都有输出,但文本只告诉我们整句是什么,没有告诉我们每个字从第几帧开始。这个「多对一」的结构,就是全部问题的来源。
最直接的想法是硬对齐:先猜一个边界,把帧分给字,再训练。猜边界可以靠规则,比如按字数平均分;也可以靠一个已经能用的模型,用它的对齐结果反过来教新模型。硬对齐的好处是简单,能直接套用帧级交叉熵;坏处是一旦猜错,错误会被固化,模型越训越偏。
另外两条路都不猜边界。一条是把所有可能的对齐都枚举出来,按概率加权,让模型自己决定哪种对齐更合理,这是 CTC 的思路。另一条是让模型在生成每个字时,自己计算应该看哪几帧,这是注意力的思路。HMM 介于两者之间:它有明确的状态和转移,但训练时用期望而不是硬标签来更新参数。
这三种方式对应三种训练目标。硬对齐优化的是「给定边界时的逐帧似然」;CTC 优化的是「整句文本的边缘概率」;注意力优化的是「给定音频时逐字生成的条件概率」。目标不同,失败方式也不同。
HMM:用状态转移把帧串起来
隐马尔可夫模型,简称 HMM,是早期语音识别的主力。它假设每个音素由几个状态组成,比如三个状态分别对应音素的开始、中间、结尾。每一帧处在一个状态,帧与帧之间按转移概率跳到下一个状态,同一个状态也可以停留。每个状态有一个发射概率,表示这一帧的特征由这个状态产生的可能性。
把一句话的所有音素状态按发音词典串起来,就得到一条状态链。给定特征序列,解码就是找一条最可能的状态路径;这条路径同时给出了每个音素、每个字的起止帧,也就是对齐。找最可能路径用 Viterbi 算法,算所有路径的总概率用前向算法,训练参数用 Baum-Welch,也就是期望最大化。
HMM 适合序列,是因为它把「时间」写进了模型:状态转移天然表达「下一步只能去某个状态」的约束,帧与帧之间的顺序不用额外编码。它也有明确的概率解释,对齐、置信度、词图都能从同一套框架里拿出来。混合系统里,深度网络通常只替换发射概率,状态转移和对齐仍然由 HMM 负责。
代价来自它的假设。一阶马尔可夫假设认为下一帧只依赖当前状态,和更早的历史无关;状态停留时间服从几何分布,也就是停留越久概率越小,这和真实语音里一个音可以拖很长并不吻合。为了缓解,工程上会给每个状态加自环、用多个状态拼长音,但都是补丁。另一个代价是它需要发音词典和状态拓扑,换语言、换领域都要重新配。
还有训练流程的代价。HMM 的发射概率和对齐是交替优化的,先对齐再训练,再对齐再训练;如果初始对齐很差,后面容易卡在局部最优。强制对齐工具的对齐质量直接决定上限,文本里有错字、有停顿标记不一致,对齐就会偏。很多老系统的错误,最后都追到对齐文件上。
CTC:加一个 blank,把所有对齐都算进来
连接时序分类,简称 CTC,换了一个很巧的角度。它不要求知道每个字在哪一帧,而是让模型在每一帧输出一个符号,符号集里加一个特殊的 blank,表示「这一帧没有输出」。然后定义一条折叠规则:先把连续重复的符号合并成一个,再把 blank 删掉,剩下的就是文本。
折叠规则要仔细理解。路径 a、a、a 折叠成 a;路径 a、blank、a 折叠成 a、a,也就是两个 a,因为 blank 把两个 a 隔开了。路径 a、b、blank 折叠成 a、b。blank 的作用不是「静音」,而是「分隔」:没有它,连续两个相同的字就无法和拖长的一个字区分。这也是 CTC 里 blank 不能省的原因。
训练时,CTC 不选某一条路径,而是把所有能折叠成目标文本的路径概率加起来,用这整句的概率做目标。直接枚举路径是指数级的,实际用前向算法递推,复杂度与帧数乘文本长度成正比。因为对齐被边缘化了,所以不需要强制对齐,也不需要发音词典;给一段音频和一句文本,就能算损失。
推理时常用两种办法。贪心解码是每一帧取概率最大的符号,再折叠;它快,但每一帧独立取最大,可能错过整体更优的路径。前缀 beam search 则在每一步保留若干个前缀假设,同时考虑「扩展一个新符号」「重复当前符号」「输出 blank」几种情况,最后按整条路径的概率排序。
CTC 的代价是条件独立假设:给定输入,它假设每一帧的输出彼此独立。这让它难以建模语言层面的上下文,也让输出的尖峰容易碎。为了让整句概率高,模型往往会把正确的符号压到很窄的几帧上,形成尖峰;尖峰之间的帧大量输出 blank。blank 占比过高,训练会不稳定;尖峰太窄,时间戳虽然准,但抗噪性差。
注意力:让模型自己决定看哪一帧
注意力模型来自序列到序列的框架。编码器先把整段音频变成一串隐状态,解码器一步一步生成文本。每生成一个字,解码器用当前状态和编码器的每一帧算一个权重,对这些帧加权求和,得到这一刻的上下文,再据此预测下一个字。这个权重就是软对齐:它不指定某一帧,而是给所有帧分配一个分布。
它最大的好处是能用上下文。生成当前字时,模型可以回看整段音频,也可以利用已经生成的文本,长距离依赖比 CTC 自然。它不需要 blank,不需要发音词典,输出长度也由模型自己决定。训练目标就是给定音频时整句文本的条件概率,和机器翻译的做法一致。
代价也随之而来。解码是自回归的:生成第一个字之前,编码器要把整段音频看完;生成每个字又要等上一个字。这对流式识别不友好,首字延迟会明显高于 CTC。训练时还会遇到曝光偏差:训练用真实的前一个字,推理用模型自己生成的前一个字,一旦前面错了,后面会连锁错下去。
注意力还会「看错地方」。音频里有静音、噪声、重复词时,注意力权重可能跳到不该看的位置,表现为漏字、重复、凭空补词。模型生成的句子往往很通顺,所以这类错误特别难发现,用户会以为音频里真的说了那句话。长音频还会让注意力矩阵变大,内存和计算都吃紧。
工程上有一些缓解办法。单调注意力约束权重只能往前走,适合语音这种顺序性强的任务;位置感知注意力把上一步的位置信息喂回去,减少跳来跳去;分块注意力把长音频切成段,段内用注意力、段间用状态传递。这些改动都在用结构先验换稳定性。
三种做法放在一起看
把三者放在同一张表里,差别就很清楚。它们不是互相替代的关系,而是对「对齐未知」这件事的三种回答。
| 方案 | 怎么处理对齐 | 训练时优化什么 | 主要代价 |
|---|---|---|---|
| HMM | 状态转移加 Viterbi,得到一条硬对齐 | 给定状态路径的逐帧似然 | 独立性假设、几何时长、流程长 |
| CTC | blank 加折叠,边缘化所有路径 | 整句文本的边缘概率 | 帧间条件独立、尖峰、长重复 |
| 注意力 | 每一步对帧加权,软对齐 | 逐字生成的条件概率 | 自回归延迟、幻觉、长音频开销 |
实际系统经常把它们组合起来。CTC 和注意力联合训练,用 CTC 约束对齐、用注意力建模上下文;RNN-T 把 CTC 的 blank 和自回归预测网络结合,既保留流式能力,又能利用历史输出;混合系统则用 HMM 管对齐、用深度网络管发射概率。组合的目的,都是用一方的结构先验去补另一方的短板。
选择哪一种,先看约束条件。标注只有整句文本、又要求流式低延迟,CTC 或 RNN-T 更合适;离线转写、追求上下文和通顺度,注意力更合适;数据很少、需要可解释的对齐和置信度,HMM 仍然有它的位置。没有「最先进」的单一答案。
本机跑一遍:3 帧、3 个符号、27 条路径
下面这段程序只用 Python 标准库。它设三帧,符号集是 a、b 和 blank,每帧输出 a 的概率是 0.5,b 是 0.3,blank 是 0.2。程序枚举全部二十七条路径,按 CTC 规则折叠,打印每条路径的折叠结果和概率,最后统计折叠成 ab 的总概率。数字是手算也能对上的,方便验证。
import itertools
vocab = ["a", "b", "-"] # - 是 blank
probs = {"a": 0.5, "b": 0.3, "-": 0.2}
T = 3
def collapse(path):
out = []
prev = None
for s in path:
if s != "-" and s != prev:
out.append(s)
prev = s
return "".join(out)
total_ab = 0.0
count_ab = 0
for path in itertools.product(vocab, repeat=T):
p = 1.0
for s in path:
p *= probs[s]
label = collapse(path)
if label == "ab":
total_ab += p
count_ab += 1
print("路径", " ".join(path), "折叠为", repr(label), "概率", round(p, 6))
print("路径总数:", len(vocab) ** T)
print("映射到 ab 的路径数:", count_ab)
print("ab 的总概率:", round(total_ab, 6))
greedy = "".join(max(probs, key=probs.get) for _ in range(T))
print("贪心逐帧结果:", greedy, "折叠后:", collapse(greedy))
路径 a a a 折叠为 'a' 概率 0.125
路径 a a b 折叠为 'ab' 概率 0.075
路径 a a - 折叠为 'a' 概率 0.05
路径 a b a 折叠为 'aba' 概率 0.075
路径 a b b 折叠为 'ab' 概率 0.045
路径 a b - 折叠为 'ab' 概率 0.03
路径 a - a 折叠为 'aa' 概率 0.05
路径 a - b 折叠为 'ab' 概率 0.03
路径 a - - 折叠为 'a' 概率 0.02
路径 b a a 折叠为 'ba' 概率 0.075
路径 b a b 折叠为 'bab' 概率 0.045
路径 b a - 折叠为 'ba' 概率 0.03
路径 b b a 折叠为 'ba' 概率 0.045
路径 b b b 折叠为 'b' 概率 0.027
路径 b b - 折叠为 'b' 概率 0.018
路径 b - a 折叠为 'ba' 概率 0.03
路径 b - b 折叠为 'bb' 概率 0.018
路径 b - - 折叠为 'b' 概率 0.012
路径 - a a 折叠为 'a' 概率 0.05
路径 - a b 折叠为 'ab' 概率 0.03
路径 - a - 折叠为 'a' 概率 0.02
路径 - b a 折叠为 'ba' 概率 0.03
路径 - b b 折叠为 'b' 概率 0.018
路径 - b - 折叠为 'b' 概率 0.012
路径 - - a 折叠为 'a' 概率 0.02
路径 - - b 折叠为 'b' 概率 0.012
路径 - - - 折叠为 '' 概率 0.008
路径总数: 27
映射到 ab 的路径数: 5
ab 的总概率: 0.21
贪心逐帧结果: aaa 折叠后: a
先看折叠规则。a、a、a 变成 a;a、blank、a 变成 a、a,因为 blank 隔开了两个 a;a、b、b 变成 a、b,因为连续两个 b 合并成一个。这三条路径的概率分别是 0.125、0.05、0.045,都能从上往下核对。
折叠成 ab 的路径有五条:a、a、b,a、b、b,a、b、blank,a、blank、b,blank、a、b。概率分别是 0.075、0.045、0.03、0.03、0.03,加起来正好 0.21。这五条路径在帧级看是五种不同的对齐,有的把 a 放在前两帧,有的把 b 放在后两帧,CTC 把它们全部算进 ab 的概率里,而不是只挑一条。
最后一行最能说明问题。每一帧取最大概率,三帧都选 a,折叠以后只得到 a,b 根本没有出现。因为每帧 a 的概率 0.5 大于 b 的 0.3,逐帧贪心永远看不到 b。但整句 ab 的概率并不低,0.21 比很多单字路径都高。这说明逐帧最优不等于整句最优,实际解码要用前缀 beam search,保留多条前缀一起比较。
这个例子里 0.21 不是巧合:五条路径的概率刚好凑成一个整齐的数,方便手算。换成均匀概率,ab 的总概率就是五除以二十七;改成四帧,路径总数从二十七变成八十一。程序改两个常数就能重跑,不需要安装任何库。
出了问题先看哪里
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| CTC 训练损失不降 | 标签长度超过帧数,或 blank 比例失衡 | 打印 T 与 U,统计 blank 占比 |
| 输出几乎全是 blank | blank 先验过强,或学习率不合适 | 看 blank 概率曲线,调 blank 权重 |
| 输出连续重复字 | 折叠逻辑写错,或 blank 学得不够 | 用固定路径单测折叠函数 |
| 句子漏字 | 尖峰太窄,或 beam 太窄剪掉正确路径 | 看帧后验与 beam 候选数 |
| 对齐随时间漂移 | CTC 条件独立,缺少帧间上下文 | 换 RNN-T、注意力或加上下文模块 |
| 注意力输出重复或漏字 | 自回归错误累积,注意力看错位置 | 打印注意力权重,检查单调性 |
| 注意力首字延迟高 | 编码器要看完整段音频 | 换单调注意力或分块编码 |
| HMM 对齐明显偏 | 词典发音错,或状态数与语速不匹配 | 抽查强制对齐文件,核对词典 |
排查 CTC 时,先确认折叠函数是对的,再看后验。折叠函数错了,后面所有指标都没意义。排查注意力时,先把注意力权重画出来,确认它是否单调前进;如果权重在时间轴上反复跳,先解决对齐,再谈语言模型。排查 HMM 时,先看对齐文件,不要一上来就换模型结构。
边界与代价
HMM 的优势是数据效率高、可解释、能给出明确的对齐和置信度,适合标注少、需要审计的场景。它的边界是独立性假设和几何时长,遇到长音、快语速、强连读会吃力;流程里的词典、对齐、解码器任何一环出错,都会表现成识别错误。
CTC 的优势是不需要对齐、训练目标直接、流式友好,适合长音频和实时场景。它的边界是帧间条件独立,难以利用语言上下文;尖峰和 blank 让它对时长变化敏感;连续重复字是它的老问题。它输出的对齐是粗略的,不能直接当成精确时间戳。
注意力的优势是上下文强、句子通顺、输出长度灵活,适合离线转写和需要语言理解的场景。它的边界是自回归延迟、幻觉和长音频开销。它生成的错误往往很通顺,人工抽检时容易被骗过去,所以需要置信度、时间戳和音频回听一起用。
还有一个共同的边界是标注质量。整句文本里如果有错字、漏字、口语填充词没有标,任何模型都会把这些当成监督信号。对齐方法再聪明,也只能在给定标签下找最优;标签本身错了,模型学到的就是错的。清洗文本、统一数字和标点、明确是否保留语气词,这些工作比换模型更影响上限。
当天能验证的练习
- 把例子里的概率改成三个符号各三分之一,重新跑,验证 ab 的总概率等于五除以二十七。
- 把帧数 T 改成 4,重新枚举,记录路径总数、映射到 ab 的路径数和总概率的变化。
- 手算路径 a、blank、b、a 的折叠结果,再用程序验证,确认 blank 如何分隔重复符号。
- 写一个三状态、三帧的 HMM,手工列出两条状态路径,用 Viterbi 的递推公式算分数,确认最短路径不一定概率最高。
- 把 CTC 例子的贪心解码改成前缀 beam search,beam 设为 2,观察它是否能找回被贪心丢掉的 b。
声学模型解决的是「这一帧像什么音」,但真实产品要求的是「用户还没说完,屏幕上就要出字」。CTC 可以逐块输出,注意力和 HMM 的组合却要等更多上下文;块切多大、右上下文留多少、端点在哪儿,直接决定首字延迟和结果稳定性。下一篇讲流式识别,把这些延迟一笔一笔算清楚。