三秒钟的录音,读成数组,直接做一次傅里叶变换,把整段频谱拉平当成一个向量,丢进分类器。离线测试集看起来还行,上线以后却怎么调都不对:用户说话前停顿两秒,特征就变了;同一句话说得快一点,特征又变了;会议室里有一点空调噪声,结果直接跑到另一类。于是有人说「模型不够大」,换成更复杂的网络,指标还是不稳。
问题往往不在模型,而在喂进去的东西。整段音频做一次变换,等于把「第几秒说了哪个音」这条时间轴压扁了。声音是随时间变化的,前面是静音、中间是元音、后面是爆破音,整段平均以后,这些区别被抹成一个大致的频谱形状。模型看到的是一张被揉过的照片,当然认不出细节。
这篇把「波形到特征」这条路走一遍:采样率和量化,为什么切成 25 毫秒的小段,为什么要加窗,频谱怎么算,Mel 滤波器组和 MFCC 各解决什么问题。每一步都有明确的动机,也都有代价。
声音先变成数字:采样率与量化
麦克风输出的是连续变化的电压,计算机只能存离散的数。这个转换分两步。第一步是采样,每隔固定时间取一个点,每秒取多少个点就叫采样率。16kHz 表示一秒取一万六千个点,每个点之间隔 0.0625 毫秒。第二步是量化,把每个点的幅度用一个整数表示,16bit 就是把它切成六万五千五百三十六个刻度。两件事合起来,就是常说的 PCM 音频。
采样率不是随便定的,它受一条硬约束:能表示的最高频率是采样率的一半,这叫奈奎斯特采样定理。16kHz 采样最高只能表示 8kHz 的声音。人说话的主要能量集中在 4kHz 以下,所以电话系统用 8kHz 就够传清楚内容,而语音识别常用 16kHz,是为了保留更多辅音细节。44.1kHz 是音乐格式的惯性,对语音识别没必要,只会让计算量翻几倍。
量化位数决定幅度分辨率。8bit 只有 256 个刻度,安静的地方会出现明显的阶梯噪声;16bit 足够,24bit 多用于录音棚。把整数转成浮点数时,常见做法是除以 32768,让幅度落在负一到一之间。这个归一化必须统一,训练时用一套、推理时用另一套,模型看到的数值范围就变了。
这里最常见的坑是采样率不匹配。拿 44.1kHz 的文件按 16kHz 参数去读,程序不会报错,数组照样能算,但时间轴被拉长 2.75 倍,频率也整体压缩。更隐蔽的是重采样时没做抗混叠滤波,高频折叠回低频,听起来像多了奇怪杂音。排查时先打印文件头和实际读取的采样率,两边对齐再谈别的。
语音在每一个 25 毫秒里,可以当作不变
声音的频谱随时间变化,但变化速度没有想象中快。人发一个音,靠的是舌头、嘴唇、声带一起改变声道的形状,这套动作的惯性在几十毫秒量级。也就是说,在很短的一小段里,声道形状几乎不变,频谱可以当成稳定的。这条假设叫短时平稳假设,它是整个语音特征提取的地基。
于是做法很直接:把长波形切成很多小段,每一段单独算频谱。每一段叫一帧,帧的长度叫窗长,相邻两帧起点之间的距离叫帧移。工业界最常用的组合是 25 毫秒窗、10 毫秒帧移。16kHz 下,25 毫秒是 400 个采样点,10 毫秒是 160 个点。这样一秒钟能切出一百帧左右,既保留了时间分辨率,又让每一帧有足够的点做频率分析。
帧数可以用一个简单公式算:帧数等于一加上「总点数减窗长,再除以帧移」的整数部分。比如 0.1 秒、16kHz 是 1600 个点,实验里用 50 毫秒窗、25 毫秒帧移,也就是窗长 800、帧移 400,能放下三帧,起点分别在 0、400、800。第四帧需要 1200 到 2000 的点,超出了录音长度,要么丢掉,要么在末尾补零。补零还是丢弃,训练和推理必须一致,否则同一段音频在两边会得到不同帧数。
窗长和帧移是一对需要权衡的参数。窗越长,频率分辨率越高,因为频率分辨率大约等于采样率除以窗长;25 毫秒在 16kHz 下是 400 点,频率间隔 40Hz;50 毫秒是 800 点,间隔 20Hz。但窗越长,时间定位越模糊,一个爆破音可能被前后元音稀释。窗越短,时间细节保住了,频率又糊成一团。25 毫秒是一个用了很多年的折中,不是唯一答案。
加窗:把每一帧的两端压下去
切出一帧,看起来只是取了 400 个点,但在信号处理的意义上,这相当于给原始信号乘了一个矩形窗:窗内的点原样保留,窗外的点全部变成零。矩形窗的两端是突然截断的,边界上出现一个台阶。这个台阶在频谱里会制造大量旁瓣,让一个单纯的正弦在频域上向两边漏出一片能量,这叫频谱泄漏。
解决办法是不要硬切,而是让帧的两端平滑地降到接近零。常用的窗是 Hamming 窗,公式是 0.54 减去 0.46 乘以余弦。它中间接近一,两端降到 0.08 左右,不是零,但足够小,边界的不连续被大幅削弱。代价是主瓣变宽,也就是频率分辨率变差一点,同时窗内的信号能量被整体压低。这个压低是有固定比例的,叫窗的相干增益,Hamming 窗大约是 0.54,所以同一个正弦加窗后,频谱峰值会降到原来的一半左右。
也有人用 Hann 窗,两端真正降到零,旁瓣更低,但主瓣更宽。选哪个没有绝对优劣,关键是训练和推理用同一种。最怕训练时用 Hamming,推理时忘了加窗,模型看到的频谱形状就变了。
DFT、功率谱,以及为什么要有 Mel 刻度
一帧 400 个点,怎么知道它包含哪些频率?用离散傅里叶变换,简称 DFT。它把时域的 N 个点变成频域的 N 个复数,第 k 个复数对应频率 k 乘以采样率再除以 N。16kHz、400 点,频率间隔是 40Hz,第 10 个点对应 400Hz,第 100 个点对应 4kHz。实际使用时只取前一半多一点,因为后半部分是前半部分的镜像,没有新信息。
每个复数有幅度和相位。语音识别通常只保留幅度的平方,叫功率谱,把相位丢掉。原因是人耳对相位不敏感,同一个频谱配上不同相位,听起来差别不大;而相位又极难预测,留着反而增加模型负担。这个选择有代价:丢掉相位以后,就没法从特征重建原始波形,所以 MFCC 适合识别,不适合做语音合成或声源分离。
功率谱还是太密。400 点里有 200 多个频点,相邻频点高度相关,全喂给模型维度高、冗余大。人耳也不是在每个频率上都一样敏感:低频差一点就能听出来,高频差很多才感觉得到。为了贴近这个特性,引入 Mel 刻度,把赫兹映射到主观音高。
在 Mel 轴上等距离地放一组三角滤波器,就得到 Mel 滤波器组。每个三角滤波器覆盖一段频率,把这段里的功率加权求和,输出一个能量值。因为 Mel 轴低频拉伸,映射回赫兹以后,低频的滤波器窄、数量密,高频的滤波器宽、数量疏。常见配置是 24 到 40 个滤波器,8kHz 采样的电话语音常用 20 到 26 个。滤波器太少,频段分得粗,辅音区别容易被糊掉;太多,维度上去,后面又难训练。
取对数、做 DCT,得到 MFCC
Mel 滤波器组输出的是一串能量值,动态范围可能很大:安静段和爆破音的能量差几个数量级。直接送进模型,大数值会主导梯度。取对数是最自然的压缩方式,它把乘性的音量变化变成加性的偏移,也让低能量段的相对差异更容易保留。这一步叫 log Mel,很多语音模型直接用它做输入,效果就不错。
MFCC 在 log Mel 之后多做一步离散余弦变换,简称 DCT。DCT 的作用是把相邻滤波器之间的相关性去掉,把能量集中到前几个系数上。取前 13 个系数,就是常说的 13 维 MFCC。第 0 个系数代表整体能量,后面几个代表频谱包络的不同变化速度。很多时候会把第 0 维丢掉,或者用单独计算的帧能量替换它,因为它受音量和录音设备影响太大。
最后是 CMVN,倒谱均值方差归一化。不同麦克风、房间和增益会让同一句话的 MFCC 整体偏移或缩放,CMVN 对每个维度减均值、除标准差,把这些全局差异消掉。难点在统计量从哪来:离线训练用整个训练集的统计量,推理时拿当前句子自己算会不稳定;流式场景通常用滑动窗口或训练统计量。用错统计量,等于把特征分布换了一套。
本机跑一遍:0.1 秒 200Hz 正弦
下面这段只用 Python 标准库,不依赖 numpy。它生成 0.1 秒、16kHz、200Hz 的正弦,用 50 毫秒窗、25 毫秒帧移分帧,打印帧数、每帧加 Hamming 窗后的能量、第一帧 DFT 的前几个幅度、8 个 Mel 滤波器的能量,以及 13 维 MFCC 的前三个系数。代码里的 DFT 是朴素的双重循环,只为看清定义,真实系统会用 FFT。
import math, cmath
SR = 16000
DUR = 0.1
N = int(SR * DUR)
FREQ = 200
x = [math.sin(2 * math.pi * FREQ * i / SR) for i in range(N)]
WIN = 800 # 50 ms
HOP = 400 # 25 ms
frames = []
start = 0
while start + WIN <= N:
frames.append(x[start:start + WIN])
start += HOP
hamming = [0.54 - 0.46 * math.cos(2 * math.pi * i / (WIN - 1)) for i in range(WIN)]
print("样本点数:", N)
print("帧数:", len(frames), "每帧样本:", WIN, "帧移:", HOP)
energies = []
for f in frames:
wf = [s * w for s, w in zip(f, hamming)]
energies.append(sum(v * v for v in wf))
print("每帧加窗能量:", [round(e, 3) for e in energies])
def dft(frame):
n = len(frame)
out = []
for k in range(n // 2 + 1):
acc = 0j
for t in range(n):
acc += frame[t] * cmath.exp(-2j * math.pi * k * t / n)
out.append(acc)
return out
specs = []
for f in frames:
wf = [s * w for s, w in zip(f, hamming)]
specs.append(dft(wf))
mag0 = [abs(c) for c in specs[0]]
print("第 1 帧 DFT 前 6 个幅度:", [round(m, 3) for m in mag0[:6]])
peak_bin = max(range(len(mag0)), key=lambda k: mag0[k])
print("峰值 bin:", peak_bin, "对应频率(Hz):", peak_bin * SR / WIN, "幅度:", round(mag0[peak_bin], 3))
print("第 2、3 帧峰值幅度:", round(max(abs(c) for c in specs[1]), 3), round(max(abs(c) for c in specs[2]), 3))
def hz2mel(f):
return 2595.0 * math.log10(1.0 + f / 700.0)
def mel2hz(m):
return 700.0 * (10.0 ** (m / 2595.0) - 1.0)
N_FILT = 8
lo, hi = 0.0, SR / 2
edges = [mel2hz(hz2mel(lo) + i * (hz2mel(hi) - hz2mel(lo)) / (N_FILT + 1)) for i in range(N_FILT + 2)]
print("Mel 滤波器边界(Hz):", [round(e, 1) for e in edges])
power = [abs(c) ** 2 for c in specs[0]]
mel_energies = []
for m in range(N_FILT):
left, center, right = edges[m], edges[m + 1], edges[m + 2]
total = 0.0
for k, p in enumerate(power):
f = k * SR / WIN
if left < f < right:
if f <= center:
w = (f - left) / (center - left)
else:
w = (right - f) / (right - center)
total += w * p
mel_energies.append(total)
print("Mel 滤波器组能量:", [round(e, 4) for e in mel_energies])
log_mel = [math.log(max(e, 1e-10)) for e in mel_energies]
print("log Mel:", [round(v, 3) for v in log_mel])
mfcc = []
for k in range(13):
acc = 0.0
for m in range(N_FILT):
acc += log_mel[m] * math.cos(math.pi * k * (m + 0.5) / N_FILT)
mfcc.append(acc)
print("MFCC 维度数:", len(mfcc))
print("MFCC 前 3 个系数:", [round(v, 3) for v in mfcc[:3]])
样本点数: 1600
帧数: 3 每帧样本: 800 帧移: 400
每帧加窗能量: [158.764, 158.764, 158.764]
第 1 帧 DFT 前 6 个幅度: [0.0, 0.001, 0.002, 0.003, 0.005, 0.009]
峰值 bin: 10 对应频率(Hz): 200.0 幅度: 215.769
第 2、3 帧峰值幅度: 215.769 215.769
Mel 滤波器边界(Hz): [0.0, 226.2, 525.5, 921.5, 1445.4, 2138.6, 3055.9, 4269.5, 5875.3, 8000.0]
Mel 滤波器组能量: [56152.4172, 0.0005, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]
log Mel: [10.936, -7.683, -14.456, -17.32, -19.535, -21.435, -23.026, -23.026]
MFCC 维度数: 13
MFCC 前 3 个系数: [-115.545, 50.376, 24.863]
先看帧数。1600 个点,窗长 800,帧移 400,起点 0、400、800 都能放下完整一帧,起点 1200 需要到 2000,超出范围,所以是三帧。有人会得到四帧,那是末尾补了零。两种做法都能用,但训练和推理要统一。
三帧能量完全相同,都是 158.764,这不是程序出错。200Hz 的周期是 5 毫秒,25 毫秒帧移正好是五个完整周期,每帧起点落在同一相位,加窗后的能量自然一样。真实语音里相邻帧会差很多;这组相同值说明平稳信号分帧后仍然平稳。
DFT 前六个频点的幅度接近零,因为 200Hz 不落在这些频点上。峰值出现在第 10 个 bin,对应 200Hz,幅度 215.769。理论上一段长 800 点的单位幅度正弦,DFT 峰值是 400;Hamming 窗的相干增益约 0.54,乘上去是 216,和实测的 215.769 对得上。第二、三帧峰值也一样,原因还是同相。这个数值可以当作一个校验点:如果峰值跑到了别的 bin,先查采样率和窗长,而不是怀疑模型。
Mel 部分只亮了第一个滤波器,能量 56152.4172,第二个只有 0.0005,其余全是零。第一个滤波器覆盖 0 到 525.5Hz,中心 226.2Hz,200Hz 正好落在它的上升沿;第二个从 226.2Hz 才开始,那点能量是 Hamming 窗泄漏。第三到第八个是零,取对数时用 1e-10 兜底,得到负二十三左右的固定值。真实语音不会只占一个滤波器,工程上常用 24 到 40 个。
MFCC 前三个系数是负一百一十五点五、五十点三七六、二十四点八六三。第一个系数是八个 log 能量的和,其中六个被下限拉到负二十三,第一个是正的十点九,第二个是负七点六。这说明滤波器太少、信号太纯时,MFCC 会被兜底值主导。第 2、3 帧系数完全一样,也说明平稳信号做 CMVN 会直接变成全零,因为没有方差可除。
这段代码重复运行结果一致,没有随机数。把窗长改成 400、帧移改成 160,帧数和频率间隔都会变;把 Hamming 换成矩形窗,旁瓣会更明显。
出了问题先看哪里
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 离线指标正常,上线全错 | 训练和推理的采样率或归一化不一致 | 打印两边的采样率、幅度范围、窗长和帧移 |
| 频谱整体偏移,声音变尖或变慢 | 用错的采样率读取文件 | 查文件头与实际读取参数,统一重采样 |
| 相邻帧几乎一模一样 | 信号本身平稳,或帧移太小 | 打印帧能量与峰值频率,确认帧移 |
| 低频糊成一片,元音分不开 | 窗太短,频率分辨率不足 | 看窗长与 bin 宽度,适当加长窗 |
| 高频细节全丢 | 原始录音只有 8kHz 采样 | 查录音设备与文件采样率,不要靠重采样补 |
| MFCC 出现负无穷或极大值 | log 取到零,没有下限兜底 | 打印 Mel 能量,确认是否有全零频带 |
| 换麦克风后效果明显下降 | 没做 CMVN,或统计量来源不一致 | 对比训练集与线上特征的均值方差 |
| 流式与离线结果不一致 | 分帧边界、补零、CMVN 统计不同 | 固定一套参数,逐帧对齐两边的输出 |
边界与代价
MFCC 不是万能的。它丢掉相位,所以不适合语音合成、声源分离、回声消除这些需要重建波形或保留空间信息的方向。它假设短时平稳,遇到爆破音、摩擦音这些变化很快的音,25 毫秒的窗会把它们和前后音混在一起。
参数也不是越标准越好。25 毫秒窗、10 毫秒帧移是常用起点,但采样率、说话速度和任务类型都会影响最优值。换场景时,帧数、频率间隔、滤波器数量都要重新算。
计算量方面,本文为了看清定义用了双重循环的 DFT,复杂度是点数的平方。真实系统用 FFT,复杂度降到 N log N,一秒钟一百帧的开销很小。但如果每一帧都做几百个滤波器的加权求和,累积起来也不便宜,所以很多实现会把 Mel 滤波器组写成稀疏矩阵,或者直接在 GPU 上批量算。
还有一个现实约束:特征只是原料,模型结构、数据质量、标注一致性都会影响最终结果。把 MFCC 从 13 维加到 40 维,或者加上差分,不一定能带来提升;有时候反而让模型更容易过拟合。先保证采样率、分帧、加窗、归一化四件事在训练和推理两边完全一致,再考虑换特征。
当天能验证的练习
- 把窗长改成 25 毫秒、帧移改成 10 毫秒,重新跑上面的程序,记录帧数、频率间隔和峰值 bin 的变化。
- 在 200Hz 正弦上叠加一个幅度十分之一的 1200Hz 分量,打印八个 Mel 滤波器的能量,看哪几个频带亮了。
- 把 Hamming 窗换成矩形窗,比较第 8 到第 12 个 bin 的幅度,观察旁瓣泄漏的变化。
- 把 0.1 秒信号改成前半段 200Hz、后半段 800Hz,观察帧能量和 MFCC 第 1 维在拼接处怎么变。
- 录三秒自己的声音,按 16kHz 保存,算 13 维 MFCC,打印 CMVN 前后的均值和标准差,确认统计量不是全零。
把这几步走通,你就有了一条稳定的特征流水线:采样率统一、分帧明确、加窗一致、MFCC 量级正常。但这只是把声音变成向量,下一步是向量怎么变成文字。同样的音频,换口音、加背景噪声就可能错得离谱,问题出在前端、声学模型还是解码器,要按链路逐段排查。下一篇讲语音识别的完整链路。