声学模型训练完,把梅尔谱导成图片:共振峰一条条清楚,静音段和爆破音的能量也对得上,看着像那么回事。接上 Griffin-Lim 放出来,第一句就是嗡嗡声,像老式对讲机里隔着一层布。换成神经声码器,清楚了很多,但句尾偶尔带金属感,长元音背后还有沙沙的气声。

图对、声音不对,不是画错了,而是梅尔谱本来就不包含波形需要的全部信息。画出来的那张图只有幅度,没有相位;波形却是由每个频率分量在时间上的具体位置决定的。

这篇讲丢掉的到底是什么,Griffin-Lim 怎么用迭代去补,WaveNet、WaveGlow、HiFi-GAN 这三类神经声码器各自在换什么,以及听感问题怎么按类型定位。

现象:谱图好看,波形难听

梅尔谱是按帧组织的能量图:横轴时间,纵轴频带,格子里是这一帧在这个频带上的能量。它通常来自短时傅里叶变换的幅度,再经过一组梅尔滤波器把频率轴压成更接近人耳感知的刻度。

但一个完整的频谱是复数,除了幅度还有相位。相位描述每个频率分量在时间轴上的起点,决定了这些正弦波叠加起来是形成一个脉冲、一段平稳音,还是一段噪声。相位不画在图里,所以从图上根本看不出它丢没丢。

最粗暴的补法是零相位:把所有频率分量都当成从同一时刻开始。它们会在那个时刻一起对齐,叠加出一个尖峰,然后迅速衰减,听起来就是嗡嗡声或者咔哒声。周期性的浊音被这样重建,会失去原有的基音结构,变成持续的蜂鸣。

人说「耳朵对相位不敏感」,这话只说对一半。稳态的纯音,相位变了确实不容易听出来;但语音里的瞬态、爆破音、摩擦音、音色和空间感,都依赖相位。辅音只有几十毫秒,相位错了,能量还在,听感却糊了。所以声码器决定了谱图上的能量最后能不能变成正常的声音。

相位丢了:幅度谱不唯一

只有幅度谱,对应的波形不唯一。最直接的是全局相位:一段信号整体取反,幅度谱完全不变,听感也几乎一样。其次是时间平移:整段信号往后挪几个采样点,幅度谱的模也不变,只是各频率的相位多转了一个角度。

相位还是圆周量,转一圈回到原点。直接让网络回归一个角度,会在正负一百八十度附近跳变,误差看起来很大,实际只差一点点。工程上通常输出相位的正弦和余弦,或者干脆用复数表示,避免这种缠绕。

梅尔滤波器组又加了一层有损压缩。它把一群频带合成一个通道,逆映射时一个通道要还原成一群频带,本来就不可能唯一。所以神经声码器也不是「还原原始波形」,而是「根据幅度和训练数据里的先验,生成一个听起来合理的波形」。这一点很重要:评价声码器不能只看逐点误差,逐点误差低的波形,听感可能反而更差。

那 Griffin-Lim 在做什么?它不追求唯一解,而是找一个「自洽」的解:这个波形做短时傅里叶变换,得到的幅度要接近目标幅度,同时帧与帧重叠的部分要能拼回同一个波形。它利用的是帧间的冗余,而不是凭空猜相位。

Griffin-Lim:交替投影与收敛代价

Griffin-Lim 可以理解成在两个约束之间来回投影。一个约束是频域:每帧的幅度必须等于目标幅度。另一个约束是时域:所有帧按 hop(帧移)重叠相加后,必须能形成一个统一的波形。两个约束的交集很难直接求,于是轮流满足:先固定幅度、用当前相位反变换出波形,再从波形重新取相位、把幅度换回目标值,重复。

具体步骤不复杂:初始化相位,零相位或随机相位都行;用目标幅度和当前相位做逆短时傅里叶变换,得到一帧帧波形;按 hop 重叠相加,得到整段信号;再对整段信号做短时傅里叶变换,取新的相位;把幅度替换回目标幅度;回到第三步。

它的问题也很直接。第一,收敛慢。每一轮都要做正反两次变换,实际用几十到几百轮,音质还在慢慢变。第二,非凸。误差通常会下降,但可能停在局部解,和原始波形差很远;幅度谱相同的波形不止一个,算法不保证找回原来那个。第三,参数敏感。窗函数、帧移、迭代次数都会影响结果,hop 太大,帧间重叠少,时域约束弱,重建就容易出金属声。

于是有了一堆改进:快速 Griffin-Lim 用更好的初始化和加速策略;多分辨率版本在不同 hop 上交替约束;还有用其他信号或模型给一个更接近的初始相位。它们能缓解收敛慢和音质差,但只靠幅度和帧间一致性,细节总是有限。

Griffin-Lim 的价值在于简单、无需训练、可复现。做基线、做教学、做快速验证都合适。但它不是高音质的终点,采样率高、hop 小、对瞬态要求高时,金属感和混响感更明显。

本机跑一遍:玩具版相位重建

下面这段程序只用 Python 标准库,手动实现离散傅里叶变换、逆变换、分帧、加窗和重叠相加。它取一段由两个正弦加一个短脉冲组成的信号,先算目标幅度,再用零相位起步,迭代二十四轮,每轮打印谱一致性误差。这是教学简化版,不是工业级 Griffin-Lim,也不代表真实音频的听感。

import math

N = 256
WIN = 64
HOP = 16
PAD = 64
ITER = 24

hann = [0.5 - 0.5 * math.cos(2 * math.pi * i / (WIN - 1)) for i in range(WIN)]


def dft(x):
    n = len(x)
    out = []
    for k in range(n):
        re = im = 0.0
        for t in range(n):
            a = 2 * math.pi * k * t / n
            re += x[t] * math.cos(a)
            im -= x[t] * math.sin(a)
        out.append(complex(re, im))
    return out


def idft(X):
    n = len(X)
    out = []
    for t in range(n):
        re = 0.0
        for k in range(n):
            a = 2 * math.pi * k * t / n
            re += X[k].real * math.cos(a) - X[k].imag * math.sin(a)
        out.append(re / n)
    return out


# 两个正弦加一段短脉冲:既有周期成分,也有瞬态
signal = [
    0.6 * math.sin(2 * math.pi * 440 * t / 8000)
    + 0.3 * math.sin(2 * math.pi * 1320 * t / 8000)
    for t in range(N)
]
for t in range(40, 48):
    signal[t] += 0.8

padded = [0.0] * PAD + signal + [0.0] * PAD


def stft_mag(sig):
    frames = []
    for start in range(0, len(sig) - WIN + 1, HOP):
        frames.append([abs(c) for c in dft([sig[start + i] * hann[i] for i in range(WIN)])])
    return frames


target = stft_mag(padded)
phase = [[0.0] * WIN for _ in target]


def synthesize(ph):
    sig = [0.0] * len(padded)
    wsum = [0.0] * len(padded)
    for fi, mags in enumerate(target):
        X = [mags[k] * complex(math.cos(ph[fi][k]), math.sin(ph[fi][k])) for k in range(WIN)]
        frame = idft(X)
        start = fi * HOP
        for i in range(WIN):
            sig[start + i] += frame[i] * hann[i]
            wsum[start + i] += hann[i] * hann[i]
    for i in range(len(padded)):
        if wsum[i] > 1e-9:
            sig[i] /= wsum[i]
    return sig


def spectral_error(sig):
    num = den = 0.0
    for fi, mags in enumerate(target):
        cur = [abs(c) for c in dft([sig[fi * HOP + i] * hann[i] for i in range(WIN)])]
        for k in range(WIN):
            num += (cur[k] - mags[k]) ** 2
            den += mags[k] ** 2
    return math.sqrt(num / den) * 100


print("采样点:", N, "帧长:", WIN, "帧移:", HOP, "帧数:", len(target), "迭代:", ITER)
for it in range(0, ITER + 1):
    sig = synthesize(phase)
    if it in (0, 1, 2, 4, 8, 12, 16, 20, 24):
        print(f"第 {it:2d} 轮  谱一致性误差 {spectral_error(sig):5.2f}%")
    phase = [
        [math.atan2(c.imag, c.real) for c in dft([sig[start + i] * hann[i] for i in range(WIN)])]
        for start in range(0, len(padded) - WIN + 1, HOP)
    ]
采样点: 256 帧长: 64 帧移: 16 帧数: 21 迭代: 24
第  0 轮  谱一致性误差 84.90%
第  1 轮  谱一致性误差 48.41%
第  2 轮  谱一致性误差 42.13%
第  4 轮  谱一致性误差 36.32%
第  8 轮  谱一致性误差 32.15%
第 12 轮  谱一致性误差 30.40%
第 16 轮  谱一致性误差 28.59%
第 20 轮  谱一致性误差 26.18%
第 24 轮  谱一致性误差 24.61%

看第一轮和最后的数字:八十四点九降到二十四点六,误差确实在降,但离零还很远。这里打印的是谱一致性误差,衡量「重建波形的幅度和目标幅度差多少」,不是波形逐点误差。逐点误差在这里没有意义,因为幅度谱相同的波形不止一个,重建结果完全可能是原信号的取反或平移版本,听感却差不多。

误差降不下去还有一个原因:二十四轮不够。真实 Griffin-Lim 常用几十到几百轮,而且会在多个 hop 上交替约束。这段代码为了能在本机几秒内跑完,把采样点数、帧长、迭代次数都压小了。它验证的是迭代方向,不是音质;真实音频的听感本机未实测。

不要把这段代码的误差曲线当成 Griffin-Lim 的音质曲线。谱一致性误差低,只说明幅度对上了;相位是否自然、瞬态是否保留,要靠听,或者靠专门的感知指标。

WaveNet:一个采样点一个采样点地猜

WaveNet 走的是另一条路:不补相位,直接学「给定梅尔谱,下一个采样点应该是多少」。它把波形看成一条序列,用自回归的方式,每次根据前面已经生成的采样点和条件输入,预测当前采样点的分布。为了看到足够长的历史,它用膨胀因果卷积,一层一层把感受野撑大。

这样做的优点是细节丰富。高频的摩擦、爆破的瞬态、长元音的微小起伏,都由模型自己生成,不依赖手工相位。代价是慢:采样率一万六千赫兹,一秒音频就要一万六千次前向计算,而且每次依赖上一次的输出,很难并行。早期实现生成一秒音频要很久,后来靠缓存、量化、蒸馏和专用推理才逐步接近实时。

自回归还有一个隐患是误差累积。前面某个采样点偏了一点,后面的预测会跟着偏,长音可能漂移,句尾可能越来越闷。训练时用真实历史做教师强制,推理时用自己生成的历史,两者不一致,模型在长序列上容易暴露问题。

它换来的东西很明确:用巨大的串行计算,换波形级的自然度。在对音质要求极高、可以离线生成的场景里,这条路仍然有价值;在要求低延迟、高并发的在线场景里,它通常不是第一选择。

WaveGlow:用可逆变换换并行

WaveGlow 是流模型。它的思路不是逐点预测,而是学一个可逆变换,把波形和条件梅尔谱一起映射到一个简单的分布,通常是高斯。生成时从高斯里采样,再沿逆变换走回去,一次性得到整段波形。

因为变换可逆,训练时可以直接算似然,不需要对抗,也不需要自回归;推理时所有采样点可以并行算,速度比 WaveNet 快很多。代价是模型结构受限,每一层都必须是可逆的,参数量和内存占用都不小;为了表达足够复杂的分布,要堆很多层。

它换的是「并行」。用更大的模型和更复杂的结构,换掉自回归的串行瓶颈。音质通常不错,但没有生成对抗网络那种极致的细节逼真度;在算力充足、需要批量生成的场景里比较合适。

HiFi-GAN:用判别器逼出细节

HiFi-GAN 是生成对抗网络。生成器从梅尔谱一路做转置卷积和上采样,把低帧率的谱变成高采样率的波形;判别器则同时从多个尺度看波形,还用不同周期把波形重排后再看,专门抓周期性结构。

训练时,生成器要让判别器分不出真假,判别器要尽量分出真假。这个对抗过程会逼着生成器补上谱图上没有的细节,尤其是高频和周期成分。推理时只走生成器一次前向,速度很快,适合实时合成。

它换的是「速度加细节」。用对抗训练换并行生成和较高的音质,代价是训练不稳定:判别器太强,生成器学不动;判别器太弱,生成器又偷懒。训练不好时,输出会有周期性的金属声、粗糙的噪声,或者在某些音高上突然失真。对没见过的说话人、情绪、录音条件,泛化能力要单独验证,不能只看训练集上的试听。

采样率、感受野、实时率与音质的取舍

采样率决定了能表示多高的频率。一万六千赫兹的采样率,奈奎斯特上限是八千赫兹,齿音和部分高频细节就到顶了;四万八千赫兹能保留更多高频,但每秒要生成三倍的采样点,算力和存储都涨。梅尔谱的上限也要跟着采样率走,谱的上限设低了,声码器再强也补不出不存在的高频。

感受野决定模型一次能看到多长的上下文。要重建一个基音周期,至少要看够一个周期;男声一百赫兹左右,一个周期是十毫秒,在一万六千赫兹采样率下就是一百六十个采样点。想覆盖更长的共振峰衰减和语调变化,感受野还要更大。自回归模型靠层数和膨胀率撑感受野,生成对抗网络靠多层上采样和卷积堆叠,思路上都是「让后面的采样点看得到前面的结构」。

实时率是处理耗时和音频时长的比值,小于一比实时快。自回归模型在通用处理器上经常大于一,要靠批处理或者专用推理优化;生成对抗网络和流模型可以一次前向出整段,实时率通常好很多。但实时率不是唯一指标,首字延迟、显存占用、并发路数都要一起看。本文没有在目标硬件上跑过这些模型,所有性能数字都只能当量级参考,未在本机实测。

音质、采样率、实时率、模型大小,这四项很难同时最优。离线配音可以选高采样率、大模型、慢一点;在线客服要选低延迟、小模型、能并发。选型看场景是否够用、成本能否接受,不是找最好的那一个。

出了问题先听哪一类

音质问题最怕一句「不好听」。不好听分很多种,每种对应不同原因。下表把常见听感拆开,第一步都能当天做。

现象真实原因第一步查什么
持续嗡嗡声或蜂鸣相位没重建,零相位或迭代不足同一幅度分别做零相位和 Griffin-Lim,对比听感
金属声、机器人声相位估计不准,或上采样带来周期性伪影增加迭代轮数,或换声码器做 A/B
沙沙的气声高频建模不足,或训练数据底噪被学进去看高频谱能量,检查训练集噪声水平
断续、咔哒声窗函数不满足重叠相加,或帧移太大检查窗与 hop,听帧边界处是否重复出现
长音颤动、周期漂移自回归误差累积,周期结构没锁住看长元音波形,比较开头和结尾的周期
女声、高音发闷采样率或梅尔谱上限不足检查采样率与梅尔频带范围是否匹配
爆破音变弱、p 和 t 糊相位或瞬态丢失,帧移过大对比原始与重建在爆破处的能量突变
语速快时吞音感受野不足,或帧移太大跟不上变化缩短 hop,或换感受野更大的模型
换说话人就明显变差训练集说话人覆盖不足,先验不匹配用目标说话人单独做盲听测试

排查时先固定变量。要判断是不是声码器的问题,就固定同一段梅尔谱,只换声码器;要判断是不是谱的问题,就固定声码器,换声学模型或者手工修改谱。两者一起换,听到变好也不知道是谁的功劳。很多团队在这一步图省事,最后只能得出「新模型更好」这种没法复用的结论。

边界与代价

Griffin-Lim 的边界很清楚:不需要训练、结果可复现、实现简单,但音质上限低,迭代慢,遇到高采样率和小 hop 时金属感明显。它适合做基线、做教学、做快速验证,不适合作为高质量产品的最终声码器。

神经声码器的边界在数据和算力。它们从训练数据里学相位和细节的先验,训练集覆盖的说话人、录音条件、语言越窄,遇到域外输入就越容易崩。换一个麦克风、换一种口音、换一个情绪,音质可能明显下降。要提升泛化,只能加数据、加增强、做多说话人训练,成本跟着涨。

音质本身也是个模糊目标。有人喜欢更明亮的高频,有人觉得那是齿音过重;有人要保真,有人要柔和。MOS 这类主观分只能说明一群听测者在某个测试集上的平均偏好,不能跨数据集直接比较,也不代表业务场景里的接受度。具体分数本文不给,因为本机没有做听测,未在本机实测。

相位问题不会因为模型变大就消失,只是被数据先验掩盖。评估不能只看一批干净录音,要拿真实业务里的噪声、混响、远场来试;具体到你的场景表现如何,待确认。

当天能验证的练习

  1. 用零相位和玩具版 Griffin-Lim 重建同一段信号,盲听对比,记录嗡嗡声和瞬态各差在哪里。
  2. 把迭代次数改成 1、5、20、100,记录谱一致性误差和耗时,画一条自己的收敛曲线。
  3. 把帧移从 16 改成 8 和 32,比较重建误差与计算量,听帧边界有没有咔哒声。
  4. 找一段含 p、t、k 爆破音的录音,对比原始波形和重建波形在爆破处的能量突变。
  5. 固定同一段梅尔谱,换两个声码器各生成一遍,盲听只评音质,按金属声、气声、断续分类记录。

声码器解决的是「谱到波形」这一段,音质的好坏最后还要落到可比较的指标和成本上。MOS 怎么采、WER 怎么算、离线批量和流式部署各要付什么代价,是下一篇的内容。