客服系统接上自动语音播报,第一版上线时大家都觉得顺:工单里的每句话都能读出来,字也没错。用了两天,反馈集中到一句话:像机器念经。某条工单里,日期「2026年11月7日」被念成「二零二六年一一月七日」,金额「1280元」被念成「一二八零元」,「银行已经处理」里的「银行」读成「银形」。句号处不停,问号不上扬,一整段话用一个速度推到底。

这些抱怨都像「合成不好」,其实落在三个不同部件上。字读错,是文本前端转读音时出了问题;语调平、停顿怪,是声学模型的时长和音高不对;声音发闷、带金属感,才轮到声码器。

语音合成不是「一个模型把文字变成声音」,而是一条三段交接的流水线。每段输出都是下一段的输入,错误会往后传,修错却要回到产生错误的那一段。

先把链路摆出来

文本前端负责「读什么」,把原始文本整理成可发音的序列:数字和符号怎么读、词怎么切、多音字选哪个音、哪里停顿。输出通常是一串音素,加上词边界和韵律边界。音素是发音的最小单位,中文大致对应声母、韵母和声调的组合。

声学模型负责「怎么发声」,拿音素和韵律标记,输出梅尔谱和每个音素的时长。梅尔谱像一张二维快照:横轴时间帧,纵轴频带,格子里是能量。

声码器负责「把谱变回波形」,给出每个采样点的值,让声音的能量分布和谱对得上。这一步最容易被低估,谱图看起来对,不代表波形听起来对。

一句话从文本到波形的三段交接
原始文本
文本前端:正则化、分词、读音、韵律
声学模型:梅尔谱与时长
声码器:波形采样点

三段的边界清楚,责任却容易混。「银行」读错,去调声码器调多久都没用,因为声码器拿到的音素已经是 xing;音素全对但尾音被吞,换前端词典也修不好。判断错误在哪一层,比换模型更重要。

文本正则化:先把人话写成机器能读的话

正则化,英文常写成 text normalization,把不适合直接朗读的符号改写成能读的词。数字、日期、时间、金额、百分比、电话号码、版本号、缩写、单位,都是这一类。看起来是字符串替换,实际全是上下文规则。

同样一串「2026」,在「2026年」里按位读成「二零二六」,在「2026个」里读成「两千零二十六」,在「2026元」里也可能读成「两千零二十六元」。电话号码和报警号码逐位读,门牌号有时按位有时按数值。没有一套规则能覆盖所有语境,只能按场景配。

规则顺序很要命。先匹配长模式,比如先认「某年某月某日」,再认单独的「某年」,最后才处理裸数字。顺序反了,日期会先被拆成几个数字,再拼回去已经不是日期。金额、百分比、单位也一样,先认「数字加单位」,再处理剩下的数字。

缩写要决定读字母还是读词。「AI」「CPU」「API」在中文播报里常逐字母读;「Wi-Fi」「App」常按习惯音译;「A/B 测试」里的斜杠读成「A 比 B」还是「A 或 B」,得看业务。中英混读还多一层切分,「iPhone 15 Pro 的屏幕」要把品牌名、数字、英文后缀分别处理。

正则化做过头也会错。为了统一格式把中文「一」改成阿拉伯数字「1」,再读成「一」,绕一圈还可能读错;删掉省略号、破折号,又会丢掉语气。前端不是越干净越好,而是要让后面的模型拿到正确的发音和边界。

分词与多音字:G2P 之前先决定怎么切

中文书面文本没有空格,分词就是决定哪几个字是一个词。切法不同,读音和意思都可能变。「南京市长江大桥」可以切成「南京市 / 长江大桥」,也可能被切成「南京 / 市长 / 江大桥」。词边界错了,多音字就选错,韵律也会跟着错。

多音字是中文前端的老大难。「行」在「银行」里读 hang,在「行走」里读 xing;「重」在「重要」里读 zhong,在「重新」里读 chong;「长」在「长大」里读 zhang,在「长安」里读 chang;「乐」在「音乐」里读 yue,在「快乐」里读 le。人靠词和上下文一眼能选,机器要靠词典、词性、语言模型。

G2P 是 grapheme-to-phoneme 的缩写,把书写符号转成音素。中文的 G2P 相对规整,一个字通常对应一个音节,再拆成声母、韵母、声调,难点在多音字和轻声、儿化;英文拼写和发音对不上,需要词典加规则加模型兜底。

音素集必须统一。前端输出的音素表,要和声学模型训练时用的完全一致;多一个符号、少一个声调标记,模型就会当成没见过的输入。很多「换了前端以后声音变差」的问题,最后是音素集版本不一致。

没见过的词,也就是 OOV,是另一条边界。人名、品牌、新词,词典里没有,回退规则按单字读,结果就是每个字都对、连起来不像这个词。工程上要维护业务词典、允许人工标注读音,猜错的地方要能记进日志。

韵律与停顿:标点只是最粗的边界

韵律不只是「哪里停」,还包括停多久、语速多快、音高怎么走、哪个词重读。它决定同一串音素听起来是自然说话还是机械朗读。标点是最粗的线索,但远远不够:长句里一个逗号可能只是换气,也可能是完整的语义边界;列举的顿号要短停,句号要长停。

同一个字面可以有好几种读法。「我想起来了」可以读成「我想起来了」,意思是记起来了;也可以读成「我想,起来了」,意思是想起身。停顿不同,意思就变了。好的韵律预测会结合词性、句法结构和语义,给每个词边界一个等级。

停顿错会直接毁掉听感。该停的地方不停,长句像一口气憋到底,听的人跟不上;不该停的地方乱停,词组被切碎,意思变得奇怪。停顿时长也有讲究,句号后通常比逗号长,列举项之间要短而均匀。

语速也一样。整段用一个速度,听起来像播报机;数字、专有名词、括号补充通常要放慢。声学模型如果只预测一个全局语速,前端标再多韵律边界也落不到波形上。

所以韵律是前端和声学模型共同的责任。前端给边界和等级,声学模型预测每个音素的时长、停顿长度和音高曲线。听到「念经」,先看前端有没有韵律标记,再看时长是不是一条直线。

声学模型:音素变成梅尔谱和时长

声学模型的输入是音素序列和韵律标记,输出一般有两部分:梅尔谱和时长。梅尔谱按帧组织,常见帧移十毫秒左右,每秒一百帧上下;每帧几十个频带,常见八十维。梅尔刻度不是线性的,低频分得细、高频分得粗,因为人耳对低频变化更敏感。

时长决定每个音素占几帧、停顿多长、整句总时长。它看起来只是数字,实际直接影响自然度:把「是」拖太长会显得犹豫,把句尾的「了」压太短会像被吞掉,停顿给错位置会改变语义。时长通常和声学模型一起训练,也可以单独做一个模块。

音高和能量也在这附近产生。有的系统让声学模型直接输出包含音高的谱,有的单独预测基频曲线,再由声码器合成。基频是声带振动的频率,决定声音高低;能量决定响度。音高曲线太平,听起来就是念经;跳得太厉害,又像唱歌。

声学模型还容易「过度平滑」。回归模型倾向输出平均值,把细节抹平,结果每个音都清楚,过渡却不自然,声音发闷。这个问题到声码器那层会被放大,因为声码器只能根据谱去猜细节。

声学模型不负责「这个字读什么」,它拿到的是音素,音素错了只能照着错音发。所以「字读错」和「语调平」要分开查:前者回前端,后者看时长、音高和谱的平滑程度。

声码器:把谱变回波形,三条路线

声码器把梅尔谱变成波形采样点。梅尔谱只描述各频带的能量,丢掉了相位;波形需要每个采样点的具体值,相位决定这些频率分量在时间上怎么对齐。只用幅度不管相位,反变换出来的声音通常发闷、带嗡嗡声。

历史上主要有三条路线。拼接式从真人录音里切出音素或音节片段,按顺序拼起来再做平滑,天然带真人音色,短句自然,但音库大、覆盖有限,边界还容易有咔哒声。参数式把声音压成统计参数,再用信号处理方法重建,体积小、可控,但机械感重、音质上限低。端到端让神经网络直接从文本或谱生成波形,自然度最高,代价是数据、算力和可控性。

拼接式:自然但覆盖有限

音色真实、短句稳定;音库大、新词和情感覆盖差、边界处理麻烦。适合固定话术、有限领域的播报。

端到端:自然但代价高

韵律和音质上限高;要数据、要算力、可控性差,改一个读音可能要动训练集。适合通用合成和高质量场景。

现在常见的组合是「声学模型出梅尔谱,神经声码器出波形」。声学模型管韵律和谱,声码器管相位和细节,分开训练、分开替换。换声码器提升音质,换声学模型改语调,不至于牵一发动全身。

声码器还要考虑实时率,也就是处理耗时和音频时长的比值,小于一比实时快。自回归声码器一个采样点一个采样点地生成,音质好但很难实时;基于生成对抗网络或流模型的声码器可以并行生成,快很多。采样率越高,每秒要生成的采样点越多,算力压力越大。

本机跑一遍:正则化和多音字的规则演示

下面只用 Python 标准库:先把日期、百分比、金额、缩写改成可读文本,再用最长匹配的小词典给多音字选读音。它不是生产级前端,只是把规则顺序和词典匹配摊开给你看。输出是实际运行结果。

import re

DIGITS = "零一二三四五六七八九"


def read_digits(s):
    return "".join(DIGITS[int(c)] for c in s if c.isdigit())


def read_int(s):
    n = int(s)
    if n == 0:
        return "零"
    units = ["", "十", "百", "千"]
    ds = str(n)
    out = ""
    zero = False
    for i, ch in enumerate(ds):
        d = int(ch)
        pos = len(ds) - i - 1
        if d == 0:
            zero = True
            continue
        if zero and out:
            out += "零"
        zero = False
        out += DIGITS[d] + units[pos]
    if out.startswith("一十"):
        out = out[1:]
    return out


def read_decimal(s):
    if "." in s:
        a, b = s.split(".")
        return read_int(a) + "点" + read_digits(b)
    return read_int(s)


ABBR = {"AI": "A I", "API": "A P I", "CPU": "C P U"}


def normalize(text):
    text = re.sub(
        r"(\d{4})年(\d{1,2})月(\d{1,2})日",
        lambda m: read_digits(m.group(1)) + "年" + read_int(m.group(2))
        + "月" + read_int(m.group(3)) + "日",
        text,
    )
    text = re.sub(r"(\d+(?:\.\d+)?)%", lambda m: "百分之" + read_decimal(m.group(1)), text)
    text = re.sub(r"(\d+(?:\.\d+)?)元", lambda m: read_decimal(m.group(1)) + "元", text)
    text = re.sub(r"(\d{4})年", lambda m: read_digits(m.group(1)) + "年", text)
    text = re.sub(r"(\d+)", lambda m: read_int(m.group(1)), text)
    for k, v in ABBR.items():
        text = text.replace(k, " " + v + " ")
    return re.sub(r"\s+", " ", text).strip()


WORDS = {
    "银行": "yin2 hang2", "行业": "hang2 ye4", "行长": "hang2 zhang3",
    "行走": "xing2 zou3", "长大": "zhang3 da4", "重新": "chong2 xin1",
    "重量": "zhong4 liang4", "音乐": "yin1 yue4", "快乐": "kuai4 le4",
    "长安": "chang2 an1", "重庆": "chong2 qing4", "重要": "zhong4 yao4",
}
DEFAULT = {"行": "xing2", "重": "zhong4", "长": "chang2", "乐": "le4"}


def greedy(text):
    i, out = 0, []
    while i < len(text):
        for size in (3, 2):
            w = text[i:i + size]
            if w in WORDS:
                out.append(w + "/" + WORDS[w])
                i += size
                break
        else:
            ch = text[i]
            out.append(ch + ("/" + DEFAULT[ch] if ch in DEFAULT else ""))
            i += 1
    return " ".join(out)


samples = [
    "2026年11月7日,AI 客服上线,转化率提升了 3.5%。",
    "银行行长在行业会议上说,行走和长大是两回事。",
    "订单金额 1280 元,CPU 占用 87%。",
]
for s in samples:
    print("原文  :", s)
    print("正则化:", normalize(s))
    print("读音  :", greedy(normalize(s)))
    print()
原文  : 2026年11月7日,AI 客服上线,转化率提升了 3.5%。
正则化: 二零二六年十一月七日, A I 客服上线,转化率提升了 百分之三点五。
读音  : 二 零 二 六 年 十 一 月 七 日 ,   A   I   客 服 上 线 , 转 化 率 提 升 了   百 分 之 三 点 五 。

原文  : 银行行长在行业会议上说,行走和长大是两回事。
正则化: 银行行长在行业会议上说,行走和长大是两回事。
读音  : 银行/yin2 hang2 行长/hang2 zhang3 在 行业/hang2 ye4 会 议 上 说 , 行走/xing2 zou3 和 长大/zhang3 da4 是 两 回 事 。

原文  : 订单金额 1280 元,CPU 占用 87%。
正则化: 订单金额 一千二百八十 元, C P U 占用 百分之八十七。
读音  : 订 单 金 额   一 千 二 百 八 十   元 ,   C   P   U   占 用   百 分 之 八 十 七 。

日期先被整段识别,所以「2026」按位读成「二零二六」,「11」读成「十一」,「7」读成「七」。百分比和金额在裸数字规则之前处理,所以「3.5%」变成「百分之三点五」,「1280元」变成「一千二百八十元」。缩写表把「AI」和「CPU」拆成字母。

多音字靠最长匹配:先看三个字,再看两个字,最后才回退到单字默认读音。所以「银行」「行长」「行业」「行走」「长大」都命中词典。问题也明显:词典没收录的词一定退回默认读音,可能就错了。生产环境要靠更大的词典、上下文模型和人工兜底。

这段程序为了看清规则,故意没做中文分词,也没处理轻声、儿化和英文例外词。真实前端在这些地方会复杂得多,不能直接拿这段代码上生产。

出了问题先看哪一层

合成效果差,最常见的反应是「换个更好的模型」。换之前先确认错误落在哪一层,能省掉大量无效尝试。下表按听感反推原因,第一步都是低成本、当天能做的检查。

现象真实原因第一步查什么
年份、日期按数值读正则化没区分语境,或规则顺序反了打印正则化前后的文本,看长模式是否先匹配
多音字读错,比如「银行」读 xing分词切错,或词典没覆盖这个词打印分词结果和每个词的拼音
英文缩写逐字母读得很怪缩写表缺项,或中英切分把词拆散检查缩写表和中英混读的切分边界
句尾不停,整段一口气念完前端没给韵律边界,或声学模型忽略边界打印韵律标记与每个音素的时长
语调平,像念经音高曲线被平滑,时长预测接近均值导出音高和时长曲线,看方差是否过小
声音发闷、带金属感声码器带宽不足或相位重建差固定声学模型,只换声码器做 A/B
尾字被吞、句尾突然断前端截断文本,或声码器尾帧没收好对齐文本长度和音频时长,听最后一个音素
长句后半段越读越快总时长被限制,时长预测被压缩打印每个音素的预测时长,看是否被整体缩放
同音词选错,比如「公式」和「攻势」分词或语言模型上下文不足检查候选词列表和上下文窗口

排查顺序从前端开始,因为前端最便宜、最容易复现。把文本、正则化结果、分词、拼音、韵律标记逐段打印,大部分「读音怪」的问题在这一步就能定位。前端确认无误,再看时长和音高曲线;这两项也正常,才怀疑声码器。

声码器的问题用 A/B 隔离。固定同一段梅尔谱,分别过两个声码器,只听音质,不听读音和语调。两个都闷,问题在谱本身;一个明显好,才说明是声码器的差距。这个实验不用重训声学模型,成本很低。

边界与代价

文本前端的规则不是越多越好。规则越多,覆盖越广,冲突也越多:一条把「3.5」读成「三点五」,另一条又把小数点当句号。维护规则要持续看日志、补词典、做回归,成本会随时间涨。

声学模型的边界在数据和可控性。想要更自然的韵律,通常要更多带标注的录音;想要指定情感、语速、重音,模型得支持控制输入,否则只能靠猜;控制越细,模型又越容易僵硬。

声码器的边界在音质和实时率。高采样率、大感受野、自回归生成,音质可能更好,算力也更高;移动端和云端的选择完全不同。拼接式在固定话术里仍然好用,自然度来自真人录音,代价是音库和覆盖。端到端省掉中间环节,但训练数据、算力、排查成本更高。

还有一层常被忽略的代价:可维护性。三段式链路每一段都能单独替换、单独测试,出了问题能定位;端到端听起来更先进,但一个读音错误可能要靠改数据分布来解决。对业务系统来说,「能查」有时比「上限高」更重要,选路线要看团队能维护什么。

最后要承认,没有一条链路能让所有字都读对。多音字有长尾,新词每天出现,韵律本来就有多种合理读法。工程上能做的是让错误可记录、可回退、可人工修正。

当天能验证的练习

  1. 从业务日志找十条含日期、金额、百分比的真实文本,先手写期望读法,再跑规则,逐条对照差异。
  2. 列二十个含多音字的词,比如「银行、行走、长大、重要、音乐」,构造前后文,检查分词和拼音是否选对。
  3. 同一句话分别用句号、逗号、无标点合成,记录停顿位置和总时长,判断韵律标记有没有生效。
  4. 导出一段合成音频的梅尔谱和音高曲线,看句号处有没有静音段、疑问句末尾音高有没有上扬。
  5. 固定同一段梅尔谱,换两个声码器各生成一遍,盲听只评音质,记录金属声、气声、断续出现在哪里。

文本前端决定读什么,声学模型决定怎么发声,声码器决定最后干不干净。三者里最容易背锅的是声码器,最容易出错的却常常是前端。下一篇专门讲声码器:为什么梅尔谱画得出来、放出来却是嗡嗡声,Griffin-Lim 怎么迭代相位,神经声码器又在换什么。