客服机器人上线第二周,财务把账单发到群里:同一套话术,中文那版的用量明显比英文高,问是不是接口算错了。研发的第一反应是「字数差不多啊」,把两段文本贴出来一比,中文字符数甚至还更少。争了半天才发现,两边数的根本不是同一个东西:一个在数字符,一个在数 token。
另一个更常见的坑是自己估预算。产品经理按「一千字大概一千 token」规划上下文,结果几千字的历史对话就把窗口撑爆;测试同学用字符串长度校验输入,线上却返回超长错误。模型不认字,它认的是词表里的条目。
这篇把 token 这件事从头拆开:它是什么、怎么被切出来、词表大小在影响什么、为什么中文常常更费 token,以及按 token 计费背后的那笔账。文末有一个能跑的教学版分词器,你可以换成自己的业务文本试一遍。
账单上的数字不是字数
先把概念钉死。token 是模型处理文本的最小单位,也是分词器词表里的一个条目。它可能是一个完整的词,可能是词的一部分,也可能只是一个字节。模型拿到文本后,第一步是把它切成 token,第二步是查表把每个 token 换成整数编号,也就是 token id,之后所有计算都围着这些编号转。
所以「一个 token 等于一个字」是错的,「等于一个词」也是错的。英文常见词往往一个 token,比如 low;加了后缀的 lowest 可能被拆成 lo、wes、t 三段,具体切法取决于分词器。中文常用词有机会合成一个 token,生僻字则可能退回成三个字节 token。
为什么不能干脆按字或者按词切?按字,词表要覆盖所有汉字,英文还得覆盖各种字母组合,模型看到的序列会变得很长;按词,词表会爆炸,遇到新词、拼写变体、网络用语就没办法处理,只能标记成一个占位符。那个占位符叫未登录词,英文缩写是 OOV,意思是词表里没有、只能被统一符号代替的输入,信息在这一步就丢了。
子词方案是折中:词表大小固定,常见组合收进词表,罕见组合拆成更小的片段。BPE 是其中最常见的一种,全称 Byte Pair Encoding,中文叫字节对编码。它的思路朴素得不像话:从最小的符号开始,统计相邻符号对,把出现最多的那一对合并成新符号,重复若干轮。
这里先给一张流程图,后面每一步都会展开。注意分词发生在模型之前,模型本身并不认识字符串。
一个能跑的教学版 BPE
下面这段程序只用 Python 标准库,语料故意做得极小,方便看清每一轮到底在合并什么:六个英文词,两个中文词。它做的正是上一节说的三步:数相邻符号对、合并最高频的一对、重复。
# -*- coding: utf-8 -*-
from collections import Counter
corpus = ["low", "lower", "lowest", "new", "newer", "newest", "中文", "中文分词"]
def build_vocab(words):
vocab = Counter()
for w in words:
vocab[tuple(w)] += 1
return vocab
def pair_counts(vocab):
counts = Counter()
for symbols, freq in vocab.items():
for i in range(len(symbols) - 1):
counts[(symbols[i], symbols[i + 1])] += freq
return counts
def merge_pair(vocab, pair):
left, right = pair
merged = left + right
new_vocab = Counter()
for symbols, freq in vocab.items():
out = []
i = 0
while i < len(symbols):
if i + 1 < len(symbols) and symbols[i] == left and symbols[i + 1] == right:
out.append(merged)
i += 2
else:
out.append(symbols[i])
i += 1
new_vocab[tuple(out)] += freq
return new_vocab
vocab = build_vocab(corpus)
learned = []
print("初始切分:")
for w in corpus:
print(" ", w, "->", list(w))
print()
for step in range(1, 6):
pairs = pair_counts(vocab)
best = max(pairs.items(), key=lambda kv: (kv[1], kv[0]))
print(f"第 {step} 轮: 合并 {best[0]!r} 频次 {best[1]}")
vocab = merge_pair(vocab, best[0])
learned.append(best[0])
print()
print("最终词表(按长度排序):")
tokens = set()
for symbols in vocab:
for s in symbols:
tokens.add(s)
for t in sorted(tokens, key=lambda x: (len(x), x)):
print(" ", repr(t))
base_chars = set("".join(corpus))
def encode(text):
symbols = []
for ch in text:
if ch in base_chars:
symbols.append(ch)
else:
symbols.extend("<%02X>" % b for b in ch.encode("utf-8"))
for left, right in learned:
out = []
i = 0
while i < len(symbols):
if i + 1 < len(symbols) and symbols[i] == left and symbols[i + 1] == right:
out.append(left + right)
i += 2
else:
out.append(symbols[i])
i += 1
symbols = out
return symbols
print()
print("教学版 BPE 切分结果:")
for text in ["low", "lowest", "newer", "中文", "中文分词", "中文分词器", "语言模型"]:
toks = encode(text)
print(" %-8s token 数 %d %s" % (text, len(toks), toks))
print()
print("UTF-8 字节数对比:")
for text in ["hello", "你好", "中文分词", "中文分词器"]:
print(" %-8s 字符 %d 字节 %d" % (text, len(text), len(text.encode("utf-8"))))
python bpe_demo.py
初始切分:
low -> ['l', 'o', 'w']
lower -> ['l', 'o', 'w', 'e', 'r']
lowest -> ['l', 'o', 'w', 'e', 's', 't']
new -> ['n', 'e', 'w']
newer -> ['n', 'e', 'w', 'e', 'r']
newest -> ['n', 'e', 'w', 'e', 's', 't']
中文 -> ['中', '文']
中文分词 -> ['中', '文', '分', '词']
第 1 轮: 合并 ('w', 'e') 频次 4
第 2 轮: 合并 ('n', 'e') 频次 3
第 3 轮: 合并 ('l', 'o') 频次 3
第 4 轮: 合并 ('中', '文') 频次 2
第 5 轮: 合并 ('we', 's') 频次 2
最终词表(按长度排序):
'r'
't'
'w'
'分'
'词'
'lo'
'ne'
'we'
'中文'
'wes'
教学版 BPE 切分结果:
low token 数 2 ['lo', 'w']
lowest token 数 3 ['lo', 'wes', 't']
newer token 数 3 ['ne', 'we', 'r']
中文 token 数 1 ['中文']
中文分词 token 数 3 ['中文', '分', '词']
中文分词器 token 数 6 ['中文', '分', '词', '<E5>', '<99>', '<A8>']
语言模型 token 数 12 ['<E8>', '<AF>', '<AD>', '<E8>', '<A8>', '<80>', '<E6>', '<A8>', '<A1>', '<E5>', '<9E>', '<8B>']
UTF-8 字节数对比:
hello 字符 5 字节 5
你好 字符 2 字节 6
中文分词 字符 4 字节 12
中文分词器 字符 5 字节 15
输出里有几件事值得看。第一轮合并 w 和 e,因为 lower、lowest、newer、newest 四个词里都有这一对;第二轮 ne,第三轮 lo,都是高频组合。中文的「中」和「文」在语料里出现了两次,第四轮才被合并成一个 token。第五轮把 we 和 s 合成 wes,lowest 因此从五个符号降到三个。
切分结果更能说明问题:low 是两个 token,lowest 是三个,中文是一个,中文分词是三个。到了「中文分词器」,因为「器」不在语料里,只能退回成三个字节 token,整串变成六个。再换一个完全没在语料里出现的中文短语「语言模型」,每个字都要拆成三个字节,十二个 token 才装下四个字。
关键结论只有一句:token 的粒度由词表决定。词表里有的组合就能整体通过,没有的就往更小的单位拆,拆到不能再拆,最后落到字节。所谓「中文更贵」,本质上就是「中文的组合没被词表收进去,于是退化成了字节」。
词表大小:省了序列,贵在嵌入
词表大小是训练前就要定死的超参数,英文叫 vocab size。它不是随手填的数字,直接决定三笔开销。
小词表
覆盖窄,序列长,注意力和上下文都更贵;稀有词拆得碎,语义边界容易断;嵌入表和输出层便宜,低频 token 反而见得更多。
大词表
序列短,同样的窗口能装更多内容;嵌入表和输出层贵,长尾 token 训练不充分,新增词也很难学扎实。
实际选择还要看语种。以英文为主的语料,三万多词表够用;多语种、代码、数学符号混在一起,词表往往要更大,否则每种语言都被切得很碎。中文的问题在这里埋下伏笔:如果训练语料里中文占比低,分词器就不会为中文常用词做足够多的合并,落到线上就是同样内容占更多 token。
还有一个常被忽略的点:词表不是越大越好。新加的 token 在训练数据里出现次数少,它的嵌入向量就学不准,模型遇到它时表现反而不如把它拆成几个熟悉的片段。词表扩张的收益和长尾学习的成本,要一起算。
中文为什么更费 token
要理解这件事,得先看字节。分词器的底层词表通常包含 256 个字节,任何字符最终都能表示成字节序列。UTF-8 是一种把字符编码成字节的格式,里面一个英文字母占 1 个字节,一个常用汉字占 3 个字节,一个 emoji 可能占 4 个。前面实验的最后一段输出就是这件事:hello 五个字符五个字节,中文分词四个字符十二个字节。
当某个字或词没有被合并进词表时,分词器只能按字节切。一个汉字三个 token,两个字六个,四个字十二个。这就是「中文更贵」最直接的原因。反过来,如果「中文」「分词」这类组合在训练语料里反复出现,它们会被合并成整块,一个常用中文词也能只占一个 token。
所以不能简单说「中文一定是英文的三倍」。真实倍数取决于三件事:分词器的训练语料里中文占多少、词表给中文留了多少位置、你写的这部分内容是不是常用表达。专业术语、人名、古文、生僻字,几乎一定被拆碎;日常口语反而可能很省。具体到某个模型、某段文本,只能实测,不能套系数。
还有一个容易忽略的细节:空格和标点也算 token。英文单词前的空格常常和词粘在一起算一个 token,中文的全角标点、引号、省略号各有各的切法。同一段话,复制时多了一个换行,token 数就可能变。代码里的缩进、换行、括号,同样都会被计入。
中文还有一个结构性差异:没有空格分隔。英文分词器可以先用空格把词大致分开,中文不行,只能靠统计出来的合并规则自己找边界。边界找得准不准,直接影响到数字、日期、专有名词这些对切分敏感的片段。
特殊 token 与对话模板
词表里还有一类不参与正常合并的条目,叫特殊 token。常见的有序列开始、序列结束、填充位,以及对话模型用来标记角色的控制符号。它们有固定编号,分词器遇到它们不会拆开,模型也靠它们判断「这句话说完了」「下面轮到助手」。
特殊 token 对账单的影响有两层。第一层是显式占用:系统提示、角色标记、分隔符都要占位置,多轮对话每轮都重复一遍,累计起来不少。第二层是模板差异:同一个问题,不同模型的对话模板不一样,有的每轮都塞角色标记,有的只在开头塞。你按 A 模型的 token 数去估 B 模型的上下文,很容易估错。
填充是另一个来源。批量推理时,短请求会被补齐到这一批里最长的长度,补齐的 token 通常不计费,但它们确实占了显存和计算。这也是后面讲批处理时会再遇到的事:吞吐上去了,显存也跟着上去。
各家是否把特殊 token 计入用量、是否对缓存命中的前缀打折,文档口径不完全一样,而且会随版本调整。这类细节我标为待确认,以你调用返回的用量字段和当期文档为准,不要凭记忆写进预算表。更不要拿网上别人晒的单价直接乘,单价和计费口径经常不是一回事。
按 token 计费的商业逻辑
为什么按 token,而不按请求数、按字数?因为计算量和显存占用大体跟着 token 数走。输入阶段要把每个 token 过一遍网络,输出阶段每生成一个 token 就要完整跑一次前向。请求数可以很少而 token 很多,按次收费会亏;字数又不能反映真实计算量,一个汉字和一个英文单词在模型里的开销并不对等。
输入和输出的单价通常不同,输出更贵。原因是输入可以并行处理,一大段提示能一次性算完;输出必须一个一个往外蹦,每步都要等上一步的结果,GPU 的并行能力用不满。这部分在第四篇讲推理时会展开,这里只要记住:贵不贵,不只看 token 数,还看这些 token 是在哪一侧。
于是工程上的省钱手段也就清楚了:缩短系统提示、少塞无关历史、把重复的前缀缓存起来、能批量就批量。但每一条都有边界:系统提示删过头,模型行为会飘;历史删过头,指代就断了;缓存命中需要前缀完全一致,改一个字符就失效。省 token 不是免费的,它拿效果换钱。
还有一层商业现实:不同厂商对分词器的设计目标不同,有的偏向压缩英文,有的偏向多语种,有的为了让代码更省而专门优化。同样的中文文本,在两家的 token 数可能差出一截。比价的时候要比「完成同一件事的总 token 数」,而不是比每百万 token 的标价。
出了问题先看哪里
下面这张表按「先看到什么」来排,不按概念顺序。遇到对不上账的情况,从第一列找到最像的那一行,再去查第二列对应的原因。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 中文账单的 token 数明显高于英文 | 中文常用组合没进词表,被拆成多段甚至按字节切 | 用同一段文本分别调用分词器,打印 usage 里的输入与输出 token 数 |
| 按字数估的预算严重超支 | 字数不等于 token,标点、空格、模板、特殊符号都算 | 丢掉字符串长度校验,改用分词器实测 |
| 没到窗口上限却报超长 | 系统提示、历史消息、角色标记都占位置 | 逐条打印消息的 token 数,检查对话模板 |
| 同一个词有时一个 token 有时两个 | 前导空格、大小写、相邻标点改变了合并结果 | 对比带空格和不带空格的切分,记录边界 |
| 生僻字或 emoji 特别费 token | 字节回退,一个汉字三字节、一个 emoji 可能四字节 | 统计字符串的 UTF-8 字节数,和字符数对比 |
| 自己数的 token 和账单对不上 | 用的不是同一个分词器,或模型版本已更新 | 确认模型名、分词器版本和计费口径 |
| 微调后同样输入 token 变多 | 新增了特殊 token,或对话模板改了 | 对比新旧词表大小和模板里的固定片段 |
边界与代价
分词器不是中立的。同一句话,切分边界落在哪里,会影响模型看到什么。数字被拆成单个字符后,模型做算术会更吃力;日期、版本号、金额被拆碎,格式错误率会上去。有些团队会在预处理阶段把数字按三位一组加分隔符,或者把长数字单独标记,就是这个道理。
词表一旦定了,就不是随便能换的。嵌入表是按 token id 索引的,换分词器等于换了一套编号,预训练权重直接对不上。想在微调阶段加特殊 token,可以,但新 token 的嵌入是随机初始化的,需要足够多的样本才学得动;加太多,等于让模型重新学一块,灾难性遗忘也会更明显。这些在第三篇讲微调时会细说。
压缩 token 也有反作用。把中文先翻成英文再送给模型,token 可能少了,但翻译本身要花钱,语义还会丢一层;把长提示摘要成短提示,省下的钱可能抵不过一次答错的返工。判断标准是端到端成本,不是单看账单上的 token 数。
最后要接受一个事实:分词是统计产物,不是语言学分析。它不知道什么是词,只知道哪些字节对经常挨在一起。所以它会切出你觉得莫名其妙的边界,也会把该连的东西拆开。理解这一点,就不会对它抱有不切实际的期待,也不会把调参的力气花在改分词上。
当天能验证的练习
- 把文中的语料换成你业务里的二十条中文短句,合并轮数从五改到十,记录词表增长和同一句话切分结果的变化。
- 拿一段两百字的中文和它的英文翻译,分别用你能访问的分词器数 token,记下比值;拿不到分词器时,先用 UTF-8 字节数做上界估算。
- 统计一段真实客服对话里系统提示、历史消息、用户输入各占多少 token,找出最该压缩的那一块。
- 找三个含生僻字或 emoji 的字符串,先按「一字三字节」预测 token 数,再实测,解释差在哪里。
- 把带前导空格的英文单词和不带空格的版本分别切分,观察 token 边界变化,并把原因写成一句话。
做完这五个,你应该能独立回答「这段文本大概多少 token」「为什么这版比那版贵」这两个问题,而不是靠猜。更重要的是,你会知道什么时候该怀疑账单、什么时候该怀疑自己的估算方法。
下一篇:预训练
token 只是原料。模型怎么从这些 token 里学出语法、事实和一点推理能力,是下一篇的事:下一 token 预测这个目标到底在优化什么,训练数据从哪来、怎么洗,为什么参数量一上去,显存账单会变成另一个量级。下一篇的标题是《预训练:下一 token 预测到底在学什么,数据从哪来》,我们从「模型会续写却不会答题」这个现象接着往下拆。