运营同学发来一份 CSV,用 Excel 双击打开,中文正常;用 Python 读进来,表头变成了“浣犲ソ”这种看不懂的字。开发把文件另存为 UTF-8,再发给运营,Excel 打开又是一片乱码。两个人都在做“正确”的操作,文件却在不同的软件之间来回变脸。这不是文件坏了,而是每一步都在用不同的编码去解释同一串字节。
字符编码这件事,难点不在概念,而在链路。文本从磁盘读进内存、从内存发给网络、从数据库送到页面,每一站都可能发生一次编码转换。只要有一站用错了规则,后面的字就全错位。这篇把字符、码位、字符集、编码这几个词分开,再顺着一条中文的字节流走一遍,看清乱码到底发生在哪一步。
现象:同一份 CSV,两个软件两个样子
先把“乱码”分成两类。第一类是能读出字,但读出来的字不对,比如“你好”变成“浣犲ソ”。这通常是把 UTF-8 的字节当成 GBK 来解,字节没坏,只是配对规则错了。第二类是直接报错,或者出现问号、方框,比如 UnicodeDecodeError: invalid start byte。这通常是字节序列在目标编码里根本不合法,解码器走到一半就卡住了。
还有第三类更隐蔽:文件里混了两种编码。前面几行是 UTF-8,后面追加的几行是 GBK,或者某个字段被 Excel 用本地代码页保存过。整份文件没有统一的“正确编码”,无论用什么打开,都会有一部分正常、一部分乱码。这时候不能靠“换个编辑器试试”,得先定位是哪一段字节不对。
很多人把“乱码”当成显示问题,觉得字体或浏览器的问题。其实大部分乱码在字节层面就已经确定了,显示只是把错误暴露出来。真正要查的是:这段文本在磁盘上是什么字节,读入时用了什么编码,转换时有没有再编码一次,输出时又用了什么编码。四步里任何一步不一致,结果就会错。
接口返回也会出现类似的链条。后端从数据库读到 UTF-8,序列化成 JSON 时转义成 \u4f60\u597d,前端解析后正常;如果中间经过一个只支持 GBK 的老网关,它把 UTF-8 字节重新编码成 GBK,前端再按 UTF-8 解,就会看到乱码。排查这种问题,不能只看最终的页面,要在每一站抓包或打日志,确认字节和声明的编码。
场景走查:字符、码位、字符集、编码不是一回事
字符(character)是人看到的一个书写单位,比如汉字“中”、字母“A”、表情“😀”。码位(code point)是字符在某个字符集里的编号,Unicode 里“中”的码位是 U+4E2D,“A”是 U+0041。字符集(character set)是一张码位表,规定哪个编号对应哪个字符。编码(encoding)是把码位变成字节序列、再从字节还原的规则。四者层次不同,混着说就会糊涂。
ASCII 是最早的字符集之一,只有 128 个码位,覆盖英文大小写、数字、标点和控制字符。它用一个字节的低 7 位表示,高 7 位在传输时可以做奇偶校验。GB2312 是早期的简体中文编码,用两个字节表示一个汉字,收录了六千多个常用字;GBK 在它基础上扩展,收录更多汉字和符号;GB18030 再扩展,覆盖更全,还兼容少数民族文字。它们的共同点是“双字节为主”,并且和 ASCII 在一定程度上兼容。兼容的意思是,英文和数字在 GBK 里仍然占一个字节,和 ASCII 的编码一致,所以纯英文文本在两种编码下看起来一样。这一点在跨平台交换文件时尤其重要,也是老系统仍偏爱 GBK 的原因之一。
Unicode 的目标是给世界上所有字符一个统一编号,不再按语言分表。它只规定码位,不规定怎么存成字节。UTF-8、UTF-16、UTF-32 是三种把码位存成字节的方案。UTF-8 用变长字节,英文 1 个字节,中文通常 3 个,emoji 通常 4 个;UTF-16 用 2 个或 4 个字节;UTF-32 固定 4 个字节。同一个字符,在三种编码下的字节完全不同,但码位是一样的。
这里要纠正一个常见说法:“UTF-8 是字符集”。严格说,UTF-8 是 Unicode 的一种编码方式,字符集是 Unicode。日常沟通里混着说问题不大,但排查问题时必须分清。比如“这个文件是 UTF-8 还是 GBK”,问的是编码;“这个字符在 Unicode 里编号多少”,问的是码位。两句话的答案不是一个东西。
UTF-16 和 UTF-32 还会带出字节序问题。UTF-16 把每个码元的两个字节按顺序放,大端先放高字节,小端先放低字节;UTF-32 同理。UTF-8 的字节顺序是固定的,所以跨平台交换时最省心,这也是它在网络上占主导的原因之一。字节序的具体规则留到下一篇,这里只需要知道:不是所有 Unicode 编码都像 UTF-8 一样不挑机器。
UTF-8 的字节结构:为什么中文占三个字节
UTF-8 的设计很巧。它用首字节的高位标识“这个字符一共几个字节”,后续字节统一以 10 开头。单字节字符以 0 开头,所以 ASCII 的 0 到 127 在 UTF-8 里原样保留,英文文本不受影响。双字节字符首字节以 110 开头,三字节以 1110 开头,四字节以 11110 开头。剩余的低位用来装码位的二进制位。
以“中”为例,码位 U+4E2D 的二进制是 0100 1110 0010 1101,共 16 位。UTF-8 用三字节模板 1110xxxx 10xxxxxx 10xxxxxx,把 16 位拆成 4、6、6 三段填进去,得到 11100100 10111000 10101101,也就是十六进制的 e4 b8 ad。三个字节就这样来的,不是因为汉字“更大”,而是因为 16 位码位需要三字节模板来装。
emoji 通常是四字节,因为很多表情的码位在 U+1F000 以上,超过 16 位,需要四字节模板 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx 来装。比如 😀 的码位是 U+1F600,编码后是 f0 9f 98 80。这也解释了为什么按字节截断字符串会把 emoji 切成半个,解码器看到一个不完整的四字节序列,只能报错或替换。
GBK 则是另一套规则。它用两个字节表示一个汉字,首字节范围大致是 0x81 到 0xFE,尾字节范围更宽。它没有 UTF-8 那种“首字节自带长度”的设计,解码器需要查表判断。好处是中文占两个字节,比 UTF-8 省;坏处是和 Unicode 的码位不是一一对应,跨语言交换时要做转换表,而且不同厂商的扩展区可能不一致。
UTF-8 还有一个好处叫自同步。因为后续字节必须形如 10xxxxxx,首字节的高位又标明了长度,所以从任意一个字节开始扫描,都能在很短的距离内找回字符边界。网络传输丢了一个字节,解码器最多错一个字符,不会把后面整篇都带偏。这个性质让 UTF-8 特别适合流式处理和不稳定信道。
实测:把“你好”变成“浣犲ソ”
用 Python 把“你好”编码成 UTF-8,再把同一串字节用 GBK 解码,就能复现那个经典乱码。下面是本机 Python 3.15 的真实输出:
s = '你好'
print(s.encode('utf-8')) # b'\xe4\xbd\xa0\xe5\xa5\xbd'
print(len(s.encode('utf-8'))) # 6
print(s.encode('gbk')) # b'\xc4\xe3\xba\xc3'
print(len(s.encode('gbk'))) # 4
print(s.encode('utf-8').decode('gbk')) # 浣犲ソ
UTF-8 下“你好”占 6 个字节,GBK 下占 4 个字节。把 6 个 UTF-8 字节按 GBK 的规则两两配对,正好凑出三个合法的 GBK 字符,于是解码器不报错,输出“浣犲ソ”。这就是最迷惑人的一类乱码:字节合法、解码成功、结果全错。它不会抛异常,只会让日志和界面变得奇怪。
反方向通常更干脆。把 GBK 的字节用 UTF-8 解码,往往会直接报错:
try:
s.encode('gbk').decode('utf-8')
except UnicodeDecodeError as e:
print(e) # 'utf-8' codec can't decode byte 0xc4 in position 0: invalid start byte
本机输出是 'utf-8' codec can't decode byte 0xc4 in position 0: invalid start byte。因为 UTF-8 对首字节有严格约束,0xC4 不是合法的起始字节,解码器第一时间就拒绝。这也给排查提供了一个线索:如果程序报“invalid start byte”,说明它按 UTF-8 解了一段并不是 UTF-8 的数据;如果程序不报错但字全错,说明它按某种双字节编码解了 UTF-8 数据。
再试一个 emoji。😀 的 UTF-8 编码是 f0 9f 98 80,四个字节。用 GBK 编码它会直接失败,因为 GBK 的字符表里没有这个码位:
print('😀'.encode('utf-8')) # b'\xf0\x9f\x98\x80'
try:
'😀'.encode('gbk')
except UnicodeEncodeError as e:
print(e)
本机输出是 UnicodeEncodeError: 'gbk' codec can't encode character '\U0001f600' in position 0: illegal multibyte sequence。这说明编码不是“想转就能转”,目标字符集里没有这个字符,就只能报错、替换或丢弃。把 emoji 存进只支持 GBK 的老系统,必须在入口处做过滤或转写,不能指望它自己变通。
解码失败时,大多数库提供了 errors 参数。默认是 strict,直接抛异常;replace 把非法字节换成替换符,程序继续跑;ignore 直接丢掉。用“中文”的 UTF-8 字节按 GBK 解码并开启 replace,本机得到 涓�鏂�,非法位置变成了替换符。宽松模式能让程序不崩,但会悄悄吞掉信息,日志和用户数据都可能缺字。生产环境里,读用户上传的文件可以先用宽松模式探路,但写回和存储前必须确认数据完整。
现象对照表
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| “你好”显示成“浣犲ソ” | UTF-8 字节被按 GBK 解码,字节合法但配对错误 | 确认文件真实编码和读取时声明的编码 |
| 程序报 invalid start byte | 数据不是 UTF-8,却按 UTF-8 解码 | 看报错位置的前几个字节,判断实际编码 |
| Excel 打开正常,程序读进来乱码 | Excel 按本地代码页打开,程序默认按 UTF-8 读 | 确认 Excel 的保存编码和程序的读取参数 |
| 文件开头多出几个看不见的字符 | UTF-8 BOM 被当成正文,或 BOM 与解码器不匹配 | 看文件前三个字节是不是 ef bb bf |
| 中文按字符数截断后出现半个字 | 按字节切分,没有按码位或字素切分 | 检查截断逻辑用的是字节长度还是字符长度 |
| emoji 存进数据库变成问号 | 数据库或列编码不支持四字节字符 | 看库、表、列的字符集,确认是否支持 utf8mb4 |
| 同一个名字在两个系统里长度不同 | 组合字符、全角半角或规范化形式不同 | 比较码位序列,做 NFC 或 NFD 规范化后再比 |
| 网页声明 UTF-8 却仍乱码 | 服务器实际返回 GBK,或响应头与页面声明冲突 | 看响应头的 charset 和文件真实字节 |
边界与代价
第一个代价是“编码不可自描述”。绝大多数文本文件不包含“我是什么编码”的标记,UTF-8 没有强制 BOM,GBK 也没有。读文件的人只能靠约定、扩展名、上下文或统计猜测。Windows 的记事本以前默认 ANSI,也就是本地代码页,简体中文系统下就是 GBK;现在逐步默认 UTF-8,但老文件仍然大量存在。跨系统交换文本时,最稳妥的做法是明确声明编码,而不是让对方猜。
第二个代价是 BOM 的兼容性。UTF-8 的 BOM 是 ef bb bf,它在文件开头,某些软件把它当成“这是一个 UTF-8 文件”的信号,另一些软件把它当成一个零宽字符,导致解析出错。UTF-16 的 BOM 更复杂,还用来区分大小端。处理 BOM 的原则是:读入时识别并剥掉,输出时除非明确要求,否则不要加。把 BOM 当正文拼进 JSON 或 CSV 的字段名,是很常见的故障。
第三个代价是规范化。Unicode 里有些字符可以用不同方式表示,比如带重音的字母可以是“一个预组合字符”,也可以是“基字母加组合音标”。它们在视觉上一样,码位序列不同,字节也不同。搜索、去重、比较时如果不做规范化,就会出现“看起来一样但比较不相等”。NFC 把字符合成预组合形式,NFD 把它拆开,选哪种取决于业务,但同一套系统里要统一。
第四个代价是宽度和截断。一个字符可能占 1 到 4 个字节,也可能由多个码位组成(比如家庭 emoji 由几个人物加连接符拼成)。按字节数限制输入长度,会把多字节字符切坏;按码位数限制,又可能低估组合字符的视觉宽度。面向用户的长度限制,应该按字素簇(grapheme cluster)算,很多语言的字符串库已经提供了这个能力。
第五个代价是安全。不同码位可能长得几乎一样,比如拉丁字母 a 和西里尔字母 а,或者某些数字和字母的变体。攻击者可以用同形字符注册看似合法的用户名、域名,做钓鱼或冒充。只做编码转换不够,还要做同形字检测、规范化,并在关键标识上限制字符集。另一个风险是解码时的超大输入和畸形序列,可能触发解析器漏洞,边界检查不能省。
最后是性能。UTF-8 的变长特性让随机访问变慢:想知道第 n 个字符在哪,不能简单乘字节宽度,得从头数或借助索引。GBK 双字节为主,索引简单一些,但和 Unicode 转换要查表。存储上 UTF-8 对中文通常比 GBK 多占 50% 左右,但换来的是跨语言、跨平台的一致性。选编码时要在体积、兼容性和处理成本之间权衡,不能只看一个指标。
数据库的字符集设置还要再细一层。MySQL 里库、表、列、连接各有自己的字符集,任何一层不是 utf8mb4,四字节字符就可能存不进去或变成问号。只改连接参数不够,表和列的历史设置也要迁。迁移前先查 SHOW CREATE TABLE,确认每一列的真实字符集,再决定是改列、转表还是重建。乱码问题查到最后,常常是某一层的默认值在起作用。
当天能自己验证的练习
- 用 Python 把“你好”“世界”“测试”分别编码成 UTF-8 和 GBK,打印字节和长度,再把 UTF-8 字节用 GBK 解码,记录每次得到的乱码字符串。
- 写一个函数读取文件前 4 个字节,判断有没有 UTF-8 BOM;再找一个带 BOM 的文件,用不带 BOM 处理的方式读,观察字段名多出什么。
- 把一个含中文和 emoji 的字符串按字节数截断到 10 个字节,再按字符数截断,比较两种结果,看看哪种会产生非法字节序列。
- 用
unicodedata.normalize('NFC', s)和'NFD'处理一个带重音的字符,打印处理前后的码位和字节长度。 - 在一个老系统或数据库里建一张表,分别用
utf8和utf8mb4存 emoji,观察哪个能存、哪个报错。本机没有 MySQL 环境,这一条未在本机实测。
小结与下一篇
字符、码位、字符集、编码是四个层次。Unicode 给字符编号,UTF-8 把编号写成变长字节,GBK 用另一套双字节表。乱码大多不是数据损坏,而是某一步用错了编码:UTF-8 字节按 GBK 解会得到“浣犲ソ”,GBK 字节按 UTF-8 解会报 invalid start byte。排查时先确认字节,再确认每一步声明的编码,别在显示层打转。
文本的字节顺序问题相对简单,因为 UTF-8 的字节顺序是固定的。但如果是多字节数值,比如一个 32 位整数或一个 double,同样的字节在不同机器上可能读出两个数。下一篇讲同样的字节,两台机器读出两个数:字节序,把大端、小端和协议里的字节排列讲清楚。