运营给了一份 CSV,让写脚本统计年龄分布。脚本第一行读取表头,打印出来是 ['\ufeff名字', '年龄'],比预期多了三个字符。后续按「名字」这个键取值,永远取不到,代码却没有任何报错。

那个 \ufeff 是字节顺序标记,英文叫 BOM。它来自 Excel 导出 CSV 时的习惯:文件开头写入三个字节 EF BB BF,用来告诉读取方「我是 UTF-8」。问题在于,Python 用 encoding="utf-8" 读取时,会把这三个字节解码成一个不可见的字符,于是表头第一个字段就带了个前缀。

修法很简单:读这种文件用 encoding="utf-8-sig",它会自动识别并吃掉 BOM。但这个 bug 值得单独拿出来说,因为它同时涉及三个知识点:文件是文本还是字节、编码在哪一层转换、路径和异常怎么处理。这篇就把一次 open 背后的事情拆开讲。

打开文件时到底发生了什么

open(path, mode, encoding) 做三件事:按路径找到文件、按模式确定读还是写、按编码决定文本怎么在字节和字符之间转换。返回的文件对象是一个迭代器,可以 read() 一次性读完,也可以 readline() 读一行,或者直接 for line in f 逐行迭代。

with open("data.txt", encoding="utf-8") as f:
    for line in f:
        print(line.rstrip("\n"))

with 保证离开块时关闭文件,即使中间抛异常也会关。不写 with 而手动 open,忘记 close 的后果在 Windows 上尤其明显:文件句柄没释放,别的程序改不了这个文件,删除也会失败。养成习惯,打开就用 with。

文件对象默认带缓冲:写的时候先写进内存缓冲区,攒够一块或者关闭时才真正落盘;读的时候一次读一块,逐行迭代不用每次都进内核。缓冲提升吞吐,但也意味着「代码写完了」不等于「磁盘上有了」。需要立刻落盘时调 f.flush(),要更硬的保证再加 os.fsync(f.fileno())。后者会等待磁盘确认,代价明显,不要每条日志都调。

模式字母的含义:"r" 读、"w" 覆盖写、"a" 追加、"x" 只在文件不存在时创建。"w" 最危险,文件存在会先清空,写一半崩了就只剩半截内容。要安全替换,先写临时文件,写完再 os.replace 改名,这样中途失败原文件还在。

路径要注意「相对谁」。open("data.txt") 相对于当前工作目录,不是脚本所在目录。用 python /path/to/job.py 启动时,工作目录是执行命令时所在的目录,不是脚本目录。稳定写法是用 pathlib.Path(__file__).resolve().parent / "data.txt"。需要用户传入路径时,先 Path(p).expanduser() 展开 ~,再 resolve() 得到绝对路径。

一次文本读取的三层转换
磁盘字节文件里真实存的内容
解码按 encoding 把字节变成字符
换行归一按 newline 规则处理行尾
Python 字符串代码真正拿到的对象

文本模式与二进制模式

默认的 "r" 是文本模式,返回 str,中间做了解码和换行转换。"rb" 是二进制模式,返回 bytes,一个字节一个字节原样给你,不做任何解释。两者的选择标准是:内容需要当「字符」处理,就用文本模式;需要当「原始数据」处理,就用二进制模式。

with open("logo.png", "rb") as f:
    head = f.read(8)
print(head)

图片、音频、压缩包、可执行文件,都只能用二进制模式。文本模式读取这些文件,会在解码阶段抛 UnicodeDecodeError,因为它们本来就不是文本。反过来,读配置文件、日志、CSV,用文本模式更方便,省去自己解码。

二进制模式和 struct 配合可以解析自定义格式。写文件时,b"..." 是字节字面量,(1234).to_bytes(4, "little") 把整数按小端序排成四个字节,struct.pack("<i", 1234) 做同样的事并返回 b'\xd2\x04\x00\x00'。协议解析、文件格式读写都靠这套。普通业务脚本用不到,但看到别人代码里有 struct,至少知道它在处理字节布局,不是在处理文本。

处理 CSV 时优先用标准库的 csv 模块,不要自己 split(",")。字段里可能带逗号、引号、换行,手写切分会把这些情况全部切错。csv.reader 负责转义规则,打开文件时传 newline="",让 CSV 解析器自己处理行尾,避免文本模式先转换一次、解析器再处理一次。Excel 导出的文件还常见 BOM 和分号分隔,读取前先确认分隔符和编码,比写完再调 bug 便宜。

二进制模式没有编码参数。硬传 encoding 给 "rb" 会报 ValueError: binary mode doesn't take an encoding argument。反过来说,文本模式下的 encoding 不是可选项而是关键选项,默认值随环境变化。

还有一个中间态:文本模式可以设置 errors 参数。errors="ignore" 会跳过无法解码的字节,"replace" 用替换字符代替。它们能让程序不崩,但会悄悄丢数据或改变内容。只在「确定丢一点没关系」的场景用,比如预览、模糊搜索;要做数据迁移、计费、审计,宁可报错,也不要用 ignore 蒙混过去。

编码:字节和字符的翻译表

同一个字符在不同编码里有不同的字节表示。「中」在 UTF-8 里是 E4 B8 AD,在 GBK 里是 D6 D0。用 UTF-8 去解 GBK 的字节,就会得到乱码,或者直接抛 UnicodeDecodeError。我实际跑出来的报错是:

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd6 in position 0: invalid continuation byte

position 0 告诉你第一个字节就解不了,0xd6 是那个字节的值。这条信息比「解码失败」有用得多:至少知道问题在文件开头,而不是文件末尾的某一行。反过来,GBK 解码 UTF-8 的字节多数时候不会报错,而是把字节组合成看似汉字的乱码,比如「涓枃」这种。乱码但不报错,比报错更难查。

处理原则只有一条:知道文件是什么编码,就显式写什么编码;不知道,就不要猜。UTF-8 是现在的事实标准,新写的文件、接口、日志都用 UTF-8。读取历史数据时,GBK、GB18030、Big5 都可能出现,需要按来源确认,或者用编码检测工具先抽样判断,再人工核对几行。

BOM 是另一个来源问题。UTF-8 的 BOM 可选,Windows 工具喜欢加,Linux 工具通常不加。读取时用 utf-8-sig 可以兼容两种;写入时不要主动加 BOM,除非目标程序明确要求。用 utf-8-sig 打开没有 BOM 的文件也安全,它只是「有就吃,没有就正常读」。

Python 3.15 在我的机器上把默认编码改成了 UTF-8。locale.getpreferredencoding(False) 返回 utf-8,sys.flags.utf8_mode 是 1。这是好变化,但不要把「默认是 UTF-8」写进假设里。同样的代码在旧版本、在设置了不同 locale 的服务器上,默认值可能还是本地编码。跨环境运行的脚本,open 里永远写 encoding="utf-8"。

用 errors="ignore" 处理编码错误,等于把「文件有问题」变成「数据少了一部分」。日志里看不到异常,报表数字却对不上,排查成本更高。编码错误应该暴露出来,由人决定怎么处理。

换行:Windows 的 CRLF 与文本模式的转换

Windows 的文本文件习惯用 \r\n 表示换行,Unix 用 \n。Python 的文本模式在读写时会做转换:读的时候把 \r\n 归一成 \n,写的时候把 \n 转成系统的行尾。我在 Windows 上写 "a\nb\n",用 read_bytes() 看到的实际字节是:

b'a\r\nb\r\n'

这不是 bug,是文本模式的默认行为。要原样保留,open 时传 newline="",此时不做任何转换,读到什么就是什么。处理 CSV 时这一点很重要:某些字段里可能包含换行,标准库的 csv 模块建议用 newline="" 打开,避免双重转换把内容切错。

读的时候,splitlines() 能处理 \n、\r\n、\r 三种行尾,比自己写 split("\n") 稳。用 for line in f 迭代时,行尾的换行符还在,打印或比较前记得 rstrip("\n");用 rstrip() 不传参数会把行尾空格也去掉,可能改变内容。数据校验时这个差别会导致「看起来一样但比较不相等」。

写日志、配置文件、跨平台数据交换时,建议固定用 \n,并在 open 里写 newline="\n"。这样无论在哪台机器上生成,字节都一致,版本控制里的 diff 也不会因为行尾变化而整文件重写。反过来,读取别人生成的文件时,不要假设行尾是哪种,用能兼容三种的读取方式。

异常:文件操作的失败方式不止一种

文件操作是典型的「外部世界会变」的场景:路径可能不存在、权限可能不够、磁盘可能满、文件可能中途被删、内容可能编码不对。每一种失败都对应不同异常,接的时候要分开处理,不要一个 except Exception 全吞掉。

异常典型触发处理方向
FileNotFoundError路径不存在,或父目录不存在确认路径拼接和启动目录,必要时创建父目录
PermissionError没有读权限、文件被占用检查运行账号权限,Windows 上确认文件没被其他程序锁住
IsADirectoryError把目录当文件打开用 is_file() 判断,或让错误暴露
UnicodeDecodeError编码与文件实际编码不符确认来源编码,换 encoding,不要用 ignore
UnicodeEncodeError写入的字符在当前编码里不存在改用 UTF-8 写入
OSError(磁盘满)写入时空间不足检查磁盘余量,写入前预估大小

FileNotFoundError 对象上有 filename、errno、strerror 属性。我实测读不存在的文件,filename 是完整路径,errno 是 2。把这些信息记进日志,比只打印 e 更容易定位。尤其是路径拼接错误,看到完整路径就能判断是哪一段拼错了。

捕获异常的范围要小。只包住真正会失败的那一行,不要把整个函数体包进 try,否则连自己的逻辑错误也会被当成「文件问题」吞掉。处理完要么恢复,要么带上上下文重新抛出,不要 pass 了事。文件不存在时返回空结果是一种业务决策,可以;但要在日志里留下「哪个路径不存在」,否则以后没人知道数据为什么是空的。

「先检查再操作」在文件系统上并不可靠。if p.exists(): p.read_text() 在检查和读取之间,文件可能被别的进程删掉,于是仍然抛异常。直接读、捕获 FileNotFoundError,逻辑更短也更准。这个思路叫 EAFP,上一篇提过;文件操作是它最典型的适用场景。

Windows 上还有一种容易误判的情况:文件被另一个程序打开着,读取可能成功,写入却抛 PermissionError,错误信息是「另一个程序正在使用此文件」。这不是权限配置错了,是文件锁。处理方式要么等对方关闭,要么写临时文件再替换,不要反复重试写同一个文件。Linux 上同名文件通常允许覆盖写,同一份代码在两个平台表现不同,测试要覆盖目标平台。

大文件:不要一次读进内存

read() 不传参数会把整个文件读成一个大字符串或大字节串。文件 100MB,内存里就多 100MB,再加上解码后的字符串副本,峰值可能是两三倍。上一篇文章里提到的日志清洗事故,就是列表推导把每一行都存了下来。

正确姿势是逐行迭代。文件对象本身就是迭代器,for line in f 每次只读一行,内存占用稳定。我造了一个 10 万行、约 1.1MB 的文件,逐行读取并计数,峰值内存几乎不变。需要按块读取二进制时用 f.read(8192),循环到返回空字节串为止。

with open(path, "rb") as f:
    while True:
        chunk = f.read(8192)
        if not chunk:
            break
        process(chunk)

需要随机访问时用 seek(offset),但要注意文本模式下的偏移是按字节算的,不是按字符算的,多字节编码会让定位变得不直观。二进制格式自己做索引时,通常记录字节偏移,读取时用 "rb" 加 seek。

还有一种常见需求是「边读边写」。不要在原文件上直接覆盖写,读一行写一行会互相干扰。写到临时文件,完成后再替换,是更安全的模式。这样即使中途失败,原文件仍然完整,重跑也不会读到半成品。

替换这一步用 os.replace(tmp, target),在同一文件系统上它通常是原子操作:要么还是旧文件,要么已经是新文件,不会出现写了一半的中间状态。临时文件要放在目标文件所在目录,跨目录或跨磁盘的改名可能退化成复制,失去原子性。写入前先 flush 并 fsync,再替换,才算真正落稳。

边界与代价

文件 IO 的第一个代价是「环境差异」。同一份代码,在开发机、CI、生产服务器上,工作目录、默认编码、行尾、权限、文件系统大小写敏感性都可能不同。把所有隐含假设显式写出来,是让代码可移植的唯一办法:路径基于脚本、编码写 UTF-8、行尾固定、异常具体。

第二个代价是性能与安全的取舍。文本模式方便,但每次读写都有解码和编码开销;二进制模式快,但你要自己处理格式。缓冲区大小、批量写入、flush 时机都会影响吞吐。日志场景还要考虑「写完是否立刻落盘」,flush 和 fsync 的代价不同,不能既要每条都持久化,又要高吞吐。

第三个代价是并发。多个进程同时写同一个文件,内容会交错;多个进程同时读没问题,但同时读写需要锁或者「写临时文件再改名」的原子替换。文件锁跨平台行为不一致,能用数据库或消息队列解决的,不要硬用文件当协调机制。

第四个代价是编码的历史包袱。老系统导出的 GBK 文件、带 BOM 的 CSV、混合编码的日志,都会在迁移时集中爆发。处理策略是「入口统一转 UTF-8」,转换时保留原始文件,记录转换日志,抽检特殊字符。不要在原文件上反复试编码,试错过程本身会制造更多混乱。

还有平台差异带来的路径问题。Windows 路径不区分大小写,Linux 区分;Windows 有盘符、反斜杠和 260 字符的传统长度限制,长路径还要加前缀;文件名里不能出现 : * ? " < > |。用 pathlib 拼接可以避开分隔符问题,但业务生成的文件名仍要自己过滤非法字符。把用户输入直接当文件名,除了路径穿越风险,还会在某些平台上直接失败。

最后一个容易忽略的边界是「文件大小和编码的相互作用」。同样一行文字,UTF-8 下一个汉字通常占 3 个字节,GBK 下占 2 个。按字节计算的偏移、分片、断点续传,和按字符计算的业务长度不是一回事。做日志截断、上传分片、数据库字段长度校验时,先确认单位是字节还是字符,否则会在多语言内容上出现「明明没超长却存不进去」。

小结

open 的模式决定你拿到的是字符还是字节;文本模式会按 encoding 解码、按 newline 转换行尾;编码不一致会抛 UnicodeDecodeError,带 BOM 的文件用 utf-8-sig;路径要基于脚本而不是工作目录;文件异常要按类型处理,不要一个 except 全吞;大文件逐行读,不要 read() 一把梭。

这些规则的共同点是:文件系统是程序之外的世界,它不会按你的假设工作。把假设写成参数,把失败写成明确的异常处理,代码才稳。

当天可以自己验证的练习:

  1. 用 utf-8-sig 写一个带 BOM 的 CSV,再用 utf-8 和 utf-8-sig 各读一次,打印第一行看区别。
  2. 在 Windows 上用文本模式写 "a\nb\n",再用 rb 读出来打印字节,然后把 newline="\n" 加上再对比。
  3. 生成一个 1MB 的文件,分别用 read() 和逐行迭代处理,用 tracemalloc 记录峰值。
  4. 读取一个不存在的路径,打印 e.filename、e.errno,再把父目录建好重试。
  5. 写一个「先写临时文件再替换」的函数,故意在写入中途抛异常,确认原文件没有被破坏。

下一篇讲网络通信:urllib、HTTP 与 socket。文件是「本机的一块数据」,网络是「另一台机器上的数据」,但两者的共同点比想象中多:都会失败、都有超时、都需要明确地关闭和释放。下一篇会从一次请求的完整生命周期讲起。