素材中台要在一张图里带上几个业务字段:素材编号、审核状态、裁剪框、上传人、来源渠道。第一版方案是把它们塞进 EXIF 的自定义标签,测试环境一切正常。上线第三天,运营发现部分图片的编号查不到了,换一张图又正常。排查下来,图片走了一条第三方压缩服务,那条链路会把 EXIF 整块剥掉,只保留像素。
换成 PNG 的文本块也不稳。标准文本块用 Latin-1 编码,写中文要转义;扩展文本块虽然支持 UTF-8,但不同解析器对编码声明和分块的处理并不一致,稍微大一点的 JSON 就会被截断。再退一步,用同名的 sidecar 文件存元数据,又遇到同步问题:图片替换了,sidecar 忘了更新,两边对不上。
与其在每个格式的边角里找地方,不如设计一个自己的格式。这一篇先定规范:文件头怎么排、每个字段为什么存在、元数据怎么组织、像素怎么摆放、RLE 的控制字节怎么约定。下一篇再按这份规范写一个能跑通的编解码器,做往返校验。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 业务字段写进 EXIF,上线后部分图片读不到 | 上传或加速链路重编码时把整块元数据剥掉了 | 对比上传前后的文件,确认哪一跳做了重编码 |
| PNG 文本块里的中文变成乱码 | 标准文本块用 Latin-1 编码,写不进中文 | 查写入端用的块类型和编码声明,确认读取端是否同一套解析 |
| 大段 JSON 写进文本块后被截断 | 块长度字段或解析器限制了单块大小,没有分块 | 查长度字段上限和是否支持多块拼接 |
| 同名 sidecar 文件和图片内容对不上 | 两个对象分开存储,替换时没有事务约束 | 查更新流程是否原子,是否有版本号校验 |
| 给文件尾部追加数据后解码器直接报错 | 解码器严格校验文件长度或按固定偏移读取 | 查读取端是否依赖偏移表,还是硬编码位置 |
| 元数据变长后首帧加载变慢 | 像素数据被推到文件尾部,必须先读完整块元数据 | 查头部是否有独立偏移字段,能否跳过元数据区 |
| 旧版客户端读到新文件直接崩溃 | 没有版本字段,解码器把未知结构当成已知结构解析 | 查头部版本号与未知标志位的处理策略 |
先划清范围:这个格式要做什么
自己造格式最容易犯的错,是想一次解决所有问题。PXIF 第一版只做三件事:把少量像素用索引色存下来、把业务键值元数据和像素放在同一个文件里、让读取端可以只看头就决定要不要继续解析。它不追求极致的压缩比,也不打算替代 WebP 或 AVIF。
明确不做的部分同样重要。v1 不支持动画和多帧,不支持 CMYK 和浮点像素,不支持超过 65535 的宽高,索引色上限 256 色。需要这些能力时升版本,不在同一版里偷偷扩展语义,否则解码端无法判断自己读到的是什么。
字节序统一用小端,解析时不用反复转换,代价是在大端设备上要多一层读取函数。规范里写死这一条,因为同一份文件在不同端读出不同宽高,是最难查的一类问题。
整体布局:四段加两个偏移
文件由四段组成:二十四字节的头部、调色板、元数据区、像素数据区。头部里有两个绝对偏移,分别指向元数据区和像素数据区。读取端拿到文件后,先读头部,再按偏移跳到自己需要的段,不必顺序扫完整个文件。
为什么要有偏移,而不是约定「元数据一定紧跟在调色板后面」?因为顺序是实现的自由,不是格式的义务。有了偏移,写入端可以把元数据放到像素后面,也可以为将来的校验块、缩略图块留出位置;读取端只认偏移,不认物理顺序,扩展时不会把老解码器弄坏。
代价是两个偏移占了八字节,接近头部的三分之一,换来可跳读和可扩展。对「先看元数据再决定要不要解码」的场景,这个交换划算。
头部逐字段:二十四字节怎么花
头部固定二十四字节,顺序和宽度如下。所有多字节整数都是小端。之所以定长,是为了让读取端可以用一次结构体解析拿到全部信息,不用逐字段判断长度。
| 偏移 | 字段 | 宽度 | 取值 | 为什么存在 |
|---|---|---|---|---|
| 0x00 | magic | 4 字节 | ASCII 的 PXIF | 让解析器在文件类型识别阶段就能确认,不必靠扩展名猜 |
| 0x04 | version | 1 字节 | 当前为 1 | 结构变化时升版本,老解码器可以明确拒绝而不是读错 |
| 0x05 | flags | 1 字节 | 按位定义,见下节 | 把索引色、alpha、渐进、RLE 四个开关压进一个字节 |
| 0x06 | bit_depth | 1 字节 | v1 只允许 8 | 给未来十位或十六位留位置,v1 遇到其它值直接报错 |
| 0x07 | reserved | 1 字节 | 写 0,读时忽略 | 让头部凑成八的倍数,也给小扩展留一个字节 |
| 0x08 | width | 2 字节 | 1 到 65535 | 业务图不会超过这个范围,用两字节省下空间 |
| 0x0A | height | 2 字节 | 1 到 65535 | 同上,宽高各两字节而不是四字节 |
| 0x0C | palette_count | 2 字节 | 0 到 256 | 索引色上限 256,但仍留两字节,方便将来放宽 |
| 0x0E | meta_count | 2 字节 | 0 到 65535 | 元数据条数,读取端可预分配,也可做上限检查 |
| 0x10 | data_offset | 4 字节 | 从文件开头算起 | 指向像素数据,允许中间插入未知块 |
| 0x14 | meta_offset | 4 字节 | 从文件开头算起 | 指向元数据,允许先读元数据再决定是否解码 |
几个宽度选择值得说明。宽高用两字节,是因为四字节能表达四十亿像素,实际业务用不到,多出来的两字节每个文件都要付。索引色上限是 256,但计数也用两字节,是为了让「将来支持更多颜色」不需要改字段宽度,只改版本和语义。头部总长二十四,正好能被八整除,读取端可以按八字节对齐做一次拷贝。
偏移用四字节,能表达四 GB,对图片足够;将来要在一个文件里塞多帧序列,这个上限会被突破。规范写明上限,写入端超限必须报错,不能让偏移溢出成一个看起来合法的值。
flags:一个字节装四个开关
四个能力位从低位开始:第零位表示索引色,第一位表示带 alpha,第二位表示渐进,第三位表示按行 RLE。剩下四位保留。写入时保留位必须为零,读取时遇到未知位要报错,而不是静默忽略。
这条规则意味着任何能力扩展都必须升版本,不能靠新标志位偷偷上线。好处是不会把结构读错:如果第四位将来表示「像素前多一个校验块」,老解码器忽略它就会把校验块当像素,整张图错位。宁可让老程序明确失败,也不要它输出一张看起来正常、其实错位的图。
位组合之间也有约束。索引色关闭时,调色板计数必须为零;alpha 关闭时,调色板条目是三字节而不是四字节;渐进开启时,像素数据区必须以层数开头;RLE 关闭时,每一行就是宽度个像素单元,没有控制字节。这些约束写进规范,解码器要逐条检查,不要假设写入端一定守规矩。
调色板:紧凑但要能表达透明
调色板紧跟在头部之后,条目数由头部给出。alpha 位为一时,每个条目四字节,顺序是红、绿、蓝、alpha;alpha 位为零时,每个条目三字节。索引从零开始,没有隐含的排序规则。
调色板里允许重复颜色,也允许 unused 条目。规范不要求去重,因为去重会重排索引,编码端就得重写所有像素。解码端也不要假设索引零一定是背景色,一切以调色板内容为准。
透明可以用一个 alpha 为零的条目统一表示,也可以保留多个不同颜色的全透明条目,让缩放边缘混色更自然。后者多占几条调色板,但能减少白边,属于编码策略而非格式强制。
元数据:定长边界,不做转义
元数据区是一串键值块,块数由头部给出。每个块的格式是:一字节键长度,若干字节键名,两字节值长度,若干字节值。键名限定为小写字母、数字、下划线和短横线,用 ASCII 存;值用 UTF-8,允许中文。
为什么不用 JSON 一整块存?因为解析 JSON 要引入解析器、处理转义和嵌套,出错面比定长字段大得多。键值块没有转义,读到长度就知道边界在哪里。代价是不能表达嵌套结构,需要嵌套时用扁平键名,比如 crop.x 和 crop.w。
值长度是两字节,上限 65535 字节,够放一段描述、一个裁剪框、一组标签,放不下大段 JSON。超过上限时应该拆成多个键,而不是截断。键长度是一字节,实际建议控制在三十二字节以内,太长会让每条记录的固定开销变得明显。
规范要求键名在同一个文件内唯一。遇到重复键时,解码器必须报错而不是「后一个覆盖前一个」,因为覆盖语义会让写入端的错误被悄悄吞掉。未知键则相反,解码器要原样保留,重新编码时写回去,否则经过一次中转,业务字段就丢了。
单文件内嵌元数据
元数据和像素同一个文件,复制、上传、备份都不会分家,读取端可以先看元数据再决定是否解码。缺点是元数据变长会把像素往后推,得靠偏移表跳读。
外部 sidecar 文件
元数据独立,改起来方便,不碰像素。缺点是两张对象要同步,替换和迁移时容易脱节,需要版本号和原子操作兜底。
像素排列:行优先,控制字节按行重置
像素数据区从 data_offset 开始。第一字节是层数,非渐进文件固定为一。每一层先写一字节缩放分母,再写两字节层宽和两字节层高,然后是这一层的像素行。行优先,从左上角开始,每一行从左到右,没有列优先的选项。
索引色模式下,一个像素就是一个字节的调色板索引。直接色模式下每像素三或四字节。v1 参考实现只做索引色,直接色路径未在本机实测,写进规范只为定义完整。
RLE 按行独立,每行开头控制字节重新计数,不从上一行延续。好处是任何一行都能单独解码,坏了一行不会污染下一行;代价是长串跨行时压缩率损失一点。图片的行与行本来就不一定连续,这个损失可以接受。
控制字节的高位决定类型。零到一百二十七表示字面量,后面跟「值加一」个像素单元,原样写出;一百二十八到二百五十五表示重复,后面跟一个像素单元,重复「低七位加一」次。两种类型的上限都是一百二十八个单元,超出的部分另起一段。
一行 8 个索引: 0 0 0 1 1 1 2 3
编码后: 82 00 82 01 01 02 03
解释: 重复 3 个 0,重复 3 个 1,字面量 2 个(2 和 3)
这一行原始八字节,编码后七字节,只省了一个。前六个是两组三连,后两个是不同值,控制字节的开销把收益吃掉了。RLE 只在长串上划算,短串上甚至可能变大,这正是下一篇要实测的。
渐进层:先给一张糊的,再给全图
渐进位开启时,像素数据区存多层。层按分辨率从低到高排列,第一层最小,最后一层是全尺寸。每一层都带自己的宽高,解码器不需要根据上一层推算,也不需要假设缩放比例一定是二的幂。
规范推荐的分母是八、四、一,也就是先给八分之一大小的预览,再给四分之一,最后给全图。低分辨率层用最近邻从原图取样,不做低通,因为它的用途是尽快显示一个大致轮廓,不是最终画质。真正要好看,还是等最后一层。
每层独立存储,数据有重复,压缩器不能跨层引用。换来的是解码器可以随时停手显示低清版本,某层损坏也不影响其它层。追求极致体积应做增量层,但复杂度和错误传播都会上去。
一份 104 字节的完整文件
把上面这些拼起来看一个真实例子:八乘六索引色图,四色调色板,两条元数据,开 alpha 和 RLE,不开渐进。整个文件一百零四字节,下面是从文件里直接读出的字节。
50 58 49 46 01 0b 08 00 08 00 06 00 04 00 02 00
46 00 00 00 28 00 00 00
12 18 26 ff f0 c4 00 ff fa fa fa ff 00 00 00 00
03 73 72 63 04 00 41 43 45 53
05 74 69 74 6c 65 0c 00 e5 b0 81 e9 9d a2 e5 8d a0 e4 bd 8d
01 01 08 00 06 00
82 00 82 01 01 02 03
81 00 83 01 01 02 03
85 02 81 03
85 02 81 03
83 01 83 03
87 00
逐段对一遍。前四字节是 magic,接着版本 01,flags 是 0x0b,即索引色、alpha、RLE 三位都开,渐进关。位深 08,保留字节 00。宽 08 00 是小端的八,高 06 00 是六。调色板计数 04 00,元数据条数 02 00。
两个偏移各四字节:46 00 00 00 等于七十,指向像素;28 00 00 00 等于四十,指向元数据。头部二十四字节加调色板十六字节正好四十;再过三十字节元数据到七十。偏移和实际位置对得上,这是解码器要做的第一项校验。
调色板四条,每条四字节:深蓝、品牌黄、近白、全透明黑。最后一条 RGB 和 alpha 都是零,缩放时透明区域不会带出白色,这是编码策略而不是格式强制。
元数据两条。第一条键名 src 三个字节,值长度四,值是 ACES;第二条键名 title 五个字节,值长度十二,值是四个中文字符的 UTF-8 编码,共十二字节。两条合计三十字节,和偏移差对得上。
像素区开头是层数 01、缩放分母 01、宽 08 00、高 06 00,共六字节。后面六行按控制字节规则解,第一行正好是刚才那个例子。像素区三十四字节,加上前面的七十,得到一百零四。
边界与代价
第一笔代价是没有强制校验和。v1 只靠偏移、长度和像素计数做结构校验,某一字节被翻转但结构仍然合法时,解码器会安静地输出一张颜色错误的图。补救办法是在元数据里放内容哈希,或者等 v2 加校验块。这版适合内部工具,不适合长期归档。
第二笔代价是与现有生态不互通。浏览器不认识 PXIF,图片库也不支持,必须自己写转换工具,导出时转成 PNG 或 WebP。
第三笔代价是索引色的天花板。二百五十六色对图标、图表、扫描件够用,对照片就是灾难。规范里定义了直接色路径,但参考实现没做,真实照片要走这条路还得补实现和测试。
最后一个边界是元数据的可信度。键值区可以写任意 UTF-8,读取端必须限制单值长度和键数量,否则构造过的文件能让解析器分配巨大内存。
当天能自己验证的五个练习
- 用十六进制查看器打开任意一张 PNG,找到文件头的前八字节,对照本文的头部字段表,写出每个字节的含义。
- 按本文规则,手算一张四乘三、两色、无 alpha 的文件的头部和偏移,写出完整的二十四字节。
- 把一行索引序列 0 0 1 1 1 1 2 2 2 3 按控制字节规则编码,数一数用了多少字节,和原始长度比较。
- 给一份元数据加上重复键,写一段解析脚本,确认它能报错而不是静默覆盖。
- 把示例文件的 data_offset 改错四个字节,用解析器打开,记录它报的是哪一类错误,是否会造成越界读取。
小结
三句话:自定义格式的价值不在压缩比,而在「业务需要的信息和像素待在一起」;头部定长、偏移显式、未知位报错,是让解析可预测的三条硬规则;调色板、键值元数据、按行 RLE、独立渐进层,各自解决一个具体问题,也各自带来一笔开销。
规范定完只是纸面工作。下一篇按这份规范写编码器和解码器:用中位切分做索引色量化,用按行 RLE 压像素,用三层渐进做先糊后清,然后在一台机器上真实跑一遍,生成文件、打印字节数、解码回来逐像素比对,看这份规范到底能不能自洽。