素材中台要在一张图里带上几个业务字段:素材编号、审核状态、裁剪框、上传人、来源渠道。第一版方案是把它们塞进 EXIF 的自定义标签,测试环境一切正常。上线第三天,运营发现部分图片的编号查不到了,换一张图又正常。排查下来,图片走了一条第三方压缩服务,那条链路会把 EXIF 整块剥掉,只保留像素。

换成 PNG 的文本块也不稳。标准文本块用 Latin-1 编码,写中文要转义;扩展文本块虽然支持 UTF-8,但不同解析器对编码声明和分块的处理并不一致,稍微大一点的 JSON 就会被截断。再退一步,用同名的 sidecar 文件存元数据,又遇到同步问题:图片替换了,sidecar 忘了更新,两边对不上。

与其在每个格式的边角里找地方,不如设计一个自己的格式。这一篇先定规范:文件头怎么排、每个字段为什么存在、元数据怎么组织、像素怎么摆放、RLE 的控制字节怎么约定。下一篇再按这份规范写一个能跑通的编解码器,做往返校验。

现象真实原因第一步查什么
业务字段写进 EXIF,上线后部分图片读不到上传或加速链路重编码时把整块元数据剥掉了对比上传前后的文件,确认哪一跳做了重编码
PNG 文本块里的中文变成乱码标准文本块用 Latin-1 编码,写不进中文查写入端用的块类型和编码声明,确认读取端是否同一套解析
大段 JSON 写进文本块后被截断块长度字段或解析器限制了单块大小,没有分块查长度字段上限和是否支持多块拼接
同名 sidecar 文件和图片内容对不上两个对象分开存储,替换时没有事务约束查更新流程是否原子,是否有版本号校验
给文件尾部追加数据后解码器直接报错解码器严格校验文件长度或按固定偏移读取查读取端是否依赖偏移表,还是硬编码位置
元数据变长后首帧加载变慢像素数据被推到文件尾部,必须先读完整块元数据查头部是否有独立偏移字段,能否跳过元数据区
旧版客户端读到新文件直接崩溃没有版本字段,解码器把未知结构当成已知结构解析查头部版本号与未知标志位的处理策略

先划清范围:这个格式要做什么

自己造格式最容易犯的错,是想一次解决所有问题。PXIF 第一版只做三件事:把少量像素用索引色存下来、把业务键值元数据和像素放在同一个文件里、让读取端可以只看头就决定要不要继续解析。它不追求极致的压缩比,也不打算替代 WebP 或 AVIF。

明确不做的部分同样重要。v1 不支持动画和多帧,不支持 CMYK 和浮点像素,不支持超过 65535 的宽高,索引色上限 256 色。需要这些能力时升版本,不在同一版里偷偷扩展语义,否则解码端无法判断自己读到的是什么。

字节序统一用小端,解析时不用反复转换,代价是在大端设备上要多一层读取函数。规范里写死这一条,因为同一份文件在不同端读出不同宽高,是最难查的一类问题。

整体布局:四段加两个偏移

文件由四段组成:二十四字节的头部、调色板、元数据区、像素数据区。头部里有两个绝对偏移,分别指向元数据区和像素数据区。读取端拿到文件后,先读头部,再按偏移跳到自己需要的段,不必顺序扫完整个文件。

PXIF 文件的四段结构
头部 24 字节
调色板
键值元数据
像素与渐进层

为什么要有偏移,而不是约定「元数据一定紧跟在调色板后面」?因为顺序是实现的自由,不是格式的义务。有了偏移,写入端可以把元数据放到像素后面,也可以为将来的校验块、缩略图块留出位置;读取端只认偏移,不认物理顺序,扩展时不会把老解码器弄坏。

代价是两个偏移占了八字节,接近头部的三分之一,换来可跳读和可扩展。对「先看元数据再决定要不要解码」的场景,这个交换划算。

头部逐字段:二十四字节怎么花

头部固定二十四字节,顺序和宽度如下。所有多字节整数都是小端。之所以定长,是为了让读取端可以用一次结构体解析拿到全部信息,不用逐字段判断长度。

偏移字段宽度取值为什么存在
0x00magic4 字节ASCII 的 PXIF让解析器在文件类型识别阶段就能确认,不必靠扩展名猜
0x04version1 字节当前为 1结构变化时升版本,老解码器可以明确拒绝而不是读错
0x05flags1 字节按位定义,见下节把索引色、alpha、渐进、RLE 四个开关压进一个字节
0x06bit_depth1 字节v1 只允许 8给未来十位或十六位留位置,v1 遇到其它值直接报错
0x07reserved1 字节写 0,读时忽略让头部凑成八的倍数,也给小扩展留一个字节
0x08width2 字节1 到 65535业务图不会超过这个范围,用两字节省下空间
0x0Aheight2 字节1 到 65535同上,宽高各两字节而不是四字节
0x0Cpalette_count2 字节0 到 256索引色上限 256,但仍留两字节,方便将来放宽
0x0Emeta_count2 字节0 到 65535元数据条数,读取端可预分配,也可做上限检查
0x10data_offset4 字节从文件开头算起指向像素数据,允许中间插入未知块
0x14meta_offset4 字节从文件开头算起指向元数据,允许先读元数据再决定是否解码

几个宽度选择值得说明。宽高用两字节,是因为四字节能表达四十亿像素,实际业务用不到,多出来的两字节每个文件都要付。索引色上限是 256,但计数也用两字节,是为了让「将来支持更多颜色」不需要改字段宽度,只改版本和语义。头部总长二十四,正好能被八整除,读取端可以按八字节对齐做一次拷贝。

偏移用四字节,能表达四 GB,对图片足够;将来要在一个文件里塞多帧序列,这个上限会被突破。规范写明上限,写入端超限必须报错,不能让偏移溢出成一个看起来合法的值。

flags:一个字节装四个开关

四个能力位从低位开始:第零位表示索引色,第一位表示带 alpha,第二位表示渐进,第三位表示按行 RLE。剩下四位保留。写入时保留位必须为零,读取时遇到未知位要报错,而不是静默忽略。

这条规则意味着任何能力扩展都必须升版本,不能靠新标志位偷偷上线。好处是不会把结构读错:如果第四位将来表示「像素前多一个校验块」,老解码器忽略它就会把校验块当像素,整张图错位。宁可让老程序明确失败,也不要它输出一张看起来正常、其实错位的图。

位组合之间也有约束。索引色关闭时,调色板计数必须为零;alpha 关闭时,调色板条目是三字节而不是四字节;渐进开启时,像素数据区必须以层数开头;RLE 关闭时,每一行就是宽度个像素单元,没有控制字节。这些约束写进规范,解码器要逐条检查,不要假设写入端一定守规矩。

调色板:紧凑但要能表达透明

调色板紧跟在头部之后,条目数由头部给出。alpha 位为一时,每个条目四字节,顺序是红、绿、蓝、alpha;alpha 位为零时,每个条目三字节。索引从零开始,没有隐含的排序规则。

调色板里允许重复颜色,也允许 unused 条目。规范不要求去重,因为去重会重排索引,编码端就得重写所有像素。解码端也不要假设索引零一定是背景色,一切以调色板内容为准。

透明可以用一个 alpha 为零的条目统一表示,也可以保留多个不同颜色的全透明条目,让缩放边缘混色更自然。后者多占几条调色板,但能减少白边,属于编码策略而非格式强制。

元数据:定长边界,不做转义

元数据区是一串键值块,块数由头部给出。每个块的格式是:一字节键长度,若干字节键名,两字节值长度,若干字节值。键名限定为小写字母、数字、下划线和短横线,用 ASCII 存;值用 UTF-8,允许中文。

为什么不用 JSON 一整块存?因为解析 JSON 要引入解析器、处理转义和嵌套,出错面比定长字段大得多。键值块没有转义,读到长度就知道边界在哪里。代价是不能表达嵌套结构,需要嵌套时用扁平键名,比如 crop.x 和 crop.w。

值长度是两字节,上限 65535 字节,够放一段描述、一个裁剪框、一组标签,放不下大段 JSON。超过上限时应该拆成多个键,而不是截断。键长度是一字节,实际建议控制在三十二字节以内,太长会让每条记录的固定开销变得明显。

规范要求键名在同一个文件内唯一。遇到重复键时,解码器必须报错而不是「后一个覆盖前一个」,因为覆盖语义会让写入端的错误被悄悄吞掉。未知键则相反,解码器要原样保留,重新编码时写回去,否则经过一次中转,业务字段就丢了。

单文件内嵌元数据

元数据和像素同一个文件,复制、上传、备份都不会分家,读取端可以先看元数据再决定是否解码。缺点是元数据变长会把像素往后推,得靠偏移表跳读。

外部 sidecar 文件

元数据独立,改起来方便,不碰像素。缺点是两张对象要同步,替换和迁移时容易脱节,需要版本号和原子操作兜底。

像素排列:行优先,控制字节按行重置

像素数据区从 data_offset 开始。第一字节是层数,非渐进文件固定为一。每一层先写一字节缩放分母,再写两字节层宽和两字节层高,然后是这一层的像素行。行优先,从左上角开始,每一行从左到右,没有列优先的选项。

索引色模式下,一个像素就是一个字节的调色板索引。直接色模式下每像素三或四字节。v1 参考实现只做索引色,直接色路径未在本机实测,写进规范只为定义完整。

RLE 按行独立,每行开头控制字节重新计数,不从上一行延续。好处是任何一行都能单独解码,坏了一行不会污染下一行;代价是长串跨行时压缩率损失一点。图片的行与行本来就不一定连续,这个损失可以接受。

控制字节的高位决定类型。零到一百二十七表示字面量,后面跟「值加一」个像素单元,原样写出;一百二十八到二百五十五表示重复,后面跟一个像素单元,重复「低七位加一」次。两种类型的上限都是一百二十八个单元,超出的部分另起一段。

一行 8 个索引: 0 0 0 1 1 1 2 3
编码后:        82 00  82 01  01 02 03
解释:         重复 3 个 0,重复 3 个 1,字面量 2 个(2 和 3)

这一行原始八字节,编码后七字节,只省了一个。前六个是两组三连,后两个是不同值,控制字节的开销把收益吃掉了。RLE 只在长串上划算,短串上甚至可能变大,这正是下一篇要实测的。

渐进层:先给一张糊的,再给全图

渐进位开启时,像素数据区存多层。层按分辨率从低到高排列,第一层最小,最后一层是全尺寸。每一层都带自己的宽高,解码器不需要根据上一层推算,也不需要假设缩放比例一定是二的幂。

规范推荐的分母是八、四、一,也就是先给八分之一大小的预览,再给四分之一,最后给全图。低分辨率层用最近邻从原图取样,不做低通,因为它的用途是尽快显示一个大致轮廓,不是最终画质。真正要好看,还是等最后一层。

每层独立存储,数据有重复,压缩器不能跨层引用。换来的是解码器可以随时停手显示低清版本,某层损坏也不影响其它层。追求极致体积应做增量层,但复杂度和错误传播都会上去。

渐进不是「加载更快」,而是「更早看到东西」。总字节数通常比非渐进多,因为低分辨率层是额外开销。它的价值在首屏体验,不在体积。

一份 104 字节的完整文件

把上面这些拼起来看一个真实例子:八乘六索引色图,四色调色板,两条元数据,开 alpha 和 RLE,不开渐进。整个文件一百零四字节,下面是从文件里直接读出的字节。

50 58 49 46 01 0b 08 00 08 00 06 00 04 00 02 00
46 00 00 00 28 00 00 00
12 18 26 ff f0 c4 00 ff fa fa fa ff 00 00 00 00
03 73 72 63 04 00 41 43 45 53
05 74 69 74 6c 65 0c 00 e5 b0 81 e9 9d a2 e5 8d a0 e4 bd 8d
01 01 08 00 06 00
82 00 82 01 01 02 03
81 00 83 01 01 02 03
85 02 81 03
85 02 81 03
83 01 83 03
87 00

逐段对一遍。前四字节是 magic,接着版本 01,flags 是 0x0b,即索引色、alpha、RLE 三位都开,渐进关。位深 08,保留字节 00。宽 08 00 是小端的八,高 06 00 是六。调色板计数 04 00,元数据条数 02 00。

两个偏移各四字节:46 00 00 00 等于七十,指向像素;28 00 00 00 等于四十,指向元数据。头部二十四字节加调色板十六字节正好四十;再过三十字节元数据到七十。偏移和实际位置对得上,这是解码器要做的第一项校验。

调色板四条,每条四字节:深蓝、品牌黄、近白、全透明黑。最后一条 RGB 和 alpha 都是零,缩放时透明区域不会带出白色,这是编码策略而不是格式强制。

元数据两条。第一条键名 src 三个字节,值长度四,值是 ACES;第二条键名 title 五个字节,值长度十二,值是四个中文字符的 UTF-8 编码,共十二字节。两条合计三十字节,和偏移差对得上。

像素区开头是层数 01、缩放分母 01、宽 08 00、高 06 00,共六字节。后面六行按控制字节规则解,第一行正好是刚才那个例子。像素区三十四字节,加上前面的七十,得到一百零四。

边界与代价

第一笔代价是没有强制校验和。v1 只靠偏移、长度和像素计数做结构校验,某一字节被翻转但结构仍然合法时,解码器会安静地输出一张颜色错误的图。补救办法是在元数据里放内容哈希,或者等 v2 加校验块。这版适合内部工具,不适合长期归档。

第二笔代价是与现有生态不互通。浏览器不认识 PXIF,图片库也不支持,必须自己写转换工具,导出时转成 PNG 或 WebP。

第三笔代价是索引色的天花板。二百五十六色对图标、图表、扫描件够用,对照片就是灾难。规范里定义了直接色路径,但参考实现没做,真实照片要走这条路还得补实现和测试。

最后一个边界是元数据的可信度。键值区可以写任意 UTF-8,读取端必须限制单值长度和键数量,否则构造过的文件能让解析器分配巨大内存。

当天能自己验证的五个练习

  1. 用十六进制查看器打开任意一张 PNG,找到文件头的前八字节,对照本文的头部字段表,写出每个字节的含义。
  2. 按本文规则,手算一张四乘三、两色、无 alpha 的文件的头部和偏移,写出完整的二十四字节。
  3. 把一行索引序列 0 0 1 1 1 1 2 2 2 3 按控制字节规则编码,数一数用了多少字节,和原始长度比较。
  4. 给一份元数据加上重复键,写一段解析脚本,确认它能报错而不是静默覆盖。
  5. 把示例文件的 data_offset 改错四个字节,用解析器打开,记录它报的是哪一类错误,是否会造成越界读取。

小结

三句话:自定义格式的价值不在压缩比,而在「业务需要的信息和像素待在一起」;头部定长、偏移显式、未知位报错,是让解析可预测的三条硬规则;调色板、键值元数据、按行 RLE、独立渐进层,各自解决一个具体问题,也各自带来一笔开销。

规范定完只是纸面工作。下一篇按这份规范写编码器和解码器:用中位切分做索引色量化,用按行 RLE 压像素,用三层渐进做先糊后清,然后在一台机器上真实跑一遍,生成文件、打印字节数、解码回来逐像素比对,看这份规范到底能不能自洽。