题目附件叫 secret.png,双击提示「文件已损坏」;另一个叫 data.txt,打开却是一堆二进制乱码;还有一个压缩包,解压时提示要密码,但题目根本没给密码。文件大小也奇怪:一张 1x1 的图片居然有 2 MB。遇到这些情况,问题通常不在内容,而在「文件被改过」或者「它根本不是扩展名说的那种格式」。
文件格式分析的核心是两件事:认魔数,看结构。魔数是文件开头用来标识格式的固定字节;结构是文件内部各段怎么排列。知道这两点,就能判断「哪里被改了、改回去会怎样」。这篇用 PNG 和 ZIP 两个最常见、也最容易出题的格式做走查,所有修复都在副本上操作。
扩展名只是给人看的
操作系统和很多软件靠扩展名决定「用什么打开」,但扩展名本身只是文件名的一部分,随时可以改。真正的格式由文件内容决定,尤其是开头的几个字节。分析时第一步永远是看内容,不是看名字。
| 格式 | 开头字节(十六进制) | 常见扩展名 |
|---|---|---|
| PNG | 89 50 4E 47 0D 0A 1A 0A | .png |
| JPEG | FF D8 FF | .jpg、.jpeg |
| GIF | 47 49 46 38 | .gif |
| ZIP | 50 4B 03 04(也有 50 4B 05 06 的空包) | .zip、.docx、.xlsx、.apk |
| GZIP | 1F 8B 08 | .gz、.tgz |
25 50 44 46 2D(即 %PDF-) | ||
| ELF | 7F 45 4C 46 | .elf、无扩展名、.so |
| RAR | 52 61 72 21 1A 07 | .rar |
本机是 Windows,有 MSYS2 的 strings,但 file、xxd、binwalk 在当前环境不可用或未安装,下面这些命令按 Linux 靶场写法给出,未在本机实测。文件头字节本身可以用 Python 直接读,本文的 PNG 魔数已用 Python 核对过。
file attachment
xxd -l 32 attachment
hexdump -C attachment | head -5
如果 file 输出 data,说明它没认出格式;这时不要放弃,手工看前 16 字节,对照上面的表。很多题目只是改了第一个或前几个字节,后面的数据完全正常。
还有一种判据是「结构是否自洽」。正常文件的大小、内部记录的长度和偏移互相吻合;被拼接或截断的文件经常出现矛盾。比如 ZIP 的中央目录结束记录里写着总条目数和中央目录偏移,如果实际位置对不上,就能确定文件被改动过。看结构不必记住每个字段,先找「总长度」「条目数」「偏移」这类汇总字段,用它们和实际文件大小交叉核对,矛盾的地方就是改动点。
扩展名被改是最常见的一种。把 .zip 改成 .png,系统会用图片查看器打开,然后报「格式不支持」,但内容其实完好。反过来,把可执行文件改成 .txt,打开是一堆乱码。判断依据永远是文件头,不是后缀;改回正确扩展名通常就能正常打开,不需要改任何字节。
PNG:块结构,改一个字节就够
PNG 由一个个「块」(chunk)组成。每个块的结构是:4 字节长度、4 字节类型、若干字节数据、4 字节 CRC 校验。第一个块必须是 IHDR,描述宽高、位深、颜色类型;最后是 IEND,表示结束。文件开头还有 8 字节的固定签名,就是上面表里的魔数。
89 50 4E 47 0D 0A 1A 0A。解码器先验这 8 个字节,不对就直接拒绝。最常见的修复是签名首字节被改。把第一个字节从 00 改回 89,图片通常立刻恢复正常。这类改动在十六进制编辑器里只需一步;用 Python 更方便:
data = bytearray(open("bad.png", "rb").read())
data[0] = 0x89
open("fixed.png", "wb").write(data)
如果改回签名后仍打不开,问题可能在 IHDR 的宽度、高度或 CRC。宽高被改大,解码器会按错误尺寸读数据,可能报错或显示花屏;CRC 被改,严格的解码器会拒绝。修复思路是:先用 pngcheck 看哪个块校验失败,再根据原始尺寸或相邻块推断正确值。没有原始文件时,这类修复只能靠结构推断,不能保证一次成功。
binwalk 或在十六进制里搜 50 4B 03 04 就能发现。JPEG 的结构和 PNG 不同。它以 FF D8 开头,以 FF D9 结尾,中间是一段段以 FF 加标记字节开头的段,每段带长度字段。最常见的损坏是结尾标记 FF D9 丢失,或者某一段的长度被改。前者补回结束标记通常就能打开;后者会导致解析器跳错位置,表现为图片只显示一部分或直接报错。JPEG 是有损压缩,数据一旦被改,像素无法完全恢复,能打开不代表内容正确。
ZIP:三个头,伪加密看标志位
ZIP 的结构比 PNG 复杂一些,但分析时只要记住三个关键位置:本地文件头、中央目录、中央目录结束记录。本地文件头以 50 4B 03 04 开头,后面跟文件名、压缩方法、压缩前后大小等信息;中央目录以 50 4B 01 02 开头,汇总所有文件;最后以 50 4B 05 06 结尾。
「伪加密」是 ZIP 题里最常见的套路。ZIP 的本地文件头里有一个「通用标志位」(general purpose bit flag),第 0 位表示文件是否加密。有些题目把这一位置 1,解压软件就以为需要密码;但实际数据可能根本没加密,或者密码藏在别处。判断方法是对比本地文件头和中央目录里的标志位:如果一边说加密、另一边没加密,基本可以确定是伪加密。
zipinfo -v secret.zip
python3 -c "d=open('secret.zip','rb').read(); print(hex(d[6:8][::-1].hex()))"
标志位在本地文件头的偏移 6 到 7(从 50 4B 03 04 起算)。把它清零后再解压,往往就能打开。中央目录里也有同样的标志位,严格来说两处都要改,具体偏移要看中央目录记录的结构。动手前先复制文件,改坏一次还能回到原始版本。
伪加密和真加密要分清。真加密的数据会用传统加密或 AES 加密,解出来的字节是密文,没有密码就是不行;伪加密只是标志位在骗软件,数据本身是明文。CTF 里两种都可能出现,先看标志位和数据熵,再决定是修标志还是找密码。
压缩率也是一个快速判据。纯文本压缩后通常只剩原体积的几分之一,已经压缩过的图片再打包,压缩率接近 1。如果一个包里声明的大小和实际数据差得离谱,要么是元数据被改,要么里面还有一层嵌套。用 Python 的 zipfile 逐个读出 file_size 和 compress_size 比较,比打开软件一个个点更快。
处理压缩包还要注意安全边界。解压前先看文件列表,确认没有 ../ 这类路径穿越、没有绝对路径、没有指向系统目录的符号链接;解压时限定输出目录,不要直接解到当前工作目录。压缩比异常高的包可能是 zip bomb,解压后会占满磁盘。CTF 附件虽然通常无害,但把「先看列表、再解压、限制大小」养成习惯,遇到真实样本时就不会中招。
走查:一张坏图和一个藏起来的压缩包
题目给了一张 challenge.png,打不开,大小 2 MB。按顺序做四步:
第一步,读前 16 字节,确认签名。如果第一字节不是 89,先改回来,另存为 fixed.png。第二步,用图片查看器打开修复后的文件。如果能打开,说明外层只是签名被改。第三步,看文件尾。用 binwalk challenge.png,或者在十六进制里搜索 50 4B 03 04,看 IEND 之后有没有 ZIP。第四步,把附加数据切出来,单独保存为 tail.zip,再用 unzip 解压。
binwalk challenge.png
dd if=challenge.png of=tail.zip bs=1 skip=OFFSET
unzip -l tail.zip
OFFSET 是 ZIP 头在文件里的字节偏移。这个数字要从 binwalk 的输出或十六进制搜索结果里取,不能猜。切出来之后先用 unzip -l 看目录,不要直接解压到当前目录,避免文件名覆盖或路径穿越。题目附件也要当作不可信输入,解压前先看列表。
如果 unzip -l 说需要密码,回到上一步判断伪加密;如果确实加密,密码通常在题目的其他地方,比如图片元数据、文件名、上一层的编码结果。不要在没有线索时暴力破解,CTF 题一般不会要求穷举。
现象、原因与第一步
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 图片打不开,提示损坏 | 签名首字节或 IHDR 被改 | xxd -l 16 对照魔数 |
| 图片能打开但显示花屏 | 宽高被改,或 IDAT 数据被改 | 看 IHDR 的宽高与文件大小是否匹配 |
| 文件很小但占用空间很大 | 尾部追加了其他数据 | binwalk、搜 ZIP 头 |
| 压缩包提示密码但没给 | 伪加密,或密码藏在其他材料里 | 对比本地头和中央目录的标志位 |
file 输出 data | 格式未识别,头部被破坏 | 手工看前 16 字节,对照魔数表 |
| 解压后文件名乱码 | 编码标志位不对,文件名用了非 UTF-8 | 看 ZIP 的通用标志位第 11 位 |
| 修完能打开但内容不对 | 只修了外层,内层数据另有问题 | 继续检查后续块或嵌套文件 |
边界与代价
文件修复不是万能的。签名被改、尾部追加、伪加密这类「结构性改动」容易恢复;数据被加密、分块被打乱、CRC 和内容一起被改,就很难只靠结构推断还原。判断值不值得继续,要看是否有足够的冗余信息:原始尺寸、相邻块、文件大小、题目提示,都是恢复的依据。
冗余信息越多,修复越可靠。比如 PNG 的 IHDR 里同时有宽高和 CRC,改了一个字段,可以用另一个字段和 CRC 反推;ZIP 的本地头和中央目录各存一份信息,一边被改,另一边往往还能对上。反过来,如果只有一个孤立字段被改、没有校验、没有副本,就只能靠猜测,猜错也不会报错,只会得到「能打开但内容不对」的文件。遇到这种情况,先确认修复目标,不要为了「能打开」而接受错误内容。
操作上要保留原始文件。所有修改都在副本上进行,记录每一步的字节偏移、原值和新值。这样即使修错,也能回退,还能把修复过程写进报告。直接覆盖原文件,是 MISC 里最常见的自找麻烦。
合规上,只分析题目附件、自己生成的文件或明确授权的材料。不要修复或拆解来路不明的可执行文件并在真实机器上运行;压缩包解压前先看列表,避免路径穿越;涉及恶意样本时,在隔离环境里操作。
当天能自己验证的练习
- 用 Python 生成一张 1x1 的 PNG,把第一个字节改成
00,观察还能不能打开,再改回89验证恢复。 - 把一张 PNG 和一个 zip 用二进制拼接(图片在前),用
binwalk或搜索 ZIP 头找到偏移,切出来解压。 - 用
zipinfo -v看一个自己创建的 zip,找到通用标志位,理解每一位的含义。 - 用 Python 把 zip 本地头的标志位改成加密,观察解压软件的反应,再清零恢复。
- 用
hexdump -C对比一个正常 JPEG 和一个被截断的 JPEG,找出结束标记FF D9是否还在。
小结
三句话:先看魔数,不要信扩展名;PNG 看块结构,ZIP 看三个头和标志位;修复前备份、记录偏移,修完回验。
下一篇进入电子取证。文件格式回答「这个文件是什么、哪里坏了」,取证回答「这个镜像里发生过什么、谁在什么时候动了什么」。那篇会讲镜像、分区、文件系统和时间线,以及为什么取证第一步是保证证据不被改动。