题目给了一串字符,你认出它是 base64,解出来却发现还是乱码。再试 hex,得到另一串更像乱码的东西。于是开始怀疑自己是不是解错了编码。实际情况往往是:编码套了好几层,或者第一层根本不是 base64。识别错了方向,后面的操作全是白费。
这篇先把编码、压缩、加密这三种「看起来都是把内容变乱」的操作分开,再给一张常见编码的识别表,然后用一个三层编码的例子走完解码顺序。最后讲隐写:信息不一定在文本里,也可能藏在图片元数据、像素最低位或文件尾。所有例子都是自己生成的材料,命令和输出都经过核对。
编码、压缩、加密,不是一回事
三者都会让原始内容「看起来不像原文」,但目的和可逆方式完全不同。搞混它们,就会在错误的方向上反复尝试。
编码
为了传输或存储,把内容换成另一种表示。规则公开,不需要密钥,任何人都能还原。base64、URL 编码、Unicode 转义都属于这一类。
压缩
为了减小体积,去掉冗余。zip、gzip、xz 都是压缩。压缩后的数据通常是二进制,解压需要知道格式,但不需要秘密。
加密
为了保密,用密钥把内容变成不可读的形式。没有密钥就无法还原,或者还原成本极高。CTF 里的加密题通常会给足够的数学线索。
判断顺序建议是:先看是不是编码,再看是不是压缩,最后才考虑加密。因为编码的线索最明显(字符集固定、长度有规律),压缩次之(文件头、熵),加密往往需要额外的参数或提示。把编码当成加密去爆破,是最常见的弯路。
常见编码的识别特征
识别编码不需要背全部规则,先看字符集和长度。下面这张表覆盖了 CTF 里出现频率最高的几种。
| 编码 | 字符集特征 | 长度 / 结尾 | 解码方式 |
|---|---|---|---|
| base64 | 大小写字母、数字、+、/ | 长度是 4 的倍数,常以 = 或 == 结尾 | base64.b64decode |
| base32 | 大写字母 A-Z 和数字 2-7 | 长度是 8 的倍数,常以 = 结尾 | base64.b32decode |
| hex | 只有 0-9、a-f(或 A-F) | 长度为偶数 | bytes.fromhex |
| URL 编码 | 大量 % 后跟两位十六进制 | 不固定 | urllib.parse.unquote |
| HTML 实体 | &# 或 < 形式 | 不固定 | html.unescape |
| Unicode 转义 | \uXXXX 形式 | 成对出现 | codecs.decode(..., "unicode_escape") |
| ROT13 | 纯字母,长度不变 | 不固定 | codecs.encode(..., "rot13") |
| 摩斯码 | 点和划,用空格或斜杠分隔 | 不固定 | 按分隔符拆分后查表 |
这些特征不是绝对的。base64 字符集也可能出现在普通文本里;hex 可能只是恰好只有 0-9a-f 的字符串。判断时要结合上下文:题目说「编码」,输出长度整齐,字符集又符合,才值得试。试一次的成本很低,但不要在一串明显不含 % 的文本上反复试 URL 解码。
base64 还有几个常见变体。URL 安全的 base64 会把 + 和 / 换成 - 和 _,避免在 URL 里被转义;有些实现会去掉结尾的 =。遇到这两种情况,先替换字符、补齐填充再解码。base32 和 base58 也常出现:base32 只使用大写字母和 2 到 7,base58 去掉了容易混淆的 0、O、I、l,常见于钱包地址。看到字符集和常见编码都对不上时,先查这几个变体,比盲目猜「加密」有效。
哈希也常被误认为编码或加密。MD5、SHA-1、SHA-256 把任意长度的输入映射成固定长度的摘要,过程不可逆,不能「解码」回原文。CTF 里看到 32 位十六进制,先想 MD5;64 位想 SHA-256。题目如果要求还原原文,通常给的是弱口令或已知明文,靠碰撞表或猜测,而不是数学逆运算。
进制:别在 0x 和十进制之间绕晕
CTF 里常见的进制有二进制、八进制、十进制、十六进制。题目可能给一串 01100110,也可能给 666c6167。前者是二进制,后者看着像十六进制,解出来是 flag 的 ASCII 字节。
print(int("01100110", 2)) # 102,对应字符 f
print(bytes.fromhex("666c6167")) # b'flag'
print(hex(102)) # 0x66
print(oct(102)) # 0o146
print(bin(102)) # 0b1100110
本机 Python 3.15 实际跑过这几行,输出与注释一致。处理进制时容易犯两个错:把 0x 前缀当成内容的一部分,或者把八进制的前导 0 当成十进制。看到一串数字先数范围:只有 0 和 1 基本是二进制;只有 0 到 7 可能是八进制;包含 a-f 基本是十六进制。
还有一种「进制伪装」:题目给一串十进制数字,每三个一组,转成 ASCII 码就是字符。比如 102 108 97 103 对应 flag。这类题不需要工具,心算加脚本都行,关键是先意识到「数字可能代表字符编码」,而不是继续当成一个整体的大整数。
字符编码本身也常被混进编码题里。ASCII 只覆盖英文和少量符号,一个汉字在 UTF-8 里通常占三个字节,在 GBK 里占两个。题目给出一串字节,解出来是中文乱码,往往不是「解错了」,而是用了错误的字符集。Python 里解码时显式写明编码,比如 bytes.decode("utf-8") 或 decode("gbk"),比让它按系统默认猜要可靠。看到「锟斤拷」这类典型乱码,基本可以判断是 UTF-8 字节被当成 GBK 读,或者反过来。
走查:三层编码怎么按顺序拆
题目给了一串字符:
NzM3OTZlNzQ3Yjc5NmU2YzcyNjU2NjVmNjI3ODdk
先看特征:只含大小写字母和数字,长度是 4 的倍数,结尾没有等号。它同时符合 base64 和「base64 解出来是 hex」的可能。按最外层先解:
import base64
s = "NzM3OTZlNzQ3Yjc5NmU2YzcyNjU2NjVmNjI3ODdk"
print(base64.b64decode(s).decode())
输出是 73796e747b796e6c7265665f62787d。这一串只有 0-9 和 a-f,长度是偶数,明显是十六进制。继续解:
h = base64.b64decode(s).decode()
print(bytes.fromhex(h).decode())
输出是 synt{ynlref_bx}。看起来像 flag 的形状,但字母不对。注意 synt 和 flag 的字母差异,以及花括号里的内容,这很像 ROT13:每个字母往后移 13 位。s 移 13 位是 f,y 移 13 位是 l。继续解:
import codecs
mid = bytes.fromhex(h).decode()
print(codecs.decode(mid, "rot13"))
输出 flag{layers_ok}。三层拆完,顺序是 base64、hex、ROT13。本机实际跑过整条链,输出与上面一致。这个例子的关键是每层都有可识别的特征:第一层长度和字符集指向 base64,第二层只有 hex 字符,第三层形状像 flag 但字母偏移,指向 ROT13。
隐写:信息不一定在文字里
隐写(steganography)是把信息藏进载体里,让载体看起来仍然正常。CTF 里最常见的载体是图片,其次是音频、视频和文档。图片隐写主要有三个位置:
exiftool 或 strings 就能看到。binwalk 或对比文件大小就能发现。排查顺序建议:先 exiftool 看元数据,再 strings 看明文,再 binwalk 看嵌套文件,最后才考虑像素级隐写。前三种成本低,几秒钟就能排除;像素提取需要专门的工具或脚本,放在后面。
音频隐写也有类似层次:元数据、频谱图、波形最低位、附加数据。频谱图里可能直接画出文字,用音频软件看 spectrogram 就能发现。视频则可能藏在某一帧、字幕流或容器元数据里。原则是一样的:从成本低的位置开始排除。
文档类载体也值得注意。PDF 可以附加文件、隐藏对象、用白色文字写在页面上;Office 文档可以藏在批注、自定义属性、嵌入对象里;压缩包可以藏注释和额外字段。遇到「文档看起来很正常」的题,先解压看内部结构,再检查元数据和附加对象。很多线索不在正文,而在「文档允许携带但平时没人看」的位置。
还有一个不用工具的检查:比对文件大小和内容。一张 800×600 的纯色 PNG 可能只有几 KB,如果题目附件有几十 MB,差额几乎一定来自附加数据或高熵的隐藏内容。反过来,正常图片大小和分辨率对得上,却不显示,就要怀疑文件头或结构被改。先看「大小是否合理」,往往比直接跳进像素分析更快。
还有一个细节:文本文件里的不可见字符。零宽空格、制表符、回车换行混用、行尾多余空格,可能自身就编码了信息,也可能只是复制时带进来的噪声。处理字符串前先 repr() 看一眼真实内容,比盯着渲染后的文本猜更可靠。
现象、原因与第一步
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| base64 解出来还是乱码 | 还有一层编码,或第一层认错了 | 看解出内容的字符集和长度,再选下一层 |
| hex 解码报「非十六进制字符」 | 里面有空格、换行或前缀 0x | 先清洗空白和前缀,再解码 |
| ROT13 解完字母对了但格式不对 | 可能不是 ROT13,而是别的移位 | 统计字母频率,试所有 26 种移位 |
| 图片打开正常但找不到线索 | 信息在元数据、像素或文件尾 | exiftool、strings、binwalk 依次试 |
| LSB 提取出来是噪声 | 图片经过有损压缩,或通道/位序弄错 | 确认是无损格式,换通道和位序重试 |
| 文件尾有数据但打不开 | 附加数据被截断或缺少文件头 | 按魔数识别真实类型,补回文件头 |
边界与代价
编码和隐写的组合可以无限套娃,但题目的目的是可解,通常会留下足够的特征。真正难的不是工具,而是「什么时候停止尝试某个方向」。给自己定一个规则:同一方向连续三种方法都没有新信息,就换方向;每换一次方向,先把已得到的输出保存下来,避免重复劳动。
合规上,编码解码本身是无害的,但隐写分析的对象要合法。只分析 CTF 附件、自己生成的材料或明确授权的文件。不要从别人的社交平台下载照片做隐写分析,也不要把提取出的内容用于未经授权的用途。技术能力越强,越需要明确边界。
当天能自己验证的练习
- 把
flag{layers_ok}按「ROT13、hex、base64」的顺序编码,再按相反顺序解码,确认每一步的输出和本文一致。 - 用 Python 把
102 108 97 103转成字符,再用hex和bin观察同一个数的不同表示。 - 找一张自己拍的照片,用
exiftool看元数据,记录设备型号和软件信息;如果没有 exiftool,用strings找找可读字段。 - 用 Python 生成一张纯色 PNG,把一段文本的每个比特写进最低位,再写脚本提取,体会 LSB 的容量和限制。
- 把一个 zip 文件追加到 PNG 末尾,用
binwalk或file观察能不能识别出嵌套文件。
小结
三句话:先分清编码、压缩、加密,再按特征选解码方式;每层都记录输入输出,不要盲目轮换;隐写先查元数据和文件尾,最后才做像素级提取。
下一篇讲流量分析。抓包文件比图片大得多,几百兆的 pcap 里可能只有一条请求有意义。那篇会讲怎么用显示过滤器快速缩小范围、怎么导出对象和追踪流,以及加密流量为什么不能靠「找关键字」解决。