给电商做抠图,第一版模型在验证集上看着还行,上线后运营挑了一张白底图,放大到百分之两百,边缘一圈锯齿,头发丝和白色背景之间还夹着半透明的杂点。另一条线做姿态估计,产品经理把关键点叠在图上,发现左肩的点稳稳落在背景墙上,离人还有十几像素。
这两个问题不一样。抠图输出的是每个像素属于谁,属于「密度」很高的输出;关键点输出的是几个坐标,属于「稀疏」输出。前者错一点,边界就毛;后者错一像素,点就飞。但它们共同的根源,是对「输出分辨率」和「坐标映射」这两件事没算清楚。
这篇先讲三种分割各自在回答什么问题,再讲逐像素分类的输出形状、上采样的代价,最后用一张 5 乘 5 的热图把关键点坐标从特征图映射回原图,输出是真实跑出来的,你可以照着改。
分割的输出不是一张彩色图
语义分割的原始输出是一个三维张量:高、宽、类别数。比如输入 512 乘 512、五类,输出可能是 128 乘 128 乘 5。最后那个维度是每个像素在各类上的分数,叫 logits。经过 softmax,它变成概率;再沿类别维度取最大值,得到一张 128 乘 128 的类别索引图。这张图才是模型真正的结论,彩色图只是把它按调色板上色。
所以「分割结果不好」要分两层看:索引图本身对不对,以及上色和缩放有没有把边界糊掉。前者是模型问题,后者是后处理问题。很多边缘毛刺,模型输出的低分辨率掩码其实已经很干净,是最近邻放大到原图时出现了台阶。先看低分辨率索引图,能省掉一半排查时间。
逐像素分类和图像分类的损失形式很像,都是交叉熵,只是把一个像素当成一个样本。一张 128 乘 128 的图就有 16384 个样本,背景占九成以上,前景类的梯度会被淹没。实际训练时会用类别权重、重采样或者 Dice 类损失来对抗这种不平衡。
语义、实例、全景,三种问法
语义分割回答「这个像素是什么类」,不区分个体。两张并排的桌子,在结果里是同一片「桌子」区域。实例分割回答「这个像素属于哪一个个体」,要先找物体,再在物体内部抠出掩码。全景分割则要求每个像素都有归属:属于某个物体的实例,或者属于背景的某个语义类,不能有「谁也不管」的像素。
语义分割
输出一张类别图,每类一个通道。标注成本相对低,边界歧义小,适合天空、路面、植被这类没有个体概念的场景。缺点是数不清数量,也分不开粘连的同类物体。
实例分割
输出若干带编号的掩码,每个实例一张。能数数量、能分离个体,适合细胞、零件、行人。代价是标注要逐个描边,密集遮挡时掩码边界很难标得一致。
选哪种,先看业务问题。问「这块地是不是农田」,语义分割够了;问「这筐里几个苹果」,必须实例分割;问「每个像素归谁、不能有空白」,才需要全景分割。用语义分割去数个数,是选错了工具,不是模型不够大。
逐像素的 sigmoid 与 softmax,别用反
多类互斥时用 softmax:每个像素的各类分数归一化,概率和为一,取最大值的那个类。多标签时用 sigmoid:每个类独立判断有没有,一个像素可以同时属于「人」和「帽子」。这两者用反了,结果会很怪。多类场景用 sigmoid,会出现同一像素既像猫又像狗,且两类分数都很高;多标签场景用 softmax,会强制两个本可以同时成立的标签互相竞争。
还有一个常见混淆:把模型输出的 logits 直接当概率拿去阈值化。logits 没归一化,可能有负数,也可能大于一。要阈值就先做 sigmoid 或 softmax,再按概率判断。调试时把 logits、概率、argmax 三张中间结果都存下来,比盯着最终彩色图有效得多。
阈值本身也是一个决策。医学图像里,宁可多标一点也不能漏,阈值会调低;工业质检里,误报会停线,阈值会调高。0.5 只是默认值,不是物理规律。评估时要按业务代价选阈值,而不是在验证集上挑一个让指标最好看的数。
上采样:分辨率是怎么被换回来的
主干网络为了扩大感受野,会不断下采样。分类任务不在乎空间分辨率,分割在乎,所以后面要把小特征图放大回输入尺寸。常见做法有两种:双线性插值,按周围四个点的距离加权,平滑但没有可学习的参数;转置卷积,也叫反卷积,用可学习的卷积核放大,表达能力强,但容易在特定步长下产生棋盘格纹路。
放大的代价很直接。特征图从 128 乘 128 放到 512 乘 512,像素数变成十六倍,显存和计算量跟着涨。很多模型选择在低分辨率上做大部分计算,只在最后几层用高分辨率特征融合。分割头如果一直维持在四分之一分辨率,边界精度就会受限;想更细,就得付出显存。
另一个容易忽略的点是标签也要跟着下采样。训练时如果把原图掩码用最近邻缩到 128 乘 128,细小的物体可能直接消失,或者边缘被削掉一圈。这种「标签在缩放中失真」会教模型忽略小目标。稳妥的做法是保持较高的标签分辨率,或者在缩放时用面积占优规则,而不是简单取左上角像素。
边缘毛刺,先分清是模型还是后处理
毛刺的成因通常有四类。第一,模型输出的掩码分辨率低,一个格子对应原图好几个像素,边界天然只能到格子精度。第二,训练标签本身的边界就有歧义,头发丝、透明边缘、阴影,不同标注员画得不一样,模型学到一个平均值。第三,后处理用了最近邻放大,台阶被保留下来。第四,图像压缩和色彩空间转换在边缘产生了杂色,模型把这些杂色也当成前景。
排查顺序建议从后往前:先把低分辨率索引图按原尺寸最近邻放大看一次,再把双线性放大看一次,对比差别。如果两种放大都毛,问题在模型或标签;如果只有最近邻毛,换插值方式就能改善。接着检查训练标签的缩放方式,最后才去看网络结构。
后处理能救一部分,但救不了根本。常见手段是开运算去小岛、闭运算补小孔、取最大连通域、按面积过滤。这些操作都有代价:开运算会把细小的真实结构一起削掉,闭运算会把相邻的两个物体粘在一起。用之前先明确业务更怕「多一块」还是「少一块」。
评估分割也不能只看像素准确率。背景占九成时,全判背景也能拿九十分,指标很好看,业务上完全没用。更合适的是按类别算 IoU:预测前景和真实前景的交集除以并集;或者用 Dice,交集乘二除以两边面积之和。小目标在像素准确率里几乎没有存在感,在按类 IoU 里却会暴露得很清楚。上线前还要按目标大小分层统计,否则一个只对大物体有效的模型,会被平均数掩盖。
关键点:热图取最大值,再映射回原图
关键点一般不直接回归坐标,而是让模型为每个关键点输出一张热图。热图上的值表示「这个位置是关节的概率」,训练目标是以真值为中心的高斯斑。推理时取热图最大值的位置,就得到特征图坐标,再按步长映射回原图。这样做比直接回归坐标稳,因为空间上的局部性被保留了下来,模型只需要在正确位置附近形成峰值。
下面用一个 5 乘 5 的热图演示。它模拟的是单张特征图,数值已经归一化,和为 1。程序打印最大值位置,并按 320 乘 240 的原图尺寸换算坐标。特征图每个格子覆盖 64 乘 48 个像素。
heat = [
[0.01, 0.02, 0.03, 0.05, 0.02],
[0.02, 0.08, 0.10, 0.06, 0.01],
[0.01, 0.05, 0.09, 0.20, 0.03],
[0.00, 0.01, 0.04, 0.11, 0.02],
[0.00, 0.00, 0.01, 0.02, 0.01],
]
flat = []
for r, row in enumerate(heat):
for c, v in enumerate(row):
flat.append((v, r, c))
flat.sort(reverse=True)
best = flat[0]
print(f"argmax: flat index {best[1] * 5 + best[2]}, cell (row {best[1]}, col {best[2]}), value {best[0]:.2f}")
feat_w, feat_h = 5, 5
img_w, img_h = 320, 240
stride_x = img_w / feat_w
stride_y = img_h / feat_h
x = (best[2] + 0.5) * stride_x
y = (best[1] + 0.5) * stride_y
print(f"stride = ({stride_x:.1f}, {stride_y:.1f})")
print(f"mapped coordinate: x = {x:.1f}, y = {y:.1f}")
x2 = best[2] * stride_x
y2 = best[1] * stride_y
print(f"without half-cell: x={x2:.1f}, y={y2:.1f}, offset=({x-x2:.1f},{y-y2:.1f})")
argmax: flat index 13, cell (row 2, col 3), value 0.20
stride = (64.0, 48.0)
mapped coordinate: x = 224.0, y = 120.0
without half-cell: x=192.0, y=96.0, offset=(32.0,24.0)
结果在 row 2、col 3,对应原图 x 等于 224、y 等于 120。注意那个加 0.5:一个特征格代表的是它覆盖的那一块区域的中心,不是左上角。不加半格,坐标会系统性往左上偏半个格子,这里就是偏了 32 和 24 个像素。这个偏移在低分辨率特征图上非常明显,也是「关键点整体偏左上」最常见的原因。
热图取最大值也有精度上限。5 乘 5 的特征图,一个格子就代表 3072 个像素,取最大值只能精确到格子中心。想要更细,可以取峰值周围做加权平均,或者用对数几率的二次拟合做亚像素修正。但修正只能缓解量化误差,不能凭空恢复被下采样丢掉的信息。
高斯斑的宽度也要合适。太窄,模型必须精确命中,难学;太宽,峰顶平坦,argmax 容易在几个相邻格之间跳。常见做法是让高斯半径随目标尺寸缩放:大目标用大半径,小目标用小半径。这个参数没有统一最优值,要按你的关键点尺度和特征图步长去试。
遮挡、对称与多人的麻烦
关键点被遮挡时,热图上可能根本没有明显峰值。模型如果被强行训练成「必须给出一个位置」,它会把点放到可见部分的边缘,甚至放到背景上。更稳的做法是给被遮挡的点单独一个「不可见」通道,推理时允许它不输出,或者降低该点的置信度。业务上要区分「点不准」和「这个点本来就看不着」。
左右对称的关键点是最容易出错的地方。左肩和右肩在图像上可能长得几乎一样,模型如果只靠局部纹理,很容易左右互换。评估时左右互换的惩罚应该比单纯位置偏差更重,否则指标看着不错,实际骨架是拧的。训练时做水平翻转增强,必须同步交换左右标签,这一点在数据增强那篇会再展开。
多个人在同一张图里时,还要解决「这个点属于谁」。自顶向下的方法先检测每个人,再在每个人的框里找点,归属清楚但人数多时慢;自底向上的方法先找所有点再拼成骨架,快但拼接容易错。两条路线各有取舍,评估指标也常用 OKS,也就是关键点相似度,按每个点的可见性和尺度加权,而不是简单算像素距离。
对不上时,按这张表查
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 掩码边缘一圈锯齿 | 低分辨率掩码用最近邻放大 | 换成双线性放大,对比边缘是否变平滑 |
| 边缘有零散小岛或小孔 | 逐像素噪声,或阈值偏低 | 打印概率图,试开闭运算与面积过滤 |
| 两个同类物体粘成一片 | 用了语义分割,或实例掩码合并了 | 确认任务类型,检查实例编号是否被覆盖 |
| 关键点整体偏左上 | 特征图坐标没有加半格 | 用已知坐标的测试图,打印加半格前后的结果 |
| 关键点整体偏移固定距离 | 补边没有还原,或缩放比例用错 | 核对预处理参数,做一次完整逆变换 |
| 左右肩经常互换 | 翻转增强没有交换左右标签 | 检查增强代码里标签是否同步翻转 |
| 遮挡目标出现离谱的关键点 | 模型被迫为不可见点输出位置 | 检查是否有可见性通道,置信度是否参与过滤 |
| 小目标掩码几乎消失 | 标签在降采样时被削掉,或损失被背景淹没 | 统计小目标像素占比,检查标签缩放方式 |
边界与代价
像素级输出的成本随分辨率平方增长。同样的网络,输入从 512 提到 1024,像素数变四倍,显存和推理时间基本也要翻几倍。高精度分割往往不是模型不够聪明,而是分辨率预算不够。工程上要在「整体尺寸」和「局部裁剪」之间选:先粗定位再裁局部放大,通常比整图高分辨率更划算。
标注成本是第二道硬边界。语义分割要对每个像素分类,实例分割还要逐个描边,一张复杂图可能花几十分钟。标注规范不统一,边界误差会直接变成模型的上限。项目开始阶段,先标一小批、量一下标注员之间的一致性,比标完一万张再发现口径不一致要省得多。
关键点的评估也有陷阱。像素误差在不同尺度下含义不同:远景的人只有五十像素高,差五像素已经很离谱;近景的人五百像素高,差五像素几乎看不出来。所以要用按尺度归一化的指标,并且分开统计可见点和遮挡点。只报一个平均误差,会把最难的那部分掩盖掉。
最后,分割和关键点都不是「越细越好」。业务如果只需要知道大致区域,用检测框加一点后处理就够了。上分割意味着标注、算力、后处理全都要加码。先确认矩形框真的不够用,再上像素级输出。
当天能验证的五个练习
- 把文中的 5 乘 5 热图改成 7 乘 7,把峰值放在 row 4、col 2,重新跑脚本,确认坐标换算后落在你预期的位置。
- 把映射公式里的半格去掉,再跑一次,记录偏移量,并解释为什么偏移正好是步长的一半。
- 给热图加一个和主峰只差 0.01 的次峰,观察 argmax 是否翻转,想一想这对遮挡场景意味着什么。
- 用一张 320 乘 240 的纯色图,手工构造一个 5 乘 5 的类别图,分别用最近邻和双线性放大,对比边缘像素值。
- 把同一张掩码的阈值从 0.3 调到 0.7,统计前景像素数量和连通域个数,记录边缘是变大还是变小。
小结
分割输出的是每个像素的类别或实例编号,关键点输出的是少量坐标。前者要盯住输出形状、softmax 与 sigmoid 的选择、上采样方式和标签缩放;后者要盯住热图峰值、半格偏移、步长换算和补边还原。边缘毛刺先分清是模型分辨率还是后处理插值,关键点偏移先查坐标映射,别急着怀疑网络。
无论分割还是关键点,模型吃进去的都是经过缩放、裁剪、翻转的图。数据怎么变,标签要不要跟着变,哪些变换会悄悄改掉答案,这些决定了模型学到的是规律还是噪声。下一篇讲数据与增强,从「实验室 98%、现场 70%」这个落差开始。