晚上十点,标注群里发来一张截图:一只橘猫趴在窗台上,检测结果画了十三个框,大小不一,全叠在猫身上。另一个人回了一张远景图,说画面右上角那只只有三十来像素的猫,一个框都没有。同一个模型,一边框太多,一边目标全漏。

这两个现象看着相反,其实是同一件事的两头。分类模型只要回答「图里有没有猫」,检测模型还要回答「在哪、有几只、每只多大」。位置靠坐标回归,数量靠候选框加抑制规则筛选。中间任何一环没对齐,就会出现重叠框或者漏检。

这篇不堆网络结构,只把检测输出里的四样东西拆开:框、分数、锚点、后处理。最后用五个候选框跑一遍 NMS,把排序、抑制和保留结果打出来,你能拿这个脚本去验证自己的疑问。

检测不是分类加一条线

分类模型最后通常是一个长度为类别数的向量,取最大值就完事。检测模型输出的是一个很长的表:每个候选位置一行,行里包含框的四个坐标、一个「这里有没有目标」的分数,以及每个类别的分数。行数不是图片里有几只猫决定的,而是特征图的大小和每个位置放几个候选框决定的。

举个算术上的例子:一张 640 乘 640 的图,主干网络下采样三十二倍,得到 20 乘 20 的特征图。每个位置放 3 个不同大小的先验框,就有 1200 个候选。训练时只有极少数候选和真值框对得上,其余都算背景。这个「候选远多于目标」的结构,是理解后面所有问题的前提。

所以检测的难点从来不是「认出猫」,而是「在 1200 个候选里,把该留的留下,该压的压掉」。分类只负责「像不像猫」,位置和数量分别由回归分支与后处理负责。

一张图变成检测结果的顺序
原图缩放到固定尺寸,多余部分补齐
主干提特征,得到多层特征图
每个位置预测分数与框偏移
按分数过滤,再做 NMS 去重
坐标逆变换回原图,输出最终框

框的两种写法,以及坐标为什么会整体偏

框有两种常见表示。第一种是左上角加右下角:x1, y1, x2, y2,画图、算交集都最直接。第二种是中心点加宽高:cx, cy, w, h,回归时更常用,因为中心点和尺寸可以分开预测。两种写法可以互相转换:中心点等于两个角点的平均,宽高等于右下减左上。

转换本身不难,坑在参考系。模型训练时看到的坐标,往往是归一化到 0 到 1 的相对值;推理时如果忘了乘回原图宽高,框会缩在左上角。更隐蔽的是预处理:为了保持长宽比,很多流程会把短边补齐成正方形,再缩放到 640。补齐产生的灰边会让坐标整体偏移,逆变换时必须先减掉补边,再除以缩放比例。

还有一个常见错误是只做缩放不做补边,直接把 1920 乘 1080 拉成 640 乘 640。框的位置能对上,但形状被压扁,宽高比和训练时不一致,细长物体尤其容易歪。要判断是哪种问题,把同一张图在训练预处理和线上预处理里各走一遍,打印缩放前后的框,一眼就能看出来。

坐标一律用浮点数,不要在中途转成整数。一次四舍五入只差零点几个像素,但经过缩放、裁剪、再缩放,误差会累积到肉眼可见。最后画框时再取整。

IoU:两个框有多像,先学会手算

IoU 是交并比,英文 intersection over union。它等于两个框交集面积除以并集面积。取值范围是 0 到 1,完全重合为 1,完全不相交为 0。检测里几乎所有的「像不像」都用它:判断候选是不是正样本、判断预测算不算命中、NMS 判断要不要压掉。

手算一遍。框 A 是左上角 (10, 10)、右下角 (90, 90),面积 80 乘 80 等于 6400。框 B 是 (20, 20) 到 (100, 100),面积也是 6400。交集是 (20, 20) 到 (90, 90),70 乘 70 等于 4900。并集等于 6400 加 6400 减 4900,等于 7900。IoU 就是 4900 除以 7900,约等于 0.6203。

下面这段程序只用标准库,把五个候选框两两算一遍。框的格式统一成左上右下,分数单独放在一行里,方便后面排序。

def iou(a, b):
    ax1, ay1, ax2, ay2 = a
    bx1, by1, bx2, by2 = b
    ix1, iy1 = max(ax1, bx1), max(ay1, by1)
    ix2, iy2 = min(ax2, bx2), min(ay2, by2)
    iw = max(0, ix2 - ix1)
    ih = max(0, iy2 - iy1)
    inter = iw * ih
    area_a = max(0, ax2 - ax1) * max(0, ay2 - ay1)
    area_b = max(0, bx2 - bx1) * max(0, by2 - by1)
    union = area_a + area_b - inter
    return inter / union if union else 0.0


boxes = [
    ("A_cat", 0.91, (10, 10, 90, 90)),
    ("B_cat", 0.85, (20, 20, 100, 100)),
    ("C_cat", 0.72, (95, 95, 175, 175)),
    ("D_cat", 0.60, (15, 15, 85, 85)),
    ("E_dog", 0.55, (80, 80, 140, 140)),
]

names = [b[0] for b in boxes]
for i in range(len(boxes)):
    for j in range(i + 1, len(boxes)):
        v = iou(boxes[i][2], boxes[j][2])
        print(f"{names[i]} vs {names[j]}: {v:.4f}")
A_cat vs B_cat: 0.6203
A_cat vs C_cat: 0.0000
A_cat vs D_cat: 0.7656
A_cat vs E_dog: 0.0101
B_cat vs C_cat: 0.0020
B_cat vs D_cat: 0.5972
B_cat vs E_dog: 0.0417
C_cat vs D_cat: 0.0000
C_cat vs E_dog: 0.2539
D_cat vs E_dog: 0.0029

输出和手算对得上。这里要注意 max(0, ...) 那两行:如果两个框不相交,交集的宽或高会算成负数,面积会变成正数,IoU 就莫名其妙变大。先截到零,再相乘,是最容易漏掉的一步。

置信度、类别分数、回归偏移,是三样东西

刚接触检测的人常把输出里的一个分数当成「这只猫的概率」,其实里面至少混了三层信息。第一层是目标性分数,也叫 objectness 或置信度,回答「这个位置上有没有东西」,通常用 sigmoid 压到 0 到 1。第二层是类别分数,回答「如果有,是哪一类」,多类时用 softmax,多标签时每个类各用一个 sigmoid。第三层是框的回归偏移,回答「相对这个先验框,要挪多少、放大多少」。

最终展示给用户的分数,常常是目标性分数乘类别分数。两者不能互相替代。只看目标性,会把背景里像目标的纹理全留下;只看类别分数,会漏掉「模型觉得像猫但不确定有没有东西」的位置。调试时要分开打印,才能知道是「没看到」还是「看到了但分类错了」。

回归偏移也不是直接的坐标。常见写法是相对先验框的归一化偏移:中心点用差值除以先验宽高,宽高用对数比,即预测值等于真值除以先验值再取对数。推理时按相反公式解回来。训练和解码必须用同一套编码方式,一边用对数、一边直接乘,框会系统性地偏大或偏小,而且看起来「每张图都偏一点」,很难往模型结构上想。

分数还要过一道阈值。阈值太低,背景纹理也会留下;阈值太高,被遮挡的目标直接消失。这个阈值和 NMS 的阈值是两个独立的旋钮,前者决定「进不进候选」,后者决定「留下后要不要压掉邻居」。调参时一次只动一个,否则出了问题分不清是谁造成的。

模型输出的分数不是校准过的概率。一个 0.9 分的框,不代表它有九成把握是对的。类别极不平衡、标注有噪声时,分数会明显偏高。业务上需要可信度时,要单独做阈值标定,不能直接拿分数当概率汇报。

锚点与先验框,为什么非要预设一堆大小

锚点是锚框、先验框的另一种叫法,就是在一张特征图的每个位置上,预先摆好的一组固定宽高比的框。它存在的理由很朴素:让每个位置只负责「微调」,而不是从零猜一个任意大小的框。一个 20 乘 20 的特征图,一个格子对应原图 32 乘 32 的区域,如果让这个格子直接回归一只占满整张图的大象,数值范围跨度太大,训练很难稳。

训练时先算每个真值框和所有先验框的 IoU,挑 IoU 最高的、或者超过阈值的作为正样本,其余算负样本。正负样本比例通常极度不平衡,所以会有采样策略,比如只取一部分负样本参与损失。推理时把每个先验框加上预测偏移,得到实际框,再过分数阈值和 NMS。

锚点的尺寸不是随便写的,它应该覆盖你的数据里真实框的分布。如果数据里全是远处的小目标,锚点却按 32 到 512 像素设,小目标永远匹配不到合适的先验,训练信号就断了。现场「小目标全漏」,第一步不是换更大的模型,而是统计标注框的宽高分布,再看特征图的步长和最小锚点尺寸对不对得上。

后来的无锚点方法,比如 FCOS、CenterNet,不再预设一堆框,改成预测「这个点到四条边的距离」或者「目标中心的热图」。它们少了一组超参数,但同样需要处理尺度、正负样本和重复框,概念上并没有把问题消灭,只是换了一种参数化方式。

高分辨率特征图:步长 8,负责小目标,计算量最大
中分辨率特征图:步长 16,负责中等目标
低分辨率特征图:步长 32,负责大目标,语义最强

NMS:先把分数最高的留下,再压掉它的邻居

NMS 是非极大值抑制,英文 non-maximum suppression。流程只有四步:把所有候选按分数从高到低排序;取当前分数最高的框,放进保留列表;把剩下所有和它 IoU 超过阈值的框丢掉;重复直到没有候选。它是贪心的,先选的框会「吃掉」和它重叠的框,所以谁排在前面很重要。

接着上面的五个框,把阈值设成 0.5,同一个脚本再跑后半段:

threshold = 0.5
order = sorted(boxes, key=lambda x: -x[1])
kept = []
print(f"NMS threshold = {threshold}")
for name, score, box in order:
    if not kept:
        kept.append((name, score, box))
        print(f"take {name} ({score:.2f}), first box")
        continue
    best_iou = 0.0
    best_name = ""
    for kn, ks, kb in kept:
        v = iou(box, kb)
        if v > best_iou:
            best_iou, best_name = v, kn
    if best_iou > threshold:
        print(f"drop {name} ({score:.2f}): IoU={best_iou:.4f} with kept {best_name}")
    else:
        kept.append((name, score, box))
        print(f"keep {name} ({score:.2f}): max IoU with kept = {best_iou:.4f}")

print("\nfinal kept:")
for name, score, box in kept:
    print(f"  {name} score={score:.2f} box={box}")
print(f"kept {len(kept)} of {len(boxes)} boxes")
NMS threshold = 0.5
take A_cat (0.91), first box
drop B_cat (0.85): IoU=0.6203 with kept A_cat
keep C_cat (0.72): max IoU with kept = 0.0000
drop D_cat (0.60): IoU=0.7656 with kept A_cat
keep E_dog (0.55): max IoU with kept = 0.2539

final kept:
  A_cat score=0.91 box=(10, 10, 90, 90)
  C_cat score=0.72 box=(95, 95, 175, 175)
  E_dog score=0.55 box=(80, 80, 140, 140)
kept 3 of 5 boxes

结果很清楚:B 和 D 因为和 A 重叠太多被压掉,C 和 E 保留。注意 C 和 E 之间的 IoU 是 0.2539,低于阈值,所以即使它们也有重叠,仍然都留下。这也解释了阈值的作用:它不是在判断「是不是同一个物体」,而是在判断「重叠到这个程度,还值不值得留两个」。

代价也在这里。两只真正并排的猫,如果框的 IoU 超过阈值,后选的那只就会被误删。密集人群、货架上的商品、停车场的车,都是 NMS 最容易出错的地方。阈值调低,重复框少了,遮挡目标也少了;阈值调高,目标保住了,同一只猫又出现好几个框。很多项目最终不是靠一个固定阈值解决,而是按类别设不同阈值,或者用 Soft-NMS 这类按重叠程度衰减分数的方法。

mAP 在衡量什么,别把它当成唯一目标

要算 mAP,先把每个预测框和真值框比一遍。IoU 超过阈值、类别正确、而且这个真值还没被别人匹配过,算真正例;否则算假正例;没被任何预测覆盖的真值算假反例。按分数从高到低扫一遍,每加一个预测就更新查准率和查全率,画出一条曲线,曲线下的面积就是这一类在某个 IoU 阈值下的平均精度 AP。

把所有类别的 AP 再平均,就是 mAP。常见口径有两个:mAP@0.5 只看 IoU 大于 0.5 就算命中,比较宽松;mAP@0.5:0.95 从 0.5 到 0.95 每隔 0.05 取一个阈值再平均,对框的贴合程度要求高得多。两个数不能混着比较,看到「mAP 提升了」先问一句是哪个口径。

mAP 只描述排序质量,不描述速度、显存和业务代价。一个模型 mAP 高,可能每张图要跑几百毫秒;另一个 mAP 低两个点,但能在低端设备上实时。项目里应该把指标拆开看:小目标、中目标、大目标各自的 mAP,误检集中在哪些类别,漏检发生在什么光照条件。只看一个总数,很容易把「小目标全漏」掩盖过去。

mAP 的具体数值和数据集、划分、评测脚本强相关,本文不引用任何现成数字。你自己复现时,先固定评测代码和输入尺寸,再比较模型,否则两个数字根本不是一回事。

出了问题时,按这张表倒查

检测的毛病通常不会报错,只会表现成「效果不好」。下面这些现象,按顺序查比盲目换模型快。

现象真实原因第一步查什么
同一只猫输出十几个重叠框NMS 阈值过高,或者根本没做后处理打印分数排序前十个框,确认 NMS 是否执行、阈值是多少
远处小目标一个都不出输入分辨率被压得太低,或最小锚点尺寸偏大统计标注框宽高分布,核对特征图步长与锚点设置
所有框整体偏半个格子特征图坐标映射没加半格,或补边没有还原用一张已知位置的测试图,打印解码前后的坐标
框系统性偏大或偏小训练与推理的宽高编码方式不一致对比两边的解码公式,重点看对数与先验宽高
分数很高但框明显错位只看了目标性分数,回归分支没学好分开统计目标性分数与框的 IoU,找是哪一路偏了
两个挨着的物体只剩一个NMS 阈值偏低,或同类框重叠本来就大看这两个框的 IoU,再决定调阈值还是换抑制策略
离线指标正常,上线漏检变多线上预处理、压缩质量或尺寸与训练不一致把同一张图在两边各跑一次,比对输入张量和输出框
换模型后指标突然下降评测口径、类别映射或分数阈值改了固定评测脚本,先复现旧模型的数字再谈新模型

边界与代价

检测框默认是水平矩形,四个数描述一个和坐标轴平行的框。斜着放的车辆、倾斜的货架、旋转的遥感目标,用水平框会带进大量背景,IoU 也天然偏低。这类场景要么用旋转框,要么用分割掩码,标注成本和后处理复杂度都会上去,不是换个损失函数就能解决。

后处理也有实打实的开销。候选框越多,NMS 的两两比较越贵,而且它不容易并行。一张图几百个候选还好,上千个候选时后处理可能和主干网络一个量级。工程上常做的优化是先按分数截断,只对前几百个做 NMS,但截断本身又会引入新的漏检风险。

标注是另一条边界。框画得松一点紧一点,IoU 就从 0.8 掉到 0.6,mAP 跟着变。不同标注员对遮挡、截断、群体目标的处理不一致,模型学到的是标注规范的平均值。上线前要把标注规范、难例定义和评测脚本固定下来,不然指标变化说不清是模型进步还是标注漂移。

最后是速度与精度的取舍。两阶段方法先出候选再精修,通常更准但更慢;单阶段方法一次出结果,快但小目标吃亏。实际项目里更常见的做法是按硬件和帧率倒推,先定延迟预算,再在预算内挑结构,而不是先追一个榜单数字。

当天能验证的五个练习

  1. 把文中 A、B 两个框的 IoU 用手算一遍,再用脚本打印,确认 0.6203 对得上,并解释交集的 70 是怎么来的。
  2. 把 NMS 阈值分别改成 0.3、0.5、0.7,各跑一次,记录保留框的数量,说明每减少一个框是压掉了重复还是误删了目标。
  3. 构造两个相邻但 IoU 刚好 0.49 的框,跑 NMS,再把阈值降到 0.45,观察第二个框是否被压掉。
  4. 随机生成一百个框,在左上右下与中心宽高两种表示之间来回转换,打印最大误差,验证除了浮点舍入外没有系统性偏移。
  5. 把五个候选扩到一千个,分别统计分数排序、两两 IoU 和整个 NMS 的耗时,看看后处理占比是否超出你的预期。

小结

检测模型输出的不是「一只猫」,而是一张候选表。框用两种坐标表示,IoU 衡量像不像,目标性分数、类别分数和回归偏移各管一段,锚点把「从零猜框」变成「在已有框上微调」,NMS 再按重叠程度把重复的压掉。小目标漏检,先查分辨率和步长;重叠框太多,先查分数阈值和 NMS 阈值,别急着换模型。

框只能告诉你「目标在哪一块矩形里」。如果业务需要抠图、量面积、数像素,矩形就不够用了。下一篇讲分割与关键点:输出从几个数变成一整张掩码,或者一组坐标,误差的来源和评估方式也跟着变。