模型在实验室的验证集上做到 98%,大家准备上线。现场先抽了两百张图人工复核,准确率只有 70%。回去看错例,几乎都是同一种情况:训练图是上午在仓库门口拍的,光线均匀、角度固定;现场图是傍晚、逆光、手机随手拍,目标只占画面一角。模型不是坏了,是它从没见过这种输入。

遇到这种落差,最常见的反应是加数据、换更大的模型、调学习率。但在动手之前,得先把落差拆开:是训练集背得太熟,还是验证集和现场根本不是同一个分布,还是标注口径本身就不一致。这三种问题的解法完全不同,搞错了方向,加再多数据也只是把错误放大。这里的 98% 和 70% 是常见落差,不是本文的实测结果。

这篇从数据角度讲清楚三件事:增强到底在模拟什么,哪些增强会把标签改坏,以及同一批连拍照片跨了训练集和验证集时,指标为什么会被虚高。最后用一段可运行的随机裁剪实验,量一量目标被裁掉的比例。

先分清三种落差

第一种是过拟合。训练集指标一直涨,验证集很早就停住甚至往下掉,训练损失和验证损失拉开。这说明模型记住了训练图的细节,没学到能泛化的规律。常见原因是数据少、模型大、训练太久,或者同一张图被重复采样了很多次。

第二种是分布偏移。训练集和验证集指标都不错,换到现场就崩。问题不在模型容不容易泛化,而在现场输入和训练输入不是同一个分布:光照、角度、设备、背景、目标尺寸都可能变了。子类型有三:输入分布变了但标签关系没变,叫协变量偏移;类别比例变了,叫标签偏移;同样的输入对应不同的标签,叫概念偏移。工业项目里最常见的是第一种。

第三种是标注口径。训练和验证用的是同一批标注员、同一套规范,指标自然好看;现场复核的人按另一套标准,比如更严的边界、更细的类别,指标就掉了。这种落差不是模型能力问题,是尺子换了。上线前要先对齐「什么算对」,再谈模型好坏。

判断是哪一种,有个简单的对照实验:从现场抽一百张,人工标好,分别用训练集模型和重新训练的模型测。如果两个都差,是分布问题;如果训练集模型明显更差,才更像过拟合。

增强在模拟什么,不是在随便加噪声

数据增强的本质,是把你预期模型在真实世界里会遇到的变化,提前造进训练集。它不是为了「让数据变多」,而是为了让模型对某些变换不敏感。所以每加一种增强,都应该能说出它在模拟什么真实情况;说不出来,就不要加。

水平翻转模拟的是镜像视角和左右手性。对猫狗、车辆这类物体,翻转后仍然是合理样本;对文字、车牌、仪表盘数字,翻转后就变成现实里不存在的输入。旋转模拟相机倾斜、俯拍或者物体摆放角度变化。随机裁剪模拟构图变化和目标被画面边缘截断。缩放模拟远近和焦距变化。色彩抖动模拟不同时间段的光照、相机白平衡和传感器差异。噪声、模糊、压缩模拟低质量摄像头、运动模糊和网络传输。随机遮挡模拟前景遮挡和镜头污渍。

这些变换都有适用边界。医学影像里颜色往往携带诊断信息,饱和度抖动可能把病灶特征改没;工业质检里划痕是高频细节,高斯模糊可能把缺陷直接抹平;文字识别里几何变换要非常克制,否则字符结构被破坏。增强不是越猛越好,方向和幅度都要贴着业务。

幅度也要有依据。与其拍脑袋设旋转正负三十度,不如统计现场图相对训练图的姿态差,取一个覆盖大多数情况的范围。翻转只对左右无关的类别开;裁剪的下限按目标最小可见面积定;色彩抖动按不同时段的白平衡范围定。参数写成配置,和数据集版本一起存档,换数据时重新评估一次。

几何增强

翻转、旋转、裁剪、缩放、平移。改变位置和形状,通常不改变语义。代价是标注要跟着变:框要重算,关键点要换坐标,掩码要同步变换。

光度增强

亮度、对比度、饱和度、色温、噪声、模糊。改变像素值,通常不动坐标。代价是可能改变判别性细节,医学和质检场景要逐项验证。

会把标签改坏的增强

最典型的是左右翻转配文字或车牌。图像翻转了,「京」字变成镜像,车牌号码也反了,但标签还是原来的字符串。模型学到的是一种现实里不会出现的图案,测试时遇到正常文字反而犹豫。数字仪表、二维码、化学式都有同样的问题。

关键点也要跟着交换左右。人的左肩和右肩在翻转后位置互换,如果标签不换,模型会被教成「左边那个点永远叫左肩」,结果就是把左右肩学反。手部关键点、动物的左右眼同理。做翻转增强时,必须维护一张左右配对表,翻转图像的同时交换配对标签。

裁剪则容易把目标裁没。随机裁掉一大块,目标只剩一个角,框还得重新算;如果目标被裁得只剩几个像素,这个样本的标签已经不可信,应该直接丢弃,而不是把残片当正样本。分割掩码更严格,裁掉的区域要同步裁掉,不能留下原尺寸的掩码。

旋转目标框时也有坑。水平框旋转后不再是水平框,直接旋转四个角点,得到的是一个倾斜框;如果训练仍然用水平框,就要取旋转后的外接矩形,这会带进更多背景。关键点旋转则要绕图像中心做同样的变换,坐标系不能混。

遮挡增强也要看业务。随机擦除一小块,对整体分类可能无害;但如果被擦掉的正好是判别部位,比如安全帽的反光条、零件的刻字,标签没变,可用的证据已经没了。遮挡比例要有上限,并且避免遮住标注框的中心区域。

每加一种增强,都要拿几张图把「变换后的图」和「变换后的标签」叠在一起看。只看图不看标签,是标签被改坏却迟迟发现不了的主要原因。

裁剪到底裁掉了多少:跑二十次看比例

下面这段程序模拟随机裁剪。原图 1920 乘 1080,目标框在右侧,面积 150000 像素。每次随机取一个宽 700 到 1500、高 400 到 950 的裁剪框,位置也随机,计算目标还剩多少面积。覆盖率低于 0.30 就认为这个样本不该保留。

import random

IMG_W, IMG_H = 1920, 1080
OBJ = (1100, 300, 1350, 900)
obj_area = (OBJ[2] - OBJ[0]) * (OBJ[3] - OBJ[1])

rng = random.Random(20261107)
kept = 0
coverages = []

for i in range(20):
    cw = rng.randint(700, 1500)
    ch = rng.randint(400, 950)
    cx = rng.randint(0, IMG_W - cw)
    cy = rng.randint(0, IMG_H - ch)
    crop = (cx, cy, cx + cw, cy + ch)

    ix1 = max(OBJ[0], crop[0])
    iy1 = max(OBJ[1], crop[1])
    ix2 = min(OBJ[2], crop[2])
    iy2 = min(OBJ[3], crop[3])
    inter = max(0, ix2 - ix1) * max(0, iy2 - iy1)
    cov = inter / obj_area
    coverages.append(cov)
    if cov >= 0.30:
        kept += 1
    print(f"run {i+1:2d} cover {cov:.2f} {'keep' if cov >= 0.30 else 'cut'}")

print(f"kept {kept} / 20")
print(f"mean coverage {sum(coverages) / len(coverages):.4f}")
run  1 cover 0.84 keep
run  2 cover 0.88 keep
run  3 cover 0.40 keep
run  4 cover 0.59 keep
run  5 cover 0.57 keep
run  6 cover 0.92 keep
run  7 cover 0.00 cut
run  8 cover 1.00 keep
run  9 cover 0.77 keep
run 10 cover 0.62 keep
run 11 cover 0.06 cut
run 12 cover 1.00 keep
run 13 cover 1.00 keep
run 14 cover 0.96 keep
run 15 cover 0.48 keep
run 16 cover 0.88 keep
run 17 cover 1.00 keep
run 18 cover 0.70 keep
run 19 cover 0.00 cut
run 20 cover 0.48 keep
kept 17 / 20
mean coverage 0.6575

二十次里有三次目标被裁到不足三成,直接丢弃;其余保留。平均覆盖率 0.6575,也就是说平均有三分之一的目标面积被裁掉了。这个数字和裁剪参数的设定直接相关:裁剪比例越大,丢样本越多。如果你发现训练时损失忽高忽低,或者小目标学不好,先统计一下增强后还剩多少有效目标,而不是怀疑损失函数。

注意这里的随机种子是固定的,所以结果可复现。真实训练里每次迭代都换随机数,但统计口径可以一样:抽样一千次,记录丢弃率和平均覆盖率,作为增强强度的体检指标。这个统计不需要 GPU,本机几秒钟就能跑完。

数据泄漏:指标虚高最常见的原因

同一个场景连拍十张,前后只差零点几秒,其中八张进了训练集、两张进了验证集。模型在验证集上当然表现好,因为它昨天刚见过几乎一样的图。指标虚高的幅度可以很大,而且训练过程完全正常,很难从曲线上看出来。

视频数据更隐蔽。相邻帧之间几乎相同,按帧随机切分,等于把同一段画面同时放进训练和验证。医疗数据里同一个患者多次检查、同一张片子不同处理版本,工业数据里同一批次的同一件产品多角度拍摄,都是同一类问题。正确的切分单位是「组」而不是「图」:按患者、按视频、按拍摄批次、按产品编号切。

还有几种轻微但常见的泄漏:用全量数据算归一化的均值和方差,再切训练验证;用验证集调阈值、选模型,最后又拿同一个验证集报指标;增强后的副本和原图跨了两边。第一种影响小但确实存在,第二、三种会让指标明显偏乐观。严谨的做法是训练集算统计量,验证集只用来选模型,最后留一个从没碰过的测试集报最终数字。

重复图检测不必上复杂模型。先按文件哈希去重,再按感知哈希或缩略图相似度找近似图,就能捞出大部分连拍和截图。对视频,按帧号间隔抽样,确认训练和验证没有来自同一段连续镜头。这个检查放在切分之前,比事后分析指标省力得多。

最快的自查方式:把验证集里的图按相似度聚类,看有没有和训练集几乎重复的。再按文件时间、拍摄设备、场景编号分组,重新切一次,指标如果掉很多,说明之前的数字里有一部分是记忆。

先修数据,再谈模型

确认是分布偏移后,最有效的动作是补数据,而不是换模型。补什么要有针对性:把现场错例按原因分类,是逆光、角度、遮挡、尺寸,还是设备差异;然后按类别去采集,缺哪种补哪种。盲目把数据量翻一倍,如果新增的还是同一种光照,指标不会动。

难负样本也值得单独收。模型经常把某种背景纹理误判成目标,比如货架标签、地面反光、衣服图案。把这些误判图收进来,标成背景,再训练,往往比调分类阈值有效。难负样本不需要很多,几百张就能明显改变决策边界。

标注复核要和模型迭代同步。抽一批验证图,让两个人独立标,统计不一致的地方。如果某个类别的边界分歧很大,说明规范本身模糊,先改规范再训练。否则模型学到的只是标注员的平均习惯,换一批标注员指标就变。

验证集也要换。用实验室图做验证,永远只能证明模型在实验室有效。应该从现场分布里留出一部分,按时间或批次切开,作为真正的验收集。这个集合不参与调参,只在上线前看一次,才能反映真实落差。

补数据之前先算一笔账:现场错例里,光照占多少、角度占多少、尺寸占多少。占比最高的那一类,补两百张往往比平均撒胡椒面有效。补完再做一次分组验证,才能知道是数据起作用,还是随机波动。

从落差到动作的顺序
把现场错例按原因分类
检查训练与验证是否同源泄漏
按缺失场景补采数据
对齐标注口径并复核
用现场分布重新验收

效果不对时,按这张表查

现象真实原因第一步查什么
验证集很高,现场很低训练与现场分布不一致把现场错例按光照、角度、尺寸分组统计
验证集高得离谱,测试集正常同源连拍或视频相邻帧跨了切分按拍摄批次、患者或视频重新分组切分
训练损失降,验证损失升过拟合,模型记住了训练细节看数据量、模型大小、训练轮数和重复采样
加了翻转增强后文字识别变差镜像文字在现实里不存在检查增强是否作用在文字类数据上
关键点左右经常反翻转增强没有交换左右标签叠图检查变换后的关键点编号
小目标越训越差裁剪或缩放把目标裁没、缩没统计增强后有效目标面积与丢弃率
夜间和逆光几乎全错训练集缺少对应光照按时间段统计样本量,针对性补采
换个批次指标就掉标注口径或设备参数变了核对标注规范、相机型号与压缩设置

边界与代价

增强补不出没见过的世界。训练集里没有夜间图,再强的色彩抖动也造不出真实的路灯、车灯和噪点组合。增强只能在你已经覆盖的分布附近做插值,不能替代新场景的采集。把增强当成采集的替代品,是这类项目里最常见的误判。

增强也有算力成本。在线做复杂的几何变换和混合,可能让数据加载成为瓶颈,GPU 反而在等数据。增强参数越多,复现问题越难,出了错也不容易定位。建议把增强配置写成显式参数并记录到训练日志,至少保证同一份配置能复现同一批样本。

过度增强会教模型「什么都不确定」。所有图都大幅旋转、重度遮挡、强噪声,模型学到的是模糊的平均特征,干净图上反而表现下降。增强强度应该和真实世界的变化幅度匹配,而不是按「越多越稳」的直觉往上堆。

隐私与合规也在数据这一层。现场采集的人脸、车牌、工牌,能不能用于训练,要事先确认授权范围和保存期限。技术上加个模糊很容易,但如果原始数据本身不该收,模糊只是补救,不是许可。

还有一条常被忽略:增强和预训练模型的预处理要一致。预训练时用的是特定的归一化均值方差和插值方式,你在增强里又加了另一套色彩变换,等于让输入分布偏两次。用预训练权重时,先把基础预处理对齐,再在此基础上加业务相关的增强。

当天能验证的五个练习

  1. 把文中的裁剪脚本换一个随机种子,再跑二十次,记录丢弃率,看看和 3/20 差多少。
  2. 把覆盖率门槛从 0.30 改成 0.50,重跑,统计保留次数,说明门槛如何影响有效样本量。
  3. 拿五张含文字的图做水平翻转,把翻转后的图和原标签叠在一起,指出哪些样本的标签已经失效。
  4. 把自己数据集的文件名、拍摄时间列出来,按「同一天同一设备」分组,检查训练集和验证集有没有同组跨越。
  5. 选一个类别,统计它在不同光照或不同角度下的样本量,列出最少的那一档,写出下周要补采的具体场景。

小结

实验室和现场的差距,先拆成过拟合、分布偏移、标注口径三件事,再决定是加正则、补数据还是改规范。增强的意义是模拟真实变化,几何增强要同步改标签,光度增强要确认没破坏判别信息。切分要按组,不按图,否则同源样本会把指标抬得虚高。

数据修到能用之后,下一个现实问题是:现场根本凑不齐几千张标注图,从头训练往往还不如随机猜。下一篇讲迁移学习,看看预训练模型怎么在三百张图的小数据集上落地,以及冻结、解冻和学习率该怎么配合。