人工种子集训练与 440 托盘逐面补标报告

已使用实际人工多边形构建最小数据集,并完成 RF-DETR-Seg Small 与 Medium 的训练。内部验证选中 Medium,常规置信阈值为 0.70。

交付覆盖 440 张原生图像、440 个入选托盘,共 440 个面实例:人工保留 54 面,机器补标 386 面,其中低置信 131 面;4 个目标仍待补画。

打开离线掩膜图册。440 组 PNG/JSON 全部平铺在本目录,可直接用 AnyLabeling 打开;A 编号只作为抽样属性。

实例与孔洞语义

一个可见叉取面对应一个 group_id 和唯一 instance_id。同托盘双面分别保留。每个面框由自身掩膜计算,采用原生像素的 [x, y, width, height];原托盘框只在 pallet_segmentation.original_parent_bbox 中定位,不是标注形状。

所有形状均为 polygon。pallet 同组正轮廓并集减去 __hole__ 同组孔洞并集,得到该面的掩膜。孔洞不是类别或实例;闭合孔洞与外部开口分别处理。机器掩膜的多个正轮廓片段仍属于同一个面,不能按片段数统计实例。人工轮廓坐标未简化或重画。

人工输入审计与划分

返回 ZIP 共 57 份 JSON;审计通过 53 帧、67 面、20 孔洞、43 个采集组。嵌套/大量重叠歧义 3 帧整帧隔离;仅矩形 1 帧不用于分割训练或负例。原件保存在训练包 inputs 中。旧的导出状态字段未作为训练资格依据。

按采集组 seed=42 划分:训练 39 帧 / 47 面 / 34 组;验证 14 帧 / 20 面 / 9 组。组比例接近 80%/20%,受组大小约束帧数比例不同;验证至少含两个有孔洞采集组,各配置域保留训练覆盖。增强跟随原组。

训练 COCO 采用压缩 RLE,原生二值面/孔洞掩膜另存。面框从扣孔后的掩膜计算。图像保持比例补边至 768×768,强度复制三通道;原生图像尺寸、旋转和像素不变。

隔离文件:

模型调研与本机选择

模型 预训练与数据接口 孔洞支持 本机适配与本轮选择
RF-DETR-Seg DINOv2 骨干、官方 COCO 分割权重;COCO 标注 本地 1.11.0 加载器直接解码 RLE,孔洞作为背景监督 当前 PyTorch 2.6 环境可训练;实际比较 Small / Medium
YOLO26-Seg 官方 COCO 预训练;常规 YOLO 分割文本为逐实例多边形坐标 常规单行多边形格式没有本任务的同组减孔语义,需要改造加载与监督 可作速度基线;本轮未训练,避免通过填孔改变人工监督
SAM3 Meta 官方概念/交互分割预训练;提供推理及微调代码 输出稠密掩膜能包含孔洞,任务数据需适配其微调管线 官方要求 Python≥3.12、PyTorch≥2.7、CUDA≥12.6;本机当前版本不同,本轮不改动既有 SAM 推理环境

依据:RF-DETR 分割官方说明、官方 COCO 加载器、YOLO26 模型说明、YOLO 分割数据格式、SAM3 官方仓库。本报告记录实际适配结果,不把公开 COCO 成绩当成本数据精度。

实际训练与选优

固定 rfdetr==1.11.0 和官方对应预训练权重。两模型保持相同组划分、768 分辨率、学习率 1e-4、编码器学习率 1e-5、有效 batch=8(初始 batch=2 / 累积4)、EMA、最多150轮、早停耐心30。关闭随机裁剪、多尺度和比例抖动,仅水平翻转。Small 在 16GB 卡,Medium 在 24GB 卡;训练日志、精确设备、实际 batch 与依赖版本保存在训练包。

模型 完成轮数 / 最佳轮 mask AP50:95 AP50 匹配掩膜 IoU 孔洞背景 IoU 失败面数 训练分钟 峰值显存 GiB
Small 63 / 33 0.4110 0.6269 0.5132 0.0000 8 22.8 3.21
Medium 64 / 34 0.4267 0.6577 0.5112 0.0000 8 25.2 4.18

训练曲线

以上均为参与模型选择的内部验证结果,不能作为独立测试成绩。AP 采用相同交付推理及重复抑制后的 COCO mask AP;官方训练曲线是 EMA 验证指标,后处理不同可使曲线最佳值与此表不同。

匹配掩膜 IoU:在校准阈值下按原生掩膜 Hungarian 匹配,缺失实例记0;失败面指匹配 IoU<0.5 或未匹配。孔洞背景 IoU:对有人工孔洞的验证面,比较其孔洞掩膜与匹配预测的闭合孔洞,缺失记0。阈值按 IoU≥0.5 的实例 F1 校准。选优依次按 AP、孔洞 IoU、掩膜 IoU、训练耗时。

孔洞恢复限制:选优模型的内部验证孔洞背景 IoU 低于 0.1,未可靠学会闭合孔洞。机器建议需重点复核叉孔、细边界与相邻托盘;自动导出仅保留预测实际产生的孔洞,不使用人工孔洞位置或矩形伪造机器结果。

补标规则与复核

清晰人工面先根据原父框覆盖关系归属;相邻侧面需水平邻接、纵向范围相符且不优先归属其他托盘。未获得可归属人工面的入选托盘采用选优模型整帧推理,失败后扩大父框上下文重试,再映射回原生坐标。相同面的重复预测抑制,不同面不合并。

常规候选须达到校准阈值。没有常规候选时保留最高分、空间匹配且非空的低置信面并标记;完全无有效掩膜的目标保持待补画正例,JSON 可无形状,不能当作负例。机器结果始终未人工复核,训练资格为 false。返回标注有歧义的帧在图册中提示,不自动修正原标注。

原来源划分:train 361、val 29、test 50。同帧非入选托盘的清晰人工面用于训练,但不加入最终入选目标交付。此次参与种子集训练的原 val/test 帧不能继续作为独立分割测试依据。

复核入口:review_queue.jsonl、low_confidence.jsonl、unresolved.jsonl、ambiguities.jsonl;图册可按 A 类、原划分、孔洞、双面和复核状态筛选。后续人工修改后,应以 JSON 的同组正轮廓减孔洞重建标签,明确标记复核状态,再重新训练。未标注的同帧其他托盘需要忽略策略,另留独立分割评估数据。

可复现记录与验收

入口:

python -m pallet.instance_segmentation_seed --stage all --seed 42

支持 audit/build/train/select/predict/export/verify/package/all;已有内容使用哈希保护,发现人工 JSON 修改或冻结结果变化拒绝覆盖。训练包含 COCO 数据、原生面/孔洞掩膜、原始返回 ZIP/JSON、采集组划分、两模型最佳权重、训练配置与曲线原始 CSV、依赖及源码哈希、模型选择结果。试运行和设备编号修正日志单独保留,最终比较仅用正确设备的完整训练。

检查包括 RLE 与二值掩膜像素一致、孔洞扣除、无矩形监督、采集组无泄漏、440目标及实例身份唯一、PNG原件一致、官方固定版本 AnyLabeling JSON 读取/保存、同组掩膜回栅格一致、面框独立计算,以及正式标签/冻结源哈希未变。验证结果见 validation.json,ZIP 校验结果和 SHA-256 见上级交付清单;AnyLabeling 桌面 GUI 不在自动测试范围内。

输入 ZIP SHA-256:27b1530466fba63d38dfa5bfaa2fd5a27b9ebe71146dc673fdaf632c5445bb67。

配置域 入选目标数
176x132_unverified 10
224x172_fov_55_45 29
240x96_unverified 10
352x264_fov_40_30 10
352x264_fov_55_40 173
352x264_unverified 57
640x480_fov_80_60 151