# 人工种子集训练与 440 托盘逐面补标报告

已使用实际人工多边形构建最小数据集，并完成 RF-DETR-Seg Small 与 Medium 的训练。内部验证选中 **Medium**，常规置信阈值为 **0.70**。

交付覆盖 **440 张原生图像、440 个入选托盘**，共 **440 个面实例**：人工保留 54 面，机器补标 386 面，其中低置信 131 面；**4 个目标仍待补画**。

[打开离线掩膜图册](gallery.html)。440 组 PNG/JSON 全部平铺在本目录，可直接用 AnyLabeling 打开；A 编号只作为抽样属性。

## 实例与孔洞语义

一个可见叉取面对应一个 group_id 和唯一 instance_id。同托盘双面分别保留。每个面框由自身掩膜计算，采用原生像素的 `[x, y, width, height]`；原托盘框只在 `pallet_segmentation.original_parent_bbox` 中定位，不是标注形状。

所有形状均为 polygon。`pallet` 同组正轮廓并集减去 `__hole__` 同组孔洞并集，得到该面的掩膜。孔洞不是类别或实例；闭合孔洞与外部开口分别处理。机器掩膜的多个正轮廓片段仍属于同一个面，不能按片段数统计实例。人工轮廓坐标未简化或重画。

## 人工输入审计与划分

返回 ZIP 共 57 份 JSON；审计通过 53 帧、67 面、20 孔洞、43 个采集组。嵌套/大量重叠歧义 3 帧整帧隔离；仅矩形 1 帧不用于分割训练或负例。原件保存在训练包 inputs 中。旧的导出状态字段未作为训练资格依据。

按采集组 seed=42 划分：训练 39 帧 / 47 面 / 34 组；验证 14 帧 / 20 面 / 9 组。组比例接近 80%/20%，受组大小约束帧数比例不同；验证至少含两个有孔洞采集组，各配置域保留训练覆盖。增强跟随原组。

训练 COCO 采用压缩 RLE，原生二值面/孔洞掩膜另存。面框从扣孔后的掩膜计算。图像保持比例补边至 768×768，强度复制三通道；原生图像尺寸、旋转和像素不变。

隔离文件：

- `0a78ded743da051d053340d4.json`：positive_overlap_or_nested:3:4:1.0000
- `2c64ce594ea9d1d9a22fb57b.json`：positive_overlap_or_nested:1:2:1.0000; positive_overlap_or_nested:1:3:1.0000
- `3a869e2afb379d20d5d30861.json`：positive_overlap_or_nested:0:1:1.0000; positive_overlap_or_nested:0:2:1.0000

## 模型调研与本机选择

| 模型 | 预训练与数据接口 | 孔洞支持 | 本机适配与本轮选择 |
|---|---|---|---|
| RF-DETR-Seg | DINOv2 骨干、官方 COCO 分割权重；COCO 标注 | 本地 1.11.0 加载器直接解码 RLE，孔洞作为背景监督 | 当前 PyTorch 2.6 环境可训练；实际比较 Small / Medium |
| YOLO26-Seg | 官方 COCO 预训练；常规 YOLO 分割文本为逐实例多边形坐标 | 常规单行多边形格式没有本任务的同组减孔语义，需要改造加载与监督 | 可作速度基线；本轮未训练，避免通过填孔改变人工监督 |
| SAM3 | Meta 官方概念/交互分割预训练；提供推理及微调代码 | 输出稠密掩膜能包含孔洞，任务数据需适配其微调管线 | 官方要求 Python≥3.12、PyTorch≥2.7、CUDA≥12.6；本机当前版本不同，本轮不改动既有 SAM 推理环境 |

依据：[RF-DETR 分割官方说明](https://rfdetr.roboflow.com/latest/learn/run/segmentation/)、[官方 COCO 加载器](https://github.com/roboflow/rf-detr/blob/develop/src/rfdetr/datasets/coco.py)、[YOLO26 模型说明](https://docs.ultralytics.com/models/yolo26/)、[YOLO 分割数据格式](https://docs.ultralytics.com/datasets/segment/)、[SAM3 官方仓库](https://github.com/facebookresearch/sam3)。本报告记录实际适配结果，不把公开 COCO 成绩当成本数据精度。

## 实际训练与选优

固定 `rfdetr==1.11.0` 和官方对应预训练权重。两模型保持相同组划分、768 分辨率、学习率 1e-4、编码器学习率 1e-5、有效 batch=8（初始 batch=2 / 累积4）、EMA、最多150轮、早停耐心30。关闭随机裁剪、多尺度和比例抖动，仅水平翻转。Small 在 16GB 卡，Medium 在 24GB 卡；训练日志、精确设备、实际 batch 与依赖版本保存在训练包。

| 模型 | 完成轮数 / 最佳轮 | mask AP50:95 | AP50 | 匹配掩膜 IoU | 孔洞背景 IoU | 失败面数 | 训练分钟 | 峰值显存 GiB |
|---|---|---|---|---|---|---|---|---|
| Small | 63 / 33 | 0.4110 | 0.6269 | 0.5132 | 0.0000 | 8 | 22.8 | 3.21 |
| Medium | 64 / 34 | 0.4267 | 0.6577 | 0.5112 | 0.0000 | 8 | 25.2 | 4.18 |

![训练曲线](training_curves.svg)

以上均为参与模型选择的内部验证结果，不能作为独立测试成绩。AP 采用相同交付推理及重复抑制后的 COCO mask AP；官方训练曲线是 EMA 验证指标，后处理不同可使曲线最佳值与此表不同。

匹配掩膜 IoU：在校准阈值下按原生掩膜 Hungarian 匹配，缺失实例记0；失败面指匹配 IoU<0.5 或未匹配。孔洞背景 IoU：对有人工孔洞的验证面，比较其孔洞掩膜与匹配预测的闭合孔洞，缺失记0。阈值按 IoU≥0.5 的实例 F1 校准。选优依次按 AP、孔洞 IoU、掩膜 IoU、训练耗时。

**孔洞恢复限制：选优模型的内部验证孔洞背景 IoU 低于 0.1，未可靠学会闭合孔洞。机器建议需重点复核叉孔、细边界与相邻托盘；自动导出仅保留预测实际产生的孔洞，不使用人工孔洞位置或矩形伪造机器结果。**

## 补标规则与复核

清晰人工面先根据原父框覆盖关系归属；相邻侧面需水平邻接、纵向范围相符且不优先归属其他托盘。未获得可归属人工面的入选托盘采用选优模型整帧推理，失败后扩大父框上下文重试，再映射回原生坐标。相同面的重复预测抑制，不同面不合并。

常规候选须达到校准阈值。没有常规候选时保留最高分、空间匹配且非空的低置信面并标记；完全无有效掩膜的目标保持待补画正例，JSON 可无形状，不能当作负例。机器结果始终未人工复核，训练资格为 false。返回标注有歧义的帧在图册中提示，不自动修正原标注。

原来源划分：train 361、val 29、test 50。同帧非入选托盘的清晰人工面用于训练，但不加入最终入选目标交付。此次参与种子集训练的原 val/test 帧不能继续作为独立分割测试依据。

复核入口：`review_queue.jsonl`、`low_confidence.jsonl`、`unresolved.jsonl`、`ambiguities.jsonl`；图册可按 A 类、原划分、孔洞、双面和复核状态筛选。后续人工修改后，应以 JSON 的同组正轮廓减孔洞重建标签，明确标记复核状态，再重新训练。未标注的同帧其他托盘需要忽略策略，另留独立分割评估数据。

## 可复现记录与验收

入口：

```bash
python -m pallet.instance_segmentation_seed --stage all --seed 42
```

支持 audit/build/train/select/predict/export/verify/package/all；已有内容使用哈希保护，发现人工 JSON 修改或冻结结果变化拒绝覆盖。训练包含 COCO 数据、原生面/孔洞掩膜、原始返回 ZIP/JSON、采集组划分、两模型最佳权重、训练配置与曲线原始 CSV、依赖及源码哈希、模型选择结果。试运行和设备编号修正日志单独保留，最终比较仅用正确设备的完整训练。

检查包括 RLE 与二值掩膜像素一致、孔洞扣除、无矩形监督、采集组无泄漏、440目标及实例身份唯一、PNG原件一致、官方固定版本 AnyLabeling JSON 读取/保存、同组掩膜回栅格一致、面框独立计算，以及正式标签/冻结源哈希未变。验证结果见 `validation.json`，ZIP 校验结果和 SHA-256 见上级交付清单；AnyLabeling 桌面 GUI 不在自动测试范围内。

输入 ZIP SHA-256：`27b1530466fba63d38dfa5bfaa2fd5a27b9ebe71146dc673fdaf632c5445bb67`。

| 配置域 | 入选目标数 |
|---|---:|
| 176x132_unverified | 10 |
| 224x172_fov_55_45 | 29 |
| 240x96_unverified | 10 |
| 352x264_fov_40_30 | 10 |
| 352x264_fov_55_40 | 173 |
| 352x264_unverified | 57 |
| 640x480_fov_80_60 | 151 |
