# 托盘轮廓模型路线调研（不启动训练）

## 结论

建议并行保留几何路线，模型路线优先验证 **局部分割 → 原生像素边界细化 → 受约束多边形**；
关键点作为第二个可比较分支和结构约束，不先把所有轮廓硬塞入一个固定点数模型。
目前没有实测证明任何新模型达到交付门槛，本轮未训练、未下载或加载模型权重、未改变线上任务。

推荐的最小实验次序：

1. **ROI分割基线**：轻量U-Net式高分辨率解码器，通用预训练编码器，输出前景概率与边界概率。
2. **直接实例分割对照**：已有固定依赖中的RF-DETR-Seg Small，从通用预训练重新开始，不复用旧托盘微调权重。
3. **结构关键点对照**：实际观察面/结构语义确定后，采用热图或RTMPose式坐标分布，预测角点及存在性/可见性。
4. **融合**：分割确定前景及凹口，关键点约束内外角，原生图像确定最终贴边；证据不一致时拒绝，不进行“平均纠错”。

## 一、现有数据实际能支持什么

数据审计：`outputs/pallet_mask_model_research_v1/feasibility.json`。
生成入口 `scripts/analyze_mask_model_feasibility.py` 只读消费已经冻结的质量恢复证据，不导出训练标签。

全部有效研究轮廓为 **1,484份**：482份位姿库轮廓＋1,002份图库真实保存。
按既有正式划分为 **train 658、val 470、test 356**。后两者共826份不能回流训练。
658份只是正式train侧的研究参考，不意味着已全部获得训练或GT资格，仍需统一语义与源/目标防泄漏审计。

train侧具有116个隔离连通分量。实际顶点数为：

| 顶点数 | 4 | 8 | 9 | 10 | 12 | 14 | 16 |
|---|---:|---:|---:|---:|---:|---:|---:|
| 数量 | 153 | 287 | 1 | 20 | 104 | 1 | 92 |

不能以数量代替结构：同样8点可能对应不同观察面，不同数量也可能只是人工细节表达差异。
Class6与Class13当前train侧各只有一个采集组，Class19只有两个研究样本；必须报告稀有类及跨组泛化限制。
train目标框原生高度中位仅33.49像素，P10为25.80像素；最短人工多边形边约1.30像素。
这进一步支持保留高分辨率解码和原生边界评价，而不是仅提高网络输入尺寸。
图像上采样不能恢复原生图不存在的细节，所有最终误差必须回到原生像素统计。

### 已存在的分割实验，不应重复误解

仓库已有 `outputs/pallet_instance_segmentation_seed_v1/`：

- “440”是补标交付范围，不是440份人工训练标签；实际人工监督为53帧、67个叉取面。
- 训练39帧/47面/34组，内部验证14帧/20面/9组；Small和Medium已训练过。
- Medium旧内部验证mask AP50:95约0.427，匹配掩膜IoU约0.511，孔洞背景IoU为0。
  这些数值来自旧内部选模流程，与本轮逐目标修订一致性IoU不是同一指标、也不是独立测试成绩。
- 只按精确frame ID匹配，旧train已覆盖当前val中的2份、test中的3份轮廓对应帧；按采集组匹配分别为45份、51份。
  这只是已证实的重叠下界，尚未穷尽图像/PCD近重复，因此旧托盘微调权重不能用于声称新的独立val/test评估。
- 可以借鉴已审计的COCO RLE、坐标回映射、孔洞保存和训练日志代码，不能直接续训旧权重后将它当作无泄漏新实验。

## 二、方案比较

| 路线 | 优势 | 针对当前任务的风险 | 建议 |
|---|---|---|---|
| ROI二值/实例分割 | 直接学习前景与凹口，不要求统一顶点数；利用现有原框定位 | 下采样抹去薄梁；反射/后排误包含；标签未覆盖的其它目标不能当背景 | **第一优先**；高分辨率解码与边界监督 |
| 结构关键点 | 原生角点误差可解释；易输出可编辑折线与拓扑 | 4–16点非统一语义；遮挡角/不存在角混淆；错误连点会自交 | 先定义结构族及语义，再做公平对照 |
| mask＋keypoint＋边界 | mask给区域，角点给结构，图像给贴边证据 | 多头冲突与质量校准更复杂，不能用目标人工轮廓选择结构 | 单独基线成立后再融合 |
| SAM2提示分割/微调 | 有官方图像训练与提示分割接口，可作对照 | “整个托盘”不等于“当前叉取面”；可能补满孔洞或跨层；资源成本高 | 次级探索，自动预测框提示；不依赖人工点击作为部署输入 |

### A. 推荐：局部分割＋边界头

- 输入为现有检测/原框所定位的图像ROI与少量上下文；首个实验只用实际原灰度图（必要时复制成三通道），
  不输入人工多边形、目标ID、采集组、标尺、选面结果或位姿GT。类别可先不输入，实现跨类共享轮廓学习。
- 等比例缩放＋padding，记录完整像素坐标变换，不将宽扁框强行拉成固定宽高；首先比较保持原生分辨率与适度放大。
  padding区域不参与损失；mask最近邻变换，概率图回映射后在原图评价。
- 编码器可用通用图像预训练；轻量多尺度跳连解码器输出mask logits和边界logits。
  BCE/Dice为基础，边界辅助损失需在train内部校准；不要未经实验就堆叠复杂损失。
- 前景/孔口语义只来自真实标注。当前单环轮廓不能推断未明确标注的封闭孔洞；没有孔洞真值不能伪造孔洞监督。
  有实际孔洞时使用实例RLE或带ring的格式，不能用单一外轮廓填平。
- 同帧未标全的其它目标或相邻面设ignore/限定监督范围，不把未标注物体当负样本；错层/遮挡存在语义歧义时先隔离。
- 初期不按22类训练22套分割器。类无关学习共享材料/梁脚边界，同时按类、结构、sensor policy和观察面报告指标。

直接实例分割的对照可以使用RF-DETR-Seg或YOLO-seg；前者仓库已有固定接口，后者需考虑AGPL/商业授权。
整图检测AP不是当前预标注“少改多少像素”的替代指标，ROI方法还必须报告对框偏差的敏感性。

### B. 关键点路线的正确标签定义

关键点必须表示稳定语义，如上梁左右端点、左右脚外底角、内侧角、明确存在的中脚内外角；
不能把所有多边形的“第1…16个点”直接当成同一种关键点，更不能给四点轮廓补造凹槽点。

- 按实际可见结构/观察面建立语义映射，保持原人工坐标和原顺序不变；新映射单独存放并记录映射版本。
- 若采用固定最大K，分别监督“该结构角是否存在”和“存在角是否可见”，缺失点以loss mask排除，
  不将不存在/未知角填成(0,0)，也不把不可见位置补成推测坐标。
- 水平翻转须有明确语义左右交换；未定义前关闭翻转。不能任意上下翻转、强透视或剪切到拓扑改变。
- 用像素热图/坐标分布＋置信度优先于直接回归长向量；最后根据模型自身结构/存在性输出连线。
  推理阶段不得读取目标人工顶点数、观察面说明或GT来选择分支。
- 关键点报告PCK@1/2原生像素、每个语义角误差和漏检率，并将最终折线转mask报告IoU、HD95、边界F1。
  人体COCO关键点AP高不代表托盘角点或内凹轮廓准确。

MMPose/RTMPose适合作研究候选，但当前环境未安装MMPose；应在隔离环境固定版本，不为调研升级现有生产依赖。
Ultralytics pose要求数据集级`kpt_shape`与一致点语义，适合已经定义好的结构，不自然解决动态拓扑。

### C. 模型与几何路线如何结合

几何路线目前在140/658个train目标中找到兼容异组参考，共171次尝试；158次通过粗配准，
但158次都未通过完整原生边界拟合：首个失败边中151次为线形/残差不稳，3次来源边界跳变弱，4次支持率不足。
这支持将**区域上下文学习**与**全局连贯边缘假设**加入研究，而不是降低原门槛。

下一步几何开发应对整条候选直线/路径评分，显式比较平行强边及多个结构层；
现在的原型只是沿边各采样点独立选最强跳变，拟合残差检查不等于检测了所有多峰歧义。
原生成报告中“歧义均拒绝”的概括过宽，以独立核验的具体范围为准。

融合时先保留概率mask原样，另输出几何多边形候选及二者差异。
不能用凸包、最小矩形或强制平滑去填凹口；简化容差必须在原生像素上校准。
如果模型推断的拓扑与兼容人工结构不一致，应拒绝或转为待专项检查，不把它冒充继承模板的旧式传播。
即使新模型能输出变点数多边形，也只能进入明确版本化的新研究协议，不自动改动旧传播的顶点继承要求。

## 三、建议的受控实验协议

### 数据及语义先行

1. 从658份train侧来源中审计叉取面范围、长/短面、后排结构、开放孔口、遮挡和反射。
   四点有效轮廓保留四点；冲突只加新审计结论，不自动改旧标签。Class14必须先明确长短面。
2. 保持同采集组、同帧、相同图像/PCD及可信近重复处于同一隔离分量；沿用已冻结116个train分量作为开发基线，
   在实际训练前补充跨类别近重复和原始数据全局重叠审计。已有dHash＋相关度检查不是完整的防泄漏证明。
3. 从正式train内部建立train-development与group-held-out开发验证，所有超参、早停和阈值只在内部决定。
   经过本轮诊断的658份OOF再利用属于开发，不应宣传为新盲测。
4. 参考检索传播仍受同类/同正式划分/同sensor及真实兼容观察面限制；类无关分割是单独模型协议，
   不把混类训练解释为放宽旧传播许可，也不使用任何人工字段作为位姿模型输入。
5. 冻结模型/后处理/阈值后，才按原协议复测val/test；已看过的test不用于再次选模，不宣称全新独立盲测。
   如果要新的盲测，应新增未参与训练、调参或人工诊断的采集组。
6. 首轮不使用机器伪标签自训练，不把模型预测、助手草稿或“未修改的机器候选文件”当作新人工来源。
   只有实际人工保存且来源/语义资格复核通过后，才可按独立版本协议考虑后续复用；覆盖、保存和人工确认仍分别统计。

### 最小比较矩阵

| 编号 | 方法 | 主要目的 |
|---|---|---|
| G0 | 本轮冻结旧传播受控基线 | 已有23/658交付，IoU中位0.9451；不是全量历史扫描 |
| G1 | 兼容参考＋原生边界拟合原型 | 已有0/658交付，门禁阻断；不作为成功结果 |
| M1 | ROI mask＋边界头 | 检验区域学习能否减少上缘/脚底系统偏差 |
| M2 | RF-DETR-Seg Small | 检验直接实例分割，与旧47面实验区分 |
| K1 | 语义角点 | 拓扑映射完成后检验结构/角点优势 |
| H1 | 最好mask基线＋角点/几何约束 | 在冻结组合规则后检验增益，不能逐目标挑最优 |

先M1与M2，K1在语义准备好后加入；不同时大规模网格搜索。
预训练来源、所有数据事件哈希、代码/依赖、crop变换、随机种子、模型选择依据和拒绝日志均需封存。

### 评价和试运行门槛

- 所有目标分母上的交付率、拒绝率、推理耗时/显存；同时报告全预测分布和质量筛选后分布。
- 原生mask IoU中位数/P10、HD95、1像素边界F1、上梁/脚底/内角误差、面积偏差、拓扑及错面/错层。
- 按类、观察面、sensor、框尺寸、遮挡/反射分层；以采集组bootstrap置信区间估计不确定性，不以大量近重复图虚增样本。
- 先10–15张预先选定失败类型的人工试运行，报告修改率、顶点移动、增删点、撤销/重画和实际修改用时。
  新试运行不能重派已经完成/删除/暂缓/确认/隔离/历史改绘或拒绝的目标，也不能用难例重派来凑验证分母。
- 沿用待验证目标：至少10份有效独立组样本、IoU中位≥0.95、≥90%样本IoU≥0.90，
  HD95≤`max(2像素, 框高×0.10)`并排除错面/错层。
  同时报交付率与人工修改量；空集质量是null，不是100%。达到统计门槛也不自动授权生产、训练或机器人使用。

## 四、算力、存储和落地边界

本机只读查询存在两张非3090卡，当前可见显存约16GB与24GB，另有一张3090；未来若批准训练，
优先用两张非3090卡分别跑M1/M2，按GPU UUID固定绑定并在启动前重新检测，不能依赖CUDA索引或旧脚本里的编号假定。
也可先逐卡单进程小规模profiling，再决定batch及梯度累积；尚未实测新模型显存，不预先承诺吞吐。

磁盘仅约9.3GiB可用。训练前必须做检查点、优化器状态、快照、日志、依赖/模型下载与临时空间预算；
不足时使用用户认可的新存储位置或暂停，绝不删除正式数据、旧交付、旧规范对象或人工历史腾空间。
本轮只新增可复算统计，不创建完整训练镜像或复制大包，不安装新依赖、不消耗GPU进行训练。

## 五、官方参考（2026-10-26查阅）

- [Ultralytics pose数据格式](https://docs.ultralytics.com/datasets/pose/)：固定`kpt_shape`、坐标及可见性、翻转映射。
  官网读取失败时核对[官方原文](https://raw.githubusercontent.com/ultralytics/ultralytics/main/docs/en/datasets/pose/index.md)。
- [Ultralytics实例分割](https://docs.ultralytics.com/tasks/segment/)与[官方原文](https://raw.githubusercontent.com/ultralytics/ultralytics/main/docs/en/tasks/segment.md)；
  [代码许可证AGPL-3.0](https://github.com/ultralytics/ultralytics/blob/main/LICENSE)，部署前确认适用授权。
- [RF-DETR训练文档](https://rfdetr.roboflow.com/learn/train/)及[官方develop说明](https://github.com/roboflow/rf-detr/blob/develop/README.md)：
  Seg模型与不同组件的授权应逐项核对；本地固定`rfdetr==1.11.0`，不能假设最新develop中的预览关键点API已经可用。
- [PyTorch torchvision 0.21 DeepLabV3](https://docs.pytorch.org/vision/0.21/models/generated/torchvision.models.segmentation.deeplabv3_resnet50.html)：
  与本地torchvision版本匹配的分割基线API；不是现成U-Net或DeepLabV3+，也没有证明小目标边界精度。
- [MMPose RTMPose官方配置/论文说明](https://github.com/open-mmlab/mmpose/tree/main/configs/body_2d_keypoint/rtmpose)：
  坐标分布式关键点路线，人体指标不能外推到托盘。
- [SAM2官方训练说明](https://github.com/facebookresearch/sam2/blob/main/training/README.md)：支持图像/视频微调，
  官方MOSE样例按80GB A100设计，不能照搬到本机；[项目代码许可证Apache-2.0](https://github.com/facebookresearch/sam2/blob/main/LICENSE)，具体权重仍需核对来源与条款。

以上为方案依据，不是对本数据的性能验证。下一步仍以语义审计、冻结训练协议和实际小规模对照为准。
