# 托盘部分位姿模型调研与训练方案（2026-10-17）

## 结论与适用范围

现有数据适合先建立 **原生强度图检测 → 有组织点云ROI → 几何先验＋小型残差回归**，而不是把不完整标签补成完整6D，或把二维框当作关键点。已实际训练YOLOv8s检测器、PointNet风格平面位姿网络、PointNet风格参考点/法向量网络，并拟合岭回归对照。

这些是研究初模：输出保持来源标注的参考系/参考点口径，没有统一机器人外参；不能直接向叉车发送控制指令。原检测数据集、原位姿交付和人工审核库均不改写。

## 资料与选型

| 方法／资料 | 能解决的问题 | 与当前数据的关系／本轮决定 |
|---|---|---|
| [PointNet，CVPR 2017](https://arxiv.org/abs/1612.00593) | 共享点MLP及对称池化，直接处理无序点集 | 采用其置换不变思想，构建轻量ROI残差网络；**不是完整PointNet/T-Net原实现复现** |
| [PointNet++，NeurIPS 2017](https://arxiv.org/abs/1706.02413) | 层次局部邻域与非均匀采样 | 可作为扩充标注后的对照；当前仅65条平面训练GT，优先低容量模型与几何基线 |
| [DenseFusion，CVPR 2019](https://arxiv.org/abs/1901.04780) | 已知物体的RGB-D密集融合与完整6D姿态 | 缺少当前数据对应的CAD、完整姿态和统一校准；本轮不硬套其ADD/ADD-S或虚构刚体变换 |
| [FoundationPose，CVPR 2024](https://arxiv.org/abs/2312.08344)；[官方实现](https://github.com/NVlabs/FoundationPose) | 新物体的模型式／少参考视图6D估计与跟踪 | 模型式需要CAD，模型无关分支仍需要参考视图重建及成像几何；不是仅给x/y/theta即可使用。未下载其权重或编译其渲染扩展 |
| [Point Transformer V3，CVPR 2024](https://arxiv.org/abs/2312.10035) | 大规模高效点云表示学习 | 有价值的后续骨干，但不能由其通用点云指标推断本数据的位姿精度；本轮不从零训练大模型 |
| [Shao等，Sensors 2023，23(3):1217](https://pmc.ncbi.nlm.nih.gov/articles/PMC9919204/) | 预处理、AGWF特征、粗注册与ICP的托盘相对位姿 | 支持设置几何对照；原方法需要标准参考点云。当前不具备可靠统一模板，只实现RANSAC/SVD正面平面代理，**不冒称复现AGWF/ICP论文** |
| [Mueller等，2025：Pallet Detection And Localisation From Synthetic Data](https://arxiv.org/html/2503.22965v1) | 检测、角点、PnP；讨论2D检测＋点云网络的两阶段路线 | 其PnP依赖角点、已知托盘面尺寸及相机内参；当前没有这些GT，故不伪造角点。采用已有2D框与注册点云ROI作为当前可执行方案 |
| [Ultralytics官方Pose说明](https://docs.ultralytics.com/tasks/pose/) | 图像二维关键点估计 | `*-pose.pt`不是直接预测物理x/y/theta的模型；本轮使用普通**detect**模型＋独立点云回归，不将托盘腿数当关键点 |

以上链接在本轮实际查阅；MDPI原页面返回403时改读正确的PMC原文。未把论文摘要中的其它数据集精度当成本项目结果，也不声称穷尽2026年全部方法。

## 监督与划分

- 平面位姿：原train **65帧／9个采集组**，原val **2帧／2组**，原test **49帧／3组**。测试中43帧来自同一采集组，不能把49帧当49个独立场景。
- 参考点XYZ＋法向量：**38帧，全部在同一个原train采集组**，没有val/test。只进行固定预算训练和训练集拟合检查；不随机拆帧冒充独立验证。
- 未划分76帧和隔离98条均不训练。没有将原val/test移入训练。
- 检测器使用完整正式集原train **6,552帧**，原val **1,455帧**；复制图像和标签到独立训练视图，防止框架写缓存到冻结数据集。原test不进入检测训练视图。
- 检测器从本地官方COCO `yolov8s.pt` 重新初始化，不复用历史托盘辅助模型；后者部分已接触原val/test。此次选择YOLOv8s是为已有可核验初始化、轻量两阶段先导，不是宣称其优于更新版本。

## 本轮实现

1. 原图检测输出原生坐标框，借 `pixel_to_source_index` 提取原XYZI；图像已有方向校正时仅重排像素映射，不旋转XYZ坐标或改变GT角度。
2. 去掉ROI内缺测点，按输入自身1%–99%坐标范围稳健过滤。用最多4096点、128个随机三点假设拟合平面，再SVD细化；设x朝向的正面先验和0.015阈值，参数在测试前固定。
3. 神经网络输入1024点，含局部XYZ、归一化强度、强度有效性和ROI内UV共7通道；另有16维输入几何摘要。共享MLP为32/64/128通道，max＋mean池化后接128/64维回归头。
4. 几何平面中心是**表面点代理**，不当作真实几何中心或原GT参考点；网络仅在其上学习残差。平面头输出x/y及单位cos/sin，法向量头输出XYZ和单位法向量；各头没有的监督维度始终不可用，不补0、不构造四元数。
5. 平面训练：原train内3折**按采集组**交叉验证，比较几何、岭回归与PointNet；训练均值为诊断对照。特征均值/方差和岭回归参数只拟合相应训练折。按每组等权的“位置误差/50mm＋角度误差/5°”选模型，而非让40帧大组压过其它组。
6. 每个神经网络训练折最多200轮，每5轮及第1轮检查内部验证；三折选中轮数为 **1、1、175**，取中位数 **1轮** 在全部65帧重拟合。不是只做一次假训练：三折均完成200轮，但大量后期轮次明显过拟合，未按测试效果延长训练。
7. 法向量网络在38帧上固定200轮。优化器AdamW，初始LR=.001、余弦衰减、batch16；只做ROI轻微扰动和归一化XYZ噪声，不做未同步改GT的旋转/翻转。完整权重、优化状态、RNG和逐轮历史保留。
8. 原val的2帧仅作诊断，不用于本轮位姿选模。冻结模型、权重哈希、匹配IoU=.5、置信度=.25和50mm/5°成功阈值后，再执行原test一次评估。测试集结果不能反过来更换主模型或调阈值。

## 单位与坐标系的限制

原点云单位登记不完整。训练的103帧中78帧有已登记的比例、25帧没有；测试49帧中43帧有登记、6帧没有。本轮明确使用 `assume_native_numeric_metres_research_only` 研究假设处理未登记的原数值，**没有把这项假设改写为已校准真值**；报告分层结果。新输入推理默认拒绝无单位声明的位姿计算，只有显式 `--allow-unverified-units` 才允许研究假设。

即便比例已登记，跨表参考点和统一机器人坐标系仍未核验。本轮的毫米误差是对来源GT口径计算，不是机器人末端或货叉对准误差，更不是全6D姿态精度。

## 关键结论

训练集内分组CV中，PointNet的每组等权综合分数2.6629，几何基线2.6730，差距很小；逐帧位置均值反而是几何49.95mm、PointNet51.41mm。**没有证据证明深度网络显著胜过几何方法**，最终网络主要保留了几何先验，只学到很小残差。岭回归跨组外推明显退化。

这与当前数据规模、采集组不均衡、部分来源参考点/校准未统一相符。应先增加跨日期、跨设备、跨托盘的位姿GT及真正独立的法向量验证/测试，再开展更大网络或模板注册比较，而不是用更多轮数、近邻传播或测试集调参掩盖不足。

实际权重、测试结果、推理命令见 [模型交付与结果](pallet_pose_training_v1.md)。
