# 第三轮：分类/轮廓重训、轻量VLM描述与双入口联合复核

> **2026-11-05流程更新：** 两个原入口已改为“默认正常、异常补充、无需逐张确认”。模型未知观察默认留空，空异常描述按正常处理，确认复选框和观察状态选择已移除，已有有效内容及14条人工备注保留。详见[当前简化流程](pallet_description_simplified_v1.md)。下文关于逐张确认的内容记录首次发布版本，不再是当前界面要求；历史训练及评估证据仍保持原样。

## 已发布入口

- **新图1,021张，3414**：https://mainland-interfaces-senators-expiration.trycloudflare.com/
- **已有5,615个目标，3415**：https://appropriate-contributions-systematic-alexandria.trycloudflare.com/
- 均沿用原访问码，可追加修订类别、关键点和描述；两批数据、cookie、草稿和历史相互隔离。临时Cloudflare网址不保证永久有效；监督进程可重启子进程，但未配置开机启动。
- 发布回执：`outputs/pallet_description_round3_training_v1/HANDOFF.json`。两个入口的公网资源字节、认证后真实任务详情通过只读核验；localhost实际Chromium A-only检查通过，生产标注POST为0。**未测试公网GUI或真实MacOS/iPhone Safari**。
- 两个批次分别完成独立来源/严格K核验及桌面/390宽真实模型输出联合操作验收，另有窄屏滚动布局视口截图。330项CPU回归通过。
- VLM只作为待核对的结构描述草稿：新图完整JSON为0/1,021、结构恢复1,020、观察拒绝1,021；已有目标完整JSON为6/5,615、结构恢复5,609、观察拒绝5,609。即使完整JSON可解析也不等于观察准确，全部仍待人工确认。
- 旧3413仍健康（1,588目标）；3406–3412在本轮发布前已经停止，本轮未擅自恢复或停止。旧模型、任务、正式标签和人工历史未覆盖。

## 人工数据冻结

- 用户确认本轮48张未保存和22张草稿已完成，允许两个新入口同时修订类别、关键点和描述，并以当前GPU服务器为VLM部署目标。
- 执行冻结时，服务器已实际保存全部**1,588张为`correct`**（1,742条历史事件），因此本轮使用最新保存的人工作品，不补写或伪造批量完成事件。
- 合并原4,027个目标后，共**5,615目标、5,576张不同原图**。保留41个训练细类及9个“支腿数＋主横梁数＋材质”大类；异常Class37/47不混入常规训练或100张配额。
- 少于20张不同原图的细类：27、35、56、69、115、128、130、147、149。同大类共享编码器、轮廓、大类和属性训练，细类CE权重0.35，原细类ID、K和历史不改写。
- 全部旧批次图像及人工/删除/暂缓/隔离历史受保护。剩余候选为**4,964目标、最多4,167张不同原图**；不足每细类100张时如实报告，不靠重复图、模板或凑点填充。
- 新文件使用独立`pallet_description_round3_*`目录，避免进入旧服务冻结的来源发现前缀；不覆盖旧模型、任务、UI或人工历史。

## 分类/轮廓训练

从通用ImageNet ResNet18重新起训，不用曝光过的旧托盘权重：

- 关联分量训练侧4,323目标，留出1,292目标；同图/同分量不跨侧。
- 独立分支24轮、9,744次更新；全量分支20轮、10,540次更新，共20,284次优化更新。
- 本轮组件留出：细类Top1 **89.09%**、大类 **98.99%**、轮廓IoU中位 **0.8690**。不是新建立的盲测/前瞻测试集。
- 原947目标同标签留出子队列：**85.11%→88.28%**，改正55个旧错误，同时新增25个错误。仍不宣称所有细类全面改善；Class12本轮为40/118（33.90%），依旧需要重点核对，Class56/128在独立训练侧无样本。
- 全量标注辅助权重：`run_v1_bfloat16/full_pool/final_ema.pt`，SHA-256 `a30455bbdf9b396cd7459e374256fbd09b2fe9db34388e60aeee52fb19376c18`。
- 新图仍需同时通过细类置信度/属性/原型一致、该细类真实K、有效多边形、真实转角、模型mask贴合和原目标定位。不放宽阈值来满足配额。
- 4,964目标现已全部推断：4,714项通过细分类门槛，250项未决；1,897项初始严格K几何通过，定位审计拒绝2项。按图像全批去重和每类100上限，最终**1,021张新图**，总缺口**3,079张**：6类满100、20类不足100、15类0张。满100的类为1、2、3、6、7、9。完整逐类数见`release_quota_report.json`。

### 逐细类新图配额

| 细类 | 新图 | 缺口 |
|---|---:|---:|
| 1 | 100 | 0 |
| 2 | 100 | 0 |
| 3 | 100 | 0 |
| 4 | 38 | 62 |
| 6 | 100 | 0 |
| 7 | 100 | 0 |
| 8 | 6 | 94 |
| 9 | 100 | 0 |
| 10 | 76 | 24 |
| 11 | 0 | 100 |
| 12 | 16 | 84 |
| 13 | 61 | 39 |
| 14 | 0 | 100 |
| 15 | 93 | 7 |
| 16 | 14 | 86 |
| 17 | 0 | 100 |
| 18 | 1 | 99 |
| 19 | 0 | 100 |
| 20 | 0 | 100 |
| 22 | 2 | 98 |
| 25 | 9 | 91 |
| 27 | 0 | 100 |
| 30 | 0 | 100 |
| 34 | 5 | 95 |
| 35 | 0 | 100 |
| 41 | 38 | 62 |
| 56 | 0 | 100 |
| 62 | 8 | 92 |
| 64 | 7 | 93 |
| 68 | 16 | 84 |
| 69 | 0 | 100 |
| 113 | 0 | 100 |
| 115 | 0 | 100 |
| 116 | 0 | 100 |
| 128 | 1 | 99 |
| 130 | 0 | 100 |
| 138 | 7 | 93 |
| 142 | 7 | 93 |
| 147 | 0 | 100 |
| 148 | 8 | 92 |
| 149 | 8 | 92 |
| **合计** | **1,021** | **3,079** |

## 描述监督的边界

- 数据集覆盖全部5,615个目标，结构文字来自已经确认的细类定义，**不能证明每张图的可见部件或异常状态**。
- 冻结快照中实际有**14张**带人工观察备注；13张在训练分量，1张在留出分量。旧历史中同图多次备注不算新增独立样本。
- 观察备注保持人工原文，遮挡、出视野/视角、点云质量单独索引；不把“支腿看不到”解释为结构损坏。旧异常库中的历史改类建议不自动覆盖当前细类。
- 没有备注的观察字段是缺失标注，**不是“无异常”负样本**；缺失的观察值不参与该样本的token损失，字段名、结构结束符和EOS仍保留格式监督。实际token对齐与值掩码另外验证，见`vlm_repair_label_mask_alignment.json`。
- LoRA首轮使用确定性的细类/分量平衡子集：训练侧1,010目标、留出201目标，共1,211目标，保留全部14条已知观察。不是宣称全部5,615张都做了VLM训练；全部已完成图像会在训练后离线回填模型描述供复核。
- 人工类别/轮廓的完成状态与新增描述状态分开；所有推断描述初始为机器草稿，不能继承“人工描述已完成”。

## 轻量模型调研与原始基准

| 模型 | 官方权重总参数 | 本地固定revision | 作用 |
|---|---:|---|---|
| [Qwen3.5-0.8B](https://huggingface.co/Qwen/Qwen3.5-0.8B) | 873,438,784 | `2fc06364715b967f1860aea9cf38778875588b17` | 中文视觉语言微调首选 |
| [SmolVLM2-500M](https://huggingface.co/HuggingFaceTB/SmolVLM2-500M-Video-Instruct) | 507,482,304 | `7b375e1b73b11138ff12fe22c8f2822d8fe03467` | 更小、官方主要英语的对照 |

两者均Apache-2.0；Qwen的“0.8B”为模型名，包含视觉编码器实际约0.873B，仍小于1B。SmolVLM2-256M（约0.256B）作为更低资源候选调研，未把未运行的模型写作实测。OCR专用小模型不当作通用托盘描述模型。

固定30目标、相同中文结构JSON提示的原始模型基准：两者均**0/30通过全部字段校验**。这是本任务灰度图与当前提示的失败，不是模型通用能力排名；未调提示后冒充原始基线。

| 原始基准 | Qwen | Smol |
|---|---:|---:|
| 单目标平均生成耗时 | 1,907ms | 2,545ms |
| PyTorch峰值已分配显存 | 1.68GiB | 1.00GiB |

显存是本测试配置的PyTorch计数，不是端到端进程显存或微调显存。基准原文全部保留；模型会拷贝提示占位值或输出不合格式文本，不能直接当标签。

Qwen微调采用BF16、文本线性层LoRA rank8、冻结视觉编码器、固定图像token预算、输入原框上下文图像与统一提示，不输入真类别、K、人工轮廓或人工备注作为特征。模型及依赖在独立环境；仅下载公开权重，没有向第三方上传托盘数据。Qwen缺少可选优化内核时使用PyTorch正确但较慢的实现，耗时不伪装为优化部署速度。

首轮2轮LoRA在201个组件留出目标上仅63项通过JSON字段校验（31.34%），且存在结构文本重复；其权重、原始预测和统计保留在`vlm_run_v1/`，未直接用于发布。定位到首轮缺失值掩码连同结构结尾的格式监督一起跳过，独立建立`vlm_run_v2_format_repair/`再训练1轮修复。修复仅屏蔽缺失`null`值，保留结构结束符和EOS；观察字段仍不凭空补负标签。独立分支只从原独立分支继续，不能从全量适配器热启再冒充独立。增加2项修复掩码单测，连同联合保存等21项测试通过，原失败证据不覆盖。

修复训练已实际完成，但完整JSON仍为**0/201**，主要错误是观察值缺引号，故不能称为修复成功或异常描述可用。仅四个合法结构字段在201项中均可从实际输出前缀直接读取；`pallet/pallet_description_output.py`显式恢复这些字段，继续保持`valid=False`，并将观察值拒绝为`None`。不使用类别模板、人工轮廓或人工备注补出模型事实，原始输出完整保留。按全部201目标为分母，支腿183/201（91.04%）、横梁188/201（93.53%）、材质174/201（86.57%）；这是类别定义弱监督的组件留出结构指标，不是完整描述准确率或异常泛化成绩。审计见`vlm_run_v2_format_repair/structure_recovery_audit.json`。

用于离线回填的修复后全量适配器SHA-256为`026c54311cd6c61adfd9d220737c3a0f683493e94bdf1507f0b304541c38bb9f`。推断回执分开记录严格JSON有效、结构恢复和观察拒绝数，分片绑定解析器SHA。页面显著披露本图是否仅恢复结构，观察失败时初始填写“无法判断：模型观察格式失败，需人工填写”，不能当作已经观察到正常。

## 联合复核界面设计

- 新图入口3414；已有人工数据入口3415，分别使用独立namespace、cookie、本机草稿前缀和追加历史库。两个localhost端口不会互相顶掉登录。
- 原图、类别样例、人工原备注、模型原始描述只读对照；可同时修改细类、关键点、中文描述、结构字段和观察说明。
- 观察状态可选择“已描述可见情况”或“无法判断”。没有观察标注不自动当作正常。
- 完成三项复核前须明确核对描述；改类/改点/恢复历史后描述确认失效，右键平移只改视图不使确认失效。结构描述与类别定义冲突时提示，不悄悄改类或改描述。
- D成功原子保存类别＋轮廓＋描述并完成后才下一条；A不提交，Ctrl/⌘+S仅草稿，Ctrl/⌘+Enter完成不切图，保存失败/409停留并保留旧基线。
- 原数据的已完成几何在描述待复核时保持完成来源；如果改成新的几何草稿，不把新草稿伪装成已完成。来源旧版本、K不符、描述缺项均不能部分写入。
- 历史恢复追加修订，不覆盖旧事件；重新载入模型描述是显式操作，不自动覆盖人工描述。完整JSON导出含描述与类别/轮廓来源。

## 代码与验收

- 数据：`pallet/pallet_description_data.py`；分类/轮廓适配：`pallet/pallet_description_mask.py`。
- 描述数据：`pallet/pallet_description_supervision.py`；VLM：`pallet/pallet_description_vlm.py`；批推断：`scripts/infer_pallet_descriptions.py`。
- 联合复核：`pallet/pallet_description_review.py`、`pallet/pallet_description_ui.py`；打包：`pallet/pallet_description_build.py`。
- 独立重放核验：`scripts/verify_pallet_description.py`；浏览器验收：`scripts/check_pallet_description_ui.py`；生产只读验证：`scripts/check_pallet_description_public.py`。
- 320项CPU回归通过，回执`regressions_320.xml`；原319项回执保留。桌面/390宽合成描述临时库先验证三项原子保存、描述确认、A/D、右键平移、K重检、409、来源变化、失败下一图去重、历史和导出；最终两个真实模型输出任务均重新验收通过，不用合成fixture代替最终验收。
- 最新加入显式结构恢复后，**330项CPU回归通过**，回执`regressions_330.xml`；原319/320和29项定向测试回执均保留。
- 新图1,021张离线描述已实际完成：严格JSON有效0、结构恢复1,020、观察拒绝1,021；1项横梁输出0不在合法枚举内，结构也拒绝恢复，未用类别模板补全。真实输出在桌面/390宽通过联合保存安全验收；另以只读临时库逐段滚动截图证明窄屏描述和观察控件可达，见`*_managed_v1/layout_evidence/`。旧整块元素截图在窄屏越出视口时截到了背景，不能作为可读性证据；新截图为视口实图。
- 已有5,615个目标同样实际完成描述回填与独立核验；6项完整JSON可解析、5,609项仅恢复结构并拒绝观察。已有类别/关键点保持原完成人工作品，新描述不自动继承完成状态。第二批布局检查首次并行启动时父目录尚未创建，在打开浏览器或写标注前失败；增加`parents=True`后通过，失败回执保留为`layout_existing_attempt001_failure.json`。
- 首次合成界面检查误用`inner_text`读取折叠的证据区域，造成测试失败；改为读取真实`text_content`后通过，失败截图保留。新描述中文会在实际打包时重新构建字体，合成测试复用旧字体的缺字不当作正式交付。
- 最终发布状态、两入口URL、逐类新图数/缺口与VLM实测，以训练目录`HANDOFF.json`为准。没有该回执就不声称已经完成发布。

所有模拟标注仅写临时库；生产验证不按D/下一条/保存，并用路由阻断标注POST兜底。没有改写原正式标签、人工历史或旧模型，没有晋升GT/机器人资格，没有自动提交、推送或删除旧产物。
