# 强度图场景与托盘的原生VLM诊断（2026-11-05）

## 已完成结果

96张不同强度图、41细类、9大类的两个原生模型主实验均已完成，共648次主实验生成；另有44次长度敏感性复查和5次新进程冷启动复现，合计**697次实际生成**，未微调。

| 指标 | 原始0.8B | 原始4B |
|---|---:|---:|
| 问答字段格式有效 | 92/96 | 96/96 |
| 支腿／横梁与类别定义一致（弱参考） | 17/96、44/96 | 34/96、63/96 |
| 已知遮挡阳性检出 | 0/9 | 5/9 |
| 全黑对照仍回答有托盘 | 0/9 | 5/9 |

**判断：有部分轮廓、噪点与空间关系描述能力，4B优于0.8B的部分几何描述；但托盘主体身份、支腿计数、物理材质、遮挡／出视野及损伤证据约束仍不可靠，不能用于自动正式标注或认定正常。**

- 4B回答有托盘95/96，但对全黑图也会虚构4腿、2横梁、金属；新进程首次输入全黑图即复现，5次冷启动对照均与主实验逐字一致，不是上条请求残留。
- 4B在87/96张回答2腿；83/96条材质弃答体现一定克制，不能把弃答数与乱猜同等评价。
- 4B检出3/3条已知画质极差，但它将96/96实图均判质量差，不能据此宣称画质分类准确。真正出视野均0/1，另1条视角缺失不算出视野。
- 384-token补查全部44条截断审计输出，均与主实验前缀一致；4B能补出叉车和仓储／物流场景等有用信息，但导轨、脚数、污渍／损伤等核心错误仍在。主实验分数没有择优替换。
- 没有逐图正常负例，未计算异常精确率、特异度或F1；结构定义不是逐图可见结构GT。

完整结果：`outputs/pallet_vlm_native_intensity_v1/REPORT.md`；原图与两模型原文并排浏览：同目录`report.html`。`evaluation.json`和`per_class.csv`保留逐类／大类分解，`HANDOFF.json`记录独立重放核验通过。**46项定向CPU测试通过**，回执`regressions.xml`。

HTML已带覆盖全部报告文字的中文子集字体及许可；1400／390宽真实Chromium均确认96个样本、192张原图／裁剪加载、中文字体生效且无横向溢出，见`report_view_verified.json`。最初系统缺少中文字体的截图及修复前构建保留为尝试证据，未冒充最终可读展示。

线上实现与任务绑定未改、未重启服务，本评估标注POST为0。观察期间新图库从111条事件／106个已存目标增长至120条事件／113个目标；这些线上活动没有被本评估覆盖、撤销或静默吸收为本次冻结样本标签。

## 实验边界

本次只做公开原始权重的本地推理，不进行微调，不加载LoRA，不重训分类／关键点模型，不将图像上传第三方。与3414／3415线上描述服务、默认正常策略及其复核库分离。

- 0.8B：`Qwen/Qwen3.5-0.8B`，revision `2fc06364715b967f1860aea9cf38778875588b17`，复用已固定的公开原始模型目录，不读取任何已训练适配器。
- 4B：`Qwen/Qwen3.5-4B`，revision `851bf6e806efd8d0a36b00ddf55e13ccb7b8cd0a`。两分片同时与官方LFS SHA-256核对，不使用量化权重。
- 两个模型属同一家族，不代表所有VLM或更大模型的总体上限。

参数口径另见`models/parameter_accounting.json`：原始权重张量元素数分别为873,438,784与4,659,865,088，其中MTP命名分支分别20,452,864与120,599,552。当前Transformers原生推理不实例化MTP分支，因此运行时`model.parameters()`计数较小；不能把两种口径混写，也不是本任务删除模型分支或加载适配器。

## 抽样

从已冻结的5,615目标中确定性抽取41个训练细类各2张无逐图观察备注原图，再补入全部14条真实人工观察，共96张不同原图、9种结构大类、59个关联分量。Class37／47仍为隔离未决类，未悄悄作为正常类纳入。

- 每细类的两张优先来自不同关联分量；跨类多目标同图不重复抽入。
- 该项目“托盘”包含模拟件和料架式金属载具，不能把模型对这些形态的项目内语义不适应，直接扩大为对所有现实普通木托盘都无法识别。
- 先为稀缺类保留原图，再抽常见类，避免仅有2张的类别被其他同图目标耗尽。
- 14条异常备注包括遮挡9条、点云质量极差3条、真正超出视野1条、视角导致部件不可见1条。后两者不得合并成2条“出视野”阳性。
- 观察备注来源高度集中，96张不同原图不等于96个独立场景。每类2张只保证覆盖，不足以建立可靠的逐细类准确率。
- 类别定义覆盖模拟托盘、塑料／木质／金属、2／3／4腿、上下横梁、圆柱腿、加强筋、底座、侧面、上横梁不平、底部垫高等多种描述；不向模型输入这些定义。
- 首次抽样尝试被全局同图去重保护拒绝，未启动推理；保留在`sample_attempt001/`，修正为稀缺优先后独立冻结最终样本，未根据输出挑图。

## 三条独立输入路线

1. **整图自由描述**：不给“托盘”名称和“强度图”提示，让模型自行描述主要物体、位置与空间关系。
2. **目标裁剪自由描述**：同样不告知物体名，只描述中心目标的外形、组成与可见状态。裁剪依赖已存在的原框上下文，是已知位置的理解测试，不是自动目标检测能力测试。
3. **结构问答**：明确告知传感器强度图，询问托盘存在、可见支腿／主横梁、材质、遮挡、出视野及质量。此路线不能冒充不提示目标的盲识别率。

每图三条路线均为新对话，不把上一条描述带给下一条；只输入原灰度值复制到RGB的图像和固定提示，不输入类别ID、K、人工轮廓、观察原文或图像文件名。未做伪彩、对比度增强或去噪。处理器固定`min_pixels=128²`、`max_pixels=1024²`，保持纵横比。

每模型288个真实输入＋36个对照输入：每大类选1张裁剪，生成全黑与像素打乱版本，分别做自由描述和问答。对照用于检查提示偏置／图像依赖，不代替真实无托盘场景的负样本测试。

生成使用BF16、SDPA、贪心解码、`enable_thinking=False`。自由描述上限160个新token，问答192个新token；命中上限会明确记录，不能把被截断的末段当成模型主动弃答。它是固定预算诊断，不是无限生成条件的能力上限。

另做长度敏感性补查：固定23张视觉审计子集中的所有截断自由描述均用相同图像、相同提示及贪心配置重跑至384新token，不能按语义好坏筛选。主实验数字不被续查的更好结果替换，续查及前缀一致性单独保存在`length_check/`。

## 评价规则

- **不以JSON通过率代替语义理解**：保留每条模型原文；格式失败与合法回答中的错误、弃答分开统计。
- **结构／材质仅有类别定义弱参考**：与定义一致不等于每张图可见正确；遮挡或侧面图本来就可能无法数出整物体支腿。同时报告全分母一致数、有回答时一致率、弃答数和失败数，以及多数值基线。
- **没有备注不是正常负样本**：线上“空描述默认正常”不用于本次能力评价。不凭空计算异常准确率、特异度、精确率或F1；只列已知阳性检出分解。
- “视角导致不可见”不计为“超出视野”阳性；遮挡不计为损坏。
- 定性审计子集在读输出前固定：9个大类各首张＋全部14条观察，共23张。助手逐图对照视觉证据审计整图／裁剪描述，0＝主体错误或无依据，1＝部分贴图但有主要错误，2＝核心描述贴图且无主要无依据断言。不是新增独立人工GT，不称人类复核准确率。
- 物理材质、真实颜色、夜间／红外成像、污渍、磨损、损坏等不能仅凭强度亮暗确定。若模型把叉臂当铁轨、托盘当车／家具或噪点当损坏，要明确记录。

## 产物与复现

独立目录：`outputs/pallet_vlm_native_intensity_v1/`。

- `sample/manifest.json`、`references.jsonl`、`tasks.jsonl`、`prompts.json`：抽样、弱参考、所有固定输入与哈希。
- `sample/images/`、`sample/crops/`、`sample/contact_sheets/`：整图、原像素裁剪与仅供审计的联系图；联系图标签不进入模型。
- `models/official_weight_hashes.json`：4B官方分片与本地核对证据。
- `runs/{qwen08b,qwen4b}/execution.json`：真实参数量、GPU物理UUID、零可训练参数、模型来源、处理器及依赖版本。
- `runs/*/predictions/`：逐请求独占写入，保存原文、长度上限、耗时、图像token网格与解析结果；`complete.json`才表示该模型全部完成。
- 最终结果以`evaluation.json`、`REPORT.md`、`report.html`、`per_class.csv`及交付回执为准；没有完成回执不能声称实验已完成。

入口脚本：

```text
scripts/prepare_pallet_vlm_native_model.py
scripts/sample_pallet_vlm_native_intensity.py
scripts/infer_pallet_vlm_native_intensity.py qwen08b
scripts/infer_pallet_vlm_native_intensity.py qwen4b
scripts/check_pallet_vlm_native_length.py qwen08b
scripts/check_pallet_vlm_native_length.py qwen4b
scripts/report_pallet_vlm_native_intensity.py
scripts/verify_pallet_vlm_native_intensity.py
```

GPU按既有授权绑定物理UUID，0.8B用m1，4B用m2，不使用3090。独立VLM环境为`/tmp/opencode/pallet_description_vlm_env`。无自动提交、推送、线上进程重启、标注保存、训练标签覆盖或GT／机器人资格晋升。
