# 数据集纯黑图像来源分析

本次更新（2026-10-08）：118帧强度已重建并完成模型建议，148帧不可恢复黑图已退出后续训练/标注。**当前修正包为8,693帧**，并另交118帧专题复查包，见[本次交付说明](clean_intensity_review.md)。下文1,716帧训练、8,806帧预测与三轮稳定性属于保留的历史口径。


核查时间：2026-10-08，北京时间。分析覆盖固定协议的10,522张唯一帧、原始AnyLabeling导出，以及最新8,806帧修正包。定义“纯黑”为解码后全部像素值严格为0；不把暗图、空文件或零检测等同于纯黑。

后续已完成[其他模态及归档的强度恢复核验](black_image_intensity_recovery_check.md)：148张主黑图没有可确认同帧的非恒定强度替代源；118张原始黑色YAML可以从PCD重建，已逐帧验证并保存示例。

**最新修正包的113张纯黑主图全部来自强度恒定但深度可用的采集帧，黑图由主视图选择和显示归一化共同造成。它们不能依据黑图认定为没有托盘。**

## 全量统计

| 对象 | 全量10,522帧 | 最新剩余8,806帧 | 来源说明 |
|---|---:|---:|---|
| `images/*/*.png`主标注图纯黑 | 148 | **113** | 147张恒定强度，另1张原始PCD全部为0 |
| `auxiliary/*/*.depth.png`纯黑 | 8,341 | 6,902 | 深度物理单位或投影尚未确认，按冻结协议标为缺测 |
| 有效掩码图全部为0 | 1 | 0 | 对应那1张原始PCD全0帧，已经人工检查，不在剩余包 |

另全量解码规范帧绑定的6,359份原始栅格（4,548强度、1,263深度、548 RGB），全部可读取。原始纯零栅格只有118份强度YAML，均来自`2023_10_7`。统计不覆盖未纳入协议的重复版本、归档条目和零字节文件。

## 原因一：2024_10_24的147张强度恒为1

逐帧核验147份PCD，全部`intensity`最小值=最大值=1，包含307,200个像素，原生尺寸640×480。文件名为`point_cloud_xyz_*.pcd`，虽然头部有`intensity`字段，该字段没有反射强度的空间变化；原文件也没有配对的强度栅格。

恒定1疑似上游XYZ转换过程填写的占位值。现有文件能确定字段全部为1，但没有保存程序/转换日志，不能确定是哪个具体工具填充。

当前路径如下：

1. [加载器](../pallet/data/loader.py)把有限且非负、包含正值的PCD强度标为有效。恒定1通过该规则，强度有效掩码全1。
2. [导出器](../pallet/export_anylabeling.py)只检查强度有效掩码是否存在，存在就选强度作主标注图，只有强度缺失才回退到深度。
3. [显示函数](../pallet/review_batches.py)对有效像素做`log1p`与1%/99%分位缩放。所有值相同，则`low=high=log(2)`，分子全为0，缩放结果全0，PNG为纯黑。

因此这147张是**恒定强度显示退化**。PCD、缓存及原始PNG的SHA-256均一致，全部黑图可从已冻结缓存逐像素复现，不是PNG解码或ZIP损坏，也不是把16位深度误读成8位。

147张的原始深度PNG及已核验的同坐标PCD深度均包含有效值；原始深度最大值在3,788–4,951毫米之间。深度有效掩码不为空，已有`auxiliary/*.depth.png`可以展示场景。

![纯黑强度主图与同坐标深度](../outputs/black_image_audit_20261008_v1/black_vs_depth.png)

示例帧：`2024_10_24/24-10-2024_03-14-01#725mm_1600-2000mm`，主图名`dd968954df2c9ba22a7e651a.png`。原始PCD强度307,200个值全部为1，深度有201,309个有效像素，原始深度最大3,880毫米。RGB也存在，但为1280×960，未配准，不能直接移植RGB框坐标。

## 原因二：1张原始点云全部为0

帧ID：`2025_3_31/31-03-2025_18-25-18#3`。

主图：`images/train/3e145be546f8fb5d7b7c659d.png`。原始PCD为352×264，92,928个点的XYZ与强度全部为0；不是零字节文件，文件大小743,611字节。加载后的深度、强度及两个有效掩码全0，回退深度仍然纯黑。

该帧已由用户确认空框并导入为负例，目前位于258张人工验证帧中，因此没有进入最新剩余包。从信号质量看，它不能代表具有真实背景信息的有效无托盘场景。建议后续单列“全输入无效”质量状态，评估时报告有效信号过滤前后的结果；本次没有更改人工标签、划分或验证指标。

## 其他黑图来源

**2023_10_7的118份强度YAML保存失败。** 本次再次全量读取确认它们均全0，与原数据报告相符。当前加载器优先使用PCD原生强度，所以这118帧的主标注图并非纯黑；不能把这些原始YAML的保存失败归到当前113张黑色主图的原因中。

**8,341张深度辅助图是显式缺测。** 它们的冻结配置全部为`depth_available=false`，原因均为`No consistent sampled projection and paired metric-unit evidence`。加载器将深度及其有效掩码置0，导出器输出黑色深度辅助图。例如`2024_11_27`原始点云/深度并非全0，但单位和投影证据未通过当前协议，仍不作为已确认几何输入。黑色辅助图不表示全部传感器数据缺失；这些帧通常仍有可用强度主图。

## 对标签、训练和稳定性结论的影响

148张黑色主图中，35张已经人工交回，均以空框负例导入：

| 信号情况 | 人工训练 | 人工验证 | 剩余待检查 |
|---|---:|---:|---:|
| 强度恒1、深度可用 | **25** | **9** | **113** |
| 原始点云及所有输入全0 | 0 | 1 | 0 |

34张深度可用的人工负例应优先用同坐标深度重新检查。主图全黑没有提供判断托盘是否存在的视觉依据；是否确实漏标须由复查确定，不能仅凭本次分析直接推翻用户确认。

三轮人工集合306/1,330/1,716中分别有3/26/35张黑色主图，全部人工空框负例。最新剩余113张黑色主图在三个模型里全部零检测，是此前“三轮全空675帧”中的一部分。**这里的预测一致只能说明三个模型都没有给出建议，不能证明无目标。** 恒定强度帧的训练输入仍含有效深度，不能把“显示全黑”理解成模型收到全0；也不能未经对照试验把全部漏检归因于这些负例。

本次发现不改变原AP50:95计算记录，但说明标签质量和背景样本有效性还需要有针对性复核。修正包中的零检测标志仍为待审，并没有自动转为负例。

## 建议修正顺序及交付证据

1. 主图选择增加强度动态范围/显示退化检查；遇到本批次恒定1且深度已确认可用时，改用原生同坐标深度显示，保留原强度和显示来源记录。仅显示更换不需要缩放或平移已有框。
2. 将113张剩余黑色主图放入优先检查列表，同时重查34张已经人工导入的空框负例，避免继续依据黑图判断无托盘。
3. 为已证实的恒定1占位强度建立批次质量配置。强度掩码的修订应版本化，并重新拟合训练统计与训练，不能直接替换当前模型输入而沿用旧验证结果。
4. 全0帧单列无效信号状态；未确认深度继续按缺测处理，不能为消除黑图而臆造单位、坐标轴或配准。

本次仅写分析报告和审计清单，原始数据、缓存、标注、模型及修正ZIP均未改动。

- [剩余113张黑色主图清单](../outputs/black_image_audit_20261008_v1/remaining_113_black_primary_frames.csv)
- [34张人工负例优先复核清单](../outputs/black_image_audit_20261008_v1/manual_34_constant_intensity_negative_recheck.csv)
- [全部148张黑色主图清单](../outputs/black_image_audit_20261008_v1/black_primary_frames.csv)
- [逐帧源文件、缓存与显示证据](../outputs/black_image_audit_20261008_v1/black_frame_source_trace.json)
- [全量主图/深度/掩码扫描](../outputs/black_image_audit_20261008_v1/all_frame_raster_stats.jsonl)
- [6,359份规范原始栅格扫描](../outputs/black_image_audit_20261008_v1/canonical_raw_raster_stats.jsonl)
- [113帧三轮预测比较](../outputs/black_image_audit_20261008_v1/black_frame_round_comparison.json)

原始PCD、缓存、主图哈希全部验证；147张恒定强度帧和1张全0帧均逐帧读取原PCD，不仅抽样。辅助深度缺测统计来自全量图像及冻结传感器配置。可复跑源追溯：`PYTHONPATH=. .venv/bin/python scripts/trace_black_image_sources.py`（依赖本目录已有扫描记录）。
