§
    »žÇj½  ã                   ó¾   — d Z ddlmZ ddlmZ ddlmZ ddlZddlZddlm	Z	 ddl
mZ ddlZddlmZ dd	lmZ dd
lmZ d„ Zd„ Zd„ Zd„ Zedk    r e¦   «          dS dS )zíTrace a completed raster scan to canonical PCD, sealed tensors and packages.

Produces audit artifacts only; does not alter images, labels, masks or protocols.
Run with PYTHONPATH=. .venv/bin/python scripts/trace_black_image_sources.py.
é    )ÚCounter)ÚThreadPoolExecutor)ÚdatetimeN)ÚPath)ÚZoneInfo)ÚImage)Úread_pcd)Údisplayc                 ó  ‡— t          j        ¦   «         }t          | ¦  «                             d¦  «        5 Št	          ˆfd„d¦  «        D ]}|                     |¦  «         Œ	 d d d ¦  «         n# 1 swxY w Y   |                     ¦   «         S )NÚrbc                  ó.   •— ‰                       d¦  «        S )Ni  @ )Úread)Ústreams   €ú$scripts/trace_black_image_sources.pyú<lambda>zsha.<locals>.<lambda>   s   ø€  &§+¢+¨kÑ":Ô":€ ó    r   )ÚhashlibÚsha256r   ÚopenÚiterÚupdateÚ	hexdigest)ÚpathÚhÚchunkr   s      @r   Úshar      sÃ   ø€ ÝŒÑÔ€AÝ	ˆd‰Œ�Š˜Ñ	Ô	ð  &ÝÐ:Ð:Ð:Ð:¸CÑ@Ô@ð 	ð 	ˆEØ�HŠH�U‰OŒOˆOˆOð	ðð ð ñ ô ð ð ð ð ð ð øøøð ð ð ð ð �;Š;‰=Œ=Ðs   ·,A0Á0A4Á7A4c                 óh   — t          j        t          | ¦  «                             ¦   «         ¦  «        S )N)ÚjsonÚloadsr   Ú	read_text)r   s    r   r   r      s$   € ÝŒ:•d˜4‘j”j×*Ò*Ñ,Ô,Ñ-Ô-Ð-r   c                 ó|   — t          | ¦  «                             t          j        |ddd¬¦  «        dz   ¦  «         d S )NFé   )Úensure_asciiÚindentÚ	allow_nanú
)r   Ú
write_textr   Údumps)r   Úvalues     r   Úwriter*   "   s<   € Ýˆ�J„J×Ò�$œ* U¸ÀqÐTYÐZÑZÔZÐ]aÑaÑbÔbÐbÐbÐbr   c                  ó´  ‡	‡
‡‡‡‡‡‡— t          t          ¦  «                             ¦   «         j        j        } | dz  }| dz  Š| dz  Šd„ t	          t
          j        | dz                       ¦   «                              ¦   «         ¦  «        D ¦   «         Šd„ t	          t
          j        ‰dz                       ¦   «                              ¦   «         ¦  «        D ¦   «         Št          | dz  ¦  «        Š
t          |d	z  ¦  «        }t          ‰d
z  ¦  «        }t          |d         ¦  «        t          |d         ¦  «        cŠŠd„ t	          t
          j        ‰dz                       ¦   «                              ¦   «         ¦  «        D ¦   «         Š	t          ‰¦  «        t          ‰¦  «        cxk    r|d         d         k    sn J ‚ˆ	ˆ
ˆˆˆˆˆˆfd„}t          d¬¦  «        5 }t          |                     ||d         ¦  «        ¦  «        }d d d ¦  «         n# 1 swxY w Y   t          |dz  |¦  «         t          j        t#          d¦  «        ¦  «                             ¦   «         t          |¦  «        t'          t)          d„ |D ¦   «         ¦  «        ¦  «        t+          d„ |D ¦   «         ¦  «        t+          d„ |D ¦   «         ¦  «        t+          d„ |D ¦   «         ¦  «        t+          d„ |D ¦   «         ¦  «        t+          d„ |D ¦   «         ¦  «        ddddœ}t          |d z  |¦  «         t-          ‰dz  ¦  «        t-          | dz  ¦  «        t-          | dz  ¦  «        t-          ‰d
z  ¦  «        t-          |d	z  ¦  «        t-          t          t          ¦  «        ¦  «        d!œ}t          |d"z  |¦  «         t/          t          j        |dd¬#¦  «        d¬$¦  «         d S )%Nz%outputs/black_image_audit_20261008_v1z&outputs/anylabeling/pallet_v5_20260930z'outputs/human_correction_manual_1716_v2c                 ó    — i | ]}|d          |“ŒS ©Úframe_id© ©Ú.0Úrs     r   ú
<dictcomp>zmain.<locals>.<dictcomp>+   s0   € ð [ð [ð [ Aˆq�Œ}˜að [ð [ð [r   z"outputs/protocol_v5/manifest.jsonlc                 ó    — i | ]}|d          |“ŒS r-   r/   r0   s     r   r3   zmain.<locals>.<dictcomp>-   s   € ÐkÐkÐk !ˆQˆzŒ]˜AÐkÐkÐkr   zframes.jsonlz"outputs/cache_v5/sealed_index.jsonzraster_scan.jsonzmanual_partition.jsonÚtrain_frame_idsÚvalidation_frame_idsc                 ó    — i | ]}|d          |“ŒS r-   r/   r0   s     r   r3   zmain.<locals>.<dictcomp>2   s0   € ð Tð Tð T¨�1�Z”= !ð Tð Tð Tr   zinputs/annotations.jsonlÚsummaryÚunique_framesc                 ó  •— | d         }‰|         ‰|         ‰|         }}}t          |d         d         ¦  «        }t          |¦  «        |d         cxk    r|d         k    sn J ‚t          |d         ¦  «        |d         k    sJ ‚t          j        |d         d¬	¦  «        5 }|d
         t	          j        t          |d         ¦  «        ¦  «        }}d d d ¦  «         n# 1 swxY w Y   |d         |d         k    sJ ‚t          |¦  «        \  }	}
|
d d …df         }|t          j        |¦  «                 }|d         dk    }|d         |         }| 	                    ¦   «         rt          |d         |d         d¬¦  «        nt          |d         |d         d¬¦  «        }t          j	        |¦  «        r
J d¦   «         ‚t          j        ‰|d         z  ¦  «        5 }t          j        t          j        |¦  «        |¦  «        sJ ‚	 d d d ¦  «         n# 1 swxY w Y   t          ‰|d         z  ¦  «        }||d         |d                  k    sJ ‚t          t          j	        |dd d…f         ¦  «        ¦  «        }| 	                    ¦   «         r(t!          t          j        |¦  «        ¦  «        dk    rd}n%|s!t          j	        |ddd …f         ¦  «        sd}nd}i d|“d|d         “d|d         “d |d!         “d"|“d#|‰v rd$n|‰v rd%nd “d&|‰v r‰|         d'         nd “d(|‰v rt!          ‰|         d)         ¦  «        nd “d*| d*         “d|d         “d+|d,         “d-|d.         “d/|d         “d0|d         “d1|“d2|d         “d3|“|d4         t!          |¦  «        r!t%          |                     ¦   «         ¦  «        nd t!          |¦  «        r!t%          |                     ¦   «         ¦  «        nd t+          t!          t          j        |¦  «        ¦  «        ¦  «        t+          t          j        t          j	        t          j        |
d d …d d…f         ¦  «        dk    d¬5¦  «        ¦  «        ¦  «        t+          t          j        |
d d …d d…f         ¦  «                             d¬5¦  «                             ¦   «         ¦  «        t+          t!          |
¦  «        ¦  «        t+          t          j        |d         ¦  «        ¦  «        t+          t          j        |d         ¦  «        ¦  «        t!          |¦  «        r;t          j        t          j        |¦  «        dd6g¦  «                             ¦   «         nd d7œ
¥}d,|d         v rÜt          j        |d         d,         ¦  «        5 }t          j        |¦  «        }d d d ¦  «         n# 1 swxY w Y   t          |j        ¦  «        t=          |j        ¦  «        t+          |                     ¦   «         ¦  «        t+          |                     ¦   «         ¦  «        t+          t          j        |dk    ¦  «        ¦  «        d8œ|d9<   | d*         ršt          ‰d:z  |d         z  ¦  «        |k    sJ ‚tA          ‰d;z  tC          j"        | #                    ¦   «         ¦  «         $                    ¦   «         d d<…         d=z   z  ¦  «        }t!          |d>         ¦  «        |d?<   |d'         |d@<   |S )ANr.   ÚpathsÚpcdÚsource_sha256Úsource_anchor_hashr   r   F)Úallow_pickleÚframeÚmetadataé   ).rB   r   ).é   T)Úlog).r   ).r"   )Úinvertz5Scanned black PNG no longer agrees with sealed tensorÚimageÚfiles.r"   rC   Ú&constant_intensity_selected_as_primaryÚ!all_model_channels_and_masks_zeroÚother_render_degeneracyÚgroup_idÚdomainÚoriginal_splitÚsplitÚcauseÚmanual_partitionÚtrainÚ
validationÚmanual_statusÚstatusÚmanual_boxesÚboxesÚin_remaining_packageÚ
depth_viewÚdepthÚvalidity_viewÚvalidityÚsource_pathsÚsource_pcd_sha256Úsource_primary_png_sha256Úcache_sha256Úcache_metadataÚsensor_config)Úaxiséc   )
ÚpolicyÚraw_intensity_minÚraw_intensity_maxÚraw_intensity_unique_valuesÚraw_xyz_nonzero_pixelsÚraw_xyz_finite_pixelsÚ
raw_pointsÚdepth_valid_pixelsÚintensity_valid_pixelsÚ!display_percentiles_log_intensity)ÚdtypeÚshapeÚminÚmaxÚpositive_pixelsÚ	raw_depthÚanylabelingÚpredictionsé   z.jsonÚboxes_xyxy_scoreÚcurrent_model_proposal_countÚcurrent_model_status)%r   r   ÚnpÚloadr   r   Ústrr	   ÚisfiniteÚanyr
   r   r   Úarray_equalÚasarrayÚboolÚlenÚuniqueÚfloatrp   rq   ÚintÚcount_nonzeroÚ
nan_to_numÚallÚsumÚ
percentileÚlog1pÚtolistrn   Úlistro   r   r   r   Úencoder   )ÚitemÚfidÚrecordÚentryÚviewsÚpcd_pathÚsavedÚarrayrA   Ú_ÚpointsÚ	intensityÚfiniteÚvalid_iÚvaluesÚrenderedÚimÚ	image_shaÚ
has_signalrO   Úresultrs   Ú
predictionÚannotationsÚcachedÚindexÚlatestÚrecordsÚsourceÚ	train_idsÚval_idss                          €€€€€€€€r   Útracezmain.<locals>.trace6   sü  ø€ Ø�:ÔˆØ& sœ|¨V°C¬[¸%À¼*�u�ˆÝ˜˜wœ¨Ô.Ñ/Ô/ˆÝ�8‰}Œ}  Ô 7ÐVÐVÒVÐV¸5ÐAUÔ;VÒVÐVÐVÐVÐVÐVÝ�5˜”=Ñ!Ô! U¨8¤_Ò4Ð4Ð4Ð4ÝŒW�U˜6”]°Ð7Ñ7Ô7ð 	Q¸5Ø# Gœn­d¬j½¸UÀ:Ô=NÑ9OÔ9OÑ.PÔ.P�8ˆEð	Qð 	Qð 	Qñ 	Qô 	Qð 	Qð 	Qð 	Qð 	Qð 	Qð 	Qøøøð 	Qð 	Qð 	Qð 	Qà˜Ô(¨F°?Ô,CÒCÐCÐCÐCÝ˜XÑ&Ô&‰	ˆˆ6Ø˜1˜1˜1˜a˜4”Lˆ	Ø�2œ; yÑ1Ô1Ô2ˆØ˜”- !Ò#ˆØ�v”˜wÔ'ˆØGNÇ{Â{Á}Ä}ð L•G˜E &œM¨5°¬=¸dÐCÑCÔCÐCÝ   v¤°°f´ÀdÐKÑKÔKð 	å”6˜(Ñ#Ô#Ð\Ð\Ð%\Ñ\Ô\Ð#ÝŒZ˜  w¤Ñ/Ñ0Ô0ð 	<°BÝ”>¥"¤*¨R¡.¤.°(Ñ;Ô;Ð;Ð;Ð;Ð;ð	<ð 	<ð 	<ñ 	<ô 	<ð 	<ð 	<ð 	<ð 	<ð 	<ð 	<øøøð 	<ð 	<ð 	<ð 	<å˜  w¤Ñ/Ñ0Ô0ˆ	Ø˜E 'œN¨5°¬>Ô:Ò:Ð:Ð:Ð:Ý�"œ&  s¨B¨Q¨B w¤Ñ0Ô0Ñ1Ô1ˆ
Ø�;Š;‰=Œ=ð 	.�S¥¤¨6Ñ!2Ô!2Ñ3Ô3°qÒ8Ð8Ø<ˆEˆEØð 	.¥B¤F¨5°°a°b°b°¬>Ñ$:Ô$:ð 	.Ø7ˆEˆEà-ˆEðC�*˜cð C :¨v°jÔ/Að CÀ8ÈUÐS[Ì_ð CØ" E¨'¤NðCØ4;¸UðCà$°¸	Ð1AÐ1A g gÐWZÐ^eÐWeÐWeÀ|À|ÐkoðCð "ÀÈÐASÐAS ;¨sÔ#3°HÔ#=Ð#=ÐY]ðCð !ÀCÈ;ÐDVÐDV¥# k°#Ô&6°wÔ&?Ñ"@Ô"@Ð"@Ð\`ð	Cð
 )¨$Ð/EÔ*FðCð ˜5 œ>ðCð ,8¸¸w¼ðCð JYÐZ_Ð`jÔZkðCð ! &¨¤/ðCð 4GÈÈÔH_ðCð .¨yðCð ;IÈ%ÐPXÌ/ðCð # HðCð 9?¸Ô8OÝ>AÀ&¹k¼kÐ'S¥u¨V¯ZªZ©\¬\Ñ':Ô':Ð':ÈtÝ>AÀ&¹k¼kÐ'S¥u¨V¯ZªZ©\¬\Ñ':Ô':Ð':ÈtÝ14µS½¼À6Ñ9JÔ9JÑ5KÔ5KÑ1LÔ1LÝ,/µÔ0@ÅÄÍÌÐV\Ð]^Ð]^Ð]^Ð`bÐabÐ`bÐ]bÔVcÑHdÔHdÐhiÒHiÐpqÐArÑArÔArÑ0sÔ0sÑ,tÔ,tÝ+.­r¬{¸6À!À!À!ÀRÀaÀRÀ%¼=Ñ/IÔ/I×/MÒ/MÐSTÐ/MÑ/UÔ/U×/YÒ/YÑ/[Ô/[Ñ+\Ô+\Ý #¥C¨¡K¤KÑ 0Ô 0ÍÍBÔL\Ð]bÐciÔ]jÑLkÔLkÑHlÔHlÝ,/µÔ0@ÀÀvÄÑ0OÔ0OÑ,PÔ,PÝloÐpvÑlwÔlwð  8Bµr´}ÅRÄXÈfÑEUÔEUÐXYÐ[]ÐW^Ñ7_Ô7_×7fÒ7fÑ7hÔ7hÐ7hð  ~Bð#Cð Cð Cˆð$ �f˜W”oÐ%Ð%Ý”˜F 7œO¨GÔ4Ñ5Ô5ð +¸ÝœJ r™NœN�	ð+ð +ð +ñ +ô +ð +ð +ð +ð +ð +ð +øøøð +ð +ð +ð +å,/°	´Ñ,@Ô,@Í4ÐPYÔP_ÑK`ÔK`Ý*-¨i¯mªm©o¬oÑ*>Ô*>ÅsÈ9Ï=Ê=É?Ì?ÑG[ÔG[Ý69½"Ô:JÈ9ÐWXÊ=Ñ:YÔ:YÑ6ZÔ6Zð#\ð #\ˆF�;Ñð Ð&Ô'ð 	BÝ�v Ñ-°°g´Ñ>Ñ?Ô?À9ÒLÐLÐLÐLÝ˜f }Ñ4½¼ÀsÇzÂzÁ|Ä|Ñ8TÔ8T×8^Ò8^Ñ8`Ô8`ÐadÐbdÐadÔ8eÐhoÑ8oÑpÑqÔqˆJÝ58¸ÐDVÔ9WÑ5XÔ5XˆFÐ1Ñ2Ø-7¸Ô-AˆFÐ)Ñ*Øˆs6   Â$0C Ã C$Ã'C$Ç*HÈHÈHÖ'W×W×Wr"   )Úmax_workersÚblack_primary_frameszblack_frame_source_trace.jsonzAsia/Shanghaic              3   ó&   K  — | ]}|d          V — ŒdS )rO   Nr/   r0   s     r   ú	<genexpr>zmain.<locals>.<genexpr>v   s&   è è € Ð.JÐ.J¸a¨q°¬zÐ.JÐ.JÐ.JÐ.JÐ.JÐ.Jr   c              3   ó&   K  — | ]}|d          V — ŒdS )rW   Nr/   r0   s     r   r¯   zmain.<locals>.<genexpr>w   s(   è è € Ð,WÐ,WÈ1¨QÐ/EÔ-FÐ,WÐ,WÐ,WÐ,WÐ,WÐ,Wr   c              3   ó.   K  — | ]}|d          dk    V — ŒdS )rP   rQ   Nr/   r0   s     r   r¯   zmain.<locals>.<genexpr>x   s.   è è € Ð/aÐ/aÐUV°Ð2DÔ0EÈÒ0PÐ/aÐ/aÐ/aÐ/aÐ/aÐ/ar   c              3   ó.   K  — | ]}|d          dk    V — ŒdS )rP   rR   Nr/   r0   s     r   r¯   zmain.<locals>.<genexpr>y   s.   è è € Ð4kÐ4kÐ_`°QÐ7IÔ5JÈlÒ5ZÐ4kÐ4kÐ4kÐ4kÐ4kÐ4kr   c              3   óJ   K  — | ]}|                      d d¦  «        dk    V — ŒdS ©rx   r   N©Úgetr0   s     r   r¯   zmain.<locals>.<genexpr>z   s9   è è € Ð4rÐ4rÐfg°Q·U²UÐ;YÐ[\Ñ5]Ô5]Ð`aÒ5aÐ4rÐ4rÐ4rÐ4rÐ4rÐ4rr   c              3   óB   K  — | ]}|                      d d¦  «        V — ŒdS r´   rµ   r0   s     r   r¯   zmain.<locals>.<genexpr>{   s3   è è € Ð4nÐ4nÐbc°Q·U²UÐ;YÐ[\Ñ5]Ô5]Ð4nÐ4nÐ4nÐ4nÐ4nÐ4nr   TF)Ú
checked_atr­   Úcounts_by_causeÚremaining_black_framesÚmanual_train_black_framesÚmanual_validation_black_framesÚremaining_black_with_proposalsÚremaining_black_proposal_boxesÚ'all_pcd_cache_and_image_hashes_verifiedÚ/all_primary_pngs_reproduced_from_sealed_tensorsÚ0source_images_labels_masks_and_snapshots_changedzsource_trace_summary.json)Úsource_frame_index_sha256Úprotocol_manifest_sha256Úsealed_index_sha256Úmanual_partition_sha256Úraster_scan_sha256Útrace_script_sha256zinput_binding.json)r#   r$   )Úflush)r   Ú__file__ÚresolveÚparentÚmapr   r   r    Ú
splitlinesr   Úsetr‚   r   r�   r*   r   Únowr   Ú	isoformatÚdictr   r‰   r   Úprintr(   )ÚprojectÚoutputÚscanÚmanualr«   ÚpoolÚtracedr8   Úbindingr£   r¤   r¥   r¦   r§   r¨   r©   rª   s            @@@@@@@@r   ÚmainrÚ   &   sc  øøøøøøøø€ Ý•8‰nŒn×$Ò$Ñ&Ô&Ô-Ô4€GØÐ>Ñ>€FØÐ?Ñ?€FØÐ@Ñ@€Fð[ð [­­T¬ZØÐ>Ñ>×IÒIÑKÔK×VÒVÑXÔXñ*Zô *Zð [ñ [ô [€GàkÐk¥s­4¬:¸ÀÑ8O×7ZÒ7ZÑ7\Ô7\×7gÒ7gÑ7iÔ7iÑ'jÔ'jÐkÑkÔk€EÝ�'Ð@Ñ@ÑAÔA€FÝ�Ð+Ñ+Ñ,Ô,€DÝ�&Ð2Ñ2Ñ3Ô3€FÝ˜VÐ$5Ô6Ñ7Ô7½¸VÐDZÔ=[Ñ9\Ô9\Ð€IˆwðTð T­Sµ´ØÐ7Ñ7×BÒBÑDÔD×OÒOÑQÔQñ.Sô .Sð Tñ Tô T€Kåˆw‰<Œ<�3˜u™:œ:ÐIÐIÒIÐI¨¨i¬¸Ô)IÒIÐIÐIÐIÐIÐIð9ð 9ð 9ð 9ð 9ð 9ð 9ð 9ð 9ð 9ð 9ð 9õv 
¨Ð	*Ñ	*Ô	*ð E¨dÝ�d—h’h˜u dÐ+AÔ&BÑCÔCÑDÔDˆðEð Eð Eñ Eô Eð Eð Eð Eð Eð Eð Eøøøð Eð Eð Eð Eå	ˆ&Ð2Ñ
2°FÑ;Ô;Ð;Ý%œ\­(°?Ñ*CÔ*CÑDÔD×NÒNÑPÔPÝ'*¨6¡{¤{Ý"&¥wÐ.JÐ.JÀ6Ð.JÑ.JÔ.JÑ'JÔ'JÑ"KÔ"KÝ),Ð,WÐ,WÐPVÐ,WÑ,WÔ,WÑ)WÔ)WÝ,/Ð/aÐ/aÐZ`Ð/aÑ/aÔ/aÑ,aÔ,aÝ14Ð4kÐ4kÐdjÐ4kÑ4kÔ4kÑ1kÔ1kÝ14Ð4rÐ4rÐkqÐ4rÑ4rÔ4rÑ1rÔ1rÝ14Ð4nÐ4nÐgmÐ4nÑ4nÔ4nÑ1nÔ1nØ:>ØBFØCHð
Jð 
J€Gõ 
ˆ&Ð.Ñ
.°Ñ8Ô8Ð8Ý,/°¸Ñ0GÑ,HÔ,HÝ+.¨wÐ9]Ñ/]Ñ+^Ô+^Ý&)¨'Ð4XÑ*XÑ&YÔ&YÝ*-¨fÐ7NÑ.NÑ*OÔ*OÝ%(¨Ð2DÑ)DÑ%EÔ%EÝ&)­$­x©.¬.Ñ&9Ô&9ð;ð ;€Gõ 
ˆ&Ð'Ñ
'¨Ñ1Ô1Ð1Ý	�$Œ*�W¨5¸Ð
;Ñ
;Ô
;À4ÐHÑHÔHÐHÐHÐHs   Ç*HÈHÈHÚ__main__)Ú__doc__Úcollectionsr   Úconcurrent.futuresr   r   r   r   Úpathlibr   Úzoneinfor   Únumpyrz   ÚPILr   Úpallet.data.pcdr	   Úpallet.review_batchesr
   r   r   r*   rÚ   Ú__name__r/   r   r   ú<module>ræ      s)  ððð ð
  Ð Ð Ð Ð Ð Ø 1Ð 1Ð 1Ð 1Ð 1Ð 1Ø Ð Ð Ð Ð Ð Ø €€€Ø €€€Ø Ð Ð Ð Ð Ð Ø Ð Ð Ð Ð Ð à Ð Ð Ð Ø Ð Ð Ð Ð Ð à $Ð $Ð $Ð $Ð $Ð $Ø )Ð )Ð )Ð )Ð )Ð )ðð ð ð.ð .ð .ðcð cð cðaIð aIð aIðH ˆzÒÐØ€D�F„F€F€F€Fð Ðr   