§
    ÁÌj¶_  ã                  óò  — d Z ddlmZ ddlZddlmZmZ ddlmZ ddl	m	Z	 ddl
Z
ddlZddlZddlZddlmZ ddlZddlZddlmZ ddlZddlZd	d
lmZ d	dlmZ  ee¦  «                             ¦   «         j        d	         Z ed¦  «        Z ed¦  «        Z d	Z!dZ"d„ Z#d„ Z$d„ Z%d„ Z&d„ Z'd„ Z(d„ Z)d„ Z*d„ Z+d„ Z,d„ Z-d„ Z.d„ Z/d„ Z0d„ Z1 G d„ d¦  «        Z2d „ Z3d!„ Z4d"„ Z5d#„ Z6d&d$„Z7e8d%k    r e7¦   «          dS dS )'zæRead-only, resumable discovery of attributes of human-labelled pallet targets.

Only this analysis' output directory is written. Cluster IDs and proposed
attributes are exploratory; they are never imported into the formal labels.
é    )ÚannotationsN)ÚCounterÚdefaultdict)ÚThreadPoolExecutor)Údatetime)ÚPath)ÚZoneInfoé   )Úorient_grid)Úread_pcdz?/root/private/project/zero_shot_segmentation/third_party/dinov3zO/root/.cache/torch/hub/checkpoints/dinov3_vitl16_pretrain_lvd1689m-8aa4cbdd.pthi   c                 óh   — t          j        t          d¦  «        ¦  «                             ¦   «         S )NzAsia/Shanghai)r   Únowr	   Ú	isoformat© ó    úC/root/private/project/pallet_detection_v2/pallet/cluster_targets.pyÚ	timestampr   #   s&   € ÝŒ<� Ñ1Ô1Ñ2Ô2×<Ò<Ñ>Ô>Ð>r   c                ó  ‡— t          j        ¦   «         }t          | ¦  «                             d¦  «        5 Št	          ˆfd„d¦  «        D ]}|                     |¦  «         Œ	 d d d ¦  «         n# 1 swxY w Y   |                     ¦   «         S )NÚrbc                 ó.   •— ‰                       d¦  «        S )Ni  @ )Úread)Ústreams   €r   ú<lambda>zdigest.<locals>.<lambda>*   s   ø€  &§+¢+¨oÑ">Ô">€ r   r   )ÚhashlibÚsha256r   ÚopenÚiterÚupdateÚ	hexdigest)ÚpathÚvalueÚblockr   s      @r   Údigestr#   '   sÉ   ø€ ÝŒNÑÔ€EÝ	ˆd‰Œ�Š˜Ñ	Ô	ð   &ÝÐ>Ð>Ð>Ð>ÀÑDÔDð 	 ð 	 ˆEØ�LŠL˜ÑÔÐÐð	 ð ð  ð  ñ  ô  ð  ð  ð  ð  ð  ð  øøøð  ð  ð  ð  ð �?Š?ÑÔÐs   ·,A0Á0A4Á7A4c                óä   — t          | ¦  «        } |                      | j        dz   ¦  «        }|                     t	          j        |ddd¬¦  «        dz   ¦  «         t          j        || ¦  «         d S )Nú.tmpFé   )Úensure_asciiÚindentÚ	allow_nanú
)r   Úwith_suffixÚsuffixÚ
write_textÚjsonÚdumpsÚosÚreplace)r    r!   Ú	temporarys      r   Ú	save_jsonr3   /   sm   € Ý�‰:Œ:€DØ× Ò  ¤¨vÑ!5Ñ6Ô6€IØ×Ò�œ E¸ÀaÐSXÐYÑYÔYÐ\`Ñ`ÑaÔaÐaÝ„Jˆy˜$ÑÔÐÐÐr   c                ó�   — t          | ¦  «                             ¦   «         5 }d„ |D ¦   «         cd d d ¦  «         S # 1 swxY w Y   d S )Nc                ó^   — g | ]*}|                      ¦   «         ¯t          j        |¦  «        ‘Œ+S r   )Ústripr.   Úloads)Ú.0Úlines     r   ú
<listcomp>zread_rows.<locals>.<listcomp>8   s/   € ÐDÐDÐD T°t·z²z±|´|ÐD•”
˜4Ñ Ô ÐDÐDÐDr   )r   r   )r    r   s     r   Ú	read_rowsr;   6   s�   € Ý	ˆd‰Œ�ŠÑ	Ô	ð E˜fØDÐD¨VÐDÑDÔDðEð Eð Eð Eñ Eô Eð Eð Eð Eð Eð Eð Eøøøð Eð Eð Eð Eð Eð Es   ¢;»?Á?c           	     óH  — t          | ¦  «        } |                      | j        dz   ¦  «        }|                     d¦  «        5 }|D ]/}|                     t          j        |dd¬¦  «        dz   ¦  «         Œ0	 d d d ¦  «         n# 1 swxY w Y   t          j        || ¦  «         d S )Nr%   ÚwF©r'   r)   r*   )	r   r+   r,   r   Úwriter.   r/   r0   r1   )r    Úrowsr2   r   Úrows        r   Ú
write_rowsrB   ;   sø   € Ý�‰:Œ:€DØ× Ò  ¤¨vÑ!5Ñ6Ô6€IØ	�Š˜Ñ	Ô	ð V Øð 	Vð 	VˆCØ�LŠL�œ C°eÀuÐMÑMÔMÐPTÑTÑUÔUÐUÐUð	VðVð Vð Vñ Vô Vð Vð Vð Vð Vð Vð Vøøøð Vð Vð Vð Võ „Jˆy˜$ÑÔÐÐÐs   Á3BÂBÂ	Bc           
     ó~  ‡ — t          j        ˆ fd„dD ¦   «         t          ¬¦  «        }t          j        |¦  «                             ¦   «         rt          |dd …         ¦  «        dk    rt          d¦  «        ‚|\  }}}}|dk     s|dk     s||z   |dz   k    s||z   |dz   k    rt          d¦  «        ‚t          dt          j	        |¦  «        ¦  «        t          dt          j	        |¦  «        ¦  «        t          |t          j
        ||z   ¦  «        ¦  «        t          |t          j
        ||z   ¦  «        ¦  «        fS )	Nc                ó    •— g | ]
}‰|         ‘ŒS r   r   )r8   ÚkÚboxs     €r   r:   zinteger_box.<locals>.<listcomp>E   s   ø€ ÐEÐEÐE !�s˜1”vÐEÐEÐEr   )ÚxÚyÚwidthÚheight©Údtyper&   r   z'nonfinite or nonpositive annotation boxgñhãˆµøä>zannotation outside native grid)ÚnpÚarrayÚfloatÚisfiniteÚallÚminÚ
ValueErrorÚmaxÚmathÚfloorÚceil)rF   rI   rJ   ÚvaluesrG   rH   r=   Úhs   `       r   Úinteger_boxrZ   D   s*  ø€ ÝŒXÐEÐEÐEÐEÐ'DÐEÑEÔEÍUÐSÑSÔS€FÝŒ;�vÑÔ×"Ò"Ñ$Ô$ð D­¨F°1°2°2¬J©¬¸1Ò(<Ð(<ÝÐBÑCÔCÐCØ�J€A€qˆ!ˆQØˆ1‚u€u��A’�˜˜1™˜u T™zÒ)Ð)¨Q¨q©S°6¸$±;Ò->Ð->ÝÐ9Ñ:Ô:Ð:Ý�•4”:˜a‘=”=Ñ!Ô!¥3 q­$¬*°Q©-¬-Ñ#8Ô#8Ý�•t”y  1¡‘~”~Ñ&Ô&­¨FµD´I¸aÀ¹c±N´NÑ(CÔ(CðEð Er   c                ó   — | › d|d›�S )Nz::box:Ú04dr   ©Úframe_idÚ	box_indexs     r   Ú	target_idr`   O   s   € ØÐ-Ð-˜iÐ-Ð-Ð-Ð-r   c                óž   — t          j        t          | |¦  «                             ¦   «         ¦  «                             ¦   «         d d…         S )Né   )r   r   r`   Úencoder   r]   s     r   Ú
target_keyrd   S   s>   € ÝŒ>�) H¨iÑ8Ô8×?Ò?ÑAÔAÑBÔB×LÒLÑNÔNÈsÐPRÈsÔSÐSr   c                óÎ  — t          | ¦  «                             ¦   «         } t          | dz  ¦  «        }d„ t          | dz  ¦  «        D ¦   «         }t          |¦  «        t          |¦  «        k    s*t          d„ |D ¦   «         ¦  «        t          |¦  «        k    rt	          d¦  «        ‚|D ]·}||d                  }|d         |d         k    s^|d         |d         k    sLt          |d	         ¦  «        |d
         k    s-|d         dvs#t          |d	         ¦  «        |d         dk    k    rt	          d¦  «        ‚|d	         D ]}t          ||d         |d         ¦  «         Œ Œ¸||fS )Nzannotations/frames.jsonlc                ó    — i | ]}|d          |“ŒS ©r^   r   ©r8   Úrs     r   ú
<dictcomp>z load_dataset.<locals>.<dictcomp>Z   s   € ÐMÐMÐM Aˆq�Œ}˜aÐMÐMÐMr   zframes.jsonlc                ó   — h | ]
}|d          ’ŒS rg   r   rh   s     r   ú	<setcomp>zload_dataset.<locals>.<setcomp>[   s   € Ð/SÐ/SÐ/SÀ!°°*´Ð/SÐ/SÐ/Sr   z,duplicate or missing formal frame identitiesr^   ÚsplitÚgroup_idÚboxesÚ	instancesÚstatus)ÚposÚnegativerr   z%formal annotation/source disagreementrI   rJ   )r   Úresolver;   ÚlenrS   ÚboolrZ   )Údatasetr   ÚsourcesÚ
annotationÚsourcerF   s         r   Úload_datasetr{   W   sŽ  € Ý�7‰mŒm×#Ò#Ñ%Ô%€GÝ˜GÐ&@Ñ@ÑAÔA€KØMÐM­°7¸^Ñ3KÑ)LÔ)LÐMÑMÔM€GÝ
ˆ7�|„|•s˜;Ñ'Ô'Ò'Ð'­3Ð/SÐ/SÀ{Ð/SÑ/SÔ/SÑ+TÔ+TÕX[Ð\gÑXhÔXhÒ+hÐ+hÝÐGÑHÔHÐHØ!ð Hð Hˆ
Ø˜ JÔ/Ô0ˆØ�wÔ 6¨'¤?Ò2Ð2°jÀÔ6LÐPVÐWaÔPbÒ6bÐ6bÝ�z 'Ô*Ñ+Ô+¨v°kÔ/BÒBÐBØ˜hÔ'Ð/BÐBÐBÝ˜
 7Ô+Ñ,Ô,°¸HÔ1EÈÒ1NÒOÐOÝÐDÑEÔEÐEØ˜gÔ&ð 	Hð 	HˆCÝ˜˜Z¨Ô0°*¸XÔ2FÑGÔGÐGÐGð	Hà˜ÐÐr   c                ó  ‡ — t          ‰ ¦  «        Š t          ‰                      d¦  «        ¦  «        t          ‰                      d¦  «        ¦  «        z  }|t          ‰ dz                       d¦  «        ¦  «        z  }|t          ‰ dz                       d¦  «        ¦  «        z  }|t          ‰ dz                       d¦  «        ¦  «        z  }|t          ‰ dz                       d¦  «        ¦  «        z  }|‰ dz  hz  }t	          d	„ |D ¦   «         ¦  «        }t          d
¬¦  «        5 }t          |                     t          |¦  «        ¦  «        }ddd¦  «         n# 1 swxY w Y   ˆ fd„t          ||¦  «        D ¦   «         S )zHHash actual labels and metadata, rather than only trusting the manifest.z*.jsonz*.jsonlr   Ú*ÚlabelsÚprotocolÚimageszchecksums.sha256c              3  óB   K  — | ]}|                      ¦   «         ¯|V — Œd S ©N)Úis_file)r8   Úps     r   ú	<genexpr>z%protected_snapshot.<locals>.<genexpr>r   s/   è è € Ð3Ð3˜ q§y¢y¡{¤{Ð3�1Ð3Ð3Ð3Ð3Ð3Ð3r   é   )Úmax_workersNc                ó\   •— i | ](\  }}t          |                     ‰¦  «        ¦  «        |“Œ)S r   )ÚstrÚrelative_to)r8   r„   rY   rw   s      €r   rj   z&protected_snapshot.<locals>.<dictcomp>u   s3   ø€ ÐJÐJÐJ©t¨q°!�C�—’˜gÑ&Ô&Ñ'Ô'¨ÐJÐJÐJr   )
r   ÚsetÚglobÚrglobÚsortedr   ÚlistÚmapr#   Úzip)rw   ÚfilesÚpathsÚpoolÚhashess   `    r   Úprotected_snapshotr–   i   s¥  ø€ å�7‰mŒm€GÝ�—’˜XÑ&Ô&Ñ'Ô'­#¨g¯lªl¸9Ñ.EÔ.EÑ*FÔ*FÑF€EØ	�S�'˜MÑ)×0Ò0°Ñ5Ô5Ñ6Ô6Ñ6€EØ	�S�'˜HÑ$×+Ò+¨CÑ0Ô0Ñ1Ô1Ñ1€EØ	�S�'˜JÑ&×-Ò-¨cÑ2Ô2Ñ3Ô3Ñ3€EØ	�S�'˜HÑ$×+Ò+¨HÑ5Ô5Ñ6Ô6Ñ6€EØ	ˆgÐ*Ñ*Ð+Ñ+€EÝÐ3Ð3˜eÐ3Ñ3Ô3Ñ3Ô3€EÝ	¨Ð	*Ñ	*Ô	*ð /¨dÝ�d—h’h�v uÑ-Ô-Ñ.Ô.ˆð/ð /ð /ñ /ô /ð /ð /ð /ð /ð /ð /øøøð /ð /ð /ð /àJÐJÐJÐJµs¸5À&Ñ7IÔ7IÐJÑJÔJÐJs   Ä()EÅE!Å$E!c                ó¦  ‡	— ddl m} t          | j        ¦  «                             ¦   «         }t          t          | j        ¦  «                             ¦   «         ¦  «        | j        t          t          t          | j	        ¦  «                             ¦   «         ¦  «        t          | j	        ¦  «        t          |¦  «        t          |¦  «        dddt          d„ |D ¦   «         ¦  «        t          |¦  «        dœ}|dz  }|                     ¦   «         rÄ| j        st          d	¦  «        ‚t!          j        |                     ¦   «         ¦  «        }|d
         |k    rt          d¦  «        ‚|d         t          t          | j        ¦  «        dz  ¦  «        k    rt          d¦  «        ‚t)          | j        ¦  «        }|d         |k    rt          d¦  «        ‚nÝ|                     ¦   «         r0t+          |                     ¦   «         ¦  «        rt          d¦  «        ‚|                     dd¬¦  «         t)          | j        ¦  «        }ddlmŠ	 dt5          ¦   «         ||t          t6          ¦  «        t          t          | j        ¦  «        dz  ¦  «        ˆ	fd„dD ¦   «         dd dœ	}t9          ||¦  «         dD ]}||z                       d¬¦  «         Œ|S )Nr
   )ÚSAM3_WEIGHTSé   é   ç      à?c              3  ó@   K  — | ]}t          |d          ¦  «        V — ŒdS )ro   N)ru   rh   s     r   r…   zprepare_run.<locals>.<genexpr>€   s,   è è € ÐCÐC°!�c ! G¤*™oœoÐCÐCÐCÐCÐCÐCr   )rw   ÚseedÚextract_versionÚdinov3_weightsÚdinov3_sha256Úsam3_weightsÚsam3_sha256Úappearance_long_sideÚpoints_per_targetÚmask_min_scoreÚtargetsÚframeszrun_manifest.jsonzOOutput already exists; use --resume for the same inputs or choose a new output.Úbindingz4Resume binding differs from the original extraction.Údinov3_implementation_sha256z#dinov3/models/vision_transformer.pyz;DINOv3 implementation changed since the extraction started.Úprotected_filesz?Formal labels or frozen metadata changed since the run started.z!Choose an empty output directory.T)ÚparentsÚexist_okr   )ÚversionÚ,exploratory_pallet_multiattribute_clusteringc                ó(   •— i | ]}| ‰|¦  «        “ŒS r   r   )r8   rE   r­   s     €r   rj   zprepare_run.<locals>.<dictcomp>—   s#   ø€ ÐnÐnÐn¨a˜A˜w˜w q™zœzÐnÐnÐnr   )ÚnumpyÚscipyzscikit-learnÚtorchÚtorchvisionF)	ÚkindÚ
created_atr¨   rª   Úsource_code_sha256r©   ÚpackagesÚlabels_modifiedÚ#independent_classification_accuracy)r§   ÚmediaÚlogsÚanalysis)r¬   )Ú	proposalsr˜   r   Úoutputrt   r‰   rw   r�   ÚEXTRACT_VERSIONÚweightsr#   Úsumru   ÚexistsÚresumerS   r.   r7   Ú	read_textÚ
model_repor–   ÚanyÚiterdirÚmkdirÚimportlib.metadatar­   r   Ú__file__r3   )
Úargsr   r˜   Úoutr¨   Úmanifest_pathÚoldÚsnapshotÚnamer­   s
            @r   Úprepare_runrÑ   x   sÌ  ø€ Ø'Ð'Ð'Ð'Ð'Ð'Ý
ˆtŒ{Ñ
Ô
×
#Ò
#Ñ
%Ô
%€CÝ�d 4¤<Ñ0Ô0×8Ò8Ñ:Ô:Ñ;Ô;ÀTÄYÝ"1ÅSÍÈdÌlÑI[ÔI[×IcÒIcÑIeÔIeÑEfÔEfÝ & t¤|Ñ 4Ô 4ÅcÈ,ÑFWÔFWÝ$ \Ñ2Ô2ÈCØ$(¸CÝÐCÐC°{ÐCÑCÔCÑCÔCÍsÐS^ÑO_ÔO_ðað a€Gð Ð-Ñ-€MØ×ÒÑÔð &ØŒ{ð 	pÝÐnÑoÔoÐoÝŒj˜×0Ò0Ñ2Ô2Ñ3Ô3ˆØˆyŒ>˜WÒ$Ð$ÝÐSÑTÔTÐTØÐ-Ô.µ&½¸d¼oÑ9NÔ9NÐOtÑ9tÑ2uÔ2uÒuÐuÝÐZÑ[Ô[Ð[Ý% d¤lÑ3Ô3ˆØÐ Ô! XÒ-Ð-ÝÐ^Ñ_Ô_Ð_ð .ð �:Š:‰<Œ<ð 	B�C §¢¡¤Ñ.Ô.ð 	BÝÐ@ÑAÔAÐAØ�	Š	˜$¨ˆ	Ñ.Ô.Ð.Ý% d¤lÑ3Ô3ˆØ.Ð.Ð.Ð.Ð.Ð.ØEÕU^ÑU`ÔU`Ø!°hÝ%+­HÑ%5Ô%5Ý/5µd¸4¼?Ñ6KÔ6KÐNsÑ6sÑ/tÔ/tØnÐnÐnÐnÐ3mÐnÑnÔnØ"'ÐPTðVð Vˆõ 	�- Ñ%Ô%Ð%Ø7ð *ð *ˆØ	ˆt‰×Ò DÐÑ)Ô)Ð)Ð)Ø€Jr   c                óì  — | |d         z  | |d         z  }}||fD ]U}|d         t          |                     | ¦  «        ¦  «                 }t          |¦  «        |k    rt          d|› �¦  «        ‚ŒVt	          j        |d¬¦  «        5 }|d         }d d d ¦  «         n# 1 swxY w Y   |j        |d         |d	         d
fk    s&t	          j        |¦  «                             ¦   «         st          d¦  «        ‚t          |d         d         ¦  «        }t          |¦  «        |d         k    rt          d¦  «        ‚t          |¦  «        \  }	}
t          |
¦  «        |d	         |d         z  k    rt          d¦  «        ‚t          |
                     |d         |d	         d
¦  «        |d         ¦  «        }|d         dk    }|                     ¦   «         r0t	          j        |d         |         |d         |         dd¬¦  «        st          d¦  «        ‚t!          j        t          |¦  «        t           j        ¦  «        }|�|j        |j        d d…         k    rt          d¦  «        ‚||dd d…f         |fS )NÚimageÚsensorr’   zFrozen asset hash mismatch: F)Úallow_pickleÚframerJ   rI   é   z%Invalid formal sensor shape or valuesÚsource_pathsÚpcdÚsource_anchor_hashz-Raw PCD differs from the frozen source anchorz,PCD point count differs from registered gridÚsensor_policy).é   r   ).r
   ç�íµ ÷Æ°>)ÚrtolÚatolz9Raw PCD intensity and formal tensor are not pixel-alignedr&   zInvalid formal intensity PNG.rÜ   )r‰   rŠ   r#   rS   rM   ÚloadÚshaperP   rQ   r   r   ru   r   ÚreshaperÆ   ÚallcloseÚcv2ÚimreadÚIMREAD_GRAYSCALE)rw   ry   rz   Ú
image_pathÚsensor_pathr    ÚexpectedÚarchiverÔ   Ú_ÚpointsÚnativeÚvalid_irÓ   s                 r   Úload_nativerï   Ÿ   s§  € Ø%¨¨w¬Ñ7¸À6È(ÔCSÑ9S�€JØ˜[Ð)ð Dð DˆØ˜'”?¥3 t×'7Ò'7¸Ñ'@Ô'@Ñ#AÔ#AÔBˆÝ�$‰<Œ<˜8Ò#Ð#ÝÐB¸DÐBÐBÑCÔCÐCð $å	Œ�¨5Ð	1Ñ	1Ô	1ð "°WØ˜Ô!ˆð"ð "ð "ñ "ô "ð "ð "ð "ð "ð "ð "øøøð "ð "ð "ð "à„|˜
 8Ô,¨j¸Ô.AÀ1ÐEÒEÐEÍRÌ[ÐY_ÑM`ÔM`×MdÒMdÑMfÔMfÐEÝÐ@ÑAÔAÐAÝ��~Ô& uÔ-Ñ.Ô.€DÝˆd�|„|�vÐ2Ô3Ò3Ð3ÝÐHÑIÔIÐIÝ˜‘”�I€A€vÝ
ˆ6�{„{�j Ô)¨J°xÔ,@Ñ@Ò@Ð@ÝÐGÑHÔHÐHå˜Ÿš¨
°8Ô(<¸jÈÔ>QÐSTÑUÔUÐW]Ð^mÔWnÑoÔo€FØ�VŒn˜qÒ €GØ�;Š;‰=Œ=ð V¥¤¨F°6¬N¸7Ô,CÀVÈFÄ^ÐT[ÔE\ÐcgÐnrÐ sÑ sÔ sð VÝÐTÑUÔUÐUÝŒJ•s˜:‘”­Ô(<Ñ=Ô=€EØ€}˜œ v¤|°B°Q°BÔ'7Ò7Ð7ÝÐ7Ñ8Ô8Ð8Ø�&˜˜b˜q˜b˜”/ 7Ð*Ð*s   Â	BÂB Â#B c                ó   — t          j        | t          ¬¦  «        } t          j        | ¦  «                             d¬¦  «        t           j                             t          j        | ¦  «        d¬¦  «        dk    z  }| |         } t          | ¦  «        dk     rddt          | ¦  «        dœS t          t          j	        | t          j
        | ¦  «        z
  ¦  «        d	k                         ¦   «         ¦  «        }t           j                             | d¬¦  «        }t          j        |d
dg¦  «        \  }}d}|dk    r	|dk    rd}n|dk    r|dk    rd}||t          |¦  «        t          |¦  «        t          | ¦  «        ddœS )NrK   r
   ©Úaxisç:Œ0âŽyE>é    ÚunknownÚtoo_few_points)ÚhintÚreasonrì   g-Cëâ6?é2   éZ   gš™™™™™©?é
   ÚmmÚmÚuser_distribution_heuristic)r÷   Únoninteger_fractionÚrange_q50_rawÚrange_q90_rawrì   rø   )rM   ÚasarrayrO   rP   rQ   ÚlinalgÚnormÚ
nan_to_numru   ÚabsÚrintÚmeanÚ
percentile)rì   ÚgoodÚ
fractionalÚrangesÚq50Úq90r÷   s          r   Ú	unit_hintr  º   s_  € ÝŒZ˜¥eÐ,Ñ,Ô,€FÝŒ;�vÑÔ×"Ò"¨Ð"Ñ*Ô*­b¬i¯nªn½R¼]È6Ñ=RÔ=RÐYZ¨nÑ.[Ô.[Ð^bÒ.bÑc€DØ�DŒ\€FÝ
ˆ6�{„{�RÒÐØ!Ð-=ÍÈVÉÌÐUÐUÐUÝ�œ˜v¥b¤g¨f¡o¤oÑ5Ñ6Ô6¸Ò=×CÒCÑEÔEÑFÔF€JÝŒY�^Š^˜F¨ˆ^Ñ+Ô+€FÝŒ}˜V b¨" XÑ.Ô.�H€CˆØ€DØ�TÒÐ˜c Rši˜iØˆˆØ	�tÒ	Ð	  r¢	 	ØˆØ°ÍeÐTWÉjÌjÝ" 3™ZœZµ3°v±;´;ÐJgðið ið ir   c           	     óˆ  — ddl m} t          j        | ¦  «        t          j        |¦  «        }} t          j        | ¦  «                             d¬¦  «        t          j                             t          j        | ¦  «        d¬¦  «        dk    z  }| |         ||         }} t          | ¦  «        }|dk     r	| |||ddœfS t          j                             | d¬¦  «        }t          j
        |¦  «        }t          j
        t          j        ||z
  ¦  «        ¦  «        }t          j        ||z
  ¦  «        t          d	|z  t          |¦  «        d
z  d¦  «        k    }|                     ¦   «         dk    r| |         ||         }}  || ¦  «                             | t          dt          | ¦  «        ¦  «        d¬¦  «        \  }	}
|	dd…df         }t          t!          t          j        |d¦  «        ¦  «        d¦  «        }||k    }| |         ||         }} | ||t          | ¦  «        t!          t          | ¦  «        |z  ¦  «        dœfS )zMRemove invalid returns and distant contamination, retaining visible surfaces.r   )ÚcKDTreer
   rñ   ró   é@   g      ð?)Úpoints_beforeÚpoints_afterÚretained_fractiongŽäòÒ¯@gš™™™™™™?rÝ   r†   )rE   ÚworkersNéÿÿÿÿg     `X@g»½×Ùß|Û=)Úscipy.spatialr  rM   r  rP   rQ   r  r  r  ru   Úmedianr  rT   rÁ   ÚqueryrR   rO   r	  )rì   Úuvr  r
  Úbeforer  r  ÚmadÚkeepÚ	distancesrë   ÚlocalÚ	thresholds                r   Úclean_pointsr"  Ì   s  € à%Ð%Ð%Ð%Ð%Ð%Ý”˜FÑ#Ô#¥R¤Z°¡^¤^ˆB€FÝŒ;�vÑÔ×"Ò"¨Ð"Ñ*Ô*­b¬i¯nªn½R¼]È6Ñ=RÔ=RÐYZ¨nÑ.[Ô.[Ð^bÒ.bÑc€DØ˜”˜r $œxˆB€FÝ�‰[Œ[€FØ�‚{€{Ø�r¨VÀVÐbeÐfÐfÐfÐfÝŒY�^Š^˜F¨ˆ^Ñ+Ô+€FÝŒY�vÑÔ€FÝ
Œ)•B”F˜6 &™=Ñ)Ô)Ñ
*Ô
*€CÝŒ6�&˜‘-Ñ Ô ¥C¨
°3©½¸F¹¼ÀEÑ8IÈ4Ñ$PÔ$PÒP€DØ‡x‚x�z„z�RÒÐØ˜D”\ 2 d¤8�ˆØ�7˜6‘?”?×(Ò(¨µ3°q½#¸f¹+¼+Ñ3FÔ3FÐPQÐ(ÑRÔR�L€IˆqØ�a�a�a˜�eÔ€EÝ•E�"œ-¨¨tÑ4Ô4Ñ5Ô5°uÑ=Ô=€IØ�IÒ€DØ˜”˜r $œxˆB€FØ�2¨ÅÀVÁÄÝ-2µ3°v±;´;¸vÑ3EÑ-FÔ-FðHð Hð Hð Hr   c                ó~  — t          j        | t           j        ¬¦  «        |z  } t          | ¦  «        dk     rt	          d¦  «        ‚| t          j        | d¬¦  «        z
  }t           j                             t          j        |d¬¦  «        ¦  «        \  }}t          j	        |¦  «        ddd	…         }t          j
        ||         d¦  «        |dd…|f         }}||z  }t          j        t          j        |d
dgd¬¦  «        d¬¦  «        d         }t          |d         d¦  «        }	t          j        |t          ¬¦  «        }t          j        ||                     d¬¦  «        z
  t          j        t          |¦  «        ¦  «        g¦  «        }
t           j                             |
|d¬¦  «        d         }t          j        t          j        |d
dgd¬¦  «        d¬¦  «        d         }t           j                             |dd
…         d¬¦  «        |z  }t          |d         ¦  «        t          |d         ¦  «        t          |d
         ¦  «        t          |d         ¦  «        t          |d         ¦  «        t          |d         |d         z
  |	z  ¦  «        t          |d         |d
         z
  |	z  ¦  «        t          |d
         |	z  ¦  «        t          |d         t          |d         d¦  «        z  ¦  «        t          t          j        t           j                             | d¬¦  «        ¦  «        ¦  «        dddœS )zMVisible surface estimates; the third extent is never called pallet thickness.rK   r  z,Too few valid foreground points for geometryr   rñ   F)ÚrowvarNr  r&   éb   gê-�™—q=)Úrcondr
   rÝ   Úvisible_foreground_only)Úvisible_extent_major_mmÚvisible_extent_middle_mmÚvisible_extent_minor_mmÚvisible_horizontal_span_mmÚvisible_vertical_span_mmÚ	linearityÚ	planarityÚ
scatteringÚprincipal_extent_ratioÚrange_median_mmÚmeasurement_scopeÚphysical_full_dimensions)rM   r  Úfloat64ru   rS   r  r  ÚeighÚcovÚargsortÚmaximumÚdiffr	  rT   rO   Úcolumn_stackr  ÚonesÚlstsqr  )rì   r  Úscale_to_mmÚcenteredrX   ÚvectorsÚorderÚprojectionsÚextentsÚdenominatorÚdesignÚcoefficientsÚ
visible_uvÚfaces                 r   Úmeasure_pointsrH  ä   s¿  € åŒZ˜¥b¤jÐ1Ñ1Ô1°KÑ?€FÝ
ˆ6�{„{�RÒÐÝÐGÑHÔHÐHØ�œ	 &¨qÐ1Ñ1Ô1Ñ1€HÝ”i—n’n¥R¤V¨H¸UÐ%CÑ%CÔ%CÑDÔD�O€FˆGÝŒJ�vÑÔ˜t˜t ˜tÔ$€EÝ”j ¨¤°Ñ2Ô2°G¸A¸A¸A¸u¸HÔ4EˆG€FØ˜WÑ$€KÝŒg•b”m K°!°R°¸qÐAÑAÔAÈÐJÑJÔJÈ1ÔM€GÝ�f˜Q”i Ñ'Ô'€KÝ	Œ�B�eÐ	$Ñ	$Ô	$€BÝŒ_˜b §¢¨a ¡¤Ñ0µ"´'½#¸b¹'¼'Ñ2BÔ2BÐCÑDÔD€FÝ”9—?’? 6¨8¸4�?Ñ@Ô@ÀÔC€LÝ”�œ r¨A¨r¨7¸Ð;Ñ;Ô;À!ÐDÑDÔDÀQÔG€JÝŒ9�>Š>˜, r¨ rÔ*°ˆ>Ñ3Ô3°jÑ@€DÝ',¨W°Q¬ZÑ'8Ô'8ÕV[Ð\cÐdeÔ\fÑVgÔVgÝ',¨W°Q¬ZÑ'8Ô'8ÕX]Ð^bÐcdÔ^eÑXfÔXfÝ(-¨d°1¬g©¬Ý  q¤	¨&°¬)Ñ 3°[Ñ@ÑAÔAÝ  q¤	¨&°¬)Ñ 3°[Ñ@ÑAÔAÝ  q¤	¨+Ñ 5Ñ6Ô6Ý&+¨G°A¬Jµs¸7À1¼:ÀtÑ7LÔ7LÑ,LÑ&MÔ&MÝ$¥R¤Y­r¬y¯~ª~¸fÈ1¨~Ñ/MÔ/MÑ%NÔ%NÑOÔOØ!:ÐX\ð^ð ^ð ^r   c                  ó    — e Zd Zd„ Zd„ Zd„ ZdS )ÚFeatureModelsc                ó  — dd l }ddlm} ||j        c| _         | _        |                     d¦  «         |                     |j        ¦  «         t          j                             |j        ¦  «         |j         	                    d¦  «        r2|j
                             |                     |j        ¦  «        ¦  «          ||j        ¦  «        | _        | j                             ¦   «          t          j                             dt#          t%          |j        ¦  «        ¦  «        ¦  «         ddlm}  |d¬¦  «        | _        | j                             |                     |j        d	d
¬¦  «        d
¬¦  «         | j                             ¦   «                              |j        ¦  «         |                     g d¢|j        ¬¦  «        d d …d d f         | _        |                     g d¢|j        ¬¦  «        d d …d d f         | _        d S )Nr   r
   )Ú_sam3_servicer×   Úcuda)Údinov3_vitl16F)Ú
pretrainedÚcpuT)Úmap_locationÚweights_only)Ústrict)g
×£p=
ß?gÉv¾Ÿ/Ý?g–C‹lçûÙ?©Údevice)gZd;ßOÍ?gyé&1¬Ì?gÍÌÌÌÌÌÌ?)r²   r½   rL  rU  Úset_num_threadsÚmanual_seedr�   rM   ÚrandomÚ
startswithrM  Ú
set_deviceÚsamÚ
_lazy_initÚsysr    Úinsertr‰   r   rÅ   Údinov3.hub.backbonesrN  ÚdinoÚload_state_dictrà   rÀ   ÚevalÚtoÚtensorr  Ústd)ÚselfrË   r²   rL  rN  s        r   Ú__init__zFeatureModels.__init__  s×  € ØˆˆˆØ,Ð,Ð,Ð,Ð,Ð,Ø"'¨¬ÐˆŒ
�D”KØ×Ò˜aÑ Ô Ð Ø×Ò˜$œ)Ñ$Ô$Ð$Ý
Œ	�Š�t”yÑ!Ô!Ð!ØŒ;×!Ò! &Ñ)Ô)ð 	=ØŒJ×!Ò! %§,¢,¨t¬{Ñ";Ô";Ñ<Ô<Ð<Ø �= ¤Ñ-Ô-ˆŒØŒ×ÒÑÔÐÝŒ�Š˜�3�t D¤OÑ4Ô4Ñ5Ô5Ñ6Ô6Ð6Ø6Ð6Ð6Ð6Ð6Ð6Ø!�M¨UÐ3Ñ3Ô3ˆŒ	ØŒ	×!Ò! %§*¢*¨T¬\ÈÐ\` *Ñ"aÔ"aÐjnÐ!ÑoÔoÐoØŒ	�ŠÑÔ×Ò˜DœKÑ(Ô(Ð(Ø—L’LÐ!3Ð!3Ð!3¸D¼K�LÑHÔHÈÈÈÈDÐRVÈÔWˆŒ	Ø—<’<Ð 2Ð 2Ð 2¸4¼;�<ÑGÔGÈÈÈÈ4ÐQUÈÔVˆŒˆˆr   c           
     ó¸  — ddl m} ddlm}m}m} | j        }g }|                     ¦   «         5  |j         	                    | 
                    |¦  «                             d¦  «        ¦  «        }	|D �]O}
t          |	¦  «        }t          |	d         ¦  «        |d<   |                     dd¦  «         |j                              ||
|j        d         |j        d         ¦  «        d	|¬
¦  «        } ||                     |¦  «        |
g ¬¦  «        }|€5|                     t%          j        |j        t(          ¦  «        df¦  «         ŒÖ ||j        |
g ¬¦  «        }t%          j        |j        t(          ¦  «        }|
\  }}}}|||…||…f         |||…||…f<   |                     |t-          |j        ¦  «        f¦  «         �ŒQ	 ddd¦  «         n# 1 swxY w Y   |S )zBReuse the image encoder across boxes without accumulating prompts.r   )ÚImage)Úchoose_best_candidateÚcleanup_maskÚxyxy_to_cxcywh_normÚRGBÚbackbone_outÚgeometric_promptNr
   T)rF   ÚlabelÚstate)Úbox_xyxyrì   g        )ÚPILri  Úzss_demo.mask_utilsrj  rk  rl  r[  Ú_inference_contextÚ
_processorÚ	set_imageÚ	fromarrayÚconvertÚdictÚpopÚadd_geometric_promptrá   Ú_state_to_candidatesÚappendrM   Úzerosrv   ÚmaskrO   Úscore)rf  rÓ   ro   ri  rj  rk  rl  r[  ÚresultsÚoriginalrF   rq  Úbestr€  ÚboundedÚx1Úy1Úx2Úy2s                      r   Ú
mask_framezFeatureModels.mask_frame  sS  € àÐÐÐÐÐØ`Ð`Ð`Ð`Ð`Ð`Ð`Ð`Ð`Ð`ØŒhˆØˆØ×#Ò#Ñ%Ô%ð 	Að 	AØ”~×/Ò/°·²ÀÑ0FÔ0F×0NÒ0NÈuÑ0UÔ0UÑVÔVˆHØð Añ A�Ý˜X™œ�Ý(,¨X°nÔ-EÑ(FÔ(F��nÑ%Ø—	’	Ð,¨dÑ3Ô3Ð3Øœ×;Ò;Ø+Ð+¨C°´¸Q´ÀÄÈQÄÑPÔPÐX\Ðdið <ñ kô k�à,Ð,¨S×-EÒ-EÀeÑ-LÔ-LÐWZÐceÐfÑfÔf�Ø�<Ø—N’N¥B¤H¨U¬[½$Ñ$?Ô$?ÀÐ#EÑFÔFÐFÐFà'˜<¨¬	¸CÈÐKÑKÔK�DÝ œh u¤{µDÑ9Ô9�GØ%(‘N�B˜˜B Ø,0°°B°¸¸2¸°Ô,>�G˜B˜r˜E 2 b 5˜LÑ)Ø—N’N G­U°4´:Ñ->Ô->Ð#?Ñ@Ô@Ð@Ñ@ðAð	Að 	Að 	Añ 	Aô 	Að 	Að 	Að 	Að 	Að 	Að 	Aøøøð 	Að 	Að 	Að 	Að" ˆs   ®FGÇGÇGc                ó0  — | j         }|j        \  }}dt          ||¦  «        z  }t          dt          ||z  ¦  «        ¦  «        t          dt          ||z  ¦  «        ¦  «        }}t	          j        |||ft          j        ¬¦  «        }	t	          j        |                     t          j	        ¦  «        ||ft          j
        ¬¦  «        }
t          dt          j        |dz  ¦  «        dz  ¦  «        t          dt          j        |dz  ¦  «        dz  ¦  «        }}t          j        ||fdt          j        ¦  «        }t          j        ||ft          j	        ¦  «        }|	|
c|d |…d |…f<   |d |…d |…f<   |                     ¦   «         sd|d |…d |…f<   |                     |                     ¦   «         | j        |j	        ¬¦  «        }|d                               dd	d	¦  «        d
z  }|| j        z
  | j        z  d          }|                     ¦   «         5  |                     | j                             d¦  «        d         |j        | j                             d¦  «        ¬¦  «        5  | j                             |¦  «        }d d d ¦  «         n# 1 swxY w Y   d d d ¦  «         n# 1 swxY w Y   |d         d                              ¦   «         }|                     t	          j        ||dz  |dz  ft          j        ¬¦  «                              ¦   «         | j        ¬¦  «        }||d d …d f         z   !                    d¦  «        | !                    ¦   «          "                    d¦  «        z  }|d         d                              ¦   «         }| #                    || $                    ¦   «          "                    d¦  «        z  || $                    ¦   «          "                    d¦  «        z  g¦  «         %                    ¦   «          &                    ¦   «         S )Nr™   r
   )Úinterpolationr  é   é   )rU  rL   rÜ   r  éÿ   ú:r   rM  )Údevice_typerL   ÚenabledÚx_norm_patchtokensrT  rÝ   Úx_norm_clstoken)'r²   rá   rT   Úroundrä   ÚresizeÚINTER_CUBICÚastyperM   Úfloat32ÚINTER_NEARESTrU   rW   ÚfullÚuint8r  rÆ   Ú	as_tensorÚcopyrU  Úexpandr  re  Úinference_modeÚautocastrm   Úfloat16rY  r`  Úforward_featuresrO   Ú
INTER_AREAÚravelrÁ   Ú	clamp_minÚcatr  rP  r°   )rf  Úcropr€  r²   rJ   rI   ÚscalerY   r=   ÚresizedÚvalidÚphÚpwÚcanvasÚregionrd  r¾   ÚpatchrÀ   ÚpooledÚclss                        r   Ú
appearancezFeatureModels.appearance-  s
  € Ø”
ˆØœ
‰ˆ�Ø•c˜& %Ñ(Ô(Ñ(ˆÝ�1•e˜F 5™LÑ)Ô)Ñ*Ô*­C°µ5¸¸u¹Ñ3EÔ3EÑ,FÔ,Fˆ1ˆÝ”*˜T A q 6½¼ÐIÑIÔIˆÝ”
˜4Ÿ;š;¥r¤zÑ2Ô2°Q¸°FÍ#ÔJ[Ð\Ñ\Ô\ˆå�R�œ 1 R¡4™œ¨Ñ+Ñ,Ô,­c°"µd´iÀÀ"Á±o´oÀbÑ6HÑ.IÔ.IˆBˆÝ”˜"˜b˜ 3­¬Ñ1Ô1ˆÝ”˜2˜r˜(¥B¤JÑ/Ô/ˆØ)0°%Ð&ˆˆr�ˆr�2�A�2ˆv‰˜˜r ˜r 2 A 2˜v™Ø�zŠz‰|Œ|ð 	ØˆF�2�A�2�r˜�r�6‰NØ—’ §¢¡¤°t´{È%Ì-�ÑXÔXˆØ˜”×$Ò$ Q¨¨BÑ/Ô/°#Ñ5ˆØ˜$œ)Ñ# T¤XÑ-¨tÔ4ˆØ×!Ò!Ñ#Ô#ð 	8ð 	8 U§^¢^ÀÄ×@QÒ@QÐRUÑ@VÔ@VÐWXÔ@YØ:?¼-ÐQUÔQ\×QgÒQgÐhnÑQoÔQoð &4ñ &qô &qð 	8ð 	8à”Y×/Ò/°Ñ7Ô7ˆFð	8ð 	8ð 	8ñ 	8ô 	8ð 	8ð 	8ð 	8ð 	8ð 	8ð 	8øøøð 	8ð 	8ð 	8ð 	8ð 	8ð 	8ð 	8ñ 	8ô 	8ð 	8ð 	8ð 	8ð 	8ð 	8ð 	8øøøð 	8ð 	8ð 	8ð 	8ð Ð+Ô,¨QÔ/×5Ò5Ñ7Ô7ˆØ—/’/¥#¤*¨V°b¸"±f¸bÀ"¹fÐ5EÕUXÔUcÐ"dÑ"dÔ"d×"jÒ"jÑ"lÔ"lØ)-¬ð "ñ 6ô 6ˆà˜    4 Ô(Ñ(×-Ò-¨aÑ0Ô0°·²±´×1HÒ1HÈÑ1NÔ1NÑNˆØÐ&Ô'¨Ô*×0Ò0Ñ2Ô2ˆØ�yŠy˜#˜cŸhšh™jœj×2Ò2°4Ñ8Ô8Ñ8¸&ÀÇÂÁÄ×AXÒAXÐY]ÑA^ÔA^Ñ:^Ð_Ñ`Ô`×dÒdÑfÔf×lÒlÑnÔnÐns7   ÈAJ#É%JÊ J#ÊJ	ÊJ#ÊJ	ÊJ#Ê#J'Ê*J'N)Ú__name__Ú
__module__Ú__qualname__rg  rŠ  r³  r   r   r   rJ  rJ     sI   € € € € € ðWð Wð Wð&ð ð ð2oð oð oð oð or   rJ  c                ó@  — | dz  }t          j        t          ||› d�z  ¦  «        |t           j        dg¦  «        st	          d¦  «        ‚t          j        |t           j        ¦  «        }|                     ¦   «         r]||                              t          ¦  «        dz  t          j        g d¢¦  «        dz  z                        t          j        ¦  «        ||<   t          j        t          ||› d�z  ¦  «        |t           j        dg¦  «        st	          d	¦  «        ‚d S )
Nrº   z.jpgéX   zCould not write target cropgš™™™™™á?)éF   éÈ   é<   gÍÌÌÌÌÌÜ?z.overlay.jpgzCould not write target overlay)rä   Úimwriter‰   ÚIMWRITE_JPEG_QUALITYÚOSErrorÚcvtColorÚCOLOR_GRAY2BGRrÆ   r˜  rO   rM   rN   rœ  )r¾   Úkeyr¨  r€  ÚtargetÚoverlays         r   Úmedia_assetsrÄ  I  s  € Ø�gÑ€FÝŒ;•s˜6 s L L LÑ0Ñ1Ô1°4½#Ô:RÐTVÐ9WÑXÔXð 5ÝÐ3Ñ4Ô4Ð4ÝŒl˜4¥Ô!3Ñ4Ô4€GØ‡x‚x�z„zð iØ  œ×-Ò-­eÑ4Ô4°SÑ8½2¼8ÀMÀMÀMÑ;RÔ;RÐSVÑ;VÑV×^Ò^Õ_aÔ_gÑhÔhˆ�‰ÝŒ;•s˜6 sÐ$8Ð$8Ð$8Ñ8Ñ9Ô9¸7ÅSÔE]Ð_aÐDbÑcÔcð 8ÝÐ6Ñ7Ô7Ð7ð8ð 8r   c                óØ  ‡— g g i }}}d }	 t          | ‰|¦  «        \  }	}
}ˆfd„‰d         D ¦   «         }|                     |	|¦  «        }n0# t          $ r#}t          |¦  «        j        › d|› �}Y d }~nd }~ww xY wt          ‰d         ¦  «        D �]ð\  }}t          ‰d         |¦  «        }i dt          ‰d         |¦  «        “d|“d|“d‰d         “d‰d         “d	‰d	         “d
‰d
         “d|d         “d|“d|d         d         “d|d                              d¦  «        “d|d         “d|d         “d|d u “dd“dd“d|“ddddœ¥}t          j
        t          t          j        t          j        ¦  «        }t          j        dt          j        ¦  «        |d|› �<   t          j        dt          j        ¦  «        |d|› �<   |�€Ž	 ||         \  }}}}||         \  }}|	||…||…f         |||…||…f         }}|                     ||¦  «        }|j        t          fk    s&t          j        |¦  «                             ¦   «         st'          d¦  «        ‚t)          ||||¦  «         |                     d t-          ||         ¦  «        |t/          |                     ¦   «         ¦  «        t3          |                     ¦   «         ¦  «        t7          |d!k    p'|d!k    p!||	j        d"         k    p||	j        d!         k    ¦  «        ¬#¦  «         t          j        |
¦  «                             d$¬%¦  «        t          j                             t          j        |
¦  «        d$¬%¦  «        d&k    z  |z  }||z  }t          j        |¦  «        \  }}|
|         } t          j         ||g¦  «         !                    t          j        ¦  «        }!t3          tE          | ¦  «        tG          |                     ¦   «         d"¦  «        z  ¦  «        |d'<   tE          | ¦  «        d(k    r=t          j$        d!tE          | ¦  «        d"z
  d(t.          ¬)¦  «        }"| |"         |!|"         }!} tK          | ¦  «        |d*<   tM          | |!¦  «        \  } }!}#|  !                    t          j        ¦  «        |!c|d|› �<   |d|› �<   |                     |#¦  «         |d+k    r9tE          | ¦  «        d,k    r&|d'         d-k    r|d.         d/k    r|#d0         d1k    rd2nd3|d<   |d4         r|d         d2k    rd5|d<   n3# t          $ r&}t          |¦  «        j        › d|› �|d<   Y d }~nd }~ww xY w| '                    |¦  «         | '                    |¦  «         �Œò|                     t          j(        |t          j        ¬)¦  «        t          j)        tU          j+        |d6d6¬7¦  «        ¦  «        ¬8¦  «         |d9z  tY          |d         ¦  «        j-        d:z   z  }$|$ .                    d;¦  «        }%|% /                    d<¦  «        5 }&t          j0        |&fi |¤Ž d d d ¦  «         n# 1 swxY w Y   tc          j2        |%|$¦  «         |S )=Nc                óJ   •— g | ]}t          |‰d          ‰d         ¦  «        ‘Œ S )rI   rJ   )rZ   )r8   Úbry   s     €r   r:   z!extract_frame.<locals>.<listcomp>Y  s/   ø€ ÐhÐhÐhÈq•˜Q 
¨7Ô 3°ZÀÔ5IÑJÔJÐhÐhÐhr   ro   z: r^   r`   rd   r_   rn   Údomainrm   rÓ   ÚbboxÚ	policy_idrÛ   Úverified_scale_to_mmr=  Úpixel_rotation_degreesÚsource_pcd_sha256rÚ   Úalignment_verifiedÚappearance_statusÚfailedÚgeometry_statusrõ   Úprocessing_error)Ústructure_candidateÚmaterial_candidateÚviewpoint_candidate)r   rÜ   Úpoints_)r   r&   Úuv_zInvalid appearance embeddingÚokr   r
   )rÏ  Úinteger_bboxÚ
mask_scoreÚmask_pixelsÚmask_fractionÚcrop_touches_image_edger&   rñ   ró   Úforeground_valid_fractionrš   rK   Úunit_observationr›   r  g      Ð?rÜ  g¸…ëQ¸ž?r  g333333ã?ÚeligibleÚinsufficient_foregroundrÝ  Úpartial_visible_surfaceFr>   )r³  Úrecords_jsonr§   ú.npzz.npz.tmpÚwb)3rï   rŠ  Ú	ExceptionÚtyper´  Ú	enumeraterd   r`   ÚgetrM   r›  ÚAPPEARANCE_DIMÚnanr™  Úemptyr³  rá   rP   rQ   rS   rÄ  r   r�   ÚintrÁ   rO   r  rv   r  r  r  Únonzeror:  r˜  ru   rT   Úlinspacer  r"  r~  r  rN   r.   r/   r   Ústemr+   r   Úsavez_compressedr0   r1   )'rw   r¾   ry   rz   ÚmodelsÚfeaturesr@   ÚarraysÚframe_errorrÓ   Úxyzrî   ro   ÚmasksÚexcÚindexrF   rÁ  rA   Úfeaturer†  r‡  rˆ  r‰  r€  r�  r¨  Ú
local_maskr
  ÚselectedÚvvÚuur„   r  ÚsampleÚcleaningÚdestinationr2   r   s'     `                                    r   Úextract_framer  T  su  ø€ Ø  R�Fˆd€HØ€Kð5Ý)¨'°:¸vÑFÔFÑˆˆs�GØhÐhÐhÐhÐT^Ð_fÔTgÐhÑhÔhˆØ×!Ò! %¨Ñ/Ô/ˆˆøÝð 5ð 5ð 5Ý˜c™œÔ+Ð4Ð4¨sÐ4Ð4ˆˆˆˆˆˆøøøøð5øøøå 
¨7Ô 3Ñ4Ô4ð 0!ñ 0!‰
ˆˆsÝ˜ JÔ/°Ñ7Ô7ˆðtˆ{�I j°Ô&<¸eÑDÔDð tÀlÐTWð tÐYdÐfkð tØ˜: jÔ1ðtØ3=¸zÈ*Ô?Uðtà˜ HÔ-ðtà/6¸
À7Ô8KðtàMTÐV\Ð]dÔVeðtð �sðtð (¨°Ô)@ÀÔ)Mðtð & v¨oÔ'>×'BÒ'BÀ=Ñ'QÔ'Qð	tð
 (¨Ð0HÔ)Iðtð # FÐ+?Ô$@ðtð CWÐXcÐgkÐXkðtð # Hðtð /@Àðtð M_Ð`kðtð '0ÀyÐirðtð tð tˆõ ”'�.­"¬&µ"´*Ñ=Ô=ˆÝ$&¤H¨VµR´ZÑ$@Ô$@ˆÐ ˜Ð Ð Ñ!Ý "¤¨µ´Ñ <Ô <ˆˆ}�Uˆ}ˆ}ÑØÑðIØ!& u¤‘��B˜˜BØ# Eœl‘��eØ#(¨¨B¨°°2°¨Ô#6¸¸RÀ¸UÀBÀrÀE¸\Ô8J�j�Ø ×+Ò+¨D°*Ñ=Ô=�Ø”=¥^Ð$5Ò5Ð5½R¼[ÈÑ=QÔ=Q×=UÒ=UÑ=WÔ=WÐ5Ý$Ð%CÑDÔDÐDÝ˜V S¨$°
Ñ;Ô;Ð;Ø—
’
¨TÅÀUÈ5Ä\Ñ@RÔ@RÐ_dÝ'*¨4¯8ª8©:¬:¡¤ÅeÈJÏOÊOÑL]ÔL]ÑF^ÔF^Ý37¸¸AºÐ8rÀÀQÂÐ8rÈ"ÈeÌkÐZ[ÌnÒJ\Ð8rÐ`bÐdiÔdoÐpqÔdrÒ`rÑ3sÔ3sð ñ uô uð uõ ”{ 3Ñ'Ô'×+Ò+°Ð+Ñ3Ô3µr´y·~²~ÅbÄmÐTWÑFXÔFXÐ_`°~Ñ7aÔ7aÐbfÒ7fÑgÐjqÑq�Ø $™;�Ýœ HÑ-Ô-‘��BØ˜”M�Ý”_ b¨" XÑ.Ô.×5Ò5µb´jÑAÔA�Ý38½¸Q¹¼ÅÀDÇHÂHÁJÄJÐPQÑ@RÔ@RÑ9RÑ3SÔ3S�Ð/Ñ0Ý�q‘6”6˜D’=�=Ýœ[¨­C°©F¬F°1©H°dÅ#ÐFÑFÔF�FØ˜fœI r¨&¤z�r�AÝ*3°A©,¬,�Ð&Ñ'Ý".¨q°"Ñ"5Ô"5‘��2�xØCDÇ8Â8ÍBÌJÑCWÔCWÐY[Ð@�Ð( Ð(Ð(Ñ)¨6°-¸°-°-Ñ+@Ø—
’
˜8Ñ$Ô$Ð$Ø8=Àº¸ÍÈAÉÌÐRTÊÈØ.1Ð2MÔ.NÐRUÒ.UÐ.UØ.1°/Ô.BÀcÒ.IÐ.IÈhÐWjÔNkÐoqÒNqÐNqð +5¨*ð 0Ið Ð%Ñ&ð Ð0Ô1ð G°cÐ:KÔ6LÐPZÒ6ZÐ6ZØ-F�CÐ)Ñ*øøÝð Ið Ið IÝ-1°#©Y¬YÔ-?Ð*HÐ*HÀ3Ð*HÐ*H�Ð&Ñ'Ð'Ð'Ð'Ð'Ð'øøøøðIøøøà�Š�CÑÔÐØ�Š˜Ñ Ô Ð Ñ Ø
‡M‚M�RœZ¨½¼
ÐCÑCÔCÝ!œx­¬
°4ÀeÐW\Ð(]Ñ(]Ô(]Ñ^Ô^ð ñ `ô `ð `à˜8Ñ#¥t¨F°7¬OÑ'<Ô'<Ô'AÀ&Ñ'HÑI€KØ×'Ò'¨
Ñ3Ô3€IØ	�Š˜Ñ	Ô	ð . Ý
Ô˜FÐ-Ð- fÐ-Ð-Ð-ð.ð .ð .ñ .ô .ð .ð .ð .ð .ð .ð .øøøð .ð .ð .ð .å„Jˆy˜+Ñ&Ô&Ð&Ø€KsB   ‹?A Á
A8ÁA3Á3A8Ç	MT#Ô#
UÔ-UÕUØ+Y
Ù
YÙYc                ó¤  ‡ ‡— t          ‰ j        ¦  «                             ¦   «         t          ‰ j        ¦  «                             ¦   «         c}Šˆ fd„t	          |¦  «        D ¦   «         }‰ j        �|d ‰ j        …         }ˆfd„|D ¦   «         }‰dz  d‰ j        › d�z  }t          j        ¦   «         dd}	}}t          t          j        d‰ j        t          |¦  «        dœ¦  «        d	¬
¦  «         |rt          ‰ ¦  «        nd }
|D �]}t          |‰|||d                  |
¦  «        }|	t          d„ |D ¦   «         ¦  «        z  }	|dz  }|dz  dk    s|t          |¦  «        k    r¢t          j        ¦   «         |z
  }dt!          ¦   «         ‰ j        |t          |¦  «        t          |¦  «        t          |¦  «        |z
  |	||t#          |d¦  «        z  dœ
}t%          ||¦  «         t          t          j        |¦  «        d	¬
¦  «         �Œt%          ‰dz  d‰ j        › d�z  t!          ¦   «         t          |¦  «        |	‰ j        ‰ j        dœ¦  «         d S )Nc                óP   •— g | ]"\  }}|d          ¯|‰j         z  ‰j        k    ¯ |‘Œ#S )ro   )ÚshardsÚshard_index)r8   Úiri   rË   s      €r   r:   zextract.<locals>.<listcomp>š  s:   ø€ ÐkÐkÐk‘d�a˜¸¸'¼
ÐkÀqÈ4Ì;ÁÐZ^ÔZjÒGjÐGj�ÐGjÐGjÐGjr   c                ó~   •— g | ]9}‰d z  t          |d         ¦  «        j        dz   z                       ¦   «         °7|‘Œ:S )r§   rÓ   rä  )r   rð  rÂ   )r8   ri   r¾   s     €r   r:   zextract.<locals>.<listcomp>�  sH   ø€ ÐdÐdÐd�Q¨6°(©?½DÀÀ7ÄÑ<LÔ<LÔ<QÐRXÑ<XÑ+Y×*aÒ*aÑ*cÔ*cÐdˆqÐdÐdÐdr   r»   Úextract_z.jsonr   Úextract_start)ÚstageÚshardÚpending_framesT)Úflushr^   c              3  ó@   K  — | ]}t          |d          ¦  «        V — ŒdS )rÒ  N)rv   rh   s     r   r…   zextract.<locals>.<genexpr>¤  s0   è è € Ð@Ð@°a•d˜1Ð/Ô0Ñ1Ô1Ð@Ð@Ð@Ð@Ð@Ð@r   r
   é   ÚextractrÝ   )
r  Ú
updated_atr  Úcompleted_this_processÚselected_framesÚpending_at_startÚremaining_this_processÚtarget_errors_this_processÚelapsed_secondsÚframes_per_secondz_complete.json)Úfinished_atr§   Úerrors_this_processÚlimitr  )r   rw   rt   r¾   rè  r  r  ÚtimeÚperf_counterÚprintr.   r/   ru   rJ  r  rÁ   r   rT   r3   r  )rË   r   rx   rw   rü  ÚpendingÚprogressÚstartÚ	completedÚerrorsrò  ry   r@   Úsecondsrq  r¾   s   `              @r   r  r  ˜  s|  øø€ Ý˜4œ<Ñ(Ô(×0Ò0Ñ2Ô2µD¸¼Ñ4EÔ4E×4MÒ4MÑ4OÔ4O€O€GˆVØkÐkÐkÐk�i¨Ñ4Ô4ÐkÑkÔk€HØ„zÐØ˜K˜TœZ˜KÔ(ˆØdÐdÐdÐd˜(ÐdÑdÔd€GØ�f‰}Ð?¨Ô(8Ð?Ð?Ð?Ñ?€HÝ#Ô0Ñ2Ô2°A°q�fˆ9€EÝ	�$Œ*˜¸Ô9IÕ]`ÐahÑ]iÔ]iÐjÐjÑ
kÔ
kÐswÐxÑxÔxÐxØ$+Ð5�]˜4Ñ Ô Ð °€FØð 1ñ 1ˆ
Ý˜W f¨j¸'À*ÈZÔBXÔ:YÐ[aÑbÔbˆØ•#Ð@Ð@¸4Ð@Ñ@Ô@Ñ@Ô@Ñ@ˆØ�Q‰ˆ	Ø�r‰>˜QÒÐ )­s°7©|¬|Ò";Ð";ÝÔ'Ñ)Ô)¨%Ñ/ˆGØ'µy±{´{ÈTÔM]Ø/8ÍSÐQYÉ]Ì]Ý),¨W©¬ÕQTÐU\ÑQ]ÔQ]Ð^gÑQgØ39ÈgØ*3µC¸ÀÑ4FÔ4FÑ*Fð	Hð HˆEõ
 �h Ñ&Ô&Ð&Ý•$”*˜UÑ#Ô#¨4Ð0Ñ0Ô0Ð0ùÝˆf�V‰mÐG tÔ'7ÐGÐGÐGÑGÝ'™kœkµS¸±]´]Ð[aØœ
¨d¬kð;ð ;ñ<ô <ð <ð <ð <r   c                ó(   — ddl m}  || ||¦  «        S )Nr
   )Úrun_analysis)Úcluster_reportr'  )rË   r   rx   r'  s       r   r¼   r¼   ´  s(   € Ø,Ð,Ð,Ð,Ð,Ð,Øˆ<˜˜k¨7Ñ3Ô3Ð3r   c                óð  — t          j        t          ¬¦  «        }|                     dd ¬¦  «         |                     dd¬¦  «         |                     dd¬¦  «         |                     dt          d	¬
¦  «         |                     dt          t          ¦  «        ¬¦  «         |                     dt          t          ¦  «        ¬¦  «         |                     ddd¬¦  «         |                     dd¬¦  «         |                     dt          d¬
¦  «         |                     dt          d¬
¦  «         |                     dt          d d¬¦  «         |                     dt          d¬
¦  «         |                     dd d¬¦  «         |                     | ¦  «        }|j	        dk    rd|j
        cxk    r|j	        k     sn |                     d ¦  «         |j        €9t          j        t          d!z                       ¦   «         ¦  «        d"         |_        t#          |j        ¦  «        \  }}t%          ||¦  «         |j        d#v rt)          |||¦  «         |j        d$v rt+          |||¦  «         d S d S )%N)Údescriptionz	--dataset)Údefaultz--outputz#outputs/pallet_target_clustering_v1z--devicezcuda:1z--seedé*   )rç  r+  z--model-repoz	--weightsz--stage)Úpreparer  ÚanalyzerQ   rQ   )Úchoicesr+  z--resumeÚ
store_true)Úactionz--shardsr
   z--shard-indexr   z--limitz<Extraction smoke limit; analysis still requires all targets.)rç  r+  Úhelpz--bootstrap-roundsr  z--attribute-reviewzBOptional candidate-only visual review JSON; never rewrites labels.)r+  r2  zInvalid shard index/countz"configs/active_formal_dataset.jsonrw   )r  rQ   )r.  rQ   )ÚargparseÚArgumentParserÚ__doc__Úadd_argumentrí  r‰   ÚDEFAULT_MODEL_REPOÚDEFAULT_WEIGHTSÚ
parse_argsr  r  Úerrorrw   r.   r7   ÚPROJECTrÄ   r{   rÑ   r  r  r¼   )ÚargvÚparserrË   r   rx   s        r   Úmainr>  ¹  sˆ  € ÝÔ$µÐ9Ñ9Ô9€FØ
×Ò˜¨TÐÑ2Ô2Ð2Ø
×Ò˜
Ð,QÐÑRÔRÐRØ
×Ò˜
¨HÐÑ5Ô5Ð5Ø
×Ò˜¥s°BÐÑ7Ô7Ð7Ø
×Ò˜µÕ4FÑ0GÔ0GÐÑHÔHÐHØ
×Ò˜­SµÑ-AÔ-AÐÑBÔBÐBØ
×Ò˜	Ð+SÐ]bÐÑcÔcÐcØ
×Ò˜
¨<ÐÑ8Ô8Ð8Ø
×Ò˜
­°aÐÑ8Ô8Ð8Ø
×Ò˜­c¸1ÐÑ=Ô=Ð=Ø
×Ò˜	­°TÐ@~ÐÑÔÐØ
×ÒÐ,µ3ÀÐÑCÔCÐCØ
×ÒÐ,°dð  BFÐñ  Gô  Gð  GØ×Ò˜TÑ"Ô"€DØŒK˜1ÒÐ  dÔ&6Ð!DÐ!DÒ!DÐ!D¸¼Ò!DÐ!DÐ!DÐ!DØ�ŠÐ0Ñ1Ô1Ð1Ø„|ÐÝ”z¥7Ð+OÑ#O×"ZÒ"ZÑ"\Ô"\Ñ]Ô]Ð^gÔhˆŒÝ'¨¬Ñ5Ô5Ñ€K�Ý��kÑ"Ô"Ð"Ø„zÐ'Ð'Ð'Ý��k 7Ñ+Ô+Ð+Ø„zÐ'Ð'Ð'Ý��{ GÑ,Ô,Ð,Ð,Ð,ð (Ð'r   Ú__main__r‚   )9r5  Ú
__future__r   r3  Úcollectionsr   r   Úconcurrent.futuresr   r   r   r.   rU   r0   Úpathlibr   r]  r  Úzoneinfor	   rä   r°   rM   Údata.orientationr   Údata.pcdr   rÊ   rt   r«   r;  r7  r8  r¿   rê  r   r#   r3   r;   rB   rZ   r`   rd   r{   r–   rÑ   rï   r  r"  rH  rJ  rÄ  r  r  r¼   r>  r´  r   r   r   ú<module>rG     sñ  ððð ð
 #Ð "Ð "Ð "Ð "Ð "à €€€Ø ,Ð ,Ð ,Ð ,Ð ,Ð ,Ð ,Ð ,Ø 1Ð 1Ð 1Ð 1Ð 1Ð 1Ø Ð Ð Ð Ð Ð Ø €€€Ø €€€Ø €€€Ø 	€	€	€	Ø Ð Ð Ð Ð Ð Ø 
€
€
€
Ø €€€Ø Ð Ð Ð Ð Ð à 
€
€
€
Ø Ð Ð Ð à )Ð )Ð )Ð )Ð )Ð )Ø Ð Ð Ð Ð Ð ð ˆ$ˆx‰.Œ.×
 Ò
 Ñ
"Ô
"Ô
*¨1Ô
-€Ø�TÐ[Ñ\Ô\Ð Ø�$ÐhÑiÔi€Ø€Ø€ð?ð ?ð ?ðð ð ð ð  ð  ðEð Eð Eð
 ð  ð  ðEð Eð Eð.ð .ð .ðTð Tð Tð ð  ð  ð$Kð Kð Kð$ð $ð $ðN+ð +ð +ð6ið ið ið$Hð Hð Hð0^ð ^ð ^ð8Foð Foð Foð Foð Foñ Foô Foð FoðR8ð 8ð 8ðAð Að AðH<ð <ð <ð84ð 4ð 4ð
-ð -ð -ð -ð8 ˆzÒÐØ€D�F„F€F€F€Fð Ðr   