§
    _Éj=#  ã                  ó4  — d Z ddlmZ ddlmZmZ ddlZddlZddlZddl	m
Z
 ddlmZ ddlZddlZddlmZmZ dd	lmZ dd
lmZmZ  ed¬¦  «         G d„ d¦  «        ¦   «         Zd„ Zd„ Zd„ Zd„ Z ed¬¦  «        d„ ¦   «         Zdddœdd„Zd„ Zd„ Z d„ Z!dS )zELoad native-grid sensor data using an explicit, frozen sensor policy.é    )Úannotations)Ú	dataclassÚreplaceN)ÚPath)Ú	lru_cacheé   )ÚFrameRecordÚ	_pcd_grid)Úread_pcd)Úorient_gridÚrotation_degreesT)Úfrozenc                  ó$   — e Zd ZU ded<   ded<   dS )ÚNormalizationStatsÚfloatÚdepth_scaleÚintensity_scaleN)Ú__name__Ú
__module__Ú__qualname__Ú__annotations__© ó    ú?/root/private/project/pallet_detection_v2/pallet/data/loader.pyr   r      s*   € € € € € € àÐÐÑØÐÐÑÐÐr   r   c                ó¼  — t          j        t          | ¦  «        t           j        ¦  «        }	 |                     ¦   «         r&|                     ¦   «                              ¦   «         nd }|�|j        st          d| › �¦  «        ‚|| 	                    ¦   «          S # t           j
        $ r}t          d| › �¦  «        |‚d }~ww xY w# | 	                    ¦   «          w xY w)Nz#empty or unreadable OpenCV matrix: zinvalid OpenCV matrix: )Úcv2ÚFileStorageÚstrÚFILE_STORAGE_READÚisOpenedÚgetFirstTopLevelNodeÚmatÚsizeÚ
ValueErrorÚreleaseÚerror)ÚpathÚstorageÚresultÚexcs       r   Ú_read_opencv_yamlr+      sè   € ÝŒo�c $™iœi­Ô)>Ñ?Ô?€GðØ9@×9IÒ9IÑ9KÔ9KÐU�×-Ò-Ñ/Ô/×3Ò3Ñ5Ô5Ð5ÐQUˆØˆ> ¤ˆ>ÝÐIÀ4ÐIÐIÑJÔJÐJØð 	�ŠÑÔÐÐøõ Œ9ð Dð Dð DÝÐ9°4Ð9Ð9Ñ:Ô:ÀÐCøøøøðDøøøøð 	�ŠÑÔÐÐøøøs$   ®AB ÂCÂ*B=Â=CÃC ÃCc                óø   — t          | ¦  «        } | j                             ¦   «         dv rt          | ¦  «        n+t	          j        t          | ¦  «        t          j        ¦  «        }|€t          d| › �¦  «        ‚|S )N>   ú.ymlú.yamlzcannot read image: )	r   ÚsuffixÚlowerr+   r   Úimreadr   ÚIMREAD_UNCHANGEDr$   )r'   r)   s     r   Ú_imager3   &   s‚   € Ý�‰:Œ:€DØ(,¬×(9Ò(9Ñ(;Ô(;Ð?PÐ(PÐ(PÕ˜tÑ$Ô$Ð$ÕVYÔV`ÕadÐeiÑajÔajÕloô  mAñ  WBô  WB€FØ€~ÝÐ5¨tÐ5Ð5Ñ6Ô6Ð6Ø€Mr   c                óž   — t          j        t          j        | pi d¬¦  «                             ¦   «         ¦  «                             ¦   «         S )NT)Ú	sort_keys)ÚhashlibÚsha256ÚjsonÚdumpsÚencodeÚ	hexdigest)Úpolicys    r   Úpolicy_digestr=   .   s=   € ÝŒ>�$œ* V \¨r¸TÐBÑBÔB×IÒIÑKÔKÑLÔL×VÒVÑXÔXÐXr   c                 óÜ   — t          j        ¦   «         } dD ]C}|                      t          t          ¦  «        j        |z                       ¦   «         ¦  «         ŒD|                      ¦   «         S )N)z	loader.pyzpcd.pyzorientation.py)r6   r7   Úupdater   Ú__file__ÚparentÚ
read_bytesr;   )ÚdigestÚnames     r   Údecoder_digestrE   2   sa   € ÝŒ>ÑÔ€FØ7ð Að AˆØ�Š•t�H‘~”~Ô,¨TÑ1×=Ò=Ñ?Ô?Ñ@Ô@Ð@Ð@Ø×ÒÑÔÐr   i N  )Úmaxsizec                óH  ‡— t          j        ¦   «         }t          | ¦  «                             d¦  «        5 Št	          ˆfd„d¦  «        D ]}|                     |¦  «         Œ	 d d d ¦  «         n# 1 swxY w Y   |                     ¦   «         |k    rt          d¦  «        ‚dS )NÚrbc                 ó.   •— ‰                       d¦  «        S )Ni  @ )Úread)Ústreams   €r   ú<lambda>z_check_cache.<locals>.<lambda>=   s   ø€  §¢¨[Ñ!9Ô!9€ r   r   z*cached tensor content fingerprint mismatchT)r6   r7   r   ÚopenÚiterr?   r;   r$   )r'   r#   Úmtime_nsÚexpectedrC   ÚchunkrK   s         @r   Ú_check_cacherR   9   sê   ø€ åŒ>ÑÔ€FÝ	ˆd‰Œ�Š˜Ñ	Ô	ð T &ÝÐ9Ð9Ð9Ð9¸#Ñ>Ô>ÐSÐSˆE¸v¿}º}ÈUÑ?SÔ?SÐ?SÐ?SÐSðTð Tð Tñ Tô Tð Tð Tð Tð Tð Tð Tøøøð Tð Tð Tð Tà×ÒÑÔ˜8Ò#Ð#­*Ð5aÑ*bÔ*bÐ$bØˆ4s   ·,A0Á0A4Á7A4F)ÚshapeÚreturn_metadataÚrecordr	   c          	     ó  — ddl m}  || ¦  «         | j        pi }|                     d¦  «        t	          |¦  «        ddd|                     dd¦  «        dœ}| j        �rìt          | j        ¦  «                             ¦   «         �rÅ| j        rLt          | j        ¦  «         	                    ¦   «         }t          | j        |j        |j        | j        ¦  «         t          j        | j        d	¬
¦  «        5 }t          j        t#          |d         ¦  «        ¦  «        }|                     d¦  «        |d         k    s|                     d¦  «        | j        k    rt'          d¦  «        ‚|                     dd¦  «        t)          |¦  «        k    rt'          d¦  «        ‚|d         }	ddd¦  «         n# 1 swxY w Y   |	j        t          j        k    sb|	j        t1          |                     d|	j        dd…         ¦  «        ¦  «        dz   k    s&t          j        |	¦  «                             ¦   «         st'          d¦  «        ‚|r|	|fn|	S |                     d¦  «        rt1          |d         ¦  «        nd}
|�$|
�"t1          |¦  «        |
k    rt'          d¦  «        ‚|�t1          |¦  «        n|
}d}| j        rŠt9          | j        ¦  «        }|€|}n|�||k    rt'          d¦  «        ‚|€t'          d¦  «        ‚t;          | j        ¦  «        \  }}t=          |¦  «        |d         |d         z  k    rt'          d¦  «        ‚n9|€7dD ]4}|| j        v r)tA          | j        |         ¦  «        j        dd…         } nŒ5|€t'          d¦  «        ‚t          j!        |t          j        ¦  «        }t          j!        |t          j        ¦  «        }t          j!        |tD          ¦  «        }t          j!        |tD          ¦  «        }|�w|dd…df          #                    |¦  «         $                    ¦   «         }t          j        |¦  «        |dk    z  }t          j%        ||         dk    ¦  «        sd	|dd…<   d|d<   nšd | j        v r‘tA          | j        d          ¦  «        }|j        |k    rt'          d!¦  «        ‚t          j        |¦  «        |dk    z  }t          j%        ||         dk    ¦  «        sd	|dd…<   t#          | j        d          ¦  «        |d<   |                     d"¦  «        �rÀ|                     d#¦  «        }tM          |tN          tP          f¦  «        rt          j        |¦  «        r|dk    rt'          d$¦  «        ‚|                     d%¦  «        }|d&k    rµ|                     d'¦  «        }|�|d(vs|                     d)d*¦  «        d*k    rt'          d+¦  «        ‚|dd…|f          #                    |¦  «        |z  }t          j        |dd…dd…f         ¦  «                             d¬,¦  «         #                    |¦  «        |dk    z  }n|d-k    rj|                     d.¦  «        rUtA          | j        d-         ¦  «        }|j        |k    rt'          d/¦  «        ‚||z  }t          j        |¦  «        |dk    z  }nt'          d0¦  «        ‚| )                    |d¬1¦  «         t          j*        ||d¦  «        }t          j*        ||d¦  «        }t          j+        ||||fd2¬,¦  «         ,                    t          j        ¦  «        }t[          ||¦  «        }t)          |¦  «        rt)          |¦  «        |d<   | j        |d<   |r||fn|S )3zíReturn [D(mm), I(raw), validD, validI]; unknown geometry stays missing.

    PCD channels share one native grid. Raster substitution requires an explicit
    policy confirming its source and alignment; no x-axis/unit heuristics run.
    r   )Úrequire_eligibleÚ	policy_idNÚmmÚunavailable_reasonzNo verified sensor policy)rX   Úpolicy_sha256Údepth_sourceÚdepth_unitsÚintensity_sourceÚdepth_unavailable_reasonF)Úallow_pickleÚmetadatar[   Úsource_sha256z0sensor cache does not match frozen source/policyÚpixel_rotation_degreesr   z8cached tensor orientation differs from registered policyÚframeÚgridé   )é   z(cached tensor shape/dtype/values invalidz*explicit grid conflicts with sensor policyz#PCD grid differs from sensor policyz5no loadable registered image grid for unorganized PCDz0PCD length does not match registered sensor grid)Ú	intensityÚdepthzno loadable sensor gridé   zPCD native intensityr^   rh   zDintensity shape differs from native grid; implicit reshape forbiddenÚdepth_availableÚscale_to_mmz3verified depth policy lacks a positive metric scaler\   ÚpcdÚ
depth_axis)r   r   rf   Ú
depth_kindÚaxialz)invalid registered PCD axial-depth policy)Úaxisri   Úrasters_alignedz,registered depth raster has a different gridz%depth source/alignment not registered)r\   r_   éÿÿÿÿ).ÚeligibilityrW   Úsensor_configÚgetr=   Ú
cache_pathr   Úis_fileÚcache_sha256ÚstatrR   Úst_sizeÚst_mtime_nsÚnpÚloadr8   Úloadsr   rb   r$   r   ÚdtypeÚfloat32rS   ÚtupleÚisfiniteÚallrm   r
   r   ÚlenÚpathsr3   ÚzerosÚboolÚreshapeÚcopyÚanyÚ
isinstanceÚintr   r?   ÚwhereÚstackÚastyper   )rU   rS   rT   rW   r<   ra   rz   ÚcacheÚsavedÚarrayÚconfigured_gridÚpointsre   Ú_Úkeyri   rh   Úvalid_dÚvalid_iÚscaleÚsourcerq   rd   s                          r   Ú
load_framerœ   B   s¹  € ð .Ð-Ð-Ð-Ð-Ð-ØÐ�VÑÔÐØÔ!Ð' R€FØ#ŸZšZ¨Ñ4Ô4Å}ÐU[ÑG\ÔG\Ø $°TÈtØ,2¯JªJÐ7KÐMhÑ,iÔ,iðkð k€Hð Ôñ <�T &Ô"3Ñ4Ô4×<Ò<Ñ>Ô>ñ <ØÔð 	^Ý�fÔ'Ñ(Ô(×-Ò-Ñ/Ô/ˆDÝ˜Ô*¨4¬<¸Ô8HÈÔI\Ñ]Ô]Ð]ÝŒW�VÔ&°UÐ;Ñ;Ô;ð 	#¸uÝ”J�s 5¨Ô#4Ñ5Ô5Ñ6Ô6ˆEØ�yŠy˜Ñ)Ô)¨X°oÔ-FÒFÐFÈ%Ï)Ê)ÐTcÑJdÔJdÐhnÔh|ÒJ|ÐJ|Ý Ð!SÑTÔTÐTØ�yŠyÐ1°1Ñ5Ô5Õ9IÈ&Ñ9QÔ9QÒQÐQÝ Ð![Ñ\Ô\Ð\Ø˜'”NˆEð	#ð 	#ð 	#ñ 	#ô 	#ð 	#ð 	#ð 	#ð 	#ð 	#ð 	#øøøð 	#ð 	#ð 	#ð 	#ð Œ;�œ
Ò"Ð" e¤kµ5¸¿ºÀFÈ5Ì;ÐWYÐXYÐWYÌ?Ñ9[Ô9[Ñ3\Ô3\Ð]aÑ3aÒ&aÐ&aÕikÔitÐuzÑi{Ôi{×iÒiñ  jBô  jBÐ&aÝÐGÑHÔHÐHØ!0Ð;��uˆ~ˆ~°eÐ;Ø/5¯zªz¸&Ñ/AÔ/AÐK•e˜F 6œNÑ+Ô+Ð+Àt€OØÐ˜_Ð8½UÀ5¹\¼\È_Ò=\Ð=\ÝÐEÑFÔFÐFØ!Ð-�E�%‰LŒLˆL°?€EØ€FØ„zð Ý˜œÑ$Ô$ˆØˆ=ØˆEˆEØÐ %¨4¢- -ÝÐBÑCÔCÐCØˆ=ÝÐTÑUÔUÐUÝ˜VœZÑ(Ô(‰	ˆˆ6Ýˆv‰;Œ;˜% œ( U¨1¤XÑ-Ò-Ð-ÝÐOÑPÔPÐPð .à	ˆØ)ð 	ð 	ˆCØ�f”lÐ"Ð"Ý˜vœ|¨CÔ0Ñ1Ô1Ô7¸¸¸Ô;�Ø�ð #ð €}ÝÐ2Ñ3Ô3Ð3ÝŒH�U�BœJÑ'Ô'€EÝ”˜¥¤
Ñ+Ô+€IÝŒh�u�dÑ#Ô#€GÝŒh�u�dÑ#Ô#€GØÐØ˜1˜1˜1˜a˜4”L×(Ò(¨Ñ/Ô/×4Ò4Ñ6Ô6ˆ	Ý”+˜iÑ(Ô(¨I¸ªNÑ;ˆÝŒv�i Ô(¨1Ò,Ñ-Ô-ð 	ØˆG�A�A�A‰JØ'=ˆÐ#Ñ$Ð$Ø	˜œÐ	$Ð	$Ý˜6œ<¨Ô4Ñ5Ô5ˆ	ØŒ?˜eÒ#Ð#ÝÐcÑdÔdÐdÝ”+˜iÑ(Ô(¨I¸ªNÑ;ˆÝŒv�i Ô(¨1Ò,Ñ-Ô-ð 	ØˆG�A�A�A‰JÝ'*¨6¬<¸Ô+DÑ'EÔ'EˆÐ#Ñ$Ø‡z‚zÐ#Ñ$Ô$ñ LØ—
’
˜=Ñ)Ô)ˆÝ˜%¥#¥u Ñ.Ô.ð 	Tµb´kÀ%Ñ6HÔ6Hð 	TÈEÐUVÊJÈJÝÐRÑSÔSÐSØ—’˜NÑ+Ô+ˆØ�UŠ?ˆ?Ø—:’:˜lÑ+Ô+ˆDØˆ~ ¨YÐ!6Ð!6¸&¿*º*À\ÐSZÑ:[Ô:[Ð_fÒ:fÐ:fÝ Ð!LÑMÔMÐMØ˜1˜1˜1˜d˜7”O×+Ò+¨EÑ2Ô2°UÑ:ˆEÝ”k &¨¨¨¨B¨Q¨B¨¤-Ñ0Ô0×4Ò4¸!Ð4Ñ<Ô<×DÒDÀUÑKÔKÈuÐWXÊyÑYˆGˆGØ�wÒÐ 6§:¢:Ð.?Ñ#@Ô#@ÐÝ˜6œ<¨Ô0Ñ1Ô1ˆEØŒ{˜eÒ#Ð#Ý Ð!OÑPÔPÐPØ˜E‘MˆEÝ”k %Ñ(Ô(¨E°AªIÑ6ˆGˆGåÐDÑEÔEÐEØ�Š VÀdˆÑKÔKÐKÝŒH�W˜e QÑ'Ô'€EÝ”˜ )¨QÑ/Ô/€IÝŒH�e˜Y¨°Ð9ÀÐCÑCÔC×JÒJÍ2Ì:ÑVÔV€EÝ˜˜vÑ&Ô&€EÝ˜ÑÔð FÝ-=¸fÑ-EÔ-EˆÐ)Ñ*Ø &Ô 4€Hˆ_ÑØ /Ð:ˆE�8ÐÐ°UÐ:s   Ã5B2F3Æ3F7Æ:F7c                óì  — t          t          | d ¬¦  «        d¬¦  «        \  }}t          |¦  «        }|j                             dd¬¦  «         |                     |j        dz   ¦  «        }|                     d¦  «        5 }t          j	        ||t          j        |¦  «        ¬¦  «         d d d ¦  «         n# 1 swxY w Y   t          j        ||¦  «         t          | t          |¦  «        d ¬¦  «        S )	N)rw   T)rT   )ÚparentsÚexist_okz.tmpÚwb)rd   ra   )rw   ry   )rœ   r   r   rA   ÚmkdirÚ	with_namerD   rM   r}   Úsavezr8   r9   Úosr   )rU   Údestinationr“   ra   Ú	temporaryrK   s         r   Úcache_framer§   £   s.  € Ý ¥¨¸DÐ!AÑ!AÔ!AÐSWÐXÑXÔX�O€Eˆ8Ý�{Ñ#Ô#€KØÔ×Ò T°DÐÑ9Ô9Ð9Ø×%Ò% kÔ&6¸Ñ&?Ñ@Ô@€IØ	�Š˜Ñ	Ô	ð E Ý
Œ�˜u­t¬z¸(Ñ/CÔ/CÐDÑDÔDÐDðEð Eð Eñ Eô Eð Eð Eð Eð Eð Eð Eøøøð Eð Eð Eð Eå„Jˆy˜+Ñ&Ô&Ð&Ý�6¥c¨+Ñ&6Ô&6ÀDÐIÑIÔIÐIs   Â*B7Â7B;Â>B;c           	     óì  — t           j                             d¦  «        }t          j        dt           j        ¦  «        t          j        dt           j        ¦  «        g}| D ]Ò}t          |¦  «        }dD ]¾}|d|f         |d|dz   f         dk             }t          |¦  «        dk    r+||                     t          |¦  «        dd¬¦  «                 }t          j        ||         |f¦  «        }t          |¦  «        dk    r+||                     t          |¦  «        dd¬¦  «                 }|||<   Œ¿ŒÓd	„ }t           ||d         ¦  «         |t          j
        |d
         ¦  «        ¦  «        ¦  «        S )zMFit only supplied source-training frames, with deterministic bounded samples.r   )r   r   .rf   i   F)r   i�Ð c                ó„   — t          | ¦  «        r0t          t          t          j        | d¦  «        ¦  «        d¦  «        ndS )Néc   g�íµ ÷Æ°>g      ð?)r…   Úmaxr   r}   Ú
percentile)Úvaluess    r   rš   z fit_normalization.<locals>.scale¼   s6   € Ý>AÀ&¹k¼kÐR�s•5�œ v¨rÑ2Ô2Ñ3Ô3°TÑ:Ô:Ð:ÈsÐRr   r   )r}   ÚrandomÚdefault_rngÚemptyr�   rœ   r…   ÚchoiceÚconcatenater   Úlog1p)	ÚrecordsÚrngÚ
reservoirsrU   r“   Úchannelr­   Úcombinedrš   s	            r   Úfit_normalizationr¹   ®   sg  € å
Œ)×
Ò
 Ñ
"Ô
"€CÝ”(˜1�bœjÑ)Ô)­2¬8°Aµr´zÑ+BÔ+BÐC€JØð 	+ð 	+ˆÝ˜6Ñ"Ô"ˆØð 	+ð 	+ˆGØ˜3 ˜<Ô(¨¨s°G¸a±KÐ/?Ô)@À1Ò)DÔEˆFÝ�6‰{Œ{˜SÒ Ð Ø §
¢
­3¨v©;¬;¸ÀU 
Ñ KÔ KÔL�Ý”~ z°'Ô':¸FÐ&CÑDÔDˆHÝ�8‰}Œ}˜vÒ%Ð%Ø# C§J¢J­s°8©}¬}¸fÈe JÑ$TÔ$TÔU�Ø"*ˆJ�wÑÐð	+ðSð Sð Så˜e˜e J¨q¤MÑ2Ô2°E°E½"¼(À:ÈaÄ=Ñ:QÔ:QÑ4RÔ4RÑSÔSÐSr   c                ót  — t          j        | t           j        ¬¦  «                             ¦   «         }t          j        |d         |j        z  dd¦  «        |d         z  |d<   t          j        t          j        t          j        |d         d¦  «        ¦  «        |j        z  dd¦  «        |d         z  |d<   |S )N)r€   ).r   r   r   ).rf   ).r   ).rj   )	r}   Úasarrayr�   rŠ   Úclipr   r³   Úmaximumr   )rd   ÚstatsÚoutputs      r   Úapply_normalizationrÀ   Á   s�   € ÝŒZ˜¥R¤ZÐ0Ñ0Ô0×5Ò5Ñ7Ô7€FÝ”W˜V Fœ^¨eÔ.?Ñ?ÀÀAÑFÔFÈÐPVÌÑW€Fˆ6�NÝ”W�RœX¥b¤j°¸´ÀÑ&CÔ&CÑDÔDÀuÔG\Ñ\Ð^_ÐabÑcÔcÐflÐmsÔftÑt€Fˆ6�NØ€Mr   )rU   r	   )"Ú__doc__Ú
__future__r   Údataclassesr   r   r6   r8   r¤   Úpathlibr   Ú	functoolsr   r   Únumpyr}   Úmanifestr	   r
   rm   r   Úorientationr   r   r   r+   r3   r=   rE   rR   rœ   r§   r¹   rÀ   r   r   r   ú<module>rÉ      sÞ  ðØ KÐ KØ "Ð "Ð "Ð "Ð "Ð "à *Ð *Ð *Ð *Ð *Ð *Ð *Ð *Ø €€€Ø €€€Ø 	€	€	€	Ø Ð Ð Ð Ð Ð Ø Ð Ð Ð Ð Ð à 
€
€
€
Ø Ð Ð Ð à ,Ð ,Ð ,Ð ,Ð ,Ð ,Ð ,Ð ,Ø Ð Ð Ð Ð Ð Ø 6Ð 6Ð 6Ð 6Ð 6Ð 6Ð 6Ð 6ð €�$ÐÑÔðð ð ð ð ñ ô ñ Ôðð

ð 
ð 
ðð ð ðYð Yð Yðð ð ð €�5ÐÑÔðð ñ Ôðð .2À5ð ^;ð ^;ð ^;ð ^;ð ^;ð ^;ðBJð Jð JðTð Tð Tð&ð ð ð ð r   