§
    ÙÁ¸j?
  ã                  ój   — d Z ddlmZ ddlmZ ddlmZ ddlZddlZddl	Z	ddl
mZ d„ Zd„ Zd	„ Zd
„ ZdS )zGExact-content grouping across capture sessions and copied sensor files.é    )Úannotations)Údefaultdict)ÚreplaceN)ÚPathc                ó  ‡— t          j        ¦   «         }t          | ¦  «                             d¦  «        5 Št	          ˆfd„d¦  «        D ]}|                     |¦  «         Œ	 d d d ¦  «         n# 1 swxY w Y   |                     ¦   «         S )NÚrbc                 ó.   •— ‰                       d¦  «        S )Ni  @ )Úread)Úsources   €ú>/root/private/project/pallet_detection_v2/pallet/data/dedup.pyú<lambda>z_digest.<locals>.<lambda>   s   ø€  &§+¢+¨oÑ">Ô">€ ó    r   )ÚhashlibÚsha256r   ÚopenÚiterÚupdateÚ	hexdigest)ÚpathÚshaÚchunkr   s      @r   Ú_digestr      sÇ   ø€ Ý
Œ.Ñ
Ô
€CÝ	ˆd‰Œ�Š˜Ñ	Ô	ð  &ÝÐ>Ð>Ð>Ð>ÀÑDÔDð 	ð 	ˆEØ�JŠJ�uÑÔÐÐð	ðð ð ñ ô ð ð ð ð ð ð øøøð ð ð ð ð �=Š=‰?Œ?Ðs   ·,A0Á0A4Á7A4c                óÐ  — t          |¦  «        }|                     ¦   «         r&t          j        |                     ¦   «         ¦  «        ni }d}| D �]}|j                             d¦  «        p3|j                             d¦  «        p|j                             d¦  «        }|€ŒTt          |¦  «        }t          |¦  «        }|                     ¦   «         }|                     |¦  «        }|r#|d         |j	        k    r|d         |j
        k    rŒÀ|j	        |j
        t          |¦  «        |j        dœ||<   |d	z  }|d
z  dk    rt          ||¦  «         �Œt          ||¦  «         |S )zHHash canonical PCD or raster sources once and persist a resumable index.r   ÚpcdÚdepthÚ	intensityNÚsizeÚmtime_ns)r   r   r   Úframe_idé   éd   )r   ÚexistsÚjsonÚloadsÚ	read_textÚpathsÚgetÚstrÚstatÚst_sizeÚst_mtime_nsr   r   Ú_save_index)	ÚrecordsÚ
cache_pathÚcacheÚchangedÚrecordr   Úkeyr)   Úpreviouss	            r   Úhash_sensor_filesr4      sd  € å�jÑ!Ô!€JØ2<×2CÒ2CÑ2EÔ2EÐM�DŒJ�z×+Ò+Ñ-Ô-Ñ.Ô.Ð.È2€EØ€GØð +ñ +ˆØŒ|×Ò Ñ&Ô&Ðd¨&¬,×*:Ò*:¸7Ñ*CÔ*CÐdÀvÄ|×GWÒGWÐXcÑGdÔGdˆØˆ<ØÝ�D‰zŒzˆÝ�$‰iŒiˆØ�yŠy‰{Œ{ˆØ—9’9˜S‘>”>ˆØð 	˜ Ô(¨D¬LÒ8Ð8¸XÀjÔ=QÐUYÔUeÒ=eÐ=eØØ"œl¸Ô8HÝ '¨¡¤¸6¼?ðLð Lˆˆc‰
à�1‰ˆØ�S‰=˜AÒÐÝ˜
 EÑ*Ô*Ð*ùÝ�
˜EÑ"Ô"Ð"Ø€Lr   c                óô   — | j                              dd¬¦  «         |                      | j        dz   ¦  «        }|                     t          j        |d¬¦  «        ¦  «         t          j        || ¦  «         d S )NT)ÚparentsÚexist_okz.tmp)Ú	sort_keys)	ÚparentÚmkdirÚ	with_nameÚnameÚ
write_textr#   ÚdumpsÚosr   )r   r/   Ú	temporarys      r   r,   r,   -   sp   € Ø„K×Ò˜d¨TÐÑ2Ô2Ð2Ø—’˜tœy¨6Ñ1Ñ2Ô2€IØ×Ò�œ E°TÐ:Ñ:Ô:Ñ;Ô;Ð;Ý„Jˆy˜$ÑÔÐÐÐr   c                ó¨  ‡‡	— d„ | D ¦   «         Š	ˆ	fd„Šˆˆ	fd„}i }| D ]§}|j                              d¦  «        p3|j                              d¦  «        p|j                              d¦  «        }|r"|                     t          |¦  «        ¦  «        nd}|sŒy|d         }||v r ||j        ||         ¦  «         Œ�|j        ||<   Œ¨ˆfd	„| D ¦   «         S )
zDGive byte-identical captures the same group, including across dates.c                ó(   — i | ]}|j         |j         “ŒS © ©Úgroup_id)Ú.0r1   s     r   ú
<dictcomp>z*unify_duplicate_groups.<locals>.<dictcomp>6   s   € ÐEÐEÐE°6ˆfŒo˜vœÐEÐEÐEr   c                ój   •— ‰|          | k    r%‰‰|                   ‰| <   ‰|          } ‰|          | k    °%| S ©NrC   )Úgroupr9   s    €r   Úfindz$unify_duplicate_groups.<locals>.find8   sE   ø€ Ø�UŒm˜uÒ$Ð$Ø" 6¨%¤=Ô1ˆF�5‰MØ˜5”MˆEð �UŒm˜uÒ$Ð$ð ˆr   c                ó†   •—  ‰| ¦  «         ‰|¦  «        }} | |k    r#t          | |¦  «        ‰t          | |¦  «        <   d S d S rI   )ÚminÚmax)ÚaÚbrK   r9   s     €€r   Úunionz%unify_duplicate_groups.<locals>.union>   sL   ø€ Øˆt�A‰wŒw˜˜˜Q™œˆ1ˆØ�Š6ˆ6Ý # A q¡	¤	ˆF•3�q˜!‘9”9ÑÐÐð ˆ6r   r   r   r   Nr   c                óN   •— g | ]!}t          | ‰|j        ¦  «        ¬ ¦  «        ‘Œ"S )rD   )r   rE   )rF   r1   rK   s     €r   ú
<listcomp>z*unify_duplicate_groups.<locals>.<listcomp>N   s2   ø€ ÐRÐRÐRÀ�G�F T T¨&¬/Ñ%:Ô%:Ð;Ñ;Ô;ÐRÐRÐRr   )r&   r'   r(   rE   )
r-   Ú
file_indexrQ   Úseenr1   r   ÚitemÚdigestrK   r9   s
           @@r   Úunify_duplicate_groupsrX   4   s$  øø€ àEÐE¸WÐEÑEÔE€Fðð ð ð ð ð*ð *ð *ð *ð *ð *ð
 €DØð 	+ð 	+ˆØŒ|×Ò Ñ&Ô&Ðd¨&¬,×*:Ò*:¸7Ñ*CÔ*CÐdÀvÄ|×GWÒGWÐXcÑGdÔGdˆØ,0Ð:ˆz�~Š~�c $™iœiÑ(Ô(Ð(°dˆØð 	ØØ�h”ˆØ�Tˆ>ˆ>ØˆE�&”/ 4¨¤<Ñ0Ô0Ð0Ð0à!œ?ˆD�‰LˆLØRÐRÐRÐRÈ'ÐRÑRÔRÐRr   )Ú__doc__Ú
__future__r   Úcollectionsr   Údataclassesr   r   r#   r?   Úpathlibr   r   r4   r,   rX   rC   r   r   ú<module>r^      s¹   ðØ MÐ Mà "Ð "Ð "Ð "Ð "Ð "à #Ð #Ð #Ð #Ð #Ð #Ø Ð Ð Ð Ð Ð Ø €€€Ø €€€Ø 	€	€	€	Ø Ð Ð Ð Ð Ð ðð ð ðð ð ð0 ð  ð  ðSð Sð Sð Sð Sr   