§
    eÕ¸jÒk  ã                  ó  — d Z ddlmZ ddlmZmZ ddlZddlZddlZddl	Z	ddl
Z
ddlmZmZ ddlZddlZddlZddlZddlZddlmZmZ dZdZd	Zd
Zh d£Zd„ Zd„ Zd„ Zd„ Zd„ Zdd„Z d„ Z!dd„Z"dd„Z#d„ Z$e%dk    r e$¦   «          dS dS )zIRead-only, bounded inventory of a pallet dataset and its archive members.é    )Úannotations)ÚCounterÚdefaultdictN)ÚPathÚPurePosixPath)Ú_TIMEÚscan_dataseti   i @  l        l       2 >   ú.jpgú.pngú.pcdú.yamlc                óð   — | j                              ¦   «         }|                     d¦  «        rdS |                     d¦  «        rdS |                     d¦  «        rdS |                     d¦  «        rdS d S )	Nú.tar.gzútar.gzú.zipÚzipz.rarÚrarú.gzÚgz)ÚnameÚlowerÚendswith)Úpathr   s     úpallet/data/inventory.pyÚ_typer      s|   € ØŒ9�?Š?ÑÔ€DØ‡}‚}�YÑÔð ØˆxØ‡}‚}�VÑÔð ØˆuØ‡}‚}�VÑÔð ØˆuØ‡}‚}�UÑÔð ØˆtØˆ4ó    c                óÖ   — t          j        ¦   «         }|                      d¦  «        x}r,|                     |¦  «         |                      d¦  «        x}°,|                     ¦   «         S )Né   )ÚhashlibÚsha256ÚreadÚupdateÚ	hexdigest)ÚstreamÚdigestÚchunks      r   Ú_hashr'   )   sg   € ÝŒ^ÑÔ€FØ—;’;˜{Ñ+Ô+Ð
+ˆ%ð Ø�Š�eÑÔÐð —;’;˜{Ñ+Ô+Ð
+ˆ%ð à×ÒÑÔÐr   c                óð   — d}|                       d¦  «        5 }|                     d¦  «        x}r,t          j        ||¦  «        }|                     d¦  «        x}°,d d d ¦  «         n# 1 swxY w Y   |dz  S )Nr   Úrbr   l   ÿÿ )Úopenr!   ÚzlibÚcrc32)r   Úcrcr$   r&   s       r   Ú_crcr.   0   s»   € Ø
€CØ	�Š�4‰Œð )˜FØ—{’{ ;Ñ/Ô/Ð/ˆeð 	)Ý”*˜U CÑ(Ô(ˆCð —{’{ ;Ñ/Ô/Ð/ˆeð 	)ð)ð )ð )ñ )ô )ð )ð )ð )ð )ð )ð )øøøð )ð )ð )ð )ð �ÑÐs   ˜AA(Á(A,Á/A,c           
     óT	  — i }|                       d¦  «        5 }d}|t          k     �r(|                     t          t          |z
  d¦  «        ¦  «        }|t	          |¦  «        z  }|r|                     d¦  «        s	 ddd¦  «         dS 	 |                     d¦  «                             ¦   «                              ¦   «         }n# t          $ r Y ddd¦  «         dS w xY w|r@|d          
                    d	¦  «        s%|d
d…         ||d                              ¦   «         <   |r|d                              ¦   «         dk    rn|t          k     �°(	 ddd¦  «         dS 	 |                     d|                     dg ¦  «        ¦  «        }d„ |d         D ¦   «         }|d         }d„ |                     ddgt	          |¦  «        z  ¦  «        D ¦   «         }	t          |d         d         ¦  «        }
t          |d         d         ¦  «        }t          |d         d         ¦  «        }|d         d                              ¦   «         }h d£                     t!          |¦  «        ¦  «        r†|
d
k     s€|d
k     sz||
|z  k    sq|d
k     sk|dvsgt	          |¦  «        t	          |¦  «        cxk    r't	          |¦  «        cxk    rt	          |	¦  «        k    rn nt#          d„ ||	z   D ¦   «         ¦  «        r	 ddd¦  «         dS t%          ||¦  «        D ])\  }}|dk    r|dvs|dv r|dvs|d vr ddd¦  «         d!S Œ*|                      ¦   «         j        |                     ¦   «         z
  }|d"k    r<||t-          d#„ t%          ||	¦  «        D ¦   «         ¦  «        z  k     r	 ddd¦  «         d$S |d%k    r“|                     d&¦  «        }t	          |¦  «        d&k    r	 ddd¦  «         d'S t1          j        d(|¦  «        \  }}||d&z   k     s.||t-          d)„ t%          ||	¦  «        D ¦   «         ¦  «        z  k    r	 ddd¦  «         d*S |dk    r|dk    r	 ddd¦  «         d+S |
|||d,œdfcddd¦  «         S # t4          t6          t8          t:          f$ r Y ddd¦  «         dS w xY w# 1 swxY w Y   dS )-zJValidate metadata and minimum binary payload without reading point arrays.r)   r   i   ó   
N)NÚincomplete_pcd_headerÚascii)NÚnon_ascii_pcd_headerú#é   ÚDATA)NÚpcd_header_limitÚFIELDSÚFIELDc                ó,   — g | ]}t          |¦  «        ‘ŒS © ©Úint©Ú.0Úxs     r   ú
<listcomp>z_pcd_header.<locals>.<listcomp>N   s   € Ð4Ð4Ð4 •S˜‘V”VÐ4Ð4Ð4r   ÚSIZEÚTYPEc                ó,   — g | ]}t          |¦  «        ‘ŒS r;   r<   r>   s     r   rA   z_pcd_header.<locals>.<listcomp>P   s   € ÐOÐOÐO •c˜!‘f”fÐOÐOÐOr   ÚCOUNTÚ1ÚWIDTHÚHEIGHTÚPOINTS>   r@   ÚyÚz>   r2   ÚbinaryÚbinary_compressedc              3  ó"   K  — | ]
}|d k     V — ŒdS )r5   Nr;   r>   s     r   ú	<genexpr>z_pcd_header.<locals>.<genexpr>Y   s&   è è € Ð6Ð6 !˜˜AšÐ6Ð6Ð6Ð6Ð6Ð6r   )NÚinvalid_pcd_metadataÚF)é   é   )ÚIÚU)r5   é   rR   rS   )rQ   rT   rU   )NÚunsupported_pcd_fieldrL   c              3  ó&   K  — | ]\  }}||z  V — Œd S ©Nr;   ©r?   ÚaÚbs      r   rO   z_pcd_header.<locals>.<genexpr>_   s*   è è € Ð<bÐ<bÁtÀqÈ!¸QÀ¹UÐ<bÐ<bÐ<bÐ<bÐ<bÐ<br   )NÚtruncated_binary_pcdrM   rS   )NÚtruncated_compressed_pcdz<IIc              3  ó&   K  — | ]\  }}||z  V — Œd S rY   r;   rZ   s      r   rO   z_pcd_header.<locals>.<genexpr>f   s+   è è € ÐDjÐDjÉtÈqÐRSÀQÈÁUÐDjÐDjÐDjÐDjÐDjÐDjr   )NÚinvalid_compressed_pcd_size)NÚempty_ascii_pcd_payload)ÚwidthÚheightÚpointsÚdata)r*   ÚHEADER_LIMITÚreadlineÚminÚlenr   ÚdecodeÚstripÚsplitÚUnicodeDecodeErrorÚ
startswithÚupperÚgetr=   r   ÚissubsetÚsetÚanyr   ÚstatÚst_sizeÚtellÚsumr!   ÚstructÚunpackÚKeyErrorÚ
IndexErrorÚ
ValueErrorÚOverflowError)r   Úheaderr$   ÚconsumedÚlineÚpartsÚfieldsÚsizesÚtypesÚcountsrb   rc   rd   ÚmodeÚsizeÚkindÚ	remainingÚsizes_headerÚ
compressedÚraws                       r   Ú_pcd_headerr�   8   s�  € à€FØ	�Š�4‰Œð 10˜FØˆØ�Ò%Ñ%Ø—?’?¥3¥|°hÑ'>ÀÑ#EÔ#EÑFÔFˆDØ�˜D™	œ	Ñ!ˆHØð 5˜tŸ}š}¨UÑ3Ô3ð 5Ø4ð10ð 10ð 10ñ 10ô 10ð 10ð 10ð 10ð4ØŸš GÑ,Ô,×2Ò2Ñ4Ô4×:Ò:Ñ<Ô<��øÝ%ð 4ð 4ð 4Ø3ð10ð 10ð 10ñ 10ô 10ð 10ð 10ð 10ð4øøøàð 5˜U 1œX×0Ò0°Ñ5Ô5ð 5Ø+0°°°¬9��u˜Q”x—~’~Ñ'Ô'Ñ(Øð ˜˜qœŸšÑ)Ô)¨VÒ3Ð3Øð �Ò%Ñ%ð ,ð!10ð 10ð 10ñ 10ô 10ð 10ð 10ð 10ð" 	0Ø—Z’Z ¨&¯*ª*°W¸bÑ*AÔ*AÑBÔBˆFØ4Ð4 V¨F¤^Ð4Ñ4Ô4ˆEØ˜6”NˆEØOÐO f§j¢j°¸3¸%Å#ÀfÁ+Ä+Ñ:MÑ&NÔ&NÐOÑOÔOˆFÝ˜˜wœ¨Ô*Ñ+Ô+ˆEÝ˜ Ô)¨!Ô,Ñ-Ô-ˆFÝ˜ Ô)¨!Ô,Ñ-Ô-ˆFØ˜&”> !Ô$×*Ò*Ñ,Ô,ˆDØ#�O�O×,Ò,­S°©[¬[Ñ9Ô9ð 4¸UÀQºY¸YÈ&ÐSTÊ*È*Ø ¨¡Ò/Ð/°6¸A²:°:ÀØ<ðB=ð B=å˜F™œ¥s¨5¡z¤zÐNÐNÒNÐNµS¸±Z´ZÐNÐNÒNÐNÅ3ÀvÁ;Ä;ÒNÐNÐNÐNÐNÝÐ6Ð6 u¨v¡~Ð6Ñ6Ô6Ñ6Ô6ð Oà3ð?10ð 10ð 10ñ 10ô 10ð 10ð 10ð 10õ@ " %¨Ñ/Ô/ð 9ð 9‘
��dØ˜C’K�K D°Ð$6Ð$6¸DÀJÐ<NÐ<NÐSWÐ_kÐSkÐSkÐptð  }Lð  qLð  qLØ8ðE10ð 10ð 10ñ 10ô 10ð 10ð 10ð 10ðB qLàŸ	š	™œÔ+¨f¯kªk©m¬mÑ;ˆIØ�xÒÐ I°½Ð<bÐ<bÍsÐSXÐZ`ÑOaÔOaÐ<bÑ<bÔ<bÑ9bÔ9bÑ0bÒ$bÐ$bØ3ðK10ð 10ð 10ñ 10ô 10ð 10ð 10ð 10ðL Ð*Ò*Ð*Ø%Ÿ{š{¨1™~œ~�Ý�|Ñ$Ô$¨Ò)Ð)Ø;ðS10ð 10ð 10ñ 10ô 10ð 10ð 10ð 10õT #)¤-°°|Ñ"DÔ"D‘�
˜CØ˜z¨A™~Ò-Ð-°¸ÅÐDjÐDjÕWZÐ[`ÐbhÑWiÔWiÐDjÑDjÔDjÑAjÔAjÑ8jÒ1jÐ1jØ>ðY10ð 10ð 10ñ 10ô 10ð 10ð 10ð 10ðZ �wŠˆ 9°¢> >Ø6ð]10ð 10ð 10ñ 10ô 10ð 10ð 10ð 10ð^ #¨fÀÐPTÐUÐUÐW[Ð[ð_10ð 10ð 10ð 10ñ 10ô 10ð 10ð 10øõ` �*¥jµ-Ð@ð 	0ð 	0ð 	0Ø/ðc10ð 10ð 10ñ 10ô 10ð 10ð 10ð 10ð`	0øøøða10ð 10ð 10ð 10øøøð 10ð 10ð 10ð 10ð 10ð 10s|   ˜A$RÂ
9CÃRÃ
CÃRÃCÃA3RÅFQ.Ë<,Q.Ì5A#Q.Î&.Q.Ï"AQ.Ð?Q.ÑQ.Ñ.RÒRÒRÒRÒR!Ò$R!c                óà  — t          |                     dd¦  «        ¦  «        }|                     ¦   «         s%d|j        v s|j        r|                     d¦  «        rg dfS t          |j        Ž }|j                             d¦  «                             d¦  «                             d¦  «        }|j        |z  | |z  |j        |z  |z  g}g }	|D ]0}
|
|v r*||
         j	        |k    r|
|	vr|	 
                    |
¦  «         Œ1|j        }t          |¦  «        dk    rS|d	         |k    rG|j        t          |dd …         Ž z  }
|
|v r*||
         j	        |k    r|
|	vr|	 
                    |
¦  «         |	d fS )
Nú\ú/z..Úunsafe_member_pathr   r   r   r5   r   )r   ÚreplaceÚis_absoluter�   r   r   r   ÚremovesuffixÚparentru   Úappendri   )ÚrootÚarchiver   r‡   ÚfilesÚmemberÚrelativeÚstemÚguessesÚfoundÚguessr�   s               r   Ú_candidatesr    o   sŒ  € Ý˜4Ÿ<š<¨¨cÑ2Ô2Ñ3Ô3€FØ×ÒÑÔð (˜t v¤|Ð3Ð3¸6¼<Ð3È4Ï=Ê=ÐY\ÑK]ÔK]Ð3ØÐ'Ð'Ð'Ý�V”\Ð"€HØŒ<×$Ò$ YÑ/Ô/×<Ò<¸VÑDÔD×QÒQÐRWÑXÔX€DØŒ~ Ñ(¨$°©/¸7¼>ÈDÑ;PÐS[Ñ;[Ð\€GØ€EØð  ð  ˆØ�Eˆ>ˆ>˜e EœlÔ2°dÒ:Ð:¸uÈEÐ?QÐ?QØ�LŠL˜ÑÔÐøàŒN€EÝ
ˆ5�z„z�A‚~€~˜% œ( dÒ*Ð*Ø”¥ u¨Q¨R¨R¤yÐ!1Ñ1ˆØ�Eˆ>ˆ>˜e EœlÔ2°dÒ:Ð:¸uÈEÐ?QÐ?QØ�LŠL˜ÑÔÐØ�$ˆ;Ðr   c                óN  ‡ ‡— t          ‰ ||||¦  «        \  }}dt          |                     ‰ ¦  «        ¦  «        ||d|pddœ}	|s|s|	S ˆ fd„|D ¦   «         |	d<   |t          k    rd|	d<   |	S ‰�ˆfd	„|D ¦   «         }
d
}nt|�nt	          |¦  «        }g }
|D ]W}|                     d¦  «        5 }t	          |¦  «        |k    r|
                     |¦  «         d d d ¦  «         n# 1 swxY w Y   ŒXd}ng }
d }|
r&|	                     dd|ˆ fd„|
D ¦   «         ¬¦  «         n	|rdnd|	d<   |	S )NÚarchive_memberÚpendingÚno_extracted_size_match©rˆ   r˜   rš   r‡   ÚclassificationÚreasonc                óT   •— g | ]$}t          |                     ‰¦  «        ¦  «        ‘Œ%S r;   ©ÚstrÚrelative_to©r?   Úpr—   s     €r   rA   z_member.<locals>.<listcomp>‰   s-   ø€ ÐHÐHÐH¸1�c !§-¢-°Ñ"5Ô"5Ñ6Ô6ÐHÐHÐHr   Úcandidate_pathsÚcontent_check_limit_exceededr§   c                ó:   •— g | ]}t          |¦  «        ‰k    ¯|‘ŒS r;   )r.   )r?   r­   Úexpected_crcs     €r   rA   z_member.<locals>.<listcomp>Ž   s)   ø€ ÐBÐBÐB˜!­$¨q©'¬'°\Ò*AÐ*A�AÐ*AÐ*AÐ*Ar   Úsize_and_crc32r)   Úsize_and_sha256Ú	duplicateÚmatches_extracted_contentc                óT   •— g | ]$}t          |                     ‰¦  «        ¦  «        ‘Œ%S r;   r©   r¬   s     €r   rA   z_member.<locals>.<listcomp>�   s-   ø€ Ð,XÐ,XÐ,XÈ!­S°·²¸tÑ1DÔ1DÑ-EÔ-EÐ,XÐ,XÐ,Xr   ©r¦   r§   ÚevidenceÚmatchesÚcontent_mismatchÚcontent_unverified)r    rª   r«   Ú
READ_LIMITr'   r*   r–   r"   )r—   r˜   r   r‡   r™   r±   r$   r¹   ÚissueÚrowÚverifiedÚmethodr%   r   Úsources   `    `         r   Ú_memberrÂ   ƒ   sî  øø€ Ý   w°°d¸EÑBÔB�N€GˆUØ#µ°G×4GÒ4GÈÑ4MÔ4MÑ0NÔ0NØ 4¸9ÐPUÐPrÐYrðtð t€Càð �Gð Øˆ
ØHÐHÐHÐHÀÐHÑHÔH€CÐÑØ�jÒÐØ6ˆˆH‰Øˆ
ØÐØBÐBÐBÐB˜wÐBÑBÔBˆØ!ˆˆØ	Ð	Ý�v‘”ˆØˆØð 	*ð 	*ˆDØ—’˜4‘”ð * FÝ˜‘=”= FÒ*Ð*Ø—O’O DÑ)Ô)Ð)ð*ð *ð *ñ *ô *ð *ð *ð *ð *ð *ð *øøøð *ð *ð *ð *øð #ˆˆàˆØˆØð OØ�
Š
 +Ð6QØ"Ð,XÐ,XÐ,XÐ,XÈxÐ,XÑ,XÔ,Xð 	ñ 	Zô 	Zð 	Zð 	Zð /5ÐNÐ*Ð*Ð:NˆˆH‰Ø€Js   Â,)C!Ã!C%	Ã(C%	c           
   #  ó  K  — t          |¦  «        }	 |dk    r‚t          j        |¦  «        5 }|                     ¦   «         D ]<}|                     ¦   «         s&t          | ||j        |j        ||j        ¬¦  «        V — Œ=	 d d d ¦  «         n# 1 swxY w Y   d S d S |dk    �rt          j
        |d¦  «        5 }|D ]Ì}|                     ¦   «         rmt          | ||j        |j        |¦  «        \  }}|r'|s%|j        t          k    r|                     |¦  «        nd }t          | ||j        |j        ||¬¦  «        V — Œƒ|                     ¦   «         s5dt%          |                     | ¦  «        ¦  «        |j        |j        ddd	œV — ŒÍ	 d d d ¦  «         n# 1 swxY w Y   d S d S |d
k    �r	|j        d d…         }	t)          j
        |d¦  «        5 }| 
                    d¦  «        5 }
|
                     dt,          j        ¦  «         t1          j        d|
                     d¦  «        ¦  «        d         }d d d ¦  «         n# 1 swxY w Y   |t          k    rt          | ||	|||¬¦  «        V — n+dt%          |                     | ¦  «        ¦  «        |	|ddd	œV — d d d ¦  «         n# 1 swxY w Y   d S d S |dk    rÌ	 dd l}n;# t8          $ r. dt%          |                     | ¦  «        ¦  «        d dddœV — Y d S w xY w|                     |¦  «        5 }|                     ¦   «         D ]E}|                     ¦   «         s/t          | ||j        |j        ||j        �|j        nd ¬¦  «        V — ŒF	 d d d ¦  «         d S # 1 swxY w Y   d S d S # t<          t>          t@          t          j!        t          j"        f$ rK}dt%          |                     | ¦  «        ¦  «        d ddt%          |¦  «        d d…         dœV — Y d }~d S d }~ww xY w)Nr   )r±   r   úr|gz)r$   r¢   r£   Únon_regular_tar_memberr¥   r   éýÿÿÿr)   éüÿÿÿz<IrR   r   r¯   r   Úrar_listing_decoder_unavailable)rˆ   r˜   rš   r¦   r§   Úarchive_read_erroréÈ   ©rˆ   r˜   rš   r¦   r§   Úerror)#r   ÚzipfileÚZipFileÚinfolistÚis_dirrÂ   ÚfilenameÚ	file_sizeÚCRCÚtarfiler*   Úisfiler    r   r‡   r¼   ÚextractfileÚisdirrª   r«   ÚgzipÚseekÚosÚSEEK_ENDrx   ry   r!   ÚrarfileÚImportErrorÚRarFileÚOSErrorÚEOFErrorr|   ÚTarErrorÚ
BadZipFile)r—   r˜   r™   rˆ   rÁ   Úinfor¹   r½   r$   r   r‹   Úraw_sizerÜ   Úexcs                 r   Ú_archive_membersræ   £   sŠ  è è € Ý�‰>Œ>€Dð/(Ø�5Š=ˆ=Ý” Ñ)Ô)ð r¨VØ"ŸOšOÑ-Ô-ð rð r�DØŸ;š;™=œ=ð rÝ% d¨G°T´]ÀDÄNÐTYÐhlÔhpÐqÑqÔqÐqÐqÐqøðrðrð rð rñ rô rð rð rð rð rð rð røøøð rð rð rð rð rð rð rð rð �XÒÑÝ”˜g vÑ.Ô.ð 
C°&Ø"ð 	Cð 	C�DØ—{’{‘}”}ð Cå)4°T¸7ÀDÄIÈtÌyÐZ_Ñ)`Ô)`™˜ Ø=DÐ!xÈUÐ!xÐW[ÔW`ÕdnÒWnÐWn ×!3Ò!3°DÑ!9Ô!9Ð!9Ðtx˜Ý% d¨G°T´YÀÄ	È5ÐY_Ð`Ñ`Ô`Ð`Ð`Ð`Ð`Ø!ŸZšZ™\œ\ð CØ'7ÅCÈ×H[ÒH[Ð\`ÑHaÔHaÑDbÔDbØ)-¬¸D¼IÐYbØ)AðCð Cð Cð Cð Cøð	Cð
Cð 
Cð 
Cñ 
Cô 
Cð 
Cð 
Cð 
Cð 
Cð 
Cð 
Cøøøð 
Cð 
Cð 
Cð 
Cð 
Cð 
Cð 
Cð 
Cð �TŠ\‰\Ø”<   Ô$ˆDÝ”˜7 DÑ)Ô)ð E¨Vð —\’\ $Ñ'Ô'ð J¨:Ø—O’O B­¬Ñ4Ô4Ð4Ý%œ}¨T°:·?²?À1Ñ3EÔ3EÑFÔFÀqÔI�HðJð Jð Jñ Jô Jð Jð Jð Jð Jð Jð Jøøøð Jð Jð Jð Jð �zÒ)Ð)Ý! $¨°°xÀÈvÐVÑVÔVÐVÐVÐVÐVà#3ÅÀG×DWÒDWÐX\ÑD]ÔD]Ñ@^Ô@^Ø%)°8ÈyØ%CðEð Eð Eð Eð EðEð Eð Eñ Eô Eð Eð Eð Eð Eð Eð Eøøøð Eð Eð Eð Eð Eð Eð Eð Eð �UŠ]ˆ]ðØ����øÝð ð ð Ø/½CÀ×@SÒ@SÐTXÑ@YÔ@YÑ<ZÔ<ZØ!%¸ÐNoðqð qð qð qð qà��ðøøøð —’ Ñ)Ô)ð _¨VØ"ŸOšOÑ-Ô-ð _ð _�DØŸ:š:™<œ<ð _Ý% d¨G°T´]ÀDÄNÐTYØ?C¼xÐ?S°4´8°8ÐY]ð_ñ _ô _ð _ð _ð _øð_ð_ð _ð _ñ _ô _ð _ð _ð _ð _ð _ð _ð _øøøð _ð _ð _ð _ð _ð _ð ˆ]øõ •X�z­7Ô+;½WÔ=OÐPð (ð (ð (Ø'µC¸×8KÒ8KÈDÑ8QÔ8QÑ4RÔ4RØ°ÐFZÝ˜C™œ  # œð(ð (ð 	(ð 	(ð 	(ð 	(ð 	(ð 	(ð 	(ð 	(ð 	(øøøøð(øøøs  “N ­ABÂ N ÂBÂN ÂBÂN ÂN Â7CFÆN ÆFÆN ÆFÆN Æ#+N ÇJ$Ç$AH?È3J$È?I	ÉJ$ÉI	ÉAJ$ÊN Ê$J(Ê(N Ê+J(Ê,N Ê3N Ê:J? Ê>N Ê?4K7Ë3N Ë6K7Ë7N ÌAM8Í+N Í8M<Í<N Í?M<Î N Î-O?Î4A O:Ï:O?c                ó  ‡ ‡‡‡‡‡— t          ‰ ¦  «                             ¦   «         t          |¦  «        cŠ }‰                      ¦   «         st          ‰ ¦  «        ‚d„ ‰                      d¦  «        D ¦   «         }t          ‰ ¦  «        }i }|D ]4}|j                             ¦   «         D ]\  }Š|j        |j	        |dœ|‰<   ŒŒ5|rTt          |¦  «         
                    ¦   «         r3t          j        t          |¦  «                             ¦   «         ¦  «        ni }i }	t          t          ¦  «        }
|                     ¦   «         D ]“\  }}t          |¦  «        Š|                     ‰¦  «        }|rh|j        |                     d¦  «        k    rJ|j        |                     d¦  «        k    r,|d         |	‰<   |
|d                                       ‰¦  «         Œ”|                     dd¬¦  «         t+          ¦   «         t+          ¦   «         cŠŠt          t*          ¦  «        Šg }d	}|d
z                       d¦  «        5 Šˆˆˆˆfd„}t/          |                     ¦   «         ¦  «        D �]Ö\  Š}t1          ‰                     ‰ ¦  «        ¦  «        }t5          ‰¦  «        }d||j        dœ}|j        d	k    r|                     dd¬¦  «         �nÄ‰j                             ¦   «         dk    r’t=          ‰¦  «        \  }}||d<   |r|                     d|¬¦  «         �nut?          j         ‰j!        ¦  «        s.|                     dd¬¦  «         |                     |¦  «         �n.|                     dd¬¦  «         �n|r|                     dd¬¦  «         nû| "                    d¦  «        rO‰j!         "                    d¦  «        r5‰j                             ¦   «         dk    r|                     dd¬¦  «         n—| "                    d¦  «        rO‰j!         "                    d¦  «        r5‰j                             ¦   «         dk    r|                     dd¬¦  «         n3‰|v r|                     dd ¬¦  «         n|                     dd!¬¦  «         ‰|v r|‰         |d"<   ‰|	v rh|	‰         }||d<   t/          ˆˆ fd#„|
|         D ¦   «         ¦  «        }|r7||d	         k    r+|d$         dk    r|                     d%d&|d	         g¬'¦  «          ||¦  «         |r$tG          ‰ ‰|¦  «        D ]} ||¦  «         |d(z  }Œ�ŒØ	 d d d ¦  «         n# 1 swxY w Y   t1          ‰ ¦  «        tI          |¦  «        tI          |¦  «        |tK          ‰¦  «        d)„ ‰                     ¦   «         D ¦   «         tK          ‰¦  «        |tI          |	¦  «        tL          d*œ
}|d+z   '                    t          j(        |d,d-¬.¦  «        d/z   ¦  «         |S )0Nc                ó`   — i | ]+}|                      ¦   «         ¯||                     ¦   «         “Œ,S r;   )Úis_filert   ©r?   r­   s     r   ú
<dictcomp>zinventory.<locals>.<dictcomp>Û   s/   € ÐAÐAÐA˜Q°Q·Y²Y±[´[ÐAˆQ�—’‘”ÐAÐAÐAr   Ú*)Úframe_idÚgroup_idÚmodalityr‡   Úmtime_nsr    T)ÚparentsÚexist_okr   úitems.jsonlÚwc                óþ   •— ‰| d         xx         dz  cc<   ‰| d                  | d         xx         dz  cc<   ‰| d         xx         dz  cc<   ‰                      t          j        | dd¬¦  «        dz   ¦  «         d S )	Nr¦   r5   rˆ   r§   TF©Ú	sort_keysÚensure_asciiú
)ÚwriteÚjsonÚdumps)r¾   Úby_kindr…   ÚreasonsÚreports    €€€€r   Úemitzinventory.<locals>.emitð   sž   ø€ Ø�3Ð'Ô(Ð)Ð)Ô)¨QÑ.Ð)Ð)Ñ)Ø�C˜”KÔ  Ð%5Ô!6Ð7Ð7Ô7¸1Ñ<Ð7Ð7Ñ7Ø�C˜”MÐ"Ð"Ô" aÑ'Ð"Ð"Ñ"Ø�LŠL�œ C°4ÀeÐLÑLÔLÈtÑSÑTÔTÐTÐTÐTr   Úfile)rˆ   r   r‡   ÚdamagedÚ
zero_bytes©r¦   r§   r   Ú
pcd_headerr£   Únon_timestamp_pcd_candidateÚusedÚvalid_timestamped_pcdÚarchive_requires_member_reviewz2024_11_27/Ú	xyz_imager   Úreported_truncated_xyz_yamlz
2023_10_7/Úamplitude_imageÚ reported_all_zero_intensity_yamlÚmanifest_sensor_fileÚoutside_manifestÚmanifestc              3  óh   •K  — | ],}|‰k    ¯t          |                     ‰¦  «        ¦  «        V — Œ-d S rY   r©   )r?   r­   r   r—   s     €€r   rO   zinventory.<locals>.<genexpr>  sC   øè è € Ð]Ð]¸AÐSTÐX\ÒS\ÐS\�s 1§=¢=°Ñ#6Ô#6Ñ7Ô7ÐS\ÐS\ÐS\ÐS\Ð]Ð]r   r¦   r´   Úsame_sha256_as_file)r¦   r§   r¹   r5   c                ó4   — i | ]\  }}|t          |¦  «        “ŒS r;   ©Údict)r?   rˆ   Úvaluess      r   rë   zinventory.<locals>.<dictcomp>  s$   € Ð*bÐ*bÐ*bÁ,À$È¨4µ°f±´Ð*bÐ*bÐ*br   )
r—   r™   Úmanifest_recordsÚarchive_member_rowsÚclassificationsÚclassifications_by_kindrþ   Únon_timestamp_pcd_candidatesÚhash_cache_valid_entriesÚcontent_check_limit_bytesúsummary.jsonrV   F©Úindentrø   rù   ))r   ÚresolverÐ   ÚFileNotFoundErrorÚrglobr	   ÚpathsÚitemsrí   rî   Úexistsrû   ÚloadsÚ	read_textr   Úlistrp   ru   Úst_mtime_nsr–   Úmkdirr   r*   Úsortedrª   r«   r   r"   Úsuffixr   r�   r   Úsearchr   rn   ræ   ri   r  r¼   Ú
write_textrü   )r—   ÚoutputÚ
hash_cacher™   Úrecordsr  Úrecordrï   ÚhashesÚvalid_hashesÚgroupsr   Úitemrt   Únon_timestampÚmembersr   Úrelrˆ   r¾   r~   rÌ   r%   Úpeersrš   Úsummaryrý   r…   r   rþ   rÿ   s   `                         @@@@@r   Ú	inventoryr=  ×   sŽ  øøøøøø€ Ý˜‘:”:×%Ò%Ñ'Ô'­¨f©¬€L€Dˆ&Ø�;Š;‰=Œ=ð &Ý Ñ%Ô%Ð%ØAÐA $§*¢*¨S¡/¤/ÐAÑAÔA€EÝ˜4Ñ Ô €GØ€HØð nð nˆØ$œl×0Ò0Ñ2Ô2ð 	nð 	n‰NˆH�dØ*0¬/ÀvÄÐdlÐmÐmˆH�T‰NˆNð	nà9CÐiÍÈZÑHXÔHX×H_ÒH_ÑHaÔHaÐi�TŒZ�˜ZÑ(Ô(×2Ò2Ñ4Ô4Ñ5Ô5Ð5Ðgi€FØ€LÝ�ÑÔ€FØ—l’l‘n”nð 0ð 0‰
ˆˆdÝ�D‰zŒzˆØ�yŠy˜‰ŒˆØð 	0�D”L D§H¢H¨VÑ$4Ô$4Ò4Ð4¸Ô9IÈTÏXÊXÐV`ÑMaÔMaÒ9aÐ9aØ!% h¤ˆL˜ÑØ�4˜”>Ô"×)Ò)¨$Ñ/Ô/Ð/øØ
‡L‚L˜¨€LÑ-Ô-Ð-Ý‘i”i¥¡¤€O€FˆGÝ�'Ñ"Ô"€GØ€MØ€GØ
�=Ñ
 ×	&Ò	& sÑ	+Ô	+ð -!¨vð	Uð 	Uð 	Uð 	Uð 	Uð 	Uð 	Uð 	Uõ ! §¢¡¤Ñ/Ô/ð &	!ñ &	!‰JˆD�$Ý�d×&Ò& tÑ,Ô,Ñ-Ô-ˆCÝ˜‘;”;ˆDØ!¨3¸¼ÐEÐEˆCØŒ|˜qÒ Ð Ø—
’
¨)¸L�
ÑIÔIÐIÑIØ”×"Ò"Ñ$Ô$¨Ò.Ð.Ý +¨DÑ 1Ô 1‘�˜Ø$*��LÑ!Øð VØ—J’J¨iÀ�JÑFÔFÐFÑFÝœ d¤iÑ0Ô0ð VØ—J’J¨iÐ@]�JÑ^Ô^Ð^Ø!×(Ò(¨Ñ-Ô-Ð-Ñ-à—J’J¨fÐ=T�JÑUÔUÐUÑUØð 	PØ—
’
¨)Ð<\�
Ñ]Ô]Ð]Ð]Ø—’ Ñ.Ô.ð P°4´9×3GÒ3GÈÑ3TÔ3Tð PÐY]ÔYd×YjÒYjÑYlÔYlÐpwÒYwÐYwØ—
’
¨)Ð<Y�
ÑZÔZÐZÐZØ—’ Ñ-Ô-ð P°$´)×2FÒ2FÐGXÑ2YÔ2Yð PÐ^bÔ^i×^oÒ^oÑ^qÔ^qÐu|Ò^|Ð^|Ø—
’
¨)Ð<^�
Ñ_Ô_Ð_Ð_Ø˜Ð!Ð!Ø—
’
¨&Ð9O�
ÑPÔPÐPÐPà—
’
¨)Ð<N�
ÑOÔOÐOØ�xÐÐØ"*¨4¤.��J‘Ø�|Ð#Ð#Ø% dÔ+�Ø &��H‘ÝÐ]Ð]Ð]Ð]Ð]ÀÈÄÐ]Ñ]Ô]Ñ]Ô]�Øð m˜S 5¨¤8š^˜^°Ð4DÔ0EÈÒ0RÐ0RØ—J’J¨kÐBWÐbgÐhiÔbjÐak�JÑlÔlÐlØˆD�‰IŒIˆIØð !Ý.¨t°T¸5ÑAÔAð !ð !�FØ�D˜‘L”L�LØ˜q‘L�G�GùðM&	!ð-!ð -!ð -!ñ -!ô -!ð -!ð -!ð -!ð -!ð -!ð -!øøøð -!ð -!ð -!ð -!õ\ ˜4‘y”y­3¨u©:¬:Í3ÈwÉ<Ì<Ø&-Å$ÀvÁ,Ä,Ø*bÐ*bÐRY×R_ÒR_ÑRaÔRaÐ*bÑ*bÔ*bÝ˜w™-œ-ÈÝ+.¨|Ñ+<Ô+<Õ[eð	gð g€Gð
 ˆnÑ×(Ò(­¬°GÀAÐTYÐ)ZÑ)ZÔ)ZÐ]aÑ)aÑbÔbÐbØ€Ns   È<LUÕUÕUc                ó‚  ‡ ‡‡*‡+‡,‡-‡.‡/‡0‡1— t          ‰ ¦  «                             ¦   «         t          ‰¦  «                             ¦   «         cŠ Š‰dz  }d„ |                     ¦   «         D ¦   «         Š1‰1D ]½}|                     d¦  «        r¦d|vr¢|d                              ¦   «         }|                     d¦  «        rOt          t          |d         ¦  «        ¦  «        \  }}||d<   |rd}	n"d	|v s|d
         dk    r|d         dvrd}	nd}	nd}	|	|d<   |	dk    r|                     dd¬¦  «         Œ¾t          t          ¦  «        Š.‰  
                    d¦  «        D ]H}
|
                     ¦   «         r2‰.|
                     ¦   «         j                                      |
¦  «         ŒI|rTt          |¦  «                             ¦   «         r3t!          j        t          |¦  «                             ¦   «         ¦  «        ni }i Š+|                     ¦   «         D ]ƒ\  }}t          |¦  «        }
|
                     ¦   «         r[|
                     ¦   «         }|j        |                     d¦  «        k    r)|j        |                     d¦  «        k    r|d         ‰+|
<   Œ„‰dz  Š,‰,                     d¬¦  «         t-          d„ ‰,                     ¦   «         D ¦   «         ¦  «        Š-ˆ+ˆ.ˆ fd„Š*ˆ*ˆ,ˆ-ˆfd„}d„ t1          ‰1¦  «        D ¦   «         }|�r	 ddl}n# t4          $ r d}Y nw xY w|rñ|r3t7          t          |¦  «                             ¦   «         ¦  «        |_        i Š0|D ]œŠ/‰ ‰1‰/         d          z  }	 |                     |¦  «        5 }ˆ/ˆ1fd!„|                     ¦   «         D ¦   «         ‰0‰/<   ddd¦  «         n# 1 swxY w Y   Œf# t>          $ r*}t7          |¦  «        dd"…         ‰1‰/         d#<   Y d}~Œ•d}~ww xY wˆ0fd$„t1          ‰1¦  «        D ¦   «         Š1t          t          ¦  «        }‰1D ]e}|d%         d&k    rW|d'         dk    rK|                     d¦  «        r6|                     d¦  «        s!||d                                        |¦  «         Œf|                     ¦   «         D �]Í\  }}‰ |z  }tA          |¦  «        }t          t          ¦  «        }|D ]+}||d         |d         f                              |¦  «         Œ,	 |d(k    ròtC          j"        |¦  «        5 }|                     ¦   «         D ]®}||j#        |j$        f         }|r–| %                    d¦  «        }|d         rmtM          |d         ¦  «        j'                             ¦   «         tP          v r:|                     |¦  «        5 } |||¦  «         ddd¦  «         n# 1 swxY w Y   Œ¢ ||d¦  «         Œ¯	 ddd¦  «         n# 1 swxY w Y   �n|d)k    rátS          j        |d*¦  «        5 }|D ]®}||j*        |j+        f         }|r–| %                    d¦  «        }|d         rmtM          |d         ¦  «        j'                             ¦   «         tP          v r:| ,                    |¦  «        5 } |||¦  «         ddd¦  «         n# 1 swxY w Y   Œ¢ ||d¦  «         Œ¯	 ddd¦  «         n# 1 swxY w Y   �n1|d+k    �r*ddl}|r3t7          t          |¦  «                             ¦   «         ¦  «        |_        |                     |¦  «        5 }|                     ¦   «         D ]®}||j#        |j$        f         }|r–| %                    d¦  «        }|d         rmtM          |d         ¦  «        j'                             ¦   «         tP          v r:|                     |¦  «        5 } |||¦  «         ddd¦  «         n# 1 swxY w Y   Œ¢ ||d¦  «         Œ¯	 ddd¦  «         n# 1 swxY w Y   �Œo# t>          $ rS}| -                    ¦   «         D ]3}|D ].}|                     d,t7          |¦  «        dd"…         ¬-¦  «         Œ/Œ4Y d}~�ŒÇd}~ww xY wd.„ ‰1D ¦   «         }g }t          ‰1¦  «        D �]ï}|d%         d&k    so|                     d¦  «        �Z|d                              ¦   «                              d/¦  «        r-|d                               ¦   «                              d0¦  «        sŒ|d          d1z   |d         z   }||v rŒ˜	 tC          j"        ‰ |d          z  ¦  «        5 }|                     |d         ¦  «        5 } tS          j        | d*¬2¦  «        5 }!|!D ]x}| .                    ¦   «         sŒd&||j*        |j+        dd3d4œ}"|! ,                    |¦  «        5 } ||"|¦  «         ddd¦  «         n# 1 swxY w Y   ‰1                     |"¦  «         Œy	 ddd¦  «         n# 1 swxY w Y   ddd¦  «         n# 1 swxY w Y   ddd¦  «         n# 1 swxY w Y   �Œ­# t>          $ r7}|                     |t7          |¦  «        dd"…         f¦  «         Y d}~�Œéd}~ww xY w|D ]!\  }}‰1                     d&|ddd5|d6œ¦  «         Œ"t_          d7„ ‰1D ¦   «         ¦  «        }#t          t^          ¦  «        }$t_          ¦   «         }%g }&‰1D �]}}|$|d%                  |d'         xx         dz  cc<   |%|d8         xx         dz  cc<   |                     d¦  «        �r,tM          |d         ¦  «        }tM          |d           0                    d1d¦  «        d         ¦  «        }|j1        r-|j1        d          2                    d9¦  «        r|j1        d         n2|j1        d          3                    d0¦  «         3                    d/¦  «        }'|&                     |d         |d          |d         |'t7          |j4        ¦  «        |j*        |d         |d         |                     dd¦  «        |                     dd¦  «        dk    d:œ
¦  «         �Œ| 5                    d;¦  «        }(|(                     d<¦  «        5 }‰1D ]/}| 6                    t!          j7        |dd=¬>¦  «        d?z   ¦  «         Œ0	 ddd¦  «         n# 1 swxY w Y   |( 8                    |¦  «         ‰d@z                       d<¦  «        5 }|&D ]/}| 6                    t!          j7        |dd=¬>¦  «        d?z   ¦  «         Œ0	 ddd¦  «         n# 1 swxY w Y   t!          j        ‰dAz                       ¦   «         ¦  «        })|)                     t-          dB„ ‰1D ¦   «         ¦  «        ts          |#¦  «        dC„ |$                     ¦   «         D ¦   «         ts          |%¦  «        tu          |&¦  «        t-          dD„ |&D ¦   «         ¦  «        ‰-tv          tx          ¬E¦	  «	         ‰dAz   =                    t!          j7        |)dFd=¬G¦  «        d?z   ¦  «         |)S )HzIResolve pending archive members by content and cache only unique sensors.ró   c                ó6   — g | ]}t          j        |¦  «        ‘ŒS r;   )rû   r'  )r?   r€   s     r   rA   z#resolve_pending.<locals>.<listcomp>*  s"   € Ð<Ð<Ð< �DŒJ�tÑÔÐ<Ð<Ð<r   Úextracted_pathÚsensor_rolerš   r   r  Úinvalid_pcdú	.section.rc   r5   rb   ©i ° i Z  Úpartial_or_unorganized_cloudÚframe_candidater£   Ú#unique_archived_sensor_needs_reviewr  rì   r‡   rð   r    Ú	extractedT)rò   c              3  óp   K  — | ]1}|                      ¦   «         ¯|                     ¦   «         j        V — Œ2d S rY   )ré   rt   ru   rê   s     r   rO   z"resolve_pending.<locals>.<genexpr>J  s:   è è € ÐYÐY¨qÈQÏYÊYÉ[Ì[ÐY˜!Ÿ&š&™(œ(Ô*ÐYÐYÐYÐYÐYÐYr   c                ó*  •— g }‰|          D ]†}|‰vr?|                      d¦  «        5 }t          |¦  «        ‰|<   d d d ¦  «         n# 1 swxY w Y   ‰|         |k    r5|                     t          |                     ‰¦  «        ¦  «        ¦  «         Œ‡|S )Nr)   )r*   r'   r–   rª   r«   )r‡   r%   rž   r   rÁ   Údisk_digestsÚfiles_by_sizer—   s        €€€r   Ú
candidatesz#resolve_pending.<locals>.candidatesL  s×   ø€ ØˆØ! $Ô'ð 	:ð 	:ˆDØ˜<Ð'Ð'Ø—Y’Y˜t‘_”_ð 7¨Ý).¨v©¬�L Ñ&ð7ð 7ð 7ñ 7ô 7ð 7ð 7ð 7ð 7ð 7ð 7øøøð 7ð 7ð 7ð 7à˜DÔ! VÒ+Ð+Ø—’�S ×!1Ò!1°$Ñ!7Ô!7Ñ8Ô8Ñ9Ô9Ð9øØˆs   §AÁA
	ÁA
	c                óÆ  •— | d         | d         }}t          |¦  «        j                             ¦   «         }|t          vr|                      dd¬¦  «         d S |dk    r|                      dd¬¦  «         d S |t
          k    r|                      dd	¬¦  «         d S |€|                      dd
¬¦  «         d S ‰|z   t          k    s%t          j        ‰¦  «        j	        |z
  t          k     r|                      dd¬¦  «         d S t          j        | d         dz   |z                        ¦   «         ¦  «                             ¦   «         }‰|dz   z  }t          j        ¦   «         }d}	 |                     d¦  «        5 }	|                     d¦  «        x}
rh|t#          |
¦  «        z  }||k    rt%          d¦  «        ‚|                     |
¦  «         |	                     |
¦  «         |                     d¦  «        x}
°hd d d ¦  «         n# 1 swxY w Y   ||k    rt%          d¦  «        ‚|                     ¦   «         }|| d<    ‰||¦  «        }|r/|                      ddd|¬¦  «         |                     ¦   «          d S ‰||z   z  }|                     ¦   «         r=|                      dddt-          |¦  «        g¬¦  «         |                     ¦   «          d S |                     |¦  «         ‰|z  Šd}|dk    rJt1          |¦  «        \  }}|| d<   |rd}n.d|                     ¦   «         v s|d         dk    r|d          d!vrd"}|                      |dk    rd#nd|dk    rd$nd%|t-          |¦  «        d¬&¦  «         d S # t2          t$          t4          f$ rN}|                     d'¬(¦  «         |                      dd)t-          |¦  «        d d*…         ¬+¦  «         Y d }~d S d }~ww xY w),Nrš   r‡   r£   Úancillary_archive_memberr  r   r  Úzero_byte_archive_sensorr¯   Úarchive_decoder_unavailableÚextraction_budget_exceededr˜   ú z.partÚwbr   Úmember_exceeds_declared_sizeÚ!member_shorter_than_declared_sizer    r´   Úsame_sha256_as_disk_filer³   r·   Úsame_sha256_as_extracted_memberrF  r   r  rB  rC  rc   r5   rb   rD  rE  r  Úunique_archived_sensorrG  )r¦   r§   rA  r@  r¸   T)Ú
missing_okÚarchive_decode_errorrÊ   )r¦   r§   rÌ   )r   r-  r   ÚSENSOR_SUFFIXESr"   r¼   ÚEXTRACT_LIMITÚshutilÚ
disk_usageÚfreeÚ
FREE_FLOORr   r    Úencoder#   r*   r!   ri   r|   rú   Úunlinkr&  rª   r’   r�   rß   rà   )r¾   r$   r   r‡   r-  Ú
identifierÚ	temporaryr%   ÚwrittenÚtargetr&   Úcontent_hashr¹   ÚdestinationÚroler~   rÌ   rå   rM  Úextract_dirÚextracted_bytesr0  s                     €€€€r   r!  z resolve_pending.<locals>.resolveV  s»  ø€ à˜”] C¨¤KˆdˆÝ˜tÑ$Ô$Ô+×1Ò1Ñ3Ô3ˆØ�Ð(Ð(Ø�JŠJ iÐ8RˆJÑSÔSÐSØˆFØ�1Š9ˆ9Ø�JŠJ iÐ8RˆJÑSÔSÐSØˆFØ•*ÒÐØ�JŠJ iÐ8VˆJÑWÔWÐWØˆFØˆ>Ø�JŠJ iÐ8UˆJÑVÔVÐVØˆFØ˜TÑ!¥MÒ1Ð1µVÔ5FÀvÑ5NÔ5NÔ5SÐVZÑ5ZÕ]gÒ5gÐ5gØ�JŠJ iÐ8TˆJÑUÔUÐUØˆFÝ”^ S¨¤^°dÑ%:¸TÑ%A×$IÒ$IÑ$KÔ$KÑLÔL×VÒVÑXÔXˆ
Ø :°Ñ#7Ñ8ˆ	Ý”Ñ!Ô!ˆØˆð'	fØ—’ Ñ%Ô%ð (¨Ø%Ÿ{š{¨;Ñ7Ô7Ð7�eð (Ø�s 5™zœzÑ)�GØ ’~�~Ý(Ð)GÑHÔHÐHØ—M’M %Ñ(Ô(Ð(Ø—L’L Ñ'Ô'Ð'ð  &Ÿ{š{¨;Ñ7Ô7Ð7�eð (ð(ð (ð (ñ (ô (ð (ð (ð (ð (ð (ð (øøøð (ð (ð (ð (ð ˜$ŠˆÝ Ð!DÑEÔEÐEØ!×+Ò+Ñ-Ô-ˆLØ(ˆC�‰MØ �j  |Ñ4Ô4ˆGØð Ø—
’
¨+Ð>XØ$5¸wð ñ Hô Hð Hà× Ò Ñ"Ô"Ð"Ø�Ø%¨¸Ñ)>Ñ?ˆKØ×!Ò!Ñ#Ô#ð Ø—
’
¨+Ð>_Ø$5ÅÀKÑ@PÔ@PÐ?Qð ñ Sô Sð Sà× Ò Ñ"Ô"Ð"Ø�Ø×Ò˜kÑ*Ô*Ð*Ø˜tÑ#ˆOØ$ˆDØ˜ÒÐÝ +¨KÑ 8Ô 8‘�˜Ø$*��LÑ!Øð :Ø(�D�DØ  D§J¢J¡L¤LÐ0Ð0°V¸HÔ5EÈÒ5JÐ5JÈvÐV]ÌÐfuÐOuÐOuØ9�DØ�JŠJ°Ð8IÒ0IÐ0I f fÈyØ:>ÐBSÒ:SÐ:SÐ6Ð6ÐY~Ø#'½¸KÑ8HÔ8HÐSdð ñ fô fð fð fð føõ �¥XÐ.ð 	fð 	fð 	fØ×Ò¨ÐÑ-Ô-Ð-Ø�JŠJ iÐ8NÕVYÐZ]ÑV^ÔV^Ð_cÐ`cÐ_cÔVdˆJÑeÔeÐeÐeÐeÐeÐeÐeÐeøøøøð	føøøsM   Å&M; Å;B HÇ;M; ÈHÈM; ÈHÈA,M; É=AM; ËB#M; Í;O ÎAOÏO c                óJ   — g | ] \  }}|                      d ¦  «        dk    ¯|‘Œ!S )r§   rÈ   ©rp   )r?   Úir¾   s      r   rA   z#resolve_pending.<locals>.<listcomp>—  s3   € ÐmÐmÐm™˜˜C°c·g²g¸hÑ6GÔ6GÐKlÒ6lÐ6l�1Ð6lÐ6lÐ6lr   r   Nr˜   c           	     óv   •— g | ]5}|                      ¦   «         °d ‰‰         d         |j        |j        dddœ‘Œ6S )r¢   r˜   r£   r»   r¥   )r×   rÑ   rÒ   )r?   rã   ro  Úrowss     €€r   rA   z#resolve_pending.<locals>.<listcomp>¥  sn   ø€ ð +^ð +^ð +^ð 04ÐPT×PZÒPZÑP\ÔP\ð+^Ð4DÐQUÐVWÔQXÐYbÔQcØ6:´mÈTÌ^Ø>GÐSgð,ið ,ið +^ð +^ð +^r   rÊ   rÌ   c                óN   •— g | ]!\  }}‰                      ||g¦  «        D ]}|‘ŒŒ"S r;   rn  )r?   ro  r¾   r7  Úreplacementss       €r   rA   z#resolve_pending.<locals>.<listcomp>«  s?   ø€ Ð^Ð^Ð^™V˜Q À<×CSÒCSÐTUÐX[ÐW\ÑC]ÔC]Ð^Ð^¸4�DÐ^Ð^Ð^Ð^r   rˆ   r¢   r¦   r   r   rÄ   r   r[  )r§   rÌ   c                ó6   — h | ]}|d          dk    ¯|d         ’ŒS )rˆ   r¢   r˜   r;   ©r?   r¾   s     r   ú	<setcomp>z"resolve_pending.<locals>.<setcomp>â  s+   € ÐUÐUÐU c°S¸´[ÐDTÒ5TÐ5T�3�y”>Ð5TÐ5TÐ5Tr   r   r   z::)Úfileobjr†   Únested_archive_memberr¥   Únested_archive_read_errorrË   c              3  ó&   K  — | ]}|d          V — ŒdS )r¦   Nr;   ru  s     r   rO   z"resolve_pending.<locals>.<genexpr>þ  s(   è è € Ð;Ð;¨s�SÐ)Ô*Ð;Ð;Ð;Ð;Ð;Ð;r   r§   Ú20)
r@  r˜   rš   Ú
collectionÚsceneÚoriginal_namer‡   r    rA  Úusable_frame_candidatez
.jsonl.tmprô   Frö   rù   zunique_sensor_records.jsonlr  c              3  ó.   K  — | ]}|d          dk    V — ŒdS )rˆ   r¢   Nr;   ru  s     r   rO   z"resolve_pending.<locals>.<genexpr>  s,   è è € Ð*[Ð*[Ès¨3¨v¬;Ð:JÒ+JÐ*[Ð*[Ð*[Ð*[Ð*[Ð*[r   c                ó4   — i | ]\  }}|t          |¦  «        “ŒS r;   r  )r?   ÚkÚvs      r   rë   z#resolve_pending.<locals>.<dictcomp>  s(   € ÐIqÐIqÐIqÑY]ÐYZÐ\]È!ÍTÐRSÉWÌWÐIqÐIqÐIqr   c              3  ó&   K  — | ]}|d          V — ŒdS )r  Nr;   ru  s     r   rO   z"resolve_pending.<locals>.<genexpr>  s)   è è € Ð2cÐ2cÐUX°3Ð7OÔ3PÐ2cÐ2cÐ2cÐ2cÐ2cÐ2cr   )	r  r  r  rþ   Úunique_archived_sensorsÚusable_new_frame_candidatesrl  Úextraction_limit_bytesÚfree_space_floor_bytesrV   r  )>r   r!  r*   rp   r   r   r�   r"   r   r)  r#  ré   rt   ru   r–   r&  rû   r'  r(  r%  r*  r+  rw   ÚiterdirÚ	enumeraterÜ   rÝ   rª   Ú
UNRAR_TOOLrÞ   rÏ   Ú	Exceptionr   rÍ   rÎ   rÑ   rÒ   Úpopr   r-  r\  rÔ   r   r‡   rÖ   r  rÕ   r   rl   r�   rn   r”   r•   Úwith_suffixrú   rü   r’   r  ri   r]  ra  r/  )2r—   r0  r1  Úrar_decoderÚreport_pathr¾   r   r~   rÌ   rj  r   Úknownr7  rt   r!  Úrar_indexesrÜ   r˜   rÁ   rå   r£   Úrel_archiver9  rˆ   Úlookuprã   Úbucketr$   Únested_seenÚnested_errorsÚ	nested_idÚouterr‹   Úinnerrš   r…   rý   rþ   Úuniquer|  re  r<  rM  rK  rk  rl  rL  ro  rs  rq  s2   ``                                        @@@@@@@@r   Úresolve_pendingrœ  &  s,  øøøøøøøøøø€ å˜‘:”:×%Ò%Ñ'Ô'­¨f©¬×)=Ò)=Ñ)?Ô)?€L€Dˆ&Ø˜=Ñ(€KØ<Ð<¨×)9Ò)9Ñ);Ô);Ð<Ñ<Ô<€DØð cð cˆØ�7Š7Ð#Ñ$Ô$ð 	c¨¸cÐ)AÐ)AØ�x”=×&Ò&Ñ(Ô(ˆDØ�}Š}˜VÑ$Ô$ð 
)Ý +­D°Ð5EÔ1FÑ,GÔ,GÑ HÔ H‘�˜Ø$*��LÑ!Øð -Ø(�D�DØ  DÐ(Ð(¨V°HÔ-=ÀÒ-BÐ-BÀvÈgÄÐ^mÐGmÐGmØ9�D�Dà,�D�Dà(�Ø!%ˆC�ÑØÐ(Ò(Ð(Ø—
’
¨)Ð<a�
ÑbÔbÐbøÝ¥Ñ%Ô%€MØ—
’
˜3‘”ð <ð <ˆØ�<Š<‰>Œ>ð 	<Ø˜$Ÿ)š)™+œ+Ô-Ô.×5Ò5°dÑ;Ô;Ð;øØ8BÐhÅtÈJÑGWÔGW×G^ÒG^ÑG`ÔG`Ðh�DŒJ•t˜JÑ'Ô'×1Ò1Ñ3Ô3Ñ4Ô4Ð4Ðfh€EØ€LØ—k’k‘m”mð 4ð 4‰
ˆˆdÝ�D‰zŒzˆØ�<Š<‰>Œ>ð 	4Ø—9’9‘;”;ˆDØŒ|˜tŸxšx¨Ñ/Ô/Ò/Ð/°DÔ4DÈÏÊÐQ[ÑH\ÔH\Ò4\Ð4\Ø%)¨(¤^�˜TÑ"øØ˜;Ñ&€KØ×Ò˜tÐÑ$Ô$Ð$ÝÐYÐY°K×4GÒ4GÑ4IÔ4IÐYÑYÔYÑYÔY€Oðð ð ð ð ð ð ð>fð >fð >fð >fð >fð >fð >fð >fðB nÐm¥9¨T¡?¤?ÐmÑmÔm€KØñ _ð	ØˆNˆNˆNˆNøÝð 	ð 	ð 	ØˆGˆGˆGð	øøøàð 	_Øð FÝ%(­¨kÑ):Ô):×)BÒ)BÑ)DÔ)DÑ%EÔ%E�Ô"ØˆLØ ð 	6ð 	6�Ø  a¤¨Ô!3Ñ3�ð6Ø Ÿš¨Ñ1Ô1ð ^°Vð+^ð +^ð +^ð +^ð +^ð 8>·²Ñ7HÔ7Hð+^ñ +^ô +^˜ Q™ð^ð ^ð ^ñ ^ô ^ð ^ð ^ð ^ð ^ð ^ð ^øøøð ^ð ^ð ^ð ^øøõ
 !ð 6ð 6ð 6Ý'*¨3¡x¤x°°°¤~�D˜”G˜GÑ$Ð$Ð$Ð$Ð$Ð$øøøøð6øøøà^Ð^Ð^Ð^¥y°¡¤Ð^Ñ^Ô^ˆDå�$ÑÔ€GØð 0ð 0ˆØ�ŒKÐ+Ò+Ð+°Ð4DÔ0EÈÒ0RÐ0RØ—G’G˜HÑ%Ô%ð 1SØ.1¯gªgÐ6FÑ.GÔ.Gð 1Sà�C˜	”NÔ#×*Ò*¨3Ñ/Ô/Ð/øØ '§¢¡¤ð .Tñ .TÑˆ�WØ˜Ñ$ˆÝ�W‰~Œ~ˆÝ�TÑ"Ô"ˆØð 	=ð 	=ˆCØ�C˜”M 3 v¤;Ð/Ô0×7Ò7¸Ñ<Ô<Ð<Ð<ð(	TØ�uŠ}ˆ}Ý”_ WÑ-Ô-ð 	3°Ø &§¢Ñ 1Ô 1ð 3ð 3˜Ø!'¨¬¸¼Ð(GÔ!H˜Ø!ð 3Ø"(§*¢*¨Q¡-¤-˜CØ" 6œ{ð 3­}¸SÀ¼]Ñ/KÔ/KÔ/R×/XÒ/XÑ/ZÔ/ZÕ^mÐ/mÐ/mØ%+§[¢[°Ñ%6Ô%6ð !9¸&Ø$+ G¨C°Ñ$8Ô$8Ð$8ð!9ð !9ð !9ñ !9ô !9ð !9ð !9ð !9ð !9ð !9ð !9øøøð !9ð !9ð !9ð !9øð !( ¨¨TÑ 2Ô 2Ð 2øð3ð	3ð 	3ð 	3ñ 	3ô 	3ð 	3ð 	3ð 	3ð 	3ð 	3ð 	3øøøð 	3ð 	3ð 	3ð 	3ùð ˜Ò!Ð!Ý”\ '¨6Ñ2Ô2ð 	3°fØ &ð 3ð 3˜Ø!'¨¬°D´IÐ(>Ô!?˜Ø!ð 3Ø"(§*¢*¨Q¡-¤-˜CØ" 6œ{ð 3­}¸SÀ¼]Ñ/KÔ/KÔ/R×/XÒ/XÑ/ZÔ/ZÕ^mÐ/mÐ/mØ%+×%7Ò%7¸Ñ%=Ô%=ð !9ÀØ$+ G¨C°Ñ$8Ô$8Ð$8ð!9ð !9ð !9ñ !9ô !9ð !9ð !9ð !9ð !9ð !9ð !9øøøð !9ð !9ð !9ð !9øð !( ¨¨TÑ 2Ô 2Ð 2øð3ð	3ð 	3ð 	3ñ 	3ô 	3ð 	3ð 	3ð 	3ð 	3ð 	3ð 	3øøøð 	3ð 	3ð 	3ð 	3ùð ˜’‘Ø���Øð JÝ),­T°+Ñ->Ô->×-FÒ-FÑ-HÔ-HÑ)IÔ)I�GÔ&Ø—_’_ WÑ-Ô-ð 	3°Ø &§¢Ñ 1Ô 1ð 3ð 3˜Ø!'¨¬¸¼Ð(GÔ!H˜Ø!ð 3Ø"(§*¢*¨Q¡-¤-˜CØ" 6œ{ð 3­}¸SÀ¼]Ñ/KÔ/KÔ/R×/XÒ/XÑ/ZÔ/ZÕ^mÐ/mÐ/mØ%+§[¢[°Ñ%6Ô%6ð !9¸&Ø$+ G¨C°Ñ$8Ô$8Ð$8ð!9ð !9ð !9ñ !9ô !9ð !9ð !9ð !9ð !9ð !9ð !9øøøð !9ð !9ð !9ð !9øð !( ¨¨TÑ 2Ô 2Ð 2øð3ð	3ð 	3ð 	3ñ 	3ô 	3ð 	3ð 	3ð 	3ð 	3ð 	3ð 	3øøøð 	3ð 	3ð 	3ð 	3ùøõ ð 	Tð 	Tð 	TØ Ÿ-š-™/œ/ð Tð T�Ø!ð Tð T�CØ—J’JÐ&<ÅCÈÁHÄHÈTÈcÈTÄN�JÑSÔSÐSÐSðTðTð Tð Tð Tñ Tøøøøð	Tøøøð
 VÐU¨TÐUÑUÔU€KØ€MÝ�D‰zŒzð >ñ >ˆØ�ŒKÐ+Ò+Ð+¨s¯wªw°xÑ/@Ô/@Ð/HØ˜”M×'Ò'Ñ)Ô)×2Ò2°9Ñ=Ô=ð 0IØEHÈÄ^×EYÒEYÑE[ÔE[×EdÒEdÐekÑElÔElð 0IàØ˜	”N TÑ)¨C°¬MÑ9ˆ	Ø˜Ð#Ð#Øð	>Ý” ¨¨I¬Ñ!6Ñ7Ô7ð 0¸5Ø—Z’Z  H¤Ñ.Ô.ð 
0°*Ý œ¨j¸vÐFÑFÔFð 	0È%Ø$)ð 0ð 0˜DØ#'§;¢;¡=¤=ð )Ø (Ø.>È9Ø04´	À4Ä9Ø8AÐMdð&fð &f˜Fð "'×!2Ò!2°4Ñ!8Ô!8ð 8¸FØ ' ¨°Ñ 7Ô 7Ð 7ð8ð 8ð 8ñ 8ô 8ð 8ð 8ð 8ð 8ð 8ð 8øøøð 8ð 8ð 8ð 8à ŸKšK¨Ñ/Ô/Ð/Ð/ð0ð	0ð 	0ð 	0ñ 	0ô 	0ð 	0ð 	0ð 	0ð 	0ð 	0ð 	0øøøð 	0ð 	0ð 	0ð 	0ð
0ð 
0ð 
0ñ 
0ô 
0ð 
0ð 
0ð 
0ð 
0ð 
0ð 
0øøøð 
0ð 
0ð 
0ð 
0ð0ð 0ð 0ñ 0ô 0ð 0ð 0ð 0ð 0ð 0ð 0øøøð 0ð 0ð 0ð 0ùøõ ð 	>ð 	>ð 	>Ø× Ò  )­S°©X¬X°d°s°d¬^Ð!<Ñ=Ô=Ð=Ð=Ð=Ð=Ð=Ñ=øøøøð	>øøøà)ð jð jÑˆ	�5Ø�ŠÐ-¸)ÈtØ'0Ð<WÐbgðið iñ 	jô 	jð 	jð 	jõ Ð;Ð;°dÐ;Ñ;Ô;Ñ;Ô;€FÝ�'Ñ"Ô"€GÝ‰iŒi€GØ€FØð vñ vˆØ��F”Ô˜SÐ!1Ô2Ð3Ð3Ô3°qÑ8Ð3Ð3Ñ3Ø��H”ÐÐÔ !Ñ#ÐÐÑØ�7Š7Ð#Ñ$Ô$ñ 		vÝ   X¤Ñ/Ô/ˆDÝ# C¨	¤N×$8Ò$8¸¸qÑ$AÔ$AÀ!Ô$DÑEÔEˆGØ*.¬*ð  [¸¼ÀA¼×9QÒ9QÐRVÑ9WÔ9Wð  [˜œ Aœ˜Ð]dÔ]jÐklÔ]m×]zÒ]zð  |Bñ  ^Cô  ^C÷  ^Pò  ^Pð  QZñ  ^[ô  ^[ˆJØ�MŠM¨SÐ1AÔ-BÈsÐS\Ì~Ø%(¨¤]À*Ý$'¨¬Ñ$4Ô$4ÀtÄyØ#& v¤;¸#¸h¼-Ø*-¯'ª'°-ÐARÑ*SÔ*SØ58·W²W¸]ÐL]Ñ5^Ô5^ÐbsÒ5sðuð uñ vô vð vùð ×'Ò'¨Ñ5Ô5€IØ	�Š˜Ñ	Ô	ð U Øð 	Uð 	UˆCØ�LŠL�œ C°4ÀeÐLÑLÔLÈtÑSÑTÔTÐTÐTð	UðUð Uð Uñ Uô Uð Uð Uð Uð Uð Uð Uøøøð Uð Uð Uð Uð ×Ò�kÑ"Ô"Ð"Ø
Ð0Ñ
0×	6Ò	6°sÑ	;Ô	;ð U¸vØð 	Uð 	UˆCØ�LŠL�œ C°4ÀeÐLÑLÔLÈtÑSÑTÔTÐTÐTð	UðUð Uð Uñ Uô Uð Uð Uð Uð Uð Uð Uøøøð Uð Uð Uð Uõ Œj˜& >Ñ1×<Ò<Ñ>Ô>Ñ?Ô?€GØ‡N‚N¥sÐ*[Ð*[ÐVZÐ*[Ñ*[Ô*[Ñ'[Ô'[Ý#'¨¡<¤<ÐIqÐIqÐah×anÒanÑapÔapÐIqÑIqÔIqÝ ™=œ=Å#ÀfÁ+Ä+Ý/2Ð2cÐ2cÐ\bÐ2cÑ2cÔ2cÑ/cÔ/cØ#2Í=Ý*4ð ñ 6ô 6ð 6ð ˆnÑ×(Ò(­¬°GÀAÐTYÐ)ZÑ)ZÔ)ZÐ]aÑ)aÑbÔbÐbØ€Ns  ÌL ÌLÌLÍ-N?Î%N3Î'N?Î3N7	Î7N?Î:N7	Î;N?Î?
O3Ï	 O.Ï.O3Ó>`ÔBW)Ö*W	Ö7W)×W×W)×
W×W)×`×)W-	×-`×0W-	×1 `ØB [ÚZ*	Ú[Ú*Z.Ú.[Ú1Z.Ú2[Û`Û[	Û`Û[	ÛA`Ü2B`ß_	ß`ß_!ß!`ß$_!ß%`ß7`à`	à`à
`	à`à
a-àAa(á(a-ä&h:åh-åhå6Ag?	æ8gçg?	çgçg?	çgçg?	ç3hç?hèhèhèhè
h-èhèh-èhèh-è!h:è-h1	è1h:è4h1	è5h:è:
i;é,i6é6i;ò
3s
ó
sósô3uõuõ	uc                 ól  — t          j        t          ¬¦  «        } |                      dt          ¬¦  «         |                      dt          ¬¦  «         |                      dt          ¬¦  «         |                      dd¬¦  «         |                      d	t          ¬¦  «         |                      ¦   «         }|j        rt          nt          }|j        r# ||j        |j	        |j
        |j        ¦  «        }n ||j        |j	        |j
        ¦  «        }t          t          j        |d
¬¦  «        ¦  «         d S )N)Údescriptionr—   )Útyper0  z--hash-cachez--resolve-pendingÚ
store_true)Úactionz--rar-decoderrV   )r   )ÚargparseÚArgumentParserÚ__doc__Úadd_argumentr   Ú
parse_argsrœ  r=  r—   r0  r1  r�  Úprintrû   rü   )ÚparserÚargsÚrunÚresults       r   Úmainr¬  "  s  € ÝÔ$µÐ9Ñ9Ô9€FØ
×Ò˜¥TÐÑ*Ô*Ð*Ø
×Ò˜¥tÐÑ,Ô,Ð,Ø
×Ò˜­TÐÑ2Ô2Ð2Ø
×ÒÐ+°LÐÑAÔAÐAØ
×Ò˜­dÐÑ3Ô3Ð3Ø×ÒÑÔ€DØ!Ô1Ð
@�/ˆ/µy€CØÔð >Ø��T”Y ¤¨T¬_¸dÔ>NÑOÔOˆˆà��T”Y ¤¨T¬_Ñ=Ô=ˆÝ	�$Œ*�V AÐ
&Ñ
&Ô
&Ñ'Ô'Ð'Ð'Ð'r   Ú__main__)NNrY   )&r¤  Ú
__future__r   Úcollectionsr   r   r¢  rØ   r   rû   rÚ   Úpathlibr   r   r^  rx   rÔ   rÍ   r+   Úpallet.data.manifestr   r	   r¼   rf   r]  ra  r\  r   r'   r.   r�   r    rÂ   ræ   r=  rœ  r¬  Ú__name__r;   r   r   ú<module>r³     s¶  ðØ OÐ Oà "Ð "Ð "Ð "Ð "Ð "à ,Ð ,Ð ,Ð ,Ð ,Ð ,Ð ,Ð ,Ø €€€Ø €€€Ø €€€Ø €€€Ø 	€	€	€	Ø 'Ð 'Ð 'Ð 'Ð 'Ð 'Ð 'Ð 'Ø €€€Ø €€€Ø €€€Ø €€€Ø €€€à 4Ð 4Ð 4Ð 4Ð 4Ð 4Ð 4Ð 4ð €
Ø€Ø'€Ø$€
Ø3Ð3Ð3€ð
ð 
ð 
ðð ð ðð ð ð40ð 40ð 40ðnð ð ð(ð ð ð ð@1(ð 1(ð 1(ðhLð Lð Lð Lð^yð yð yð yðx(ð (ð (ð  ˆzÒÐØ€D�F„F€F€F€Fð Ðr   