§
    6¹jš	  ã            
      óø  — d Z ddlmZ ddlZddlmZ ddlZddlmZ ddl	Z	ddl
mZmZmZ ddlmZmZmZ dd„Zedk    r» ej        ¦   «         Ze                     dd	¬¦  «         e                     dd
¬¦  «         e                     ded¬¦  «         e                     de¬¦  «         e                     ¦   «         Z e ej         eej        ej        ej        ej        ¦  «        ¦  «        ¦  «         dS dS )zDResumable, source-verified float sensor cache for repeated training.é    )ÚannotationsN)ÚThreadPoolExecutor)ÚPathé   )Úcache_frameÚ
load_frameÚpolicy_digest)Úload_protocolÚ
write_jsonÚfile_digestúoutputs/protocol_v5úoutputs/cache_v5é   c           
     óü  ‡‡— t          | ¦  «        \  }}}t          ‰¦  «        Š‰                     dd¬¦  «         ‰dz  }|                     ¦   «         r&t	          j        |                     ¦   «         ¦  «        ni Šˆfd„|D ¦   «         }|�
|d |…         }ˆfd„}	t          |¬¦  «        5 }
t          |
 	                    |	|¦  «        d¦  «        D ]W\  }\  }}|‰|<   |dz  d	k    rAt          |‰¦  «         t          d
t          ‰¦  «        › dt          |¦  «        › �d¬¦  «         ŒX	 d d d ¦  «         n# 1 swxY w Y   t          |‰¦  «         t          t          | ¦  «        dz  ¦  «        t          ‰¦  «        t          |¦  «        t          ‰¦  «        t          |¦  «        k    t          d„ ‰dz                       d¦  «        D ¦   «         ¦  «        t          |¦  «        dœ}t          ‰dz  |¦  «         |S )NT)ÚparentsÚexist_okz
index.jsonc                ó~   •— g | ]9}|j         ‰vs,t          ‰|j                  ¦  «                             ¦   «         °7|‘Œ:S © )Úframe_idr   Úexists)Ú.0ÚrowÚindexs     €úB/root/private/project/pallet_detection_v2/pallet/data/cache_all.pyú
<listcomp>zcache_all.<locals>.<listcomp>   sG   ø€ ÐkÐkÐk�S s¤|¸5Ð'@Ð'@ÍÈUÐSVÔS_ÔM`ÑHaÔHa×HhÒHhÑHjÔHjÐ'@ˆSÐ'@Ð'@Ð'@ó    c                ó®  •— t          j        ‰¦  «        j        dk     rt          d¦  «        ‚| j        › dt          | j        ¦  «        d d…         › d�}‰dz  |z  }|                     ¦   «         r.ddlm	} t           || t          |¦  «        ¬	¦  «        ¦  «         nt          | |¦  «         | j        t          |                     ¦   «         ¦  «        fS )
Nl       2 z#less than 50 GiB free; cache pausedú-é   z.npzÚframesr   )Úreplace)Ú
cache_path)ÚshutilÚ
disk_usageÚfreeÚRuntimeErrorÚsource_sha256r	   Úsensor_configr   Údataclassesr!   r   Ústrr   r   Úresolve)ÚrecordÚkeyÚdestinationr!   Úoutputs       €r   Úonezcache_all.<locals>.one   så   ø€ ÝÔ˜VÑ$Ô$Ô)¨(Ò2Ð2ÝÐDÑEÔEÐEØÔ#ÐTÐT¥m°FÔ4HÑ&IÔ&IÈ#È2È#Ô&NÐTÐTÐTˆØ˜8‘O CÑ'ˆØ×ÒÑÔð 	-Ø+Ð+Ð+Ð+Ð+Ð+Ý�w�w˜vµ°[Ñ1AÔ1AÐBÑBÔBÑCÔCÐCÐCÝ˜ Ñ,Ô,Ð,ØŒ�s ;×#6Ò#6Ñ#8Ô#8Ñ9Ô9Ð9Ð9r   )Úmax_workersr   é@   r   zcached ú/)Úflushzprotocol.jsonc              3  óH   K  — | ]}|                      ¦   «         j        V — Œd S )N)ÚstatÚst_size)r   Úps     r   ú	<genexpr>zcache_all.<locals>.<genexpr>'   s-   è è € ÐRÐR¨Q˜Ÿš™œÔ(ÐRÐRÐRÐRÐRÐRr   r    z*.npz)Úprotocol_sha256Úindexed_framesÚexpected_framesÚcompleteÚbytesÚindex_sha256zsummary.json)r
   r   Úmkdirr   ÚjsonÚloadsÚ	read_textr   Ú	enumerateÚmapr   ÚprintÚlenr   ÚsumÚglob)Úprotocolr/   ÚworkersÚlimitÚrecordsÚ_ÚidentityÚ
index_pathÚpendingr0   ÚpoolÚnumberr   ÚpathÚreportr   s    `             @r   Ú	cache_allrV      sn  øø€ Ý$ XÑ.Ô.Ñ€GˆAˆhÝ�‰<Œ<€F˜Ÿš¨T¸4˜Ñ@Ô@Ð@Ø�lÑ"€JØ0:×0AÒ0AÑ0CÔ0CÐ
K�$Œ*�Z×)Ò)Ñ+Ô+Ñ
,Ô
,Ð
,È€EØkÐkÐkÐk˜GÐkÑkÔk€GØÐ ¨¨%¨¤˜ð	:ð 	:ð 	:ð 	:ð 	:õ 
¨Ð	0Ñ	0Ô	0ð H°DÝ&/°·²¸¸WÑ0EÔ0EÀaÑ&HÔ&Hð 	Hð 	HÑ"ˆF‘?�H˜TØ ˆE�(‰OØ�b‰y˜!Š|ˆ|Ý˜: eÑ,Ô,Ð,ÝÐ;¥ E¡
¤
Ð;Ð;­S°©\¬\Ð;Ð;À$ÐGÑGÔGÐGøð		HðHð Hð Hñ Hô Hð Hð Hð Hð Hð Hð Høøøð Hð Hð Hð Hõ ˆz˜%Ñ Ô Ð Ý)­$¨x©.¬.¸Ñ*HÑIÔIÝ  ™ZœZ½#¸g¹,¼,ÕRUÐV[ÑR\ÔR\Õ^aÐbiÑ^jÔ^jÒRjÝÐRÐR°6¸(±?×2HÒ2HÈÑ2QÔ2QÐRÑRÔRÑRÔRÝ& zÑ2Ô2ð4ð 4€Fõ ˆv�nÑ$ VÑ,Ô,Ð,Ø€Ms   Â,A=D6Ä6D:Ä=D:Ú__main__z
--protocol)Údefaultz--outputz	--workers)ÚtyperX   z--limit)rY   )r   r   r   N)Ú__doc__Ú
__future__r   ÚargparseÚconcurrent.futuresr   rA   Úpathlibr   r#   Úloaderr   r   r	   rJ   r
   r   r   rV   Ú__name__ÚArgumentParserÚparserÚadd_argumentÚintÚ
parse_argsÚargsrF   Údumpsr/   rK   rL   r   r   r   ú<module>rh      s…  ðØ JÐ JØ "Ð "Ð "Ð "Ð "Ð "Ø €€€Ø 1Ð 1Ð 1Ð 1Ð 1Ð 1Ø €€€Ø Ð Ð Ð Ð Ð Ø €€€à 8Ð 8Ð 8Ð 8Ð 8Ð 8Ð 8Ð 8Ð 8Ð 8Ø :Ð :Ð :Ð :Ð :Ð :Ð :Ð :Ð :Ð :ðð ð ð ð@ ˆZÒÐØ"ˆ8Ô"Ñ$Ô$€F V×%8Ò%8¸ÐNcÐ%8Ñ%dÔ%dÐ%dØ
×Ò˜
Ð+=ÐÑ>Ô>Ð>¸v×?RÒ?RÐS^ÐdgÐpqÐ?RÑ?rÔ?rÐ?rØ
×Ò˜	 sÐÑ+Ô+Ð+°×1BÒ1BÑ1DÔ1D¨DØ	€Eˆ*ˆ$Œ*�Y�Y˜tœ}¨T¬[¸¼ÀdÄjÑQÔQÑ
RÔ
RÑSÔSÐSÐSÐSð	 Ðr   