§
    0¹jÊ  ã            
      óN  — d Z ddlmZ ddlZddlmZ ddlmZ ddlZddl	Z	ddl
mZ ddlZddlmZmZmZ dd	lmZmZmZ dd„Zedk    rÜ ej        ¦   «         Ze                     dd¬¦  «         e                     dd¬¦  «         e                     ded
¬¦  «         e                     de¬¦  «         e                     ¦   «         Z eej        ej        ej        ej         ¦  «        Z! e" e	j#        e!d         e!d          e$e!d         ¦  «        dœ¦  «        ¦  «         dS dS )zCRead every canonical sensor payload and retain corruption evidence.é    )ÚannotationsN)ÚThreadPoolExecutor)Úreplace)ÚPathé   )Úload_protocolÚ
write_jsonÚfile_digest)Údecoder_digestÚ
load_frameÚpolicy_digesté   c                ó*  ‡‡‡‡‡— t          | ¦  «        \  }}}t          |¦  «        }|                     dd¬¦  «         |dz  }i Št          t          | ¦  «        dz  ¦  «        Št	          j        d                     t          ¦   «         t          t          t          ¦  «         	                    d¦  «        ¦  «        t          t          ¦  «        f¦  «         
                    ¦   «         ¦  «                             ¦   «         Šˆˆfd„|D ¦   «         Š|                     ¦   «         r¶|                     ¦   «                              ¦   «         D ]�}	 t          j        |¦  «        Šn# t          j        $ r Y Œ)w xY w‰                     ‰                     d¦  «        ¦  «        }|r8t'          ˆfd	„|                     ¦   «         D ¦   «         ¦  «        r‰‰‰d         <   Œ�ˆfd
„|D ¦   «         }	|�
|	d |…         }	ˆfd„}
|                     d¦  «        5 }t-          |¬¦  «        5 }|                     d¦  «         t1          |                     |
|	¦  «        d¦  «        D ]ˆ\  }}|                     t          j        |¦  «        dz   ¦  «         |‰|d         <   |                     ¦   «          |dz  dk    r1t9          dt;          ‰¦  «        › dt;          |¦  «        › �d¬¦  «         Œ‰	 d d d ¦  «         n# 1 swxY w Y   d d d ¦  «         n# 1 swxY w Y   d„ ‰                     ¦   «         D ¦   «         }‰‰t;          ‰¦  «        t;          |¦  «        t;          ‰¦  «        t;          |¦  «        k    t;          ‰¦  «        t;          |¦  «        z
  |dœ}|d         rht	          j        t          j        ˆfd„t?          ‰¦  «        D ¦   «         d¬¦  «         
                    ¦   «         ¦  «                             ¦   «         |d<   tA          |dz  |¦  «         |S )NT)ÚparentsÚexist_okzpayloads.jsonlzprotocol.jsonú:zmanifest.pyc                óX   •— i | ]&}|j         |j        ‰t          |j        ¦  «        ‰d œ“Œ'S ))Úsource_sha256Úprotocol_sha256Úpolicy_sha256Údecoder_sha256)Úframe_idr   r   Úsensor_config)Ú.0Úrr   r   s     €€úJ/root/private/project/pallet_detection_v2/pallet/data/validate_payloads.pyú
<dictcomp>zvalidate.<locals>.<dictcomp>   sT   ø€ ð Fð Fð Fð 9:ð ”*°´Ø%4Ý#0°´Ñ#AÔ#AØ$2ð4ð 4ð Fð Fð Fó    r   c              3  óP   •K  — | ] \  }}‰                      |¦  «        |k    V — Œ!d S )N)Úget)r   ÚkeyÚvalueÚrows      €r   ú	<genexpr>zvalidate.<locals>.<genexpr>$   s6   øè è € ÐYÐY¹*¸#¸u §¢¨¡¤°Ò 5ÐYÐYÐYÐYÐYÐYr   c                ó&   •— g | ]}|j         ‰v¯|‘ŒS © )r   )r   r   Údones     €r   ú
<listcomp>zvalidate.<locals>.<listcomp>&   s%   ø€ Ð:Ð:Ð:�1 1¤:°TÐ#9Ð#9ˆQÐ#9Ð#9Ð#9r   c                óh  •— d| j         i‰| j                  ¥}	 t          t          | d ¬¦  «        ¦  «        }|                     dt	          |j        ¦  «        t          |d                              ¦   «         ¦  «        t          |d                              ¦   «         ¦  «        t          t          j
        |d         ¦  «        dk    ¦  «        ¬¦  «         n[# t          t          t          f$ rA}|                     d	t          |¦  «        t          | j        ¦  «        ¬
¦  «         Y d }~nd }~ww xY w|S )Nr   )Ú
cache_pathÚvalid).é   ).é   ).r   r   )ÚstatusÚshapeÚvalid_depth_fractionÚvalid_intensity_fractionÚintensity_nonconstantÚdamaged)r.   ÚerrorÚpcd)r   r   r   ÚupdateÚlistr/   ÚfloatÚmeanÚboolÚnpÚptpÚ
ValueErrorÚOSErrorÚRuntimeErrorÚstrr5   )ÚrecordÚresultÚframeÚexcÚ
identitiess       €r   Úonezvalidate.<locals>.one(   s'  ø€ Ø˜6œ?ÐJ¨j¸¼Ô.IÐJˆð	OÝ�W V¸Ð=Ñ=Ô=Ñ>Ô>ˆEØ�MŠM ­t°E´KÑ/@Ô/@Ý/4°U¸5´\×5FÒ5FÑ5HÔ5HÑ/IÔ/IÝ38¸¸u¼×9JÒ9JÑ9LÔ9LÑ3MÔ3MÝ04µR´V¸EÀ%¼LÑ5IÔ5IÈ!Ò5KÑ0LÔ0Lð ñ Nô Nð Nð Nøõ �7¥<Ð0ð 	Oð 	Oð 	OØ�MŠM µ°S±´½cÀ&Ä*¹o¼oˆMÑNÔNÐNÐNÐNÐNÐNÐNøøøøð	Oøøøàˆs   ™B=C ÃD/Ã.7D*Ä*D/Úa)Úmax_workersú
r   é@   r   z
validated ú/)Úflushc                ó*   — g | ]}|d          dk    ¯|‘ŒS )r.   r+   r&   )r   r   s     r   r(   zvalidate.<locals>.<listcomp>9   s&   € Ð?Ð?Ð?�A¨!¨H¬+°wÒ*>Ð*>ˆaÐ*>Ð*>Ð*>r   )r   r   ÚframesÚexpected_framesÚcompleter+   ÚfailuresrP   c                ó    •— g | ]
}‰|         ‘ŒS r&   r&   )r   Úfidr'   s     €r   r(   zvalidate.<locals>.<listcomp>?   s   ø€ Ð/Ð/Ð/˜3ˆT�#ŒYÐ/Ð/Ð/r   )Ú	sort_keysÚvalidity_index_sha256zsummary.json)!r   r   Úmkdirr
   ÚhashlibÚsha256Újoinr   Ú__file__Ú	with_nameÚencodeÚ	hexdigestÚexistsÚ	read_textÚ
splitlinesÚjsonÚloadsÚJSONDecodeErrorr    ÚallÚitemsÚopenr   ÚwriteÚ	enumerateÚmapÚdumpsrL   ÚprintÚlenÚvaluesÚsortedr	   )ÚprotocolÚoutputÚworkersÚlimitÚrecordsÚ_ÚpathÚlineÚexpectedÚpendingrF   ÚstreamÚpoolÚindexrB   rQ   Úsummaryr   r'   rE   r   r#   s                    @@@@@r   Úvalidater}      s¿  øøøøø€ Ý˜hÑ'Ô'�K€GˆAˆaÝ�‰<Œ<€F˜Ÿš¨T¸4˜Ñ@Ô@Ð@Ø	Ð Ñ	 €D b Ý!¥$ x¡.¤.°?Ñ"BÑCÔC€Oå”^ C§H¢H­nÑ.>Ô.>Ý•D�‘N”N×,Ò,¨]Ñ;Ô;Ñ<Ô<Ý•HÑÔð.ñ % ô % ç &¢¡¤ñ*ô *ç*3ª)©+¬+ð ðFð Fð Fð Fð Fð >EðFñ Fô F€Jð ‡{‚{�}„}ð 	,Ø—N’NÑ$Ô$×/Ò/Ñ1Ô1ð 	,ð 	,ˆDðÝ”j Ñ&Ô&��øÝÔ'ð ð ð à�ðøøøð "—~’~ c§g¢g¨jÑ&9Ô&9Ñ:Ô:ˆHØð ,�CÐYÐYÐYÐYÈÏÊÑHXÔHXÐYÑYÔYÑYÔYð ,Ø(+��S˜”_Ñ%øØ:Ð:Ð:Ð:˜Ð:Ñ:Ô:€GØÐ ¨¨%¨¤˜ð
ð 
ð 
ð 
ð 
ð 
�Š�3‰Œð U˜6Õ"4ÀÐ"IÑ"IÔ"Ið UÈTØ�Š�TÑÔÐÝ% d§h¢h¨s°7Ñ&;Ô&;¸AÑ>Ô>ð 	Uð 	U‰LˆE�&Ø�LŠL�œ FÑ+Ô+¨DÑ0Ñ1Ô1Ð1È6°$°v¸jÔ7IÑ2JØ�LŠL‰NŒNˆNØ�R‰x˜Š{ˆ{�5Ð!H­c°$©i¬iÐ!HÐ!H½#¸g¹,¼,Ð!HÐ!HÈtÐTÑTÔTÐTøð	UðUð Uð Uñ Uô Uð Uð Uð Uð Uð Uð Uøøøð Uð Uð Uð Uð Uð Uð Uñ Uô Uð Uð Uð Uð Uð Uð Uøøøð Uð Uð Uð Uð @Ð?˜Ÿš™œÐ?Ñ?Ô?€HØ.ÀÕX[Ð\`ÑXaÔXaÝ" 7™|œ|µs¸4±y´yÅ#ÀgÁ,Ä,Ò7NÝ˜‘Y”Y�s 8™}œ}Ñ,¸ðBð B€Gð ˆzÔð WÝ)0¬½¼
Ø/Ð/Ð/Ð/¥&¨¡,¤,Ð/Ñ/Ô/¸4ð9Añ 9Aô 9AßAGÂÁÄñ*Kô *KßKTÊ9É;Ì;ð 	Ð'Ñ(åˆv�nÑ$ WÑ-Ô-Ð-Ø€NsI   ÅE$Å$E6Å5E6ÈLÈ!CK1Ë%LË1K5	Ë5LË8K5	Ë9LÌLÌLÚ__main__z
--protocolzoutputs/protocol_v4)Údefaultz--outputzoutputs/payload_audit_v4z	--workers)Útyper   z--limit)r€   rN   r+   rQ   )rN   r+   r3   )r   N)%Ú__doc__Ú
__future__r   ÚargparseÚconcurrent.futuresr   Údataclassesr   rW   ra   Úpathlibr   Únumpyr;   ro   r   r	   r
   Úloaderr   r   r   r}   Ú__name__ÚArgumentParserÚparserÚadd_argumentÚintÚ
parse_argsÚargsrp   rq   rr   r   rk   rj   rl   r&   r   r   ú<module>r�      sÈ  ðØ IÐ IØ "Ð "Ð "Ð "Ð "Ð "Ø €€€Ø 1Ð 1Ð 1Ð 1Ð 1Ð 1Ø Ð Ð Ð Ð Ð Ø €€€Ø €€€Ø Ð Ð Ð Ð Ð Ø Ð Ð Ð à :Ð :Ð :Ð :Ð :Ð :Ð :Ð :Ð :Ð :Ø =Ð =Ð =Ð =Ð =Ð =Ð =Ð =Ð =Ð =ð2ð 2ð 2ð 2ðj ˆZÒÐØ"ˆ8Ô"Ñ$Ô$€F V×%8Ò%8¸ÐNcÐ%8Ñ%dÔ%dÐ%dØ
×Ò˜
Ð+EÐÑFÔFÐFÀv×GZÒGZÐ[fÐloÐxyÐGZÑGzÔGzÐGzØ
×Ò˜	 sÐÑ+Ô+Ð+Ø	×	Ò	Ñ	Ô	€D˜x˜x¨¬°d´kÀ$Ä,ÈtÌzÑZÔZ˜QØ	€Eˆ*ˆ$Œ*˜q œ{°1°W´:ÈÈÈAÈjÌMÑHZÔHZÐ[Ð[Ñ
\Ô
\Ñ]Ô]Ð]Ð]Ð]ð Ðr   