§
    ‚¼jtu  ã                  ó  — d Z ddlmZ ddlZddlmZmZ ddlZddlZddl	m
Z
 ddlZddlZddlmZ ddlZddlmZmZmZmZmZmZmZ dd	lmZ dd
lmZmZmZ ddlm Z m!Z!m"Z" ddl#m$Z$ ddl%m&Z&m'Z' ddl(m)Z) ddl*m+Z+ ddl,m-Z- ddœd„Z.d„ Z/d„ Z0d„ Z1d„ Z2dddddœd„Z3dddœd„Z4d„ Z5ddddd œd!„Z6dddddd"œd#„Z7ddddd$dddddd%œ
d&„Z8d'„ Z9d(„ Z:e;d)k    �r° ej<        ¦   «         Z=e= >                    d*d+¬,¦  «        Z?e? @                    d-¦  «        ZAeA B                    d.d/¬0¦  «         eA B                    d1d+¬2¦  «         eA B                    d3d+¬2¦  «         e? @                    d4¦  «        ZCeC B                    d.d/¬0¦  «         eC B                    d1d+¬2¦  «         eC B                    d3d+¬2¦  «         eC B                    d5d+¬2¦  «         eC B                    d6¦  «         eC B                    d7eDd¬8¦  «         eC B                    d9eDd¬8¦  «         eC B                    d:¦  «         eC B                    d;¦  «         e? @                    d<¦  «        ZEeE B                    d.d=¬0¦  «         eE B                    d1d+¬2¦  «         eE B                    d>d+¬2¦  «         eE B                    d3d+¬2¦  «         eE B                    d6¦  «         eE B                    d5d+d?¬@¦  «         eE B                    dAd$¬0¦  «         eE B                    d7eDd¬8¦  «         eE B                    dBeDd¬8¦  «         eE B                    dC¦  «         eE B                    d:¦  «         eE B                    d;¦  «         eE B                    dD¦  «         e? @                    dE¦  «        ZFeF B                    dFd+¬2¦  «         eF B                    dGd+¬2¦  «         eF B                    dHd+¬2¦  «         e= G                    ¦   «         ZHeHjI        d-k    r5 eJ ejK         e5eHjL        eHj        eHjM        ¦  «        ¦  «        ¦  «         dS eHjI        d4k    rƒ eJ ejK         e7eHjL        eHj        eHjM         ejN         e
eHjO        ¦  «         P                    ¦   «         ¦  «        eHjQ        eHjR        eHjS        eHjT        eHjU        ¬I¦	  «	        ¦  «        ¦  «         dS eHjI        d<k    r› eJ ejK         e8eHjL        eHj        eHjV        eHjM         ejN         e
eHjO        ¦  «         P                    ¦   «         ¦  «        eHjS        eHjW        eHjT        eHjX        eHjY        eHjQ        eHjR        eHjZ        ¬J¦  «        ¦  «        ¦  «         dS  eJ ejK         e9eHj[        eHj\        eHj]        ¦  «        ¦  «        ¦  «         dS dS )KzFDurable teacher/proposal/review rounds with source-only access checks.é    )ÚannotationsN)ÚasdictÚreplace)ÚPath)Úlinear_sum_assignmenté   )ÚBoxÚ
ProvenanceÚannotation_digestÚis_resolvedÚ
load_jsonlÚmerge_proposalsÚ
save_jsonl)Úiou_xywh)Úfile_digestÚload_protocolÚ
write_json)ÚNormalizationStatsÚapply_normalizationÚ
load_frame)Úresolve_device)Ú
SampleMetaÚletterbox_float)Úpredict_boxes)Úload_detector_checkpoint)Ú_is_completedg333333ë?)Úminimum_iouc               óè  ‡— | j         |j         k    rdS | j        |j        f| j        |j        ffD ]Á\  }Št          |¦  «        t          ‰¦  «        k    r dS |sŒ+t	          j        ˆfd„|D ¦   «         ¦  «        }||k                         t          ¦  «        |||k    z  t          |j	        ¦  «        dz   z  z   }t          | ¦  «        \  }}t	          j        |||f         |k     ¦  «        r dS ŒÂdS )NTc                ó.   •‡— g | ]Šˆfd „‰D ¦   «         ‘ŒS )c           	     ó�   •— g | ]B}t          ‰j        ‰j        ‰j        ‰j        f|j        |j        |j        |j        f¦  «        ‘ŒCS © )r   ÚxÚyÚwidthÚheight)Ú.0ÚbÚas     €úD/root/private/project/pallet_detection_v2/pallet/annotation/cycle.pyú
<listcomp>z-_audit_changed.<locals>.<listcomp>.<listcomp>#   s\   ø€ ð ,ð ,ð ,à !õ % a¤c¨1¬3°´¸¼Ð%BØ&'¤c¨1¬3°´¸¼Ð%BñDô Dð ,ð ,ð ,ó    r!   )r&   r(   Úrights    @€r)   r*   z"_audit_changed.<locals>.<listcomp>#   sK   øø€ ð ;ð ;ð ;à01ð,ð ,ð ,ð ,à%*ð,ñ ,ô ,ð ;ð ;ð ;r+   r   F)ÚstatusÚboxesÚignore_regionsÚlenÚnpÚarrayÚastypeÚfloatÚminÚshaper   Úany)	ÚbeforeÚafterr   ÚleftÚscoresÚbenefitÚmatched_leftÚmatched_rightr,   s	           @r)   Ú_audit_changedr?      s.  ø€ Ø„}˜œÒ$Ð$ØˆtØœ u¤{Ð3ØÔ.°Ô0DÐEðGð ð ‰ˆˆeåˆt‰9Œ9�˜E™
œ
Ò"Ð"Ø�4�4Øð 	ØÝ”ð ;ð ;ð ;ð ;à59ð;ñ ;ô ;ñ <ô <ˆð ˜[Ò(×0Ò0µÑ7Ô7Ø�f Ò+Ñ,µ°F´LÑ0AÔ0AÀAÑ0EÑFñHˆå&;¸W¸HÑ&EÔ&EÑ#ˆ�mÝŒ6�&˜ }Ð4Ô5¸ÒCÑDÔDð 	Ø�4�4ð	àˆ5r+   c                ó  — | D ]}}|j                              |j        ¦  «        }|�Z|j        |j        k    s3|j        |                     |j        ¦  «        k    s|j        |j        k    rt          d|j        › �¦  «        ‚Œ~d S )Nz3annotation differs from frozen split/group/anchor: )ÚframesÚgetÚframe_idÚgroup_idÚsplitÚsource_anchor_hashÚsource_sha256Ú
ValueError)Úrecordsr   ÚassignmentsÚrowÚframes        r)   Ú_validate_labelsrM   .   s“   € Øð cð cˆØÔ"×&Ò& s¤|Ñ4Ô4ˆØÐ %¤.°C´LÒ"@Ð"@Ø”; +§/¢/°#´,Ñ"?Ô"?Ò?Ð?ØÔ+¨sÔ/@Ò@Ð@ÝÐaÐSVÔS_ÐaÐaÑbÔbÐbøðcð cr+   c                ó  ‡‡‡— t          |¦  «        }ˆfd„| D ¦   «         }|r t          ˆfd„|D ¦   «         ¦  «        s||z  rt          d¦  «        ‚d‰vsd‰vrt          d¦  «        ‚ t          ¦   «         j        ˆfd„dD ¦   «         Ž }|||z  z  rt          d	¦  «        ‚t          ˆfd
„‰d         D ¦   «         ¦  «        rt          d¦  «        ‚t          ˆfd„‰d         D ¦   «         ¦  «        rt          d¦  «        ‚|S )Nc                ó4   •— h | ]}|j         ‰k    ¯|j        ’ŒS r!   ©ÚdomainrD   ©r&   rK   Útarget_domains     €r)   ú	<setcomp>z"_teacher_access.<locals>.<setcomp>9   s'   ø€ ÐMÐMÐM˜s°´¸}Ò1LÐ1LˆcŒlÐ1LÐ1LÐ1Lr+   c              3  óJ   •K  — | ]}‰                      |¦  «        d k    V — ŒdS ©ÚtrainN©rB   ©r&   ÚgrouprJ   s     €r)   ú	<genexpr>z"_teacher_access.<locals>.<genexpr>:   s4   øè è € ÐMÐM¸e˜Ÿš¨Ñ.Ô.°'Ò9ÐMÐMÐMÐMÐMÐMr+   z2audit groups must be frozen source-training groupsÚtrain_groupsÚ
val_groupsz3teacher must declare training and validation accessc              3  ó^   •K  — | ]'}t          ‰                     |d ¦  «        ¦  «        V — Œ(dS )r!   N)ÚsetrB   )r&   ÚkeyÚruns     €r)   r[   z"_teacher_access.<locals>.<genexpr>>   sQ   øè è € ð cð c°s�S §¢¨¨bÑ!1Ô!1Ñ2Ô2ð cð cð cð cð cð cr+   )r\   r]   Únormalization_groupsÚtuning_groupsÚaccessed_groupszBteacher training/validation access includes audit or target groupsc              3  óJ   •K  — | ]}‰                      |¦  «        d k    V — ŒdS rV   rX   rY   s     €r)   r[   z"_teacher_access.<locals>.<genexpr>B   s4   øè è € Ð
NÐ
N°ˆ;�?Š?˜5Ñ!Ô! WÒ,Ð
NÐ
NÐ
NÐ
NÐ
NÐ
Nr+   z:teacher training groups differ from frozen source trainingc              3  óJ   •K  — | ]}‰                      |¦  «        d k    V — ŒdS )ÚvalNrX   rY   s     €r)   r[   z"_teacher_access.<locals>.<genexpr>D   s4   øè è € Ð
JÐ
J¨uˆ;�?Š?˜5Ñ!Ô! UÒ*Ð
JÐ
JÐ
JÐ
JÐ
JÐ
Jr+   z>teacher validation groups differ from frozen source validation)r_   r7   rH   Úunion)rI   rJ   ra   Úaudit_groupsrS   ÚauditÚtargetÚaccesseds    `` `   r)   Ú_teacher_accessrm   7   sx  øøø€ Ý�ÑÔ€EØMÐMÐMÐM gÐMÑMÔM€FØð O•CÐMÐMÐMÐMÀuÐMÑMÔMÑMÔMð OÐQVÐY_ÑQ_ð OÝÐMÑNÔNÐNØ˜SÐ Ð  L¸Ð$;Ð$;ÝÐNÑOÔOÐOØ�s‰uŒuŒ{ð cð cð cð cð ?bð cñ cô cð d€Hà�5˜6‘>Ñ"ð _ÝÐ]Ñ^Ô^Ð^Ý
Ð
NÐ
NÐ
NÐ
N¸#¸nÔ:MÐ
NÑ
NÔ
NÑNÔNð WÝÐUÑVÔVÐVÝ
Ð
JÐ
JÐ
JÐ
J¸¸LÔ8IÐ
JÑ
JÔ
JÑJÔJð [ÝÐYÑZÔZÐZØ€Or+   c                óÔ   — t          j        t          j        d„ |                      ¦   «         D ¦   «         dd¬¦  «                             ¦   «         ¦  «                             ¦   «         S )Nc                ó&   — i | ]\  }}|d k    ¯||“ŒS )Ústate_sha256r!   )r&   ÚkÚvs      r)   ú
<dictcomp>z!_state_digest.<locals>.<dictcomp>J   s2   € ð & ð & ð & ©t¨q°!Ø�ÒÐð '(¨ØÐÐr+   T)ú,ú:)Ú	sort_keysÚ
separators)ÚhashlibÚsha256ÚjsonÚdumpsÚitemsÚencodeÚ	hexdigest)Ústates    r)   Ú_state_digestr€   I   sl   € ÝŒ>�$œ*ð & ð & °u·{²{±}´}ð & ñ & ô & Ø+/¸JðHñ Hô HßHNÊÉÌñRô RßR[ÒR[ÑR]ÔR]ð^r+   c                ó>  — t          | ¦  «        } |                      ¦   «         r| dz  } t          j        |                      ¦   «         ¦  «        }|                     d¦  «        dk    s&|                     d¦  «        t          |¦  «        k    rt          d¦  «        ‚|S )Nú
round.jsonr   Úcompleterp   z.parent round is not a verified completed round)r   Úis_dirrz   ÚloadsÚ	read_textrB   r€   rH   )Úpathr   s     r)   Ú_parent_staterˆ   N   sŠ   € Ý�‰:Œ:€DØ‡{‚{�}„}ð #Ø�lÑ"ˆÝŒJ�t—~’~Ñ'Ô'Ñ(Ô(€EØ‡y‚y�ÑÔ˜ZÒ'Ð'¨5¯9ª9°^Ñ+DÔ+DÍÐV[ÑH\ÔH\Ò+\Ð+\ÝÐIÑJÔJÐJØ€Lr+   r!   ©ri   rS   rJ   Úexcluded_frame_idsc               óÎ   ‡‡‡‡‡‡— ‰€t          d¦  «        ‚t          | ‰‰¦  «         t          ‰¦  «        Št          ‰¦  «        Šˆfd„| D ¦   «         Šˆˆˆˆˆfd„| D ¦   «         S )Nz6frozen assignments are required for proposal selectionc                ó4   •— h | ]}|j         ‰k    ¯|j        ’ŒS r!   rP   rR   s     €r)   rT   z)eligible_source_frames.<locals>.<setcomp>_   s'   ø€ ÐTÐTÐT c¸¼
ÀmÒ8SÐ8S�S”\Ð8SÐ8SÐ8Sr+   c                ó²   •— g | ]S}|j         ‰j        v rC‰|j                 d k    r2‰j        |j                  j        dk    r|j        ‰‰z  vr|j         ‰v¯Q|‘ŒTS )rW   Ú
unreviewed)rC   rA   rD   r-   )r&   rK   r   rJ   ri   rŠ   Útarget_groupss     €€€€€r)   r*   z*eligible_source_frames.<locals>.<listcomp>`   s}   ø€ ð 8ð 8ð 8�C c¤l°kÔ6HÐ&HÐ&HØ˜CœLÔ)¨7Ò2Ð2ØÔ" 3¤<Ô0Ô7¸ÒEÐEØ” L°=Ñ$@Ð@Ð@Ø”Ð$6Ð6Ð6ð	 ð 7Ð6Ð6r+   )rH   rM   r_   )rI   r   ri   rS   rJ   rŠ   r�   s    `````@r)   Úeligible_source_framesr�   X   s¢   øøøøøø€ àÐÝÐQÑRÔRÐRÝ�W˜k¨;Ñ7Ô7Ð7Ý�\Ñ"Ô"€LÝÐ-Ñ.Ô.ÐØTÐTÐTÐT¨WÐTÑTÔT€Mð8ð 8ð 8ð 8ð 8ð 8ð 8ð 8˜7ð 8ñ 8ô 8ð 8r+   ©rS   Úprotocol_sha256c          	     óR  ‡— t          |¦  «        t          |¦  «        k    rt          d¦  «        ‚|st          ¦   «         d fS t          j        t          |¦  «                             ¦   «         ¦  «        }|d         }t          |t          ¦  «        r-t          |¦  «        t          t          |¦  «        ¦  «        k    rt          d¦  «        ‚t          |¦  «         
                    d¦  «        }d }	|                     ¦   «         �r’t          j        |                     ¦   «         ¦  «        }
t          j        t          j        t          |¦  «        ¦  «                             ¦   «         ¦  «                             ¦   «         }|
                     d¦  «        dk    sÞ|
                     d¦  «        t'          t          |¦  «                             ¦   «         ¦  «        k    s™|
                     d¦  «        t+          |¦  «        k    ss|
                     d	¦  «        |k    sZ|
                     d
¦  «        t          |¦  «        k    s4|
                     d¦  «        dk    s|�(|
                     d¦  «        |k    rt          d¦  «        ‚t+          |¦  «        }	d„ | D ¦   «         }t-          |¦  «        }h d£Š|D ]Î}|                     |¦  «        }|j                             |¦  «        }|�‰|                     |j        ¦  «        dk    sk|�|j        |k    s^|�\t5          |d¬¦  «        rK|j        dk    s@|j        |j        k    s0|j        |j        k    s t=          ˆfd„|j        D ¦   «         ¦  «        rt          d|› �¦  «        ‚ŒÏt+          |¦  «        t+          |¦  «        |	r|nVt          j        t          j        t          |¦  «        ¦  «                             ¦   «         ¦  «                             ¦   «         t          |¦  «        dœ}|	r|	|d<   t          |¦  «        |fS )Nz2reviewed exclusion needs both selection and labelsrW   z@reviewed exclusion selection must contain unique training framesú.manifest.jsonÚkindú6frozen independent source-training exclusion selectionÚlabels_pathÚlabels_sha256Úframe_ids_sha256rA   rE   r’   z9reviewed exclusion selection provenance manifest mismatchc                ó   — i | ]
}|j         |“ŒS r!   ©rC   ©r&   rK   s     r)   rs   z0verified_reviewed_exclusions.<locals>.<dictcomp>€   ó   € Ð
/Ð
/Ð
/ ˆ3Œ<˜Ð
/Ð
/Ð
/r+   >   Úsam3ÚmodelÚfewshotÚdetectorÚsegmentationT©Úrequire_blindc              3  óN   •K  — | ]}|j                              ¦   «         ‰v V — Œ d S ©N©ÚsourceÚlower©r&   ÚpÚ	forbiddens     €r)   r[   z/verified_reviewed_exclusions.<locals>.<genexpr>‹   ó4   øè è € ÐOÐO¸�q”x—~’~Ñ'Ô'¨9Ð4ÐOÐOÐOÐOÐOÐOr+   z@reviewed exclusion is not an independent source-training label: )Úselection_sha256r˜   r™   rA   Úselection_manifest_sha256) ÚboolrH   r_   rz   r…   r   r†   Ú
isinstanceÚlistr0   Úwith_suffixÚexistsrx   ry   r{   Úsortedr}   r~   rB   ÚstrÚresolver   r   rA   rD   rQ   r   rE   rF   rG   r7   Ú
provenance)rI   rJ   Úselection_pathr—   rS   r’   Ú	selectionÚselectedÚselection_manifest_pathr¯   Úselection_manifestÚexpected_ids_sha256Úby_idÚlabelsÚfidrK   rL   Úmanifestr¬   s                     @r)   Úverified_reviewed_exclusionsrÃ   g   sð  ø€ åˆNÑÔ�t KÑ0Ô0Ò0Ð0ÝÐMÑNÔNÐNØð Ý‰uŒu�dˆ{ÐÝŒj�˜nÑ-Ô-×7Ò7Ñ9Ô9Ñ:Ô:€IØ�wÔ€HÝ�h�tÑ$Ô$ð ]­¨H©¬µs½3¸x¹=¼=Ñ7IÔ7IÒ(IÐ(IÝÐ[Ñ\Ô\Ð\Ý  Ñ0Ô0×<Ò<Ð=MÑNÔNÐØ"ÐØ×%Ò%Ñ'Ô'ñ GÝœ:Ð&=×&GÒ&GÑ&IÔ&IÑJÔJÐÝ#œN­4¬:µf¸XÑ6FÔ6FÑ+GÔ+G×+NÒ+NÑ+PÔ+PÑQÔQ×[Ò[Ñ]Ô]ÐØ×"Ò" 6Ñ*Ô*Ð,dÒdÐdØ%×)Ò)¨-Ñ8Ô8½#½dÀ;Ñ>OÔ>O×>WÒ>WÑ>YÔ>YÑ:ZÔ:ZÒZÐZØ%×)Ò)¨/Ñ:Ô:½KÈÑ<TÔ<TÒTÐTØ%×)Ò)Ð*<Ñ=Ô=Ð?RÒRÐRØ%×)Ò)¨(Ñ3Ô3µS¸±]´]ÒBÐBØ%×)Ò)¨'Ñ2Ô2°GÒ;Ð;Ø#Ð/Ø*×.Ò.Ð/@ÑAÔAÀ?ÒRÐRÝÐXÑYÔYÐYÝ"-Ð.EÑ"FÔ"FÐ!Ø
/Ð
/ wÐ
/Ñ
/Ô
/€EÝ�kÑ"Ô"€FØBÐBÐB€IØð 	gð 	gˆØ�IŠI�c‰NŒNˆØŒm×Ò Ñ$Ô$ˆØˆK˜;Ÿ?š?¨3¬<Ñ8Ô8¸'ÒAÐAØ!Ð-°#´*¸mÒ2KÐ2KØ�=­°EÈÐ(MÑ(MÔ(M�=Ø”; Ò'Ð'¨5¬>¸3¼<Ò+GÐ+GØÔ+¨SÔ->Ò>Ð>ÝÐOÐOÐOÐO¸eÔ>NÐOÑOÔOÑOÔOð ?åÐeÐ`cÐeÐeÑfÔfÐfð ?õ "-¨^Ñ!<Ô!<Ý)¨+Ñ6Ô6Ø8Qð "TÐ!4Ð!4Ý”.¥¤­F°8Ñ,<Ô,<Ñ!=Ô!=×!DÒ!DÑ!FÔ!FÑGÔG×QÒQÑSÔSÝ˜8‘}”}ð	&ð &€Hð
 !ð HØ.GˆÐ,Ñ-Ýˆx‰=Œ=˜(Ð"Ð"r+   c                ól  ‡— t          | ¦  «        \  }}}d„ |D ¦   «         }t          |¦  «        }t          |||¦  «         h d£Št          |j        ¦  «        }|st          d¦  «        ‚|D ]’}	|                     |	¦  «        }
|j        |	         }|
�Z|                     |
j        ¦  «        dk    s<|j        dk    s1t          |d¬¦  «        r t          ˆfd„|j        D ¦   «         ¦  «        rt          d	|	› �¦  «        ‚Œ“|g g d
œ}t          |¦  «        }dt          t          | ¦  «        dz  ¦  «        t          t          |¦  «                             ¦   «         ¦  «        t          |¦  «        dt!          |¦  «        t#          j        t'          j        |¦  «                             ¦   «         ¦  «                             ¦   «         dœ}|}|                     d¦  «        }|                     ¦   «         s|                     ¦   «         rŒ|                     ¦   «         rh|                     ¦   «         rTt'          j        |                     ¦   «         ¦  «        |k    s*t'          j        |                     ¦   «         ¦  «        |k    rt          d¦  «        ‚n t7          ||¦  «         t7          ||¦  «         |S )zKCreate an immutable selection bound to a frozen reviewed source-label file.c                ó   — i | ]
}|j         |“ŒS r!   r›   rœ   s     r)   rs   z,bind_exclusion_selection.<locals>.<dictcomp>š   r�   r+   >   rž   rŸ   r    r¡   r¢   z&reviewed exclusion label file is emptyNrW   Tr£   c              3  óN   •K  — | ]}|j                              ¦   «         ‰v V — Œ d S r¦   r§   rª   s     €r)   r[   z+bind_exclusion_selection.<locals>.<genexpr>¦   r­   r+   zHexclusion labels must be independently resolved source-training frames: ©rW   rg   Útestr–   úprotocol.json)r•   r’   r—   r˜   rE   rA   r™   r”   z:existing exclusion selection differs from its bound inputs)r   r   rM   rµ   rA   rH   rB   rD   rE   r   r7   r¸   r   r   r¶   r·   r0   rx   ry   rz   r{   r}   r~   r³   r´   r…   r†   r   )ÚprotocolÚannotations_pathÚoutputrI   rJ   Ú_r¿   rÀ   r»   rÁ   rK   rL   rº   rÂ   r¹   Úmanifest_pathr¬   s                   @r)   Úbind_exclusion_selectionrÏ   —   s»  ø€ å'¨Ñ1Ô1Ñ€GˆK˜Ø
/Ð
/ wÐ
/Ñ
/Ô
/€EÝÐ&Ñ'Ô'€FÝ�W˜V KÑ0Ô0Ð0ØBÐBÐB€IÝ�F”MÑ"Ô"€HØð CÝÐAÑBÔBÐBØð oð oˆØ�IŠI�c‰NŒNˆØŒm˜CÔ ˆØˆK˜;Ÿ?š?¨3¬<Ñ8Ô8¸'ÒAÐAØ”; Ò'Ð'­{¸5ÈtÐ/TÑ/TÔ/TÐ'ÝÐOÐOÐOÐO¸eÔ>NÐOÑOÔOÑOÔOð (åÐmÐhkÐmÐmÑnÔnÐnð (ð   b°Ð3Ð3€IÝ�‰<Œ<€FØMÝ +­D°©N¬N¸?Ñ,JÑ KÔ KÝ¥Ð%5Ñ 6Ô 6× >Ò >Ñ @Ô @ÑAÔAÝ)Ð*:Ñ;Ô;Ø¥s¨8¡}¤}Ý!(¤µ´
¸8Ñ0DÔ0D×0KÒ0KÑ0MÔ0MÑ!NÔ!N×!XÒ!XÑ!ZÔ!Zð\ð \€Hð €NØ×$Ò$Ð%5Ñ6Ô6€MØ×ÒÑÔð + -×"6Ò"6Ñ"8Ô"8ð +Ø×%Ò%Ñ'Ô'ð 	[¨}×/CÒ/CÑ/EÔ/Eð 	[Ý”:˜n×6Ò6Ñ8Ô8Ñ9Ô9¸9ÒDÐDÝ”:˜m×5Ò5Ñ7Ô7Ñ8Ô8¸(ÒBÐBÝÐYÑZÔZÐZð Cõ 	�> )Ñ,Ô,Ð,Ý�= Ñ*Ô*Ð*Ø€Or+   é   é*   )rS   rŠ   ÚlimitÚseedc               ó¸   — |dk     rt          d¦  «        ‚t          | |||||¬¦  «        }t          j        |¦  «                             |¦  «         |d |…         S )Nr   z&round candidate limit must be positiver‰   )rH   r�   ÚrandomÚRandomÚshuffle)	rI   rÀ   rJ   ri   rS   rŠ   rÒ   rÓ   Ú
candidatess	            r)   Úselect_source_candidatesrÙ   ½   sn   € àˆq‚y€yÝÐAÑBÔBÐBÝ% g¨fÀ,Ø3@ÈkØ8JðLñ Lô L€Jõ „M�$ÑÔ×Ò 
Ñ+Ô+Ð+Ø�f�u�fÔÐr+   )Úexclude_reviewed_selectionÚexclude_reviewed_labelsrS   rÒ   rÓ   c               ó¶  ‡— t          | ¦  «        \  }	Š}
|rt          ˆfd„|D ¦   «         ¦  «        rt          d¦  «        ‚t          |¦  «        }t	          |	‰|||t          t          | ¦  «        dz  ¦  «        ¬¦  «        \  }}t          |	|‰|||||¬¦  «        }d„ |D ¦   «         g g dœ}t          |¦  «        }t          t          | ¦  «        dz  ¦  «        t          |¦  «        t          |¦  «        ||||t          |¦  «        dœ}| 
                    ¦   «         r9t          j        |                     ¦   «         ¦  «        |k    rt          d	¦  «        ‚|                     d
¦  «        }| 
                    ¦   «         r9t          j        |                     ¦   «         ¦  «        |k    rt          d¦  «        ‚t          ||¦  «         t          ||¦  «         |S )Nc              3  óJ   •K  — | ]}‰                      |¦  «        d k    V — ŒdS rV   rX   rY   s     €r)   r[   z"preselect_round.<locals>.<genexpr>Ì   s4   øè è € ÐYÐYÀ5˜{Ÿš¨uÑ5Ô5°wÒ>ÐYÐYÐYÐYÐYÐYr+   z2preselection requires source-training audit groupsrÉ   r‘   ©ri   rS   rŠ   rÒ   rÓ   c                ó   — g | ]	}|j         ‘Œ
S r!   r›   rœ   s     r)   r*   z#preselect_round.<locals>.<listcomp>Ö   s   € Ð;Ð;Ð;¨˜œÐ;Ð;Ð;r+   rÇ   )r’   Úinput_labels_sha256ri   Úreviewed_exclusionrS   rÓ   rÒ   Úselected_framesz9existing preselection differs from frozen candidate rulesr”   z9existing preselection manifest differs from frozen inputs)r   r7   rH   r   rÃ   r   r   rÙ   rµ   r0   r´   rz   r…   r†   r³   r   )rÊ   rË   rÌ   ri   rÚ   rÛ   rS   rÒ   rÓ   rI   rÍ   rÀ   ÚexcludedÚexclusion_manifestrØ   rº   rÂ   rÎ   rJ   s                     @r)   Úpreselect_roundrå   È   s  ø€ õ (¨Ñ1Ô1Ñ€GˆK˜Øð O�3ÐYÐYÐYÐYÈLÐYÑYÔYÑYÔYð OÝÐMÑNÔNÐNÝÐ&Ñ'Ô'€FÝ <Ø�Ð6Ð7NØ#Ý#¥D¨¡N¤N°?Ñ$BÑCÔCð!Eñ !Eô !EÑ€HÐõ (¨°°{Ø!°Ø#¨%°Tð;ñ ;ô ;€Jð <Ð;°
Ð;Ñ;Ô;À"ÈBÐOÐO€IÝ�‰<Œ<€FÝ +­D°©N¬N¸?Ñ,JÑ KÔ KÝ$/Ð0@Ñ$AÔ$AÝ# LÑ1Ô1ÐGYØ+°4ÀÝ # J¡¤ð	1ð 1€Hð
 ‡}‚}�„ð V�4œ: f×&6Ò&6Ñ&8Ô&8Ñ9Ô9¸9ÒDÐDÝÐTÑUÔUÐUØ×$Ò$Ð%5Ñ6Ô6€MØ×ÒÑÔð V¥$¤*¨]×-DÒ-DÑ-FÔ-FÑ"GÔ"GÈÒ"QÐ"QÝÐTÑUÔUÐUÝˆv�iÑ Ô Ð Ýˆ}˜XÑ&Ô&Ð&Ø€Or+   zcuda:0)
ri   rS   rÒ   rÓ   ÚdeviceÚround_indexÚparent_roundrÚ   rÛ   Úpreselection_pathc       
        óš  — t          |¦  «        }|                     dd¬¦  «         |st          d¦  «        ‚t          | ¦  «        \  }}}t	          |¦  «        }t          |||¦  «         t          j        t          |¦  «        j        dz   	                    ¦   «         ¦  «        }t          j        t          |¦  «        j        dz   	                    ¦   «         ¦  «        }t          t          |¦  «        j        |d         ¦  «        st          d¦  «        ‚t          |¦  «        |d         k    rt          d	¦  «        ‚|d
         t          t          | ¦  «        dz  ¦  «        k    rt          d¦  «        ‚t          |d         ¦  «        }t          |||||¦  «        }|d         t          |¦  «        k    rt          d¦  «        ‚t          |||||t          t          | ¦  «        dz  ¦  «        ¬¦  «        \  }}t          ||||||||¬¦  «        }|�rEt          j        t          |¦  «         	                    ¦   «         ¦  «        }|                     d¦  «        d„ |D ¦   «         k    rt          d¦  «        ‚t          j        t          |¦  «                             d¦  «         	                    ¦   «         ¦  «        }|d
         t          t          | ¦  «        dz  ¦  «        k    sb|d         t          |¦  «        k    sI|d         |k    s=|d         t%          |¦  «        k    s$|d         |k    s|d         |k    s|d         |k    rt          d¦  «        ‚i dd“d
t          t          | ¦  «        dz  ¦  «        “dt'          t          | ¦  «                             ¦   «         ¦  «        “d t'          t          |¦  «                             ¦   «         ¦  «        “dt          |¦  «        “d!t          |¦  «        “d"t%          |¦  «        “dt%          |¦  «        “d#t%          |¦  «        “d$|	“d|“d%|rt          |¦  «        nd “d&|
r.t'          t          |
¦  «                             ¦   «         ¦  «        nd “d'd “d|“d(d)„ |D ¦   «         “}|
rˆt+          |
¦  «        }|	|d$         d*z   k    sO|d
         |d
         k    s=|d+         |d         k    s+|d         |d         k    s|                     d¦  «        |k    rt          d,¦  «        ‚|d-         |d'<   n|	d*k    rt          d.¦  «        ‚t-          |¦  «        |d/<   |d0z  }|                     ¦   «         r`t          j        | 	                    ¦   «         ¦  «        }|                     d/¦  «        |d/         k    rt          d1¦  «        ‚|d         d2v r|S t1          ||¦  «         t3          |¦  «        \  }} |                     ¦   «                              t9          |¦  «        ¦  «         t;          j        |d3d4¬5¦  «        }!t?          dLi |!d6         ¤Ž}"|d7z                       ¦   «         r)t          j        |d7z   	                    ¦   «         ¦  «        ni }#|d8z                       ¦   «         r)t          j        |d8z   	                    ¦   «         ¦  «        ni }$|#rt	          |d9z  ¦  «        }tA          |¦  «        D �]Á\  }%}&|&j!        |#v s	|&j!        |$v rŒ	 tE          |&¦  «        }'nd# t          tF          f$ rP}(t'          |&j$        ¦  «        t'          |(¦  «        |&j%        d:d;œ|$|&j!        <   t1          |d8z  |$¦  «         Y d }(~(Œ†d }(~(ww xY wtM          tO          |'|"¦  «        | d<         ¦  «        \  })}*}+tQ          |&j!        |'j)        d d=…         |*|+¦  «        },tU          ||) +                    d>¦  «                             t9          |¦  «        ¦  «        |,d?| d<         ¬@¦  «        }-dA„ |-D ¦   «         |#|&j!        <   tY          ||&j!        dB„ |-D ¦   «         it[          dC|d!         t]          t%          |¦  «        ¦  «        dD¬E¦  «        ¬F¦  «         |%d*z   dGz  d>k    r&t_          ||d9z  ¦  «         t1          |d7z  |#¦  «         �ŒÃt_          ||d9z  ¦  «         t1          |d7z  |#¦  «         t1          |d8z  |$¦  «         t1          |dHz  |d(         g g dIœ¦  «         | 0                    dJt          |d9z  ¦  «        tc          |#¦  «        tc          |$¦  «        ¬K¦  «         t1          ||¦  «         |S )MNT)ÚparentsÚexist_okz6reserve source audit groups before fitting the teacherzrun.jsonzcompleted.jsonÚtarget_epochsz5teacher has not completed its registered training runÚbest_checkpoint_sha256z7teacher checkpoint is not the completed best checkpointr’   rÉ   z&teacher used a different data protocolr\   Úannotation_sha256z4teacher label version and round label version differr‘   rÞ   rW   c                ó   — g | ]	}|j         ‘Œ
S r!   r›   rœ   s     r)   r*   z!propose_round.<locals>.<listcomp>  s   € Ð%IÐ%IÐ%I°s c¤lÐ%IÐ%IÐ%Ir+   z8frozen preselection differs from teacher candidate rulesr”   rà   rá   ri   rS   rÓ   rÒ   z8frozen preselection manifest differs from teacher inputsr   Ú	proposingrÊ   Úinput_labelsÚteacher_sha256Úteacher_train_groupsÚteacher_accessed_groupsrç   Úpreselection_sha256rè   Úparent_state_sha256Ú	frame_idsc                ó   — g | ]	}|j         ‘Œ
S r!   r›   )r&   Úrs     r)   r*   z!propose_round.<locals>.<listcomp>  s   € Ð6VÐ6VÐ6VÀa°q´zÐ6VÐ6VÐ6Vr+   r   Úreviewed_labels_sha256z;round does not continue the same audited input/output chainrp   z-later rounds require a completed parent roundÚround_idr‚   z;round directory belongs to a different teacher/data version>   rƒ   Úawaiting_reviewÚcpuF)Úmap_locationÚweights_onlyÚnormalizationzpredictions.jsonzread_errors.jsonúproposals.jsonlÚ%quarantined_read_failure_not_negative)r¨   ÚerrorrG   r-   Úsizeé   r   gš™™™™™©?)Úconfr  c                ó   — g | ]
\  }}||d œ‘ŒS ))ÚxyxyÚscorer!   ©r&   Úboxr
  s      r)   r*   z!propose_round.<locals>.<listcomp>E  s$   € Ð"UÐ"UÐ"UÁ)À#Àe¨3°uÐ#=Ð#=Ð"UÐ"UÐ"Ur+   c           
     óÔ   — g | ]e\  }}|d          |d         k    ¯|d         |d         k    ¯)t          |d         |d         |d          |d         z
  |d         |d         z
  ¦  «        ‘ŒfS )r  r   é   r   )r	   r  s      r)   r*   z!propose_round.<locals>.<listcomp>F  s†   € ð .jð .jð .jÙ3<°3°uÈÈQÌÐPSÐTUÔPVÊÈÐ[^Ð_`Ô[aÐbeÐfgÔbhÒ[hÐ[hõ /2°#°a´&¸¸Q¼ÀÀAÄÀsÈ1ÄvÁÈcÐRSÌfÐUXÐYZÔU[ÉmÑ.\Ô.\Ø[hÐ[hÐ[hr+   r¡   zproposal only)rŸ   Útrained_group_idsÚnote)r¸   é   zselection.jsonrÇ   rý   )r   Úproposal_labels_sha256Úproposed_framesÚread_errorsr!   )2r   ÚmkdirrH   r   r   rM   rz   r…   Úparentr†   r   r   r_   rm   rÃ   rÙ   rB   r³   rµ   r¶   r·   rˆ   r€   r´   r   r   ÚevalÚtor   ÚtorchÚloadr   Ú	enumeraterC   r   ÚOSErrorÚpcdrG   r   r   r   r6   r   Ú	unsqueezer   r
   Útupler   Úupdater0   ).rÊ   rË   Ú
checkpointrÌ   ri   rS   rÒ   rÓ   ræ   rç   rè   rÚ   rÛ   ré   rI   rJ   ÚidentityrÀ   ra   Ú
completionÚgroupsrl   rã   rä   rØ   ÚpreselectedÚpreselection_manifestÚrecordr  Ú
state_pathÚpreviousrŸ   ÚconfigÚsavedÚstatsÚpredictionsÚerrorsÚindexrK   rL   ÚexcÚimageÚscaleÚpaddingÚmetar.   s.                                                 r)   Úpropose_roundr5  ç   s
  € õ
 �‰<Œ<€F˜Ÿš¨T¸4˜Ñ@Ô@Ð@Øð SÝÐQÑRÔRÐRÝ!.¨xÑ!8Ô!8Ñ €GˆK˜ÝÐ&Ñ'Ô'€FÝ�W˜f kÑ2Ô2Ð2ÝŒ
•D˜Ñ$Ô$Ô+¨JÑ6×AÒAÑCÔCÑDÔD€CÝŒz�4 
Ñ+Ô+Ô2Ð3CÑC×NÒNÑPÔPÑQÔQ€JÝ�˜jÑ)Ô)Ô0°¸OÔ1LÑMÔMð RÝÐPÑQÔQÐQÝ�:ÑÔ *Ð-EÔ"FÒFÐFÝÐRÑSÔSÐSØ
ÐÔ�{­4°©>¬>¸/Ñ+IÑJÔJÒJÐJÝÐAÑBÔBÐBÝˆs�>Ô"Ñ#Ô#€FÝ˜w¨°S¸,ÈÑVÔV€HØ
ÐÔ¥Ð-=Ñ!>Ô!>Ò>Ð>ÝÐOÑPÔPÐPÝ!=Ø�Ð6Ð7NØ#Ý#¥D¨¡N¤N°?Ñ$BÑCÔCð"Eñ "Eô "EÑ €HÐ õ (¨°°{ÐP\Ø6CÐW_Ø.3¸ð?ñ ?ô ?€Jð ñ YÝ”J�tÐ$5Ñ6Ô6×@Ò@ÑBÔBÑCÔCˆØ�?Š?˜7Ñ#Ô#Ð%IÐ%I¸jÐ%IÑ%IÔ%IÒIÐIÝÐWÑXÔXÐXÝ"œj­Ð.?Ñ)@Ô)@×)LÒ)LÐM]Ñ)^Ô)^×)hÒ)hÑ)jÔ)jÑkÔkÐØ!Ð"3Ô4µkÅ$ÀxÁ.Ä.ÐQ`ÑB`Ñ6aÔ6aÒaÐaØ(Ð)>Ô?ÅÐM]ÑA^ÔA^Ò^Ð^Ø(Ð)=Ô>Ð@RÒRÐRØ(¨Ô8½&ÀÑ:NÔ:NÒNÐNØ(¨Ô9¸=ÒHÐHØ(¨Ô0°$Ò6Ð6Ð:OÐPWÔ:XÐZ_Ò:_Ð:_ÝÐWÑXÔXÐXð
XˆG�Kð 
XÐ 1µ+½dÀ8¹n¼nÈ_Ñ>\Ñ2]Ô2]ð 
XØ•s�4 ™>œ>×1Ò1Ñ3Ô3Ñ4Ô4ð
Xà�3�tÐ$4Ñ5Ô5×=Ò=Ñ?Ô?Ñ@Ô@ð
Xð "¥+Ð.>Ñ"?Ô"?ð
Xð AQÕQ\Ð]gÑQhÔQhð
Xð #¥6¨&¡>¤>ð	
Xð 3AÅÈÑAUÔAUð	
Xð
 &¥f¨XÑ&6Ô&6ð
Xð
 9FÀkð
Xð !Ð!3ð
Xð "ÐDUÐ"_¥+Ð.?Ñ"@Ô"@Ð"@Ð[_ð
Xð ÀÐV�3�t LÑ1Ô1×9Ò9Ñ;Ô;Ñ<Ô<Ð<ÐRVð
Xð " $ð
Xð ˜Mð
Xð +6Ð6VÐ6VÈ:Ð6VÑ6VÔ6Vð
X€Fð ð 
JÝ˜|Ñ,Ô,ˆØ˜6 -Ô0°1Ñ4Ò4Ð4ØÐ+Ô,°Ð7HÔ0IÒIÐIØÐ2Ô3°vÐ>SÔ7TÒTÐTØ˜.Ô)¨V°NÔ-CÒCÐCØ—:’:˜oÑ.Ô.°-Ò?Ð?ÝÐZÑ[Ô[Ð[Ø(.¨~Ô(>ˆÐ$Ñ%Ð%Ø	˜Ò	Ð	ÝÐHÑIÔIÐIÝ& vÑ.Ô.€Fˆ:ÑØ�lÑ"€JØ×ÒÑÔð Ý”˜J×0Ò0Ñ2Ô2Ñ3Ô3ˆØ�<Š<˜
Ñ#Ô# v¨jÔ'9Ò9Ð9ÝÐZÑ[Ô[Ð[Ø�GÔÐ >Ð>Ð>ØˆOÝˆz˜&Ñ!Ô!Ð!Ý)¨*Ñ5Ô5�L€Eˆ&Ø	‡J‚J�L„L‡O‚O•N 6Ñ*Ô*Ñ+Ô+Ð+Ý
Œ*�Z¨UÀÐ
FÑ
FÔ
F€EÝ
Ð
6Ð
6˜u _Ô5Ð
6Ð
6€EØHNÐOaÑHa×GiÒGiÑGkÔGkÐs•”
˜FÐ#5Ñ5×@Ò@ÑBÔBÑCÔCÐCÐqs€KØCIÐJ\ÑC\×BdÒBdÑBfÔBfÐn�4Œ:�vÐ0Ñ0×;Ò;Ñ=Ô=Ñ>Ô>Ð>Ðln€FØð 4Ý˜&Ð!2Ñ2Ñ3Ô3ˆÝ˜zÑ*Ô*ð >ñ >‰	ˆˆcØŒ<˜;Ð&Ð&¨#¬,¸&Ð*@Ð*@Øð	Ý˜S‘/”/ˆEˆEøÝ�7Ð#ð 	ð 	ð 	Ý+.¨s¬w©<¬<ÅÀCÁÄÐY\ÔYjØ,Sð"Uð "UˆF�3”<Ñ å�vÐ0Ñ0°Ñ8Ô8Ð8ØˆHˆHˆHˆHøøøøð		øøøõ
 ,Õ,?ÀÀeÑ,LÔ,LÈVÐTZÌ^Ñ\Ô\Ñˆˆe�GÝ˜œ U¤[°°!°¤_°U¸7ÑCÔCˆÝ˜E %§/¢/°!Ñ"4Ô"4×"7Ò"7½ÀvÑ8NÔ8NÑ"OÔ"OÐPTÐZ]ÐciÐjpÔcqÐrÑrÔrˆØ"UÐ"UÈuÐ"UÑ"UÔ"Uˆ�C”LÑ!Ý˜ ¤ð .jð .jØ@Eð.jñ .jô .jð  kå#-¨j¸vÐFVÔ?WÝ@EÅfÈVÁnÄnÑ@UÔ@UÐ[jð$lñ $lô $lð	mñ 	mô 	mð 	mð �!‰G�R‰<˜Š?ˆ?Ý�v˜fÐ%6Ñ6Ñ7Ô7Ð7Ý�vÐ0Ñ0°Ñ=Ô=Ð=ùÝˆv�fÐ.Ñ.Ñ/Ô/Ð/ÝˆvÐ(Ñ(¨Ñ5Ô5Ð5ÝˆvÐ(Ñ(¨Ñ0Ô0Ð0ÝˆvÐ&Ñ&°°{Ô0CÈ"ÐTVÐ'WÐ'WÑXÔXÐXØ
‡M‚MÐ)ÅÈVÐTeÑMeÑAfÔAfÝ"% kÑ"2Ô"2½sÀ6¹{¼{ð ñ Lô Lð Låˆz˜&Ñ!Ô!Ð!Ø€Ms   Û9\	Ü	]*ÜA]%Ý%]*c                óš  ‡‡‡— t          | ¦  «        } t          j        | dz                       ¦   «         ¦  «        }|                     d¦  «        dk    rƒ|                     d¦  «        t          |¦  «        k    sL|                     d¦  «        t          |¦  «        k    s&|                     d¦  «        t          |¦  «        k    rt          d¦  «        ‚|S |d         dvrt          d	¦  «        ‚|d
         t          | dz  ¦  «        k    rt          d¦  «        ‚|d         t          |d         ¦  «        k    rt          d¦  «        ‚t          t          |d         ¦  «        dz  ¦  «        |d         k    rt          d¦  «        ‚t          |d         ¦  «        \  }Š}t          ˆfd„|d         D ¦   «         ¦  «        rt          d¦  «        ‚|                     d¦  «        r]t          |d         ¦  «        }|d         |d         k    s'|d         |d         k    s|d         dz   |d         k    rt          d¦  «        ‚t          | dz  ¦  «        }t          |¦  «        }t          ||‰¦  «         |d         D ]7}	|	|j        vst          |j        |	         ¦  «        st          d|	› �¦  «        ‚Œ8|j                             ¦   «         D ]H\  }	}
|
j        dv r:t#          |j        |	         ¦  «        t#          |
¦  «        k    rt          d¦  «        ‚ŒIt          j        t          |¦  «                             ¦   «         ¦  «        }|                     d¦  «        r9t%          |d         ¦  «        t%          t'          |d         ¦  «        ¦  «        k    rt          d ¦  «        ‚d!„ |D ¦   «         }t'          |d         ¦  «        |k    st          d"¦  «        ‚|                     d¦  «        r.t)          |d         ¦  «        |d#         k    rt          d$¦  «        ‚|                     d%¦  «        |d%         k    s|                     d¦  «        |d         k    rt          d&¦  «        ‚d'D ]6}t          ||› d(�         ¦  «        ||› d)�         k    rt          d*¦  «        ‚Œ7|d+         |d         k    s|d,         t          |¦  «        k    rt          d-¦  «        ‚|d+         |d,         k    rt          d.¦  «        ‚t          |d/         ¦  «        }t          |d0         ¦  «        }t          ||‰¦  «         t          ||‰¦  «         d1}d1}i }|d         D �]¦}|j        |         }|j        |         }|j        |d         vs|j        |j        k    rt          d2¦  «        ‚t          |d3¬4¦  «        rt          |d3¬4¦  «        st          d5¦  «        ‚t          d6„ ||fD ¦   «         ¦  «        rt          d7¦  «        ‚|j        |j        k    rt          d8¦  «        ‚d9„ |j        D ¦   «         Šd:„ |j        D ¦   «         Šˆˆfd;„|j        D ¦   «         }t%          d<„ |D ¦   «         ¦  «        t%          |¦  «        k    s t          t1          ||¬=¦  «        d3¬4¦  «        st          d>¦  «        ‚t)          d?„ |D ¦   «         ¦  «        ||<   |t3          ||¦  «        z  }|t5          |¦  «        t5          |¦  «        k    z  }�Œ¨|t%          |d         ¦  «        z  }|                     dt          |¦  «        t9          t          |¦  «                             ¦   «         ¦  «        t          |¦  «        ||t%          |d         ¦  «        z  d@t)          |d         ¦  «        |¬A¦	  «	         t          |¦  «        |d<   t=          | dz  |¦  «         |S )BNr‚   r   rƒ   rp   rû   Úaudit_sha256zcompleted round is immutable>   rƒ   rý   z#round is not ready for final reviewr  r  zround proposal snapshot changedrà   rò   zround input snapshot changedrÊ   rÉ   r’   zround protocol changedc              3  óJ   •K  — | ]}‰                      |¦  «        d k    V — ŒdS rV   rX   rY   s     €r)   r[   z!finalize_round.<locals>.<genexpr>i  s4   øè è € Ð
PÐ
P°ˆ;�?Š?˜5Ñ!Ô! WÒ,Ð
PÐ
PÐ
PÐ
PÐ
PÐ
Pr+   ri   z+audit groups are not frozen source trainingrè   r÷   rç   r   zround parent chain changedrø   z%round still has an unresolved frame: >   rg   rÈ   z4training annotation round changed a frozen referencezDround completion requires actual independently reviewed audit framesc                ó   — h | ]	}|j         ’Œ
S r!   r›   rœ   s     r)   rT   z!finalize_round.<locals>.<setcomp>|  s   € Ð2Ð2Ð2 3�#”,Ð2Ð2Ð2r+   z,audit frames are outside the frozen protocolÚaudit_frame_idsz+audit panel must remain fixed across roundsrü   z.audit report must bind this round and protocol)r8   r9   Ú_labelsÚ_labels_sha256z)label audit snapshot fingerprint mismatchÚbefore_labels_sha256Úafter_labels_sha256z<audit snapshots must be this round input and reviewed outputz?audit requires fresh independent reviews, not the same snapshotÚbefore_labelsÚafter_labelsr   z7audit frames were not drawn from reserved source groupsTr£   z9audit snapshots require independently bound blind reviewsc              3  ó`   K  — | ])}|j         D ]}|j                             ¦   «         d v V — Œ Œ*dS )>   rž   rŸ   r    r¡   r¢   N)r¸   r¨   r©   )r&   rL   r«   s      r)   r[   z!finalize_round.<locals>.<genexpr>—  sj   è è € ð Kð KØ¸Ô9IðKð KØ45ð Œx�~Š~ÑÔÐ#WÐWð Kð Kð Kð Kð Kð Kð Kr+   z8candidate-assisted audit is not an independent referencezaudit source changedc                ó   — h | ]	}|j         ’Œ
S r!   ©Ú	review_id©r&   Úreviews     r)   rT   z!finalize_round.<locals>.<setcomp>œ  s   € ÐCÐCÐC¨�6Ô#ÐCÐCÐCr+   c                ó   — h | ]	}|j         ’Œ
S r!   )ÚreviewerrE  s     r)   rT   z!finalize_round.<locals>.<setcomp>�  s   € ÐHÐHÐH¨V˜œÐHÐHÐHr+   c                óF   •— g | ]}|j         r|j         ‰v¯|j        ‰v¯|‘ŒS r!   )rD  rH  )r&   rF  Úold_idsÚold_reviewerss     €€r)   r*   z"finalize_round.<locals>.<listcomp>ž  sK   ø€ ð _ð _ð _˜F¸Ô9Ið _ØÔ%¨WÐ4Ð4¸¼ÐP]Ð9]Ð9]ð Ø9]Ð9]Ð9]r+   c                ó   — h | ]	}|j         ’Œ
S r!   rC  rE  s     r)   rT   z!finalize_round.<locals>.<setcomp>   s   € Ð5Ð5Ð5 V�Ô Ð5Ð5Ð5r+   )Úreviewsz?audit requires new bound reviews from independent new reviewersc              3  ó$   K  — | ]}|j         V — Œd S r¦   rC  rE  s     r)   r[   z!finalize_round.<locals>.<genexpr>£  s%   è è € Ð#IÐ#I¸ FÔ$4Ð#IÐ#IÐ#IÐ#IÐ#IÐ#Ir+   z&status/count/one-to-one box IoU < 0.85)	r   rû   Úreviewed_labelsr7  Úaudit_change_rateÚaudit_exact_change_rateÚaudit_change_definitionr:  Úaudit_review_ids)r   rz   r…   r†   rB   r€   r   rH   r   r7   rˆ   r   rM   rA   r   r|   rE   r   r0   r_   rµ   rD   rF   rM  r   r?   r   r   r¶   r·   r   )Ú	round_dirrO  Úaudit_reportr   rI   rÍ   r  r8   r9   rC   rL   rj   Ú
record_idsÚroleÚ	old_auditÚ	new_auditÚchangedÚexact_changedÚaudit_reviewsrÁ   r)  ÚcurrentÚfreshÚraterJ   rJ  rK  s                           @@@r)   Úfinalize_roundr`  W  sO  øøø€ Ý�9‰oŒo€IÝ
Œ*�i Ñ,×7Ò7Ñ9Ô9Ñ
:Ô
:€EØ‡y‚y�ÑÔ˜ZÒ'Ð'Ø�IŠI�nÑ%Ô%­°uÑ)=Ô)=Ò=Ð=Ø—9’9Ð5Ñ6Ô6½+ÀoÑ:VÔ:VÒVÐVØ—9’9˜^Ñ,Ô,µ¸LÑ0IÔ0IÒIÐIÝÐ;Ñ<Ô<Ð<ØˆØˆW„~Ð<Ð<Ð<ÝÐ>Ñ?Ô?Ð?ØÐ%Ô&­+°iÐ@QÑ6QÑ*RÔ*RÒRÐRÝÐ:Ñ;Ô;Ð;ØÐ"Ô#¥{°5¸Ô3HÑ'IÔ'IÒIÐIÝÐ7Ñ8Ô8Ð8Ý•4˜˜jÔ)Ñ*Ô*¨?Ñ:Ñ;Ô;¸uÐEVÔ?WÒWÐWÝÐ1Ñ2Ô2Ð2Ý+¨E°*Ô,=Ñ>Ô>Ñ€Gˆ[˜!Ý
Ð
PÐ
PÐ
PÐ
P¸%ÀÔ:OÐ
PÑ
PÔ
PÑPÔPð HÝÐFÑGÔGÐGØ‡y‚y�Ñ Ô ð ;Ý˜u ^Ô4Ñ5Ô5ˆØ�>Ô" eÐ,AÔ&BÒBÐBØÐ2Ô3°uÐ=RÔ7SÒSÐSØ˜-Ô(¨1Ñ,°°mÔ0DÒDÐDÝÐ9Ñ:Ô:Ð:Ý�iÐ 1Ñ1Ñ2Ô2€F½ÀOÑ9TÔ9T°5Ý�W˜e [Ñ1Ô1Ð1Ø˜+Ô&ð Qð QˆØ˜5œ<Ð'Ð'­{¸5¼<ÈÔ;QÑ/RÔ/RÐ'ÝÐOÀXÐOÐOÑPÔPÐPð (à œ-×-Ò-Ñ/Ô/ð Uð U‰ˆ�ØŒ;˜.Ð(Ð(­V°E´LÀÔ4JÑ-KÔ-KÍVÐTYÉ]Ì]Ò-ZÐ-ZÝÐSÑTÔTÐTøÝ
Œ*•T˜,Ñ'Ô'×1Ò1Ñ3Ô3Ñ
4Ô
4€EØ�9Š9�[Ñ!Ô!ð a¥S¨¨{Ô);Ñ%<Ô%<ÅÅCÈÈkÔHZÑD[ÔD[Ñ@\Ô@\Ò%\Ð%\ÝÐ_Ñ`Ô`Ð`Ø2Ð2¨'Ð2Ñ2Ô2€JÝˆu�[Ô!Ñ"Ô" jÒ0Ð0ÝÐGÑHÔHÐHØ‡y‚y�Ñ Ô ð H¥V¨E°+Ô,>Ñ%?Ô%?À6ÐJ[ÔC\Ò%\Ð%\ÝÐFÑGÔGÐGØ‡y‚y�ÑÔ  jÔ 1Ò1Ð1°U·Y²YÐ?PÑ5QÔ5QÐUZÐ[lÔUmÒ5mÐ5mÝÐIÑJÔJÐJØ"ð Jð JˆÝ�u Ð-Ð-Ð-Ô.Ñ/Ô/°¸$Ð7NÐ7NÐ7NÔ1OÒOÐOÝÐHÑIÔIÐIð PàÐ$Ô%¨Ð/DÔ)EÒEÐEØÐ*Ô+­{¸?Ñ/KÔ/KÒKÐKÝÐWÑXÔXÐXØÐ#Ô$¨Ð.CÔ(DÒDÐDÝÐZÑ[Ô[Ð[Ý˜˜Ô/Ñ0Ô0€I½:ÀeÈNÔF[Ñ;\Ô;\°Ý�W˜i¨Ñ5Ô5Ð5Ý�W˜i¨Ñ5Ô5Ð5Ø€GØ€MØ€MØ�[Ô!ð Oñ OˆØÔ! #Ô&ˆ¨yÔ/?ÀÔ/D wØÔ 5¨Ô#8Ð8Ð8¸HÔ<MÈwÔO_Ò<_Ð<_ÝÐVÑWÔWÐWÝ˜8°$Ð7Ñ7Ô7ð 	Z½{È7ÐaeÐ?fÑ?fÔ?fð 	ZÝÐXÑYÔYÐYÝð Kð KØ% wÐ/ðKñ Kô Kñ Kô Kð 	YåÐWÑXÔXÐXØÔ&¨Ô(BÒBÐBÝÐ3Ñ4Ô4Ð4ØCÐC°(Ô2BÐCÑCÔCˆØHÐH°xÔ7GÐHÑHÔHˆð_ð _ð _ð _ð _ g¤oð _ñ _ô _ˆåÐ5Ð5¨uÐ5Ñ5Ô5Ñ6Ô6½#¸e¹*¼*ÒDÐDÍKÝ˜¨Ð/Ñ/Ô/¸tðMEñ MEô MEÐDåÐ^Ñ_Ô_Ð_Ý#Ð#IÐ#IÀ5Ð#IÑ#IÔ#IÑIÔIˆ�cÑØ• ¨Ñ1Ô1Ñ1ˆØÕ(¨Ñ2Ô2Õ4EÀgÑ4NÔ4NÒNÑNˆ‰Ø	•�U˜;Ô'Ñ(Ô(Ñ	(€DØ	‡L‚L�z½À_Ñ9UÔ9UÝ!$¥T¨/Ñ%:Ô%:×%BÒ%BÑ%DÔ%DÑ!EÔ!EÝ)¨,Ñ7Ô7È$Ø)6µs¸5ÀÔ;MÑ7NÔ7NÑ)NØ)QÝ!'¨¨kÔ(:Ñ!;Ô!;Èmð ñ ]ô ]ð ]õ *¨%Ñ0Ô0€Eˆ.ÑÝˆy˜Ñ% eÑ,Ô,Ð,Ø€Lr+   c                ó*  — t          | ¦  «        dk     rdS t          ¦   «         t          ¦   «         }}t          | ¦  «        D �]1\  }}|                     d¦  «        dk    s‹|                     d¦  «        rv|d         |v sl|                     d¦  «        |dz   k    sP|                     d¦  «        t	          |¦  «        k    s*|                     d	¦  «        r|                     d
¦  «        s dS |                     |d         ¦  «         d„ |d
                              ¦   «         D ¦   «         }|r||z  r dS |                     |¦  «         |�r| |dz
           }|                     d¦  «        |d         k    sÜ|                     d¦  «        |                     d¦  «        k    s°|                     d¦  «        |                     d¦  «        k    s„|                     d¦  «        |                     d¦  «        k    sX|                     d	¦  «        |                     d	¦  «        k    s,|                     d¦  «        |                     d¦  «        k    r dS �Œ|                     d¦  «        � dS �Œ3t          d„ | dd …         D ¦   «         ¦  «        S )Nr  Fr   rƒ   rü   rç   r   rp   r:  rS  c                ó   — h | ]	}|D ]}|’ŒŒ
S r!   r!   )r&   ÚidsÚrids      r)   rT   zconverged.<locals>.<setcomp>½  s&   € ÐTÐTÐT˜SÐPSÐTÐTÈ�SÐTÐTÐTÐTr+   r÷   rà   rû   r’   ri   rS   c              3  óJ   K  — | ]}|                      d d¦  «        dk     V — ŒdS )rP  r   g{®Gáz„?NrX   rœ   s     r)   r[   zconverged.<locals>.<genexpr>Ì  s6   è è € ÐRÐR¸ˆs�wŠwÐ*¨AÑ.Ô.°Ò4ÐRÐRÐRÐRÐRÐRr+   éþÿÿÿ)	r0   r_   r  rB   r€   ÚaddÚvaluesr   Úall)Úround_statesÚseenÚ
review_idsr/  rK   Ú	fresh_idsr  s          r)   Ú	convergedrn  ²  sŽ  € Ý
ˆ<ÑÔ˜1ÒÐØˆuÝ‘u”u�c™eœeˆ*€DÝ Ñ-Ô-ð ñ ‰
ˆˆsØ�GŠG�GÑÔ 
Ò*Ð*°#·'²'¸*Ñ2EÔ2EÐ*Ø�z”? dÐ*Ð*¨c¯gªg°mÑ.DÔ.DÈÐPQÉ	Ò.QÐ.QØ—7’7˜>Ñ*Ô*­m¸CÑ.@Ô.@Ò@Ð@Ø—w’wÐ0Ñ1Ô1ð AØ9<¿ºÐASÑ9TÔ9Tð Aà�5�5Ø�Š��Z”Ñ!Ô!Ð!ØTÐT CÐ(:Ô$;×$BÒ$BÑ$DÔ$DÐTÑTÔTˆ	Øð 	˜I¨
Ñ2ð 	Ø�5�5Ø×Ò˜)Ñ$Ô$Ð$Øñ 
	Ø! %¨!¡)Ô,ˆFØ—’Ð-Ñ.Ô.°&¸Ô2HÒHÐHØ—w’wÐ4Ñ5Ô5¸¿ºÐD\Ñ9]Ô9]Ò]Ð]Ø—w’wÐ0Ñ1Ô1°V·Z²ZÐ@QÑ5RÔ5RÒRÐRØ—w’w˜~Ñ.Ô.°&·*²*¸^Ñ2LÔ2LÒLÐLØ—w’wÐ0Ñ1Ô1°V·Z²ZÐ@QÑ5RÔ5RÒRÐRØ—w’w˜Ñ/Ô/°6·:²:¸oÑ3NÔ3NÒNÐNØ�u�uñ Oà�WŠWÐ*Ñ+Ô+Ð7Ø�5�5ñ 8åÐRÐRÀÈRÈSÈSÔ@QÐRÑRÔRÑRÔRÐRr+   Ú__main__ÚcommandT)ÚdestÚrequiredzbind-exclusionz
--protocolzoutputs/protocol_v5)Údefaultz--annotations)rr  z--outputÚ	preselectz--audit-groupsz--target-domainz--limit)Útypers  z--seedz--exclude-reviewed-selectionz--exclude-reviewed-labelsÚproposezoutputs/protocol_v3z--checkpointz1JSON list of groups excluded from teacher fitting)rr  Úhelpz--devicez--round-indexz--parent-roundz--preselectionÚfinalizez--roundz--reviewed-labelsz--audit-report)ri   rÚ   rÛ   rS   rÒ   rÓ   )	ri   rS   ræ   rÒ   rç   rè   rÚ   rÛ   ré   )^Ú__doc__Ú
__future__r   ÚargparseÚdataclassesr   r   rx   rz   Úpathlibr   rÕ   Únumpyr1   Úscipy.optimizer   r  Úworkflowr	   r
   r   r   r   r   r   Úpallet.audit_proposalsr   Úpallet.data.protocolr   r   r   Úpallet.data.loaderr   r   r   Úpallet.devicesr   Úpallet.experiments.datasetr   r   Úpallet.experiments.evaluater   Úpallet.exportr   Úpallet.matrixr   r?   rM   rm   r€   rˆ   r�   rÃ   rÏ   rÙ   rå   r5  r`  rn  Ú__name__ÚArgumentParserÚparserÚadd_subparsersÚsubÚ
add_parserÚbindÚadd_argumentrt  Úintrv  ÚfinishÚ
parse_argsÚargsrp  Úprintr{   rÊ   rÌ   r…   ri   r†   rÚ   rÛ   rS   rÒ   rÓ   r!  ræ   rç   rè   ÚpreselectionÚroundrO  rU  r!   r+   r)   ú<module>r˜     sý  ðØ LÐ LØ "Ð "Ð "Ð "Ð "Ð "à €€€Ø 'Ð 'Ð 'Ð 'Ð 'Ð 'Ð 'Ð 'Ø €€€Ø €€€Ø Ð Ð Ð Ð Ð Ø €€€à Ð Ð Ð Ø 0Ð 0Ð 0Ð 0Ð 0Ð 0Ø €€€à nÐ nÐ nÐ nÐ nÐ nÐ nÐ nÐ nÐ nÐ nÐ nÐ nÐ nÐ nÐ nÐ nÐ nØ +Ð +Ð +Ð +Ð +Ð +Ø GÐ GÐ GÐ GÐ GÐ GÐ GÐ GÐ GÐ GØ RÐ RÐ RÐ RÐ RÐ RÐ RÐ RÐ RÐ RØ )Ð )Ð )Ð )Ð )Ð )Ø BÐ BÐ BÐ BÐ BÐ BÐ BÐ BØ 5Ð 5Ð 5Ð 5Ð 5Ð 5Ø 2Ð 2Ð 2Ð 2Ð 2Ð 2Ø 'Ð 'Ð 'Ð 'Ð 'Ð 'ð 25ð ð ð ð ð ð(cð cð cðð ð ð$^ð ^ð ^ð
ð ð ð BDÐSWØ'+Àð8ð 8ð 8ð 8ð 8ð  37Èð-#ð -#ð -#ð -#ð -#ð`#ð #ð #ðN ,0ÀBÈcÐXZðð ð ð ð ð 04ÈTØ"&¨c¸ðð ð ð ð ð> SUØ $¨C°bÀØ¨dØ-1È4Ø$(ð	mð mð mð mð mð`Xð Xð XðvSð Sð Sð: ˆZÒÑØ"ˆ8Ô"Ñ$Ô$€F¨×)>Ò)>ÀIÐW[Ð)>Ñ)\Ô)\ SØ	�ŠÐ(Ñ	)Ô	)€D¨$×*;Ò*;¸LÐQfÐ*;Ñ*gÔ*gÐ*gØ×Ò�o¨tÐÑ4Ô4Ð4°T×5FÒ5FÀzÐ[_Ð5FÑ5`Ô5`Ð5`Ø�nŠn˜[Ñ)Ô)€I¨)×*@Ò*@ÀÐVkÐ*@Ñ*lÔ*lÐ*lØ×Ò˜?°DÐÑ9Ô9Ð9¸)×:PÒ:PÐQ[ÐeiÐ:PÑ:jÔ:jÐ:jØ×ÒÐ+°TÐÑ:Ô:Ð:¸9×;QÒ;QÐRcÑ;dÔ;dÐ;dØ×Ò˜9¨#°cÐÑ:Ô:Ð:¸9×;QÒ;QÐRZÐ`cÐlnÐ;QÑ;oÔ;oÐ;oØ×ÒÐ9Ñ:Ô:Ð:Ø×ÒÐ6Ñ7Ô7Ð7Ø�NŠN˜9Ñ%Ô%€G g×&:Ò&:¸<ÐPeÐ&:Ñ&fÔ&fÐ&fØ×Ò˜°$ÐÑ7Ô7Ð7¸×8LÒ8LÈ^ÐeiÐ8LÑ8jÔ8jÐ8jØ×Ò˜¨TÐÑ2Ô2Ð2°7×3GÒ3GÐHYÑ3ZÔ3ZÐ3ZØ×ÒÐ)°4Ð=pÐÑqÔqÐqØ×Ò˜¨HÐÑ5Ô5Ð5°g×6JÒ6JÈ9ÐZ]ÐfiÐ6JÑ6jÔ6jÐ6jØ×Ò˜¨s¸AÐÑ>Ô>Ð>Ø×ÒÐ)Ñ*Ô*Ð*Ø×ÒÐ7Ñ8Ô8Ð8Ø×ÒÐ4Ñ5Ô5Ð5Ø×ÒÐ)Ñ*Ô*Ð*Ø�>Š>˜*Ñ%Ô%€F f×&9Ò&9¸)ÈTÐ&9Ñ&RÔ&RÐ&RØ
×ÒÐ+°TÐÑ:Ô:Ð:¸6×;NÒ;NÐO_ÐimÐ;NÑ;nÔ;nÐ;nØ	×	Ò	Ñ	Ô	€DØ„|Ð%Ò%Ð%ØˆˆjˆdŒjÐ1Ð1°$´-ÀÔ@PÐQUÔQ\Ñ]Ô]Ñ^Ô^Ñ_Ô_Ð_Ð_Ð_Ø	Œ�{Ò	"Ð	"ØˆˆjˆdŒj˜˜¨¬°tÔ7GÈÌØ%˜4œ: d d¨4Ô+<Ñ&=Ô&=×&GÒ&GÑ&IÔ&IÑJÔJØ)-Ô)HØ&*Ô&BØ Ô.°T´ZÀTÄYð	Pñ Pô Pñ Qô Qñ 	Rô 	Rð 	Rð 	Rð 	Rð
 
Œ�yÒ	 Ð	 ØˆˆjˆdŒj˜˜ t¤}°TÔ5EÀdÄoÐVZÔVaØ%˜4œ: d d¨4Ô+<Ñ&=Ô&=×&GÒ&GÑ&IÔ&IÑJÔJÐY]ÔYkØ”[ t¤z¸dÔ>NÐ\`Ô\mØ)-Ô)HØ&*Ô&BØ $Ô 1ð3ñ 3ô 3ñ 4ô 4ñ 	5ô 	5ð 	5ð 	5ð 	5ð 
ˆˆzˆtŒz˜.˜.¨¬°DÔ4HÈÔIZÑ[Ô[Ñ\Ô\Ñ	]Ô	]Ð	]Ð	]Ð	]ðM Ðr+   