§
    'Êj6M  ã                   óp  — d dl Zd dlmc mZ d dlmZ d dlm	Z	 d dl
Z
d dlmZ d dlmZ d dlZd dlZd dlmZ d dlmZmZmZmZmZmZmZ d dlmZ d d	lmZ d d
lm Z  d dl!m"Z" d dl#m$Z% d dl&m'Z( dd„Z)d„ Z*d„ Z+d„ Z,d„ Z-d„ Z.d„ Z/d„ Z0d„ Z1d„ Z2ej3         4                    dddg¦  «        d„ ¦   «         Z5d„ Z6dS )é    N)ÚCounter)Úasdict)ÚPath)ÚSimpleNamespace)ÚImage)ÚAnnotationSetÚBoxÚFrameAnnotationÚ
ProvenanceÚSceneAttributesÚannotation_digestÚ
save_jsonl)ÚNormalizationStats)ÚFrameRecord©Úfile_digest)ÚPalletDatasetÚdc                 ó¨   — t          | d| › �| › d�dddt          dddd	¦  «        g||t          |¬
¦  «        d| › �t          dd¬¦  «        g¬¦  «        S )Nzg-ú.pngé    é   Úposé   é   é
   é   )Údomainzh-ÚhumanÚuser_confirmed_archive_import)Úactor)ÚstatusÚboxesÚsplitr   ÚsceneÚsource_anchor_hashÚ
provenance)r
   r	   r   r   )Úfidr$   r   s      úN/root/private/project/pallet_detection_v2/tests/test_mixed_manual_assistant.pyÚframer*      sw   € Ý˜3 
 S 
 
¨s¨L¨L¨L¸"¸bÈÝ�1�a˜˜QÑÔÐ ¨°fÝ VÐ,Ñ,Ô,ÀÀcÀÀÝ˜wÐ.MÐNÑNÔNÐOðQñ Qô Qð Qó    c                 óT  ‡
— | dz  }|                      ¦   «          |dz                       d¦  «         t          dd¦  «        t          dd¦  «        g}d„ |D ¦   «         Š
|                     t          d	ˆ
fd
„¦  «         t          |¦  «        }| dz  }t          ||¦  «         t          |dz  ¦  «        t          |¦  «        t          j        ddddœ}d„ }i |¥t          j	        d ||d         ¦  «        idgddœ¥}i |¥t          j
        d ||d         ¦  «        idgddœ¥}	||‰
||	fS )NÚprotocolúprotocol.jsonú{}ÚtrÚtrainÚteÚtestc                 óf   — g | ].}t          |j        |j        |j        i d ddgi|j        ¦  «        ‘Œ/S ©Úgridr   r   ©r   Úframe_idÚgroup_idr   r&   ©Ú.0Úfs     r)   ú
<listcomp>zmanifests.<locals>.<listcomp>!   sM   € ð  ð  ð  Øõ ˜1œ: q¤z°1´8¸RÀ&È2ÈrÈ(ÐASÐUVÔUiÑjÔjð  ð  ð  r+   Úload_protocolc                 ó   •— ‰dddœi fS )Nr1   r3   )zg-trzg-te© )Ú_Úrecordss    €r)   ú<lambda>zmanifests.<locals>.<lambda>#   s   ø€ ¸7ÈWÐ^dÐDeÐDeÐgiÐ:j€ r+   zannotations.jsonlÚuser_confirmed_in_conversationTF)Úprotocol_sha256Úannotation_snapshot_sha256ÚscopeÚapproverÚoriginal_splits_preservedÚ eligible_for_research_evaluationc                 óH   — | j         | j        | j        t          | ¦  «        dœS )N©r9   r$   r&   r   rL   )r<   s    r)   Úentryzmanifests.<locals>.entry+   s+   € ØœJ°´ÐPQÔPdÝ%6°qÑ%9Ô%9ð;ð ;ð 	;r+   é   )ÚkindÚsource_framesÚtraining_frame_idsÚtraining_framesr   )rO   rP   Úvalidation_frame_idsÚvalidation_frames)ÚmkdirÚ
write_textr*   Úsetattrr   r   r   r   ÚAUXILIARY_SCOPEÚAUXILIARY_TRAIN_KINDÚAUXILIARY_VAL_KIND)Útmp_pathÚmonkeypatchr-   ÚframesÚlabelsÚpathÚcommonrM   ÚtrainingÚ
validationrB   s             @r)   Ú	manifestsrc      s£  ø€ Ø˜
Ñ"€HØ‡N‚NÑÔÐØˆoÑ×)Ò)¨$Ñ/Ô/Ð/Ý�D˜'Ñ"Ô"¥E¨$°Ñ$7Ô$7Ð8€Fð ð  Øð ñ  ô  €Gà×Ò�˜Ð0jÐ0jÐ0jÐ0jÑkÔkÐkÝ˜6Ñ"Ô"€FØÐ'Ñ'€DÝˆv�tÑÔÐÝ!,¨X°oÑ-EÑ!FÔ!FÝ&1°$Ñ&7Ô&7Å%ÔBWØ4ÐSWØ,1ð3ð 3€Fð;ð ;ð ;ðD�&ð D¥%Ô"<ÐPTÐV[ÐV[Ð\bÐcdÔ\eÑVfÔVfÐOgØ'+ fÀðDð Dð D€HðJ�Fð J¥EÔ$<ÐPTÐV[ÐV[Ð\bÐcdÔ\eÑVfÔVfÐOgØ+/¨&ÀqðJð Jð J€Jà�V˜W h°
Ð:Ð:r+   c                 ó(  ‡— t          | |¦  «        \  }}}}}t          j        }d}| |z  }	 ||	|||¦  «        }
dh}|
|k    }|�sÒt          j        d|fd|
|f¦  «        dt          j        ¦   «         v st          j        t          ¦  «        rt          j        t          ¦  «        ndt          j        |¦  «        dt          j        ¦   «         v st          j        | ¦  «        rt          j        | ¦  «        ndt          j        |¦  «        dt          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        nddt          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        ndd	t          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        nd	t          j        |
¦  «        t          j        |¦  «        d
œ	z  }dd|iz  }t          t          j
        |¦  «        ¦  «        ‚d x}x}x}	x}
x}}t          j        }d}| |z  }	dh}
 ||	||||
¦  «        }dh}||k    }|�såt          j        d|fd||f¦  «        dt          j        ¦   «         v st          j        t          ¦  «        rt          j        t          ¦  «        ndt          j        |¦  «        dt          j        ¦   «         v st          j        | ¦  «        rt          j        | ¦  «        ndt          j        |¦  «        dt          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        nddt          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        ndd	t          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        nd	t          j        |
¦  «        t          j        |¦  «        t          j        |¦  «        dœ
z  }dd|iz  }t          t          j
        |¦  «        ¦  «        ‚d x}x}x}	x}
x}x}}|j        d         }|j        }d}||k    }|st          j        d|fd||f¦  «        t          j        |¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }dd|iz  }t          t          j
        |¦  «        ¦  «        ‚d x}x}x}}dD ]oŠˆfd„|                     ¦   «         D ¦   «         }t          j        t"          d¬¦  «        5  t          j        | dz  |||¦  «         d d d ¦  «         n# 1 swxY w Y   Œpi |¥ddi¥}t          j        t"          d¬¦  «        5  t          j        | dz  |||¦  «         d d d ¦  «         n# 1 swxY w Y   d|d         d         d <   t          j        t"          d¬¦  «        5  t          j        | dz  |||¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )!Nz
human.jsonr2   ©ú==)z�%(py11)s
{%(py11)s = %(py2)s
{%(py2)s = %(py0)s.validate_human_training_manifest
}((%(py3)s / %(py5)s), %(py7)s, %(py8)s, %(py9)s)
} == %(py14)sr   r[   r1   r^   r-   )	Úpy0Úpy2Úpy3Úpy5Úpy7Úpy8Úpy9Úpy11Úpy14zassert %(py16)sÚpy16r0   )zœ%(py13)s
{%(py13)s = %(py2)s
{%(py2)s = %(py0)s.validate_human_validation_manifest
}((%(py3)s / %(py5)s), %(py7)s, %(py8)s, %(py9)s, %(py11)s)
} == %(py16)sÚval)
rg   rh   ri   rj   rk   rl   rm   rn   Úpy13rp   úassert %(py18)sÚpy18r3   ©z-%(py3)s
{%(py3)s = %(py1)s.split
} == %(py6)s©Úpy1ri   Úpy6úassert %(py8)srl   )rG   rI   rJ   rH   c                 ó(   •— i | ]\  }}|‰k    ¯||“ŒS r@   r@   )r;   ÚkÚvÚfields      €r)   ú
<dictcomp>zStest_original_test_identity_accepted_only_in_isolated_assistant.<locals>.<dictcomp>;   s$   ø€ Ð@Ð@Ð@™D˜A˜q°Q¸%²Z°Z�1�a°Z°Z°Zr+   Úunrecognized©ÚmatchrO   Ú.explicit_user_confirmed_manual_training_labelszidentity/label mismatchrP   r$   )rc   r   Ú validate_human_training_manifestÚ
@pytest_arÚ_call_reprcompareÚ@py_builtinsÚlocalsÚ_should_repr_global_nameÚ	_safereprÚAssertionErrorÚ_format_explanationÚ"validate_human_validation_manifestr]   r$   ÚitemsÚpytestÚraisesÚ
ValueError)r[   r\   r-   r^   rB   r1   rq   Ú@py_assert1Ú@py_assert4Ú@py_assert6Ú@py_assert10Ú@py_assert13Ú@py_assert12Ú@py_format15Ú@py_format17Ú@py_assert15Ú@py_assert14Ú@py_format19Ú@py_assert0Ú@py_assert2Ú@py_assert5Ú@py_format7Ú@py_format9Úchangedr}   s                           @r)   Ú?test_original_test_identity_accepted_only_in_isolated_assistantr¢   5   s˜  ø€ Ý,5°hÀÑ,LÔ,LÑ)€Hˆf�g˜u cÝÔ1Ðk¸<Ðk°(¸<Ñ2GÐkÐ1Ð1Ð2GÈÐPVÐX`ÑaÔaÐkÐfjÐekÐkÐaÐekÒkÐkÐkÑkÕkÔkÐkÐkÐkÐkÐaÐekÐkÑkÔkÐkÕkÔkÑkÔkÐkÐkÕkÔk�5ÑkÔkÐkÕkÔk�5ÑkÔkÐkÐkÕkÔkÐ1ÑkÔkÐkÕkÔkÑkÔkÐkÐkÕkÔk°(ÑkÔkÐkÕkÔk°(ÑkÔkÐkÐkÕkÔk¸<ÑkÔkÐkÕkÔkÑkÔkÐkÐkÕkÔkÈÑkÔkÐkÕkÔkÈÑkÔkÐkÐkÐkÕkÔkÑkÔkÐkÐkÕkÔkÐPVÑkÔkÐkÕkÔkÐPVÑkÔkÐkÐkÐkÕkÔkÑkÔkÐkÐkÕkÔkÐX`ÑkÔkÐkÕkÔkÐX`ÑkÔkÐkÐkÕkÔkÐaÑkÔkÕkÔkÐekÑkÔkÐkÐkÑkÐkÐkÐkÐkÐkÑkÐkÕkÕkÔkÐkÑkÔkÑkÔkÐkÐkÐkÐkÐkÐkÐkÐkÐkÐkÐkÐkÐkÝÔ3Ðs¸\Ðs°H¸\Ñ4IÐsÐcgÐbhÐsÐ3Ð3Ð4IÈ3ÐPVÐX`ÐbhÑiÔiÐsÐnrÐmsÐsÐiÐmsÒsÐsÐsÑsÕsÔsÐsÐsÐsÐsÐiÐmsÐsÑsÔsÐsÕsÔsÑsÔsÐsÐsÕsÔs�5ÑsÔsÐsÕsÔs�5ÑsÔsÐsÐsÕsÔsÐ3ÑsÔsÐsÕsÔsÑsÔsÐsÐsÕsÔs°HÑsÔsÐsÕsÔs°HÑsÔsÐsÐsÕsÔs¸\ÑsÔsÐsÕsÔsÑsÔsÐsÐsÕsÔsÈ3ÑsÔsÐsÕsÔsÈ3ÑsÔsÐsÐsÐsÕsÔsÑsÔsÐsÐsÕsÔsÐPVÑsÔsÐsÕsÔsÐPVÑsÔsÐsÐsÐsÕsÔsÑsÔsÐsÐsÕsÔsÐX`ÑsÔsÐsÕsÔsÐX`ÑsÔsÐsÐsÕsÔsÐbhÑsÔsÕsÔsÐiÑsÔsÕsÔsÐmsÑsÔsÐsÐsÑsÐsÐsÐsÐsÐsÑsÐsÕsÕsÔsÐsÑsÔsÑsÔsÐsÐsÐsÐsÐsÐsÐsÐsÐsÐsÐsÐsÐsÐsÐsØŒ=˜ÔÐ.ÐÔ$Ð.¨Ð.Ð$¨Ò.Ð.Ð.Ð.Õ.Ô.Ð.Ð.Ð.Ð.Ð$¨Ð.Ñ.Ô.Õ.Ô.ÐÑ.Ô.Õ.Ô.Ð$Ñ.Ô.Õ.Ô.¨Ñ.Ô.Ð.Ð.Ñ.Ð.Ð.Ð.Ð.Ð.Ñ.Ð.Õ.Õ.Ô.Ð.Ñ.Ô.Ñ.Ô.Ð.Ð.Ð.Ð.Ð.Ð.Ð.Ð.Ð.Øgð eð eˆØ@Ð@Ð@Ð@ E§K¢K¡M¤MÐ@Ñ@Ô@ˆÝŒ]�:¨^Ð<Ñ<Ô<ð 	eð 	eÝÔ2°8¸LÑ3HÈ'ÐSYÐ[cÑdÔdÐdð	eð 	eð 	eñ 	eô 	eð 	eð 	eð 	eð 	eð 	eð 	eøøøð 	eð 	eð 	eð 	eøàQ�ÐQ˜Ð PÐQÐQ€GÝ	Œ•zÐ)BÐ	CÑ	CÔ	Cð að aÝÔ.¨x¸Ñ/DÀgÈvÐW_Ñ`Ô`Ð`ðað að añ aô að að að að að að aøøøð að að að aà,3€Eˆ/Ô˜4Ô  Ñ)Ý	Œ•zÐ)BÐ	CÑ	CÔ	Cð _ð _ÝÔ.¨x¸Ñ/DÀeÈVÐU]Ñ^Ô^Ð^ð_ð _ð _ñ _ô _ð _ð _ð _ð _ð _ð _ð _øøøð _ð _ð _ð _ð _ð _s6   Ô+UÕU	ÕU	ÖV(Ö(V,Ö/V,×XØXØXc           	      ó|  — t          | |¦  «        \  }}}}}|d         }t          dhdhd¬¦  «        }t          j        t          d¬¦  «        5  t          |g|t          dd¦  «        fi |¤Ž d d d ¦  «         n# 1 swxY w Y   t          |g|t          dd¦  «        fdt          j        i|¤Ž}|j	        d	         d         }|j
        }	d
}
|	|
k    }|st          j        d|fd|	|
f¦  «        t          j        |¦  «        t          j        |	¦  «        t          j        |
¦  «        dœz  }dd|iz  }t          t          j        |¦  «        ¦  «        ‚d x}x}	x}}
t          j        t          d¬¦  «        5  t          |g|t          dd¦  «        dhdt          j        ¬¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )NrN   r2   r0   r1   )Úmanual_training_idsÚmanual_validation_idsÚmanual_rolez	non-trainr€   Úmanual_annotation_scoper   r3   re   ru   rv   ry   rl   z
wrong rolerq   )r¤   r¦   r§   )rc   ÚdictrŽ   r�   r�   r   r   r   rX   Úrowsr$   r„   r…   r‰   rŠ   r‹   )r[   r\   rA   r^   rB   ÚrecordÚkwargsÚdatarœ   r�   rž   r’   rŸ   r    s                 r)   Ú>test_cross_split_dataset_has_explicit_scope_and_disjoint_rolesr­   F   s²  € Ý(¨°;Ñ?Ô?Ñ€A€vˆw˜˜1Ø�QŒZ€FÝ t fÀTÀFÐX_Ð`Ñ`Ô`€FÝ	Œ•z¨Ð	5Ñ	5Ô	5ð Lð LÝ�v�h Õ(:¸1¸aÑ(@Ô(@ÐKÐKÀFÐKÐKÐKðLð Lð Lñ Lô Lð Lð Lð Lð Lð Lð Løøøð Lð Lð Lð Lå˜&˜ 6Õ+=¸aÀÑ+CÔ+Cð Rð RÝ16Ô1FðRØJPðRð R€DàŒ9�QŒ<˜Œ?Ð*ˆ?Ô Ð* FÐ*Ð  FÒ*Ð*Ð*Ð*Õ*Ô*Ð*Ð*Ð*Ð*Ð  FÐ*Ñ*Ô*Õ*Ô*ˆ?Ñ*Ô*Õ*Ô*Ð Ñ*Ô*Õ*Ô* FÑ*Ô*Ð*Ð*Ñ*Ð*Ð*Ð*Ð*Ð*Ñ*Ð*Õ*Õ*Ô*Ð*Ñ*Ô*Ñ*Ô*Ð*Ð*Ð*Ð*Ð*Ð*Ð*Ð*Ð*Ý	Œ•z¨Ð	6Ñ	6Ô	6ð Xð XÝ�v�h Õ(:¸1¸aÑ(@Ô(@ÐW[ÐV\Ø"'ÅÔAVð	Xñ 	Xô 	Xð 	XðXð Xð Xñ Xô Xð Xð Xð Xð Xð Xð Xð Xøøøð Xð Xð Xð Xð Xð Xs$   ÁA9Á9A=Â A=Å40F1Æ1F5Æ8F5c                  ó\  — t          dd¦  «        g} dt          ddd¬¦  «        i}t          j        t          d¬¦  «        5  t          j        | |d	d
¬¦  «         d d d ¦  «         n# 1 swxY w Y   t          j        | |d	d
d¬¦  «        \  }}}g }g }||k    }|}|rt          ¦   «         }	||	k    }
|
}|�s t          j	        d|fd||f¦  «        dt          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        ndt          j        |¦  «        dœz  }dd|iz  }|                     |¦  «         |rÓt          j	        d|
fd||	f¦  «        dt          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        nddt          j        ¦   «         v st          j        t          ¦  «        rt          j        t          ¦  «        ndt          j        |	¦  «        dœz  }dd|iz  }|                     |¦  «         t          j        |d¦  «        i z  }dd|iz  }t!          t          j        |¦  «        ¦  «        ‚d x}x}x}x}x}
}	g }|d         d         }d}||k    }|}|r|d         d         }
d}|
|k    }	|	}|�st          j	        d|fd ||f¦  «        t          j        |¦  «        t          j        |¦  «        d!œz  }d"d#|iz  }|                     |¦  «         |r`t          j	        d|	fd$|
|f¦  «        t          j        |
¦  «        t          j        |¦  «        d%œz  }d&d'|iz  }|                     |¦  «         t          j        |d¦  «        i z  }d(d)|iz  }t!          t          j        |¦  «        ¦  «        ‚d x}x}x}x}x}x}
x}	}d*}|d         }||v }|slt          j	        d+|fd,||f¦  «        t          j        |¦  «        t          j        |¦  «        d-œz  }d.d/|iz  }t!          t          j        |¦  «        ¦  «        ‚d x}x}}d S )0NÚoner3   zg-onezh-oner   )r9   Úsource_sha256r   zcannot creater€   é*   g333333Ã?)ÚseedÚfractionT)r²   r³   Úallow_train_only_domainsre   )z%(py2)s == %(py5)sÚids)rh   rj   z%(py7)srk   )z,%(py9)s == %(py13)s
{%(py13)s = %(py11)s()
}ÚgroupsÚset)rm   rn   rr   z%(py15)sÚpy15r   rs   rt   rR   rN   rT   ©z%(py3)s == %(py6)s©ri   rx   ú%(py8)srl   ©z%(py11)s == %(py14)s©rn   ro   ú%(py16)srp   úassert %(py19)sÚpy19Úvalidation_unavailable_reason©Úin)z%(py1)s in %(py4)s©rw   Úpy4úassert %(py6)srx   )r*   r   rŽ   r�   r�   r   Ú_choose_group_holdoutr·   r„   r…   r†   r‡   rˆ   r‰   ÚappendÚ_format_booloprŠ   r‹   )r]   rB   rµ   r¶   Úsummaryr‘   r’   Ú@py_assert3rœ   r–   r”   Ú@py_format6Ú@py_format8Ú@py_format14Ú@py_format16r˜   r›   r�   rž   r•   rŸ   r    r—   Ú@py_format18Ú@py_format20Ú@py_format5s                             r)   Ú<test_single_group_domain_is_never_split_to_create_validationrÓ   T   sy  € Ý�E˜6Ñ"Ô"Ð#€FØ•o¨wÀgÐVYÐZÑZÔZÐ[€GÝ	Œ•z¨Ð	9Ñ	9Ô	9ð Lð LÝÔ# F¨G¸"ÀsÐKÑKÔKÐKðLð Lð Lñ Lô Lð Lð Lð Lð Lð Lð Løøøð Lð Lð Lð Lå Ô6Ø�˜b¨3ÈðOñ Oô OÑ€Cˆ�à(Ð(�"Ð(ˆ3�"Š9Ð(Ð(Ð(Ð(Ð(¥3¡5¤5Ð(˜ 5šÐ(Ð(Ð(Ð(Ñ(Õ(Ô(Ð(Ð(Ð(Ð(ˆ3�"Ð(Ñ(Ô(Ð(Õ(Ô(Ñ(Ô(Ð(Ð(Õ(Ô(ˆ3Ñ(Ô(Ð(Õ(Ô(ˆ3Ñ(Ô(Ð(Ð(Õ(Ô(�"Ñ(Ô(Ð(Ð(Ñ(Ð(Ð(Ð(Ð(Ð(Ñ(Ð(Ð(×(Ò(Ð(Ñ(Ô(Ð(Ð(Ð(Õ(Ô(Ð(Ð(Ð(Ð(˜ 5Ð(Ñ(Ô(Ð(Õ(Ô(Ñ(Ô(Ð(Ð(Õ(Ô(˜Ñ(Ô(Ð(Õ(Ô(˜Ñ(Ô(Ð(Ð(Ð(Õ(Ô(Ñ(Ô(Ð(Ð(Õ(Ô(¥3Ñ(Ô(Ð(Õ(Ô(¥3Ñ(Ô(Ð(Ð(Õ(Ô( 5Ñ(Ô(Ð(Ð(Ñ(Ð(Ð(Ð(Ð(Ð(Ñ(Ð(Ð(×(Ò(Ð(Ñ(Ô(Ð(Õ(Ô(Ð(Ð(Ñ(Ô(Ð(Ñ(Ð(Ð(Ð(Ð(Ð(Ñ(Ð(Õ(Õ(Ô(Ð(Ñ(Ô(Ñ(Ô(Ð(Ð(Ð(Ð(Ð(Ð(Ð(Ð(Ð(Ð(Ð(Ð(Ð(ØZÐZˆ7�3Œ<Ð)Ô*ÐZ¨aÐZÐ*¨aÒ/ÐZÐZÐZÐZÐZ°G¸C´LÐATÔ4UÐZÐYZÐZÐ4UÐYZÒ4ZÐZÐZÐZÐZÑZÕZÔZÐZÐZÐZÐZÐ*¨aÐZÑZÔZÕZÔZÐ*ÑZÔZÕZÔZ¨aÑZÔZÐZÐZÑZÐZÐZÐZÐZÐZÑZÐZÐZ×ZÒZÐZÑZÔZÐZÐZÐZÕZÔZÐZÐZÐZÐZÐ4UÐYZÐZÑZÔZÕZÔZÐ4UÑZÔZÕZÔZÐYZÑZÔZÐZÐZÑZÐZÐZÐZÐZÐZÑZÐZÐZ×ZÒZÐZÑZÔZÐZÕZÔZÐZÐZÑZÔZÐZÑZÐZÐZÐZÐZÐZÑZÐZÕZÕZÔZÐZÑZÔZÑZÔZÐZÐZÐZÐZÐZÐZÐZÐZÐZÐZÐZÐZÐZÐZÐZÐZÐZØ*Ð:¨g°c¬lÐ:Ð*¨lÐ:Ð:Ð:Ð:Õ:Ô:Ð:Ð:Ð:Ð:Ð*¨lÐ:Ñ:Ô:Õ:Ô:Ð*Ñ:Ô:Õ:Ô:¨lÑ:Ô:Ð:Ð:Ñ:Ð:Ð:Ð:Ð:Ð:Ñ:Ð:Õ:Õ:Ô:Ð:Ñ:Ô:Ñ:Ô:Ð:Ð:Ð:Ð:Ð:Ð:Ð:Ð:Ð:s   ÁA&Á&A*Á-A*c                  óV  — d„ t          d¦  «        D ¦   «         } t          j        | ¦  «        }t          j        } || ¦  «        }||k    }|�s0t          j        d|fd||f¦  «        dt          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        nddt          j        ¦   «         v st          j        t          ¦  «        rt          j        t          ¦  «        ndt          j        |¦  «        dt          j        ¦   «         v st          j        | ¦  «        rt          j        | ¦  «        ndt          j        |¦  «        dœz  }d	d
|iz  }t          t          j
        |¦  «        ¦  «        ‚d x}x}}d„ |D ¦   «         }t          |¦  «        }d„ | D ¦   «         }t          |¦  «        }||k    }	|	�s"t          j        d|	fd||f¦  «        dt          j        ¦   «         v st          j        t          ¦  «        rt          j        t          ¦  «        ndt          j        |¦  «        t          j        |¦  «        dt          j        ¦   «         v st          j        t          ¦  «        rt          j        t          ¦  «        ndt          j        |¦  «        t          j        |¦  «        dœz  }
dd|
iz  }t          t          j
        |¦  «        ¦  «        ‚d x}x}x}	x}}d„ |D ¦   «         }t          |¦  «        }d„ | D ¦   «         }t          |¦  «        }||k    }	|	�s"t          j        d|	fd||f¦  «        dt          j        ¦   «         v st          j        t          ¦  «        rt          j        t          ¦  «        ndt          j        |¦  «        t          j        |¦  «        dt          j        ¦   «         v st          j        t          ¦  «        rt          j        t          ¦  «        ndt          j        |¦  «        t          j        |¦  «        dœz  }
dd|
iz  }t          t          j
        |¦  «        ¦  «        ‚d x}x}x}	x}}d„ |D ¦   «         }d„ | D ¦   «         }||k    }|slt          j        d|fd||f¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }dd|iz  }t          t          j
        |¦  «        ¦  «        ‚d x}x}}dD �]¹}d„ |d |…         D ¦   «         }t          |¦  «        }d}||z  }d}||z  }||z
  }t          |¦  «        }d}||k    }|�s†t          j        d|fd ||f¦  «        d!t          j        ¦   «         v st          j        t          ¦  «        rt          j        t          ¦  «        nd!d"t          j        ¦   «         v st          j        t          ¦  «        rt          j        t          ¦  «        nd"t          j        |¦  «        t          j        |¦  «        d#t          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        nd#t          j        |¦  «        t          j        |¦  «        t          j        |¦  «        t          j        |¦  «        d$œ	z  }d%d&|iz  }t          t          j
        |¦  «        ¦  «        ‚d x}x}x}x}x}x}x}x}x}}d'„ |d |…         D ¦   «         }t          |¦  «        }d(}||z  }||z
  }t          |¦  «        }d}||k    }|�sst          j        d|fd)||f¦  «        d!t          j        ¦   «         v st          j        t          ¦  «        rt          j        t          ¦  «        nd!d"t          j        ¦   «         v st          j        t          ¦  «        rt          j        t          ¦  «        nd"t          j        |¦  «        t          j        |¦  «        d#t          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        nd#t          j        |¦  «        t          j        |¦  «        t          j        |¦  «        d*œz  }d+d,|iz  }t          t          j
        |¦  «        ¦  «        ‚d x}x}x}x}x}x}x}}�Œ»d S )-Nc                 óL   — g | ]!}d |› �d|dz  › �|dk     rdnd|dz  rdndd	œ‘Œ"S )
r<   Úgé	   éZ   rq   r3   é   ÚaÚb)r8   r9   r$   r   r@   ©r;   Úis     r)   r=   zVtest_mixed_queue_spreads_source_population_without_changing_groups.<locals>.<listcomp>a   sj   € ð Dð Dð DØ34ð "˜a˜'˜'¨{°1°q±5¨{¨{ÈaÐRTÊfÈfÀUÀUÐZ`Ø  1™uÐ-˜˜¨#ð/ð /ð Dð Dð Dr+   éÈ   re   )zQ%(py0)s == %(py7)s
{%(py7)s = %(py4)s
{%(py4)s = %(py2)s.mixed_order
}(%(py5)s)
}ÚorderedÚmixedr�   )rg   rh   rÅ   rj   rk   úassert %(py9)srm   c              3   ó&   K  — | ]}|d          V — ŒdS ©r8   Nr@   ©r;   Úrs     r)   ú	<genexpr>zUtest_mixed_queue_spreads_source_population_without_changing_groups.<locals>.<genexpr>e   s&   è è € Ð1Ð1 A�!�J”-Ð1Ð1Ð1Ð1Ð1Ð1r+   c              3   ó&   K  — | ]}|d          V — ŒdS rã   r@   rä   s     r)   ræ   zUtest_mixed_queue_spreads_source_population_without_changing_groups.<locals>.<genexpr>e   s&   è è € Ð;YÐ;YÈa¸A¸j¼MÐ;YÐ;YÐ;YÐ;YÐ;YÐ;Yr+   )zP%(py4)s
{%(py4)s = %(py0)s(%(py2)s)
} == %(py10)s
{%(py10)s = %(py6)s(%(py8)s)
}Úsorted©rg   rh   rÅ   rx   rl   Úpy10úassert %(py12)sÚpy12c              3   ó6   K  — | ]}|d          |d         fV — ŒdS ©r$   r   Nr@   rä   s     r)   ræ   zUtest_mixed_queue_spreads_source_population_without_changing_groups.<locals>.<genexpr>f   s/   è è € Ð>Ð>°�A�g”J  (¤Ð,Ð>Ð>Ð>Ð>Ð>Ð>r+   c              3   ó6   K  — | ]}|d          |d         fV — ŒdS rî   r@   rä   s     r)   ræ   zUtest_mixed_queue_spreads_source_population_without_changing_groups.<locals>.<genexpr>f   s3   è è € ÐIsÐIsÐhiÈ1ÈWÌ:ÐWXÐYaÔWbÐJcÐIsÐIsÐIsÐIsÐIsÐIsr+   r   c                 ó,   — i | ]}|d          |d         “ŒS ©r8   r9   r@   rä   s     r)   r~   zVtest_mixed_queue_spreads_source_population_without_changing_groups.<locals>.<dictcomp>g   s"   € Ð:Ð:Ð:¨QˆAˆjŒM˜1˜Zœ=Ð:Ð:Ð:r+   c                 ó,   — i | ]}|d          |d         “ŒS rñ   r@   rä   s     r)   r~   zVtest_mixed_queue_spreads_source_population_without_changing_groups.<locals>.<dictcomp>g   s$   € Ð>kÐ>kÐ>kÐ`a¸qÀ¼}ÈaÐPZÌmÐ>kÐ>kÐ>kr+   ©z%(py1)s == %(py4)srÄ   rÆ   rx   )é   é2   éd   é–   c              3   ó.   K  — | ]}|d          dk    V — ŒdS )r$   rq   Nr@   rä   s     r)   ræ   zUtest_mixed_queue_spreads_source_population_without_changing_groups.<locals>.<genexpr>i   s+   è è € ÐCÐC¨q�q˜”z UÒ*ÐCÐCÐCÐCÐCÐCr+   rØ   r   )ú<=)zv%(py15)s
{%(py15)s = %(py0)s((%(py5)s
{%(py5)s = %(py1)s(%(py3)s)
} - ((%(py6)s * %(py8)s) / %(py11)s)))
} <= %(py18)sÚabsÚsumÚstop)	rg   rw   ri   rj   rx   rl   rn   r¸   rt   zassert %(py20)sÚpy20c              3   ó.   K  — | ]}|d          dk    V — ŒdS )r   rÛ   Nr@   rä   s     r)   ræ   zUtest_mixed_queue_spreads_source_population_without_changing_groups.<locals>.<genexpr>j   s+   è è € ÐBÐB¨a�q˜”{ cÒ)ÐBÐBÐBÐBÐBÐBr+   gš™™™™™É?)zi%(py12)s
{%(py12)s = %(py0)s((%(py5)s
{%(py5)s = %(py1)s(%(py3)s)
} - (%(py6)s * %(py8)s)))
} <= %(py15)s)rg   rw   ri   rj   rx   rl   rì   r¸   zassert %(py17)sÚpy17)Úrangerà   Úmixed_orderr„   r…   r†   r‡   rˆ   r‰   rŠ   r‹   rè   r   rû   rú   )r�   rß   rË   r“   r‘   rÍ   Ú@py_format10Ú@py_assert7Ú@py_assert9rž   Ú@py_format11Ú@py_format13rœ   r�   rÒ   rŸ   rü   r’   r”   r–   r•   rš   Ú@py_assert17Ú@py_assert16r›   Ú@py_format21Ú@py_assert11rÏ   rÐ   s                                r)   ÚBtest_mixed_queue_spreads_source_population_without_changing_groupsr  `   s~	  € ðDð DÝ8=¸c¹
¼
ðDñ Dô D€EåÔ Ñ&Ô&€GÝÔ'Ð.Ð'Ð'¨Ñ.Ô.Ð.ˆ7Ð.Ò.Ð.Ð.Ñ.Õ.Ô.Ð.Ð.Ð.Ð.ˆ7Ð.Ð.Ñ.Ô.Ð.Õ.Ô.Ñ.Ô.Ð.Ð.Õ.Ô.ˆ7Ñ.Ô.Ð.Õ.Ô.ˆ7Ñ.Ô.Ð.Ð.Ð.Õ.Ô.Ñ.Ô.Ð.Ð.Õ.Ô.•eÑ.Ô.Ð.Õ.Ô.•eÑ.Ô.Ð.Ð.Õ.Ô.Ð'Ñ.Ô.Ð.Õ.Ô.Ñ.Ô.Ð.Ð.Õ.Ô.¨Ñ.Ô.Ð.Õ.Ô.¨Ñ.Ô.Ð.Ð.Õ.Ô.Ð.Ñ.Ô.Ð.Ð.Ñ.Ð.Ð.Ð.Ð.Ð.Ñ.Ð.Õ.Õ.Ô.Ð.Ñ.Ô.Ñ.Ô.Ð.Ð.Ð.Ð.Ð.Ð.Ð.Ø1Ð1¨Ð1Ñ1Ô1ÐY�6Ð1Ñ1Ô1ÐYÐ;YÐ;YÐSXÐ;YÑ;YÔ;YÐYµVÐ;YÑ5YÔ5YÐYÐ1Ð5YÒYÐYÐYÑYÕYÔYÐYÐYÐYÐYÐ1Ð5YÐYÑYÔYÐYÕYÔYÑYÔYÐYÐYÕYÔY�6ÑYÔYÐYÕYÔY�6ÑYÔYÐYÐYÕYÔYÐ1ÑYÔYÕYÔYÐ1ÑYÔYÐYÕYÔYÑYÔYÐYÐYÕYÔYµVÑYÔYÐYÕYÔYµVÑYÔYÐYÐYÕYÔYÐ;YÑYÔYÕYÔYÐ5YÑYÔYÐYÐYÑYÐYÐYÐYÐYÐYÑYÐYÕYÕYÔYÐYÑYÔYÑYÔYÐYÐYÐYÐYÐYÐYÐYÐYÐYÐYÐYØ>Ð>°gÐ>Ñ>Ô>Ðs�7Ð>Ñ>Ô>ÐsÐIsÐIsÐmrÐIsÑIsÔIsÐsÅ'ÐIsÑBsÔBsÐsÐ>ÐBsÒsÐsÐsÑsÕsÔsÐsÐsÐsÐsÐ>ÐBsÐsÑsÔsÐsÕsÔsÑsÔsÐsÐsÕsÔs�7ÑsÔsÐsÕsÔs�7ÑsÔsÐsÐsÕsÔsÐ>ÑsÔsÕsÔsÐ>ÑsÔsÐsÕsÔsÑsÔsÐsÐsÕsÔsÅ'ÑsÔsÐsÕsÔsÅ'ÑsÔsÐsÐsÕsÔsÐIsÑsÔsÕsÔsÐBsÑsÔsÐsÐsÑsÐsÐsÐsÐsÐsÑsÐsÕsÕsÔsÐsÑsÔsÑsÔsÐsÐsÐsÐsÐsÐsÐsÐsÐsÐsÐsØ:Ð:°'Ð:Ñ:Ô:ÐkÐ>kÐ>kÐejÐ>kÑ>kÔ>kÐkÐ:Ð>kÒkÐkÐkÐkÕkÔkÐkÐkÐkÐkÐ:Ð>kÐkÑkÔkÕkÔkÐ:ÑkÔkÕkÔkÐ>kÑkÔkÐkÐkÑkÐkÐkÐkÐkÐkÑkÐkÕkÕkÔkÐkÑkÔkÑkÔkÐkÐkÐkÐkÐkÐkÐkØ"ð Sñ SˆØCÐC°G¸E¸T¸E´NÐCÑCÔCÐW•3ÐCÑCÔCÐWÈ2ÐWÀdÈ2ÁgÐWÈcÐWÀgÈcÁkÐWÐCÀkÑQÐW�sÐQÑRÔRÐWÐVWÐWÐRÐVWÒWÐWÐWÑWÕWÔWÐWÐWÐWÐWÐRÐVWÐWÑWÔWÐWÕWÔWÑWÔWÐWÐWÕWÔW�sÑWÔWÐWÕWÔW�sÑWÔWÐWÐWÐWÕWÔWÑWÔWÐWÐWÕWÔW•3ÑWÔWÐWÕWÔW•3ÑWÔWÐWÐWÕWÔWÐCÑWÔWÕWÔWÐCÑWÔWÐWÕWÔWÑWÔWÐWÐWÕWÔWÀdÑWÔWÐWÕWÔWÀdÑWÔWÐWÐWÕWÔWÈ2ÑWÔWÕWÔWÈcÑWÔWÕWÔWÐRÑWÔWÕWÔWÐVWÑWÔWÐWÐWÑWÐWÐWÐWÐWÐWÑWÐWÕWÕWÔWÐWÑWÔWÑWÔWÐWÐWÐWÐWÐWÐWÐWÐWÐWÐWÐWÐWÐWÐWÐWÐWÐWÐWÐWÐWÐWØBÐB°7¸5¸D¸5´>ÐBÑBÔBÐR•3ÐBÑBÔBÐRÈ"ÐRÀTÈ"ÁWÐRÐBÀWÑLÐR�sÐLÑMÔMÐRÐQRÐRÐMÐQRÒRÐRÐRÑRÕRÔRÐRÐRÐRÐRÐMÐQRÐRÑRÔRÐRÕRÔRÑRÔRÐRÐRÕRÔR�sÑRÔRÐRÕRÔR�sÑRÔRÐRÐRÐRÕRÔRÑRÔRÐRÐRÕRÔR•3ÑRÔRÐRÕRÔR•3ÑRÔRÐRÐRÕRÔRÐBÑRÔRÕRÔRÐBÑRÔRÐRÕRÔRÑRÔRÐRÐRÕRÔRÀTÑRÔRÐRÕRÔRÀTÑRÔRÐRÐRÕRÔRÈ"ÑRÔRÕRÔRÐMÑRÔRÕRÔRÐQRÑRÔRÐRÐRÑRÐRÐRÐRÐRÐRÑRÐRÕRÕRÔRÐRÑRÔRÑRÔRÐRÐRÐRÐRÐRÐRÐRÐRÐRÐRÐRÐRÐRÐRÐRÐRÐRÑRðSð Sr+   c                 ó<  — | dz  }|                      ¦   «          |dz                       d¦  «         | dz  }t          j        |d¦  «        5 }|                     dd¦  «         d d d ¦  «         n# 1 swxY w Y   t          j        t          d¬¦  «        5  t          j	        ||¦  «         d d d ¦  «         n# 1 swxY w Y   t          j        |d¦  «        5 }|                     dd¦  «         d d d ¦  «         n# 1 swxY w Y   t          j	        ||¦  «        d	         }d
}||k    }|slt          j        d|fd||f¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }dd|iz  }t          t          j        |¦  «        ¦  «        ‚d x}x}}d S )NÚ	workspacezone.jsonÚcheckedzbad.zipÚwÚ	differentzpayload differsr€   Úmember_payload_sha256Úpassedre   ró   rÄ   rÆ   rx   )rU   rV   ÚzipfileÚZipFileÚwritestrrŽ   r�   r�   rà   Úvalidate_zip_payloadr„   r…   r‰   rŠ   r‹   )	r[   r  ÚarchiveÚzrœ   rË   r�   rÒ   rŸ   s	            r)   Ú@test_mixed_zip_verification_checks_payload_and_duplicate_membersr  m   sn  € Ø˜Ñ$€IØ‡O‚OÑÔÐØˆzÑ×%Ò% iÑ0Ô0Ð0Ø�yÑ €GÝ	Œ˜ #Ñ	&Ô	&ð ,¨!Ø	�
Š
�:˜{Ñ+Ô+Ð+ð,ð ,ð ,ñ ,ô ,ð ,ð ,ð ,ð ,ð ,ð ,øøøð ,ð ,ð ,ð ,å	Œ•zÐ):Ð	;Ñ	;Ô	;ð 7ð 7ÝÔ" 7¨IÑ6Ô6Ð6ð7ð 7ð 7ñ 7ô 7ð 7ð 7ð 7ð 7ð 7ð 7øøøð 7ð 7ð 7ð 7å	Œ˜ #Ñ	&Ô	&ð *¨!Ø	�
Š
�:˜yÑ)Ô)Ð)ð*ð *ð *ñ *ô *ð *ð *ð *ð *ð *ð *øøøð *ð *ð *ð *åÔ% g¨yÑ9Ô9Ð:QÔRÐ^ÐV^Ð^ÐRÐV^Ò^Ð^Ð^Ð^Õ^Ô^Ð^Ð^Ð^Ð^ÐRÐV^Ð^Ñ^Ô^Õ^Ô^ÐRÑ^Ô^Õ^Ô^ÐV^Ñ^Ô^Ð^Ð^Ñ^Ð^Ð^Ð^Ð^Ð^Ñ^Ð^Õ^Õ^Ô^Ð^Ñ^Ô^Ñ^Ô^Ð^Ð^Ð^Ð^Ð^Ð^Ð^Ð^Ð^s6   ÁA/Á/A3Á6A3ÂB7Â7B;Â>B;ÃC:Ã:C>ÄC>c                 ó  — | dz  }|                      t          j        t          j        ddœ¦  «        ¦  «         t          j        t          d¬¦  «        5  t          j	        |¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )Núconfig.jsonT)rG   Úall_frames_reviewed_by_userz#Awaiting explicit user confirmationr€   )
rV   ÚjsonÚdumpsr   rX   rŽ   r�   r�   rà   Úingest)r[   Úconfigs     r)   ÚBtest_import_requires_user_confirmation_before_cross_split_trainingr!  {   sÀ   € Ø�mÑ#€FØ
×Ò•d”j­5Ô+@ÐaeÐ!fÐ!fÑgÔgÑhÔhÐhÝ	Œ•zÐ)NÐ	OÑ	OÔ	Oð ð ÝŒ�VÑÔÐðð ð ñ ô ð ð ð ð ð ð ð øøøð ð ð ð ð ð s   ÁA7Á7A;Á>A;c                  óÊ  — dddddgddggiddd	gd
dggigdœ} t          j        | ¦  «        \  }}|d         d         d         d         d         }d}||k    }|slt          j        d|fd||f¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }dd|iz  }t          t          j        |¦  «        ¦  «        ‚d x}x}}g }t          |¦  «        }	d}
|	|
k    }|}|r|d         d         }d}| }||k    }|}|�sˆt          j        d|fd|	|
f¦  «        dt          j	        ¦   «         v st          j
        t          ¦  «        rt          j        t          ¦  «        nddt          j	        ¦   «         v st          j
        |¦  «        rt          j        |¦  «        ndt          j        |	¦  «        t          j        |
¦  «        dœz  }dd|iz  }|                     |¦  «         |r`t          j        d|fd||f¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }dd |iz  }|                     |¦  «         t          j        |d¦  «        i z  }d!d"|iz  }t          t          j        |¦  «        ¦  «        ‚d x}x}x}	x}x}
x}x}x}}|d         d         d         d         d         }d#}| }||k    }|slt          j        d|fd$||f¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }d%d&|iz  }t          t          j        |¦  «        ¦  «        ‚d x}x}x}}| d         d         d         d         d         }d}| }||k    }|slt          j        d|fd$||f¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }d%d&|iz  }t          t          j        |¦  «        ¦  «        ‚d x}x}x}}d S )'Ni`  i  ÚpointsgfffffæE@g‚ÊÅÝ�ÿÿ¼gš™™™™Áq@g     ÀL@g{®Gáz„¿rô   é   é(   )Ú
imageWidthÚimageHeightÚshapesr(  r   rN   re   ró   rÄ   rÆ   rx   Úoriginalg‚ÊÅÝ�ÿÿ<)z0%(py5)s
{%(py5)s = %(py2)s(%(py3)s)
} == %(py8)sÚlenÚreceipt)rh   ri   rj   rl   ú%(py10)srê   )z%(py13)s == -%(py16)s)rr   rp   z%(py19)srÀ   zassert %(py22)sÚpy22g{®Gáz„?)z%(py1)s == -%(py4)súassert %(py7)srk   )rà   Únormalize_coordinate_roundoffr„   r…   r‰   rŠ   r‹   r*  r†   r‡   rˆ   rÈ   rÉ   )ÚdocÚfixedr+  rœ   rË   r�   rÒ   rŸ   r‘   r’   r  r“   r–   r™   r  rš   r    r  rÐ   rÑ   r	  Ú@py_format23rž   rÌ   rÍ   s                            r)   ÚAtest_only_machine_roundoff_at_boundary_is_normalized_and_recordedr3  ‚   sà  € Ø¨SØ	�T˜:Ð&¨°¨Ð6Ð7Ø	�U˜B�K " b Ð*Ð+ð=-ð .ð .€Cõ Ô8¸Ñ=Ô=�N€Eˆ7Ø�Œ?˜1Ô˜hÔ'¨Ô*¨1Ô-Ð2°Ð2Ð-°Ò2Ð2Ð2Ð2Õ2Ô2Ð2Ð2Ð2Ð2Ð-°Ð2Ñ2Ô2Õ2Ô2Ð-Ñ2Ô2Õ2Ô2°Ñ2Ô2Ð2Ð2Ñ2Ð2Ð2Ð2Ð2Ð2Ñ2Ð2Õ2Õ2Ô2Ð2Ñ2Ô2Ñ2Ô2Ð2Ð2Ð2Ð2Ð2Ð2Ð2ØEÐE�3ˆw‰<Œ<ÐE˜1ÐEˆ<˜1ÒÐEÐEÐEÐEÐE ¨¤¨JÔ!7ÐE¸IÐE¸I¸:ÐEÐ!7¸:Ò!EÐEÐEÐEÐEÑEÕEÔEÐEÐEÐEÐEˆ<˜1ÐEÑEÔEÐEÕEÔEÑEÔEÐEÐEÕEÔE�3ÑEÔEÐEÕEÔE�3ÑEÔEÐEÐEÐEÕEÔEÑEÔEÐEÐEÕEÔEˆwÑEÔEÐEÕEÔEˆwÑEÔEÐEÐEÕEÔEˆ<ÑEÔEÕEÔE˜1ÑEÔEÐEÐEÑEÐEÐEÐEÐEÐEÑEÐEÐE×EÒEÐEÑEÔEÐEÐEÐEÕEÔEÐEÐEÐEÐEÐ!7¸:ÐEÑEÔEÕEÔEÐ!7ÑEÔEÕEÔE¸IÑEÔEÐEÐEÑEÐEÐEÐEÐEÐEÑEÐEÐE×EÒEÐEÑEÔEÐEÕEÔEÐEÐEÑEÔEÐEÑEÐEÐEÐEÐEÐEÑEÐEÕEÕEÔEÐEÑEÔEÑEÔEÐEÐEÐEÐEÐEÐEÐEÐEÐEÐEÐEÐEÐEÐEÐEÐEÐEÐEÐEØ�Œ?˜1Ô˜hÔ'¨Ô*¨1Ô-Ð5°#Ð5°#°Ð5Ð-°Ò5Ð5Ð5Ð5Õ5Ô5Ð5Ð5Ð5Ð5Ð-°Ð5Ñ5Ô5Õ5Ô5Ð-Ñ5Ô5Õ5Ô5°#Ñ5Ô5Ð5Ð5Ñ5Ð5Ð5Ð5Ð5Ð5Ñ5Ð5Õ5Õ5Ô5Ð5Ñ5Ô5Ñ5Ô5Ð5Ð5Ð5Ð5Ð5Ð5Ð5Ð5Ð5ØˆxŒ=˜Ô˜HÔ% aÔ(¨Ô+Ð9°	Ð9°	¨zÐ9Ð+¨zÒ9Ð9Ð9Ð9Õ9Ô9Ð9Ð9Ð9Ð9Ð+¨zÐ9Ñ9Ô9Õ9Ô9Ð+Ñ9Ô9Õ9Ô9°	Ñ9Ô9Ð9Ð9Ñ9Ð9Ð9Ð9Ð9Ð9Ñ9Ð9Õ9Õ9Ô9Ð9Ñ9Ô9Ñ9Ô9Ð9Ð9Ð9Ð9Ð9Ð9Ð9Ð9Ð9Ð9Ð9r+   c                 ó  ‡"‡#— | dz  }|dz  Š#‰#                      d¬¦  «         g }t          g d¢¦  «        D �]3\  }}d|› �}|d›}|d|› �|d	|d
z  › �d|› �d|› d|› d�d|› d|› d�d|› d|› d�d|› d|› d�dœ	Š"dd|dz   d ddd
dgddggdœgddddœ|d|› �d|› �dœdœ}d D ]U}	‰#‰"|	         z  }
|
j                              dd¬!¦  «         t          j        d"d#d$|z   ¦  «                             |
¦  «         ŒV‰#‰"d%         z                       t          j        |¦  «        ¦  «         t          ‰#‰"d%         z  ¦  «        ‰"d&<   ˆ"ˆ#fd'„d D ¦   «         ‰"d(<   | 
                    ‰"¦  «         �Œ5‰#d)z                       d*                     d+„ |D ¦   «         ¦  «        ¦  «         ‰#d,z                       d-¦  «         ‰#d.z                       d/¦  «         ‰#d0z                       t          j        d1t          ‰#d)z  ¦  «        d2œ¦  «        ¦  «         |d3z                        ¦   «          t          t          g ¦  «        |d4z  ¦  «         t          j        || d5z  ¦  «        }g }|d6         }d1}||k    }|}|r|d7         }d
d
d8œ}||k    }|}|�st!          j        d9|fd:||f¦  «        t!          j        |¦  «        t!          j        |¦  «        d;œz  }d<d=|iz  }| 
                    |¦  «         |r`t!          j        d9|fd>||f¦  «        t!          j        |¦  «        t!          j        |¦  «        d?œz  }d@dA|iz  }| 
                    |¦  «         t!          j        |dB¦  «        i z  }dCdD|iz  }t)          t!          j        |¦  «        ¦  «        ‚d x}x}x}x}x}x}x}}t          j        |dEz  ¦  «        }dF„ |D ¦   «         }t/          |¦  «        }|s•dGdHt1          j        ¦   «         v st!          j        t.          ¦  «        rt!          j        t.          ¦  «        ndHt!          j        |¦  «        t!          j        |¦  «        dIœz  }t)          t!          j        |¦  «        ¦  «        ‚d x}}dJ„ |D ¦   «         }t/          |¦  «        }|s•dGdHt1          j        ¦   «         v st!          j        t.          ¦  «        rt!          j        t.          ¦  «        ndHt!          j        |¦  «        t!          j        |¦  «        dIœz  }t)          t!          j        |¦  «        ¦  «        ‚d x}}t          j        }d5}| |z  } |||¦  «        }||k    }|�s�t!          j        d9|fdK||f¦  «        dLt1          j        ¦   «         v st!          j        t          ¦  «        rt!          j        t          ¦  «        ndLt!          j        |¦  «        dMt1          j        ¦   «         v st!          j        |¦  «        rt!          j        |¦  «        ndMdNt1          j        ¦   «         v st!          j        | ¦  «        rt!          j        | ¦  «        ndNt!          j        |¦  «        t!          j        |¦  «        dOt1          j        ¦   «         v st!          j        |¦  «        rt!          j        |¦  «        ndOdPœz  }dQdR|iz  } t)          t!          j        | ¦  «        ¦  «        ‚d x}x}x}x}}|dSz  |dB         d%         z  }!t          j        |!                     ¦   «         ¦  «        }g |dT<   |!                     t          j        |¦  «        ¦  «         t;          j        t>          dU¬V¦  «        5  t          j        || d5z  ¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )WNÚrunÚanylabelingT©Úparents)r3   rq   r3   rq   r<   Ú024drÖ   r   r   Úhzimages/ú/r   ú.jsonz
auxiliary/z
.depth.pngz
.valid.png)	r8   r9   r$   r   r&   ÚimageÚ
annotationÚdepthÚvalidityr   r   ÚpalletÚ	rectangler   é   é   ©ÚlabelÚ
shape_typer#  F)Úhuman_reviewedÚ
unreviewedÚproposal_only)r8   r9   r&   )r&  r'  Ú	imagePathÚ	imageDatar(  ÚflagsÚpallet_prediction)r=  r?  r@  )r8  Úexist_okÚL©r   r   rõ   r>  Úbaseline_annotation_sha256c                 óB   •— i | ]}|t          ‰‰|         z  ¦  «        “ŒS r@   r   )r;   ÚroleÚrowÚsources     €€r)   r~   zMtest_mixed_package_keeps_pngs_boxes_and_original_identity.<locals>.<dictcomp>£   s,   ø€ ÐmÐmÐmÀd˜d¥K°°s¸4´yÑ0@Ñ$AÔ$AÐmÐmÐmr+   Úview_sha256úframes.jsonlÚ c              3   óD   K  — | ]}t          j        |¦  «        d z   V — ŒdS ©ú
N©r  r  )r;   rU  s     r)   ræ   zLtest_mixed_package_keeps_pngs_boxes_and_original_identity.<locals>.<genexpr>¥   s/   è è € Ð.UÐ.UÈ­t¬z¸#©¬¸tÑ/CÐ.UÐ.UÐ.UÐ.UÐ.UÐ.Ur+   z
labels.txtzpallet
zanylabeling_config.yamlzlabels: [pallet]
úpackage_manifest.jsoné   )r]   Úframes_index_sha256Úinputsú$inputs/all_checked_annotations.jsonlr-   r]   Úsplit_counts)r3   rq   re   r¹   rº   r»   rl   r¼   r½   r¾   rp   r   r¿   rÀ   zmixed_anylabeling/frames.jsonlc              3   ól   K  — | ]/}t          |d          ¦  «        j        t          d¦  «        k    V — Œ0dS )r=  zimages/mixedN)r   Úparenträ   s     r)   ræ   zLtest_mixed_package_keeps_pngs_boxes_and_original_identity.<locals>.<genexpr>®   s>   è è € ÐMÐMÀ1�t�A�g”JÑÔÔ&­$¨~Ñ*>Ô*>Ò>ÐMÐMÐMÐMÐMÐMr+   z,assert %(py4)s
{%(py4)s = %(py0)s(%(py2)s)
}Úall)rg   rh   rÅ   c              3   ó:   K  — | ]}|d          |d         k    V — ŒdS )Úoriginal_splitr$   Nr@   rä   s     r)   ræ   zLtest_mixed_package_keeps_pngs_boxes_and_original_identity.<locals>.<genexpr>¯   s1   è è € Ð?Ð?°QˆqÐ!Ô" a¨¤jÒ0Ð?Ð?Ð?Ð?Ð?Ð?r+   )zn%(py9)s
{%(py9)s = %(py2)s
{%(py2)s = %(py0)s.make_mixed_package
}(%(py3)s, (%(py4)s / %(py6)s))
} == %(py11)srà   Úoutputr[   Úresult)rg   rh   ri   rÅ   rx   rm   rn   zassert %(py13)srr   Úmixed_anylabelingr(  zPreserving modifiedr€   ) rU   Ú	enumeratere  r   ÚnewÚsaverV   r  r  r   rÈ   Újoinr   r   rà   Úmake_mixed_packager„   r…   r‰   rÉ   rŠ   r‹   r©   rf  r†   r‡   rˆ   ÚloadsÚ	read_textrŽ   r�   r�   )$r[   r\   ri  r�   rÝ   r$   r(   Únamer0  rT  r_   rj  r‘   r�   rž   r’   rœ   r”   r•   r–   rŸ   r    r—   r˜   rÐ   rÑ   r©   rË   rÒ   r  Ú@py_assert8Ú@py_format12rÎ   ÚalteredrU  rV  s$                                     @@r)   Ú9test_mixed_package_keeps_pngs_boxes_and_original_identityrw  �   s@	  øø€ Ø�e‰^€FØ�MÑ!€FØ
‡L‚L˜€LÑÔÐØ€EÝÐ<Ð<Ð<Ñ=Ô=ð ñ ‰ˆˆ5Ø�!ˆgˆgˆØˆ{ˆ{ˆØ¨G°¨G¨G¸eÈ{ÐSTÐWXÑSXÈ{È{Ø%,¨ W WÐ7SÀÐ7SÐ7SÈÐ7SÐ7SÐ7SØ: uÐ:Ð:¨tÐ:Ð:Ð:ÐEjÐRWÐEjÐEjÐZ^ÐEjÐEjÐEjØ@¨Ð@Ð@°Ð@Ð@Ð@ðBð Bˆð  °ÀÀfÁÐ[_Ø$,¸KÐUVÐXYÐTZÐ]_ÐacÐ\dÐSeÐfÐfÐgØ+0ÀÐW[Ð\Ð\Ø14À'ÀaÀ'À'ÐahÐefÐahÐahÐ$iÐ$iðkð kˆð 3ð 	6ð 	6ˆDØ˜#˜dœ)Ñ#ˆDØŒK×Ò d°TÐÑ:Ô:Ð:ÝŒI�c˜8 R¨¡TÑ*Ô*×/Ò/°Ñ5Ô5Ð5Ð5Ø	��LÔ!Ñ	!×-Ò-­d¬j¸©o¬oÑ>Ô>Ð>Ý,7¸¸sÀ<Ô?PÑ8PÑ,QÔ,QˆÐ(Ñ)ØmÐmÐmÐmÐmÐNlÐmÑmÔmˆˆMÑØ�Š�SÑÔÐÑØˆNÑ×&Ò& r§w¢wÐ.UÐ.UÈuÐ.UÑ.UÔ.UÑ'UÔ'UÑVÔVÐVØˆLÑ×$Ò$ ZÑ0Ô0Ð0ØÐ%Ñ%×1Ò1Ð2FÑGÔGÐGØÐ#Ñ#×/Ò/µ´
ÀaÕ`kÐlrð  tBñ  mBñ  aCô  aCð  <Dð  <Dñ  1Eô  1Eñ  Fô  Fð  FØˆH�_×ÒÑÔÐÝ�}˜RÑ Ô  &Ð)OÑ"OÑPÔPÐPÝÔ% f¨h°zÑ.AÑBÔB€FØTÐTˆ6�(ÔÐT˜qÐTÐ˜qÒ ÐTÐTÐTÐTÐT V¨NÔ%;ÐTÈÐRSÐ?TÐ?TÐTÐ%;Ð?TÒ%TÐTÐTÐTÐTÑTÕTÔTÐTÐTÐTÐTÐ˜qÐTÑTÔTÕTÔTÐÑTÔTÕTÔT˜qÑTÔTÐTÐTÑTÐTÐTÐTÐTÐTÑTÐTÐT×TÒTÐTÑTÔTÐTÐTÐTÕTÔTÐTÐTÐTÐTÐ%;Ð?TÐTÑTÔTÕTÔTÐ%;ÑTÔTÕTÔTÐ?TÑTÔTÐTÐTÑTÐTÐTÐTÐTÐTÑTÐTÐT×TÒTÐTÑTÔTÐTÕTÔTÐTÐTÑTÔTÐTÑTÐTÐTÐTÐTÐTÑTÐTÕTÕTÔTÐTÑTÔTÑTÔTÐTÐTÐTÐTÐTÐTÐTÐTÐTÐTÐTÐTÐTÐTÐTÐTÐTÝŒ:�fÐ=Ñ=Ñ>Ô>€DØMÐMÈÐMÑMÔMÐM�3ÐMÑMÔMÐMÐMÐMÐMÐMÕMÔMÑMÔMÐMÐMÕMÔM�3ÑMÔMÐMÕMÔM�3ÑMÔMÐMÐMÕMÔMÐMÑMÔMÕMÔMÐMÑMÔMÐMÐMÑMÐMÕMÕMÔMÐMÑMÔMÑMÔMÐMÐMÐMÐMÐMØ?Ð?¸$Ð?Ñ?Ô?Ð?�3Ð?Ñ?Ô?Ð?Ð?Ð?Ð?Ð?Õ?Ô?Ñ?Ô?Ð?Ð?Õ?Ô?�3Ñ?Ô?Ð?Õ?Ô?�3Ñ?Ô?Ð?Ð?Õ?Ô?Ð?Ñ?Ô?Õ?Ô?Ð?Ñ?Ô?Ð?Ð?Ñ?Ð?Õ?Õ?Ô?Ð?Ñ?Ô?Ñ?Ô?Ð?Ð?Ð?Ð?Ð?ÝÔ#ÐJ°ZÐJ¨H°ZÑ,?ÐJÐ#Ð# FÐ,?Ñ@Ô@ÐJÐ@ÀFÒJÐJÐJÑJÕJÔJÐJÐJÐJÐJÐ@ÀFÐJÑJÔJÐJÕJÔJÑJÔJÐJÐJÕJÔJ�5ÑJÔJÐJÕJÔJ�5ÑJÔJÐJÐJÕJÔJÐ#ÑJÔJÐJÕJÔJÑJÔJÐJÐJÕJÔJ FÑJÔJÐJÕJÔJ FÑJÔJÐJÐJÐJÕJÔJÑJÔJÐJÐJÕJÔJ¨HÑJÔJÐJÕJÔJ¨HÑJÔJÐJÐJÕJÔJ°ZÑJÔJÕJÔJÐ@ÑJÔJÐJÕJÔJÑJÔJÐJÐJÕJÔJÀFÑJÔJÐJÕJÔJÀFÑJÔJÐJÐJÐJÐJÑJÐJÐJÐJÐJÐJÑJÐJÕJÕJÔJÐJÑJÔJÑJÔJÐJÐJÐJÐJÐJÐJÐJÐJÐJÐJÐJØÐ(Ñ(¨¨a¬°Ô)>Ñ>€GÝ
Œ*�W×&Ò&Ñ(Ô(Ñ
)Ô
)€CØ€Cˆ�MØ×Ò•t”z #‘”Ñ'Ô'Ð'Ý	Œ•zÐ)>Ð	?Ñ	?Ô	?ð >ð >ÝÔ  ¨°*Ñ)<Ñ=Ô=Ð=ð>ð >ð >ñ >ô >ð >ð >ð >ð >ð >ð >ð >øøøð >ð >ð >ð >ð >ð >s   Ý]9Ý9]=Þ ]=Ú
new_splits)r3   r3   )rq   r3   c                 ó6$  ‡ ‡D‡E‡F— ‰ dz  }|                      ¦   «          |dz                       d¦  «         ˆ fd„dD ¦   «         \  }}}|dz                        d¬¦  «         |                      ¦   «          d	„ t          d
¦  «        D ¦   «         }t          dd¦  «        }t          d|d         d¦  «        t          d|d         d¦  «        g}	||gz   |	z   }
d„ |
D ¦   «         ŠFd„ |
D ¦   «         ŠDˆDˆFfd„}|                     t
          d|¦  «         |                     t          d|¦  «         t          t          |¦  «        |dz  ¦  «         t          t          ||gz   ¦  «        |dz  ¦  «         t          t          |g¦  «        |dz  ¦  «         ˆFfd„ŠE|dz                       t          j
        dˆEfd„|D ¦   «         i¦  «        ¦  «         |dz                       t          j
        di i¦  «        ¦  «         |dz                       t          j
        dg i¦  «        ¦  «         |d z  }|                     t          j
        d!dgi¦  «        ¦  «         |d"z                       t          j
        dgt          |dz  ¦  «        d t          |¦  «        d#œ¦  «        ¦  «         ‰ d$z  }g }t          j        |d%¦  «        5 }|	D �][}|j        |j        |j        |j        |j        d&d'g|j        › d(�|j        › d)�d*œ}t'          j        d+d,d-¦  «                             ||d.         z  ¦  «         d&d'|d.         d/did0d1d2d3gd4d5ggd6œg|j        |j        |j        |j        d7œd8œ}||d9         z                       t          j
        |¦  «        ¦  «         t          ||d9         z  ¦  «        |d:<   d.t          ||d.         z  ¦  «        i|d;<   |                     |¦  «         |j        dk    rg |d<<   |                     |d9         t          j
        |¦  «        ¦  «         �Œ]	 d d d ¦  «         n# 1 swxY w Y   |d=z                       d>                     d?„ |D ¦   «         ¦  «        ¦  «         |d@z                       t          j
        d2t          |d=z  ¦  «        dAt          |dz  ¦  «        idBœ¦  «        ¦  «         ‰ dCz  }‰ dDz  }|                     t          j
        dEdFdGœ¦  «        ¦  «         |                     t          j
        dddt
          j        dt5          |¦  «        t5          |¦  «        t5          |¦  «        t5          |¦  «        t5          |¦  «        d2ddHgt5          |¦  «        t          |¦  «        dIœ¦  «        ¦  «         t          j        |¦  «        }g }|dJ         }dK}||k    }|}|r|dL         }dM}||k    }|}|�st9          j        dN|fdO||f¦  «        t9          j        |¦  «        t9          j        |¦  «        dPœz  }dQdR|iz  }|                     |¦  «         |r`t9          j        dN|fdS||f¦  «        t9          j        |¦  «        t9          j        |¦  «        dTœz  } dUdV| iz  }!|                     |!¦  «         t9          j        |d¦  «        i z  }"dWdX|"iz  }#tA          t9          j!        |#¦  «        ¦  «        ‚d x}x}x}x}x}x}x}}|dY         dZ         }ddd[œ}$||$k    }|slt9          j        dN|fd\||$f¦  «        t9          j        |¦  «        t9          j        |$¦  «        d]œz  }%d^d_|%iz  }tA          t9          j!        |¦  «        ¦  «        ‚d x}x}}$t          j"        |||¬`¦  «        }&t          j#        ||¦  «        \  }'}(})}*}*g }|'j$        d         }|j        }|d         }+||+k    },|,}|,r$|'j$        d         }|j        }-|d         }.|-|.k    }/|/}|�s(t9          j        dN|,fda||+f¦  «        t9          j        |¦  «        t9          j        |¦  «        t9          j        |+¦  «        dbœz  }dcdd|iz  }0|                     |0¦  «         |,rst9          j        dN|/fde|-|.f¦  «        t9          j        |¦  «        t9          j        |-¦  «        t9          j        |.¦  «        dfœz  }1dgdh|1iz  }2|                     |2¦  «         t9          j        |d¦  «        i z  }3didj|3iz  }4tA          t9          j!        |4¦  «        ¦  «        ‚d x}x}x}x}x},x}+x}x}-x}/}.d}|(|)z  }||v}|sÕt9          j        dk|fdl||f¦  «        t9          j        |¦  «        dmtK          j&        ¦   «         v st9          j'        |(¦  «        rt9          j        |(¦  «        ndmdtK          j&        ¦   «         v st9          j'        |)¦  «        rt9          j        |)¦  «        nddnœz  }5dodp|5iz  }6tA          t9          j!        |6¦  «        ¦  «        ‚d x}x}}|&dq         }tQ          |¦  «        }$|$j)        }|&dr         }+ ||+¦  «        }7|7sÎdsdttK          j&        ¦   «         v st9          j'        tP          ¦  «        rt9          j        tP          ¦  «        ndtt9          j        |¦  «        t9          j        |$¦  «        t9          j        |¦  «        t9          j        |+¦  «        t9          j        |7¦  «        duœz  }0tA          t9          j!        |0¦  «        ¦  «        ‚d x}x}$x}x}+}7t          j        } ||¦  «        }||k    },|,�s0t9          j        dN|,fdv||f¦  «        dwtK          j&        ¦   «         v st9          j'        t          ¦  «        rt9          j        t          ¦  «        ndwt9          j        |¦  «        dxtK          j&        ¦   «         v st9          j'        |¦  «        rt9          j        |¦  «        ndxt9          j        |¦  «        dytK          j&        ¦   «         v st9          j'        |¦  «        rt9          j        |¦  «        ndydzœz  }6d{d||6iz  }8tA          t9          j!        |8¦  «        ¦  «        ‚d x}x}},t
          j"        } ||||¬`¦  «        },|,|&k    }9|9�s¬t9          j        dN|9fd}|,|&f¦  «        d~tK          j&        ¦   «         v st9          j'        t
          ¦  «        rt9          j        t
          ¦  «        nd~t9          j        |¦  «        dtK          j&        ¦   «         v st9          j'        |¦  «        rt9          j        |¦  «        nddtK          j&        ¦   «         v st9          j'        |¦  «        rt9          j        |¦  «        nddtK          j&        ¦   «         v st9          j'        |¦  «        rt9          j        |¦  «        ndt9          j        |,¦  «        d€tK          j&        ¦   «         v st9          j'        |&¦  «        rt9          j        |&¦  «        nd€d�œz  }8d‚dƒ|8iz  }:tA          t9          j!        |:¦  «        ¦  «        ‚d x}x},}9|j*        } |¦   «         }t5          |¦  «        },|d„         }7|,|7v }9|9�st9          j        d…|9fd†|,|7f¦  «        d‡tK          j&        ¦   «         v st9          j'        t4          ¦  «        rt9          j        t4          ¦  «        nd‡dˆtK          j&        ¦   «         v st9          j'        |¦  «        rt9          j        |¦  «        ndˆt9          j        |¦  «        t9          j        |¦  «        t9          j        |,¦  «        t9          j        |7¦  «        d‰œz  }0dŠd‹|0iz  };tA          t9          j!        |;¦  «        ¦  «        ‚d x}x}x},x}9}7dŒD �]²}<‰ d�|<› dŽ�z  }=t          j        |¦  «        5 }>t          j        |=d%¦  «        5 }?tW          |> ,                    ¦   «         ¦  «        D ]e\  }@}At          j-        |> .                    |A¦  «        ¦  «        }B|@dk    rd�|Bd�         |<<   |?                     |At          j
        |B¦  «        ¦  «         Œf	 d d d ¦  «         n# 1 swxY w Y   d d d ¦  «         n# 1 swxY w Y   ‰ d�|<› d)�z  }C|C                     t          j
        i t          j-        | /                    ¦   «         ¦  «        ¥t5          |=¦  «        t5          ‰ d‘|<› �z  ¦  «        d’œ¥¦  «        ¦  «         ta          j1        td          |<› d“�¬”¦  «        5  t          j        |C¦  «         d d d ¦  «         n# 1 swxY w Y   �Œ´|                     | /                    ¦   «         d•z   ¦  «         ta          j1        td          d–¬”¦  «        5  t          j        |¦  «         d d d ¦  «         n# 1 swxY w Y   |                     d—¦  «         ta          j1        td          d˜¬”¦  «        5  t          j        |¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )™Nr-   r.   r/   c              3   ó"   •K  — | ]	}‰|z  V — Œ
d S ©Nr@   )r;   rs  r[   s     €r)   ræ   z]test_import_partition_resume_preserves_source_splits_and_excludes_external.<locals>.<genexpr>¾   s'   øè è € ÐSÐS¨d˜H T™MÐSÐSÐSÐSÐSÐSr+   )ÚbaserV  ri  ra  Tr7  c                 ó4   — g | ]}t          d |› �d¦  «        ‘ŒS )Útr1   )r*   rÜ   s     r)   r=   z^test_import_partition_resume_preserves_source_splits_and_excludes_external.<locals>.<listcomp>Á   s(   € Ð;Ð;Ð;¨Q•�w˜1�w�w Ñ(Ô(Ð;Ð;Ð;r+   r_  Úexternalrq   Ún0r   rm  Ún1rN   c                 óf   — g | ].}t          |j        |j        |j        i d ddgi|j        ¦  «        ‘Œ/S r5   r7   r:   s     r)   r=   z^test_import_partition_resume_preserves_source_splits_and_excludes_external.<locals>.<listcomp>Å   sM   € ð $ð $ð $Øõ ˜1œ: q¤z°1´8¸RÀ&È2ÈrÈ(ÐASÐUVÔUiÑjÔjð $ð $ð $r+   c                 ó(   — i | ]}|j         |j        “ŒS r@   )r9   r$   r:   s     r)   r~   z^test_import_partition_resume_preserves_source_splits_and_excludes_external.<locals>.<dictcomp>Ç   s   € Ð;Ð;Ð;¨1�1”:˜qœwÐ;Ð;Ð;r+   c                 ó   •— ‰‰i fS r{  r@   )rA   ÚassignmentsrB   s    €€r)   rC   z\test_import_partition_resume_preserves_source_splits_and_excludes_external.<locals>.<lambda>È   s   ø€ �g˜{¨BÐ/€ r+   r>   zinputs/annotations.jsonlrb  z)inputs/checked_external_annotations.jsonlc                 ób   •‡ — t          j        ‰ t          ˆ fd„‰D ¦   «         ¦  «        ¦  «        S )Nc              3   ó<   •K  — | ]}|j         ‰j         k    ¯|V — Œd S r{  ©r8   )r;   rå   r<   s     €r)   ræ   zotest_import_partition_resume_preserves_source_splits_and_excludes_external.<locals>.<lambda>.<locals>.<genexpr>Î   s3   øè è € Ð8fÐ8f¸qÈqÌzÐ[\Ô[eÒOeÐOe¸ÐOeÐOeÐOeÐOeÐ8fÐ8fr+   )r   Ú_manual_source_entryÚnext)r<   rB   s   `€r)   rC   z\test_import_partition_resume_preserves_source_splits_and_excludes_external.<locals>.<lambda>Î   s2   øø€ •eÔ0°µDÐ8fÐ8fÐ8fÐ8fÀGÐ8fÑ8fÔ8fÑ4fÔ4fÑgÔg€ r+   z#inputs/human_training_manifest.jsonrP   c                 ó2   •— i | ]}|j          ‰|¦  «        “ŒS r@   rˆ  )r;   r<   rM   s     €r)   r~   z^test_import_partition_resume_preserves_source_splits_and_excludes_external.<locals>.<dictcomp>Ï   sE   ø€ ð  YAð  YAð  YAÐqrÐYZÔYcÐdiÐdiÐjkÑdlÔdlð  YAð  YAð  YAr+   z%inputs/human_validation_manifest.jsonúmanual_partition.jsonÚsource_archivesz#inputs/external_review_receipt.jsonÚ	frame_idsz'inputs/reviewed_external_exclusion.json)rŽ  rE   Úreceipt_pathÚreceipt_sha256ztest.zipr  r   r   r   r<  )r8   r9   r$   r   r&   Úsizer=  r>  rP  rQ  rö   r=  rI  rA  rB  r   r   rC  rD  rE  )r8   r&   r9   rh  )r&  r'  rK  rM  r(  rN  r>  rR  rW  r(  rX  rY  c              3   óD   K  — | ]}t          j        |¦  «        d z   V — ŒdS r[  r]  rä   s     r)   ræ   z]test_import_partition_resume_preserves_source_splits_and_excludes_external.<locals>.<genexpr>ê   s/   è è € Ð.QÐ.QÀa­t¬z¸!©}¬}¸TÑ/AÐ.QÐ.QÐ.QÐ.QÐ.QÐ.Qr+   r^  rE   )r]   r`  Úprediction_bindingr  zconfirmation.jsonzreturned corrected subsetz%unchanged accepted and empty negative)Úuser_statementÚ
conventionr3   )r  Ú0unchanged_proposals_accepted_after_manual_reviewÚ'empty_frames_confirmed_negative_by_userrG   Ú use_original_test_for_assistancer-   ri  Úbase_outputÚsource_exportr  Úexpected_new_framesÚallowed_source_splitsÚconfirmation_recordÚconfirmation_record_sha256Úframe_counté   Úall_checked_framesé   re   r¹   rº   r»   rl   r¼   r½   r¾   rp   r¿   rÀ   Ú
new_sourceÚstatus_counts)r   Únegativeró   rÄ   rÆ   rx   )Úsource_outputri  r-   )z-%(py5)s
{%(py5)s = %(py3)s.split
} == %(py8)s)ri   rj   rl   r,  rê   )z1%(py15)s
{%(py15)s = %(py13)s.split
} == %(py18)s)rr   r¸   rt   z%(py20)srý   zassert %(py23)sÚpy23)únot in)z"%(py1)s not in (%(py3)s | %(py4)s)r1   )rw   ri   rÅ   r.  rk   Útrain_groupsÚvalidation_groupszlassert %(py10)s
{%(py10)s = %(py6)s
{%(py6)s = %(py4)s
{%(py4)s = %(py0)s(%(py2)s)
}.isdisjoint
}(%(py8)s)
}r·   ré   )zL%(py5)s
{%(py5)s = %(py2)s
{%(py2)s = %(py0)s.ingest
}(%(py3)s)
} == %(py7)srà   r   Úimported)rg   rh   ri   rj   rk   rá   rm   )z˜%(py7)s
{%(py7)s = %(py2)s
{%(py2)s = %(py0)s.create_manual_validation_partition
}(source_output=%(py3)s, output=%(py4)s, protocol=%(py5)s)
} == %(py9)sr   ri  Ú	partition)rg   rh   ri   rÅ   rj   rk   rm   zassert %(py11)srn   Úinput_bindingrÂ   )ze%(py7)s
{%(py7)s = %(py0)s(%(py5)s
{%(py5)s = %(py3)s
{%(py3)s = %(py1)s.resolve
}()
})
} in %(py10)sÚstrÚconfirmation)rg   rw   ri   rj   rk   rê   rë   rì   )r9   rh  Úbad_z.zipr¡   rN  Úbad_output_)r  ri  z identity mismatchr€   ú zinputs changedz{"convention":"changed"}z review convention record changed)3rU   rV   r   r*   rW   r   rà   r   r   r  r  r   r  r  r8   r9   r$   r   r&   r   rm  rn  rÈ   r  ro  rX   r®  r  r„   r…   r‰   rÉ   rŠ   r‹   Ú"create_manual_validation_partitionÚ_validated_manual_partitionr]   r†   r‡   rˆ   r·   Ú
isdisjointÚresolverl  Únamelistrq  Úreadrr  rŽ   r�   r�   )Gr[   r\   rx  r-   r|  rV  ri  Ú	originalsr  rm  Ú
all_framesÚloadr+  r  Úindexr  r<   rU  r0  r   r¯  r«  r‘   r�   rž   r’   rœ   r”   r•   r–   rŸ   r    r—   r˜   rÐ   rÑ   rË   rÒ   r¬  r^   r1   rq   rA   r  r“   rš   r  r  r  r›   r	  Ú@py_format22Ú@py_format24rÌ   rÍ   r  r  rt  ru  r  r}   Úbad_archiver)  r¡   Úordinalrs  ÚdocumentÚ
bad_configr…  rM   rB   sG   `                                                                   @@@r)   ÚJtest_import_partition_resume_preserves_source_splits_and_excludes_externalrÃ  ¹   só  øøøø€ à˜
Ñ"€HØ‡N‚NÑÔÐØˆoÑ×)Ò)¨$Ñ/Ô/Ð/ØSÐSÐSÐSÐ6RÐSÑSÔSÑ€Dˆ&�&Ø	ˆ(�]×Ò $ÐÑ'Ô'Ð'Ø
‡L‚L�N„N€NØ;Ð;µ%¸±(´(Ð;Ñ;Ô;€IÝ�Z Ñ'Ô'€HÝ��z !”} eÑ,Ô,­e°D¸*ÀQ¼-ÈÑ.OÔ.OÐ
P€CØ˜H˜:Ñ% cÑ)€Jð$ð $Ø"ð$ñ $ô $€Gà;Ð;°
Ð;Ñ;Ô;€KØ/Ð/Ð/Ð/Ð/€DØ×Ò�˜°Ñ5Ô5Ð5Ø×Ò�˜°Ñ5Ô5Ð5Ý�}˜YÑ'Ô'¨Ð.HÑ)HÑIÔIÐIÝ�}˜Y¨ zÑ1Ñ2Ô2°DÐ9_Ñ4_Ñ`Ô`Ð`Ý�}˜h˜ZÑ(Ô(¨$Ð/ZÑ*ZÑ[Ô[Ð[ØgÐgÐgÐg€EØ	Ð
/Ñ/×;Ò;½D¼JÈð  YAð  YAð  YAð  YAÐvð  YAñ  YAô  YAð  HBñ  =Cô  =Cñ  Dô  Dð  DØ	Ð
1Ñ1×=Ò=½d¼jÈ/ÐZ\ÐI]Ñ>^Ô>^Ñ_Ô_Ð_Ø	Ð
!Ñ!×-Ò-­d¬jÐ:KÈBÐ9OÑ.PÔ.PÑQÔQÐQØÐ8Ñ8€GØ×Ò•t”z ;°
¨|Ð"<Ñ=Ô=Ñ>Ô>Ð>Ø	Ð
3Ñ3×?Ò?ÅÄ
ÐYcÐXdÝ% h¨Ñ&>Ñ?Ô?ÐPuÝ$ WÑ-Ô-ðL/ð L/ñ A0ô A0ñ 1ô 1ð 1ð �zÑ!€GØ€EÝ	Œ˜ #Ñ	&Ô	&ð :¨!Øð 	:ñ 	:ˆAØœj°A´JÀqÄwÐXYÔX`Ø()Ô(<ÀRÈÀGØœjÐ.Ð.Ð.¸q¼zÐ<PÐ<PÐ<PðRð RˆCõ ŒI�c˜' #Ñ&Ô&×+Ò+¨F°3°w´<Ñ,?Ñ@Ô@Ð@Ø "°ÀÀGÄÐVbÐcgÐUhØ&.¸KÐSTÐUVÐRWÐY[Ð\^ÐX_ÐQ`ÐaÐaÐbØ34´:ÐSTÔSgØ34´:ÈqÌwð(Xð (XðYð YˆCð �C˜Ô%Ñ%×1Ò1µ$´*¸S±/´/ÑBÔBÐBÝ0;¸FÀ3À|ÔCTÑ<TÑ0UÔ0UˆCÐ,Ñ-Ø")­+°f¸SÀ¼\Ñ6IÑ*JÔ*JÐ!KˆC�ÑØ�LŠL˜ÑÔÐàŒz˜TÒ!Ð!° # h¡-Ø�JŠJ�s˜<Ô(­¬°C©¬Ñ9Ô9Ð9Ñ9ð	:ð:ð :ð :ñ :ô :ð :ð :ð :ð :ð :ð :øøøð :ð :ð :ð :ð" ˆNÑ×&Ò& r§w¢wÐ.QÐ.QÈ5Ð.QÑ.QÔ.QÑ'QÔ'QÑRÔRÐRØÐ#Ñ#×/Ò/µ´
ÀQÕ]hÐioÐp~Ñi~Ñ]Ô]Ø/µ¸HÀ_Ñ<TÑ0UÔ0UÐVð<Xð <Xñ 1Yô 1Yñ Zô Zð Zà�mÑ#€FØÐ/Ñ/€LØ×Ò�DœJÐ9TØ<ð(>ð (>ñ ?ô ?ñ @ô @ð @à
×Ò•d”jÀÐx|Ø26½uÔ?TÐx|Ý�x‘=”=­#¨f©+¬+ÅCÈÁIÄIÕ^aÐbhÑ^iÔ^iÝ�g‘,”,°QÐPUÐV\È~Ý! ,Ñ/Ô/Í[ÐYeÑMfÔMfð	"hð "hñ iô iñ jô jð jõ
 Œ|˜FÑ#Ô#€HØKÐKˆ8�MÔ"ÐK AÐKÐ" AÒ%ÐKÐKÐKÐKÐK¨(Ð3GÔ*HÐKÈ!ÐKÐ*HÈ!Ò*KÐKÐKÐKÐKÑKÕKÔKÐKÐKÐKÐKÐ" AÐKÑKÔKÕKÔKÐ"ÑKÔKÕKÔK AÑKÔKÐKÐKÑKÐKÐKÐKÐKÐKÑKÐKÐK×KÒKÐKÑKÔKÐKÐKÐKÕKÔKÐKÐKÐKÐKÐ*HÈ!ÐKÑKÔKÕKÔKÐ*HÑKÔKÕKÔKÈ!ÑKÔKÐKÐKÑKÐKÐKÐKÐKÐKÑKÐKÐK×KÒKÐKÑKÔKÐKÕKÔKÐKÐKÑKÔKÐKÑKÐKÐKÐKÐKÐKÑKÐKÕKÕKÔKÐKÑKÔKÑKÔKÐKÐKÐKÐKÐKÐKÐKÐKÐKÐKÐKÐKÐKÐKÐKÐKÐKØ�LÔ! /Ô2ÐJ¸1ÈÐ4JÐ4JÐJÐ2Ð4JÒJÐJÐJÐJÕJÔJÐJÐJÐJÐJÐ2Ð4JÐJÑJÔJÕJÔJÐ2ÑJÔJÕJÔJÐ4JÑJÔJÐJÐJÑJÐJÐJÐJÐJÐJÑJÐJÕJÕJÔJÐJÑJÔJÑJÔJÐJÐJÐJÐJÐJÐJÐJÝÔ8ÀvÐV\ÐgoÐpÑpÔp€IÝ$Ô@ÀÈÑRÔRÑ€FˆE�3˜˜1Ø`Ð`ˆ6Œ=˜ÔÐ`ÐÔ$Ð` j°¤mÐ`Ð$ mÒ3Ð`Ð`Ð`Ð`Ð`¸¼ÀdÔ8KÐ`Ð8KÔ8QÐ`ÐS]Ð^_ÔS`Ð`Ð8QÐS`Ò8`Ð`Ð`Ð`Ð`Ñ`Õ`Ô`Ð`Ð`Ð`Ð`Ð$ mÐ`Ñ`Ô`Õ`Ô`ÐÑ`Ô`Õ`Ô`Ð$Ñ`Ô`Õ`Ô` mÑ`Ô`Ð`Ð`Ñ`Ð`Ð`Ð`Ð`Ð`Ñ`Ð`Ð`×`Ò`Ð`Ñ`Ô`Ð`Ð`Ð`Õ`Ô`Ð`Ð`Ð`Ð`Ð8QÐS`Ð`Ñ`Ô`Õ`Ô`Ð8KÑ`Ô`Õ`Ô`Ð8QÑ`Ô`Õ`Ô`ÐS`Ñ`Ô`Ð`Ð`Ñ`Ð`Ð`Ð`Ð`Ð`Ñ`Ð`Ð`×`Ò`Ð`Ñ`Ô`Ð`Õ`Ô`Ð`Ð`Ñ`Ô`Ð`Ñ`Ð`Ð`Ð`Ð`Ð`Ñ`Ð`Õ`Õ`Ô`Ð`Ñ`Ô`Ñ`Ô`Ð`Ð`Ð`Ð`Ð`Ð`Ð`Ð`Ð`Ð`Ð`Ð`Ð`Ð`Ð`Ð`Ð`Ð`Ð`Ð`Ð`ØÐ&˜U 3™YÐ&ˆ:˜YÐ&Ð&Ð&Ð&Õ&Ô&Ð&Ð&Ð&Ð&ˆ:˜YÐ&Ñ&Ô&Õ&Ô&ˆ:Ñ&Ô&Ð&Õ&Ô&Ñ&Ô&Ð&Ð&Õ&Ô&˜UÑ&Ô&Ð&Õ&Ô&˜UÑ&Ô&Ð&Ð&Ð&Õ&Ô&Ñ&Ô&Ð&Ð&Õ&Ô& 3Ñ&Ô&Ð&Õ&Ô& 3Ñ&Ô&Ð&Ð&Ð&Ð&Ñ&Ð&Ð&Ð&Ð&Ð&Ñ&Ð&Õ&Õ&Ô&Ð&Ñ&Ô&Ñ&Ô&Ð&Ð&Ð&Ð&Ð&Ð&Ð&Ø˜Ô(ÐT�3Ð(Ñ)Ô)ÐTÐ)Ô4ÐT°YÐ?RÔ5SÐTÐ4Ð4Ð5SÑTÔTÐTÐTÐTÐTÐTÕTÔTÑTÔTÐTÐTÕTÔT�3ÑTÔTÐTÕTÔT�3ÑTÔTÐTÐTÕTÔTÐ(ÑTÔTÕTÔTÐ)ÑTÔTÕTÔTÐ4ÑTÔTÕTÔTÐ5SÑTÔTÕTÔTÐTÑTÔTÐTÐTÑTÐTÕTÕTÔTÐTÑTÔTÑTÔTÐTÐTÐTÐTÐTÐTÐTÐTÐTÐTÐTÝŒ<Ð)ˆ<ˆ<˜ÑÔÐ)Ð Ò)Ð)Ð)Ñ)Õ)Ô)Ð)Ð)Ð)Ð)Ð Ð)Ñ)Ô)Ð)Õ)Ô)Ñ)Ô)Ð)Ð)Õ)Ô)�5Ñ)Ô)Ð)Õ)Ô)�5Ñ)Ô)Ð)Ð)Õ)Ô)ˆ<Ñ)Ô)Ð)Õ)Ô)Ñ)Ô)Ð)Ð)Õ)Ô)˜Ñ)Ô)Ð)Õ)Ô)˜Ñ)Ô)Ð)Ð)Õ)Ô)ÐÑ)Ô)Ð)Õ)Ô)Ñ)Ô)Ð)Ð)Õ)Ô) Ñ)Ô)Ð)Õ)Ô) Ñ)Ô)Ð)Ð)Ð)Ð)Ñ)Ð)Ð)Ð)Ð)Ð)Ñ)Ð)Õ)Õ)Ô)Ð)Ñ)Ô)Ñ)Ô)Ð)Ð)Ð)Ð)Ð)Ð)Ð)ÝÔ3ÐvÐ3Ð3À&ÐQWÐbjÐkÑkÔkÐvÐkÐmvÒvÐvÐvÑvÕvÔvÐvÐvÐvÐvÐkÐmvÐvÑvÔvÐvÕvÔvÑvÔvÐvÐvÕvÔv�5ÑvÔvÐvÕvÔv�5ÑvÔvÐvÐvÕvÔvÐ3ÑvÔvÐvÕvÔvÑvÔvÐvÐvÕvÔvÀ&ÑvÔvÐvÕvÔvÀ&ÑvÔvÐvÐvÐvÕvÔvÑvÔvÐvÐvÕvÔvÐQWÑvÔvÐvÕvÔvÐQWÑvÔvÐvÐvÐvÕvÔvÑvÔvÐvÐvÕvÔvÐbjÑvÔvÐvÕvÔvÐbjÑvÔvÐvÐvÕvÔvÐkÑvÔvÐvÕvÔvÑvÔvÐvÐvÕvÔvÐmvÑvÔvÐvÕvÔvÐmvÑvÔvÐvÐvÐvÐvÑvÐvÐvÐvÐvÐvÑvÐvÕvÕvÔvÐvÑvÔvÑvÔvÐvÐvÐvÐvÐvÐvÐvØÔ#ÐCÐ#Ð#Ñ%Ô%ÐC�3Ð%Ñ&Ô&ÐC¨(°?Ô*CÐCÐ&Ð*CÐCÐCÐCÑCÕCÔCÐCÐCÐCÐCÐ&Ð*CÐCÑCÔCÐCÕCÔCÑCÔCÐCÐCÕCÔC�3ÑCÔCÐCÕCÔC�3ÑCÔCÐCÐCÐCÕCÔCÑCÔCÐCÐCÕCÔCˆ|ÑCÔCÐCÕCÔCˆ|ÑCÔCÐCÐCÕCÔCÐ#ÑCÔCÕCÔCÐ%ÑCÔCÕCÔCÐ&ÑCÔCÕCÔCÐ*CÑCÔCÐCÐCÑCÐCÐCÐCÐCÐCÑCÐCÕCÕCÔCÐCÑCÔCÑCÔCÐCÐCÐCÐCÐCÐCÐCÐCÐCÐCÐCØ.ð %ñ %ˆØÐ1 eÐ1Ð1Ð1Ñ1ˆÝŒ_˜WÑ%Ô%ð 	<¨µ7´?À;ÈsÑ3SÔ3Sð 	<ÐW^Ý!*¨8×+<Ò+<Ñ+>Ô+>Ñ!?Ô!?ð <ð <‘�˜Ýœ: h§m¢m°DÑ&9Ô&9Ñ:Ô:�Ø˜A’:�:À9˜hÐ':Ô;¸EÑBØ× Ò  ¥d¤j°Ñ&:Ô&:Ñ;Ô;Ð;Ð;ð<ð	<ð 	<ð 	<ñ 	<ô 	<ð 	<ð 	<ð 	<ð 	<ð 	<ð 	<øøøð 	<ð 	<ð 	<ð 	<ð 	<ð 	<ð 	<ñ 	<ô 	<ð 	<ð 	<ð 	<ð 	<ð 	<ð 	<øøøð 	<ð 	<ð 	<ð 	<ð
 Ð1 UÐ1Ð1Ð1Ñ1ˆ
Ø×Ò�dœjð *W­D¬J°v×7GÒ7GÑ7IÔ7IÑ,JÔ,Jð *WÕUXÐYdÑUeÔUeÝ25°hÐ?TÈUÐ?TÐ?TÑ6TÑ2UÔ2Uð*Wð *Wð *Wñ Xô Xñ 	Yô 	Yð 	YåŒ]�:¨uÐ,HÐ,HÐ,HÐIÑIÔIð 	%ð 	%ÝŒL˜Ñ$Ô$Ð$ð	%ð 	%ð 	%ñ 	%ô 	%ð 	%ð 	%ð 	%ð 	%ð 	%ð 	%øøøð 	%ð 	%ð 	%ð 	%ùà
×Ò�f×&Ò&Ñ(Ô(¨Ñ,Ñ-Ô-Ð-Ý	Œ•zÐ)9Ð	:Ñ	:Ô	:ð ð ÝŒ�VÑÔÐðð ð ñ ô ð ð ð ð ð ð øøøð ð ð ð à×ÒÐ6Ñ7Ô7Ð7Ý	Œ•zÐ)KÐ	LÑ	LÔ	Lð ð ÝŒ�VÑÔÐðð ð ñ ô ð ð ð ð ð ð ð øøøð ð ð ð ð ð s¢   Ê=E P*Ð*P.Ð1P.þ7AA9ÿBAA"ÁAAA9ÁA"AA&ÁA&AA9ÁA)AA&ÁA*AA9ÁA9AA=	ÁB AA=	ÁDAD>ÁD>AE	ÁEAE	ÁFAF1ÁF1AF5ÁF8AF5ÁG,AHÁHAHÁHAHc           	      óò  ‡‡‡— |                      t          d| ¦  «         | dz  dz  Š‰dz                       d¬¦  «         | dz                       ¦   «          | dz                       ¦   «          d	D ]}| dz  |z                       d
¦  «         Œ| dz  dz  }|                     d¦  «         | dz                       d¦  «         ‰dz  }|                     d¦  «         t          |¦  «        }ˆfd„} |ddt          ‰dz  ¦  «        ddœ¦  «          |dd|dœ¦  «          |d|dddidœ¦  «          |ddd gd!gd"gd#gd$œ¦  «          |d%d&d'd|d(œ¦  «          |d)dd*d+diid,œ¦  «         ‰d-z                       t          j        d'd.d/d0d1œd2œ¦  «        d3z   ¦  «         | d4z  Š‰                     t          j        d5d5i¦  «        ¦  «         d5dd6d7d8œ}t          j	        Šˆˆfd9„}|                      t          d:|¦  «         |                      t          d;d<„ ¦  «         t          j        t          d=¬>¦  «        5  t          j        ‰|¦  «         d d d ¦  «         n# 1 swxY w Y   t          ‰d?z  ¦  «        }	|                      t          d:‰¦  «         |                      t          d;d@„ ¦  «         t          j        ‰|¦  «        }
|
dA         }dB}||k    }|slt          j        dC|fdD||f¦  «        t          j        |¦  «        t          j        |¦  «        dEœz  }dFdG|iz  }t#          t          j        |¦  «        ¦  «        ‚d x}x}}d?}‰|z  }t          |¦  «        }||	k    }|�s0t          j        dC|fdH||	f¦  «        dIt'          j        ¦   «         v st          j        t
          ¦  «        rt          j        t
          ¦  «        ndIdJt'          j        ¦   «         v st          j        ‰¦  «        rt          j        ‰¦  «        ndJt          j        |¦  «        t          j        |¦  «        dKt'          j        ¦   «         v st          j        |	¦  «        rt          j        |	¦  «        ndKdLœz  }dMdN|iz  }t#          t          j        |¦  «        ¦  «        ‚d x}x}x}}|j        } |¦   «         }d}||k    }|s½t          j        dC|fdO||f¦  «        dPt'          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        ndPt          j        |¦  «        t          j        |¦  «        t          j        |¦  «        dQœz  }dRdS|iz  }t#          t          j        |¦  «        ¦  «        ‚d x}x}x}}d6}| |z  }|j        } |¦   «         }|sždTdUt'          j        ¦   «         v st          j        | ¦  «        rt          j        | ¦  «        ndUt          j        |¦  «        t          j        |¦  «        t          j        |¦  «        dVœz  }t#          t          j        |¦  «        ¦  «        ‚d x}x}x}}dW}d6}| |z  }|j        } |¦   «         }||v }|sÐt          j        dX|fdY||f¦  «        t          j        |¦  «        dUt'          j        ¦   «         v st          j        | ¦  «        rt          j        | ¦  «        ndUt          j        |¦  «        t          j        |¦  «        t          j        |¦  «        dZœz  }d[d\|iz  }t#          t          j        |¦  «        ¦  «        ‚d x}x}x}x}x}}t          j        ‰                     ¦   «         ¦  «        d]         }t          ‰¦  «        }||k    }|sòt          j        dC|fd^||f¦  «        t          j        |¦  «        d_t'          j        ¦   «         v st          j        t          ¦  «        rt          j        t          ¦  «        nd_dJt'          j        ¦   «         v st          j        ‰¦  «        rt          j        ‰¦  «        ndJt          j        |¦  «        d`œz  }dadb|iz  }t#          t          j        |¦  «        ¦  «        ‚d x}x}}d}dc}| |z  }|j        } |¦   «         }||v }|sÐt          j        dX|fdY||f¦  «        t          j        |¦  «        dUt'          j        ¦   «         v st          j        | ¦  «        rt          j        | ¦  «        ndUt          j        |¦  «        t          j        |¦  «        t          j        |¦  «        dZœz  }d[d\|iz  }t#          t          j        |¦  «        ¦  «        ‚d x}x}x}x}x}}d S )dNÚROOTÚoutputsÚ	new_roundra   Tr7  ÚconfigsÚdocs)ztraining_log.mdzdebug_log.mdzchange_log.mdzsession_summary.mdz
# History
zhuman_correction_7086_report.mdzPrior completed roundz	README.mdz
# Project
ztraining/best.pts   unit-test-checkpointc                 ó`   •— ‰| z  }|                      t          j        |¦  «        ¦  «         d S r{  )rV   r  r  )rs  Úvaluer_   ri  s      €r)   ÚwritezVtest_delivery_resumes_after_manifest_publication_and_keeps_prior_report.<locals>.write#  s.   ø€ Ø�D‰[ˆØ�Š�œ
 5Ñ)Ô)Ñ*Ô*Ð*Ð*Ð*r+   zmixed_package_audit.jsonrN   z	mixed.zipr  )r]   r  Úarchive_sha256ztraining/completed.json)Úcompleted_epochsÚbest_checkpoint_sha256zconfidence_threshold.jsongffffffæ?Úrecallg¸…ëQ¸î?)Úcheckpoint_sha256Úselected_confidenceÚselected_validation_metricsrŒ  r   rÚ   rÛ   ÚgaÚgb)Úexpected_manual_framesÚtrain_frame_idsrS   r©  rª  zprediction_manifest.jsonÚcompleter   )ÚstateÚerrorsÚcompleted_framesrÑ  zmerge_summary.jsonÚsource_splitsrq   )r¡  r£  ztraining/metrics.jsonlg®Gáz®ï?gffffffî?gÍÌÌÌÌÌì?)ÚAP50ÚAP75ÚAP50_95)Úepochrb   r\  zconfigs/active_dataset.jsonr-   zdocs/new_report.mdz$docs/human_correction_7086_report.md)r-   r›  Úreport_pathÚprevious_reportc                 óF   •— | ‰k    rt          d¦  «        ‚ ‰| |¦  «        S )Nú"simulated publication interruption)ÚRuntimeError)r_   rË  ÚcontrolÚoriginal_writes     €€r)   Ú	interruptzZtest_delivery_resumes_after_manifest_publication_and_keeps_prior_report.<locals>.interrupt6  s,   ø€ Ø�Š=ˆ=�|Ð,PÑQÔQÐQØˆ~˜d 5Ñ)Ô)Ð)r+   Ú
write_jsonÚnowc                  ó   — dS )Núfirst-completion-timer@   r@   r+   r)   rC   zYtest_delivery_resumes_after_manifest_publication_and_keeps_prior_report.<locals>.<lambda>:  s   € Ð+B€ r+   rä  r€   zdelivery_manifest.jsonc                  ó   — dS )Nzlater-resume-timer@   r@   r+   r)   rC   zYtest_delivery_resumes_after_manifest_publication_and_keeps_prior_report.<locals>.<lambda>?  s   € Ð+>€ r+   Úcompleted_atrì  re   ró   rÄ   rÆ   rx   )z<%(py6)s
{%(py6)s = %(py0)s((%(py1)s / %(py3)s))
} == %(py8)sr   ri  Úinitial_digest)rg   rw   ri   rx   rl   zassert %(py10)srê   )zH%(py4)s
{%(py4)s = %(py2)s
{%(py2)s = %(py0)s.read_text
}()
} == %(py7)sÚprior_report)rg   rh   rÅ   rk   rá   rm   zMassert %(py7)s
{%(py7)s = %(py5)s
{%(py5)s = (%(py0)s / %(py2)s).exists
}()
}r[   )rg   rh   rj   rk   z
{'val': 1}rÂ   )zV%(py1)s in %(py10)s
{%(py10)s = %(py8)s
{%(py8)s = (%(py3)s / %(py5)s).read_text
}()
})rw   ri   rj   rl   rê   rë   rì   Úhuman_training)z0%(py1)s == %(py6)s
{%(py6)s = %(py3)s(%(py4)s)
}r®  )rw   ri   rÅ   rx   ry   rl   z&docs/human_correction_latest_report.md)rW   rà   rU   rV   Úwrite_bytesr   r®  r  r  ré  rŽ   r�   rå  Údeliverr„   r…   r‰   rŠ   r‹   r†   r‡   rˆ   rr  Úexistsrq  )r[   r\   rs  rð  Ú
checkpointÚdigestrÌ  r   rè  rï  rj  rœ   rË   r�   rÒ   rŸ   r’   rž   r  r    r  r‘   r“   rÍ   r  r  r  ræ  rç  ri  s                              @@@r)   ÚGtest_delivery_resumes_after_manifest_publication_and_keeps_prior_reportr÷    s˜  øøø€ Ø×Ò�˜f XÑ.Ô.Ð.Ø�IÑ˜kÑ)€FØˆJÑ×Ò dÐÑ+Ô+Ð+ØˆiÑ×ÒÑ Ô Ð Øˆf�_×ÒÑÔÐØWð 9ð 9ˆØ	�&‰˜Ñ	×)Ò)¨-Ñ8Ô8Ð8Ð8Ø˜&‘Ð!BÑB€LØ×ÒÐ3Ñ4Ô4Ð4ØˆkÑ×%Ò% mÑ4Ô4Ð4ØÐ(Ñ(€JØ×ÒÐ2Ñ3Ô3Ð3Ý�zÑ"Ô"€Fð+ð +ð +ð +ð +ð 
€EÐ
$¨q½3¸vÀkÑ?QÑ;RÔ;RÐdmÐ%nÐ%nÑoÔoÐoØ	€EÐ
#¸ÐSYÐ$ZÐ$ZÑ[Ô[Ð[Ø	€EÐ
%¸6ÐXZØ'/° nð'6ð '6ñ 7ô 7ð 7à	€EÐ
!¸AÐQTÐPUØ #˜u°T°FÐPTÈvð#Wð #Wñ Xô Xð Xà	€EÐ
$¨jÀ!ÐWXØ"ð&$ð &$ñ %ô %ð %à	€EÐ
°QÀ_ÐV[Ð\]ÐU^ÐD_Ð`Ð`ÑaÔaÐaØÐ$Ñ$×0Ò0µ´ÀQØ˜#¨ðU-ð U-ð =.ð =.ñ 2/ô 2/Ø/3ñ24ñ 5ô 5ð 5àÐ2Ñ2€GØ×Ò•t”z :¨jÐ"9Ñ:Ô:Ñ;Ô;Ð;Ø!¸ÐH\Ø@ðBð B€FåÔ#€Nð*ð *ð *ð *ð *ð *ð ×Ò�˜l¨9Ñ5Ô5Ð5Ø×Ò�˜eÐ$BÐ$BÑCÔCÐCÝ	Œ•|Ð*NÐ	OÑ	OÔ	Oð %ð %ÝŒ�f˜VÑ$Ô$Ð$ð%ð %ð %ñ %ô %ð %ð %ð %ð %ð %ð %øøøð %ð %ð %ð %å˜vÐ&>Ñ>Ñ?Ô?€NØ×Ò�˜l¨>Ñ:Ô:Ð:Ø×Ò�˜eÐ$>Ð$>Ñ?Ô?Ð?ÝŒ=˜ Ñ'Ô'€FØ�.Ô!Ð:Ð#:Ð:Ð!Ð#:Ò:Ð:Ð:Ð:Õ:Ô:Ð:Ð:Ð:Ð:Ð!Ð#:Ð:Ñ:Ô:Õ:Ô:Ð!Ñ:Ô:Õ:Ô:Ð#:Ñ:Ô:Ð:Ð:Ñ:Ð:Ð:Ð:Ð:Ð:Ñ:Ð:Õ:Õ:Ô:Ð:Ñ:Ô:Ñ:Ô:Ð:Ð:Ð:Ð:Ð:Ð:Ð:Ø6ÐG�vÐ6Ñ6ÐG�;Ð6Ñ7Ô7ÐGÐ7¸ÒGÐGÐGÑGÕGÔGÐGÐGÐGÐGÐ7¸ÐGÑGÔGÐGÕGÔGÑGÔGÐGÐGÕGÔG�;ÑGÔGÐGÕGÔG�;ÑGÔGÐGÐGÐGÕGÔGÑGÔGÐGÐGÕGÔG�vÑGÔGÐGÕGÔG�vÑGÔGÐGÐGÕGÔGÐ6ÑGÔGÕGÔGÐ7ÑGÔGÐGÕGÔGÑGÔGÐGÐGÕGÔG¸ÑGÔGÐGÕGÔG¸ÑGÔGÐGÐGÐGÐGÑGÐGÐGÐGÐGÐGÑGÐGÕGÕGÔGÐGÑGÔGÑGÔGÐGÐGÐGÐGÐGÐGÐGÐGÐGØÔ!Ð<Ð!Ð!Ñ#Ô#Ð<Ð%<Ð<Ð#Ð%<Ò<Ð<Ð<Ð<Õ<Ô<Ð<Ð<Ð<Ð<Ð#Ð%<Ð<Ñ<Ô<Ð<Õ<Ô<Ñ<Ô<Ð<Ð<Õ<Ô<ˆ<Ñ<Ô<Ð<Õ<Ô<ˆ<Ñ<Ô<Ð<Ð<Õ<Ô<Ð!Ñ<Ô<Õ<Ô<Ð#Ñ<Ô<Õ<Ô<Ð%<Ñ<Ô<Ð<Ð<Ñ<Ð<Ð<Ð<Ð<Ð<Ñ<Ð<Õ<Õ<Ô<Ð<Ñ<Ô<Ñ<Ô<Ð<Ð<Ð<Ð<Ð<Ð<Ð<Ð<Ð<Ø)Ð3ˆHÐ)Ñ)Ð3Ð)Ô1Ð3Ð1Ð1Ñ3Ô3Ð3Ð3Ð3Ð3Ð3Õ3Ô3Ñ3Ô3Ð3Ð3Õ3Ô3ˆHÑ3Ô3Ð3Õ3Ô3ˆHÑ3Ô3Ð3Ð3Õ3Ô3Ð)Ñ3Ô3Õ3Ô3Ð1Ñ3Ô3Õ3Ô3Ð3Ñ3Ô3Ð3Ð3Ñ3Ð3Õ3Õ3Ô3Ð3Ñ3Ô3Ñ3Ô3Ð3Ð3Ð3Ð3Ð3Ð3Ð3Ð3Ð3ØÐFÐ%9ÐF˜HÐ%9Ñ9ÐFÐ9ÔDÐFÐDÐDÑFÔFÐFˆ<ÐFÐFÐFÐFÐFÕFÔFÐFÐFÐFÐFˆ<ÐFÐFÑFÔFÕFÔFˆ<ÑFÔFÐFÕFÔFÑFÔFÐFÐFÕFÔF˜HÑFÔFÐFÕFÔF˜HÑFÔFÐFÐFÕFÔFÐ%9ÑFÔFÕFÔFÐDÑFÔFÕFÔFÐFÑFÔFÐFÐFÑFÐFÐFÐFÐFÐFÑFÐFÕFÕFÔFÐFÑFÔFÑFÔFÐFÐFÐFÐFÐFÐFÐFÐFÐFÐFÐFÐFÐFÝŒ:�g×'Ò'Ñ)Ô)Ñ*Ô*Ð+;Ô<ÐI½cÀ&¹k¼kÐIÐ<¸kÒIÐIÐIÐIÕIÔIÐIÐIÐIÐIÐ<¸kÐIÑIÔIÕIÔIÐ<ÑIÔIÐIÕIÔIÑIÔIÐIÐIÕIÔI½cÑIÔIÐIÕIÔI½cÑIÔIÐIÐIÐIÕIÔIÑIÔIÐIÐIÕIÔIÀ&ÑIÔIÐIÕIÔIÀ&ÑIÔIÐIÐIÕIÔI¸kÑIÔIÐIÐIÑIÐIÐIÐIÐIÐIÑIÐIÕIÕIÔIÐIÑIÔIÑIÔIÐIÐIÐIÐIÐIÐIÐIØ,ÐoÐ:bÐo°Ð:bÑ1bÐoÐ1bÔ0mÐoÐ0mÐ0mÑ0oÔ0oÐoÐ,Ð0oÐoÐoÐoÐoÕoÔoÐoÐoÐoÐoÐ,Ð0oÐoÑoÔoÕoÔoÐ,ÑoÔoÐoÕoÔoÑoÔoÐoÐoÕoÔo°ÑoÔoÐoÕoÔo°ÑoÔoÐoÐoÕoÔoÐ:bÑoÔoÕoÔoÐ0mÑoÔoÕoÔoÐ0oÑoÔoÐoÐoÑoÐoÐoÐoÐoÐoÑoÐoÕoÕoÔoÐoÑoÔoÑoÔoÐoÐoÐoÐoÐoÐoÐoÐoÐoÐoÐoÐoÐoÐoÐos   È<IÉI"É%I")r   )7Úbuiltinsr†   Ú_pytest.assertion.rewriteÚ	assertionÚrewriter„   Úcollectionsr   Údataclassesr   r  Úpathlibr   Útypesr   r  rŽ   ÚPILr   Úpallet.annotationr   r	   r
   r   r   r   r   Úpallet.data.loaderr   Úpallet.data.manifestr   Úpallet.data.protocolr   Úpallet.experiments.datasetr   Úpallet.human_labelingÚhuman_labelingr   Úpallet.mixed_manual_assistantÚmixed_manual_assistantrà   r*   rc   r¢   r­   rÓ   r  r  r!  r3  rw  ÚmarkÚparametrizerÃ  r÷  r@   r+   r)   ú<module>r     s^  ðØ  € € € € € € € € € € € € Ð Ð Ð Ð Ð Ð Ø Ð Ð Ð Ð Ð Ø €€€Ø Ð Ð Ð Ð Ð Ø !Ð !Ð !Ð !Ð !Ð !Ø €€€à €€€Ø Ð Ð Ð Ð Ð ð>ð >ð >ð >ð >ð >ð >ð >ð >ð >ð >ð >ð >ð >ð >ð >ð >ð >à 1Ð 1Ð 1Ð 1Ð 1Ð 1Ø ,Ð ,Ð ,Ð ,Ð ,Ð ,Ø ,Ð ,Ð ,Ð ,Ð ,Ð ,Ø 4Ð 4Ð 4Ð 4Ð 4Ð 4Ø %Ð %Ð %Ð %Ð %Ð %Ø -Ð -Ð -Ð -Ð -Ð -ðQð Qð Qð Qð;ð ;ð ;ð2_ð _ð _ð"Xð Xð Xð	;ð 	;ð 	;ð
Sð 
Sð 
Sð_ð _ð _ðð ð ð:ð :ð :ð)>ð )>ð )>ðX „×Ò˜Ð(8¸/Ð'JÑKÔKðXð Xñ LÔKðXðv2pð 2pð 2pð 2pð 2pr+   