§
    7˜¿j÷L  ã            
       óš  — d dl Zd dlmc mZ d dlmZ d dlZd dl	Z	d dl
Z
d dlmZ d dlmZmZmZmZmZmZ d dlmZ d dlmZ d dlmZ d dlmZ d dlmZ d#dddœd„Zd„ Z e
j!         "                    dddddgddggdœddddgddggdœdd e#d¦  «        dgddggdœg¦  «        d„ ¦   «         Z$d„ Z%d„ Z&d„ Z'd„ Z(d„ Z)d„ Z*d„ Z+d „ Z,d!„ Z-d"„ Z.dS )$é    N)Úasdict©ÚImage)ÚAnnotationSetÚBoxÚFrameAnnotationÚ
ProvenanceÚannotation_digestÚ
save_jsonl©ÚFrameRecord)Úfile_digest)ÚPalletDataset)ÚNormalizationStatsÚfÚtrainÚpos)ÚboxesÚstatusc                ó¤   — t          | d| › �ddd|t          |�|nt          dddd¦  «        g¦  «        |d	| › �t          d
d¬¦  «        g¬¦
  «
        S )Nzg-z
native.pcdé    é   é   é   é   é   úsource-ÚhumanÚuser_confirmed_archive_import©Úactor)r   r   ÚsplitÚsource_anchor_hashÚ
provenance)r   Úlistr   r	   )Úframe_idr"   r   r   s       úF/root/private/project/pallet_detection_v2/tests/test_human_labeling.pyÚ_framer(      sw   € Ý˜8 _¨( _ _°lÀBÈØ�T¨5Ð+< % %Å3ÀqÈ!ÈRÐQSÑCTÔCTÐBUÑVÔVØÐ(<°(Ð(<Ð(<Ý˜wÐ.MÐNÑNÔNÐOðQñ Qô Qð Qó    c                  ó  — t          j        dddddgddggdœddddgddgddgddggdœgid	d
¦  «        } t          dddd¦  «        t          dddd¦  «        g}| |k    }|s—t          j        d|fd| |f¦  «        dt          j        ¦   «         v st          j        | ¦  «        rt          j        | ¦  «        ndt          j        |¦  «        dœz  }dd|iz  }t          t          j
        |¦  «        ¦  «        ‚d x}}t           j        }dg i}d	}d
} ||||¦  «        }g }	||	k    }
|
�s t          j        d|
fd||	f¦  «        dt          j        ¦   «         v st          j        t           ¦  «        rt          j        t           ¦  «        ndt          j        |¦  «        t          j        |¦  «        t          j        |¦  «        t          j        |¦  «        t          j        |¦  «        t          j        |	¦  «        dœz  }dd|iz  }t          t          j
        |¦  «        ¦  «        ‚d x}x}x}x}x}x}
}	t          j        t          d¬¦  «        5  t          j        dddddgddggdœgid	d
¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )NÚshapesÚpalletÚ	rectangleé   é   r   r   ©ÚlabelÚ
shape_typeÚpointsr   r   r   r   ©ú==)z%(py0)s == %(py3)sÚresult)Úpy0Úpy3zassert %(py5)sÚpy5)zm%(py10)s
{%(py10)s = %(py2)s
{%(py2)s = %(py0)s._decode_rectangles
}(%(py4)s, %(py6)s, %(py8)s)
} == %(py13)sr   )r7   Úpy2Úpy4Úpy6Úpy8Úpy10Úpy13zassert %(py15)sÚpy15zoutside image©Úmatché   é!   é   )r   Ú_decode_rectanglesr   Ú
@pytest_arÚ_call_reprcompareÚ@py_builtinsÚlocalsÚ_should_repr_global_nameÚ	_safereprÚAssertionErrorÚ_format_explanationÚpytestÚraisesÚ
ValueError)r6   Ú@py_assert2Ú@py_assert1Ú@py_format4Ú@py_format6Ú@py_assert3Ú@py_assert5Ú@py_assert7Ú@py_assert9Ú@py_assert12Ú@py_assert11Ú@py_format14Ú@py_format16s                r'   ÚCtest_anylabeling_rectangles_normalize_corner_order_and_check_boundsr^      sp  € ÝÔ% xØ¨+À2ÀrÀ(ÈQÐPQÈFÐASÐTÐTØ¨+À1ÀaÀ&È2ÈqÈ'ÐTVÐXZÐS[Ð^_ÐacÐ]dÐAeÐfÐfð2hð 'iàjlÐnpñrô r€Fõ ˜!˜Q  BÑ'Ô'­¨Q°°2°rÑ):Ô):Ð;Ð;ˆ6Ð;Ò;Ð;Ð;Ð;Õ;Ô;Ð;Ð;Ð;Ð;ˆ6Ð;Ð;Ñ;Ô;Ð;Õ;Ô;Ñ;Ô;Ð;Ð;Õ;Ô;ˆ6Ñ;Ô;Ð;Õ;Ô;ˆ6Ñ;Ô;Ð;Ð;Õ;Ô;Ð;Ñ;Ô;Ð;Ð;Ñ;Ð;Ð;Ð;Ð;Ð;Ñ;Ð;Õ;Õ;Ô;Ð;Ñ;Ô;Ñ;Ô;Ð;Ð;Ð;Ð;Ð;ÝÔ#ÐA X¨r NÐA°BÐA¸ÐAÐ#Ð# N°B¸Ñ;Ô;ÐA¸rÐAÐ;¸rÒAÐAÐAÑAÕAÔAÐAÐAÐAÐAÐ;¸rÐAÑAÔAÐAÕAÔAÑAÔAÐAÐAÕAÔA�5ÑAÔAÐAÕAÔA�5ÑAÔAÐAÐAÕAÔAÐ#ÑAÔAÕAÔA NÑAÔAÕAÔA°BÑAÔAÕAÔA¸ÑAÔAÕAÔAÐ;ÑAÔAÕAÔA¸rÑAÔAÐAÐAÑAÐAÐAÐAÐAÐAÑAÐAÕAÕAÔAÐAÑAÔAÑAÔAÐAÐAÐAÐAÐAÐAÐAÐAÐAÐAÐAÐAÐAÐAÐAÝ	Œ•z¨Ð	9Ñ	9Ô	9ð 6ð 6ÝÔ  (°xÈ{Ø˜A�w  R Ð)ð.+ð .+ð -,ð "-Ø.0°"ñ	6ô 	6ð 	6ð6ð 6ð 6ñ 6ô 6ð 6ð 6ð 6ð 6ð 6ð 6ð 6øøøð 6ð 6ð 6ð 6ð 6ð 6s   É$JÊJÊ	JÚshapeÚforkliftr-   é   é
   r0   r,   ÚpolygonÚnanc                 óœ   — t          j        t          ¦  «        5  t          j        d| gidd¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )Nr+   r   r   )rO   rP   rQ   r   rF   )r_   s    r'   Ú:test_import_rejects_wrong_class_shape_and_nonfinite_pointsrf   "   s”   € õ 
Œ•zÑ	"Ô	"ð >ð >ÝÔ  (¨U¨GÐ!4°b¸"Ñ=Ô=Ð=ð>ð >ð >ñ >ô >ð >ð >ð >ð >ð >ð >ð >øøøð >ð >ð >ð >ð >ð >s   šAÁAÁAc                 óx  ‡— | dz  }|                      ¦   «          |dz                       d¦  «         t          dddi ddd	gid
¦  «        gŠ|                     t          dˆfd„¦  «         | dz  }t          t          ¦   «         g¦  «        }t          ||¦  «         dd
ddt          |j	        d         ¦  «        dœ}dt          |dz  ¦  «        t          |¦  «        dgdd|idœ}| dz  }|                     t          j        |¦  «        ¦  «         t          j        } |||||¦  «        }	dh}
t          |
¦  «        }|	|k    }|�st          j        d|fd|	|f¦  «        dt#          j        ¦   «         v st          j        t          ¦  «        rt          j        t          ¦  «        ndt          j        |¦  «        dt#          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        nddt#          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        nddt#          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        nddt#          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        ndt          j        |	¦  «        dt#          j        ¦   «         v st          j        t          ¦  «        rt          j        t          ¦  «        ndt          j        |
¦  «        t          j        |¦  «        dœ
z  }dd|iz  }t+          t          j        |¦  «        ¦  «        ‚d x}x}	x}x}
}d|d <   t/          j        t2          d!¬"¦  «        5  t	          j        ||||¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )#NÚprotocolúprotocol.jsonú{}r   úg-fÚallÚgridr   r   úsource-fÚload_protocolc                 ó   •— ‰ddii fS )Nrk   r   © ©ÚpathÚrecordss    €r'   ú<lambda>zPtest_human_training_manifest_accepts_only_bound_train_snapshot.<locals>.<lambda>1   s   ø€ ¸gÈÈwÐGWÐY[Ð=\€ r)   úannotations.jsonlr   r   ©Úgroup_idr#   r"   r   r
   Ú.explicit_user_confirmed_manual_training_labelsra   ©ÚkindÚprotocol_sha256Úannotation_snapshot_sha256Útraining_frame_idsÚtraining_framesÚsource_frameszhuman_training_manifest.jsonr4   )z£%(py8)s
{%(py8)s = %(py2)s
{%(py2)s = %(py0)s.validate_human_training_manifest
}(%(py3)s, %(py4)s, %(py5)s, %(py6)s)
} == %(py14)s
{%(py14)s = %(py10)s(%(py12)s)
}r   Úmanifest_pathÚmanifestÚlabelsÚ	frozenset)
r7   r:   r8   r;   r9   r<   r=   r>   Úpy12Úpy14zassert %(py16)sÚpy16Úotherr#   úidentity/label mismatchrA   )ÚmkdirÚ
write_textr   Úsetattrr   r   r(   r   r
   Úframesr   ÚjsonÚdumpsÚ validate_human_training_manifestr„   rG   rH   rI   rJ   rK   rL   rM   rN   rO   rP   rQ   )Útmp_pathÚmonkeypatchrh   Úlabels_pathrƒ   Úentryr‚   r�   rS   rX   r[   Ú@py_assert13rY   Ú@py_format15Ú@py_format17rt   s                  @r'   Ú>test_human_training_manifest_accepts_only_bound_train_snapshotr˜   ,   sH  ø€ Ø˜
Ñ"€HØ‡N‚NÑÔÐØˆoÑ×)Ò)¨$Ñ/Ô/Ð/Ý˜3  u¨b°6¸BÀ¸8Ð2DÀjÑQÔQÐR€GØ×Ò�˜Ð0\Ð0\Ð0\Ð0\Ñ]Ô]Ð]ØÐ.Ñ.€KÝ�F™HœH˜:Ñ&Ô&€FÝˆv�{Ñ#Ô#Ð#Ø°jÈ7ØÕ.?ÀÄÈcÔ@RÑ.SÔ.SðUð U€EàHÝ& x°Ñ'?Ñ@Ô@Ý&1°+Ñ&>Ô&>Ø"˜e¸ÈSÐRWÈLðZð Z€Hð Ð;Ñ;€MØ×Ò�TœZ¨Ñ1Ô1Ñ2Ô2Ð2ÝÔ1ÐpÐ1Ð1°-ÀÈ6ÐS[Ñ\Ô\ÐpÐknÐjoÐpÕ`iÐjoÑ`pÔ`pÐpÐ\Ð`pÒpÐpÐpÑpÕpÔpÐpÐpÐpÐpÐ\Ð`pÐpÑpÔpÐpÕpÔpÑpÔpÐpÐpÕpÔp�5ÑpÔpÐpÕpÔp�5ÑpÔpÐpÐpÕpÔpÐ1ÑpÔpÐpÕpÔpÑpÔpÐpÐpÕpÔp°-ÑpÔpÐpÕpÔp°-ÑpÔpÐpÐpÐpÕpÔpÑpÔpÐpÐpÕpÔpÀÑpÔpÐpÕpÔpÀÑpÔpÐpÐpÐpÕpÔpÑpÔpÐpÐpÕpÔpÈ6ÑpÔpÐpÕpÔpÈ6ÑpÔpÐpÐpÐpÕpÔpÑpÔpÐpÐpÕpÔpÐS[ÑpÔpÐpÕpÔpÐS[ÑpÔpÐpÐpÕpÔpÐ\ÑpÔpÐpÕpÔpÑpÔpÐpÐpÕpÔpÕ`iÑpÔpÐpÕpÔpÕ`iÑpÔpÐpÐpÕpÔpÐjoÑpÔpÕpÔpÐ`pÑpÔpÐpÐpÑpÐpÐpÐpÐpÐpÑpÐpÕpÕpÔpÐpÑpÔpÑpÔpÐpÐpÐpÐpÐpÐpÐpÐpÐpÐpÐpØ")€EÐ
ÑÝ	Œ•zÐ)BÐ	CÑ	CÔ	Cð Zð ZÝÔ.¨}¸hÈÐPXÑYÔYÐYðZð Zð Zñ Zô Zð Zð Zð Zð Zð Zð Zð Zøøøð Zð Zð Zð Zð Zð Zs   Î
N/Î/N3Î6N3c                 óX  ‡— | dz  }|                      ¦   «          |dz                       d¦  «         t          d¬¦  «        }t          dddi d	d
dgid¦  «        gŠ|                     t
          dˆfd„¦  «         | dz  }t          |g¦  «        }t          ||¦  «         dt          |dz  ¦  «        t          |¦  «        dgddddddt          |¦  «        dœidœ}t          j        t          d¬¦  «        5  t          j        | dz  |||¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )Nrh   ri   rj   Úval©r"   r   rk   rl   rm   r   r   rn   ro   c                 ó   •— ‰ddii fS )Nrk   rš   rq   rr   s    €r'   ru   zGtest_human_training_manifest_cannot_attest_val_labels.<locals>.<lambda>I   s   ø€ ¸gÈÈuÀ~ÐWYÐ=Z€ r)   rv   ry   ra   r   r   rw   rz   r‰   rA   z
human.json)rŠ   r‹   r(   r   rŒ   r   r   r   r   r
   rO   rP   rQ   r�   )r‘   r’   rh   Úframer“   rƒ   r‚   rt   s          @r'   Ú5test_human_training_manifest_cannot_attest_val_labelsrž   C   sÀ  ø€ Ø˜
Ñ"€HØ‡N‚NÑÔÐØˆoÑ×)Ò)¨$Ñ/Ô/Ð/Ý˜ÐÑÔ€EÝ˜3  u¨b°6¸BÀ¸8Ð2DÀjÑQÔQÐR€GØ×Ò�˜Ð0ZÐ0ZÐ0ZÐ0ZÑ[Ô[Ð[ØÐ.Ñ.€KÝ˜E˜7Ñ#Ô#€FÝˆv�{Ñ#Ô#Ð#ØHÝ& x°Ñ'?Ñ@Ô@Ý&1°+Ñ&>Ô&>Ø"˜e¸Ø¨EÈØ¨ÕDUÐV[ÑD\ÔD\ð ^ð  ^ð _ð	`ð `€Hõ 
Œ•zÐ)BÐ	CÑ	CÔ	Cð bð bÝÔ.¨x¸Ñ/DÀhÐPVÐX`ÑaÔaÐaðbð bð bñ bô bð bð bð bð bð bð bð bøøøð bð bð bð bð bð bs   Ã7DÄD#Ä&D#c            	      óÔ  — t          t          ¦   «         t          dd¬¦  «        g¦  «        } t          dddi ddd	gid
¦  «        }t          dddi ddd	gid¦  «        }t          ||g| t	          dd¦  «        ddh¬¦  «        }d„ |j        D ¦   «         }dg}||k    }|slt          j        d|fd||f¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }dd|iz  }t          t          j
        |¦  «        ¦  «        ‚d x}x}}t          j        t          d¬¦  «        5  t          |g| t	          dd¦  «        ddh¬¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )NÚvrš   r›   r   rk   rl   rm   r   r   rn   zg-vzsource-vra   T)Úrequire_reviewÚmanual_training_idsc                 ó"   — g | ]\  }}|j         ‘ŒS rq   ©r&   ©Ú.0Ú_r�   s      r'   ú
<listcomp>zWtest_dataset_uses_explicit_manual_train_eligibility_but_not_for_val.<locals>.<listcomp>]   s   € Ð8Ð8Ð8™x˜q %ˆEŒNÐ8Ð8Ð8r)   r4   ©z%(py1)s == %(py4)s©Úpy1r;   úassert %(py6)sr<   znon-train framerA   ©r   r(   r   r   r   ÚrowsrG   rH   rL   rM   rN   rO   rP   rQ   )	rƒ   r   rš   ÚdatasetÚ@py_assert0rV   rR   Ú@py_format5Ú@py_format7s	            r'   ÚCtest_dataset_uses_explicit_manual_train_eligibility_but_not_for_valr³   W   s  € Ý�F™HœH¥f¨S¸Ð&>Ñ&>Ô&>Ð?Ñ@Ô@€FÝ˜˜U E¨2°¸¸R¸Ð/AÀ:ÑNÔN€EÝ
�c˜5 %¨¨f°r¸2°hÐ-?ÀÑ
LÔ
L€CÝ˜U C˜L¨&Õ2DÀQÈÑ2JÔ2JØ+/ÀcÀUðLñ Lô L€Gà8Ð8¨7¬<Ð8Ñ8Ô8ÐA¸S¸EÐAÐ8¸EÒAÐAÐAÐAÕAÔAÐAÐAÐAÐAÐ8¸EÐAÑAÔAÕAÔAÐ8ÑAÔAÕAÔA¸EÑAÔAÐAÐAÑAÐAÐAÐAÐAÐAÑAÐAÕAÕAÔAÐAÑAÔAÑAÔAÐAÐAÐAÐAÐAÐAÐAÝ	Œ•zÐ):Ð	;Ñ	;Ô	;ð Fð FÝ�s�e˜VÕ%7¸¸1Ñ%=Ô%=Ø%)À¸uð	Fñ 	Fô 	Fð 	FðFð Fð Fñ Fô Fð Fð Fð Fð Fð Fð Fð Føøøð Fð Fð Fð Fð Fð Fs   Ä+%EÅE!Å$E!c            	      óB  — t          t          d¦  «        t          d¦  «        g¦  «        } t          dddi dddgid¦  «        }t          dd	di dddgid
¦  «        }t          |g| t	          dd¦  «        ddhdhd¬¦  «        }t          |g| t	          dd¦  «        ddhdhd¬¦  «        }d„ |j        D ¦   «         }dg}||k    }|slt          j        d|fd||f¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }dd|iz  }	t          t          j
        |	¦  «        ¦  «        ‚d x}x}}d„ |j        D ¦   «         }dg}||k    }|slt          j        d|fd||f¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }dd|iz  }	t          t          j
        |	¦  «        ¦  «        ‚d x}x}}t          j        t          d¬¦  «        5  t          |g| t	          dd¦  «        ddhd¬¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )NÚtrÚvazg-trrl   rm   r   r   z	source-trzg-vaz	source-vara   Tr   )r¡   r¢   Úmanual_validation_idsÚmanual_rolerš   c                 ó"   — g | ]\  }}|j         ‘ŒS rq   r¤   r¥   s      r'   r¨   zUtest_manual_validation_dataset_is_allowed_only_in_validation_role.<locals>.<listcomp>m   s   € Ð9Ð9Ð9™x˜q %ˆEŒNÐ9Ð9Ð9r)   r4   r©   rª   r¬   r<   c                 ó"   — g | ]\  }}|j         ‘ŒS rq   r¤   r¥   s      r'   r¨   zUtest_manual_validation_dataset_is_allowed_only_in_validation_role.<locals>.<listcomp>n   s   € Ð;Ð;Ð;™x˜q %ˆEŒNÐ;Ð;Ð;r)   z
wrong rolerA   )r¡   r·   r¸   r­   )
rƒ   r   rš   ÚtrainingÚ
validationr°   rV   rR   r±   r²   s
             r'   ÚAtest_manual_validation_dataset_is_allowed_only_in_validation_roler½   c   s   € Ý�F 4™LœL­&°©,¬,Ð7Ñ8Ô8€FÝ˜˜f e¨R°&¸2¸r¸(Ð1CÀ[ÑQÔQ€EÝ
�d˜F E¨2°¸¸R¸Ð/AÀ;Ñ
OÔ
O€CÝ˜e˜W fÕ.@ÀÀAÑ.FÔ.FØ°$°ÐPTÈvØðñ ô €Hõ  ˜u fÕ.@ÀÀAÑ.FÔ.FØ°$°ÐPTÈvØðñ ô €Jð :Ð9¨8¬=Ð9Ñ9Ô9ÐC¸d¸VÐCÐ9¸VÒCÐCÐCÐCÕCÔCÐCÐCÐCÐCÐ9¸VÐCÑCÔCÕCÔCÐ9ÑCÔCÕCÔC¸VÑCÔCÐCÐCÑCÐCÐCÐCÐCÐCÑCÐCÕCÕCÔCÐCÑCÔCÑCÔCÐCÐCÐCÐCÐCÐCÐCØ;Ð;¨:¬?Ð;Ñ;Ô;ÐEÀ¸vÐEÐ;¸vÒEÐEÐEÐEÕEÔEÐEÐEÐEÐEÐ;¸vÐEÑEÔEÕEÔEÐ;ÑEÔEÕEÔE¸vÑEÔEÐEÐEÑEÐEÐEÐEÐEÐEÑEÐEÕEÕEÔEÐEÑEÔEÑEÔEÐEÐEÐEÐEÐEÐEÐEÝ	Œ•z¨Ð	6Ñ	6Ô	6ð Tð TÝ�s�e˜VÕ%7¸¸1Ñ%=Ô%=Ø¸°vÈ7ð	Tñ 	Tô 	Tð 	TðTð Tð Tñ Tô Tð Tð Tð Tð Tð Tð Tð Tøøøð Tð Tð Tð Tð Tð Ts   Ç!&HÈHÈHc                  ó°  ‡— g } i }dD ]Í\  }}t          d¦  «        D ]¸}|› d|› �}|dk    r|dk    rdnd}t          d¦  «        D ]�}|› d	|› �}t          |||dk    rg nt          dd
dd¦  «        g¬¦  «        }	||	_        ||	_        t          dd¬¦  «        g|	_        |                      |	¦  «         t          |||i ddg|dœ|	j	        ¦  «        ||<   Œ�Œ¹ŒÎt          j        | |dd¬¦  «        }
t          j        | |dd¬¦  «        }|
|k    }|sÂt          j        d|fd|
|f¦  «        dt          j        ¦   «         v st          j        |
¦  «        rt          j        |
¦  «        nddt          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        nddœz  }dd|iz  }t%          t          j        |¦  «        ¦  «        ‚d }|
\  Š}}ˆfd„| D ¦   «         }t)          ‰¦  «        }d}||k    }|sòt          j        d|fd||f¦  «        d t          j        ¦   «         v st          j        t(          ¦  «        rt          j        t(          ¦  «        nd d!t          j        ¦   «         v st          j        ‰¦  «        rt          j        ‰¦  «        nd!t          j        |¦  «        t          j        |¦  «        d"œz  }d#d$|iz  }t%          t          j        |¦  «        ¦  «        ‚d x}x}}t+          |¦  «        }d%d&h}||k    }|sòt          j        d|fd||f¦  «        d't          j        ¦   «         v st          j        t*          ¦  «        rt          j        t*          ¦  «        nd'd(t          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        nd(t          j        |¦  «        t          j        |¦  «        d"œz  }d#d$|iz  }t%          t          j        |¦  «        ¦  «        ‚d x}x}}d)„ |D ¦   «         }t-          |¦  «        }| }|s•d*d+t          j        ¦   «         v st          j        t,          ¦  «        rt          j        t,          ¦  «        nd+t          j        |¦  «        t          j        |¦  «        d,œz  }t%          t          j        |¦  «        ¦  «        ‚d x}x}}t)          |¦  «        }d}||k    }|sòt          j        d|fd||f¦  «        d t          j        ¦   «         v st          j        t(          ¦  «        rt          j        t(          ¦  «        nd d-t          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        nd-t          j        |¦  «        t          j        |¦  «        d"œz  }d#d$|iz  }t%          t          j        |¦  «        ¦  «        ‚d x}x}}d S ).N))Úd1Úa)Úd2ÚbrC   z-grÂ   r   Únegativer   r   z-fr   r   r   ©r   r   r   r   r    r   r   ©rm   Ú	domain_idé*   g      Ð?©ÚseedÚfractionr4   )z%(py0)s == %(py2)sÚfirstÚsecond)r7   r:   zassert %(py4)sr;   c                 ó&   •— g | ]}|j         ‰v ¯|‘ŒS rq   r¤   ©r¦   r�   Úval_idss     €r'   r¨   zftest_group_holdout_is_deterministic_domain_stratified_and_keeps_negatives_in_train.<locals>.<listcomp>‰   s%   ø€ ÐIÐIÐI˜E¨u¬~ÀÐ/HÐ/H�%Ð/HÐ/HÐ/Hr)   ©z0%(py3)s
{%(py3)s = %(py0)s(%(py1)s)
} == %(py6)sÚlenrÏ   ©r7   r«   r8   r<   úassert %(py8)sr=   r¿   rÁ   ÚsetÚ	by_domainc              3   ó,   K  — | ]}|j         d k    V — ŒdS ©rÃ   N©r   ©r¦   r�   s     r'   ú	<genexpr>zetest_group_holdout_is_deterministic_domain_stratified_and_keeps_negatives_in_train.<locals>.<genexpr>Œ   s)   è è € ÐFÐF°%�5”< :Ò-ÐFÐFÐFÐFÐFÐFr)   z0assert not %(py4)s
{%(py4)s = %(py0)s(%(py2)s)
}Úany)r7   r:   r;   Ú
val_groups)Úranger(   r   rx   Údomainr	   r$   Úappendr   r#   r   Ú_choose_group_holdoutrG   rH   rI   rJ   rK   rL   rM   rN   rÑ   rÔ   rÛ   )r�   rt   rÞ   ÚprefixÚgroup_indexrx   r   Úframe_indexr&   r�   rË   rÌ   rS   Ú@py_format3r±   rÜ   rÕ   Ú
val_framesrR   rW   Ú@py_assert4r²   Ú@py_format9rV   rU   rÏ   s                            @r'   ÚRtest_group_holdout_is_deterministic_domain_stratified_and_keeps_negatives_in_trainrè   t   s£  ø€ Ø€FØ€GØ4ð Wð W‰ˆ�Ý  ™8œ8ð 	Wð 	WˆKØ Ð1Ð1 KÐ1Ð1ˆHØ#)¨S¢= =°[ÀAÒ5EÐ5E�Z�ZÈ5ˆFÝ$ Q™xœxð 	Wð 	W�Ø&Ð7Ð7¨+Ð7Ð7�Ý˜x°Ø &¨*Ò 4Ð 4˜"˜"½3¸qÀ!ÀRÈÑ;LÔ;LÐ:MðOñ Oô O�à!)�”Ø%�”Ý$.¨wÐ>]Ð$^Ñ$^Ô$^Ð#_�Ô Ø—’˜eÑ$Ô$Ð$Ý$/°¸(ÀFÈBØ  "˜X°FÐ;Ð;¸UÔ=Uñ%Wô %W�˜Ñ!Ð!ð	Wð	Wõ Ô'¨°¸bÈ3ÐOÑOÔO€EÝÔ(¨°¸rÈCÐPÑPÔP€FØ�FŠ?ÐÐÐÕÔÐÐÐÐˆ5�FÐÑÔÐÕÔÑÔÐÐÕÔˆ5ÑÔÐÕÔˆ5ÑÔÐÐÐÕÔÑÔÐÐÕÔ�FÑÔÐÕÔ�FÑÔÐÐÐÐÑÐÐÐÐÐÑÐÕÕÔÐÑÔÑÔÐÐÐØ%*Ñ"€GˆZ˜ØIÐIÐIÐI VÐIÑIÔI€JÝˆw‰<Œ<Ð˜1Ðˆ<˜1ÒÐÐÐÕÔÐÐÐÐˆ<˜1ÐÑÔÐÕÔÑÔÐÐÕÔ�3ÑÔÐÕÔ�3ÑÔÐÐÐÕÔÑÔÐÐÕÔˆwÑÔÐÕÔˆwÑÔÐÐÕÔˆ<ÑÔÕÔ˜1ÑÔÐÐÑÐÐÐÐÐÑÐÕÕÔÐÑÔÑÔÐÐÐÐÐÐÐÝˆy‰>Œ>Ð)˜d D˜\Ð)ˆ>˜\Ò)Ð)Ð)Ð)Õ)Ô)Ð)Ð)Ð)Ð)ˆ>˜\Ð)Ñ)Ô)Ð)Õ)Ô)Ñ)Ô)Ð)Ð)Õ)Ô)�3Ñ)Ô)Ð)Õ)Ô)�3Ñ)Ô)Ð)Ð)Ð)Õ)Ô)Ñ)Ô)Ð)Ð)Õ)Ô)ˆyÑ)Ô)Ð)Õ)Ô)ˆyÑ)Ô)Ð)Ð)Õ)Ô)ˆ>Ñ)Ô)Õ)Ô)˜\Ñ)Ô)Ð)Ð)Ñ)Ð)Ð)Ð)Ð)Ð)Ñ)Ð)Õ)Õ)Ô)Ð)Ñ)Ô)Ñ)Ô)Ð)Ð)Ð)Ð)Ð)Ð)Ð)ØFÐF¸:ÐFÑFÔFÐF�sÐFÑFÔFÐFÐFÐFÐFÐFÐFÐFÐFÕFÔFÑFÔFÐFÐFÕFÔF�sÑFÔFÐFÕFÔF�sÑFÔFÐFÐFÕFÔFÐFÑFÔFÕFÔFÐFÑFÔFÐFÐFÑFÐFÕFÕFÔFÐFÑFÔFÑFÔFÐFÐFÐFÐFÐFÐFÐFÝˆz‰?Œ?Ð˜aÐˆ?˜aÒÐÐÐÕÔÐÐÐÐˆ?˜aÐÑÔÐÕÔÑÔÐÐÕÔ�3ÑÔÐÕÔ�3ÑÔÐÐÐÕÔÑÔÐÐÕÔˆzÑÔÐÕÔˆzÑÔÐÐÕÔˆ?ÑÔÕÔ˜aÑÔÐÐÑÐÐÐÐÐÑÐÕÕÔÐÑÔÑÔÐÐÐÐÐÐÐÐÐr)   c                  ó
  ‡— g i }} t          g d¢¦  «        D ]�\  }}d|› �}t          d|› �||dk    rg nt          dddd¦  «        g¬	¦  «        }||_        d
|_        d|› �|_        |                      |¦  «         t          |j        |d
i ddgd
dœ|j        ¦  «        ||j        <   Œ‘t          j
        | |dd¬¦  «        \  Š}}ˆfd„| D ¦   «         }ˆfd„| D ¦   «         }	t          |¦  «        }
d}|
|k    }|sòt          j        d|fd|
|f¦  «        dt          j        ¦   «         v st          j        t          ¦  «        rt          j        t          ¦  «        nddt          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        ndt          j        |
¦  «        t          j        |¦  «        dœz  }dd|iz  }t%          t          j        |¦  «        ¦  «        ‚d x}
x}}d„ |D ¦   «         }t)          |¦  «        }d}||k    }|sÇt          j        d|fd||f¦  «        dt          j        ¦   «         v st          j        t(          ¦  «        rt          j        t(          ¦  «        ndt          j        |¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }d d!|iz  }t%          t          j        |¦  «        ¦  «        ‚d x}x}x}}d"„ |	D ¦   «         }t)          |¦  «        }d}||k    }|sÇt          j        d|fd||f¦  «        dt          j        ¦   «         v st          j        t(          ¦  «        rt          j        t(          ¦  «        ndt          j        |¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }d d!|iz  }t%          t          j        |¦  «        ¦  «        ‚d x}x}x}}d#„ |D ¦   «         }|j        }
d$„ |	D ¦   «         } |
|¦  «        }|ssd%t          j        |¦  «        t          j        |
¦  «        t          j        |¦  «        t          j        |¦  «        d&œz  }t%          t          j        |¦  «        ¦  «        ‚d x}x}
x}}|d
         d'         }d}||k    }
|
slt          j        d|
fd(||f¦  «        t          j        |¦  «        t          j        |¦  «        d)œz  }d*d+|iz  }t%          t          j        |¦  «        ¦  «        ‚d x}x}
}d S ),N)rÃ   rÃ   r   r   Úgr   rÃ   r   r   r   r   rÄ   úcamera-ar   r   r   rÅ   rÇ   g      à?rÈ   c                 ó&   •— g | ]}|j         ‰v ¯|‘ŒS rq   r¤   rÎ   s     €r'   r¨   zXtest_group_holdout_places_negatives_in_both_splits_when_groups_allow.<locals>.<listcomp>ž   s%   ø€ Ð
BÐ
BÐ
B�U¨¬¸'Ð(AÐ(Aˆ5Ð(AÐ(AÐ(Ar)   c                 ó&   •— g | ]}|j         ‰v¯|‘ŒS rq   r¤   rÎ   s     €r'   r¨   zXtest_group_holdout_places_negatives_in_both_splits_when_groups_allow.<locals>.<listcomp>Ÿ   s%   ø€ ÐHÐHÐH�u¨%¬.ÀÐ*GÐ*GˆUÐ*GÐ*GÐ*Gr)   r4   rÐ   rÑ   rš   rÒ   rÓ   r=   c              3   ó,   K  — | ]}|j         d k    V — ŒdS r×   rØ   rÙ   s     r'   rÚ   zWtest_group_holdout_places_negatives_in_both_splits_when_groups_allow.<locals>.<genexpr>¡   s)   è è € Ð;Ð;¨eˆuŒ|˜zÒ)Ð;Ð;Ð;Ð;Ð;Ð;r)   ra   )z0%(py4)s
{%(py4)s = %(py0)s(%(py2)s)
} == %(py7)sÚsum)r7   r:   r;   Úpy7úassert %(py9)sÚpy9c              3   ó,   K  — | ]}|j         d k    V — ŒdS r×   rØ   rÙ   s     r'   rÚ   zWtest_group_holdout_places_negatives_in_both_splits_when_groups_allow.<locals>.<genexpr>¢   s)   è è € Ð=Ð=¨eˆuŒ|˜zÒ)Ð=Ð=Ð=Ð=Ð=Ð=r)   c                 ó   — h | ]	}|j         ’Œ
S rq   ©rx   rÙ   s     r'   ú	<setcomp>zWtest_group_holdout_places_negatives_in_both_splits_when_groups_allow.<locals>.<setcomp>£   s   € Ð,Ð,Ð,˜uˆEŒNÐ,Ð,Ð,r)   c                 ó   — h | ]	}|j         ’Œ
S rq   rõ   rÙ   s     r'   rö   zWtest_group_holdout_places_negatives_in_both_splits_when_groups_allow.<locals>.<setcomp>¤   s   € Ð+Ð+Ð+˜EˆŒÐ+Ð+Ð+r)   zLassert %(py7)s
{%(py7)s = %(py3)s
{%(py3)s = %(py1)s.isdisjoint
}(%(py5)s)
})r«   r8   r9   rð   Úvalidation_negativesr©   rª   r¬   r<   )Ú	enumerater(   r   rx   rÞ   r#   rß   r   r&   r   rà   rÑ   rG   rH   rI   rJ   rK   rL   rM   rN   rï   Ú
isdisjoint)r�   rt   Úir   rx   r�   rÜ   Úcountsrš   r   rR   rW   ræ   r²   rç   rS   rV   Ú@py_assert6Ú@py_format8Ú@py_format10r°   r±   rÏ   s                         @r'   ÚDtest_group_holdout_places_negatives_in_both_splits_when_groups_allowr   �   sK  ø€ Ø˜"ˆG€FÝÐEÐEÐEÑFÔFð 	Sð 	S‰	ˆˆ6Ø�q�7�7ˆÝ�w˜1�w�w vØ#)¨ZÒ#7Ð#7˜R˜R½cÀ!ÀQÈÈBÑ>OÔ>OÐ=PðRñ Rô Rˆà!ˆŒØ!ˆŒØ#0¨Q = =ˆÔ Ø�Š�eÑÔÐÝ"-¨e¬n¸hÈ
ÐTVØ˜"�X¨JÐ7Ð7¸Ô9Qñ#Sô #Sˆ�”ÑÐå"'Ô"=Ø�˜b¨2ð#/ñ #/ô #/Ñ€GˆZ˜à
BÐ
BÐ
BÐ
B˜fÐ
BÑ
BÔ
B€CØHÐHÐHÐH ÐHÑHÔH€EÝˆs‰8Œ8Ð�qÐˆ8�qŠ=ÐÐÐÕÔÐÐÐÐˆ8�qÐÑÔÐÕÔÑÔÐÐÕÔ�3ÑÔÐÕÔ�3ÑÔÐÐÐÕÔÑÔÐÐÕÔˆsÑÔÐÕÔˆsÑÔÐÐÕÔˆ8ÑÔÕÔ�qÑÔÐÐÑÐÐÐÐÐÑÐÕÕÔÐÑÔÑÔÐÐÐÐÐÐÐØ;Ð;°sÐ;Ñ;Ô;Ð@�3Ð;Ñ;Ô;Ð@¸qÐ@Ð;¸qÒ@Ð@Ð@Ð@Õ@Ô@Ð@Ð@Ð@Ð@Ð;¸qÐ@Ñ@Ô@Ð@Õ@Ô@Ñ@Ô@Ð@Ð@Õ@Ô@�3Ñ@Ô@Ð@Õ@Ô@�3Ñ@Ô@Ð@Ð@Õ@Ô@Ð;Ñ@Ô@Õ@Ô@Ð;Ñ@Ô@Õ@Ô@¸qÑ@Ô@Ð@Ð@Ñ@Ð@Ð@Ð@Ð@Ð@Ñ@Ð@Õ@Õ@Ô@Ð@Ñ@Ô@Ñ@Ô@Ð@Ð@Ð@Ð@Ð@Ð@Ð@Ð@Ð@Ø=Ð=°uÐ=Ñ=Ô=ÐB�3Ð=Ñ=Ô=ÐBÀÐBÐ=ÀÒBÐBÐBÐBÕBÔBÐBÐBÐBÐBÐ=ÀÐBÑBÔBÐBÕBÔBÑBÔBÐBÐBÕBÔB�3ÑBÔBÐBÕBÔB�3ÑBÔBÐBÐBÕBÔBÐ=ÑBÔBÕBÔBÐ=ÑBÔBÕBÔBÀÑBÔBÐBÐBÑBÐBÐBÐBÐBÐBÑBÐBÕBÕBÔBÐBÑBÔBÑBÔBÐBÐBÐBÐBÐBÐBÐBÐBÐBØ,Ð,¨Ð,Ñ,Ô,ð -Ð,Ô7ð -Ø+Ð+ UÐ+Ñ+Ô+ð-Ð7Ð7Ø+ñ-ô -ð -ð -ð -ð -õ -Ü#,ð -ñ -ô -õ -Ü#,ð 8ñ -ô -õ -Ü#,Ð+ñ-ô -õ -Ü#,ð-ñ -ô -ð -ð -ñ -ð -õ -õ -Ü,ð-ñ -ô -ñ -ô -ð -ð -ð -ð -ð -ð -ð -ð -ð -à�*ÔÐ4Ô5Ð:¸Ð:Ð5¸Ò:Ð:Ð:Ð:Õ:Ô:Ð:Ð:Ð:Ð:Ð5¸Ð:Ñ:Ô:Õ:Ô:Ð5Ñ:Ô:Õ:Ô:¸Ñ:Ô:Ð:Ð:Ñ:Ð:Ð:Ð:Ð:Ð:Ñ:Ð:Õ:Õ:Ô:Ð:Ñ:Ô:Ñ:Ô:Ð:Ð:Ð:Ð:Ð:Ð:Ð:Ð:Ð:r)   c                 óú  ‡ ‡!— | dz  }|                      ¦   «          |dz                       d¦  «         ddg}d„ |D ¦   «         Š!d„ ‰!D ¦   «         Š |                     t          dˆ ˆ!fd	„¦  «         g }dd
ddddgddggdœgfddg ffD �]R\  }}}| d|› �z  }|dz  |› d�z  }	|	j                              d¬¦  «         |d|› �d|› �dœ}
ddddd|› d�d |||
i}|	                     t          j        |¦  «        ¦  «         |dz  |› d�z  }t          j        d!d"¦  «         	                    |¦  «         |d|› �d#d$d|› �d%|› d�d%|› d�d&|› d'�d&|› d(�d)œ	}|d
k    r)| 
                    ddgd*t          |	¦  «        d+œ¦  «         n4| 
                    t          |	¦  «        d,t          |¦  «        id-œ¦  «         |d.z                       t          j        |¦  «        d/z   ¦  «         d0d1lm} |d
k    rd2nd3}d4d5t          |d.z  ¦  «        d6œ}d7t          |dz  ¦  «        i||d
k    rd8nd9<    |||z  |¦  «         | |› d:�z  }ddddd|› d�d |||
i}t          j        |d;¦  «        5 }|                     |› d�t          j        |¦  «        ¦  «         d d d ¦  «         n# 1 swxY w Y   |                     t%          |¦  «        t%          |¦  «        d5d<œ¦  «         �ŒT| d=z  }d>ddd|dd5d5d5dd?œd@œ}|                     t          j        |¦  «        ¦  «         t          j        ||| dAz  ¬B¦  «        }t          j        | dCz  ¦  «        }|dD         }d}||k    }|slt+          j        dE|fdF||f¦  «        t+          j        |¦  «        t+          j        |¦  «        dGœz  }dHdI|iz  }t1          t+          j        |¦  «        ¦  «        ‚d x}x}}|j        d         }|j        }dJ}||k    }|st+          j        dE|fdK||f¦  «        t+          j        |¦  «        t+          j        |¦  «        t+          j        |¦  «        dLœz  }dMdN|iz  }t1          t+          j        |¦  «        ¦  «        ‚d x}x}x}}|j        d         }|j        }dO}||k    }|st+          j        dE|fdK||f¦  «        t+          j        |¦  «        t+          j        |¦  «        t+          j        |¦  «        dLœz  }dMdN|iz  }t1          t+          j        |¦  «        ¦  «        ‚d x}x}x}}|j        d         }|j        }t;          dddPdQ¦  «        g}||k    }|st+          j        dE|fdR||f¦  «        t+          j        |¦  «        t+          j        |¦  «        t+          j        |¦  «        dLœz  }dMdN|iz  }t1          t+          j        |¦  «        ¦  «        ‚d x}x}x}}|j        d         j        d0         }|j        }dS}||k    }|st+          j        dE|fdT||f¦  «        t+          j        |¦  «        t+          j        |¦  «        t+          j        |¦  «        dLœz  }dMdN|iz  }t1          t+          j        |¦  «        ¦  «        ‚d x}x}x}}d S )UNrh   ri   rj   z	raw-framezproposal-framec                 óJ   — g | ] }t          |d |› �di dddgid|› �¦  «        ‘Œ!S )úgroup-rl   rm   r   r   r   r   )r¦   Úfids     r'   r¨   zZtest_import_manual_accepts_multiple_export_schemas_and_empty_negatives.<locals>.<listcomp>­   sP   € ð %ð %ð %Øõ ˜3 ¨  °°r¸FÀRÈÀHÐ;MÈÐY\ÈÈÑ_Ô_ð %ð %ð %r)   c                 ó   — i | ]
}|j         d “ŒS )r   rõ   )r¦   Úrecords     r'   ú
<dictcomp>zZtest_import_manual_accepts_multiple_export_schemas_and_empty_negatives.<locals>.<dictcomp>¯   s   € ÐBÐBÐB°�6”? GÐBÐBÐBr)   ro   c                 ó   •— ‰‰i fS )Nrq   )r§   Úassignmentsrt   s    €€r'   ru   zXtest_import_manual_accepts_multiple_export_schemas_and_empty_negatives.<locals>.<lambda>°   s   ø€ ¸7ÀKÐQSÐ:T€ r)   Úpallet_exportr,   r-   r   r   r.   r/   r0   Úpallet_predictionr   zimages/trainz.jsonT©Úparentsr  )r&   r#   rx   Ú
imageWidthr   ÚimageHeightr   Ú	imagePathz.pngr+   ÚL©r   r   r   rë   zimages/train/zauxiliary/train/z
.depth.pngz.validity.png)	r&   rx   r"   rÞ   r#   Ú
annotationÚimageÚdepthÚvalidityÚproposal)ÚsizeÚsource_statusÚbaseline_json_sha256r  )Úbaseline_annotation_sha256Úview_sha256úframes.jsonlú
r   ©Ú
write_jsonúmanifest.jsonúpackage_manifest.jsonzsource-fixturera   )r{   r�   Úframes_index_sha256r|   ÚbindingÚprediction_bindingz.zipÚw)ÚarchiveÚsource_exportÚexpected_frameszcorrections.jsonÚ,user_confirmed_manual_correction_archives_v1)r�   Úpositive_framesÚnegative_framesr   Úgroups)r{   Úall_frames_reviewed_by_userÚ0unchanged_proposals_accepted_after_manual_reviewÚ'empty_frames_confirmed_negative_by_userÚsourcesÚexpected_totalzmanual-output)Úcorrections_configrh   Úoutputz-manual-output/inputs/manual_annotations.jsonlÚframe_countr4   r©   rª   r¬   r<   r   )z.%(py3)s
{%(py3)s = %(py1)s.status
} == %(py6)s)r«   r8   r<   rÓ   r=   rÃ   r   r   )z-%(py3)s
{%(py3)s = %(py1)s.boxes
} == %(py6)sr   )z-%(py3)s
{%(py3)s = %(py1)s.actor
} == %(py6)s) rŠ   r‹   rŒ   r   ÚparentrŽ   r�   r   ÚnewÚsaveÚupdater   Úpallet.data.protocolr   ÚzipfileÚZipFileÚwritestrrß   ÚstrÚ!import_manual_correction_archivesÚ
load_jsonlrG   rH   rL   rM   rN   r�   r   r   r   r$   r!   )"r‘   r’   rh   Ú	frame_idsÚarchivesr  ÚschemaÚreviewed_shapesÚsourcer  ÚmetadataÚbaselineÚ
image_pathÚrowr   Úmanifest_namer‚   r'  Ú
correctionÚbundleÚconfig_pathÚconfigr6   Úsnapshotr°   rV   rR   r±   r²   rW   ræ   rç   r	  rt   s"                                   @@r'   ÚFtest_import_manual_accepts_multiple_export_schemas_and_empty_negativesrP  ¨   sõ  øø€ Ø˜
Ñ"€HØ‡N‚NÑÔÐØˆoÑ×)Ò)¨$Ñ/Ô/Ð/ØÐ.Ð/€Ið%ð %Ø#ð%ñ %ô %€GàBÐB¸'ÐBÑBÔB€KØ×Ò�˜Ð0TÐ0TÐ0TÐ0TÐ0TÑUÔUÐUØ€Hà˜/°hÈkØ˜q˜6 B¨ 8Ð,ð-.ð -.ð ,/ð 0àÐ2°BÐ7ð)9ð '0ñ '0Ñ$ˆˆV�_ð ˜/ C˜/˜/Ñ)ˆØ˜NÑ*¨c¨=¨=¨=Ñ8ˆ
ØÔ×Ò¨ÐÑ-Ô-Ð-Ø #¸?ÀS¸?¸?Ø .¨  ð0ð 0ˆà  " m°R¸ÈÀlÀlÀlØ�o v¨xð9ˆà×Ò�dœj¨Ñ2Ô2Ñ3Ô3Ð3Ø˜NÑ*¨c¨<¨<¨<Ñ7ˆ
ÝŒ	�#�xÑ Ô ×%Ò% jÑ1Ô1Ð1Ø¨N°S¨N¨NÀWØ ¸À#¸¸Ø4¨#Ð4Ð4Ð4Ð?XÈsÐ?XÐ?XÐ?XØ7¨Ð7Ð7Ð7Ø=¨3Ð=Ð=Ð=ð	?ð ?ˆð
 �_Ò$Ð$Ø�JŠJ  R ¸:Ý0;¸JÑ0GÔ0GðIð Iñ Jô Jð Jð Jð �JŠJµkÀ*Ñ6MÔ6MØ(/µ¸ZÑ1HÔ1HÐ'IðKð Kñ Lô Lð Là	�Ñ	×*Ò*­4¬:°c©?¬?¸4Ñ+?Ñ@Ô@Ð@Ø3Ð3Ð3Ð3Ð3Ð3Ø+1°_Ò+DÐ+D˜˜ÐJaˆØ,¸Ý#.¨v°nÑ/DÑ#EÔ#EðGð Gˆð �{¨8°OÑ+CÑDÔDðVFˆ˜f¨Ò7Ð7��Ð=QÑRàˆ
�6˜-Ñ'¨Ñ2Ô2Ð2Ø˜c˜<˜<˜<Ñ'ˆØ" B¨°r¸;È3ÈÈÈØ °¸ðCˆ
åŒ_˜W cÑ*Ô*ð 	C¨fØ�OŠO˜s˜M˜M˜M­4¬:°jÑ+AÔ+AÑBÔBÐBð	Cð 	Cð 	Cñ 	Cô 	Cð 	Cð 	Cð 	Cð 	Cð 	Cð 	Cøøøð 	Cð 	Cð 	Cð 	Cà�Š¥C¨¡L¤LÅ3ÀvÁ;Ä;Ø,-ð/ð /ñ 	0ô 	0ð 	0ñ 	0àÐ-Ñ-€KØDØ'+Ø<@Ø37ØØ%&¸1Ø./¸!ÀqðJð JðKð K€Fð ×Ò�4œ: fÑ-Ô-Ñ.Ô.Ð.ÝÔ4ÈØ (¨?Ñ":ð<ñ <ô <€FåÔ Ð)XÑ XÑYÔY€HØ�-Ô Ð% AÐ%Ð  AÒ%Ð%Ð%Ð%Õ%Ô%Ð%Ð%Ð%Ð%Ð  AÐ%Ñ%Ô%Õ%Ô%Ð Ñ%Ô%Õ%Ô% AÑ%Ô%Ð%Ð%Ñ%Ð%Ð%Ð%Ð%Ð%Ñ%Ð%Õ%Õ%Ô%Ð%Ñ%Ô%Ñ%Ô%Ð%Ð%Ð%Ð%Ð%Ð%Ð%ØŒ?˜;Ô'Ð7Ð'Ô.Ð7°%Ð7Ð.°%Ò7Ð7Ð7Ð7Õ7Ô7Ð7Ð7Ð7Ð7Ð.°%Ð7Ñ7Ô7Õ7Ô7Ð'Ñ7Ô7Õ7Ô7Ð.Ñ7Ô7Õ7Ô7°%Ñ7Ô7Ð7Ð7Ñ7Ð7Ð7Ð7Ð7Ð7Ñ7Ð7Õ7Õ7Ô7Ð7Ñ7Ô7Ñ7Ô7Ð7Ð7Ð7Ð7Ð7Ð7Ð7Ð7Ð7ØŒ?Ð+Ô,ÐAÐ,Ô3ÐA°zÐAÐ3°zÒAÐAÐAÐAÕAÔAÐAÐAÐAÐAÐ3°zÐAÑAÔAÕAÔAÐ,ÑAÔAÕAÔAÐ3ÑAÔAÕAÔA°zÑAÔAÐAÐAÑAÐAÐAÐAÐAÐAÑAÐAÕAÕAÔAÐAÑAÔAÑAÔAÐAÐAÐAÐAÐAÐAÐAÐAÐAØŒ?˜;Ô'ÐDÐ'Ô-ÐDµ#°a¸¸BÀÑ2CÔ2CÐ1DÐDÐ-Ð1DÒDÐDÐDÐDÕDÔDÐDÐDÐDÐDÐ-Ð1DÐDÑDÔDÕDÔDÐ'ÑDÔDÕDÔDÐ-ÑDÔDÕDÔDÐ1DÑDÔDÐDÐDÑDÐDÐDÐDÐDÐDÑDÐDÕDÕDÔDÐDÑDÔDÑDÔDÐDÐDÐDÐDÐDÐDÐDÐDÐDØŒ?Ð+Ô,Ô7¸Ô:ÐcÐ:Ô@ÐcÐDcÐcÐ@ÐDcÒcÐcÐcÐcÕcÔcÐcÐcÐcÐcÐ@ÐDcÐcÑcÔcÕcÔcÐ:ÑcÔcÕcÔcÐ@ÑcÔcÕcÔcÐDcÑcÔcÐcÐcÑcÐcÐcÐcÐcÐcÑcÐcÕcÕcÔcÐcÑcÔcÑcÔcÐcÐcÐcÐcÐcÐcÐcÐcÐcÐcÐcs   É#,JÊJ	Ê"J	c                 ó  ‡— dd l }ddlm} ddlm} | dz  }|                     ¦   «          t          dddi dd	gdd
œd¦  «        Šdddddddddd	dgdœ
dddddddddd	dgdœ
g}| dz  }|                     ¦   «          |dz                       d                     d„ |D ¦   «         ¦  «        ¦  «          ||dz  dt          |dz  ¦  «        ddid œ¦  «         | 
                    t          d!ˆfd"„¦  «         | 
                    t          d#d$„ ¦  «         | d%z  }|d&z                       d'¬(¦  «         |d)z                       d¦  «         |d*z  }	|	dz  }
|	dz  }|	dz  }|
j                             d'¬(¦  «         |j                             d'¬(¦  «          |j        d+d,d-¦  «                             |
¦  «          |j        d.d,d/¦  «                             |¦  «          |j        d+d,d0¦  «                             |¦  «         d	d|
j        d1d'd'd1d1d1d2œd3d4dd5gd6d7ggd8œgdddd9d:gd'd;œd<œ}|	dz  }|                     t!          j        |¦  «        ¦  «         ddddd9d=d:gdddddd1t          |¦  «        t          |
¦  «        t          |¦  «        t          |¦  «        d>œd?œ}|	dz  }|                     t!          j        |¦  «        d@z   ¦  «          ||	dAz  d=dd=id9d=ii i dBœt          |¦  «        d1dCœ¦  «         |dDz  }t%          j        |dE¦  «        5 }t)          dF¦  «        D ]}|                     dG|› �dH¦  «         Œ	 d d d ¦  «         n# 1 swxY w Y   t          j        ||||¬I¦  «        }|dJ         }dK}||k    }|slt/          j        dL|fdM||f¦  «        t/          j        |¦  «        t/          j        |¦  «        dNœz  }dOdP|iz  }t5          t/          j        |¦  «        ¦  «        ‚d x}x}}|dQ         }d=}||k    }|slt/          j        dL|fdM||f¦  «        t/          j        |¦  «        t/          j        |¦  «        dNœz  }dOdP|iz  }t5          t/          j        |¦  «        ¦  «        ‚d x}x}}|dR         }d}||k    }|slt/          j        dL|fdM||f¦  «        t/          j        |¦  «        t/          j        |¦  «        dNœz  }dOdP|iz  }t5          t/          j        |¦  «        ¦  «        ‚d x}x}}|dS         }dF}||k    }|slt/          j        dL|fdM||f¦  «        t/          j        |¦  «        t/          j        |¦  «        dNœz  }dOdP|iz  }t5          t/          j        |¦  «        ¦  «        ‚d x}x}}|dT         }dK}||k    }|slt/          j        dL|fdM||f¦  «        t/          j        |¦  «        t/          j        |¦  «        dNœz  }dOdP|iz  }t5          t/          j        |¦  «        ¦  «        ‚d x}x}}d S )UNr   r   r  rh   Ú	remainingúgroup-remainingrë   r   r   rÅ   zsource-remainingÚreviewedúgroup-reviewedr   zsource-reviewedzimages/train/reviewed.jsonzimages/train/reviewed.pngz"auxiliary/train/reviewed.depth.pngz%auxiliary/train/reviewed.validity.png)
r&   rx   r"   rÞ   r#   r  r  r  r  r  zimages/train/remaining.jsonzimages/train/remaining.pngz#auxiliary/train/remaining.depth.pngz&auxiliary/train/remaining.validity.pngrE  r  Ú c              3   óD   K  — | ]}t          j        |¦  «        d z   V — ŒdS )r  N)rŽ   r�   )r¦   rI  s     r'   rÚ   zQtest_candidate_package_audit_checks_flags_bounds_pairs_and_crc.<locals>.<genexpr>  s/   è è € Ð.TÐ.TÈ­t¬z¸#©¬¸tÑ/CÐ.TÐ.TÐ.TÐ.TÐ.TÐ.Tr)   r!  r   r|   )r�   r#  r$  ro   c                 ó   •— ‰gdddœi fS )Nr   )rU  rS  rq   )r§   r  s    €r'   ru   zPtest_candidate_package_audit_checks_flags_bounds_pairs_and_crc.<locals>.<lambda>  s   ø€ ¸F¸8Ø"°wÐ?Ð?Àð;E€ r)   Ú_validated_manual_partitionc                  óF   — t          ¦   «         dht          ¦   «         i ddifS )NrT  Úsource_archive_sha256zarchive-set)r   rÔ   )r§   s    r'   ru   zPtest_candidate_package_audit_checks_flags_bounds_pairs_and_crc.<locals>.<lambda>	  s&   € Ý‰Œ˜*˜¥s¡u¤u¨bÐ3JÈMÐ2ZðJ\€ r)   Ú	assistantÚinputsTr  zinputs/annotations.jsonlÚanylabelingr  r  é€   zI;16iè  éÿ   F)Úhuman_reviewedÚ
unreviewedÚproposal_onlyÚconfirmed_negativeÚignoreÚmachine_resolvedr,   r-   r   r.   r/   r0   r  gš™™™™™é?)r&   rx   r#   r   Ú
confidenceÚprediction_only)r  r  r  Úflagsr+   r  ra   )r  r  r  )r&   rx   r"   rÞ   r   Úproposal_countÚconfidencesr  r  r  r  r#   Úindependent_referencer  r  r  r"  )r   rš   Útest)r�   Úsplit_countsÚstatus_countsr#  Ú2validation_test_outputs_are_independent_referencesz#human_correction_remaining_1_v1.zipr&  é	   zmember-s	   candidate)r4  r(  rh   r'  ÚstateÚpassedr4   r©   rª   r¬   r<   r�   Úmanual_overlapÚzip_membersÚzip_crc)ÚhashlibÚPILr   r:  r   rŠ   r   r‹   Újoinr   rŒ   r   r6  r7  r8  ÚnamerŽ   r�   r;  r<  rÝ   r=  Úaudit_candidate_packagerG   rH   rL   rM   rN   )r‘   r’   rw  r   r   rh   r®   rE  r4  ÚrootrH  Ú
depth_pathÚvalidity_pathÚdocumentÚ
label_pathÚpackage_rowÚ
frame_listr'  rL  rû   Úauditr°   rV   rR   r±   r²   r  s                             @r'   Ú>test_candidate_package_audit_checks_flags_bounds_pairs_and_crcr„  í   su  ø€ Ø€N€N€NØÐÐÐÐÐØ/Ð/Ð/Ð/Ð/Ð/à˜
Ñ"€HØ‡N‚NÑÔÐÝ˜Ð&7¸ÀRØ�b�¨
Ð3Ð3Ð5GñIô I€Fð  Ð-=ÈØÐ5FØ3Ð>YØ6ÐDkØ�b�ð		ð 	ð
 !Ð.?È'ØÐ5GØ4Ð?[Ø7ÐEmØ�b�ð		ð 	ð
€Dð �hÑ€FØ
‡L‚L�N„N€NØˆNÑ×&Ò& r§w¢wÐ.TÐ.TÈtÐ.TÑ.TÔ.TÑ'TÔ'TÑUÔUÐUØ€Jˆv�oÑ%°!Ý*¨6°.Ñ+@ÑAÔAØ% zÐ2ð(4ð (4ñ 5ô 5ð 5ð ×Ò�˜ð 1Eð 1Eð 1Eð 1Eñ Fô Fð Fà×Ò�Ð<ð ?\ð ?\ñ ]ô ]ð ]à�kÑ!€FØˆH�_×Ò DÐÑ)Ô)Ð)ØÐ&Ñ&×2Ò2°2Ñ6Ô6Ð6Ø�-Ñ€DØÐ2Ñ2€JØÐ;Ñ;€JØÐAÑA€MØÔ×Ò DÐÑ)Ô)Ð)ØÔ×Ò DÐÑ)Ô)Ð)Ø€E„Iˆc�8˜SÑ!Ô!×&Ò& zÑ2Ô2Ð2Ø€E„Iˆf�h Ñ%Ô%×*Ò*¨:Ñ6Ô6Ð6Ø€E„Iˆc�8˜SÑ!Ô!×&Ò& }Ñ5Ô5Ð5Ø °À*Ä/Ø$)¸ÐPTØ"'°5ÈeðUð Uà%°[Ø˜1�v  B˜xÐ(ð*ð *ð +à*5ÐCTØ"4À
Ø˜%°Dð:ð :ð;ð ;€Hð Ð3Ñ3€JØ×Ò�$œ* XÑ.Ô.Ñ/Ô/Ð/Ø*Ð8IÐT[Ø¨
ÀaÐY\ÐX]Ø-Ð=ZØ6Ø<Ø0È5Ý&1°*Ñ&=Ô&=Ý!,¨ZÑ!8Ô!8Å;ÈzÑCZÔCZÝ$/°Ñ$>Ô$>ð@ð @ðAð A€Kð �nÑ$€JØ×Ò�$œ* [Ñ1Ô1°$Ñ6Ñ7Ô7Ð7Ø€JˆtÐ+Ñ+¸Ø  !˜Ø  !�_¨R¸ð8=ð 8=å*¨:Ñ6Ô6Ø>Cð	.Eð .Eñ Fô Fð Fð
 Ð:Ñ:€GÝ	Œ˜ #Ñ	&Ô	&ð 9¨&Ý�q‘”ð 	9ð 	9ˆAØ�OŠO˜M a˜M˜M¨<Ñ8Ô8Ð8Ð8ð	9ð9ð 9ð 9ñ 9ô 9ð 9ð 9ð 9ð 9ð 9ð 9øøøð 9ð 9ð 9ð 9õ Ô)°ÀvØ 7ð,ñ ,ô ,€Eà�Œ>Ð%˜XÐ%ˆ>˜XÒ%Ð%Ð%Ð%Õ%Ô%Ð%Ð%Ð%Ð%ˆ>˜XÐ%Ñ%Ô%Õ%Ô%ˆ>Ñ%Ô%Õ%Ô%˜XÑ%Ô%Ð%Ð%Ñ%Ð%Ð%Ð%Ð%Ð%Ñ%Ð%Õ%Õ%Ô%Ð%Ñ%Ô%Ñ%Ô%Ð%Ð%Ð%Ð%Ð%Ð%Ð%Ø�Œ?Ð˜aÐˆ?˜aÒÐÐÐÕÔÐÐÐÐˆ?˜aÐÑÔÕÔˆ?ÑÔÕÔ˜aÑÔÐÐÑÐÐÐÐÐÑÐÕÕÔÐÑÔÑÔÐÐÐÐÐÐÐØÐ!Ô"Ð' aÐ'Ð" aÒ'Ð'Ð'Ð'Õ'Ô'Ð'Ð'Ð'Ð'Ð" aÐ'Ñ'Ô'Õ'Ô'Ð"Ñ'Ô'Õ'Ô' aÑ'Ô'Ð'Ð'Ñ'Ð'Ð'Ð'Ð'Ð'Ñ'Ð'Õ'Õ'Ô'Ð'Ñ'Ô'Ñ'Ô'Ð'Ð'Ð'Ð'Ð'Ð'Ð'Ø�ÔÐ$ 1Ð$Ð 1Ò$Ð$Ð$Ð$Õ$Ô$Ð$Ð$Ð$Ð$Ð 1Ð$Ñ$Ô$Õ$Ô$ÐÑ$Ô$Õ$Ô$ 1Ñ$Ô$Ð$Ð$Ñ$Ð$Ð$Ð$Ð$Ð$Ñ$Ð$Õ$Õ$Ô$Ð$Ñ$Ô$Ñ$Ô$Ð$Ð$Ð$Ð$Ð$Ð$Ð$Ø�ÔÐ'˜xÐ'Ð˜xÒ'Ð'Ð'Ð'Õ'Ô'Ð'Ð'Ð'Ð'Ð˜xÐ'Ñ'Ô'Õ'Ô'ÐÑ'Ô'Õ'Ô'˜xÑ'Ô'Ð'Ð'Ñ'Ð'Ð'Ð'Ð'Ð'Ñ'Ð'Õ'Õ'Ô'Ð'Ñ'Ô'Ñ'Ô'Ð'Ð'Ð'Ð'Ð'Ð'Ð'Ð'Ð's   Ì,MÍMÍMc                 ó$  ‡— | dz  }|                      ¦   «          |dz                       d¦  «         t          d¦  «        }t          d¦  «        }d|_        t	          dddi d	d
dgid¦  «        t	          dddi d	d
dgid¦  «        gŠd|_        d|_        |                     t          dˆfd„¦  «         | dz  }t          ||g¦  «        }t          ||¦  «         |j        |j        ddt          |¦  «        dœ}dt          |dz  ¦  «        t          |¦  «        ddgdd|idœ}| dz  }	|	                     t          j        |¦  «        ¦  «         t          j        }
dh} |
|	||||¦  «        }dh}t          |¦  «        }||k    }|�s-t!          j        d|fd||f¦  «        dt%          j        ¦   «         v st!          j        t          ¦  «        rt!          j        t          ¦  «        ndt!          j        |
¦  «        dt%          j        ¦   «         v st!          j        |	¦  «        rt!          j        |	¦  «        nddt%          j        ¦   «         v st!          j        |¦  «        rt!          j        |¦  «        nddt%          j        ¦   «         v st!          j        |¦  «        rt!          j        |¦  «        nddt%          j        ¦   «         v st!          j        |¦  «        rt!          j        |¦  «        ndt!          j        |¦  «        t!          j        |¦  «        dt%          j        ¦   «         v st!          j        t          ¦  «        rt!          j        t          ¦  «        ndt!          j        |¦  «        t!          j        |¦  «        dœz  }d d!|iz  }t-          t!          j        |¦  «        ¦  «        ‚d x}
x}x}x}x}}t1          j        t4          d"¬#¦  «        5  t          j        |	|||ddh¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )$Nrh   ri   rj   r   rš   úg-valúg-trainÚdrm   r   r   zsource-trainz
source-valro   c                 ó   •— ‰dddœi fS )Nr   )r‡  r†  rq   rr   s    €r'   ru   zPtest_manual_validation_manifest_binds_only_heldout_user_labels.<locals>.<lambda>J  s   ø€ Ø˜W¨wÐ7Ð7¸ð>=€ r)   rv   r   rw   Ú1explicit_user_confirmed_manual_validation_holdoutr'  ra   )r{   r|   r}   r[  Úvalidation_frame_idsÚvalidation_framesr€   zhuman_validation_manifest.jsonr4   )z°%(py10)s
{%(py10)s = %(py2)s
{%(py2)s = %(py0)s.validate_human_validation_manifest
}(%(py3)s, %(py4)s, %(py5)s, %(py6)s, %(py8)s)
} == %(py16)s
{%(py16)s = %(py12)s(%(py14)s)
}r   r�   r‚   rƒ   r„   )r7   r:   r8   r;   r9   r<   r=   r>   r…   r†   r‡   zassert %(py18)sÚpy18zoverlaps trainingrA   )rŠ   r‹   r(   rx   r   r#   rŒ   r   r   r   r
   r   rŽ   r�   Ú"validate_human_validation_manifestr„   rG   rH   rI   rJ   rK   rL   rM   rN   rO   rP   rQ   )r‘   r’   rh   r   rš   r“   rƒ   r”   r‚   r�   rS   rX   rY   r•   Ú@py_assert15r[   r—   Ú@py_format19rt   s                     @r'   Ú>test_manual_validation_manifest_binds_only_heldout_user_labelsr‘  >  s  ø€ Ø˜
Ñ"€HØ‡N‚NÑÔÐØˆoÑ×)Ò)¨$Ñ/Ô/Ð/Ý�7‰OŒO€EÝ
�‰-Œ-€CØ€C„Lå�G˜Y¨¨R°&¸2¸r¸(Ð1CÀ^ÑTÔTÝ�E˜7 C¨¨f°r¸2°hÐ-?ÀÑNÔNðP€Gð  .€EÔØ)€CÔØ×Ò�˜ð 1=ð 1=ð 1=ð 1=ñ >ô >ð >àÐ.Ñ.€KÝ˜E 3˜<Ñ(Ô(€FÝˆv�{Ñ#Ô#Ð#Øœ¸SÔ=SØ EÕ@QÐRUÑ@VÔ@VðXð X€EàKÝ& x°Ñ'?Ñ@Ô@Ý&1°+Ñ&>Ô&>ÐYbØ!& ¸aÐSXÐZ_ÐR`ðbð b€Hð Ð=Ñ=€MØ×Ò�TœZ¨Ñ1Ô1Ñ2Ô2Ð2ÝÔ3ð 3Ø�)ð3Ð3Ð3°MÀ8ÈVØ�)ñô ð 3Ø+0¨'ð3Ý )¨'Ñ 2Ô 2ð3ð Ø 2ò3ð 3ð 3ñ 3õ 3Ü!2ð3ð 3ð 3ð 3ð Ø 2ð3ñ 3ô 3ð 3õ 3Ü,2ñ3ô 3ð 3ð 3õ 3Ü2õ ñ 3ô 3ð 3õ 3Ü)2õ ñ 3ô 3ð 3ð 3õ 3Ü)2ð 4ñ 3ô 3ð 3õ 3Ü,2ñ3ô 3ð 3ð 3õ 3Ü2ð 5Bñ 3ô 3ð 3õ 3Ü)2ð 5Bñ 3ô 3ð 3ð 3ð 3õ 3Ü,2ñ3ô 3ð 3ð 3õ 3Ü2ð DLñ 3ô 3ð 3õ 3Ü)2ð DLñ 3ô 3ð 3ð 3ð 3õ 3Ü,2ñ3ô 3ð 3ð 3õ 3Ü2ð NTñ 3ô 3ð 3õ 3Ü)2ð NTñ 3ô 3ð 3ð 3ð 3õ 3Ü,2ñ3ô 3ð 3ð 3õ 3Ü2ˆñ3ô 3ð 3õ 3Ü)2ˆñ3ô 3ð 3ð 3õ 3Ü)2�)ñ3ô 3õ 3Ü)2ðñ 3ô 3ð 3õ 3Ü,2ñ3ô 3ð 3ð 3õ 3Ü2¥	ñ3ô 3ð 3õ 3Ü)2¥	ñ3ô 3ð 3ð 3õ 3Ü)2¨'ñ3ô 3õ 3Ü)2Ð 2ñ3ô 3ð 3ð 3ñ 3ð 3ð 3ð 3ð 3ð 3ñ 3ð 3õ 3õ 3Ü2ð3ñ 3ô 3ñ 3ô 3ð 3ð 3ð 3ð 3ð 3ð 3ð 3ð 3ð 3ð 3ð 3ð 3ð 3å	Œ•zÐ)<Ð	=Ñ	=Ô	=ð (ð (ÝÔ0°ÀÈ&Ø�w Ð&ñ	(ô 	(ð 	(ð(ð (ð (ñ (ô (ð (ð (ð (ð (ð (ð (ð (øøøð (ð (ð (ð (ð (ð (s   ÏPÐP	ÐP	c                  ó¸  — d„ t          dd¦  «        D ¦   «         } t          j        | d¦  «        }|d         }d}||k    }|slt          j        d|fd||f¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }d	d
|iz  }t          t          j        |¦  «        ¦  «        ‚d x}x}}|d         }d}||k    }|slt          j        d|fd||f¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }d	d
|iz  }t          t          j        |¦  «        ¦  «        ‚d x}x}}|d         }d}d}||z  }||k    }|st          j        d|fd||f¦  «        t          j        |¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }	dd|	iz  }
t          t          j        |
¦  «        ¦  «        ‚d x}x}x}x}}d S )Nc                 ó   — g | ]}d |i‘ŒS )Úepoch_secondsrq   )r¦   Úsecondss     r'   r¨   zHtest_runtime_estimate_uses_first_ten_recorded_epochs.<locals>.<listcomp>_  s   € ÐDÐDÐD¨7ˆ_˜gÐ&ÐDÐDÐDr)   rb   r   i,  Úmeasured_epochsr4   r©   rª   r¬   r<   Úmedian_seconds_per_epochg      -@Úestimated_remaining_secondsi"  )z%(py1)s == (%(py4)s * %(py6)s))r«   r;   r<   rñ   rò   )rÝ   r   Ú_epoch_timing_estimaterG   rH   rL   rM   rN   )r®   r6   r°   rV   rR   r±   r²   rW   rX   rþ   rÿ   s              r'   Ú4test_runtime_estimate_uses_first_ten_recorded_epochsrš  ^  s[  € ØDÐDµe¸BÀ±m´mÐDÑDÔD€DÝÔ)¨$°Ñ4Ô4€FØÐ#Ô$Ð*¨Ð*Ð$¨Ò*Ð*Ð*Ð*Õ*Ô*Ð*Ð*Ð*Ð*Ð$¨Ð*Ñ*Ô*Õ*Ô*Ð$Ñ*Ô*Õ*Ô*¨Ñ*Ô*Ð*Ð*Ñ*Ð*Ð*Ð*Ð*Ð*Ñ*Ð*Õ*Õ*Ô*Ð*Ñ*Ô*Ñ*Ô*Ð*Ð*Ð*Ð*Ð*Ð*Ð*ØÐ,Ô-Ð5°Ð5Ð-°Ò5Ð5Ð5Ð5Õ5Ô5Ð5Ð5Ð5Ð5Ð-°Ð5Ñ5Ô5Õ5Ô5Ð-Ñ5Ô5Õ5Ô5°Ñ5Ô5Ð5Ð5Ñ5Ð5Ð5Ð5Ð5Ð5Ñ5Ð5Õ5Õ5Ô5Ð5Ñ5Ô5Ñ5Ô5Ð5Ð5Ð5Ð5Ð5Ð5Ð5ØÐ/Ô0Ð<°CÐ<¸Ð<°C¸±HÐ<Ð0°HÒ<Ð<Ð<Ð<Õ<Ô<Ð<Ð<Ð<Ð<Ð0°HÐ<Ñ<Ô<Õ<Ô<Ð0Ñ<Ô<Õ<Ô<°CÑ<Ô<Õ<Ô<¸Ñ<Ô<Ð<Ð<Ñ<Ð<Ð<Ð<Ð<Ð<Ñ<Ð<Õ<Õ<Ô<Ð<Ñ<Ô<Ñ<Ô<Ð<Ð<Ð<Ð<Ð<Ð<Ð<Ð<Ð<Ð<Ð<Ð<Ð<r)   )r   r   )/ÚbuiltinsrI   Ú_pytest.assertion.rewriteÚ	assertionÚrewriterG   Údataclassesr   rŽ   r;  rO   rx  r   Úpallet.annotationr   r   r   r	   r
   r   Úpallet.data.manifestr   r:  r   Úpallet.experiments.datasetr   Úpallet.data.loaderr   Úpallet.human_labelingÚhuman_labelingr   r(   r^   ÚmarkÚparametrizeÚfloatrf   r˜   rž   r³   r½   rè   r   rP  r„  r‘  rš  rq   r)   r'   ú<module>r©     si  ðØ  € € € € € € € € € € € € Ð Ð Ð Ð Ð Ð Ø €€€Ø €€€à €€€Ø Ð Ð Ð Ð Ð à lÐ lÐ lÐ lÐ lÐ lÐ lÐ lÐ lÐ lÐ lÐ lÐ lÐ lÐ lÐ lØ ,Ð ,Ð ,Ð ,Ð ,Ð ,Ø ,Ð ,Ð ,Ð ,Ð ,Ð ,Ø 4Ð 4Ð 4Ð 4Ð 4Ð 4Ø 1Ð 1Ð 1Ð 1Ð 1Ð 1Ø %Ð %Ð %Ð %Ð %Ð %ðQ°¸eð Qð Qð Qð Qð Qð6ð 6ð 6ð „×Ò˜Ø¨ÀÀAÀÈÈRÈÐ?QÐRÐRØ i¸QÀ¸FÀRÈÀHÐ;MÐNÐNØ k¸u¸uÀU¹|¼|ÈQÐ>OÐRTÐVXÐQYÐ=ZÐ[Ð[ð#ñ ô ð
>ð >ñô ð
>ð
Zð Zð Zð.bð bð bð(	Fð 	Fð 	FðTð Tð Tð" ð  ð  ð8;ð ;ð ;ð0Bdð Bdð BdðJN(ð N(ð N(ðb(ð (ð (ð@=ð =ð =ð =ð =r)   