§
    7˜¿j÷L  ã            
       ó€  — d dl mZ d dlZd dlZd dlZd dlmZ d dlmZm	Z	m
Z
mZmZmZ d dlmZ d dlmZ d dlmZ d dlmZ d dlmZ d#dddœd„Zd„ Zej                             dddddgddggdœddddgddggdœdd ed¦  «        dgddggdœg¦  «        d„ ¦   «         Zd„ Zd„ Z d„ Z!d„ Z"d„ Z#d„ Z$d„ Z%d „ Z&d!„ Z'd"„ Z(dS )$é    )ÚasdictN©ÚImage)ÚAnnotationSetÚBoxÚFrameAnnotationÚ
ProvenanceÚannotation_digestÚ
save_jsonl©ÚFrameRecord)Úfile_digest)ÚPalletDataset)ÚNormalizationStatsÚfÚtrainÚpos)ÚboxesÚstatusc                ó¤   — t          | d| › �ddd|t          |�|nt          dddd¦  «        g¦  «        |d	| › �t          d
d¬¦  «        g¬¦
  «
        S )Nzg-z
native.pcdé    é   é   é   é   é   úsource-ÚhumanÚuser_confirmed_archive_import©Úactor)r   r   ÚsplitÚsource_anchor_hashÚ
provenance)r   Úlistr   r	   )Úframe_idr"   r   r   s       útests/test_human_labeling.pyÚ_framer(      sw   € Ý˜8 _¨( _ _°lÀBÈØ�T¨5Ð+< % %Å3ÀqÈ!ÈRÐQSÑCTÔCTÐBUÑVÔVØÐ(<°(Ð(<Ð(<Ý˜wÐ.MÐNÑNÔNÐOðQñ Qô Qð Qó    c                  ó¬  — t          j        dddddgddggdœddddgddgddgddggdœgid	d
¦  «        } | t          dddd¦  «        t          dddd¦  «        gk    sJ ‚t          j        dg id	d
¦  «        g k    sJ ‚t          j        t
          d¬¦  «        5  t          j        dddddgddggdœgid	d
¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )NÚshapesÚpalletÚ	rectangleé   é   r   r   ©ÚlabelÚ
shape_typeÚpointsr   r   r   r   zoutside image©Úmatché   é!   é   )r   Ú_decode_rectanglesr   ÚpytestÚraisesÚ
ValueError)Úresults    r'   ÚCtest_anylabeling_rectangles_normalize_corner_order_and_check_boundsr>      s†  € ÝÔ% xØ¨+À2ÀrÀ(ÈQÐPQÈFÐASÐTÐTØ¨+À1ÀaÀ&È2ÈqÈ'ÐTVÐXZÐS[Ð^_ÐacÐ]dÐAeÐfÐfð2hð 'iàjlÐnpñrô r€Fð •c˜!˜Q  BÑ'Ô'­¨Q°°2°rÑ):Ô):Ð;Ò;Ð;Ð;Ð;ÝÔ# X¨r N°B¸Ñ;Ô;¸rÒAÐAÐAÐAÝ	Œ•z¨Ð	9Ñ	9Ô	9ð 6ð 6ÝÔ  (°xÈ{Ø˜A�w  R Ð)ð.+ð .+ð -,ð "-Ø.0°"ñ	6ô 	6ð 	6ð6ð 6ð 6ñ 6ô 6ð 6ð 6ð 6ð 6ð 6ð 6ð 6øøøð 6ð 6ð 6ð 6ð 6ð 6s   Â$C	Ã	CÃCÚshapeÚforkliftr-   é   é
   r0   r,   ÚpolygonÚnanc                 óœ   — t          j        t          ¦  «        5  t          j        d| gidd¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )Nr+   r   r   )r:   r;   r<   r   r9   )r?   s    r'   Ú:test_import_rejects_wrong_class_shape_and_nonfinite_pointsrF   "   s”   € õ 
Œ•zÑ	"Ô	"ð >ð >ÝÔ  (¨U¨GÐ!4°b¸"Ñ=Ô=Ð=ð>ð >ð >ñ >ô >ð >ð >ð >ð >ð >ð >ð >øøøð >ð >ð >ð >ð >ð >s   šAÁAÁAc           	      ó  ‡— | dz  }|                      ¦   «          |dz                       d¦  «         t          dddi ddd	gid
¦  «        gŠ|                     t          dˆfd„¦  «         | dz  }t          t          ¦   «         g¦  «        }t          ||¦  «         dd
ddt          |j	        d         ¦  «        dœ}dt          |dz  ¦  «        t          |¦  «        dgdd|idœ}| dz  }|                     t          j        |¦  «        ¦  «         t	          j        ||||¦  «        t          dh¦  «        k    sJ ‚d|d<   t          j        t"          d¬¦  «        5  t	          j        ||||¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )NÚprotocolúprotocol.jsonú{}r   úg-fÚallÚgridr   r   úsource-fÚload_protocolc                 ó   •— ‰ddii fS )NrK   r   © ©ÚpathÚrecordss    €r'   ú<lambda>zPtest_human_training_manifest_accepts_only_bound_train_snapshot.<locals>.<lambda>1   s   ø€ ¸gÈÈwÐGWÐY[Ð=\€ r)   úannotations.jsonlr   r   ©Úgroup_idr#   r"   r   r
   Ú.explicit_user_confirmed_manual_training_labelsrA   ©ÚkindÚprotocol_sha256Úannotation_snapshot_sha256Útraining_frame_idsÚtraining_framesÚsource_frameszhuman_training_manifest.jsonÚotherr#   úidentity/label mismatchr4   )ÚmkdirÚ
write_textr   Úsetattrr   r   r(   r   r
   Úframesr   ÚjsonÚdumpsÚ validate_human_training_manifestÚ	frozensetr:   r;   r<   )	Útmp_pathÚmonkeypatchrH   Úlabels_pathÚlabelsÚentryÚmanifestÚmanifest_pathrT   s	           @r'   Ú>test_human_training_manifest_accepts_only_bound_train_snapshotrr   ,   s  ø€ Ø˜
Ñ"€HØ‡N‚NÑÔÐØˆoÑ×)Ò)¨$Ñ/Ô/Ð/Ý˜3  u¨b°6¸BÀ¸8Ð2DÀjÑQÔQÐR€GØ×Ò�˜Ð0\Ð0\Ð0\Ð0\Ñ]Ô]Ð]ØÐ.Ñ.€KÝ�F™HœH˜:Ñ&Ô&€FÝˆv�{Ñ#Ô#Ð#Ø°jÈ7ØÕ.?ÀÄÈcÔ@RÑ.SÔ.SðUð U€EàHÝ& x°Ñ'?Ñ@Ô@Ý&1°+Ñ&>Ô&>Ø"˜e¸ÈSÐRWÈLðZð Z€Hð Ð;Ñ;€MØ×Ò�TœZ¨Ñ1Ô1Ñ2Ô2Ð2ÝÔ1°-ÀÈ6ÐS[Ñ\Ô\Õ`iÐknÐjoÑ`pÔ`pÒpÐpÐpÐpØ")€EÐ
ÑÝ	Œ•zÐ)BÐ	CÑ	CÔ	Cð Zð ZÝÔ.¨}¸hÈÐPXÑYÔYÐYðZð Zð Zñ Zô Zð Zð Zð Zð Zð Zð Zð Zøøøð Zð Zð Zð Zð Zð Zs   ÅFÆFÆFc                 óX  ‡— | dz  }|                      ¦   «          |dz                       d¦  «         t          d¬¦  «        }t          dddi d	d
dgid¦  «        gŠ|                     t
          dˆfd„¦  «         | dz  }t          |g¦  «        }t          ||¦  «         dt          |dz  ¦  «        t          |¦  «        dgddddddt          |¦  «        dœidœ}t          j        t          d¬¦  «        5  t          j        | dz  |||¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )NrH   rI   rJ   Úval©r"   r   rK   rL   rM   r   r   rN   rO   c                 ó   •— ‰ddii fS )NrK   rt   rQ   rR   s    €r'   rU   zGtest_human_training_manifest_cannot_attest_val_labels.<locals>.<lambda>I   s   ø€ ¸gÈÈuÀ~ÐWYÐ=Z€ r)   rV   rY   rA   r   r   rW   rZ   rb   r4   z
human.json)rc   rd   r(   r   re   r   r   r   r   r
   r:   r;   r<   ri   )rk   rl   rH   Úframerm   rn   rp   rT   s          @r'   Ú5test_human_training_manifest_cannot_attest_val_labelsrx   C   sÀ  ø€ Ø˜
Ñ"€HØ‡N‚NÑÔÐØˆoÑ×)Ò)¨$Ñ/Ô/Ð/Ý˜ÐÑÔ€EÝ˜3  u¨b°6¸BÀ¸8Ð2DÀjÑQÔQÐR€GØ×Ò�˜Ð0ZÐ0ZÐ0ZÐ0ZÑ[Ô[Ð[ØÐ.Ñ.€KÝ˜E˜7Ñ#Ô#€FÝˆv�{Ñ#Ô#Ð#ØHÝ& x°Ñ'?Ñ@Ô@Ý&1°+Ñ&>Ô&>Ø"˜e¸Ø¨EÈØ¨ÕDUÐV[ÑD\ÔD\ð ^ð  ^ð _ð	`ð `€Hõ 
Œ•zÐ)BÐ	CÑ	CÔ	Cð bð bÝÔ.¨x¸Ñ/DÀhÐPVÐX`ÑaÔaÐaðbð bð bñ bô bð bð bð bð bð bð bð bøøøð bð bð bð bð bð bs   Ã7DÄD#Ä&D#c            	      óè  — t          t          ¦   «         t          dd¬¦  «        g¦  «        } t          dddi ddd	gid
¦  «        }t          dddi ddd	gid¦  «        }t          ||g| t	          dd¦  «        ddh¬¦  «        }d„ |j        D ¦   «         dgk    sJ ‚t          j        t          d¬¦  «        5  t          |g| t	          dd¦  «        ddh¬¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )NÚvrt   ru   r   rK   rL   rM   r   r   rN   zg-vzsource-vrA   T)Úrequire_reviewÚmanual_training_idsc                 ó"   — g | ]\  }}|j         ‘ŒS rQ   ©r&   ©Ú.0Ú_rw   s      r'   ú
<listcomp>zWtest_dataset_uses_explicit_manual_train_eligibility_but_not_for_val.<locals>.<listcomp>]   s   € Ð8Ð8Ð8™x˜q %ˆEŒNÐ8Ð8Ð8r)   znon-train framer4   ©	r   r(   r   r   r   Úrowsr:   r;   r<   )rn   r   rt   Údatasets       r'   ÚCtest_dataset_uses_explicit_manual_train_eligibility_but_not_for_valr†   W   s~  € Ý�F™HœH¥f¨S¸Ð&>Ñ&>Ô&>Ð?Ñ@Ô@€FÝ˜˜U E¨2°¸¸R¸Ð/AÀ:ÑNÔN€EÝ
�c˜5 %¨¨f°r¸2°hÐ-?ÀÑ
LÔ
L€CÝ˜U C˜L¨&Õ2DÀQÈÑ2JÔ2JØ+/ÀcÀUðLñ Lô L€Gà8Ð8¨7¬<Ð8Ñ8Ô8¸S¸EÒAÐAÐAÐAÝ	Œ•zÐ):Ð	;Ñ	;Ô	;ð Fð FÝ�s�e˜VÕ%7¸¸1Ñ%=Ô%=Ø%)À¸uð	Fñ 	Fô 	Fð 	FðFð Fð Fñ Fô Fð Fð Fð Fð Fð Fð Fð Føøøð Fð Fð Fð Fð Fð Fs   Â5%C'Ã'C+Ã.C+c            	      ój  — t          t          d¦  «        t          d¦  «        g¦  «        } t          dddi dddgid¦  «        }t          dd	di dddgid
¦  «        }t          |g| t	          dd¦  «        ddhdhd¬¦  «        }t          |g| t	          dd¦  «        ddhdhd¬¦  «        }d„ |j        D ¦   «         dgk    sJ ‚d„ |j        D ¦   «         dgk    sJ ‚t          j        t          d¬¦  «        5  t          |g| t	          dd¦  «        ddhd¬¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )NÚtrÚvazg-trrL   rM   r   r   z	source-trzg-vaz	source-varA   Tr   )r{   r|   Úmanual_validation_idsÚmanual_rolert   c                 ó"   — g | ]\  }}|j         ‘ŒS rQ   r~   r   s      r'   r‚   zUtest_manual_validation_dataset_is_allowed_only_in_validation_role.<locals>.<listcomp>m   s   € Ð9Ð9Ð9™x˜q %ˆEŒNÐ9Ð9Ð9r)   c                 ó"   — g | ]\  }}|j         ‘ŒS rQ   r~   r   s      r'   r‚   zUtest_manual_validation_dataset_is_allowed_only_in_validation_role.<locals>.<listcomp>n   s   € Ð;Ð;Ð;™x˜q %ˆEŒNÐ;Ð;Ð;r)   z
wrong roler4   )r{   rŠ   r‹   rƒ   )rn   r   rt   ÚtrainingÚ
validations        r'   ÚAtest_manual_validation_dataset_is_allowed_only_in_validation_roler�   c   sÚ  € Ý�F 4™LœL­&°©,¬,Ð7Ñ8Ô8€FÝ˜˜f e¨R°&¸2¸r¸(Ð1CÀ[ÑQÔQ€EÝ
�d˜F E¨2°¸¸R¸Ð/AÀ;Ñ
OÔ
O€CÝ˜e˜W fÕ.@ÀÀAÑ.FÔ.FØ°$°ÐPTÈvØðñ ô €Hõ  ˜u fÕ.@ÀÀAÑ.FÔ.FØ°$°ÐPTÈvØðñ ô €Jð :Ð9¨8¬=Ð9Ñ9Ô9¸d¸VÒCÐCÐCÐCØ;Ð;¨:¬?Ð;Ñ;Ô;À¸vÒEÐEÐEÐEÝ	Œ•z¨Ð	6Ñ	6Ô	6ð Tð TÝ�s�e˜VÕ%7¸¸1Ñ%=Ô%=Ø¸°vÈ7ð	Tñ 	Tô 	Tð 	TðTð Tð Tñ Tô Tð Tð Tð Tð Tð Tð Tð Tøøøð Tð Tð Tð Tð Tð Ts   Ã5&D(Ä(D,Ä/D,c                  ó   ‡— g } i }dD ]Í\  }}t          d¦  «        D ]¸}|› d|› �}|dk    r|dk    rdnd}t          d¦  «        D ]�}|› d	|› �}t          |||dk    rg nt          dd
dd¦  «        g¬¦  «        }	||	_        ||	_        t          dd¬¦  «        g|	_        |                      |	¦  «         t          |||i ddg|dœ|	j	        ¦  «        ||<   Œ�Œ¹ŒÎt          j        | |dd¬¦  «        }
t          j        | |dd¬¦  «        }|
|k    sJ ‚|
\  Š}}ˆfd„| D ¦   «         }t          ‰¦  «        dk    sJ ‚t          |¦  «        ddhk    sJ ‚t          d„ |D ¦   «         ¦  «        rJ ‚t          |¦  «        dk    sJ ‚d S )N))Úd1Úa)Úd2Úbr6   z-gr•   r   Únegativer   r   z-fr   r   r   ©r   r   r   r   r    r   r   ©rM   Ú	domain_idé*   g      Ð?©ÚseedÚfractionc                 ó&   •— g | ]}|j         ‰v ¯|‘ŒS rQ   r~   ©r€   rw   Úval_idss     €r'   r‚   zftest_group_holdout_is_deterministic_domain_stratified_and_keeps_negatives_in_train.<locals>.<listcomp>‰   s%   ø€ ÐIÐIÐI˜E¨u¬~ÀÐ/HÐ/H�%Ð/HÐ/HÐ/Hr)   r’   r”   c              3   ó,   K  — | ]}|j         d k    V — ŒdS ©r–   N©r   ©r€   rw   s     r'   ú	<genexpr>zetest_group_holdout_is_deterministic_domain_stratified_and_keeps_negatives_in_train.<locals>.<genexpr>Œ   s)   è è € ÐFÐF°%�5”< :Ò-ÐFÐFÐFÐFÐFÐFr)   )Úranger(   r   rX   Údomainr	   r$   Úappendr   r#   r   Ú_choose_group_holdoutÚlenÚsetÚany)rf   rT   r§   ÚprefixÚgroup_indexrX   r   Úframe_indexr&   rw   ÚfirstÚsecondÚ
val_groupsÚ	by_domainÚ
val_framesr    s                  @r'   ÚRtest_group_holdout_is_deterministic_domain_stratified_and_keeps_negatives_in_trainrµ   t   s   ø€ Ø€FØ€GØ4ð Wð W‰ˆ�Ý  ™8œ8ð 	Wð 	WˆKØ Ð1Ð1 KÐ1Ð1ˆHØ#)¨S¢= =°[ÀAÒ5EÐ5E�Z�ZÈ5ˆFÝ$ Q™xœxð 	Wð 	W�Ø&Ð7Ð7¨+Ð7Ð7�Ý˜x°Ø &¨*Ò 4Ð 4˜"˜"½3¸qÀ!ÀRÈÑ;LÔ;LÐ:MðOñ Oô O�à!)�”Ø%�”Ý$.¨wÐ>]Ð$^Ñ$^Ô$^Ð#_�Ô Ø—’˜eÑ$Ô$Ð$Ý$/°¸(ÀFÈBØ  "˜X°FÐ;Ð;¸UÔ=Uñ%Wô %W�˜Ñ!Ð!ð	Wð	Wõ Ô'¨°¸bÈ3ÐOÑOÔO€EÝÔ(¨°¸rÈCÐPÑPÔP€FØ�FŠ?ˆ?ˆ?ˆ?Ø%*Ñ"€GˆZ˜ØIÐIÐIÐI VÐIÑIÔI€JÝˆw‰<Œ<˜1ÒÐÐÐÝˆy‰>Œ>˜d D˜\Ò)Ð)Ð)Ð)ÝÐFÐF¸:ÐFÑFÔFÑFÔFÐFÐFÐFÝˆz‰?Œ?˜aÒÐÐÐÐÐr)   c                  óè  ‡
— g i }} t          g d¢¦  «        D ]�\  }}d|› �}t          d|› �||dk    rg nt          dddd¦  «        g¬	¦  «        }||_        d
|_        d|› �|_        |                      |¦  «         t          |j        |d
i ddgd
dœ|j        ¦  «        ||j        <   Œ‘t          j
        | |dd¬¦  «        \  Š
}}ˆ
fd„| D ¦   «         }ˆ
fd„| D ¦   «         }	t          |¦  «        dk    sJ ‚t          d„ |D ¦   «         ¦  «        dk    sJ ‚t          d„ |	D ¦   «         ¦  «        dk    sJ ‚d„ |D ¦   «                              d„ |	D ¦   «         ¦  «        sJ ‚|d
         d         dk    sJ ‚d S )N)r–   r–   r   r   Úgr   r–   r   r   r   r   r—   úcamera-ar   r   r   r˜   rš   g      à?r›   c                 ó&   •— g | ]}|j         ‰v ¯|‘ŒS rQ   r~   rŸ   s     €r'   r‚   zXtest_group_holdout_places_negatives_in_both_splits_when_groups_allow.<locals>.<listcomp>ž   s%   ø€ Ð
BÐ
BÐ
B�U¨¬¸'Ð(AÐ(Aˆ5Ð(AÐ(AÐ(Ar)   c                 ó&   •— g | ]}|j         ‰v¯|‘ŒS rQ   r~   rŸ   s     €r'   r‚   zXtest_group_holdout_places_negatives_in_both_splits_when_groups_allow.<locals>.<listcomp>Ÿ   s%   ø€ ÐHÐHÐH�u¨%¬.ÀÐ*GÐ*GˆUÐ*GÐ*GÐ*Gr)   c              3   ó,   K  — | ]}|j         d k    V — ŒdS r¢   r£   r¤   s     r'   r¥   zWtest_group_holdout_places_negatives_in_both_splits_when_groups_allow.<locals>.<genexpr>¡   s)   è è € Ð;Ð;¨eˆuŒ|˜zÒ)Ð;Ð;Ð;Ð;Ð;Ð;r)   rA   c              3   ó,   K  — | ]}|j         d k    V — ŒdS r¢   r£   r¤   s     r'   r¥   zWtest_group_holdout_places_negatives_in_both_splits_when_groups_allow.<locals>.<genexpr>¢   s)   è è € Ð=Ð=¨eˆuŒ|˜zÒ)Ð=Ð=Ð=Ð=Ð=Ð=r)   c                 ó   — h | ]	}|j         ’Œ
S rQ   ©rX   r¤   s     r'   ú	<setcomp>zWtest_group_holdout_places_negatives_in_both_splits_when_groups_allow.<locals>.<setcomp>£   s   € Ð,Ð,Ð,˜uˆEŒNÐ,Ð,Ð,r)   c                 ó   — h | ]	}|j         ’Œ
S rQ   r¾   r¤   s     r'   r¿   zWtest_group_holdout_places_negatives_in_both_splits_when_groups_allow.<locals>.<setcomp>¤   s   € Ð+Ð+Ð+˜EˆŒÐ+Ð+Ð+r)   Úvalidation_negatives)Ú	enumerater(   r   rX   r§   r#   r¨   r   r&   r   r©   rª   ÚsumÚ
isdisjoint)rf   rT   Úir   rX   rw   r²   Úcountsrt   r   r    s             @r'   ÚDtest_group_holdout_places_negatives_in_both_splits_when_groups_allowrÇ   �   s  ø€ Ø˜"ˆG€FÝÐEÐEÐEÑFÔFð 	Sð 	S‰	ˆˆ6Ø�q�7�7ˆÝ�w˜1�w�w vØ#)¨ZÒ#7Ð#7˜R˜R½cÀ!ÀQÈÈBÑ>OÔ>OÐ=PðRñ Rô Rˆà!ˆŒØ!ˆŒØ#0¨Q = =ˆÔ Ø�Š�eÑÔÐÝ"-¨e¬n¸hÈ
ÐTVØ˜"�X¨JÐ7Ð7¸Ô9Qñ#Sô #Sˆ�”ÑÐå"'Ô"=Ø�˜b¨2ð#/ñ #/ô #/Ñ€GˆZ˜à
BÐ
BÐ
BÐ
B˜fÐ
BÑ
BÔ
B€CØHÐHÐHÐH ÐHÑHÔH€EÝˆs‰8Œ8�qŠ=ˆ=ˆ=ˆ=ÝÐ;Ð;°sÐ;Ñ;Ô;Ñ;Ô;¸qÒ@Ð@Ð@Ð@ÝÐ=Ð=°uÐ=Ñ=Ô=Ñ=Ô=ÀÒBÐBÐBÐBØ,Ð,¨Ð,Ñ,Ô,×7Ò7Ø+Ð+ UÐ+Ñ+Ô+ñ-ô -ð -ð -ð -à�*ÔÐ4Ô5¸Ò:Ð:Ð:Ð:Ð:Ð:r)   c                 ó¦  ‡‡— | dz  }|                      ¦   «          |dz                       d¦  «         ddg}d„ |D ¦   «         Šd„ ‰D ¦   «         Š|                     t          dˆˆfd	„¦  «         g }dd
ddddgddggdœgfddg ffD �]R\  }}}| d|› �z  }|dz  |› d�z  }	|	j                              d¬¦  «         |d|› �d|› �dœ}
ddddd|› d�d |||
i}|	                     t          j        |¦  «        ¦  «         |dz  |› d�z  }t          j        d!d"¦  «         	                    |¦  «         |d|› �d#d$d|› �d%|› d�d%|› d�d&|› d'�d&|› d(�d)œ	}|d
k    r)| 
                    ddgd*t          |	¦  «        d+œ¦  «         n4| 
                    t          |	¦  «        d,t          |¦  «        id-œ¦  «         |d.z                       t          j        |¦  «        d/z   ¦  «         d0d1lm} |d
k    rd2nd3}d4d5t          |d.z  ¦  «        d6œ}d7t          |dz  ¦  «        i||d
k    rd8nd9<    |||z  |¦  «         | |› d:�z  }ddddd|› d�d |||
i}t          j        |d;¦  «        5 }|                     |› d�t          j        |¦  «        ¦  «         d d d ¦  «         n# 1 swxY w Y   |                     t%          |¦  «        t%          |¦  «        d5d<œ¦  «         �ŒT| d=z  }d>ddd|dd5d5d5dd?œd@œ}|                     t          j        |¦  «        ¦  «         t          j        ||| dAz  ¬B¦  «        }t          j        | dCz  ¦  «        }|dD         dk    sJ ‚|j        d         j        dEk    sJ ‚|j        d         j        dFk    sJ ‚|j        d         j        t1          dddGdH¦  «        gk    sJ ‚|j        d         j        d0         j        dIk    sJ ‚d S )JNrH   rI   rJ   z	raw-framezproposal-framec                 óJ   — g | ] }t          |d |› �di dddgid|› �¦  «        ‘Œ!S )úgroup-rL   rM   r   r   r   r   )r€   Úfids     r'   r‚   zZtest_import_manual_accepts_multiple_export_schemas_and_empty_negatives.<locals>.<listcomp>­   sP   € ð %ð %ð %Øõ ˜3 ¨  °°r¸FÀRÈÀHÐ;MÈÐY\ÈÈÑ_Ô_ð %ð %ð %r)   c                 ó   — i | ]
}|j         d “ŒS )r   r¾   )r€   Úrecords     r'   ú
<dictcomp>zZtest_import_manual_accepts_multiple_export_schemas_and_empty_negatives.<locals>.<dictcomp>¯   s   € ÐBÐBÐB°�6”? GÐBÐBÐBr)   rO   c                 ó   •— ‰‰i fS )NrQ   )r�   ÚassignmentsrT   s    €€r'   rU   zXtest_import_manual_accepts_multiple_export_schemas_and_empty_negatives.<locals>.<lambda>°   s   ø€ ¸7ÀKÐQSÐ:T€ r)   Úpallet_exportr,   r-   r   r   r.   r/   r0   Úpallet_predictionr   zimages/trainz.jsonT©ÚparentsrÊ   )r&   r#   rX   Ú
imageWidthr   ÚimageHeightr   Ú	imagePathz.pngr+   ÚL©r   r   r   r¸   zimages/train/zauxiliary/train/z
.depth.pngz.validity.png)	r&   rX   r"   r§   r#   Ú
annotationÚimageÚdepthÚvalidityÚproposal)ÚsizeÚsource_statusÚbaseline_json_sha256rÛ   )Úbaseline_annotation_sha256Úview_sha256úframes.jsonlú
r   ©Ú
write_jsonúmanifest.jsonúpackage_manifest.jsonzsource-fixturerA   )r[   rf   Úframes_index_sha256r\   ÚbindingÚprediction_bindingz.zipÚw)ÚarchiveÚsource_exportÚexpected_frameszcorrections.jsonÚ,user_confirmed_manual_correction_archives_v1)rf   Úpositive_framesÚnegative_framesr   Úgroups)r[   Úall_frames_reviewed_by_userÚ0unchanged_proposals_accepted_after_manual_reviewÚ'empty_frames_confirmed_negative_by_userÚsourcesÚexpected_totalzmanual-output)Úcorrections_configrH   Úoutputz-manual-output/inputs/manual_annotations.jsonlÚframe_countr   r–   r   r   r   )rc   rd   re   r   Úparentrg   rh   r   ÚnewÚsaveÚupdater   Úpallet.data.protocolrç   ÚzipfileÚZipFileÚwritestrr¨   ÚstrÚ!import_manual_correction_archivesÚ
load_jsonlrf   r   r   r   r$   r!   )rk   rl   rH   Ú	frame_idsÚarchivesrË   ÚschemaÚreviewed_shapesÚsourcerÚ   ÚmetadataÚbaselineÚ
image_pathÚrowrç   Úmanifest_namerp   rî   Ú
correctionÚbundleÚconfig_pathÚconfigr=   ÚsnapshotrÐ   rT   s                           @@r'   ÚFtest_import_manual_accepts_multiple_export_schemas_and_empty_negativesr  ¨   s¤  øø€ Ø˜
Ñ"€HØ‡N‚NÑÔÐØˆoÑ×)Ò)¨$Ñ/Ô/Ð/ØÐ.Ð/€Ið%ð %Ø#ð%ñ %ô %€GàBÐB¸'ÐBÑBÔB€KØ×Ò�˜Ð0TÐ0TÐ0TÐ0TÐ0TÑUÔUÐUØ€Hà˜/°hÈkØ˜q˜6 B¨ 8Ð,ð-.ð -.ð ,/ð 0àÐ2°BÐ7ð)9ð '0ñ '0Ñ$ˆˆV�_ð ˜/ C˜/˜/Ñ)ˆØ˜NÑ*¨c¨=¨=¨=Ñ8ˆ
ØÔ×Ò¨ÐÑ-Ô-Ð-Ø #¸?ÀS¸?¸?Ø .¨  ð0ð 0ˆà  " m°R¸ÈÀlÀlÀlØ�o v¨xð9ˆà×Ò�dœj¨Ñ2Ô2Ñ3Ô3Ð3Ø˜NÑ*¨c¨<¨<¨<Ñ7ˆ
ÝŒ	�#�xÑ Ô ×%Ò% jÑ1Ô1Ð1Ø¨N°S¨N¨NÀWØ ¸À#¸¸Ø4¨#Ð4Ð4Ð4Ð?XÈsÐ?XÐ?XÐ?XØ7¨Ð7Ð7Ð7Ø=¨3Ð=Ð=Ð=ð	?ð ?ˆð
 �_Ò$Ð$Ø�JŠJ  R ¸:Ý0;¸JÑ0GÔ0GðIð Iñ Jô Jð Jð Jð �JŠJµkÀ*Ñ6MÔ6MØ(/µ¸ZÑ1HÔ1HÐ'IðKð Kñ Lô Lð Là	�Ñ	×*Ò*­4¬:°c©?¬?¸4Ñ+?Ñ@Ô@Ð@Ø3Ð3Ð3Ð3Ð3Ð3Ø+1°_Ò+DÐ+D˜˜ÐJaˆØ,¸Ý#.¨v°nÑ/DÑ#EÔ#EðGð Gˆð �{¨8°OÑ+CÑDÔDðVFˆ˜f¨Ò7Ð7��Ð=QÑRàˆ
�6˜-Ñ'¨Ñ2Ô2Ð2Ø˜c˜<˜<˜<Ñ'ˆØ" B¨°r¸;È3ÈÈÈØ °¸ðCˆ
åŒ_˜W cÑ*Ô*ð 	C¨fØ�OŠO˜s˜M˜M˜M­4¬:°jÑ+AÔ+AÑBÔBÐBð	Cð 	Cð 	Cñ 	Cô 	Cð 	Cð 	Cð 	Cð 	Cð 	Cð 	Cøøøð 	Cð 	Cð 	Cð 	Cà�Š¥C¨¡L¤LÅ3ÀvÁ;Ä;Ø,-ð/ð /ñ 	0ô 	0ð 	0ñ 	0àÐ-Ñ-€KØDØ'+Ø<@Ø37ØØ%&¸1Ø./¸!ÀqðJð JðKð K€Fð ×Ò�4œ: fÑ-Ô-Ñ.Ô.Ð.ÝÔ4ÈØ (¨?Ñ":ð<ñ <ô <€FåÔ Ð)XÑ XÑYÔY€HØ�-Ô  AÒ%Ð%Ð%Ð%ØŒ?˜;Ô'Ô.°%Ò7Ð7Ð7Ð7ØŒ?Ð+Ô,Ô3°zÒAÐAÐAÐAØŒ?˜;Ô'Ô-µ#°a¸¸BÀÑ2CÔ2CÐ1DÒDÐDÐDÐDØŒ?Ð+Ô,Ô7¸Ô:Ô@ÐDcÒcÐcÐcÐcÐcÐcs   É#,JÊJ	Ê"J	c                 ól  ‡— dd l }ddlm} ddlm} | dz  }|                     ¦   «          t          dddi dd	gdd
œd¦  «        Šdddddddddd	dgdœ
dddddddddd	dgdœ
g}| dz  }|                     ¦   «          |dz                       d                     d„ |D ¦   «         ¦  «        ¦  «          ||dz  dt          |dz  ¦  «        ddid œ¦  «         | 
                    t          d!ˆfd"„¦  «         | 
                    t          d#d$„ ¦  «         | d%z  }|d&z                       d'¬(¦  «         |d)z                       d¦  «         |d*z  }	|	dz  }
|	dz  }|	dz  }|
j                             d'¬(¦  «         |j                             d'¬(¦  «          |j        d+d,d-¦  «                             |
¦  «          |j        d.d,d/¦  «                             |¦  «          |j        d+d,d0¦  «                             |¦  «         d	d|
j        d1d'd'd1d1d1d2œd3d4dd5gd6d7ggd8œgdddd9d:gd'd;œd<œ}|	dz  }|                     t!          j        |¦  «        ¦  «         ddddd9d=d:gdddddd1t          |¦  «        t          |
¦  «        t          |¦  «        t          |¦  «        d>œd?œ}|	dz  }|                     t!          j        |¦  «        d@z   ¦  «          ||	dAz  d=dd=id9d=ii i dBœt          |¦  «        d1dCœ¦  «         |dDz  }t%          j        |dE¦  «        5 }t)          dF¦  «        D ]}|                     dG|› �dH¦  «         Œ	 d d d ¦  «         n# 1 swxY w Y   t          j        ||||¬I¦  «        }|dJ         dKk    sJ ‚|dL         d=k    sJ ‚|dM         dk    sJ ‚|dN         dFk    sJ ‚|dO         dKk    sJ ‚d S )PNr   r   ræ   rH   Ú	remainingúgroup-remainingr¸   r   r   r˜   zsource-remainingÚreviewedúgroup-reviewedr   zsource-reviewedzimages/train/reviewed.jsonzimages/train/reviewed.pngz"auxiliary/train/reviewed.depth.pngz%auxiliary/train/reviewed.validity.png)
r&   rX   r"   r§   r#   rÚ   rÛ   rÜ   rÝ   rß   zimages/train/remaining.jsonzimages/train/remaining.pngz#auxiliary/train/remaining.depth.pngz&auxiliary/train/remaining.validity.pngr  rä   Ú c              3   óD   K  — | ]}t          j        |¦  «        d z   V — ŒdS )rå   N)rg   rh   )r€   r  s     r'   r¥   zQtest_candidate_package_audit_checks_flags_bounds_pairs_and_crc.<locals>.<genexpr>  s/   è è € Ð.TÐ.TÈ­t¬z¸#©¬¸tÑ/CÐ.TÐ.TÐ.TÐ.TÐ.TÐ.Tr)   rè   r   r\   )rf   rê   rë   rO   c                 ó   •— ‰gdddœi fS )Nr   )r  r  rQ   )r�   rÍ   s    €r'   rU   zPtest_candidate_package_audit_checks_flags_bounds_pairs_and_crc.<locals>.<lambda>  s   ø€ ¸F¸8Ø"°wÐ?Ð?Àð;E€ r)   Ú_validated_manual_partitionc                  óF   — t          ¦   «         dht          ¦   «         i ddifS )Nr  Úsource_archive_sha256zarchive-set)r   r«   )r�   s    r'   rU   zPtest_candidate_package_audit_checks_flags_bounds_pairs_and_crc.<locals>.<lambda>	  s&   € Ý‰Œ˜*˜¥s¡u¤u¨bÐ3JÈMÐ2ZðJ\€ r)   Ú	assistantÚinputsTrÓ   zinputs/annotations.jsonlÚanylabelingrØ   rÙ   é€   zI;16iè  éÿ   F)Úhuman_reviewedÚ
unreviewedÚproposal_onlyÚconfirmed_negativeÚignoreÚmachine_resolvedr,   r-   r   r.   r/   r0   rÞ   gš™™™™™é?)r&   rX   r#   r   Ú
confidenceÚprediction_only)rÕ   rÖ   r×   Úflagsr+   rÒ   rA   )rÛ   rÜ   rÝ   )r&   rX   r"   r§   r   Úproposal_countÚconfidencesrÛ   rÚ   rÜ   rÝ   r#   Úindependent_referencerâ   rã   rå   ré   )r   rt   Útest)rf   Úsplit_countsÚstatus_countsrê   Ú2validation_test_outputs_are_independent_referencesz#human_correction_remaining_1_v1.ziprí   é	   zmember-s	   candidate)rû   rï   rH   rî   ÚstateÚpassedrf   Úmanual_overlapÚzip_membersÚzip_crc)ÚhashlibÚPILr   r  rç   rc   r   rd   Újoinr   re   r   rý   rþ   rÿ   Únamerg   rh   r  r  r¦   r  Úaudit_candidate_package)rk   rl   r>  r   rç   rH   r„   r  rû   Úrootr  Ú
depth_pathÚvalidity_pathÚdocumentÚ
label_pathÚpackage_rowÚ
frame_listrî   r  rÅ   ÚauditrÍ   s                        @r'   Ú>test_candidate_package_audit_checks_flags_bounds_pairs_and_crcrK  í   sœ  ø€ Ø€N€N€NØÐÐÐÐÐØ/Ð/Ð/Ð/Ð/Ð/à˜
Ñ"€HØ‡N‚NÑÔÐÝ˜Ð&7¸ÀRØ�b�¨
Ð3Ð3Ð5GñIô I€Fð  Ð-=ÈØÐ5FØ3Ð>YØ6ÐDkØ�b�ð		ð 	ð
 !Ð.?È'ØÐ5GØ4Ð?[Ø7ÐEmØ�b�ð		ð 	ð
€Dð �hÑ€FØ
‡L‚L�N„N€NØˆNÑ×&Ò& r§w¢wÐ.TÐ.TÈtÐ.TÑ.TÔ.TÑ'TÔ'TÑUÔUÐUØ€Jˆv�oÑ%°!Ý*¨6°.Ñ+@ÑAÔAØ% zÐ2ð(4ð (4ñ 5ô 5ð 5ð ×Ò�˜ð 1Eð 1Eð 1Eð 1Eñ Fô Fð Fà×Ò�Ð<ð ?\ð ?\ñ ]ô ]ð ]à�kÑ!€FØˆH�_×Ò DÐÑ)Ô)Ð)ØÐ&Ñ&×2Ò2°2Ñ6Ô6Ð6Ø�-Ñ€DØÐ2Ñ2€JØÐ;Ñ;€JØÐAÑA€MØÔ×Ò DÐÑ)Ô)Ð)ØÔ×Ò DÐÑ)Ô)Ð)Ø€E„Iˆc�8˜SÑ!Ô!×&Ò& zÑ2Ô2Ð2Ø€E„Iˆf�h Ñ%Ô%×*Ò*¨:Ñ6Ô6Ð6Ø€E„Iˆc�8˜SÑ!Ô!×&Ò& }Ñ5Ô5Ð5Ø °À*Ä/Ø$)¸ÐPTØ"'°5ÈeðUð Uà%°[Ø˜1�v  B˜xÐ(ð*ð *ð +à*5ÐCTØ"4À
Ø˜%°Dð:ð :ð;ð ;€Hð Ð3Ñ3€JØ×Ò�$œ* XÑ.Ô.Ñ/Ô/Ð/Ø*Ð8IÐT[Ø¨
ÀaÐY\ÐX]Ø-Ð=ZØ6Ø<Ø0È5Ý&1°*Ñ&=Ô&=Ý!,¨ZÑ!8Ô!8Å;ÈzÑCZÔCZÝ$/°Ñ$>Ô$>ð@ð @ðAð A€Kð �nÑ$€JØ×Ò�$œ* [Ñ1Ô1°$Ñ6Ñ7Ô7Ð7Ø€JˆtÐ+Ñ+¸Ø  !˜Ø  !�_¨R¸ð8=ð 8=å*¨:Ñ6Ô6Ø>Cð	.Eð .Eñ Fô Fð Fð
 Ð:Ñ:€GÝ	Œ˜ #Ñ	&Ô	&ð 9¨&Ý�q‘”ð 	9ð 	9ˆAØ�OŠO˜M a˜M˜M¨<Ñ8Ô8Ð8Ð8ð	9ð9ð 9ð 9ñ 9ô 9ð 9ð 9ð 9ð 9ð 9ð 9øøøð 9ð 9ð 9ð 9õ Ô)°ÀvØ 7ð,ñ ,ô ,€Eà�Œ>˜XÒ%Ð%Ð%Ð%Ø�Œ?˜aÒÐÐÐØÐ!Ô" aÒ'Ð'Ð'Ð'Ø�Ô 1Ò$Ð$Ð$Ð$Ø�Ô˜xÒ'Ð'Ð'Ð'Ð'Ð's   Ì,MÍMÍMc           
      óš  ‡
— | dz  }|                      ¦   «          |dz                       d¦  «         t          d¦  «        }t          d¦  «        }d|_        t	          dddi d	d
dgid¦  «        t	          dddi d	d
dgid¦  «        gŠ
d|_        d|_        |                     t          dˆ
fd„¦  «         | dz  }t          ||g¦  «        }t          ||¦  «         |j        |j        ddt          |¦  «        dœ}dt          |dz  ¦  «        t          |¦  «        ddgdd|idœ}| dz  }	|	                     t          j        |¦  «        ¦  «         t          j        |	|||dh¦  «        t          dh¦  «        k    sJ ‚t!          j        t$          d¬¦  «        5  t          j        |	|||ddh¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )NrH   rI   rJ   r   rt   úg-valúg-trainÚdrM   r   r   zsource-trainz
source-valrO   c                 ó   •— ‰dddœi fS )Nr   )rN  rM  rQ   rR   s    €r'   rU   zPtest_manual_validation_manifest_binds_only_heldout_user_labels.<locals>.<lambda>J  s   ø€ Ø˜W¨wÐ7Ð7¸ð>=€ r)   rV   r   rW   Ú1explicit_user_confirmed_manual_validation_holdoutrî   rA   )r[   r\   r]   r"  Úvalidation_frame_idsÚvalidation_framesr`   zhuman_validation_manifest.jsonzoverlaps trainingr4   )rc   rd   r(   rX   r   r#   re   r   r   r   r
   r   rg   rh   Ú"validate_human_validation_manifestrj   r:   r;   r<   )rk   rl   rH   r   rt   rm   rn   ro   rp   rq   rT   s             @r'   Ú>test_manual_validation_manifest_binds_only_heldout_user_labelsrU  >  su  ø€ Ø˜
Ñ"€HØ‡N‚NÑÔÐØˆoÑ×)Ò)¨$Ñ/Ô/Ð/Ý�7‰OŒO€EÝ
�‰-Œ-€CØ€C„Lå�G˜Y¨¨R°&¸2¸r¸(Ð1CÀ^ÑTÔTÝ�E˜7 C¨¨f°r¸2°hÐ-?ÀÑNÔNðP€Gð  .€EÔØ)€CÔØ×Ò�˜ð 1=ð 1=ð 1=ð 1=ñ >ô >ð >àÐ.Ñ.€KÝ˜E 3˜<Ñ(Ô(€FÝˆv�{Ñ#Ô#Ð#Øœ¸SÔ=SØ EÕ@QÐRUÑ@VÔ@VðXð X€EàKÝ& x°Ñ'?Ñ@Ô@Ý&1°+Ñ&>Ô&>ÐYbØ!& ¸aÐSXÐZ_ÐR`ðbð b€Hð Ð=Ñ=€MØ×Ò�TœZ¨Ñ1Ô1Ñ2Ô2Ð2ÝÔ3°MÀ8ÈVØ�7�)ñô Ý )¨5¨'Ñ 2Ô 2ò3ð 3ð 3ð 3å	Œ•zÐ)<Ð	=Ñ	=Ô	=ð (ð (ÝÔ0°ÀÈ&Ø�w Ð&ñ	(ô 	(ð 	(ð(ð (ð (ñ (ô (ð (ð (ð (ð (ð (ð (ð (øøøð (ð (ð (ð (ð (ð (s   ÆG Ç GÇGc                  ó¸   — d„ t          dd¦  «        D ¦   «         } t          j        | d¦  «        }|d         dk    sJ ‚|d         dk    sJ ‚|d         d	k    sJ ‚d S )
Nc                 ó   — g | ]}d |i‘ŒS )Úepoch_secondsrQ   )r€   Úsecondss     r'   r‚   zHtest_runtime_estimate_uses_first_ten_recorded_epochs.<locals>.<listcomp>_  s   € ÐDÐDÐD¨7ˆ_˜gÐ&ÐDÐDÐDr)   rB   r   i,  Úmeasured_epochsÚmedian_seconds_per_epochg      -@Úestimated_remaining_secondsg     m°@)r¦   r   Ú_epoch_timing_estimate)r„   r=   s     r'   Ú4test_runtime_estimate_uses_first_ten_recorded_epochsr^  ^  sz   € ØDÐDµe¸BÀ±m´mÐDÑDÔD€DÝÔ)¨$°Ñ4Ô4€FØÐ#Ô$¨Ò*Ð*Ð*Ð*ØÐ,Ô-°Ò5Ð5Ð5Ð5ØÐ/Ô0°HÒ<Ð<Ð<Ð<Ð<Ð<r)   )r   r   ))Údataclassesr   rg   r  r:   r?  r   Úpallet.annotationr   r   r   r	   r
   r   Úpallet.data.manifestr   r  r   Úpallet.experiments.datasetr   Úpallet.data.loaderr   Úpallet.human_labelingÚhuman_labelingr   r(   r>   ÚmarkÚparametrizeÚfloatrF   rr   rx   r†   r�   rµ   rÇ   r  rK  rU  r^  rQ   r)   r'   ú<module>ri     sN  ðØ Ð Ð Ð Ð Ð Ø €€€Ø €€€à €€€Ø Ð Ð Ð Ð Ð à lÐ lÐ lÐ lÐ lÐ lÐ lÐ lÐ lÐ lÐ lÐ lÐ lÐ lÐ lÐ lØ ,Ð ,Ð ,Ð ,Ð ,Ð ,Ø ,Ð ,Ð ,Ð ,Ð ,Ð ,Ø 4Ð 4Ð 4Ð 4Ð 4Ð 4Ø 1Ð 1Ð 1Ð 1Ð 1Ð 1Ø %Ð %Ð %Ð %Ð %Ð %ðQ°¸eð Qð Qð Qð Qð Qð6ð 6ð 6ð „×Ò˜Ø¨ÀÀAÀÈÈRÈÐ?QÐRÐRØ i¸QÀ¸FÀRÈÀHÐ;MÐNÐNØ k¸u¸uÀU¹|¼|ÈQÐ>OÐRTÐVXÐQYÐ=ZÐ[Ð[ð#ñ ô ð
>ð >ñô ð
>ð
Zð Zð Zð.bð bð bð(	Fð 	Fð 	FðTð Tð Tð" ð  ð  ð8;ð ;ð ;ð0Bdð Bdð BdðJN(ð N(ð N(ðb(ð (ð (ð@=ð =ð =ð =ð =r)   