§
    0‚¼jº7  ã                   óØ   — d dl Zd dlmc mZ d dlZd dlmZ d dl	m
Z
 d dlZd dlmZmZmZmZmZmZmZ d dlmZ d„ Zd„ Zd„ Zd	„ Zd
„ Zd„ Zd„ Zd„ Zd„ Zd„ Zd„ Zd„ Z d„ Z!d„ Z"d„ Z#d„ Z$dS )é    N)Úreplace©ÚSimpleNamespace)ÚAnnotationSetÚBoxÚFrameAnnotationÚ
ProvenanceÚReviewÚrecord_reviewÚ
save_jsonl)Úcyclec                  óø  — d„ t          g d¢¦  «        D ¦   «         } ddddœ}t          d„ | D ¦   «         ¬¦  «        }d„ t          j        | |dgd	|¬
¦  «        D ¦   «         }dg}||k    }|slt	          j        d|fd||f¦  «        t	          j        |¦  «        t	          j        |¦  «        dœz  }dd|iz  }t          t	          j        |¦  «        ¦  «        ‚d x}x}}t          j        }dg}	d	}
dg} || ||	|
||¬¦  «        }g }||k    }|�sºt	          j        d|fd||f¦  «        dt          j
        ¦   «         v st	          j        t          ¦  «        rt	          j        t          ¦  «        ndt	          j        |¦  «        dt          j
        ¦   «         v st	          j        | ¦  «        rt	          j        | ¦  «        nddt          j
        ¦   «         v st	          j        |¦  «        rt	          j        |¦  «        ndt	          j        |	¦  «        t	          j        |
¦  «        dt          j
        ¦   «         v st	          j        |¦  «        rt	          j        |¦  «        ndt	          j        |¦  «        t	          j        |¦  «        t	          j        |¦  «        dœ
z  }dd|iz  }t          t	          j        |¦  «        ¦  «        ‚d x}x}	x}
x}x}x}}d|j        d         _        t          j        t           d¬¦  «        5  t          j        | ||¬¦  «         d d d ¦  «         n# 1 swxY w Y   t          j        t           d¬¦  «        5  t          j        | |¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )Nc                 óZ   — g | ](\  }\  }}t          t          |¦  «        ||d ¬¦  «        ‘Œ)S )Úraw©Úframe_idÚgroup_idÚdomainÚsource_sha256)r   Ústr)Ú.0ÚiÚgroupr   s       úH/root/private/project/pallet_detection_v2/tests/test_annotation_cycle.pyú
<listcomp>zWtest_candidates_use_frozen_metadata_and_exclude_entire_target_group.<locals>.<listcomp>   sN   € ð eð eð eÙ"�‘?�E˜6õ ¥S¨¡V¤V°eÀFÐZ_Ð`Ñ`Ô`ð eð eð eó    ))Úsourcer   )Úauditr   )ÚheldÚtarget)r   r   Útrain)r   r   r   c           	      óJ   — i | ] }|j         t          d d|j        d¬¦  «        “Œ!S )Ú
unreviewedr!   r   ©ÚstatusÚsplitr   Úsource_anchor_hash)r   r   r   ©r   Úrs     r   ú
<dictcomp>zWtest_candidates_use_frozen_metadata_and_exclude_entire_target_group.<locals>.<dictcomp>   sP   € ð %jð %jð %jØ_`ð &'¤ZµØ 7°Q´ZÐTYð2[ñ 2[ô 2[ð %jð %jð %jr   ©Úframesc                 ó   — g | ]	}|j         ‘Œ
S © )r   r(   s     r   r   zWtest_candidates_use_frozen_metadata_and_exclude_entire_target_group.<locals>.<listcomp>   s,   € ð Rð Rð R˜1ˆAŒJð Rð Rð Rr   r   r    )Úaudit_groupsÚtarget_domainÚassignmentsÚ0©ú==©z%(py1)s == %(py4)s©Úpy1Úpy4úassert %(py6)sÚpy6)r/   r0   r1   Úexcluded_frame_ids)zÇ%(py13)s
{%(py13)s = %(py2)s
{%(py2)s = %(py0)s.eligible_source_frames
}(%(py3)s, %(py4)s, audit_groups=%(py6)s, target_domain=%(py8)s, assignments=%(py9)s, excluded_frame_ids=%(py11)s)
} == %(py16)sr   ÚrowsÚlabelsr1   )
Úpy0Úpy2Úpy3r8   r:   Úpy8Úpy9Úpy11Úpy13Úpy16zassert %(py18)sÚpy18Útestzfrozen split/group/anchor©Úmatch)r1   zfrozen assignments)Ú	enumerater   r   Úeligible_source_framesÚ
@pytest_arÚ_call_reprcompareÚ	_safereprÚAssertionErrorÚ_format_explanationÚ@py_builtinsÚlocalsÚ_should_repr_global_namer,   r&   ÚpytestÚraisesÚ
ValueError)r<   r1   r=   Ú@py_assert0Ú@py_assert3Ú@py_assert2Ú@py_format5Ú@py_format7Ú@py_assert1Ú@py_assert5Ú@py_assert7Ú@py_assert10Ú@py_assert12Ú@py_assert15Ú@py_assert14Ú@py_format17Ú@py_format19s                    r   ÚCtest_candidates_use_frozen_metadata_and_exclude_entire_target_groupre      sö  € ðeð eÝ&/ð 1cð 1cð 1cñ 'dô 'dðeñ eô e€Dð %¨wÀÐHÐH€KÝð %jð %jØdhð%jñ %jô %jð kñ kô k€FðRð R¥Ô <¸TÀ6Ø�Y¨hÀKð!Qñ !Qô !Qð Rñ Rô Rð [ØVYÐUZð[ð RØUZò[ð [ð [ð [õ [ÜIZð[ð [ð [ð [ð RØUZð[ñ [ô [õ [ÜQZðRñ [ô [õ [ÜQZÐUZñ[ô [ð [ð [ñ [ð [ð [ð [ð [ð [ñ [ð [õ [õ [ÜGZð[ñ [ô [ñ [ô [ð [ð [ð [ð [ð [ð [ð [åÔ'ð YÀGÀ9ð YØðYØMPÈEðYÐ'Ð'¨¨fÀ9Ø¨KÈEðSñ Sô Sð YØVXðYð SØVXòYð Yð Yñ Yõ YÜGXðYð Yð Yð Yð SØVXðYñ Yô Yð Yõ YÜRXñYô Yð Yð Yõ YÜ@Xõ ñ Yô Yð Yõ YÜOXõ ñ Yô Yð Yð Yõ YÜOXð (ñ Yô Yð Yõ YÜRXñYô Yð Yð Yõ YÜ@Xð )-ñ Yô Yð Yõ YÜOXð )-ñ Yô Yð Yð Yð Yõ YÜRXñYô Yð Yð Yõ YÜ@Xð /5ñ Yô Yð Yõ YÜOXð /5ñ Yô Yð Yð Yõ YÜOXð DMñ Yô Yõ YÜOX�hñYô Yð Yõ YÜRXñYô Yð Yð Yõ YÜ@X¨KñYô Yð Yõ YÜOX¨KñYô Yð Yð Yõ YÜOXÈEñYô Yõ YÜOXðSñ Yô Yõ YÜOXÐVXñYô Yð Yð Yñ Yð Yð Yð Yð Yð Yñ Yð Yõ Yõ YÜEXðYñ Yô Yñ Yô Yð Yð Yð Yð Yð Yð Yð Yð Yð Yð Yð Yð Yð Yð Yð Yà%€F„M�#ÔÔÝ	Œ•zÐ)DÐ	EÑ	EÔ	Eð Lð LÝÔ$ T¨6¸{ÐKÑKÔKÐKðLð Lð Lñ Lô Lð Lð Lð Lð Lð Lð Løøøð Lð Lð Lð Lå	Œ•zÐ)=Ð	>Ñ	>Ô	>ð 3ð 3ÝÔ$ T¨6Ñ2Ô2Ð2ð3ð 3ð 3ñ 3ô 3ð 3ð 3ð 3ð 3ð 3ð 3ð 3øøøð 3ð 3ð 3ð 3ð 3ð 3s$   ÌL&Ì&L*Ì-L*ÍM/Í/M3Í6M3c           
      ó 	  — d„ dD ¦   «         }dddœ}g }|D ]™}t          |j        |j        ddd||j                 |j        ¬¦  «        }t	          |t          |j        › d	�d
d¬¦  «        d¬¦  «         t	          |t          |j        › d�d
d¬¦  «        ¦  «         |                     |¦  «         Œš| dz  }t          t          |¦  «        |¦  «         | dz  }| 	                    t          j        ddgi¦  «        ¦  «         t          j        ||||¦  «        \  }}	dh}
||
k    }|s—t          j        d|fd||
f¦  «        dt!          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        ndt          j        |
¦  «        dœz  }dd|iz  }t)          t          j        |¦  «        ¦  «        ‚d x}}
|	d         }t          j        } ||¦  «        }||k    }
|
�st          j        d|
fd||f¦  «        t          j        |¦  «        dt!          j        ¦   «         v st          j        t          ¦  «        rt          j        t          ¦  «        ndt          j        |¦  «        dt!          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        ndt          j        |¦  «        dœz  }dd|iz  }t)          t          j        |¦  «        ¦  «        ‚d x}x}
x}}| 	                    t          j        ddgi¦  «        ¦  «         t/          j        t2          d¬ ¦  «        5  t          j        ||||¦  «         d d d ¦  «         n# 1 swxY w Y   | 	                    t          j        ddgi¦  «        ¦  «         |d!         j                             t7          d"¦  «        ¦  «         t          t          |¦  «        |¦  «         t/          j        t2          d¬ ¦  «        5  t          j        ||||¦  «         d d d ¦  «         n# 1 swxY w Y   |d!         j                             ¦   «          |d!         j                             ¦   «          t          t          |¦  «        |¦  «         t/          j        t2          d¬ ¦  «        5  t          j        ||||¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )#Nc           	      ó@   — g | ]\  }}t          ||d d|› �¬¦  «        ‘ŒS ©r   zraw-r   r   ©r   Úfidr   s      r   r   zWtest_reviewed_exclusion_requires_independent_source_training_labels.<locals>.<listcomp>   sP   € ð Gð Gð Gá��Uõ  S°5ÀØ*6°¨,¨,ð8ñ 8ô 8ð Gð Gð Gr   ))r!   r   )rG   r   r!   rG   )r   r   úraw.pcdé
   ©r&   r'   ú-aÚapproveT©ÚblindÚnegative©r%   ú-búlabels.jsonlúselection.jsonr3   ©z%(py0)s == %(py3)sÚexcluded©r>   r@   úassert %(py5)sÚpy5Úlabels_sha256)zQ%(py1)s == %(py8)s
{%(py8)s = %(py5)s
{%(py5)s = %(py3)s.file_digest
}(%(py6)s)
}r   r=   ©r7   r@   r{   r:   rA   úassert %(py10)sÚpy10zindependent source-trainingrH   r   Údetector)r   r   r   r   r   r
   Úappendr   r   Ú
write_textÚjsonÚdumpsr   Úverified_reviewed_exclusionsrL   rM   rQ   rR   rS   rN   rO   rP   Úfile_digestrT   rU   rV   Ú
provenancer	   ÚclearÚreviews)Útmp_pathr<   r1   r,   ÚrowÚframer=   Ú	selectionrx   ÚmanifestrY   r\   Ú@py_format4Ú@py_format6rW   Ú@py_assert4r^   Ú@py_format9Ú@py_format11s                      r   ÚCtest_reviewed_exclusion_requires_independent_source_training_labelsr”      s  € ðGð GàEðGñ Gô G€Dð %¨fÐ5Ð5€KØ€FØð ð ˆÝ ¤¨c¬l¸IÀrÈ2Ø&1°#´,Ô&?Ø36Ô3DðFñ Fô Fˆõ 	�e�V s¤|Ð$7Ð$7Ð$7¸È$ÐOÑOÔOÐXbÐcÑcÔcÐcÝ�e�V s¤|Ð$7Ð$7Ð$7¸È$ÐOÑOÔOÑPÔPÐPØ�Š�eÑÔÐÐØ�nÑ$€FÝ�}˜VÑ$Ô$ fÑ-Ô-Ð-ØÐ)Ñ)€IØ×Ò�œ W¨w¨iÐ$8Ñ9Ô9Ñ:Ô:Ð:ÝÔ;Øˆk˜9 fñ.ô .Ñ€Hˆhà�yÐ ˆ8�yÒ Ð Ð Ð Õ Ô Ð Ð Ð Ð ˆ8�yÐ Ñ Ô Ð Õ Ô Ñ Ô Ð Ð Õ Ô ˆ8Ñ Ô Ð Õ Ô ˆ8Ñ Ô Ð Ð Õ Ô �yÑ Ô Ð Ð Ñ Ð Ð Ð Ð Ð Ñ Ð Õ Õ Ô Ð Ñ Ô Ñ Ô Ð Ð Ð Ð Ð Ø�OÔ$ÐA­Ô(9ÐAÐ(9Ð(9¸&Ñ(AÔ(AÐAÐ$Ð(AÒAÐAÐAÑAÕAÔAÐAÐAÐAÐAÐ$Ð(AÐAÑAÔAÕAÔAÐ$ÑAÔAÐAÕAÔAÑAÔAÐAÐAÕAÔA­ÑAÔAÐAÕAÔA­ÑAÔAÐAÐAÕAÔAÐ(9ÑAÔAÐAÕAÔAÑAÔAÐAÐAÕAÔA¸&ÑAÔAÐAÕAÔA¸&ÑAÔAÐAÐAÕAÔAÐ(AÑAÔAÐAÐAÑAÐAÐAÐAÐAÐAÑAÐAÕAÕAÔAÐAÑAÔAÑAÔAÐAÐAÐAÐAÐAÐAÐAÐAÐAØ×Ò�œ W¨v¨hÐ$7Ñ8Ô8Ñ9Ô9Ð9Ý	Œ•zÐ)FÐ	GÑ	GÔ	Gð Qð QÝÔ*¨4°¸iÈÑPÔPÐPðQð Qð Qñ Qô Qð Qð Qð Qð Qð Qð Qøøøð Qð Qð Qð Qà×Ò�œ W¨w¨iÐ$8Ñ9Ô9Ñ:Ô:Ð:Ø
ˆ1„IÔ×Ò¥
¨:Ñ 6Ô 6Ñ7Ô7Ð7Ý�}˜VÑ$Ô$ fÑ-Ô-Ð-Ý	Œ•zÐ)FÐ	GÑ	GÔ	Gð Qð QÝÔ*¨4°¸iÈÑPÔPÐPðQð Qð Qñ Qô Qð Qð Qð Qð Qð Qð Qøøøð Qð Qð Qð Qà
ˆ1„IÔ×ÒÑ Ô Ð Ø
ˆ1„IÔ×ÒÑÔÐÝ�}˜VÑ$Ô$ fÑ-Ô-Ð-Ý	Œ•zÐ)FÐ	GÑ	GÔ	Gð Qð QÝÔ*¨4°¸iÈÑPÔPÐPðQð Qð Qñ Qô Qð Qð Qð Qð Qð Qð Qð Qøøøð Qð Qð Qð Qð Qð Qs6   Ì;MÍM#Í&M#Ï9PÐP!Ð$P!ÒSÓSÓ
Sc                 ó‚	  ‡— | dz  }|                      ¦   «          |dz                       d¦  «         t          dddd¬¦  «        Št          dddd	d	dd¬
¦  «        }t	          |t          ddd¬¦  «        dt          dddd¦  «        g¬¦  «         t	          |t          ddd¬¦  «        ¦  «         | dz  }t          t          |g¦  «        |¦  «         | 	                    t          dˆfd„¦  «         | dz  }t          j        |||¦  «        }|d         }d}||k    }	|	slt          j        d|	fd||f¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }
dd|
iz  }t          t          j        |¦  «        ¦  «        ‚d x}x}	}t          j        ‰gddi||t          j        |dz  ¦  «        ¬¦  «        \  }}dh}	||	k    }|s—t          j        d|fd||	f¦  «        d t'          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        nd t          j        |	¦  «        d!œz  }d"d#|iz  }t          t          j        |¦  «        ¦  «        ‚d x}}	|d$         }t          j        }|j        }d%} ||¦  «        } ||¦  «        }||k    }	|	�s>t          j        d|	fd&||f¦  «        t          j        |¦  «        d't'          j        ¦   «         v st          j        t          ¦  «        rt          j        t          ¦  «        nd't          j        |¦  «        d(t'          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        nd(t          j        |¦  «        t          j        |¦  «        t          j        |¦  «        t          j        |¦  «        d)œz  }d*d+|iz  }t          t          j        |¦  «        ¦  «        ‚d x}x}	x}x}x}x}}|                     d%¦  «        }t/          j        |                     ¦   «         ¦  «        }d,|d-<   |                     t/          j        |¦  «        ¦  «         t7          j        t:          d.¬/¦  «        5  t          j        ‰gddi||t          j        |dz  ¦  «        ¬¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )0NÚprotocolúprotocol.jsonú{}r!   r   z	raw-trainr   rk   rl   rm   Úaro   Trp   Úposé   é   ©r%   ÚboxesÚbru   Úload_protocolc                 ó   •— ‰gddii fS )Nr   r!   r.   )Ú_r‹   s    €r   ú<lambda>zTtest_bound_exclusion_selection_verifies_source_labels_and_manifest.<locals>.<lambda>N   s   ø€ ¸C¸5À8ÈWÐBUÐWYÐ:Z€ r   z
bound.jsonr,   r3   r5   r6   r9   r:   )Úprotocol_sha256rw   rx   ry   rz   r{   Úselection_manifest_sha256z.manifest.json)z•%(py1)s == %(py14)s
{%(py14)s = %(py5)s
{%(py5)s = %(py3)s.file_digest
}(%(py12)s
{%(py12)s = %(py8)s
{%(py8)s = %(py6)s.with_suffix
}(%(py10)s)
})
}r   r�   )r7   r@   r{   r:   rA   r   Úpy12Úpy14zassert %(py16)srE   zdifferent-protocolr¤   zprovenance manifest mismatchrH   )Úmkdirr‚   r   r   r   r
   r   r   r   Úsetattrr   Úbind_exclusion_selectionrL   rM   rN   rO   rP   r…   r†   rQ   rR   rS   Úwith_suffixrƒ   ÚloadsÚ	read_textr„   rT   rU   rV   )rŠ   Úmonkeypatchr–   rŒ   r=   r�   ÚboundrW   rX   rY   rZ   r[   rx   rŽ   r\   r�   r�   r‘   r^   Ú@py_assert9Ú@py_assert11Ú@py_assert13Ú@py_format15rc   ÚsidecarÚmodifiedr‹   s                             @r   ÚBtest_bound_exclusion_selection_verifies_source_labels_and_manifestr¶   A   s‘  ø€ Ø˜
Ñ"€HØ‡N‚NÑÔÐØˆoÑ×)Ò)¨$Ñ/Ô/Ð/Ý
 7°XÀhØ(3ð5ñ 5ô 5€Cå˜G X¨y¸"¸bÈØ0;ð=ñ =ô =€Eå�%�  Y°dÐ;Ñ;Ô;ÀEÝ˜Q  1 a™œÐ)ð+ñ +ô +ð +å�%�  Y°dÐ;Ñ;Ô;Ñ<Ô<Ð<Ø�nÑ$€FÝ�}˜e˜WÑ%Ô% vÑ.Ô.Ð.Ø×Ò�˜Ð0ZÐ0ZÐ0ZÐ0ZÑ[Ô[Ð[à˜Ñ%€IÝÔ*¨8°V¸YÑGÔG€EØ�Œ?Ð˜aÐˆ?˜aÒÐÐÐÕÔÐÐÐÐˆ?˜aÐÑÔÕÔˆ?ÑÔÕÔ˜aÑÔÐÐÑÐÐÐÐÐÑÐÕÕÔÐÑÔÑÔÐÐÐÐÐÐÐÝÔ;Ø	ˆ�˜'Ð" I¨vÝÔ)¨(°?Ñ*BÑCÔCðEñ Eô EÑ€Hˆhð  �yÐ ˆ8�yÒ Ð Ð Ð Õ Ô Ð Ð Ð Ð ˆ8�yÐ Ñ Ô Ð Õ Ô Ñ Ô Ð Ð Õ Ô ˆ8Ñ Ô Ð Õ Ô ˆ8Ñ Ô Ð Ð Õ Ô �yÑ Ô Ð Ð Ñ Ð Ð Ð Ð Ð Ñ Ð Õ Õ Ô Ð Ñ Ô Ñ Ô Ð Ð Ð Ð Ð ØÐ/Ô0ð 1µEÔ4Eð 1ØÔð1Ø.ð1ØÐÐ.Ñ/Ô/ð1Ð4EÐ4EØ/ñ51ô 51ð 1Ð0ð 51ò 1ð 1ð 1ñ 1õ 1Ü0ð1ð 1ð 1ð 1Ð0ð 51ð 1ñ 1ô 1õ 1Ü'0ð 1ñ 1ô 1ð 1õ 1Ü*0ñ1ô 1ð 1ð 1õ 1Ü0õ 5:ñ 1ô 1ð 1õ 1Ü'0õ 5:ñ 1ô 1ð 1ð 1õ 1Ü'0ð 5Fñ 1ô 1ð 1õ 1Ü*0ñ1ô 1ð 1ð 1õ 1Ü0ˆ	ñ1ô 1ð 1õ 1Ü'0ˆ	ñ1ô 1ð 1ð 1õ 1Ü'0Ðñ1ô 1õ 1Ü'0Ð.ñ1ô 1õ 1Ü'0Ð/ñ1ô 1õ 1Ü'0ð51ñ 1ô 1ð 1ð 1ñ 1ð 1ð 1ð 1ð 1ð 1ñ 1ð 1õ 1õ 1Ü0ð1ñ 1ô 1ñ 1ô 1ð 1ð 1ð 1ð 1ð 1ð 1ð 1ð 1ð 1ð 1ð 1ð 1ð 1ð 1ð 1ð ×#Ò#Ð$4Ñ5Ô5€GÝŒz˜'×+Ò+Ñ-Ô-Ñ.Ô.€HØ"6€HÐÑØ×Ò•t”z (Ñ+Ô+Ñ,Ô,Ð,Ý	Œ•zÐ)GÐ	HÑ	HÔ	Hð Ið IÝÔ*ØˆE�H˜gÐ&¨	°6Ý!Ô-¨h°Ñ.FÑGÔGð	Iñ 	Iô 	Ið 	IðIð Ið Iñ Iô Ið Ið Ið Ið Ið Ið Ið Iøøøð Ið Ið Ið Ið Ið Is   Ñ52R4Ò4R8Ò;R8c                 óæ  ‡‡‡— | dz  }|                      ¦   «          |dz                       d¦  «         | dz  }|                     d¦  «         d„ dD ¦   «         Šddd	œŠt          d
„ ‰D ¦   «         ¬¦  «        Š|                     t          dˆˆfd„¦  «         |                     t          dˆfd„¦  «         | dz  }t	          j        |||dgd¬¦  «        }|d         }d}||k    }|slt          j        d|fd||f¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }	dd|	iz  }
t          t          j
        |
¦  «        ¦  «        ‚d x}x}}t          j        }dg}d} ||||||¬¦  «        }||k    }|�sÒt          j        d|fd||f¦  «        dt          j        ¦   «         v st          j        t          ¦  «        rt          j        t          ¦  «        ndt          j        |¦  «        dt          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        nddt          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        nddt          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        ndt          j        |¦  «        t          j        |¦  «        t          j        |¦  «        dt          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        nddœ	z  }d d!|iz  }t          t          j
        |¦  «        ¦  «        ‚d x}x}x}x}}t          j        |                     ¦   «         ¦  «        d         }g }t#          |¦  «        }d}||k    }|}|rd}||v}|}|�s³t          j        d|fd"||f¦  «        d#t          j        ¦   «         v st          j        t"          ¦  «        rt          j        t"          ¦  «        nd#d$t          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        nd$t          j        |¦  «        t          j        |¦  «        d%œz  }d&d'|iz  }|                     |¦  «         |r‹t          j        d(|fd)||f¦  «        t          j        |¦  «        d$t          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        nd$d*œz  }d+d,|iz  }|                     |¦  «         t          j        |d-¦  «        i z  }d.d/|iz  }t          t          j
        |¦  «        ¦  «        ‚d x}x}x}x}x}x}}|                     t          j        dgg g d0œ¦  «        ¦  «         t+          j        t.          d1¬2¦  «        5  t	          j        |||dgd¬¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )3Nr–   r—   r˜   ru   zfrozen labelsc           	      ó@   — g | ]\  }}t          ||d d|› �¬¦  «        ‘ŒS rh   r   ri   s      r   r   zLtest_preselection_is_deterministic_and_cannot_be_rebound.<locals>.<listcomp>j   sP   € ð Eð Eð Eá��Uõ  S°5ÀØ*6°¨,¨,ð8ñ 8ô 8ð Eð Eð Er   ))r™   r   )rŸ   r   )Úcr   )r   r   r!   )r   r   c           	      óT   — i | ]%}|j         t          d d|j        |j        ¬¦  «        “Œ&S )r#   r!   r$   )r   r   r   r   )r   r‹   s     r   r*   zLtest_preselection_is_deterministic_and_cannot_be_rebound.<locals>.<dictcomp>o   sJ   € ð %?ð %?ð %?à25ð &)¤\µ?Ø 7°S´\ØÔ,ð4.ñ 4.ô 4.ð %?ð %?ð %?r   r+   r    c                 ó   •— ‰‰i fS ©Nr.   )r¢   r1   r<   s    €€r   r£   zJtest_preselection_is_deterministic_and_cannot_be_rebound.<locals>.<lambda>r   s   ø€ ¸4ÀÈbÐ:Q€ r   Ú
load_jsonlc                 ó   •— ‰S r¼   r.   )r¢   r=   s    €r   r£   zJtest_preselection_is_deterministic_and_cannot_be_rebound.<locals>.<lambda>s   s   ø€ °v€ r   rv   r   é   )r/   ÚlimitÚselected_framesr3   r5   r6   r9   r:   )z�%(py11)s
{%(py11)s = %(py2)s
{%(py2)s = %(py0)s.preselect_round
}(%(py3)s, %(py4)s, %(py5)s, audit_groups=%(py7)s, limit=%(py9)s)
} == %(py13)sr   ÚannotationsÚoutputÚfirst)	r>   r?   r@   r8   r{   Úpy7rB   rC   rD   zassert %(py15)sÚpy15)z0%(py5)s
{%(py5)s = %(py2)s(%(py3)s)
} == %(py8)sÚlenÚselected)r?   r@   r{   rA   z%(py10)sr   )únot in)z%(py13)s not in %(py15)s)rD   rÆ   z%(py17)sÚpy17r   zassert %(py20)sÚpy20)r!   ÚvalrG   zexisting preselection differsrH   )r¨   r‚   r   r©   r   Úpreselect_roundrL   rM   rN   rO   rP   rQ   rR   rS   rƒ   r¬   r­   rÇ   r�   Ú_format_boolopr„   rT   rU   rV   )rŠ   r®   r–   rÂ   rÃ   rÄ   rW   rX   rY   rZ   r[   r\   Ú@py_assert6Ú@py_assert8r_   r`   Ú@py_format14Ú@py_format16rÈ   r‘   r^   rb   r’   r“   Ú@py_format18rd   Ú@py_format21r1   r=   r<   s                              @@@r   Ú8test_preselection_is_deterministic_and_cannot_be_reboundrÕ   d   sØ  øøø€ Ø˜
Ñ"€HØ‡N‚NÑÔÐØˆoÑ×)Ò)¨$Ñ/Ô/Ð/Ø˜>Ñ)€KØ×Ò˜?Ñ+Ô+Ð+ðEð EðDðEñ Eô E€Dð %¨wÐ7Ð7€KÝð %?ð %?à9=ð%?ñ %?ô %?ð @ñ @ô @€Fð ×Ò�˜Ð0QÐ0QÐ0QÐ0QÐ0QÑRÔRÐRØ×Ò�˜|Ð-=Ð-=Ð-=Ð-=Ñ>Ô>Ð>ØÐ&Ñ&€FÝÔ! (¨K¸Ø07¨yÀðCñ Cô C€EàÐ"Ô#Ð( qÐ(Ð# qÒ(Ð(Ð(Ð(Õ(Ô(Ð(Ð(Ð(Ð(Ð# qÐ(Ñ(Ô(Õ(Ô(Ð#Ñ(Ô(Õ(Ô( qÑ(Ô(Ð(Ð(Ñ(Ð(Ð(Ð(Ð(Ð(Ñ(Ð(Õ(Õ(Ô(Ð(Ñ(Ô(Ñ(Ô(Ð(Ð(Ð(Ð(Ð(Ð(Ð(ÝÔ ð KØ/6¨iðKØ?@ðKÐ Ð  ¨;¸Ø.7¸qðBñ Bô Bð Kð BØEJòKð Kð Kñ Kõ KÜ9JðKð Kð Kð Kð BØEJðKñ Kô Kð Kõ KÜDJñKô Kð Kð Kõ KÜ2Jõ ñ Kô Kð Kõ KÜAJõ ñ Kô Kð Kð Kõ KÜAJð !ñ Kô Kð Kõ KÜDJñKô Kð Kð Kõ KÜ2Jð "*ñ Kô Kð Kõ KÜAJð "*ñ Kô Kð Kð Kð Kõ KÜDJñKô Kð Kð Kõ KÜ2Jð ,7ñ Kô Kð Kõ KÜAJð ,7ñ Kô Kð Kð Kð Kõ KÜDJñKô Kð Kð Kõ KÜ2Jð 9?ñ Kô Kð Kõ KÜAJð 9?ñ Kô Kð Kð Kõ KÜAJ¨iñKô Kõ KÜAJ¸qñKô Kõ KÜAJðBñ Kô Kð Kõ KÜDJñKô Kð Kð Kõ KÜ2JÀUñKô Kð Kõ KÜAJÀUñKô Kð Kð Kð Kð Kñ Kð Kð Kð Kð Kð Kñ Kð Kõ Kõ KÜ7JðKñ Kô Kñ Kô Kð Kð Kð Kð Kð Kð Kð Kð Kð Kð Kð KåŒz˜&×*Ò*Ñ,Ô,Ñ-Ô-¨gÔ6€HØ9Ð9�3ˆx‰=Œ=Ð9˜AÐ9ˆ=˜AÒÐ9Ð9Ð9Ð9Ð9 'Ð9 '°Ð"9Ð9Ð9Ð9Ð9Ñ9Õ9Ô9Ð9Ð9Ð9Ð9ˆ=˜AÐ9Ñ9Ô9Ð9Õ9Ô9Ñ9Ô9Ð9Ð9Õ9Ô9�3Ñ9Ô9Ð9Õ9Ô9�3Ñ9Ô9Ð9Ð9Ð9Õ9Ô9Ñ9Ô9Ð9Ð9Õ9Ô9ˆxÑ9Ô9Ð9Õ9Ô9ˆxÑ9Ô9Ð9Ð9Õ9Ô9ˆ=Ñ9Ô9Õ9Ô9˜AÑ9Ô9Ð9Ð9Ñ9Ð9Ð9Ð9Ð9Ð9Ñ9Ð9Ð9×9Ò9Ð9Ñ9Ô9Ð9Ð9Ð9Õ9Ô9Ð9Ð9Ð9Ð9 '°Ð9Ñ9Ô9Õ9Ô9 'Ñ9Ô9Ð9Õ9Ô9Ñ9Ô9Ð9Ð9Õ9Ô9°Ñ9Ô9Ð9Õ9Ô9°Ñ9Ô9Ð9Ð9Ð9Ð9Ñ9Ð9Ð9Ð9Ð9Ð9Ñ9Ð9Ð9×9Ò9Ð9Ñ9Ô9Ð9Õ9Ô9Ð9Ð9Ñ9Ô9Ð9Ñ9Ð9Ð9Ð9Ð9Ð9Ñ9Ð9Õ9Õ9Ô9Ð9Ñ9Ô9Ñ9Ô9Ð9Ð9Ð9Ð9Ð9Ð9Ð9Ð9Ð9Ð9Ð9Ð9Ð9Ð9Ð9Ø
×Ò•d”j¨G¨9¸RÈÐ!LÐ!LÑMÔMÑNÔNÐNÝ	Œ•zÐ)HÐ	IÑ	IÔ	Ið ?ð ?ÝÔ˜h¨°VØ,3¨9¸Að	?ñ 	?ô 	?ð 	?ð?ð ?ð ?ñ ?ô ?ð ?ð ?ð ?ð ?ð ?ð ?ð ?øøøð ?ð ?ð ?ð ?ð ?ð ?s   Ö>W&×&W*×-W*c                  ó(  — t          dd¬¦  «        g} dddddœ}dgdgd	œ}t          j        t          d
¬¦  «        5  t	          j        | ||dgd¦  «         d d d ¦  «         n# 1 swxY w Y   dg|d<   t          j        t          d¬¦  «        5  t	          j        | ||dgd¦  «         d d d ¦  «         n# 1 swxY w Y   dg|d<   t          j        t          d
¬¦  «        5  t	          j        | ||dgd¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )Nr    )r   r   r!   rÌ   rG   )r   r   rÌ   r    r   r   )Útrain_groupsÚ
val_groupszvalidation accessrH   rØ   zsource-trainingÚnormalization_groups)r   rT   rU   rV   r   Ú_teacher_access)r<   r1   Úruns      r   ÚEtest_teacher_audit_must_be_source_train_and_exclude_validation_accessrÜ   ‚   s*  € Ý X°hÐ?Ñ?Ô?Ð@€DØ$¨w¸uÐPVÐWÐW€KØ$˜:°g°YÐ
?Ð
?€CÝ	Œ•zÐ)<Ð	=Ñ	=Ô	=ð Kð KÝÔ˜d K°°w°iÀÑJÔJÐJðKð Kð Kñ Kô Kð Kð Kð Kð Kð Kð Køøøð Kð Kð Kð Kà˜€CˆÑÝ	Œ•zÐ):Ð	;Ñ	;Ô	;ð Ið IÝÔ˜d K°°u°g¸xÑHÔHÐHðIð Ið Iñ Iô Ið Ið Ið Ið Ið Ið Iøøøð Ið Ið Ið Ià#* )€CÐÑÝ	Œ•zÐ)<Ð	=Ñ	=Ô	=ð Kð KÝÔ˜d K°°w°iÀÑJÔJÐJðKð Kð Kñ Kô Kð Kð Kð Kð Kð Kð Kð Køøøð Kð Kð Kð Kð Kð Ks5   ¼A"Á"A&Á)A&ÂB4Â4B8Â;B8Ã DÄDÄDc                  ó0  — g } t          dd¦  «        D ]‚}dt          |¦  «        |ddgdgd|› d�|› d�git          |dz
  ¦  «        t          |¦  «        | r| d	         d
         nd ddœ}t          j        |¦  «        |d
<   |                      |¦  «         Œƒ| S )Nr›   rœ   Úcompleter–   r   rŒ   rn   rt   éÿÿÿÿÚstate_sha256ç        )ÚstateÚround_idÚround_indexr¤   r/   Úaudit_frame_idsÚaudit_review_idsÚinput_labels_sha256Úreviewed_labels_sha256Úparent_state_sha256Úaudit_change_rate)Úranger   r   Ú_state_digestr�   )ÚresultÚindexr‹   s      r   Ú_chainrï   �   sÃ   € Ø€FÝ�q˜!‘”ð ð ˆØ"µ°E±
´
È5Ø",¸w¸iØ#* )À'ÈuÈLÈLÈLÐ]bÐZfÐZfÐZfÐKgÐAhÝ&)¨%°!©)¡n¤nÕPSÐTYÑPZÔPZØDJÐ&T f¨R¤j°Ô&@Ð&@ÐPTØ$'ð)ð )ˆõ $Ô1°#Ñ6Ô6ˆˆNÑØ�Š�cÑÔÐÐØ€Mr   c                  óT
  — t          ¦   «         } t          j        } || ¦  «        }|sÓddt          j        ¦   «         v st          j        t          ¦  «        rt          j        t          ¦  «        ndt          j        |¦  «        dt          j        ¦   «         v st          j        | ¦  «        rt          j        | ¦  «        ndt          j        |¦  «        dœz  }t          t          j	        |¦  «        ¦  «        ‚d x}}t          j        }| d         g}d}||z  } ||¦  «        }| }|s»ddt          j        ¦   «         v st          j        t          ¦  «        rt          j        t          ¦  «        ndt          j        |¦  «        t          j        |¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }	t          t          j	        |	¦  «        ¦  «        ‚d x}x}x}x}x}}t          j        }| d	d …         } ||¦  «        }| }|s¨d
dt          j        ¦   «         v st          j        t          ¦  «        rt          j        t          ¦  «        ndt          j        |¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }
t          t          j	        |
¦  «        ¦  «        ‚d x}x}x}}d| d         d<   t          j
        | d         ¦  «        | d         d<   t          j        } || ¦  «        }| }|sÓddt          j        ¦   «         v st          j        t          ¦  «        rt          j        t          ¦  «        ndt          j        |¦  «        dt          j        ¦   «         v st          j        | ¦  «        rt          j        | ¦  «        ndt          j        |¦  «        dœz  }t          t          j	        |¦  «        ¦  «        ‚d x}x}}t          ¦   «         } | d	         d         | d         d<   t          j
        | d         ¦  «        | d         d<   t          j        } || ¦  «        }| }|sÓddt          j        ¦   «         v st          j        t          ¦  «        rt          j        t          ¦  «        ndt          j        |¦  «        dt          j        ¦   «         v st          j        | ¦  «        rt          j        | ¦  «        ndt          j        |¦  «        dœz  }t          t          j	        |¦  «        ¦  «        ‚d x}x}}d S )NzKassert %(py5)s
{%(py5)s = %(py2)s
{%(py2)s = %(py0)s.converged
}(%(py3)s)
}r   Úchain)r>   r?   r@   r{   r   é   z[assert not %(py9)s
{%(py9)s = %(py2)s
{%(py2)s = %(py0)s.converged
}((%(py4)s * %(py6)s))
})r>   r?   r8   r:   rB   r›   zOassert not %(py6)s
{%(py6)s = %(py2)s
{%(py2)s = %(py0)s.converged
}(%(py4)s)
})r>   r?   r8   r:   Ú	unrelatedr¿   rç   rà   zOassert not %(py5)s
{%(py5)s = %(py2)s
{%(py2)s = %(py0)s.converged
}(%(py3)s)
}ræ   )rï   r   Ú	convergedrQ   rR   rL   rS   rN   rO   rP   rì   )rñ   r\   r‘   r�   rX   r]   r^   rÐ   r_   r“   Ú@py_format8rÏ   r[   s                r   Ú8test_convergence_requires_unique_continuous_bound_roundsrö   ž   s   € Ý‰HŒH€EÝŒ?Ð!ˆ?ˆ?˜5Ñ!Ô!Ð!Ð!Ð!Ð!Ð!Õ!Ô!Ñ!Ô!Ð!Ð!Õ!Ô!�5Ñ!Ô!Ð!Õ!Ô!�5Ñ!Ô!Ð!Ð!Õ!Ô!ˆ?Ñ!Ô!Ð!Õ!Ô!Ñ!Ô!Ð!Ð!Õ!Ô!˜5Ñ!Ô!Ð!Õ!Ô!˜5Ñ!Ô!Ð!Ð!Õ!Ô!Ð!Ñ!Ô!Ð!Ð!Ñ!Ð!Õ!Õ!Ô!Ð!Ñ!Ô!Ñ!Ô!Ð!Ð!Ð!Ð!Ð!ÝŒÐ.  a¤˜zÐ.¨AÐ.˜z¨A™~Ð.ˆˆ˜~Ñ.Ô.Ð.Ð.Ð.Ð.Ð.Ð.Ð.Ð.Õ.Ô.Ñ.Ô.Ð.Ð.Õ.Ô.�uÑ.Ô.Ð.Õ.Ô.�uÑ.Ô.Ð.Ð.Õ.Ô.ˆÑ.Ô.Õ.Ô.˜zÑ.Ô.Õ.Ô.¨AÑ.Ô.Õ.Ô.Ð.Ñ.Ô.Ð.Ð.Ñ.Ð.Õ.Õ.Ô.Ð.Ñ.Ô.Ñ.Ô.Ð.Ð.Ð.Ð.Ð.Ð.Ð.Ð.Ð.Ð.Ð.Ð.Ð.ÝŒÐ)˜u Q R RœyÐ)ˆˆ˜yÑ)Ô)Ð)Ð)Ð)Ð)Ð)Ð)Ð)Ð)Õ)Ô)Ñ)Ô)Ð)Ð)Õ)Ô)�uÑ)Ô)Ð)Õ)Ô)�uÑ)Ô)Ð)Ð)Õ)Ô)ˆÑ)Ô)Õ)Ô)˜yÑ)Ô)Õ)Ô)Ð)Ñ)Ô)Ð)Ð)Ñ)Ð)Õ)Õ)Ô)Ð)Ñ)Ô)Ñ)Ô)Ð)Ð)Ð)Ð)Ð)Ð)Ð)Ð)Ð)Ø&1€Eˆ!„HÐ"Ñ#Ý$Ô2°5¸´8Ñ<Ô<€Eˆ!„Hˆ^ÑÝŒÐ%ˆˆ˜uÑ%Ô%Ð%Ð%Ð%Ð%Ð%Ð%Ð%Ð%Õ%Ô%Ñ%Ô%Ð%Ð%Õ%Ô%�uÑ%Ô%Ð%Õ%Ô%�uÑ%Ô%Ð%Ð%Õ%Ô%ˆÑ%Ô%Ð%Õ%Ô%Ñ%Ô%Ð%Ð%Õ%Ô%˜uÑ%Ô%Ð%Õ%Ô%˜uÑ%Ô%Ð%Ð%Õ%Ô%Ð%Ñ%Ô%Ð%Ð%Ñ%Ð%Õ%Õ%Ô%Ð%Ñ%Ô%Ñ%Ô%Ð%Ð%Ð%Ð%Ð%Ð%Ð%Ý‰HŒH€EØ#(¨¤8Ð,>Ô#?€Eˆ!„HÐÑ Ý$Ô2°5¸´8Ñ<Ô<€Eˆ!„Hˆ^ÑÝŒÐ%ˆˆ˜uÑ%Ô%Ð%Ð%Ð%Ð%Ð%Ð%Ð%Ð%Õ%Ô%Ñ%Ô%Ð%Ð%Õ%Ô%�uÑ%Ô%Ð%Õ%Ô%�uÑ%Ô%Ð%Ð%Õ%Ô%ˆÑ%Ô%Ð%Õ%Ô%Ñ%Ô%Ð%Ð%Õ%Ô%˜uÑ%Ô%Ð%Õ%Ô%˜uÑ%Ô%Ð%Ð%Õ%Ô%Ð%Ñ%Ô%Ð%Ð%Ñ%Ð%Õ%Õ%Ô%Ð%Ñ%Ô%Ñ%Ô%Ð%Ð%Ð%Ð%Ð%Ð%Ð%Ð%Ð%r   c                  ó°  — t          ddddddt          dddd¦  «        t          d	ddd¦  «        g¬
¦  «        } t          | t          dddd¦  «        t          dddd¦  «        g¬¦  «        }t          j        } || |¦  «        }| }|�sddt          j        ¦   «         v st          j        t          ¦  «        rt          j	        t          ¦  «        ndt          j	        |¦  «        dt          j        ¦   «         v st          j        | ¦  «        rt          j	        | ¦  «        nddt          j        ¦   «         v st          j        |¦  «        rt          j	        |¦  «        ndt          j	        |¦  «        dœz  }t          t          j        |¦  «        ¦  «        ‚d x}x}}t          | t          dddd¦  «        t          dddd¦  «        g¬¦  «        }t          j        } || |¦  «        }|�sddt          j        ¦   «         v st          j        t          ¦  «        rt          j	        t          ¦  «        ndt          j	        |¦  «        dt          j        ¦   «         v st          j        | ¦  «        rt          j	        | ¦  «        nddt          j        ¦   «         v st          j        |¦  «        rt          j	        |¦  «        ndt          j	        |¦  «        dœz  }t          t          j        |¦  «        ¦  «        ‚d x}}t          | t          dddd¦  «        g¬¦  «        }t          j        } || |¦  «        }|�sddt          j        ¦   «         v st          j        t          ¦  «        rt          j	        t          ¦  «        ndt          j	        |¦  «        dt          j        ¦   «         v st          j        | ¦  «        rt          j	        | ¦  «        nddt          j        ¦   «         v st          j        |¦  «        rt          j	        |¦  «        ndt          j	        |¦  «        dœz  }t          t          j        |¦  «        ¦  «        ‚d x}}d S )NÚfÚgrk   é   rš   rl   éP   é(   é‚   r�   éƒ   é   ©rž   z]assert not %(py6)s
{%(py6)s = %(py2)s
{%(py2)s = %(py0)s._audit_changed
}(%(py3)s, %(py4)s)
}r   rŒ   Újittered)r>   r?   r@   r8   r:   zYassert %(py6)s
{%(py6)s = %(py2)s
{%(py2)s = %(py0)s._audit_changed
}(%(py3)s, %(py4)s)
}Ú
duplicatedÚmissing)r   r   r   r   Ú_audit_changedrQ   rR   rL   rS   rN   rO   rP   )	rŒ   r  r\   r]   r^   rõ   r  r[   r  s	            r   ÚJtest_audit_change_uses_one_to_one_box_matching_with_small_jitter_tolerancer  ¬   sS  € Ý˜C  i°°cÀ%Ý#& r¨2¨r°2Ñ#6Ô#6½¸CÀÀRÈÑ8LÔ8LÐ"MðOñ Oô O€Eå�u¥S¨¨b°"°bÑ%9Ô%9½3¸rÀ2ÀrÈ2Ñ;NÔ;NÐ$OÐPÑPÔP€HÝÔ#Ð4Ð#Ð# E¨8Ñ4Ô4Ð4Ð4Ð4Ð4Ð4Ñ4Ð4Ð4Õ4Ô4Ñ4Ô4Ð4Ð4Õ4Ô4�uÑ4Ô4Ð4Õ4Ô4�uÑ4Ô4Ð4Ð4Õ4Ô4Ð#Ñ4Ô4Ð4Õ4Ô4Ñ4Ô4Ð4Ð4Õ4Ô4 EÑ4Ô4Ð4Õ4Ô4 EÑ4Ô4Ð4Ð4Ð4Õ4Ô4Ñ4Ô4Ð4Ð4Õ4Ô4¨8Ñ4Ô4Ð4Õ4Ô4¨8Ñ4Ô4Ð4Ð4Õ4Ô4Ð4Ñ4Ô4Ð4Ð4Ñ4Ð4Õ4Õ4Ô4Ð4Ñ4Ô4Ñ4Ô4Ð4Ð4Ð4Ð4Ð4Ð4Ð4Ý˜¥s¨2¨r°2°rÑ':Ô':½CÀÀBÈÈBÑ<OÔ<OÐ&PÐQÑQÔQ€JÝÔÐ2ÐÐ  zÑ2Ô2Ð2Ð2Ñ2Ð2Ð2Õ2Ô2Ñ2Ô2Ð2Ð2Õ2Ô2�5Ñ2Ô2Ð2Õ2Ô2�5Ñ2Ô2Ð2Ð2Õ2Ô2ÐÑ2Ô2Ð2Õ2Ô2Ñ2Ô2Ð2Ð2Õ2Ô2 Ñ2Ô2Ð2Õ2Ô2 Ñ2Ô2Ð2Ð2Ð2Õ2Ô2Ñ2Ô2Ð2Ð2Õ2Ô2 zÑ2Ô2Ð2Õ2Ô2 zÑ2Ô2Ð2Ð2Õ2Ô2Ð2Ñ2Ô2Ð2Ð2Ñ2Ð2Õ2Õ2Ô2Ð2Ñ2Ô2Ñ2Ô2Ð2Ð2Ð2Ð2Ð2Ý�e¥C¨¨B°°BÑ$7Ô$7Ð#8Ð9Ñ9Ô9€GÝÔÐ/ÐÐ  wÑ/Ô/Ð/Ð/Ñ/Ð/Ð/Õ/Ô/Ñ/Ô/Ð/Ð/Õ/Ô/�5Ñ/Ô/Ð/Õ/Ô/�5Ñ/Ô/Ð/Ð/Õ/Ô/ÐÑ/Ô/Ð/Õ/Ô/Ñ/Ô/Ð/Ð/Õ/Ô/ Ñ/Ô/Ð/Õ/Ô/ Ñ/Ô/Ð/Ð/Ð/Õ/Ô/Ñ/Ô/Ð/Ð/Õ/Ô/ wÑ/Ô/Ð/Õ/Ô/ wÑ/Ô/Ð/Ð/Õ/Ô/Ð/Ñ/Ô/Ð/Ð/Ñ/Ð/Õ/Õ/Ô/Ð/Ñ/Ô/Ñ/Ô/Ð/Ð/Ð/Ð/Ð/Ð/Ð/r   c                 óÆ  ‡— t          ddddddt          dddd¦  «        t          dddd¦  «        g¬	¦  «        }t          |t          dddd¦  «        t          dddd¦  «        g¬
¦  «        }dddddœŠ|                      t          dˆfd„¦  «         t          j        }d} ||||¬¦  «        }| }|�s$ddt          j        ¦   «         v st          j	        t          ¦  «        rt          j
        t          ¦  «        ndt          j
        |¦  «        dt          j        ¦   «         v st          j	        |¦  «        rt          j
        |¦  «        nddt          j        ¦   «         v st          j	        |¦  «        rt          j
        |¦  «        ndt          j
        |¦  «        t          j
        |¦  «        dœz  }t          t          j        |¦  «        ¦  «        ‚d x}x}x}}d S )Nrø   rù   rk   rú   rš   r›   rl   é   r�   r   g®Gáz®ï?g…ëQ¸…ë?gáz®Gáê?))r›   r›   )r›   r  )r  r›   )r  r  Úiou_xywhc                 ó0   •— ‰| d         |d         f         S )Nr   r.   )ÚleftÚrightÚscoress     €r   r£   zItest_audit_matching_maximizes_count_above_iou_threshold.<locals>.<lambda>¼   s   ø€ ¸vÀtÈAÄwÐPUÐVWÔPXÐFYÔ?Z€ r   g333333ë?)Úminimum_iouzrassert not %(py8)s
{%(py8)s = %(py2)s
{%(py2)s = %(py0)s._audit_changed
}(%(py3)s, %(py4)s, minimum_iou=%(py6)s)
}r   rŒ   Úrevised)r>   r?   r@   r8   r:   rA   )r   r   r   r©   r   r  rQ   rR   rL   rS   rN   rO   rP   )	r®   rŒ   r  r\   r]   r^   r°   Ú@py_format10r  s	           @r   Ú7test_audit_matching_maximizes_count_above_iou_thresholdr  ·   s  ø€ Ý˜C  i°°cÀ%Ý#& q¨!¨R°Ñ#4Ô#4µc¸"¸aÀÀRÑ6HÔ6HÐ"IðKñ Kô K€Eå�e¥C¨¨2¨r°2Ñ$6Ô$6½¸BÀÀBÈÑ8KÔ8KÐ#LÐMÑMÔM€GØ C°#ÀÐEÐE€FØ×Ò�˜zÐ+ZÐ+ZÐ+ZÐ+ZÑ[Ô[Ð[ÝÔ#ÐDÀÐDÐ#Ð# E¨7ÀÐDÑDÔDÐDÐDÐDÐDÐDÑDÐDÐDÕDÔDÑDÔDÐDÐDÕDÔD�uÑDÔDÐDÕDÔD�uÑDÔDÐDÐDÕDÔDÐ#ÑDÔDÐDÕDÔDÑDÔDÐDÐDÕDÔD EÑDÔDÐDÕDÔD EÑDÔDÐDÐDÐDÕDÔDÑDÔDÐDÐDÕDÔD¨7ÑDÔDÐDÕDÔD¨7ÑDÔDÐDÐDÕDÔDÀÑDÔDÕDÔDÐDÑDÔDÐDÐDÑDÐDÕDÕDÔDÐDÑDÔDÑDÔDÐDÐDÐDÐDÐDÐDÐDÐDÐDÐDÐDr   c                 ó<  ‡— | dz  }|                      ¦   «          |dz                       d¦  «         t          ddddddd	¬
¦  «        }t          |t	          dd¦  «        d¬¦  «         t          |t	          dd¦  «        ¦  «         | dz  }t          t          |g¦  «        |¦  «         | dz  }|                      ¦   «          t          t          |g¦  «        |dz  ¦  «         dt          |¦  «        t          j	        |dz  ¦  «        t          |¦  «        t          j	        |¦  «        t          j	        |dz  ¦  «        ddd d dgg dœ}t          j
        |dz  |¦  «         t          |j        dd	¬¦  «        Š|                     t          dˆfd„¦  «         ||||fS )Nr–   r—   r˜   úaudit-framer   zraw.pngrl   r!   r   rm   zold-aro   rr   rs   zold-bzinput.jsonlÚroundzproposals.jsonlÚawaiting_reviewzround-1r›   )râ   r–   r¤   Úinput_labelsrç   Úproposal_labels_sha256rã   rä   Úparent_roundré   r/   Ú	frame_idsú
round.json)r   r   r   r    c                 ó   •— ‰gddii fS )Nr   r!   r.   )Úpathr‹   s    €r   r£   z _audit_fixture.<locals>.<lambda>Õ   s   ø€ ¸s¸eÀgÈwÐEWÐY[Ð=\€ r   )r¨   r‚   r   r   r
   r   r   r   r   r†   Ú
write_jsonr   r   r©   )rŠ   r®   r–   rŒ   ÚbeforeÚ	round_dirrâ   r‹   s          @r   Ú_audit_fixturer  À   s½  ø€ Ø˜*Ñ$€HØ‡N‚NÑÔÐØ�Ñ×+Ò+¨DÑ1Ô1Ð1Ý˜M¨7°I¸rÀ2Ø")¸eðEñ Eô E€Eå�%� ¨Ñ3Ô3¸JÐGÑGÔGÐGÝ�%� ¨Ñ3Ô3Ñ4Ô4Ð4Ø˜Ñ%€FÝ�}˜e˜WÑ%Ô% vÑ.Ô.Ð.Ø˜7Ñ"€IØ‡O‚OÑÔÐÝ�}˜e˜WÑ%Ô% yÐ3DÑ'DÑEÔEÐEØ'µS¸±]´]Ý %Ô 1°(¸?Ñ2JÑ KÔ KÝ  ™[œ[ÅÔARÐSYÑAZÔAZÝ',Ô'8¸ÐCTÑ9TÑ'UÔ'UØ"°1ÀdØ$(¸7¸)ÐRTðVð V€Eõ 
Ô�Y˜|Ñ+¨UÑ3Ô3Ð3Ý
 5¤>¸GÐSXÐ
YÑ
YÔ
Y€CØ×Ò�˜Ð0\Ð0\Ð0\Ð0\Ñ]Ô]Ð]Ø�&˜) UÐ*Ð*r   c                 óÖ   — t          j        | dg|d         |d         t          |¦  «        t          |¦  «        t          j        |¦  «        t          j        |¦  «        dœ¦  «         d S )Nr  rã   r¤   )r  rã   r¤   Úbefore_labelsÚafter_labelsÚbefore_labels_sha256Úafter_labels_sha256)r   r  r   r†   )r  r  Úafterrâ   s       r   Ú_reportr&  Ù   sm   € Ý	Ô�T¨-¨ÀeÈJÔFWØ Ð!2Ô3ÅcÈ&ÁkÄkÝ˜E™
œ
½EÔ<MÈfÑ<UÔ<UÝ$Ô0°Ñ7Ô7ð9ð 9ñ :ô :ð :ð :ð :r   c                 óò   — t          | |¦  «        \  }}}}| dz  }t          ||||¦  «         t          j        t          d¬¦  «        5  t          j        |||¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )Nú
audit.jsonzfresh independentrH   )r  r&  rT   rU   rV   r   Úfinalize_round)rŠ   r®   r¢   r  r  râ   Úreports          r   Ú.test_identical_audit_snapshots_cannot_finalizer+  à   sÇ   € Ý"0°¸;Ñ"GÔ"GÑ€A€vˆy˜%Ø�lÑ"€FÝˆF�F˜F EÑ*Ô*Ð*Ý	Œ•zÐ)<Ð	=Ñ	=Ô	=ð 8ð 8ÝÔ˜Y¨°Ñ7Ô7Ð7ð8ð 8ð 8ñ 8ô 8ð 8ð 8ð 8ð 8ð 8ð 8ð 8øøøð 8ð 8ð 8ð 8ð 8ð 8s   ÁA,Á,A0Á3A0c                 ó¦  — t          | |¦  «        \  }}}}t          |t          dd¦  «        ¦  «         t          |t          dd¦  «        ¦  «         | dz  }t          t	          |g¦  «        |¦  «         | dz  }t          ||||¦  «         t          j        |||¦  «        }|d         }	d}
|	|
k    }|slt          j	        d|fd	|	|
f¦  «        t          j
        |	¦  «        t          j
        |
¦  «        d
œz  }dd|iz  }t          t          j        |¦  «        ¦  «        ‚d x}	x}}
|d         d         }t          |¦  «        }
d}|
|k    }|sÇt          j	        d|fd|
|f¦  «        dt          j        ¦   «         v st          j        t          ¦  «        rt          j
        t          ¦  «        ndt          j
        |¦  «        t          j
        |
¦  «        t          j
        |¦  «        dœz  }dd|iz  }t          t          j        |¦  «        ¦  «        ‚d x}x}
x}}|d         }	t          j        } ||¦  «        }|	|k    }|�st          j	        d|fd|	|f¦  «        t          j
        |	¦  «        dt          j        ¦   «         v st          j        t          ¦  «        rt          j
        t          ¦  «        ndt          j
        |¦  «        dt          j        ¦   «         v st          j        |¦  «        rt          j
        |¦  «        ndt          j
        |¦  «        dœz  }dd|iz  }t          t          j        |¦  «        ¦  «        ‚d x}	x}x}}d S )Núnew-aro   únew-búreviewed.jsonlr(  rê   rá   r3   r5   r6   r9   r:   ræ   r  r¿   )z0%(py4)s
{%(py4)s = %(py0)s(%(py2)s)
} == %(py7)srÇ   )r>   r?   r8   rÅ   zassert %(py9)srB   rà   )zS%(py1)s == %(py8)s
{%(py8)s = %(py5)s
{%(py5)s = %(py3)s._state_digest
}(%(py6)s)
}r   Údoner}   r~   r   )r  r   r
   r   r   r&  r   r)  rL   rM   rN   rO   rP   rÇ   rQ   rR   rS   rì   )rŠ   r®   rŒ   r  r  râ   r%  r*  r0  rW   rX   rY   rZ   r[   r\   rÏ   r]   rõ   r  r‘   r^   r’   r“   s                          r   ÚCtest_new_independent_reviews_allow_unchanged_payload_and_bind_roundr1  è   sª  € Ý&4°X¸{Ñ&KÔ&KÑ#€Eˆ6�9˜eÝ�%� ¨Ñ3Ô3Ñ4Ô4Ð4Ý�%� ¨Ñ3Ô3Ñ4Ô4Ð4ØÐ%Ñ%€EÝ�}˜e˜WÑ%Ô% uÑ-Ô-Ð-Ø�lÑ"€FÝˆF�F˜E 5Ñ)Ô)Ð)ÝÔ 	¨5°&Ñ9Ô9€DØÐ#Ô$Ð+¨Ð+Ð$¨Ò+Ð+Ð+Ð+Õ+Ô+Ð+Ð+Ð+Ð+Ð$¨Ð+Ñ+Ô+Õ+Ô+Ð$Ñ+Ô+Õ+Ô+¨Ñ+Ô+Ð+Ð+Ñ+Ð+Ð+Ð+Ð+Ð+Ñ+Ð+Õ+Õ+Ô+Ð+Ñ+Ô+Ñ+Ô+Ð+Ð+Ð+Ð+Ð+Ð+Ð+ØÐ&Ô'¨Ô6Ð<�3Ð6Ñ7Ô7Ð<¸1Ð<Ð7¸1Ò<Ð<Ð<Ð<Õ<Ô<Ð<Ð<Ð<Ð<Ð7¸1Ð<Ñ<Ô<Ð<Õ<Ô<Ñ<Ô<Ð<Ð<Õ<Ô<�3Ñ<Ô<Ð<Õ<Ô<�3Ñ<Ô<Ð<Ð<Õ<Ô<Ð6Ñ<Ô<Õ<Ô<Ð7Ñ<Ô<Õ<Ô<¸1Ñ<Ô<Ð<Ð<Ñ<Ð<Ð<Ð<Ð<Ð<Ñ<Ð<Õ<Õ<Ô<Ð<Ñ<Ô<Ñ<Ô<Ð<Ð<Ð<Ð<Ð<Ð<Ð<Ð<Ð<Ø�ÔÐ<¥5Ô#6Ð<Ð#6Ð#6°tÑ#<Ô#<Ð<ÐÐ#<Ò<Ð<Ð<Ñ<Õ<Ô<Ð<Ð<Ð<Ð<ÐÐ#<Ð<Ñ<Ô<Õ<Ô<ÐÑ<Ô<Ð<Õ<Ô<Ñ<Ô<Ð<Ð<Õ<Ô<¥5Ñ<Ô<Ð<Õ<Ô<¥5Ñ<Ô<Ð<Ð<Õ<Ô<Ð#6Ñ<Ô<Ð<Õ<Ô<Ñ<Ô<Ð<Ð<Õ<Ô<°tÑ<Ô<Ð<Õ<Ô<°tÑ<Ô<Ð<Ð<Õ<Ô<Ð#<Ñ<Ô<Ð<Ð<Ñ<Ð<Ð<Ð<Ð<Ð<Ñ<Ð<Õ<Õ<Ô<Ð<Ñ<Ô<Ñ<Ô<Ð<Ð<Ð<Ð<Ð<Ð<Ð<Ð<Ð<Ð<Ð<r   c                 ód  — t          | |¦  «        \  }}}}d„ |j        D ¦   «         |_        | dz  }t          t          |g¦  «        |¦  «         | dz  }t	          ||||¦  «         t          j        t          d¬¦  «        5  t          j	        |||¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )Nc                 ó@   — g | ]}t          |d |j        z   ¬¦  «        ‘ŒS )znew-)Ú	review_id)r   r4  )r   Úreviews     r   r   zOtest_new_ids_from_old_reviewers_do_not_count_as_independent.<locals>.<listcomp>ø   s-   € ÐfÐfÐfÈf•W˜V¨v¸Ô8HÑ/HÐIÑIÔIÐfÐfÐfr   r/  r(  zindependent new reviewersrH   )
r  r‰   r   r   r&  rT   rU   rV   r   r)  ©rŠ   r®   rŒ   r  r  râ   r%  r*  s           r   Ú;test_new_ids_from_old_reviewers_do_not_count_as_independentr7  ö   s  € Ý&4°X¸{Ñ&KÔ&KÑ#€Eˆ6�9˜eØfÐfÐX]ÔXeÐfÑfÔf€E„MØÐ%Ñ%€EÝ�}˜e˜WÑ%Ô% uÑ-Ô-Ð-Ø�lÑ"€FÝˆF�F˜E 5Ñ)Ô)Ð)Ý	Œ•zÐ)DÐ	EÑ	EÔ	Eð 7ð 7ÝÔ˜Y¨¨vÑ6Ô6Ð6ð7ð 7ð 7ñ 7ô 7ð 7ð 7ð 7ð 7ð 7ð 7ð 7øøøð 7ð 7ð 7ð 7ð 7ð 7s   ÂB%Â%B)Â,B)c                 ó°  — t          | |¦  «        \  }}}}t          |t          dd¦  «        ¦  «         t          |t          dd¦  «        ¦  «         | dz  }t          t	          |g¦  «        |¦  «         | dz  }t          ||||¦  «         t          j        t          d¬¦  «        5  t          j
        |||¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )Nr-  ro   r.  r/  r(  zround input and reviewed outputrH   )r  r   r
   r   r   r&  rT   rU   rV   r   r)  r6  s           r   Ú3test_audit_cannot_substitute_unrelated_round_outputr9    s   € Ý&4°X¸{Ñ&KÔ&KÑ#€Eˆ6�9˜eÝ�%� ¨Ñ3Ô3Ñ4Ô4Ð4Ý�%� ¨Ñ3Ô3Ñ4Ô4Ð4ØÐ%Ñ%€EÝ�}˜e˜WÑ%Ô% uÑ-Ô-Ð-Ø�lÑ"€FÝˆF�F˜E 5Ñ)Ô)Ð)Ý	Œ•zÐ)JÐ	KÑ	KÔ	Kð 8ð 8ÝÔ˜Y¨°Ñ7Ô7Ð7ð8ð 8ð 8ñ 8ô 8ð 8ð 8ð 8ð 8ð 8ð 8ð 8øøøð 8ð 8ð 8ð 8ð 8ð 8s   Â'CÃCÃCc                 óR  — t          ¦   «         d         }| dz  }t          j        ||¦  «         t          j        | ¦  «        d         }d}||k    }|slt	          j        d|fd||f¦  «        t	          j        |¦  «        t	          j        |¦  «        dœz  }dd	|iz  }t          t	          j        |¦  «        ¦  «        ‚d x}x}}d
|d<   t          j        ||¦  «         t          j
        t          d¬¦  «        5  t          j        |¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )Nr   r  rã   Ú1r3   r5   r6   r9   r:   Úchangedrè   zverified completedrH   )rï   r   r  Ú_parent_staterL   rM   rN   rO   rP   rT   rU   rV   )rŠ   râ   r  rW   rX   rY   rZ   r[   s           r   Ú2test_parent_state_rejects_modified_completed_roundr>    s‰  € Ý‰HŒH�QŒK€EØ�LÑ €DÝ	Ô�T˜5Ñ!Ô!Ð!ÝÔ˜xÑ(Ô(¨Ô4Ð;¸Ð;Ð4¸Ò;Ð;Ð;Ð;Õ;Ô;Ð;Ð;Ð;Ð;Ð4¸Ð;Ñ;Ô;Õ;Ô;Ð4Ñ;Ô;Õ;Ô;¸Ñ;Ô;Ð;Ð;Ñ;Ð;Ð;Ð;Ð;Ð;Ñ;Ð;Õ;Õ;Ô;Ð;Ñ;Ô;Ñ;Ô;Ð;Ð;Ð;Ð;Ð;Ð;Ð;Ø&/€EÐ
"Ñ#Ý	Ô�T˜5Ñ!Ô!Ð!Ý	Œ•zÐ)=Ð	>Ñ	>Ô	>ð "ð "ÝÔ˜DÑ!Ô!Ð!ð"ð "ð "ñ "ô "ð "ð "ð "ð "ð "ð "ð "øøøð "ð "ð "ð "ð "ð "s   Ã:DÄD Ä#D )%ÚbuiltinsrQ   Ú_pytest.assertion.rewriteÚ	assertionÚrewriterL   rƒ   Údataclassesr   Útypesr   rT   Úpallet.annotationr   r   r   r	   r
   r   r   r   re   r”   r¶   rÕ   rÜ   rï   rö   r  r  r  r&  r+  r1  r7  r9  r>  r.   r   r   ú<module>rF     s¥  ðØ  € € € € € € € € € € € € €€€€Ø Ð Ð Ð Ð Ð Ø !Ð !Ð !Ð !Ð !Ð !à €€€à pÐ pÐ pÐ pÐ pÐ pÐ pÐ pÐ pÐ pÐ pÐ pÐ pÐ pÐ pÐ pÐ pÐ pØ #Ð #Ð #Ð #Ð #Ð #ð3ð 3ð 3ð$!Qð !Qð !QðH Ið  Ið  IðF?ð ?ð ?ð<Kð Kð Kðð ð ð&ð &ð &ð0ð 0ð 0ðEð Eð Eð+ð +ð +ð2:ð :ð :ð8ð 8ð 8ð=ð =ð =ð7ð 7ð 7ð	8ð 	8ð 	8ð"ð "ð "ð "ð "r   