§
    ‰ñÆjê.  ã                   óà  — d dl Zd dlmc mZ d dlZd dlZd dl	m
Z
 d dlmZ d dlZd dlZej                             d e
e¦  «        j        d         dz  ¦  «        Zej                             e¦  «        Zej                             e¦  «         dd„Zd	„ Zd
„ Zd„ Zd„ Zd„ Zd„ Zej         d„ ¦   «         Z!d„ Z"ej#         $                    dg d¢¦  «        d„ ¦   «         Z%d„ Z&d„ Z'd„ Z(d„ Z)d„ Z*dS )é    N)ÚPath)ÚSimpleNamespaceÚproposal_stabilityé   ú%scripts/compare_proposal_stability.pyçÍÌÌÌÌÌì?c                 ó   — | |dœS )N©ÚxyxyÚscore© r
   s     úJ/root/private/project/pallet_detection_v2/tests/test_proposal_stability.pyÚboxr      s   € Ø 5Ð)Ð)Ð)ó    c                  ó¤  — t                                t          j        ddgddgg¦  «        ¦  «        } d„ | D ¦   «         }ddh}||k    }|slt	          j        d|fd||f¦  «        t	          j        |¦  «        t	          j        |¦  «        d	œz  }d
d|iz  }t          t	          j        |¦  «        ¦  «        ‚d x}x}}t           j        }t          j        }dgg} ||¦  «        }	 ||	¦  «        }
g }|
|k    }|�sHt	          j        d|fd|
|f¦  «        dt          j
        ¦   «         v st	          j        t           ¦  «        rt	          j        t           ¦  «        ndt	          j        |¦  «        dt          j
        ¦   «         v st	          j        t          ¦  «        rt	          j        t          ¦  «        ndt	          j        |¦  «        t	          j        |¦  «        t	          j        |	¦  «        t	          j        |
¦  «        t	          j        |¦  «        dœz  }dd|iz  }t          t	          j        |¦  «        ¦  «        ‚d x}x}x}x}	x}
x}}d S )Ng®Gáz®ï?gR¸…ëQà?g\�Âõ(\ß?c                 ó   — h | ]
\  }}}||f’ŒS r   r   )Ú.0ÚaÚbÚ_s       r   ú	<setcomp>z@test_crowded_matching_prioritizes_cardinality.<locals>.<setcomp>   s"   € Ð(Ð(Ð(‘w�q˜!˜QˆQ�ˆFÐ(Ð(Ð(r   )r   r   )r   r   ©ú==©z%(py1)s == %(py4)s©Úpy1Úpy4úassert %(py6)sÚpy6)zŒ%(py11)s
{%(py11)s = %(py2)s
{%(py2)s = %(py0)s.match_ious
}(%(py9)s
{%(py9)s = %(py5)s
{%(py5)s = %(py3)s.array
}(%(py7)s)
})
} == %(py14)sÚ	stabilityÚnp)Úpy0Úpy2Úpy3Úpy5Úpy7Úpy9Úpy11Úpy14zassert %(py16)sÚpy16)r    Ú
match_iousr!   ÚarrayÚ
@pytest_arÚ_call_reprcompareÚ	_safereprÚAssertionErrorÚ_format_explanationÚ@py_builtinsÚlocalsÚ_should_repr_global_name)ÚpairsÚ@py_assert0Ú@py_assert3Ú@py_assert2Ú@py_format5Ú@py_format7Ú@py_assert1Ú@py_assert4Ú@py_assert6Ú@py_assert8Ú@py_assert10Ú@py_assert13Ú@py_assert12Ú@py_format15Ú@py_format17s                  r   Ú-test_crowded_matching_prioritizes_cardinalityrD      sŠ  € å× Ò ¥¤¨C°¨:¸¸S°zÐ*BÑ!CÔ!CÑDÔD€EØ(Ð( %Ð(Ñ(Ô(Ð<¨V°VÐ,<Ð<Ð(Ð,<Ò<Ð<Ð<Ð<Õ<Ô<Ð<Ð<Ð<Ð<Ð(Ð,<Ð<Ñ<Ô<Õ<Ô<Ð(Ñ<Ô<Õ<Ô<Ð,<Ñ<Ô<Ð<Ð<Ñ<Ð<Ð<Ð<Ð<Ð<Ñ<Ð<Õ<Õ<Ô<Ð<Ñ<Ô<Ñ<Ô<Ð<Ð<Ð<Ð<Ð<Ð<Ð<ÝÔÐ8¥¤Ð8¨3¨%¨Ð8  ¨Ñ 1Ô 1Ð8ÐÐÐ 1Ñ2Ô2Ð8°bÐ8Ð2°bÒ8Ð8Ð8Ñ8Õ8Ô8Ð8Ð8Ð8Ð8Ð2°bÐ8Ñ8Ô8Ð8Õ8Ô8Ñ8Ô8Ð8Ð8Õ8Ô8�9Ñ8Ô8Ð8Õ8Ô8�9Ñ8Ô8Ð8Ð8Õ8Ô8ÐÑ8Ô8Ð8Õ8Ô8Ñ8Ô8Ð8Ð8Õ8Ô8¥Ñ8Ô8Ð8Õ8Ô8¥Ñ8Ô8Ð8Ð8Õ8Ô8 Ñ8Ô8Õ8Ô8¨Ñ8Ô8Õ8Ô8Ð 1Ñ8Ô8Õ8Ô8Ð2Ñ8Ô8Õ8Ô8°bÑ8Ô8Ð8Ð8Ñ8Ð8Ð8Ð8Ð8Ð8Ñ8Ð8Õ8Õ8Ô8Ð8Ñ8Ô8Ñ8Ô8Ð8Ð8Ð8Ð8Ð8Ð8Ð8Ð8Ð8Ð8Ð8Ð8Ð8Ð8Ð8Ð8Ð8r   c                  ó¢  — t          g d¢¦  «        t          g d¢¦  «        g} t                               | t          t	          | ¦  «        ¦  «        dd¦  «        }g }|d         }d}||k    }|}|r|d         }d}||k    }	|	}|�st          j        d|fd	||f¦  «        t          j        |¦  «        t          j        |¦  «        d
œz  }
dd|
iz  }|                     |¦  «         |r`t          j        d|	fd||f¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }dd|iz  }|                     |¦  «         t          j	        |d¦  «        i z  }dd|iz  }t          t          j        |¦  «        ¦  «        ‚d x}x}x}x}x}x}x}	}t                               | d         gt          g d¢¦  «        gdd¦  «        }|d         }d}||k    }|slt          j        d|fd||f¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }dd|iz  }
t          t          j        |
¦  «        ¦  «        ‚d x}x}}d S )N©r   r   é   rG   )é   r   é(   rG   éd   Úchangedr   Úmatchedé   r   ©z%(py3)s == %(py6)s©r$   r   ú%(py8)sÚpy8©z%(py11)s == %(py14)s©r(   r)   ú%(py16)sr*   úassert %(py19)sÚpy19)ç{®Gáz„?rW   çÃõ(\�4@rX   r   r   r   r   )r   r    Úcompare_frameÚlistÚreversedr-   r.   r/   ÚappendÚ_format_boolopr0   r1   )ÚboxesÚresultr;   r8   Ú@py_assert5r<   r6   r?   r@   rA   r:   Ú@py_format9rB   rC   Ú@py_format18Ú@py_format20r7   r9   s                     r   Ú4test_box_order_and_small_float_noise_are_not_changesrd      sÝ  € Ý���Ñ Ô ¥# o o oÑ"6Ô"6Ð7€EÝ×$Ò$ U­Dµ¸%±´Ñ,AÔ,AÀ3ÈÑLÔL€FØ<Ð<ˆ6�)ÔÐ< Ð<Ð Ò!Ð<Ð<Ð<Ð<Ð< f¨YÔ&7Ð<¸1Ð<Ð&7¸1Ò&<Ð<Ð<Ð<Ð<Ñ<Õ<Ô<Ð<Ð<Ð<Ð<Ð Ð<Ñ<Ô<Õ<Ô<ÐÑ<Ô<Õ<Ô< Ñ<Ô<Ð<Ð<Ñ<Ð<Ð<Ð<Ð<Ð<Ñ<Ð<Ð<×<Ò<Ð<Ñ<Ô<Ð<Ð<Ð<Õ<Ô<Ð<Ð<Ð<Ð<Ð&7¸1Ð<Ñ<Ô<Õ<Ô<Ð&7Ñ<Ô<Õ<Ô<¸1Ñ<Ô<Ð<Ð<Ñ<Ð<Ð<Ð<Ð<Ð<Ñ<Ð<Ð<×<Ò<Ð<Ñ<Ô<Ð<Õ<Ô<Ð<Ð<Ñ<Ô<Ð<Ñ<Ð<Ð<Ð<Ð<Ð<Ñ<Ð<Õ<Õ<Ô<Ð<Ñ<Ô<Ñ<Ô<Ð<Ð<Ð<Ð<Ð<Ð<Ð<Ð<Ð<Ð<Ð<Ð<Ð<Ð<Ð<Ð<Ð<Ý×$Ò$ e¨A¤h Zµ#Ð6NÐ6NÐ6NÑ2OÔ2OÐ1PÐRUÐWZÑ[Ô[€FØ�)ÔÐ! Ð!Ð Ò!Ð!Ð!Ð!Õ!Ô!Ð!Ð!Ð!Ð!Ð Ð!Ñ!Ô!Õ!Ô!ÐÑ!Ô!Õ!Ô! Ñ!Ô!Ð!Ð!Ñ!Ð!Ð!Ð!Ð!Ð!Ñ!Ð!Õ!Õ!Ô!Ð!Ñ!Ô!Ñ!Ô!Ð!Ð!Ð!Ð!Ð!Ð!Ð!Ð!Ð!r   c                  ó  — t          g d¢¦  «        g} t                               | g dd¦  «        }g }|d         }d}||k    }|}|r|d         }d}||k    }	|	}|�st          j        d|fd||f¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }
d	d
|
iz  }|                     |¦  «         |r`t          j        d|	fd||f¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }dd|iz  }|                     |¦  «         t          j        |d¦  «        i z  }dd|iz  }t          t          j	        |¦  «        ¦  «        ‚d x}x}x}x}x}x}x}	}t                               | t          g d¢¦  «        gdd¦  «        }g }|d         }d}||k    }|}|r|d         }d}||k    }	|	}|�st          j        d|fd||f¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }
d	d
|
iz  }|                     |¦  «         |r`t          j        d|	fd||f¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }dd|iz  }|                     |¦  «         t          j        |d¦  «        i z  }dd|iz  }t          t          j	        |¦  «        ¦  «        ‚d x}x}x}x}x}x}x}	}|d         }|d         }||k    }d}||k    }|r|s�t          j        d||fd|||f¦  «        t          j        |¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }dd|iz  }t          t          j	        |¦  «        ¦  «        ‚d x}x}x}x}}d S )NrF   rJ   Údeletedr   Úpresence_changedr   rN   rO   rP   rQ   rR   rS   rT   r*   r   rU   rV   ©é2   ri   éF   rj   Úcount_changedrK   Úadded)r   r   )z%(py1)s == %(py5)sz%(py5)s == %(py7)s)r   r%   r&   úassert %(py9)sr'   )
r   r    rY   r-   r.   r/   r\   r]   r0   r1   )Úoriginalr_   r;   r8   r`   r<   r6   r?   r@   rA   r:   ra   rB   rC   rb   rc   r=   r7   Ú@py_format8Ú@py_format10s                       r   Ú-test_added_deleted_and_same_count_replacementrq   "   s£  € Ý�N�N�NÑ#Ô#Ð$€HÝ×$Ò$ X¨r°3¸Ñ<Ô<€FØEÐEˆ6�)ÔÐE ÐEÐ Ò!ÐEÐEÐEÐEÐE fÐ-?Ô&@ÐEÀAÐEÐ&@ÀAÒ&EÐEÐEÐEÐEÑEÕEÔEÐEÐEÐEÐEÐ ÐEÑEÔEÕEÔEÐÑEÔEÕEÔE ÑEÔEÐEÐEÑEÐEÐEÐEÐEÐEÑEÐEÐE×EÒEÐEÑEÔEÐEÐEÐEÕEÔEÐEÐEÐEÐEÐ&@ÀAÐEÑEÔEÕEÔEÐ&@ÑEÔEÕEÔEÀAÑEÔEÐEÐEÑEÐEÐEÐEÐEÐEÑEÐEÐE×EÒEÐEÑEÔEÐEÕEÔEÐEÐEÑEÔEÐEÑEÐEÐEÐEÐEÐEÑEÐEÕEÕEÔEÐEÑEÔEÑEÔEÐEÐEÐEÐEÐEÐEÐEÐEÐEÐEÐEÐEÐEÐEÐEÐEÐEÝ×$Ò$ XµÐ4DÐ4DÐ4DÑ0EÔ0EÐ/FÈÈSÑQÔQ€FØBÐBˆ6�/Ô"ÐB aÐBÐ" aÒ'ÐBÐBÐBÐBÐB¨F°9Ô,=ÐBÀÐBÐ,=ÀÒ,BÐBÐBÐBÐBÑBÕBÔBÐBÐBÐBÐBÐ" aÐBÑBÔBÕBÔBÐ"ÑBÔBÕBÔB aÑBÔBÐBÐBÑBÐBÐBÐBÐBÐBÑBÐBÐB×BÒBÐBÑBÔBÐBÐBÐBÕBÔBÐBÐBÐBÐBÐ,=ÀÐBÑBÔBÕBÔBÐ,=ÑBÔBÕBÔBÀÑBÔBÐBÐBÑBÐBÐBÐBÐBÐBÑBÐBÐB×BÒBÐBÑBÔBÐBÕBÔBÐBÐBÑBÔBÐBÑBÐBÐBÐBÐBÐBÑBÐBÕBÕBÔBÐBÑBÔBÑBÔBÐBÐBÐBÐBÐBÐBÐBÐBÐBÐBÐBÐBÐBÐBÐBÐBÐBØ�'Œ?Ð4˜f YÔ/Ð4ˆ?Ð/Ò4Ð4°1Ð4Ð/°1Ò4Ð4Ð4Ð4Ð4Ð4Õ4Ô4Ð4Ð4Ð4Ð4Ð4ˆ?Ð/°1Ð4Ñ4Ô4Õ4Ô4ˆ?Ñ4Ô4Õ4Ô4Ð/Ñ4Ô4Õ4Ô4°1Ñ4Ô4Ð4Ð4Ñ4Ð4Ð4Ð4Ð4Ð4Ñ4Ð4Õ4Õ4Ô4Ð4Ñ4Ô4Ñ4Ô4Ð4Ð4Ð4Ð4Ð4Ð4Ð4Ð4Ð4Ð4Ð4Ð4Ð4r   c                  óì  — t                                g g dd¦  «        } |                      d¬¦  «         t                                | gd¬¦  «        }|d         }d}||k    }|slt	          j        d|fd	||f¦  «        t	          j        |¦  «        t	          j        |¦  «        d
œz  }dd|iz  }t          t	          j        |¦  «        ¦  «        ‚d x}x}}|d         }d }||u }|slt	          j        d|fd||f¦  «        t	          j        |¦  «        t	          j        |¦  «        d
œz  }dd|iz  }t          t	          j        |¦  «        ¦  «        ‚d x}x}}|d         }d }||u }|slt	          j        d|fd||f¦  «        t	          j        |¦  «        t	          j        |¦  «        d
œz  }dd|iz  }t          t	          j        |¦  «        ¦  «        ‚d x}x}}t            	                    g d¦  «        d         }d }||u }|slt	          j        d|fd||f¦  «        t	          j        |¦  «        t	          j        |¦  «        d
œz  }dd|iz  }t          t	          j        |¦  «        ¦  «        ‚d x}x}}d S )NrJ   Úg©Úgroup_idT)Ú	bootstrapÚ
both_emptyr   r   r   r   r   r   Úchanged_nonempty_frame_rate©Úis©z%(py1)s is %(py4)sÚbox_set_jaccardFÚstable)
r    rY   ÚupdateÚ	aggregater-   r.   r/   r0   r1   Ú	judgement)ÚrowÚmetricsr6   r7   r8   r9   r:   s          r   Ú4test_empty_agreement_is_separate_and_not_correctnessrƒ   +   s  € Ý
×
!Ò
! " b¨#¨sÑ
3Ô
3€CØ‡J‚J˜€JÑÔÐÝ×!Ò! 3 %°4Ð!Ñ8Ô8€GØ�<Ô Ð% AÐ%Ð  AÒ%Ð%Ð%Ð%Õ%Ô%Ð%Ð%Ð%Ð%Ð  AÐ%Ñ%Ô%Õ%Ô%Ð Ñ%Ô%Õ%Ô% AÑ%Ô%Ð%Ð%Ñ%Ð%Ð%Ð%Ð%Ð%Ñ%Ð%Õ%Õ%Ô%Ð%Ñ%Ô%Ñ%Ô%Ð%Ð%Ð%Ð%Ð%Ð%Ð%ØÐ0Ô1Ð9°TÐ9Ð1°TÐ9Ð9Ð9Ð9Õ9Ô9Ð9Ð9Ð9Ð9Ð1°TÐ9Ñ9Ô9Õ9Ô9Ð1Ñ9Ô9Õ9Ô9°TÑ9Ô9Ð9Ð9Ñ9Ð9Ð9Ð9Ð9Ð9Ñ9Ð9Õ9Õ9Ô9Ð9Ñ9Ô9Ñ9Ô9Ð9Ð9Ð9Ð9Ð9Ð9Ð9ØÐ$Ô%Ð-¨Ð-Ð%¨Ð-Ð-Ð-Ð-Õ-Ô-Ð-Ð-Ð-Ð-Ð%¨Ð-Ñ-Ô-Õ-Ô-Ð%Ñ-Ô-Õ-Ô-¨Ñ-Ô-Ð-Ð-Ñ-Ð-Ð-Ð-Ð-Ð-Ñ-Ð-Õ-Õ-Ô-Ð-Ñ-Ô-Ñ-Ô-Ð-Ð-Ð-Ð-Ð-Ð-Ð-Ý×Ò˜r 5Ñ)Ô)¨(Ô3Ð;°tÐ;Ð3°tÐ;Ð;Ð;Ð;Õ;Ô;Ð;Ð;Ð;Ð;Ð3°tÐ;Ñ;Ô;Õ;Ô;Ð3Ñ;Ô;Õ;Ô;°tÑ;Ô;Ð;Ð;Ñ;Ð;Ð;Ð;Ð;Ð;Ñ;Ð;Õ;Õ;Ô;Ð;Ñ;Ô;Ñ;Ô;Ð;Ð;Ð;Ð;Ð;Ð;Ð;Ð;Ð;r   c                  óÖ  — t          g d¢d¦  «        g} | t          g d¢d¦  «        gz   }t                               | |dd¦  «        d         }d}||k    }|slt          j        d|fd	||f¦  «        t          j        |¦  «        t          j        |¦  «        d
œz  }dd|iz  }t          t          j        |¦  «        ¦  «        ‚d x}x}}t                               | |ddd¦  «        d         }d}||k    }|slt          j        d|fd	||f¦  «        t          j        |¦  «        t          j        |¦  «        d
œz  }dd|iz  }t          t          j        |¦  «        ¦  «        ‚d x}x}}d S )NrF   r   rh   gš™™™™™É?rJ   rK   r   r   r   r   r   r   çffffffæ?r   )r   r    rY   r-   r.   r/   r0   r1   )ÚoldÚnewr6   r7   r8   r9   r:   s          r   Ú-test_threshold_effect_separated_from_geometryrˆ   5   s¸  € Ýˆ~ˆ~ˆ~˜rÑ"Ô"Ð
#€CØ
•Ð%Ð%Ð% rÑ*Ô*Ð+Ñ
+€CÝ×"Ò" 3¨¨S°#Ñ6Ô6°yÔAÐFÀQÐFÐAÀQÒFÐFÐFÐFÕFÔFÐFÐFÐFÐFÐAÀQÐFÑFÔFÕFÔFÐAÑFÔFÕFÔFÀQÑFÔFÐFÐFÑFÐFÐFÐFÐFÐFÑFÐFÕFÕFÔFÐFÑFÔFÑFÔFÐFÐFÐFÐFÐFÐFÐFÝ×"Ò" 3¨¨S°#°rÑ:Ô:¸9ÔEÐJÈÐJÐEÈÒJÐJÐJÐJÕJÔJÐJÐJÐJÐJÐEÈÐJÑJÔJÕJÔJÐEÑJÔJÕJÔJÈÑJÔJÐJÐJÑJÐJÐJÐJÐJÐJÑJÐJÕJÕJÔJÐJÑJÔJÑJÔJÐJÐJÐJÐJÐJÐJÐJÐJÐJr   c                  óþ  — t                                t          g d¢¦  «        gt          g d¢¦  «        gdd¦  «        } | d         }d}||k    }|slt          j        d|fd||f¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }d	d
|iz  }t          t          j        |¦  «        ¦  «        ‚d x}x}}t                                t          g d¢¦  «        gt          g d¢¦  «        gdd¦  «        } g }| d         }d}||k    }|}|r| d         }	d}
|	|
k    }|}|�st          j        d|fd||f¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }dd|iz  }|                     |¦  «         |r`t          j        d|fd|	|
f¦  «        t          j        |	¦  «        t          j        |
¦  «        dœz  }dd|iz  }|                     |¦  «         t          j	        |d¦  «        i z  }dd|iz  }t          t          j        |¦  «        ¦  «        ‚d x}x}x}x}x}x}	x}}
t                                t          g d¢¦  «        gt          g d¢¦  «        gdd¦  «        } | d         }d}||k    }|slt          j        d|fd||f¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }d	d
|iz  }t          t          j        |¦  «        ¦  «        ‚d x}x}}d S )N)r   r   rI   rI   )r   r   é)   rI   rJ   rK   r   r   r   r   r   r   )rM   r   é*   rI   r   Úchanged_iou90rN   rO   rP   rQ   rR   rS   rT   r*   rU   rV   )r   r   éZ   r�   )é   r   é]   r�   )
r    rY   r   r-   r.   r/   r0   r1   r\   r]   )r_   r6   r7   r8   r9   r:   r;   r`   r<   r?   r@   rA   ra   rB   rC   rb   rc   s                    r   Ú'test_boundary_shift_and_iou_sensitivityr�   <   sµ  € Ý×$Ò$¥c¨.¨.¨.Ñ&9Ô&9Ð%:½SÀÀÀÑ=PÔ=PÐ<QÐSVÐX[Ñ\Ô\€FØ�)ÔÐ! Ð!Ð Ò!Ð!Ð!Ð!Õ!Ô!Ð!Ð!Ð!Ð!Ð Ð!Ñ!Ô!Õ!Ô!ÐÑ!Ô!Õ!Ô! Ñ!Ô!Ð!Ð!Ñ!Ð!Ð!Ð!Ð!Ð!Ñ!Ð!Õ!Õ!Ô!Ð!Ñ!Ô!Ñ!Ô!Ð!Ð!Ð!Ð!Ð!Ð!Ð!Ý×$Ò$¥c¨.¨.¨.Ñ&9Ô&9Ð%:½SÀÀÀÑ=PÔ=PÐ<QÐSVÐX[Ñ\Ô\€FØBÐBˆ6�)ÔÐB ÐBÐ Ò!ÐBÐBÐBÐBÐB f¨_Ô&=ÐBÀÐBÐ&=ÀÒ&BÐBÐBÐBÐBÑBÕBÔBÐBÐBÐBÐBÐ ÐBÑBÔBÕBÔBÐÑBÔBÕBÔB ÑBÔBÐBÐBÑBÐBÐBÐBÐBÐBÑBÐBÐB×BÒBÐBÑBÔBÐBÐBÐBÕBÔBÐBÐBÐBÐBÐ&=ÀÐBÑBÔBÕBÔBÐ&=ÑBÔBÕBÔBÀÑBÔBÐBÐBÑBÐBÐBÐBÐBÐBÑBÐBÐB×BÒBÐBÑBÔBÐBÕBÔBÐBÐBÑBÔBÐBÑBÐBÐBÐBÐBÐBÑBÐBÕBÕBÔBÐBÑBÔBÑBÔBÐBÐBÐBÐBÐBÐBÐBÐBÐBÐBÐBÐBÐBÐBÐBÐBÐBÝ×$Ò$¥c¨.¨.¨.Ñ&9Ô&9Ð%:½SÀÀÀÑ=PÔ=PÐ<QÐSVÐX[Ñ\Ô\€FØ�/Ô"Ð' aÐ'Ð" aÒ'Ð'Ð'Ð'Õ'Ô'Ð'Ð'Ð'Ð'Ð" aÐ'Ñ'Ô'Õ'Ô'Ð"Ñ'Ô'Õ'Ô' aÑ'Ô'Ð'Ð'Ñ'Ð'Ð'Ð'Ð'Ð'Ñ'Ð'Õ'Õ'Ô'Ð'Ñ'Ô'Ñ'Ô'Ð'Ð'Ð'Ð'Ð'Ð'Ð'Ð'Ð'r   c                 óˆ  ‡— | dz  }|                      ¦   «          t                               |dz  ddi¦  «         t                               |dz  ¦  «        }| dz  }|                      ¦   «          d„ t	          d¦  «        D ¦   «         }|dz                       d	                     d
„ |D ¦   «         ¦  «        ¦  «         t                               |dz  ddi¦  «         g }t	          d¦  «        D �]}| d|› �z  }|dz                        d¬¦  «         |dz                       d¦  «         t                               |dz  |d„ t	          |dz   ¦  «        D ¦   «         d„ t	          |dz   ¦  «        D ¦   «         g d„ t	          |dz   ¦  «        D ¦   «         g t                               |dz  ¦  «        dt                               |dz  ¦  «        idœ¦  «         |dz                        ¦   «          |dz                       d|› �                     ¦   «         ¦  «         t                               |dz  ¦  «        }t                               |dz  ddi¦  «         t                               |dz  |dt                               |dz  ¦  «        d œ¦  «         t                               |d!z  |d"d#d$œ¦  «         |t                               |d!z  ¦  «        |t                               |dz  ¦  «        t                               |dz  ¦  «        t                               |dz  ¦  «        d%œ}	t                               |d&z  |	d'd(|z
  d(|z
  d)||	d*         d+œ¦  «         ||dz   d …         D ]†Šˆfd,„d-D ¦   «         }
|
 	                    d.d.|	||	d*         d#dd/t          g d0¢¦  «        g¬1¦	  «	         t                               |d2z  t                               ‰d3         ¦  «        d4z   z  |
¦  «         Œ‡|                     |¦  «         �Œt          |||d5         d6„ t          |¦  «        D ¦   «         d| d7z  ¬8¦  «        }||fS )9NÚprotocolzprotocol.jsonÚversionÚfixtureÚsourcec                 óÊ   — g | ]`}d |› �d|› �ddddgt          |¦  «        dt                               d |› �¦  «        › d�dt                               d |› �¦  «        › d�dœ‘ŒaS )	Úfrs   ÚtrainÚdrJ   zimages/train/z.pngú.json)Úframe_idru   ÚsplitÚdomainÚsizeÚsource_anchor_hashÚimageÚ
annotation)Ústrr    Úslug©r   Úis     r   ú
<listcomp>ztask.<locals>.<listcomp>M   s    € ð ^ð ^ð ^ð PQð !˜Q˜˜¨g°!¨g¨gÀÐSVØ˜3�Zµs¸1±v´vØC¥i§n¢n°W¸°W°WÑ&=Ô&=ÐCÐCÐCØI­9¯>ª>¸'¸a¸'¸'Ñ+BÔ+BÐIÐIÐIðKð Kð ^ð ^ð ^r   é   zframes.jsonlÚ c              3   óD   K  — | ]}t          j        |¦  «        d z   V — ŒdS )ú
N)ÚjsonÚdumps)r   r�   s     r   ú	<genexpr>ztask.<locals>.<genexpr>Q   s/   è è € Ð0XÐ0XÈCµ´¸C±´À4Ñ1GÐ0XÐ0XÐ0XÐ0XÐ0XÐ0Xr   úmanifest.jsonTrŽ   ÚrÚinputs)Úparentszinputs/annotations.jsonlzmanual snapshot fixture
zmanual_partition.jsonc                 ó   — g | ]}d |› �‘ŒS ©r—   r   r¤   s     r   r¦   ztask.<locals>.<listcomp>Y   s   € ÐEdÐEdÐEdÐRSÀgÈ!ÀgÀgÐEdÐEdÐEdr   r   c                 ó   — g | ]}d |› �‘ŒS r³   r   r¤   s     r   r¦   ztask.<locals>.<listcomp>Z   s   € Ð>Ð>Ð>¨A  A  Ð>Ð>Ð>r   c                 ó   — g | ]}d |› �‘ŒS )rs   r   r¤   s     r   r¦   ztask.<locals>.<listcomp>[   s   € Ð;Ð;Ð;¨˜W ˜W˜WÐ;Ð;Ð;r   )Úprotocol_sha256Úall_manual_frame_idsÚtrain_frame_idsÚvalidation_frame_idsÚtrain_groupsÚvalidation_groupsÚmanual_annotations_sha256Úartifact_sha256Útrainingztraining/best.ptÚmodelztraining/run.jsonÚ
batch_sizeé   ztraining/completed.json)Úbest_checkpoint_sha256Úcompleted_epochsÚrun_config_sha256zconfidence_threshold.jsonr…   F)Úcheckpoint_sha256Úselected_confidenceÚtest_accessed)rÅ   Úthreshold_sha256r¶   Úsource_export_manifest_sha256Úsource_frame_index_sha256Úmanual_partition_sha256zprediction_manifest.jsonÚcompleteé   r   rÈ   )ÚbindingÚstateÚexpected_framesÚcompleted_framesÚerrorsrÅ   rÈ   c                 ó"   •— i | ]}|‰|         “ŒS r   r   )r   Úkeyr�   s     €r   ú
<dictcomp>ztask.<locals>.<dictcomp>r   s   ø€ ÐrÐrÐr¨�s˜C œHÐrÐrÐrr   )r›   ru   rœ   r�   rŸ   rJ   ÚproposalrF   )	ÚwidthÚheightrÎ   rÅ   rÈ   Úhuman_reviewedÚproposal_onlyÚstatusÚboxes_xyxy_scoreÚpredictionsr›   rš   éÿÿÿÿc                 ó$   — g | ]\  }}d |› d|› �‘ŒS )r¯   ú=r   )r   r¥   Úpaths      r   r¦   ztask.<locals>.<listcomp>y   s(   € Ð!QÐ!QÐ!Q±W°Q¸ . a . .¨$ . .Ð!QÐ!QÐ!Qr   Ú
comparison)r’   Úsource_exportÚmanual_outputÚroundÚexpected_roundsÚoutput)Úmkdirr    ÚwriteÚdigestÚrangeÚ
write_textÚjoinÚwrite_bytesÚencoder~   r   r£   r\   r   Ú	enumerate)Útmp_pathr’   Úprotocol_shar•   ÚrowsÚpathsÚjrá   Úcheckpoint_sharÎ   ÚreceiptÚargsr�   s               @r   Útaskrù   E   sé  ø€ à˜*Ñ$€HØ‡N‚NÑÔÐÝ‡O‚O�H˜Ñ.°¸IÐ0FÑGÔGÐGÝ×#Ò# H¨Ñ$>Ñ?Ô?€LØ˜Ñ €FØ
‡L‚L�N„N€Nð^ð ^õ UZÐZ[ÑT\ÔT\ð^ñ ^ô ^€Dð ˆnÑ×(Ò(¨¯ªÐ0XÐ0XÐSWÐ0XÑ0XÔ0XÑ)XÔ)XÑYÔYÐYÝ‡O‚O�F˜_Ñ,¨y¸$Ð.?Ñ@Ô@Ð@Ø€EÝ�1‰XŒXð #ñ #ˆØ˜'˜a˜'˜'Ñ!ˆØ	�‰×Ò¨ÐÑ-Ô-Ð-Ø	Ð*Ñ	*×6Ò6Ð7RÑSÔSÐSÝ�Š˜Ð6Ñ6Ø+ÐEdÐEdÕW\Ð]^ÐabÑ]bÑWcÔWcÐEdÑEdÔEdØ>Ð>µ°q¸1±u±´Ð>Ñ>Ô>ÐXZØ;Ð;­e°A¸±E©l¬lÐ;Ñ;Ô;ÐRTÝ)2×)9Ò)9¸$ÐA[Ñ:[Ñ)\Ô)\Ø :½I×<LÒ<LÈTÐTnÑMnÑ<oÔ<oÐpð9rð 9rñ 	sô 	sð 	sð 
�
Ñ	×!Ò!Ñ#Ô#Ð#Ø	Ð"Ñ	"×/Ò/°¸°°×0BÒ0BÑ0DÔ0DÑEÔEÐEÝ"×)Ò)¨$Ð1CÑ*CÑDÔDˆÝ�Š˜Ð2Ñ2°\À2Ð4FÑGÔGÐGÝ�Š˜Ð8Ñ8Ø&4È!Ý!*×!1Ò!1°$Ð9LÑ2LÑ!MÔ!Mð;Oð ;Oñ 	Pô 	Pð 	Põ 	�Š˜Ð:Ñ:Ø!/ÈÐ]bð=dð =dñ 	eô 	eð 	eà(6Ý'0×'7Ò'7¸Ð?ZÑ8ZÑ'[Ô'[Ø&2Ý4=×4DÒ4DÀVÈoÑE]Ñ4^Ô4^Ý09×0@Ò0@ÀÈ.ÑAXÑ0YÔ0YÝ.7×.>Ò.>¸tÐF]Ñ?]Ñ.^Ô.^ð`ð `ˆõ 	�Š˜Ð9Ñ9Ø¨ÈÈAÉØ ! A¡°ÈØ 'Ð(:Ô ;ð<=ð <=ñ 	>ô 	>ð 	>ð ˜˜A™˜˜”<ð 	ið 	iˆCØrÐrÐrÐrÐ0qÐrÑrÔrˆGØ�NŠN ¨S¸'ÐUcØ,3Ð4FÔ,GÐX]Ø)-°jÕTWÐXfÐXfÐXfÑTgÔTgÐShð ñ jô jð jõ �OŠO˜D =Ñ0µI·N²NÀ3ÀzÄ?Ñ4SÔ4SÐV]Ñ4]Ñ^Ð`gÑhÔhÐhÐhØ�Š�TÑÔÐÑÝ H¸FÐRWÐXZÔR[Ø!QÐ!QÅ	È%Ñ@PÔ@PÐ!QÑ!QÔ!QÐcdØ"*¨\Ñ"9ð;ñ ;ô ;€Dð �ˆ;Ðr   c           	      óÒ  — | \  }}t                                |¦  «        \  }}}}t          |¦  «        }ddh}||k    }	|	sòt          j        d|	fd||f¦  «        dt          j        ¦   «         v st          j        t          ¦  «        rt          j        t          ¦  «        nddt          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        ndt          j        |¦  «        t          j        |¦  «        dœz  }
dd	|
iz  }t          t          j
        |¦  «        ¦  «        ‚d x}x}	}|d
         }d}||k    }|slt          j        d|fd||f¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }dd|iz  }
t          t          j
        |
¦  «        ¦  «        ‚d x}x}}|D �]<\  }}}t                                ||||||¦  «        \  }}t          |¦  «        }ddh}||k    }	|	sòt          j        d|	fd||f¦  «        dt          j        ¦   «         v st          j        t          ¦  «        rt          j        t          ¦  «        nddt          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        ndt          j        |¦  «        t          j        |¦  «        dœz  }
dd	|
iz  }t          t          j
        |¦  «        ¦  «        ‚d x}x}	}�Œ>|j        dz                       d¦  «         t          j        t           d¬¦  «        5  t                                |¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )NÚf3Úf4r   )z0%(py3)s
{%(py3)s = %(py0)s(%(py1)s)
} == %(py6)sÚsetÚ	remaining)r"   r   r$   r   zassert %(py8)srQ   Úexcluded_manual_framesrŽ   r   r   r   r   Úreceiptsr®   z{"changed":true}ztask input/method changed©Úmatch)r    Úpreparerý   r-   r.   r2   r3   r4   r/   r0   r1   Ú
load_roundrã   rì   ÚpytestÚraisesÚ
ValueError)rù   rø   rô   ÚroundsÚindexrþ   rÎ   r8   r`   r<   r:   ra   r6   r7   r9   Únamerá   Úidsr   Ú
provenances                       r   Ú?test_cohort_excludes_entire_latest_manual_union_and_locks_inputr  ~   sõ  € Ø�K€Dˆ%Ý(1×(9Ò(9¸$Ñ(?Ô(?Ñ%€FˆE�9˜gÝˆy‰>Œ>Ð)˜d D˜\Ð)ˆ>˜\Ò)Ð)Ð)Ð)Õ)Ô)Ð)Ð)Ð)Ð)ˆ>˜\Ð)Ñ)Ô)Ð)Õ)Ô)Ñ)Ô)Ð)Ð)Õ)Ô)�3Ñ)Ô)Ð)Õ)Ô)�3Ñ)Ô)Ð)Ð)Ð)Õ)Ô)Ñ)Ô)Ð)Ð)Õ)Ô)ˆyÑ)Ô)Ð)Õ)Ô)ˆyÑ)Ô)Ð)Ð)Õ)Ô)ˆ>Ñ)Ô)Õ)Ô)˜\Ñ)Ô)Ð)Ð)Ñ)Ð)Ð)Ð)Ð)Ð)Ñ)Ð)Õ)Õ)Ô)Ð)Ñ)Ô)Ñ)Ô)Ð)Ð)Ð)Ð)Ð)Ð)Ð)ØÐ+Ô,Ð1°Ð1Ð,°Ò1Ð1Ð1Ð1Õ1Ô1Ð1Ð1Ð1Ð1Ð,°Ð1Ñ1Ô1Õ1Ô1Ð,Ñ1Ô1Õ1Ô1°Ñ1Ô1Ð1Ð1Ñ1Ð1Ð1Ð1Ð1Ð1Ñ1Ð1Õ1Õ1Ô1Ð1Ñ1Ô1Ñ1Ô1Ð1Ð1Ð1Ð1Ð1Ð1Ð1Ø!ð -ñ -‰ˆˆd�CÝ(×3Ò3°D¸$ÀÀUÈIÐW^Ñ_Ô_Ñˆ�*Ý�8‰}Œ}Ð,  t Ð,ˆ} Ò,Ð,Ð,Ð,Õ,Ô,Ð,Ð,Ð,Ð,ˆ} Ð,Ñ,Ô,Ð,Õ,Ô,Ñ,Ô,Ð,Ð,Õ,Ô,�sÑ,Ô,Ð,Õ,Ô,�sÑ,Ô,Ð,Ð,Ð,Õ,Ô,Ñ,Ô,Ð,Ð,Õ,Ô,�8Ñ,Ô,Ð,Õ,Ô,�8Ñ,Ô,Ð,Ð,Õ,Ô,ˆ}Ñ,Ô,Õ,Ô, Ñ,Ô,Ð,Ð,Ñ,Ð,Ð,Ð,Ð,Ð,Ñ,Ð,Õ,Õ,Ô,Ð,Ñ,Ô,Ñ,Ô,Ð,Ð,Ð,Ð,Ð,Ð,Ð,Ñ,Ø	Ô˜/Ñ)×5Ò5Ð6HÑIÔIÐIÝ	Œ•zÐ)DÐ	EÑ	EÔ	Eð  ð  Ý×Ò˜$ÑÔÐð ð  ð  ñ  ô  ð  ð  ð  ð  ð  ð  ð  øøøð  ð  ð  ð  ð  ð  s   Ì4MÍM Í#M Údefect)ÚmissingÚidentityÚ
dimensionsÚboundsrÎ   Úreviewedc           	      ó”  — | \  }}t                                |¦  «        \  }}}}|d         \  }}	}
|	dz  t                                d¦  «        dz   z  }|dk    r|                     ¦   «          nˆt                                |¦  «        }|dk    rd|d<   nG|d	k    rd
|d<   n;|dk    rd|d         d         d         d<   n|dk    rd|d         d<   n|dk    rd|d<   t                                ||¦  «         t          j        t          ¦  «        5  t            	                    ||	|
|||¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )Nr   rÝ   rû   rš   r  r  ÚwrongrŸ   r  éc   r×   r  ée   rÜ   r   rM   rÎ   rÅ   r  TrÙ   )
r    r  r£   ÚunlinkÚreadré   r  r  r  r  )rù   r  rø   rô   r  r	  rþ   rÎ   r
  rá   r  r÷   r�   s                r   Ú5test_receipts_reject_missing_and_incompatible_sourcesr  ‹   sÉ  € à�K€Dˆ%Ý(1×(9Ò(9¸$Ñ(?Ô(?Ñ%€FˆE�9˜gØ˜Q”i�O€Dˆ$�Ø�]Ñ"¥i§n¢n°TÑ&:Ô&:¸WÑ&DÑE€GØ�ÒÐØ�ŠÑÔÐÐå�nŠn˜WÑ%Ô%ˆØ�ZÒÐØ(/ˆCÐ$Ñ%Ð%Ø�|Ò#Ð#ØˆC�‰LˆLØ�xÒÐØ47ˆCÐ"Ô# AÔ& vÔ.¨qÑ1Ð1Ø�yÒ Ð Ø29ˆC�	ŒNÐ.Ñ/Ð/Ø�zÒ!Ð!Ø$(ˆCÐ Ñ!Ý�Š˜ Ñ%Ô%Ð%Ý	Œ•zÑ	"Ô	"ð Ið IÝ×Ò˜T 4¨¨e°YÀÑHÔHÐHðIð Ið Iñ Iô Ið Ið Ið Ið Ið Ið Ið Iøøøð Ið Ið Ið Ið Ið Is   Ä D=Ä=EÅEc            	      ó°  — g } t          d¦  «        D ]�}t          |dk    rdnd¦  «        D ]u}t                               t          g d¢¦  «        g|dk    rg nt          g d¢¦  «        gdd¦  «        }|                     d|› �¬¦  «         |                      |¦  «         ŒvŒ�t                               | d	¦  «        t                               | d	¦  «        }}||k    }|sÂt          j        d
|fd||f¦  «        dt          j
        ¦   «         v st          j        |¦  «        rt          j        |¦  «        nddt          j
        ¦   «         v st          j        |¦  «        rt          j        |¦  «        nddœz  }dd|iz  }t          t          j        |¦  «        ¦  «        ‚d }|d         }	d}
d}|
|z  }|	|k    }|st          j        d
|fd|	|f¦  «        t          j        |	¦  «        t          j        |
¦  «        t          j        |¦  «        dœz  }dd|iz  }t          t          j        |¦  «        ¦  «        ‚d x}	x}x}
x}}|d         d         d         }	d}
|	|
k    }|slt          j        d
|fd|	|
f¦  «        t          j        |	¦  «        t          j        |
¦  «        dœz  }dd|iz  }t          t          j        |¦  «        ¦  «        ‚d x}	x}}
d S )NrÍ   r   é
   r   rF   rJ   rs   rt   Tr   )z%(py0)s == %(py2)sr   r   )r"   r#   zassert %(py4)sr   Úchanged_frame_rateé   )z%(py1)s == (%(py4)s / %(py6)s))r   r   r   rm   r'   Úgroup_bootstrap_95cir   r   r   r   )rë   r    rY   r   r~   r\   r   r-   r.   r2   r3   r4   r/   r0   r1   )ró   r¥   r   r�   r   r   r;   Ú@py_format3r9   r6   r7   r`   Ú@py_assert7r8   ro   rp   r:   s                    r   Ú@test_group_bootstrap_is_reproducible_and_preserves_group_weightsr"  ¤   s  € Ø€DÝ�1‰XŒXð ð ˆÝ˜Q !šV˜V�r�r¨Ñ+Ô+ð 	ð 	ˆAÝ×)Ò)­3¨~¨~¨~Ñ+>Ô+>Ð*?Ø01°Q²°¨"¨"½SÀÀÀÑ=PÔ=PÐ<QÐSVÐX[ñ]ô ]ˆCà�JŠJ  A  ˆJÑ(Ô(Ð(Ø�KŠK˜ÑÔÐÐð		õ
 ×Ò˜t TÑ*Ô*­I×,?Ò,?ÀÀdÑ,KÔ,K€q€AØ�Š6€M€M€M…M„M€M€M€M€Mˆ1�€M�M„M€M…M„M�M„M€M€M…M„Mˆ1�M„M€M…M„Mˆ1�M„M€M€M€M…M„M�M„M€M€M…M„M��M„M€M…M„M��M„M€M€M€M€M�M€M€M€M€M€M�M€M…M…M„M€M�M„M�M„M€M€M€MØÐ!Ô"Ð- bÐ-¨2Ð- b¨2¡gÐ-Ð" gÒ-Ð-Ð-Ð-Õ-Ô-Ð-Ð-Ð-Ð-Ð" gÐ-Ñ-Ô-Õ-Ô-Ð"Ñ-Ô-Õ-Ô- bÑ-Ô-Õ-Ô-¨2Ñ-Ô-Ð-Ð-Ñ-Ð-Ð-Ð-Ð-Ð-Ñ-Ð-Õ-Õ-Ô-Ð-Ñ-Ô-Ñ-Ô-Ð-Ð-Ð-Ð-Ð-Ð-Ð-Ð-Ð-Ð-Ð-ØÐ#Ô$Ð%9Ô:¸1Ô=ÐBÀÐBÐ=ÀÒBÐBÐBÐBÕBÔBÐBÐBÐBÐBÐ=ÀÐBÑBÔBÕBÔBÐ=ÑBÔBÕBÔBÀÑBÔBÐBÐBÑBÐBÐBÐBÐBÐBÑBÐBÕBÕBÔBÐBÑBÔBÑBÔBÐBÐBÐBÐBÐBÐBÐBÐBÐBr   c                 ót  — | \  }}t                                |¦  «        \  }}}}d„ |D ¦   «         }t                                |||||¦  «        }g }	|d         }
d}|
|k    }|}|r|d         d         }d}||u }|}|�st          j        d|fd|
|f¦  «        t          j        |
¦  «        t          j        |¦  «        d	œz  }d
d|iz  }|	                     |¦  «         |r`t          j        d|fd||f¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }dd|iz  }|	                     |¦  «         t          j        |	d¦  «        i z  }dd|iz  }t          t          j	        |¦  «        ¦  «        ‚d x}x}	x}
x}x}x}x}}|d         d         }d}||u }
|
slt          j        d|
fd||f¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }dd|iz  }t          t          j	        |¦  «        ¦  «        ‚d x}x}
}|d         d         }d}||k    }
|
slt          j        d|
fd||f¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }dd|iz  }t          t          j	        |¦  «        ¦  «        ‚d x}x}
}|d         }	t          |	¦  «        }d}||k    }|sÇt          j        d|fd ||f¦  «        d!t          j        ¦   «         v st          j        t          ¦  «        rt          j        t          ¦  «        nd!t          j        |	¦  «        t          j        |¦  «        t          j        |¦  «        d"œz  }d#d$|iz  }t          t          j	        |¦  «        ¦  «        ‚d x}	x}x}}|d%         }d}||u }
|
slt          j        d|
fd||f¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }dd|iz  }t          t          j	        |¦  «        ¦  «        ‚d x}x}
}|j        }	d&}|	|z  }|j        } |¦   «         }|s±d'd(t          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        nd(t          j        |	¦  «        t          j        |¦  «        t          j        |¦  «        t          j        |¦  «        d)œz  }t          t          j	        |¦  «        ¦  «        ‚d x}	x}x}x}}d*„ |                     ¦   «         D ¦   «         }	t#          |	¦  «        }|s•d+d,t          j        ¦   «         v st          j        t"          ¦  «        rt          j        t"          ¦  «        nd,t          j        |	¦  «        t          j        |¦  «        d-œz  }t          t          j	        |¦  «        ¦  «        ‚d x}	}d S ).Nc                 ó‚   — i | ]<\  }}}|d z                        d¦  «        D ]}|t                               |¦  «        “ŒŒ=S )r°   Ú*)Úglobr    rê   )r   r   Ú	directoryrá   s       r   rÕ   zTtest_full_three_round_analysis_has_consensus_and_no_label_writes.<locals>.<dictcomp>µ   se   € ð >ð >ð >±°°I¸qØ&¨Ñ1×7Ò7¸Ñ<Ô<ð>ð >Øð •i×&Ò& tÑ,Ô,ð >ð >ð >ð >r   rÏ   rÌ   r€   r}   Tr   rN   rO   rP   rQ   ry   )z%(py11)s is %(py14)srS   rT   r*   r   rU   rV   Úcorrectness_confirmedFr{   r   r   r   Úthree_round_consensusÚ%no_substantive_pairwise_change_framesrM   r   r5   rŽ   )z0%(py4)s
{%(py4)s = %(py0)s(%(py2)s)
} == %(py7)sÚlen)r"   r#   r   r&   rm   r'   Útest_ground_truth_accessedzreview_priority.csvziassert %(py9)s
{%(py9)s = %(py7)s
{%(py7)s = (%(py2)s
{%(py2)s = %(py0)s.output
} / %(py4)s).exists
}()
}rø   )r"   r#   r   r&   r'   c              3   óX   K  — | ]%\  }}t                                |¦  «        |k    V — Œ&d S )N)r    rê   )r   rá   Úshas      r   r­   zStest_full_three_round_analysis_has_consensus_and_no_label_writes.<locals>.<genexpr>¾   s9   è è € ÐOÐO±°°s�y×Ò Ñ%Ô%¨Ò,ÐOÐOÐOÐOÐOÐOr   z,assert %(py4)s
{%(py4)s = %(py0)s(%(py2)s)
}Úall)r"   r#   r   )r    r  Úanalysisr-   r.   r/   r\   r]   r0   r1   r+  r2   r3   r4   rç   ÚexistsÚitemsr/  )rù   rø   r   r  r	  rþ   rÎ   rn   r_   r;   r8   r`   r<   r6   r?   r@   rA   r:   ra   rB   rC   rb   rc   r7   r9   r=   ro   rp   r>   s                                r   Ú@test_full_three_round_analysis_has_consensus_and_no_label_writesr3  ²   sÚ  € Ø�G€Dˆ!Ý(1×(9Ò(9¸$Ñ(?Ô(?Ñ%€FˆE�9˜gð>ð >ÀFð >ñ >ô >€Hå×Ò  f¨e°YÀÑHÔH€FØRÐRˆ6�'Œ?ÐR˜jÐRˆ?˜jÒ(ÐRÐRÐRÐRÐR¨V°KÔ-@ÀÔ-JÐRÈdÐRÐ-JÈdÐ-RÐRÐRÐRÐRÑRÕRÔRÐRÐRÐRÐRˆ?˜jÐRÑRÔRÕRÔRˆ?ÑRÔRÕRÔR˜jÑRÔRÐRÐRÑRÐRÐRÐRÐRÐRÑRÐRÐR×RÒRÐRÑRÔRÐRÐRÐRÕRÔRÐRÐRÐRÐRÐ-JÈdÐRÑRÔRÕRÔRÐ-JÑRÔRÕRÔRÈdÑRÔRÐRÐRÑRÐRÐRÐRÐRÐRÑRÐRÐR×RÒRÐRÑRÔRÐRÕRÔRÐRÐRÑRÔRÐRÑRÐRÐRÐRÐRÐRÑRÐRÕRÕRÔRÐRÑRÔRÑRÔRÐRÐRÐRÐRÐRÐRÐRÐRÐRÐRÐRÐRÐRÐRÐRÐRÐRØ�+ÔÐ6Ô7Ð@¸5Ð@Ð7¸5Ð@Ð@Ð@Ð@Õ@Ô@Ð@Ð@Ð@Ð@Ð7¸5Ð@Ñ@Ô@Õ@Ô@Ð7Ñ@Ô@Õ@Ô@¸5Ñ@Ô@Ð@Ð@Ñ@Ð@Ð@Ð@Ð@Ð@Ñ@Ð@Õ@Õ@Ô@Ð@Ñ@Ô@Ñ@Ô@Ð@Ð@Ð@Ð@Ð@Ð@Ð@ØÐ)Ô*Ð+RÔSÐXÐWXÐXÐSÐWXÒXÐXÐXÐXÕXÔXÐXÐXÐXÐXÐSÐWXÐXÑXÔXÕXÔXÐSÑXÔXÕXÔXÐWXÑXÔXÐXÐXÑXÐXÐXÐXÐXÐXÑXÐXÕXÕXÔXÐXÑXÔXÑXÔXÐXÐXÐXÐXÐXÐXÐXØ�gŒÐ$�3ˆÑÔÐ$ 1Ð$Ð 1Ò$Ð$Ð$Ð$Õ$Ô$Ð$Ð$Ð$Ð$Ð 1Ð$Ñ$Ô$Ð$Õ$Ô$Ñ$Ô$Ð$Ð$Õ$Ô$�3Ñ$Ô$Ð$Õ$Ô$�3Ñ$Ô$Ð$Ð$Õ$Ô$ˆÑ$Ô$Õ$Ô$ÐÑ$Ô$Õ$Ô$ 1Ñ$Ô$Ð$Ð$Ñ$Ð$Ð$Ð$Ð$Ð$Ñ$Ð$Õ$Õ$Ô$Ð$Ñ$Ô$Ñ$Ô$Ð$Ð$Ð$Ð$Ð$Ð$Ð$Ð$Ð$ØÐ.Ô/Ð8°5Ð8Ð/°5Ð8Ð8Ð8Ð8Õ8Ô8Ð8Ð8Ð8Ð8Ð/°5Ð8Ñ8Ô8Õ8Ô8Ð/Ñ8Ô8Õ8Ô8°5Ñ8Ô8Ð8Ð8Ñ8Ð8Ð8Ð8Ð8Ð8Ñ8Ð8Õ8Õ8Ô8Ð8Ñ8Ô8Ñ8Ô8Ð8Ð8Ð8Ð8Ð8Ð8Ð8ØŒKÐ9Ð/Ð9ˆKÐ/Ñ/Ð9Ð/Ô7Ð9Ð7Ð7Ñ9Ô9Ð9Ð9Ð9Ð9Ð9Õ9Ô9Ñ9Ô9Ð9Ð9Õ9Ô9ˆDÑ9Ô9Ð9Õ9Ô9ˆDÑ9Ô9Ð9Ð9Õ9Ô9ˆKÑ9Ô9Õ9Ô9Ð/Ñ9Ô9Õ9Ô9Ð7Ñ9Ô9Õ9Ô9Ð9Ñ9Ô9Ð9Ð9Ñ9Ð9Õ9Õ9Ô9Ð9Ñ9Ô9Ñ9Ô9Ð9Ð9Ð9Ð9Ð9Ð9Ð9Ð9Ð9Ð9Ð9ØOÐO¸h¿nºnÑ>NÔ>NÐOÑOÔOÐO�3ÐOÑOÔOÐOÐOÐOÐOÐOÕOÔOÑOÔOÐOÐOÕOÔO�3ÑOÔOÐOÕOÔO�3ÑOÔOÐOÐOÕOÔOÐOÑOÔOÕOÔOÐOÑOÔOÐOÐOÑOÐOÕOÕOÔOÐOÑOÔOÑOÔOÐOÐOÐOÐOÐOÐOÐOr   c                 óÞ  — | \  }}|j         d d…         |_         t                               |¦  «        \  }}}}t                               |||||¦  «        }|d         }d}	||	k    }
|
slt	          j        d|
fd||	f¦  «        t	          j        |¦  «        t	          j        |	¦  «        dœz  }dd|iz  }t          t	          j        |¦  «        ¦  «        ‚d x}x}
}	|d	         d
         }d }	||	u }
|
slt	          j        d|
fd||	f¦  «        t	          j        |¦  «        t	          j        |	¦  «        dœz  }dd|iz  }t          t	          j        |¦  «        ¦  «        ‚d x}x}
}	|d	         d         }d}	||	k    }
|
slt	          j        d|
fd||	f¦  «        t	          j        |¦  «        t	          j        |	¦  «        dœz  }dd|iz  }t          t	          j        |¦  «        ¦  «        ‚d x}x}
}	d S )NrM   rÏ   Úpartialr   r   r   r   r   r€   r}   ry   r{   Úpending_third_round)	rå   r    r  r0  r-   r.   r/   r0   r1   )rù   rø   r   r  r	  rþ   rÎ   r_   r6   r7   r8   r9   r:   s                r   Ú8test_partial_result_never_claims_three_round_convergencer7  Á   s^  € Ø�G€Dˆ!Ø”˜B˜Q˜B”€D„JÝ(1×(9Ò(9¸$Ñ(?Ô(?Ñ%€FˆE�9˜gÝ×Ò  f¨e°YÀÑHÔH€FØ�'Œ?Ð'˜iÐ'ˆ?˜iÒ'Ð'Ð'Ð'Õ'Ô'Ð'Ð'Ð'Ð'ˆ?˜iÐ'Ñ'Ô'Õ'Ô'ˆ?Ñ'Ô'Õ'Ô'˜iÑ'Ô'Ð'Ð'Ñ'Ð'Ð'Ð'Ð'Ð'Ñ'Ð'Õ'Õ'Ô'Ð'Ñ'Ô'Ñ'Ô'Ð'Ð'Ð'Ð'Ð'Ð'Ð'Ø�+Ô˜xÔ(Ð0¨DÐ0Ð(¨DÐ0Ð0Ð0Ð0Õ0Ô0Ð0Ð0Ð0Ð0Ð(¨DÐ0Ñ0Ô0Õ0Ô0Ð(Ñ0Ô0Õ0Ô0¨DÑ0Ô0Ð0Ð0Ñ0Ð0Ð0Ð0Ð0Ð0Ñ0Ð0Õ0Õ0Ô0Ð0Ñ0Ô0Ñ0Ô0Ð0Ð0Ð0Ð0Ð0Ð0Ð0Ø�+Ô˜wÔ'Ð@Ð+@Ð@Ð'Ð+@Ò@Ð@Ð@Ð@Õ@Ô@Ð@Ð@Ð@Ð@Ð'Ð+@Ð@Ñ@Ô@Õ@Ô@Ð'Ñ@Ô@Õ@Ô@Ð+@Ñ@Ô@Ð@Ð@Ñ@Ð@Ð@Ð@Ð@Ð@Ñ@Ð@Õ@Õ@Ô@Ð@Ñ@Ô@Ñ@Ô@Ð@Ð@Ð@Ð@Ð@Ð@Ð@Ð@Ð@r   c                 óŒ  — | \  }}t                                |¦  «        \  }}}}t                                |||||¦  «        }|d         d         }t                                |dz  dddddœ¦  «         t	          j        t          d¬¦  «        5  t                                |||¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )	NrÞ   r   úpackage_audit.jsonÚpassedrM   )rÏ   Úzip_crcÚframesÚmanual_overlapzfailed auditr  )r    r  r0  ré   r  r  r  Úfinal_delivery)	rù   rø   r   r  r	  rþ   rÎ   r_   Úlatests	            r   Ú*test_final_delivery_rejects_manual_overlapr@  Ë   s  € Ø�G€Dˆ!Ý(1×(9Ò(9¸$Ñ(?Ô(?Ñ%€FˆE�9˜gÝ×Ò  f¨e°YÀÑHÔH€FØ�BŒZ˜Œ]€FÝ‡O‚O�FÐ1Ñ1Ø h¸!Èqð4Rð 4Rñ Sô Sð Så	Œ•z¨Ð	8Ñ	8Ô	8ð :ð :Ý× Ò   v¨yÑ9Ô9Ð9ð:ð :ð :ñ :ô :ð :ð :ð :ð :ð :ð :ð :øøøð :ð :ð :ð :ð :ð :s   ÂB9Â9B=Ã B=c                 ó”	  — | \  }}t                                |¦  «        \  }}}}t                                |||||¦  «        }|j        j        }	|	dz                       ¦   «          dD ]}
|	|
z                       d¦  «         Œ|                     |	¦  «         |                     t           dt          |	dz  ¦  «        ¦  «         t          d¦  «        |_        |d         d         }|d	z  }|                     d
¦  «         t                                |dz  ddddddit                                |¦  «        ddœ¦  «         t                                |||¦  «        }|d         }d}||k    }|slt          j        d|fd||f¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }dd|iz  }t%          t          j        |¦  «        ¦  «        ‚d x}x}}|d         }t          |¦  «        }|j        } |¦   «         }|s»ddt+          j        ¦   «         v st          j        t          ¦  «        rt          j        t          ¦  «        ndt          j        |¦  «        t          j        |¦  «        t          j        |¦  «        t          j        |¦  «        dœz  }t%          t          j        |¦  «        ¦  «        ‚d x}x}x}}|	dz                       ¦   «         }t                                |||¦  «         d}|	|z  }|j        } |¦   «         }||k    }|sût          j        d|fd||f¦  «        dt+          j        ¦   «         v st          j        |	¦  «        rt          j        |	¦  «        ndt          j        |¦  «        t          j        |¦  «        t          j        |¦  «        d t+          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        nd d!œz  }d"d#|iz  }t%          t          j        |¦  «        ¦  «        ‚d x}x}x}x}}d$}||v }|s—t          j        d%|fd&||f¦  «        t          j        |¦  «        d t+          j        ¦   «         v st          j        |¦  «        rt          j        |¦  «        nd d'œz  }d(d)|iz  }t%          t          j        |¦  «        ¦  «        ‚d x}}d S )*NÚdocs)z	README.mdzdocs/training_log.mdzdocs/change_log.mdúdocs/session_summary.mdzOriginal log
Ú__file__r   râ   rÞ   r   z#human_correction_remaining_2_v1.zips)   fixture archive, already audited upstreamr9  r:  rM   r   r˜   F)rÏ   r;  r<  r=  Úsplit_countsÚ
zip_sha256Úvalidation_test_labels_scoredrÏ   rÌ   r   r   r   r   r   Ústability_reportzdassert %(py8)s
{%(py8)s = %(py6)s
{%(py6)s = %(py4)s
{%(py4)s = %(py0)s(%(py2)s)
}.is_absolute
}()
}r   )r"   r#   r   r   rQ   rC  )zT%(py7)s
{%(py7)s = %(py5)s
{%(py5)s = (%(py0)s / %(py2)s).read_text
}()
} == %(py9)sÚprojectÚbefore)r"   r#   r%   r&   r'   zassert %(py11)sr(   zcomparison/report_zh.md)Úin)z%(py1)s in %(py3)s)r   r$   zassert %(py5)sr%   )r    r  r0  rç   Úparentrè   rì   ÚchdirÚsetattrr¢   r   rî   ré   rê   r>  r-   r.   r/   r0   r1   Úis_absoluter2   r3   r4   Ú	read_text)rù   Úmonkeypatchrø   r   r  r	  rþ   rÎ   r_   rI  Úfilenamer?  ÚarchiveÚfirstr6   r7   r8   r9   r:   r;   r`   r!  ra   rJ  r<   r=   r>   rp   Ú@py_format12Ú@py_format4Ú@py_format6s                                  r   Ú:test_final_delivery_with_relative_output_updates_logs_oncerX  Ö   sJ  € Ø�G€Dˆ!Ý(1×(9Ò(9¸$Ñ(?Ô(?Ñ%€FˆE�9˜gÝ×Ò  f¨e°YÀÑHÔH€FØŒkÔ €GØˆvÑ×ÒÑÔÐØjð :ð :ˆØ	�8Ñ	×'Ò'Ð(8Ñ9Ô9Ð9Ð9Ø×Ò�gÑÔÐØ×Ò�	 :­s°7Ð=dÑ3dÑ/eÔ/eÑfÔfÐfÝ�|Ñ$Ô$€D„KØ�BŒZ˜Œ]€FØÐ<Ñ<€GØ×ÒÐDÑEÔEÐEÝ‡O‚O�FÐ1Ñ1Ø h¸!ÈqØ  !˜µI×4DÒ4DÀWÑ4MÔ4MØ).ð40ð 40ñ 1ô 1ð 1õ ×$Ò$ T¨6°9Ñ=Ô=€EØ�Œ>Ð'˜ZÐ'ˆ>˜ZÒ'Ð'Ð'Ð'Õ'Ô'Ð'Ð'Ð'Ð'ˆ>˜ZÐ'Ñ'Ô'Õ'Ô'ˆ>Ñ'Ô'Õ'Ô'˜ZÑ'Ô'Ð'Ð'Ñ'Ð'Ð'Ð'Ð'Ð'Ñ'Ð'Õ'Õ'Ô'Ð'Ñ'Ô'Ñ'Ô'Ð'Ð'Ð'Ð'Ð'Ð'Ð'ØÐ(Ô)Ð8�4Ð)Ñ*Ô*Ð8Ð*Ô6Ð8Ð6Ð6Ñ8Ô8Ð8Ð8Ð8Ð8Ð8Õ8Ô8Ñ8Ô8Ð8Ð8Õ8Ô8�4Ñ8Ô8Ð8Õ8Ô8�4Ñ8Ô8Ð8Ð8Õ8Ô8Ð)Ñ8Ô8Õ8Ô8Ð*Ñ8Ô8Õ8Ô8Ð6Ñ8Ô8Õ8Ô8Ð8Ñ8Ô8Ð8Ð8Ñ8Ð8Õ8Õ8Ô8Ð8Ñ8Ô8Ñ8Ô8Ð8Ð8Ð8Ð8Ð8Ð8Ð8Ð8Ð8ØÐ1Ñ1×<Ò<Ñ>Ô>€FÝ×Ò˜T 6¨9Ñ5Ô5Ð5Ø/ÐFˆGÐ/Ñ/ÐFÐ/Ô:ÐFÐ:Ð:Ñ<Ô<ÐFÐ<ÀÒFÐFÐFÐFÕFÔFÐFÐFÐFÐFÐ<ÀÐFÑFÔFÐFÕFÔFÑFÔFÐFÐFÕFÔFˆGÑFÔFÐFÕFÔFˆGÑFÔFÐFÐFÕFÔFÐ/ÑFÔFÕFÔFÐ:ÑFÔFÕFÔFÐ<ÑFÔFÐFÕFÔFÑFÔFÐFÐFÕFÔFÀÑFÔFÐFÕFÔFÀÑFÔFÐFÐFÐFÐFÑFÐFÐFÐFÐFÐFÑFÐFÕFÕFÔFÐFÑFÔFÑFÔFÐFÐFÐFÐFÐFÐFÐFÐFÐFÐFÐFØ$Ð.Ð$¨Ð.Ð.Ð.Ð.Õ.Ô.Ð.Ð.Ð.Ð.Ð$¨Ð.Ñ.Ô.Õ.Ô.Ð$Ñ.Ô.Ð.Õ.Ô.Ñ.Ô.Ð.Ð.Õ.Ô.¨Ñ.Ô.Ð.Õ.Ô.¨Ñ.Ô.Ð.Ð.Ð.Ð.Ñ.Ð.Ð.Ð.Ð.Ð.Ñ.Ð.Õ.Õ.Ô.Ð.Ñ.Ô.Ñ.Ô.Ð.Ð.Ð.Ð.Ð.Ð.Ð.r   )r   )+Úbuiltinsr2   Ú_pytest.assertion.rewriteÚ	assertionÚrewriter-   Úimportlib.utilÚ	importlibr«   Úpathlibr   Útypesr   Únumpyr!   r  ÚutilÚspec_from_file_locationrD  r±   ÚspecÚmodule_from_specr    ÚloaderÚexec_moduler   rD   rd   rq   rƒ   rˆ   r�   r”   rù   r  ÚmarkÚparametrizer  r"  r3  r7  r@  rX  r   r   r   ú<module>rj     s  ðØ  € € € € € € € € € € € € Ð Ð Ð Ð Ø €€€Ø Ð Ð Ð Ð Ð Ø !Ð !Ð !Ð !Ð !Ð !à Ð Ð Ð Ø €€€à„~×-Ò-Ø˜$˜$˜x™.œ.Ô0°Ô3Ð6]Ñ]ñ_ô _€àŒN×+Ò+¨DÑ1Ô1€	Ø „× Ò ˜	Ñ "Ô "Ð "ð*ð *ð *ð *ð9ð 9ð 9ð"ð "ð "ð5ð 5ð 5ð<ð <ð <ðKð Kð Kð(ð (ð (ð „ð5ð 5ñ „ð5ðp
 ð 
 ð 
 ð „×Ò˜Ð#iÐ#iÐ#iÑjÔjðIð Iñ kÔjðIð0Cð Cð CðPð Pð PðAð Að Að:ð :ð :ð/ð /ð /ð /ð /r   