§
    ¾“¼j$V  ã                  ó,  — d Z ddlmZ ddlmZ ddlZddlmZ ddlZddl	Z	ddl
mZmZ ddlmZmZ ddlmZ dd
„Zdd„Zdd„Zdd„Zdd„Zdd„Zdd„Zddœd„Zd d„Zedk    r1 e¦   «         Z e ej        d„ dD ¦   «         d¬¦  «        ¦  «         dS dS )!zPCurrent pilot, annotation-round and experiment progress from verified artifacts.é    )Úannotations)ÚCounterN)ÚPath)Úis_resolvedÚ
load_jsonl)Úfile_digestÚ
write_json)Úreportúoutputs/rounds_v5c                óÔ  ‡— t          |¦  «        d| d›�z  }|dz                       ¦   «         r)t          j        |dz                       ¦   «         ¦  «        nd }|dz  }|                     ¦   «         r&t          j        |                     ¦   «         ¦  «        nd }t          d| d›�¦  «        }t          d| d›d�¦  «        }|dz                       ¦   «         r|}|dz  }|                     ¦   «         r&t          j        |                     ¦   «         ¦  «        nd }	|r|                     d¦  «        d	k    rt          | ¦  «        nd }
|rt          |d
         ¦  «        n|rt          |d         ¦  «        nd|r|                     dd¦  «        nd|r|                     dd¦  «        nd|r|                     d¦  «        n|rdnd |	r|	                     dd¦  «        nd|	r|	                     dd¦  «        nd|	r|	                     dg ¦  «        ng |
i ddœ
}|r.|                     d¦  «        d	k    r|                     d¦  «        nd }|p|	r|	                     d¦  «        nd }|rÒ|rÐt          |¦  «                             ¦   «         r¯t          |¦  «        }t          ¦   «         Š|d
         D ]5}|j
        |         }‰t          |¦  «        r|j        ndxx         dz  cc<   Œ6t          ‰¦  «        |d<   t          ˆfd„dD ¦   «         ¦  «        |d<   t          |¦  «        |d<   t!          |¦  «        |d<   |r/|                     d¦  «        d	k    r|d         |d<   |d         |d <   |S )!NÚround_Ú03dú
round.jsonúpreselection.jsonúoutputs/review_round_Ú_smallúlatest.jsonÚstateÚcompleteÚ	frame_idsÚtrainr   Úproposed_framesÚread_errorsÚpreselectedÚpaired_batchesÚpending_adjudicationÚerrors)
ÚplannedÚteacher_proposedr   Úround_stater   r   Úingest_errorsÚreview_progressÚstatusÚresolvedÚreviewed_labelsÚannotation_pathÚ
unresolvedé   r#   c              3  ó(   •K  — | ]}‰|         V — Œd S ©N© ©Ú.0ÚkeyÚcountss     €ú?/root/private/project/pallet_detection_v2/pallet/progress_v5.pyú	<genexpr>z#_candidate_round.<locals>.<genexpr>1   s'   øè è € Ð#YÐ#Y°C F¨3¤KÐ#YÐ#YÐ#YÐ#YÐ#YÐ#Yó    ©ÚposÚnegativeÚignorer$   Úlabel_snapshotÚlabel_sha256Úfrozen_round_labelsÚreviewed_labels_sha256Úfrozen_round_labels_sha256)r   ÚexistsÚjsonÚloadsÚ	read_textÚgetÚ_candidate_review_progressÚlenr   r   Úframesr   r#   ÚdictÚsumÚstrr   )ÚindexÚrounds_rootÚrootr   Úselection_pathÚ	selectionÚ
review_dirÚsmallÚlatest_pathÚlatestr"   Ú	candidateÚfrozen_pathÚ
label_pathÚlabelsÚframe_idÚframer/   s                    @r0   Ú_candidate_roundrV      sæ  ø€ Ý�ÑÔÐ3¨Ð3Ð3Ð3Ñ3€DØ>BÀ\Ñ>Q×=YÒ=YÑ=[Ô=[Ðe�DŒJ˜˜|Ñ+×6Ò6Ñ8Ô8Ñ9Ô9Ð9Ðae€EØÐ/Ñ/€NØ:H×:OÒ:OÑ:QÔ:QÐ[•”
˜>×3Ò3Ñ5Ô5Ñ6Ô6Ð6ÐW[€IÝÐ9¨eÐ9Ð9Ð9Ñ:Ô:€JÝÐ:¨Ð:Ð:Ð:Ð:Ñ;Ô;€EØ�Ñ×%Ò%Ñ'Ô'ð Øˆ
Ø˜}Ñ,€KØ4?×4FÒ4FÑ4HÔ4HÐR�TŒZ˜×-Ò-Ñ/Ô/Ñ0Ô0Ð0Èd€Fà#ðRØ',§y¢y°Ñ'9Ô'9¸ZÒ'GÐ'Gõ 2°%Ñ8Ô8Ð8ØMQð à7<ð =�C  kÔ 2Ñ3Ô3Ð3Ø,5Ð<•�Y˜wÔ'Ñ(Ô(Ð(¸1ØHMÐ%T U§Y¢YÐ/@À!Ñ%DÔ%DÐ%DÐSTØ?DÐ K §	¢	¨-¸Ñ ;Ô ;Ð ;È!Ø6;Ð e §	¢	¨'Ñ 2Ô 2Ð 2ÐR[ÐAeÀÀÐaeØFLÐ#S 6§:¢:Ð.>ÀÑ#BÔ#BÐ#BÐRSØRXÐ)_¨¯ªÐ4JÈAÑ)NÔ)NÐ)NÐ^_Ø>DÐ"L &§*¢*¨X°rÑ":Ô":Ð":È"Ø$3Ø¨1ð	.ð 	.€Ið 38Ðf¸E¿IºIÀgÑ<NÔ<NÐR\Ò<\Ð<\�%—)’)Ð-Ñ.Ô.Ð.Ðbf€KØÐSÀ&Ð!R §¢Ð,=Ñ!>Ô!>Ð!>Èd€JØð 	<�ð 	<¥ ZÑ 0Ô 0× 7Ò 7Ñ 9Ô 9ð 	<Ý˜JÑ'Ô'ˆÝ‘”ˆØ˜kÔ*ð 	Nð 	NˆHØ”M (Ô+ˆEØ¥;¨uÑ#5Ô#5ÐG�5”<�<¸<ÐHÐHÔHÈAÑMÐHÐHÑHÐHÝ" 6™lœlˆ	�(ÑÝ #Ð#YÐ#YÐ#YÐ#YÐ;XÐ#YÑ#YÔ#YÑ YÔ Yˆ	�*ÑÝ&)¨*¡o¤oˆ	Ð"Ñ#Ý$/°
Ñ$;Ô$;ˆ	�.Ñ!Øð R�—’˜7Ñ#Ô# zÒ1Ð1Ø+0Ð1BÔ+Cˆ	Ð'Ñ(Ø27Ð8PÔ2Qˆ	Ð.Ñ/ØÐr2   c           	     ó–  ‡— t          |pd| d›�¦  «        }|dz  }|dz  }i }t          |                     d¦  «        ¦  «        D ]p}t          j        d|j        ¦  «        sŒt          j        |                     ¦   «         ¦  «        }| 	                    dg ¦  «        }t          |¦  «        ||j        <   Œqi }	dD �]]}
t          ¦   «         }t          ¦   «         }d	}d	}t          |                     |
› d
�¦  «        ¦  «        D �]¹}t          j        |
› d�|j        ¦  «        }|sŒ#d|                     d¦  «        › �Š‰|vr|dz  }ŒE|‰› d�z  }|
dk    r!|dz  ‰› d�z  }|                     ¦   «         r|}|                     d¦  «        |                     |j        › d�¦  «        f}t#          d„ |D ¦   «         d¦  «        }|€|dz  }ŒÈt          j        |                     ¦   «         ¦  «        }| 	                    d¦  «        p| 	                    d¦  «        }| 	                    d¦  «        }|€| 	                    d|j        ¦  «        }d|v r"t%          |                     |¦  «        ¦  «        n|j        }| 	                    d¦  «        t)          |¦  «        k    s3|t)          |¦  «        k    s | 	                    d‰¦  «        ‰k    s||k    r|dz  }�Œ×t          j        |                     ¦   «         ¦  «        }| 	                    dg ¦  «        }t          ¦   «         }|D ]]}| 	                    d¦  «        }t+          |t,          ¦  «        r,d	|cxk    r|‰         k     rn n|                     |¦  «         ŒX|dz  }Œ^|r6|                     ‰¦  «         |                     ˆfd„|D ¦   «         ¦  «         �Œ»t3          |                     ¦   «         ¦  «        }t          |¦  «        }t          |¦  «        ||t7          d	||z
  ¦  «        ||dœ|	|
<   �Œ_t          |¦  «        t3          |                     ¦   «         ¦  «        |	dœS )zKSummarize normalized per-task candidate reviews, including pre-ingest work.r   r   ÚtasksÚreviewsztrain_*.jsonztrain_\d{3}\.jsonrC   ©ÚaÚbÚcr   z_train_*.jsonz_train_(\d{3})\.jsonÚtrain_r(   z.jsonr]   Úadjudication_tasksz.manifest.jsonz_manifest.jsonc              3  óB   K  — | ]}|                      ¦   «         ¯|V — Œd S r*   )r<   ©r-   Úpaths     r0   r1   z-_candidate_review_progress.<locals>.<genexpr>\   s/   è è € Ð!SÐ!S¨4ÀTÇ[Â[Á]Ä]Ð!S $Ð!SÐ!SÐ!SÐ!SÐ!SÐ!Sr2   NÚnormalized_review_sha256Úreview_sha256Úreview_pathÚreview_fileÚtask_sha256Útask_idrG   c              3  ó    •K  — | ]}‰|fV — Œ	d S r*   r+   )r-   Úframe_indexrh   s     €r0   r1   z-_candidate_review_progress.<locals>.<genexpr>y   s(   øè è € ÐWÐW¸+ ¨Ð5ÐWÐWÐWÐWÐWÐWr2   )Útasks_submittedÚframes_reviewedÚframes_expectedÚpending_framesÚinvalid_entriesÚunverified_files)rX   rm   Ú	reviewers)r   ÚsortedÚglobÚreÚ	fullmatchÚnamer=   r>   r?   r@   rB   ÚstemÚsetÚgroupr<   Úwith_suffixÚ	with_nameÚnextrF   Úrelative_tor   Ú
isinstanceÚintÚaddÚupdaterE   ÚvaluesÚmax)rG   Úreview_rootrI   Ú	tasks_dirÚreviews_dirrX   Ú	task_pathÚtaskrC   rq   ÚsideÚcoveredÚsubmitted_tasksro   rp   re   ÚmatchÚadjudication_pathÚmanifest_pathsÚmanifest_pathÚmanifestÚreview_digestÚreview_referenceÚexpected_review_referenceÚreviewÚvalid_indicesrU   rj   ÚexpectedÚreviewedrh   s                                 @r0   rA   rA   :   sµ  ø€ å�ÐBÐB°uÐBÐBÐBÑCÔC€DØ�w‘€IØ˜Ñ"€KØ€EÝ˜IŸNšN¨>Ñ:Ô:Ñ;Ô;ð ,ð ,ˆ	ÝŒ|Ð0°)´.ÑAÔAð 	ØÝŒz˜)×-Ò-Ñ/Ô/Ñ0Ô0ˆØ—’˜( BÑ'Ô'ˆÝ # F¡¤ˆˆiŒnÑÐà€IØð ;
ñ ;
ˆÝ‘%”%ˆÝ™%œ%ˆØˆØÐÝ! +×"2Ò"2°dÐ3IÐ3IÐ3IÑ"JÔ"JÑKÔKð ,	Xñ ,	XˆKÝ”L TÐ!AÐ!AÐ!AÀ;ÔCSÑTÔTˆEØð ØØ/˜uŸ{š{¨1™~œ~Ð/Ð/ˆGØ˜eÐ#Ð#Ø 1Ñ$�ØØ! wÐ$5Ð$5Ð$5Ñ5ˆIØ�sŠ{ˆ{Ø$(Ð+?Ñ$?ÀWÐBSÐBSÐBSÑ$SÐ!Ø$×+Ò+Ñ-Ô-ð 2Ø 1�IØ)×5Ò5Ð6FÑGÔGØ)×3Ò3°{Ô7GÐ4WÐ4WÐ4WÑXÔXðZˆNå Ð!SÐ!S°>Ð!SÑ!SÔ!SÐUYÑZÔZˆMØÐ$Ø  AÑ%Ð ØÝ”z -×"9Ò"9Ñ";Ô";Ñ<Ô<ˆHØ%Ÿ\š\Ð*DÑEÔEð ;Ø%Ÿ\š\¨/Ñ:Ô:ð à'Ÿ|š|¨MÑ:Ô:ÐØÐ'Ø#+§<¢<°¸{Ô?OÑ#PÔ#PÐ à,9¸XÐ,EÐ,Eõ *-¨[×-DÒ-DÀTÑ-JÔ-JÑ)KÔ)KÐ)KØKVÔK[ð &à—’˜]Ñ+Ô+­{¸9Ñ/EÔ/EÒEÐEØ$­°KÑ(@Ô(@Ò@Ð@Ø—|’| I¨wÑ7Ô7¸7ÒBÐBØ'Ð+DÒDÐDØ 1Ñ$�ÙÝ”Z × 5Ò 5Ñ 7Ô 7Ñ8Ô8ˆFØ—Z’Z ¨"Ñ-Ô-ˆFÝ™EœEˆMØð )ð )�Ø#Ÿiši¨Ñ0Ô0�Ý˜k­3Ñ/Ô/ð )°A¸Ð4UÐ4UÒ4UÐ4UÀuÈWÄ~Ò4UÐ4UÐ4UÐ4UÐ4UØ!×%Ò% kÑ2Ô2Ð2Ð2à# qÑ(�O�OØð XØ×#Ò# GÑ,Ô,Ð,Ø—’ÐWÐWÐWÐWÈÐWÑWÔWÑWÔWÐWùÝ�u—|’|‘~”~Ñ&Ô&ˆÝ�w‘<”<ˆå" ?Ñ3Ô3Ø'Ø'Ý! ! X°Ñ%8Ñ9Ô9Ø.Ø 0ð
ð 
ˆ	�$‰‰õ ˜‘Z”ZµC¸¿º¹¼Ñ4GÔ4GØ"ð$ð $ð $r2   c                óØ  ‡ — t          ‰ ¦  «        }g }|                     ¦   «         rª|                     d¦  «        D ]”}|                     ¦   «         r~|j        dd …                              ¦   «         r]|dz                       ¦   «         s|dz                       ¦   «         r/|                     t          |j        dd …         ¦  «        ¦  «         Œ•ˆ fd„t          |¦  «        D ¦   «         S )Nzround_*é   r   r   c                ó6   •— i | ]}|d ›t          |‰¦  «        “ŒS )r   )rV   )r-   rG   rH   s     €r0   ú
<dictcomp>z$_discover_rounds.<locals>.<dictcomp>�   s:   ø€ ð *ð *ð *Øð ˆNˆNÕ,¨U°KÑ@Ô@ð *ð *ð *r2   )	r   r<   rs   Úis_dirrv   ÚisdigitÚappendr   rr   )rH   rI   Úindicesrb   s   `   r0   Ú_discover_roundsr    ˆ   sö   ø€ Ý�ÑÔ€DØ€GØ‡{‚{�}„}ð 3Ø—I’I˜iÑ(Ô(ð 	3ð 	3ˆDØ—’‘”ð 3 $¤)¨A¨B¨B¤-×"7Ò"7Ñ"9Ô"9ð 3Ø˜\Ñ)×1Ò1Ñ3Ô3ð3Ø8<Ð?RÑ8R×7ZÒ7ZÑ7\Ô7\ð3à—’�s 4¤9¨Q¨R¨R¤=Ñ1Ô1Ñ2Ô2Ð2øð*ð *ð *ð *Ý ™œð*ñ *ô *ð *r2   úoutputs/stagesc                ó’  — t          | ¦  «        }t          d„ |                     d¦  «        D ¦   «         ¦  «        }|sdS |d         }|dz  }t          j        |                     ¦   «         ¦  «        }|j        t          |¦  «        t          |¦  «        | 	                    d¦  «        | 	                    d¦  «        | 	                    d¦  «        | 	                    d	i ¦  «        | 	                    d
i ¦  «        | 	                    di ¦  «        t          | 	                    dg ¦  «        ¦  «        | 	                    d¦  «        dœS )z=Summarize the newest immutable queue manifest, if one exists.c              3  óp   K  — | ]1}|                      ¦   «         ¯|d z                       ¦   «         ¯-|V — Œ2dS )úmanifest.jsonN)rœ   r<   ra   s     r0   r1   z,_latest_full_review_queue.<locals>.<genexpr>—   se   è è € ð Oð O ØŸ+š+™-œ-ðOØ-1°OÑ-C×,KÒ,KÑ,MÔ,MðO˜ð Oð Oð Oð Oð Oð Or2   zfull_review_queue_v*Néÿÿÿÿr¤   Úprotocol_sha256Úprimary_labels_sha256Úbatch_limitr$   ÚinflightÚwaitingÚ	conflictsÚreference_rule)rv   r�   Úmanifest_sha256r¦   r§   r¨   r$   r©   rª   r«   r¬   )r   rr   rs   r=   r>   r?   rv   rF   r   r@   rB   )Ústages_rootrI   Ú
candidatesÚqueuer�   r�   s         r0   Ú_latest_full_review_queuer±   ”   s=  € å�ÑÔ€DÝð Oð O¨¯ªÐ3IÑ)JÔ)Jð Oñ Oô Oñ Oô O€Jàð ØˆtØ�rŒN€EØ˜OÑ+€MÝŒz˜-×1Ò1Ñ3Ô3Ñ4Ô4€Hà”
Ý˜Ñ&Ô&Ý& }Ñ5Ô5Ø#Ÿ<š<Ð(9Ñ:Ô:Ø!)§¢Ð.EÑ!FÔ!FØ—|’| MÑ2Ô2Ø—L’L ¨RÑ0Ô0Ø—L’L ¨RÑ0Ô0Ø—<’< 	¨2Ñ.Ô.Ý˜Ÿš k°2Ñ6Ô6Ñ7Ô7Ø"Ÿ,š,Ð'7Ñ8Ô8ðð ð r2   c                óÀ  — t          |¦  «        }t          |                     d¦  «        d¬¦  «        D ]©}t          j        |                     ¦   «         ¦  «        }|                     d¦  «        }|                     d¦  «        dk    rS|                     d¦  «        | k    r:|r8t          |¦  «                             ¦   «         rt          |¦  «        | k    r|c S ŒªdS )	zJFind an immutable completed-round snapshot matching a panel's parent hash.zround_*/round.jsonT)Úreverser%   r   r   r:   N)	r   rr   rs   r=   r>   r?   r@   r<   r   )Úlabels_sha256rH   rI   Ú
state_pathr   rb   s         r0   Ú_labels_snapshot_for_shar¶   ­   sÚ   € å�ÑÔ€DÝ˜TŸYšYÐ';Ñ<Ô<ÀdÐKÑKÔKð ð ˆ
Ý”
˜:×/Ò/Ñ1Ô1Ñ2Ô2ˆØ�yŠyÐ*Ñ+Ô+ˆØ�IŠI�gÑÔ *Ò,Ð,Ø—I’IÐ6Ñ7Ô7¸=ÒHÐHØð IÝ! $™ZœZ×.Ò.Ñ0Ô0ð Iå Ñ%Ô%¨Ò6Ð6ØˆKˆKˆKøØˆ4r2   c                óX  ‡— i }t          t          | ¦  «                             d¦  «        ¦  «        D �]õ}|dz  }|                     ¦   «         sŒt	          j        |                     ¦   «         ¦  «        }|dz  }d }d }|dz  }|                     ¦   «         r«|                     ¦   «         5 }	|	D ]{}
|
                     ¦   «         sŒ	 t	          j        |
¦  «        }n# t          j	        $ r Y Œ>w xY w| 
                    di ¦  «        }| 
                    d¦  «        }|�
|�||k    r|}|}Œ|	 d d d ¦  «         n# 1 swxY w Y   |r| 
                    di ¦  «        ni Š|                     ¦   «         r&t	          j        |                     ¦   «         ¦  «        nd }i d|rdnd	“d
| 
                    d
¦  «        “d| 
                    d¦  «        “d| 
                    d¦  «        “d| 
                    d¦  «        “d| 
                    d¦  «        “d| 
                    d¦  «        “d|r| 
                    d¦  «        n| 
                    d¦  «        “d|r| 
                    dd¦  «        dz   nd“d|r| 
                    d¦  «        nd “d|“dˆfd„dD ¦   «         “d| 
                    d¦  «        “d| 
                    d¦  «        “d| 
                    d¦  «        “d| 
                    d¦  «        “d | 
                    d ¦  «        “d!|rt          |¦  «        nd i¥||j        <   �Œ÷|S )"Nz	teacher_*zrun.jsonzcompleted.jsonzmetrics.jsonlÚ
validationÚAP50_95r   r   Ú
incompleteÚrecipeÚfamilyÚseedÚsizeÚ
batch_sizeÚeffective_batchÚtarget_epochsÚepochsÚlogged_epochsÚepochr¥   r(   r   Ústopped_reasonÚbest_AP50_95Úlatest_validationc                ó<   •— i | ]}|‰                      |¦  «        “ŒS r+   )r@   )r-   r.   rÇ   s     €r0   r›   z%_teacher_progress.<locals>.<dictcomp>â   s<   ø€ ð "Cð "Cð "CÀc #Ð'8×'<Ò'<¸SÑ'AÔ'Að "Cð "Cð "Cr2   )ÚAP50ÚAP75r¹   Ú	precisionzrecall_at_threshold_iou_0.5Údevice_uuidÚcode_sha256Úsource_snapshot_idÚ
git_commitÚ	git_dirtyÚcompletion_manifest_sha256)rr   r   rs   r<   r=   r>   r?   ÚopenÚstripÚJSONDecodeErrorr@   r   rv   )rH   ÚresultÚ	directoryÚrun_pathÚrunÚcompletion_pathÚlastÚbest_apÚmetrics_pathÚmetrics_fileÚlineÚrowr¸   ÚapÚ	completedrÇ   s                  @r0   Ú_teacher_progressrâ   »   s  ø€ Ø€FÝ�D Ñ-Ô-×2Ò2°;Ñ?Ô?Ñ@Ô@ð .
ñ .
ˆ	Ø˜zÑ)ˆØ�ŠÑ Ô ð 	ØÝŒj˜×+Ò+Ñ-Ô-Ñ.Ô.ˆØ#Ð&6Ñ6ˆØˆØˆØ  ?Ñ2ˆØ×ÒÑ Ô ð 	Ø×"Ò"Ñ$Ô$ð ¨Ø(ð ð �DØŸ:š:™<œ<ð !Ø ð!Ý"œj¨Ñ.Ô.˜˜øÝÔ/ð !ð !ð !Ø ˜ð!øøøà!$§¢¨°rÑ!:Ô!:�JØ#Ÿš¨	Ñ2Ô2�BØ�~¨7¨?¸bÀ7ºl¸lØ"$˜Ø�D�Dððð ð ñ ô ð ð ð ð ð ð øøøð ð ð ð ð ;?ÐF˜DŸHšH \°2Ñ6Ô6Ð6ÀBÐØ?N×?UÒ?UÑ?WÔ?WÐa•D”J˜×8Ò8Ñ:Ô:Ñ;Ô;Ð;Ð]aˆ	ð"
Ø 9Ð>�Z�Z°,ð"
à�c—g’g˜hÑ'Ô'ð"
ð �c—g’g˜hÑ'Ô'ð"
ð �C—G’G˜F‘O”Oð	"
ð
 �C—G’G˜F‘O”Oð"
ð ˜#Ÿ'š' ,Ñ/Ô/ð"
ð ˜sŸwšwÐ'8Ñ9Ô9ð"
ð ¸yÐ_˜YŸ]š]¨?Ñ;Ô;Ð;ÈcÏgÊgÐV^ÑN_ÔN_ð"
ð ¸DÐG˜dŸhšh w°Ñ3Ô3°aÑ7Ð7Àað"
ð ÀÐT˜iŸmšmÐ,<Ñ=Ô=Ð=ÐPTð"
ð ˜Gð"
ð  ð "Cð "Cð "Cð "Cð#Bð"Cñ "Cô "Cð"
ð ˜3Ÿ7š7 =Ñ1Ô1ð"
ð  ˜3Ÿ7š7 =Ñ1Ô1ð!"
ð" ! #§'¢'Ð*>Ñ"?Ô"?ð#"
ð$ ˜#Ÿ'š' ,Ñ/Ô/ð%"
ð& ˜Ÿš Ñ-Ô-ð'"
ð( )È)Ð*]­+°oÑ*FÔ*FÐ*FÐY]ð)"
ð "
ˆˆyŒ~ÑÑð, €Ms6   Â,D8ÃCÃD8ÃC.	Ã+D8Ã-C.	Ã.=D8Ä8D<	Ä?D<	Úoutputsc                ó  — i }t          t          | ¦  «                             d¦  «        ¦  «        D �]W}i }dD �]B}||› d�z  }|                     ¦   «         sŒ t	          j        |                     ¦   «         ¦  «        }|sŒIt          |dz                       |› d�¦  «        ¦  «        }|dz  }i }	dD ]¨}
d}|                     ¦   «         r‹|                     |
› d	|› d�¦  «        D ]o}t          j        |
› d	|› d
�|j	        ¦  «        sŒ#t	          j        |                     ¦   «         ¦  «        }|t          |                     dg ¦  «        ¦  «        z  }Œp||	|
<   Œ©|dz  }|                     ¦   «         r&t	          j        |                     ¦   «         ¦  «        ni }|dz  }|                     ¦   «         r&t	          j        |                     ¦   «         ¦  «        ng }t          d„ |                     d¦  «        D ¦   «         ¦  «        }t          |¦  «        t          |¦  «        |	|                     dd¦  «        |                     dd¦  «        |                     dd¦  «        t          |¦  «        |dœ||<   �ŒD|r
|||j	        <   �ŒY|S )Nzfull_review_*_v5)r   ÚvalÚtestz_index.jsonrX   z_*.jsonrY   rZ   r   Ú_z_\d{3}\.jsonrC   r   zerrors.jsonc              3  óP   K  — | ]!}|                      ¦   «         j        d k    V — Œ"dS )r   N)ÚstatÚst_sizera   s     r0   r1   z._full_review_batch_progress.<locals>.<genexpr>
  s2   è è € ÐeÐe¸˜TŸYšY™[œ[Ô0°1Ò4ÐeÐeÐeÐeÐeÐer2   zreference_*.jsonlÚconsensus_framesÚadjudicated_framesr   )Úselected_framesrX   Úreviewer_framesrë   rì   r   r   Úreference_snapshots)rr   r   rs   r<   r=   r>   r?   rt   ru   rv   rB   r@   rE   )Úoutputs_rootrÕ   rÖ   ÚsplitsÚsplitÚ
index_pathrK   Ú
task_pathsr†   rî   r‰   rC   re   r”   Úingest_pathÚingestÚerrors_pathr   Ú
referencess                      r0   Ú_full_review_batch_progressrù   ï   sÅ  € Ø€FÝ�D Ñ.Ô.×3Ò3Ð4FÑGÔGÑHÔHð %,ñ %,ˆ	ØˆØ-ð !	ñ !	ˆEØ"¨Ð%:Ð%:Ð%:Ñ:ˆJØ×$Ò$Ñ&Ô&ð ØÝœ
 :×#7Ò#7Ñ#9Ô#9Ñ:Ô:ˆIØð ØÝ ¨WÑ!4× :Ò :¸eÐ;LÐ;LÐ;LÑ MÔ MÑNÔNˆJØ# iÑ/ˆKØ ˆOØ'ð /ð /�Ø�Ø×%Ò%Ñ'Ô'ð @Ø'2×'7Ò'7¸4Ð8PÐ8PÀ%Ð8PÐ8PÐ8PÑ'QÔ'Qð @ð @˜Ý!œ|°Ð,LÐ,L°uÐ,LÐ,LÐ,LÈkÔN^Ñ_Ô_ð %Ø$Ý!%¤¨K×,AÒ,AÑ,CÔ,CÑ!DÔ!D˜Ø¥# f§j¢j°¸2Ñ&>Ô&>Ñ"?Ô"?Ñ?˜˜Ø(.� Ñ%Ð%Ø# mÑ3ˆKØ<G×<NÒ<NÑ<PÔ<PÐX•T”Z × 5Ò 5Ñ 7Ô 7Ñ8Ô8Ð8ÐVXˆFØ# mÑ3ˆKØ<G×<NÒ<NÑ<PÔ<PÐX•T”Z × 5Ò 5Ñ 7Ô 7Ñ8Ô8Ð8ÐVXˆFÝÐeÐeÀÇÂÐPcÑAdÔAdÐeÑeÔeÑeÔeˆJå#& y¡>¤>Ý˜Z™œØ#2Ø$*§J¢JÐ/AÀ1Ñ$EÔ$EØ&,§j¢jÐ1EÀqÑ&IÔ&IØ(.¯
ª
Ð3IÈ1Ñ(MÔ(MÝ" 6™{œ{Ø'1ð	ð 	ˆF�5‰M‰Mð ð 	,Ø%+ˆF�9”>Ñ"ùØ€Mr2   ©rL   c               óv  ‡‡	‡
— t          |pd| d›�¦  «        }|                     d¦  «                             ¦   «         r)t          j        |dz                       ¦   «         ¦  «        nd }ddd|r|                     dd¦  «        nd |r|                     dg ¦  «        ng dœ}t          |¦  «        }|                     ¦   «         rót          j        |                     ¦   «         ¦  «        }t          |d         ¦  «        |d	<   t          |d
         ¦  «        |d<   |r›t          |d         ¦  «        Š	t          |¦  «        Š
ddl	m
Š t          ˆ	ˆ
fd„|d
         D ¦   «         ¦  «        |d<   |d         |d         k    r:t          ˆˆ	ˆ
fd„|d
         D ¦   «         ¦  «        |d<   |d         |d         z  |d<   |S )Nzoutputs/audit_review_round_r   r   r   r   r   )Úreserved_groupsÚpanel_framesÚfreshly_resolvedr   r!   Úgroupsrü   r   rý   r&   )Ú_audit_changedc              3  óÌ   •K  — | ]^}t          ‰j        |         ¦  «        o?t          ‰j        |         j        ¦  «        t          ‰j        |         j        ¦  «        k    V — Œ_d S r*   )r   rC   rB   rY   )r-   ÚfidrS   Úolds     €€r0   r1   z_audit_round.<locals>.<genexpr>*  sy   øè è € ð ,/ð ,/ð õ ˜FœM¨#Ô.Ñ/Ô/ð OÝ�F”M #Ô&Ô.Ñ/Ô/µ#°c´jÀ´oÔ6MÑ2NÔ2NÒNð,/ð ,/ð ,/ð ,/ð ,/ð ,/r2   rþ   c              3  ó\   •K  — | ]&} ‰‰j         |         ‰j         |         ¦  «        V — Œ'd S r*   )rC   )r-   r  r   rS   r  s     €€€r0   r1   z_audit_round.<locals>.<genexpr>/  s\   øè è € ð 3Sð 3SØ8;ð 4B°>À#Ä*ÈSÄ/ÐSYÔS`ÐadÔSeÑ3fÔ3fð 3Sð 3Sð 3Sð 3Sð 3Sð 3Sr2   Úsubstantive_changedÚsubstantive_change_rate)r   Újoinpathr<   r=   r>   r?   r@   rB   r   Úpallet.annotation.cycler   rE   )rG   Ú
panel_pathÚbefore_labelsrL   Ú	audit_dirÚaudit_latestÚauditÚpanelr   rS   r  s           @@@r0   Ú_audit_roundr    sA  øøø€ Ý�ZÐLÐ#LÀÐ#LÐ#LÐ#LÑMÔM€IØKT×K]ÒK]Ð^kÑKlÔKl×KsÒKsÑKuÔKuð  A•4”:˜y¨=Ñ8×CÒCÑEÔEÑFÔFÐFð  }A€LØ !°1Ø!"ØT`Ð%j \×%5Ò%5Ð6LÈaÑ%PÔ%PÐ%PÐfjØ@LÐT˜l×.Ò.¨x¸Ñ<Ô<Ð<ÐRTðVð V€Eõ �jÑ!Ô!€JØ×ÒÑÔð hÝ”
˜:×/Ò/Ñ1Ô1Ñ2Ô2ˆÝ#& u¨X¤Ñ#7Ô#7ˆÐÑ Ý # E¨+Ô$6Ñ 7Ô 7ˆˆnÑØð 	hÝ Ð->Ô ?Ñ@Ô@ˆFÝ˜]Ñ+Ô+ˆCØ>Ð>Ð>Ð>Ð>Ð>Ý(+ð ,/ð ,/ð ,/ð ,/ð ,/ð ! Ô-ð,/ñ ,/ô ,/ñ )/ô )/ˆEÐ$Ñ%ð Ð'Ô(¨E°.Ô,AÒAÐAÝ/2ð 3Sð 3Sð 3Sð 3Sð 3Sð 3SØ?DÀ[Ô?Qð3Sñ 3Sô 3Sñ 0Sô 0S�Ð+Ñ,à38Ð9NÔ3OÐRWÐXfÔRgÑ3g�Ð/Ñ0Ø€Lr2   úoutputs/progress_v5.jsonc           	     ó<  ‡"‡#‡$— t          ¦   «         }t          ¦   «         Š$‰$                     dt          d¦  «        ¦  «        }‰$                     dt          d¦  «        ¦  «        }‰$                     dt          d¦  «        ¦  «        }t	          ddd¦  «        }t	          dd	d
¦  «        }t	          dddt          d¦  «                             ¦   «         rdnd¬¦  «        }|||dœ}‰$D �]}	|	|v rŒt          d¦  «        d|	› �z  dz  }
t          d¦  «        d|	› �z  dz  }|                     ¦   «         r»t          j        | 	                    ¦   «         ¦  «        }|
                     ¦   «         r<t          j        |
 	                    ¦   «         ¦  «        }|                     d¦  «        }n"t          |                     d¦  «        ¦  «        }|r!t	          t          |	¦  «        ||¦  «        ||	<   �Œ	t          d¦  «        }|                     ¦   «         r&t          j        | 	                    ¦   «         ¦  «        nd }t          d¦  «        }|                     ¦   «         r&t          j        | 	                    ¦   «         ¦  «        nd }t          d¦  «        }|                     ¦   «         r&t          j        | 	                    ¦   «         ¦  «        nd }t          d¦  «        }|                     ¦   «         r&t          j        | 	                    ¦   «         ¦  «        nd }t          d¦  «        }t          d¦  «        }d }|                     ¦   «         rä|                     ¦   «         rÐt          j        | 	                    ¦   «         ¦  «        d         }t          j        | 	                    ¦   «         ¦  «        }t          |d          ¦  «        Š#t          ˆ#fd!„|D ¦   «         ¦  «        Š"t          |¦  «        t          ‰"¦  «        t!          ˆ"fd"„d#D ¦   «         ¦  «        |d$         |d%         |d          d&œ}t#          j        d'¦  «        j        }i }‰$D ]À}	t          d¦  «        d|	› �z  dz  }
|
                     ¦   «         sŒ/t          j        |
 	                    ¦   «         ¦  «        }|                     d(¦  «        d)k    rRt          |d*         ¦  «        t)          |d+         t          |d*         ¦  «        z  ¦  «        |d+         |d,         d-œ||	<   ŒÁt+          ˆ$fd.„t-          ‰$¦  «        D ¦   «         d ¦  «        }d }|r™t          |d/         ¦  «        Š#t          d0„ ‰#j                             ¦   «         D ¦   «         ¦  «        Š"t          ‰#j        ¦  «        t          ‰"¦  «        t          ‰#j        ¦  «        ‰"d1         z
  t3          |d/         ¦  «        d2œ}i d3|d3         “d4|d4         “d5|“d6|“d7|“d8|“d9|“d:|“d;|“d<|“d=‰$“d>|“d?|“d@t5          ¦   «         “dAt7          ¦   «         “dBt9          ¦   «         “dC|“|||dD„ |dE         D ¦   «         t)          |dFz  d¦  «        dGdHdIœ¥} |                     ¦   «         D ]\  }	}!|!| dJ|	› �<   Œt=          | | ¦  «         | S )KNÚ001r(   Ú002é   Ú003é   z9outputs/stages/pilot600_v5/audit_reserve/audit_panel.jsonz,outputs/stages/pilot600_v5/annotations.jsonlz)outputs/stages/round_002/audit_panel.jsonz@outputs/audit_review_round_001/labels/d854216609bb99b5bde3.jsonlz)outputs/stages/round_003/audit_panel.jsonz<outputs/stages/round_002/reviewed_with_paired_snapshot.jsonlz2outputs/audit_review_round_003_reblind/latest.jsonz&outputs/audit_review_round_003_reblindz$outputs/audit_review_round_003_smallrú   )r  r  r  r   r   r   r¡   zaudit_panel.jsonÚinput_labelsÚinput_labels_sha256z7outputs/protocol_v5/references/pilot_test.manifest.jsonz7outputs/protocol_v5/references/paired_val.manifest.jsonz9outputs/protocol_v5/references/paired_train.manifest.jsonz8outputs/protocol_v5/references/paired_test.manifest.jsonz*outputs/paired_panel_v5_new/selection.jsonz$outputs/review_paired_v5/latest.jsonr   r&   c              3  óx   •K  — | ]4}t          ‰j        |         d ¬¦  «        r‰j        |         j        ndV — Œ5dS )T)Úrequire_blindr'   N)r   rC   r#   )r-   r  rS   s     €r0   r1   zreport.<locals>.<genexpr>d  sm   øè è € ð @ð @Ø/2õ 7BÀ&Ä-ÐPSÔBTÐdhÐ6iÑ6iÔ6ið +˜œ sÔ+Ô2Ð2Ø*ð@ð @ð @ð @ð @ð @r2   c              3  ó(   •K  — | ]}‰|         V — Œd S r*   r+   r,   s     €r0   r1   zreport.<locals>.<genexpr>g  s'   øè è € Ð*`Ð*`¸3¨6°#¬;Ð*`Ð*`Ð*`Ð*`Ð*`Ð*`r2   r3   r   r   )Úselectedr#   r$   Úpending_adjudication_all_splitsr!   r7   rã   r   r   Úaudit_frame_idsÚaudit_change_rater:   )rý   r  r  r:   c              3  óL   •K  — | ]}‰|         d          dk    ¯‰|         V — ŒdS )r    r   Nr+   )r-   rG   Úroundss     €r0   r1   zreport.<locals>.<genexpr>x  sJ   øè è € ð Lð L¨uØ & u¤¨mÔ <À
Ò JÐ Jð $ Eœ]Ø JÐ JÐ JÐ JðLð Lr2   r9   c              3  óF   K  — | ]}t          |¦  «        r|j        nd V — ŒdS )Ú
unreviewedN)r   r#   )r-   rU   s     r0   r1   zreport.<locals>.<genexpr>}  sI   è è € ð >ð >Ø"õ *5°UÑ);Ô);ÐM˜œ˜Àð >ð >ð >ð >ð >ð >r2   r#  )Útotalr#   r$   r´   r¦   Úpilot_countsÚpilot_test_referenceÚpaired_validation_referenceÚpaired_training_panelÚpaired_test_referenceÚpaired_training_reviewÚcandidate_round_001Úcandidate_round_002Úcandidate_round_003Úcandidate_roundsÚtraining_auditsÚround_auditsÚfull_review_queueÚteacher_runsÚfull_review_batchesÚannotation_coveragec                ó&   — g | ]}d |d         v ¯|‘ŒS )zoutputs/pilot600_v5/rØ   r+   )r-   rØ   s     r0   ú
<listcomp>zreport.<locals>.<listcomp>–  s3   € ð 'Pð 'Pð 'P¨sØ*@ÀCÈÄJÐ*NÐ*Nð (+Ø*NÐ*NÐ*Nr2   Úcompleted_runsi   @FzVProposal count is not annotation coverage; references are independent machine reviews.)Útraining_audit_round_001Útraining_audit_round_002Útraining_audit_round_003Úpilot_completed_runsÚfree_disk_gibÚfull_research_completeÚnoteÚtraining_audit_round_)Úprevious_reportr    r@   rV   r  r   r<   r=   r>   r?   r¶   r   r   r   rB   rD   rE   ÚshutilÚ
disk_usageÚfreeÚroundr|   ÚreversedrC   r‚   r   r±   râ   rù   Úitemsr	   )%ÚoutputÚpreviousrP   ÚsecondÚthirdr  Úaudit_secondÚaudit_thirdr/  rG   rµ   r	  r  r   r
  Útest_manifestræ   Úpaired_manifestÚpairedÚpaired_train_manifestÚpaired_trainÚpaired_test_manifestÚpaired_testÚpaired_selectionÚpaired_latest_pathÚpaired_trainingr  ÚcurrentÚ
free_bytesr0  Úlatest_completedr4  rÕ   Úaudit_resultr/   rS   r!  s%                                     @@@r0   r
   r
   5  sæ  øøø€ ÝÑ Ô €HÝÑÔ€FØ—
’
˜5Õ"2°1Ñ"5Ô"5Ñ6Ô6€IØ�ZŠZ˜Õ/°Ñ2Ô2Ñ3Ô3€FØ�JŠJ�uÕ.¨qÑ1Ô1Ñ2Ô2€EÝ˜ÐWØGñIô I€Eå Ð#NØ bñdô d€Lå˜qÐ"MØ]å"&Ð'[Ñ"\Ô"\×"cÒ"cÑ"eÔ"eð+KÐ*RÐ*Rà$Jð	Lñ Lô L€Kð
 #¨,¸kÐJÐJ€OØð Fñ FˆØ�OÐ#Ð#ØÝÐ-Ñ.Ô.Ð1A¸%Ð1AÐ1AÑAÀLÑPˆ
ÝÐ*Ñ+Ô+Ð.>°uÐ.>Ð.>Ñ>ÐASÑSˆ
Ø×ÒÑÔð 		FÝ”J˜z×3Ò3Ñ5Ô5Ñ6Ô6ˆEØ× Ò Ñ"Ô"ð [Ýœ
 :×#7Ò#7Ñ#9Ô#9Ñ:Ô:�Ø %§	¢	¨.Ñ 9Ô 9��å 8¸¿ºÐCXÑ9YÔ9YÑ ZÔ Z�Øð FÝ)5µc¸%±j´jÀ*Ø7Dñ*Fô *F� Ñ&ùõ ÐRÑSÔS€MØ4A×4HÒ4HÑ4JÔ4JÐT�4Œ:�m×-Ò-Ñ/Ô/Ñ0Ô0Ð0ÐPT€DÝÐTÑUÔU€OØ8G×8NÒ8NÑ8PÔ8PÐZ�TŒZ˜×1Ò1Ñ3Ô3Ñ4Ô4Ð4ÐVZ€FÝ Ð!\Ñ]Ô]ÐØDY×D`ÒD`ÑDbÔDbÐl•4”:Ð3×=Ò=Ñ?Ô?Ñ@Ô@Ð@Ðhl€LÝÐ ZÑ[Ô[ÐØBV×B]ÒB]ÑB_ÔB_Ði•$”*Ð1×;Ò;Ñ=Ô=Ñ>Ô>Ð>Ðei€KÝÐHÑIÔIÐÝÐDÑEÔEÐØ€OØ×ÒÑ Ô ð 
IÐ%7×%>Ò%>Ñ%@Ô%@ð 
IÝ”:Ð.×8Ò8Ñ:Ô:Ñ;Ô;¸GÔDˆÝ”*Ð/×9Ò9Ñ;Ô;Ñ<Ô<ˆÝ˜GÐ$5Ô6Ñ7Ô7ˆÝð @ð @ð @ð @Ø6>ð@ñ @ô @ñ @ô @ˆå'*¨8¡}¤}ÅÀVÁÄÝ'*Ð*`Ð*`Ð*`Ð*`ÐB_Ð*`Ñ*`Ô*`Ñ'`Ô'`Ø>EÐF\Ô>]Ø,3°HÔ,=Ø-4Ð5FÔ-Gð	Ið Iˆõ
 Ô" 9Ñ-Ô-Ô2€JØ€LØð 
^ð 
^ˆÝÐ-Ñ.Ô.Ð1A¸%Ð1AÐ1AÑAÀLÑPˆ
Ø× Ò Ñ"Ô"ð 	ØÝ”
˜:×/Ò/Ñ1Ô1Ñ2Ô2ˆØ�9Š9�WÑÔ Ò+Ð+Ý36°uÐ=NÔ7OÑ3PÔ3PÝ:?ÀÐFYÔ@ZÝ@CÀEÐJ[ÔD\Ñ@]Ô@]ñA^ñ ;_ô ;_à>CÐDWÔ>XØ=BÐC[Ô=\ð	#^ð #^ˆL˜Ñøõ
 ð Lð Lð Lð L½ÀÑ8HÔ8Hð Lñ Lô LØMQñSô SÐàÐØð fÝÐ,Ð-BÔCÑDÔDˆÝð >ð >Ø&,¤m×&:Ò&:Ñ&<Ô&<ð>ñ >ô >ñ >ô >ˆå(+¨F¬MÑ(:Ô(:ÅdÈ6ÁlÄlÝ+.¨v¬}Ñ+=Ô+=ÀÀ|Ô@TÑ+TÝ0;Ð<LÐMbÔ<cÑ0dÔ0dðfð fÐðpÐ Ð*;Ô!<ð pØ˜h ~Ô6ðpà$ dðpð ,¨Vðpð & |ð	pð
 & {ðpð '¨ðpð $ Yðpð $ Vðpð $ Uðpð ! &ðpð   ðpð ˜lðpð "Õ#<Ñ#>Ô#>ðpð Õ/Ñ1Ô1ðpð $Õ%@Ñ%BÔ%Bðpð  $Ð%8ð!pð" +0Ø*6Ø*5ð'Pð 'P°hÐ?OÔ6Pð 'Pñ 'Pô 'På$ Z°%Ñ%7¸Ñ;Ô;Ø(-Ønð1pð pð p€Fð2 .×3Ò3Ñ5Ô5ð ?ð ?ÑˆˆlØ2>ˆÐ. uÐ.Ð.Ñ/Ð/Ýˆv�vÑÔÐØ€Mr2   Ú__main__c                ó*   — i | ]}|t           |         “ŒS r+   )Úvalue)r-   r.   s     r0   r›   r›   £  s0   € ð Rð Rð R¨#�c�5 œ:ð Rð Rð Rr2   )r.  r/  r4  r<  F)Úensure_ascii)r   r*   )r¡   )rã   )r  )Ú__doc__Ú
__future__r   Úcollectionsr   r=   Úpathlibr   rt   rA  Úpallet.annotationr   r   Úpallet.data.protocolr   r	   Úpallet.progress_v4r
   r@  rV   rA   r    r±   r¶   râ   rù   r  Ú__name__r]  ÚprintÚdumpsr+   r2   r0   ú<module>ri     så  ðØ VÐ VØ "Ð "Ð "Ð "Ð "Ð "à Ð Ð Ð Ð Ð Ø €€€Ø Ð Ð Ð Ð Ð Ø 	€	€	€	Ø €€€à 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5Ø 8Ð 8Ð 8Ð 8Ð 8Ð 8Ð 8Ð 8Ø 8Ð 8Ð 8Ð 8Ð 8Ð 8ð(ð (ð (ð (ðVK$ð K$ð K$ð K$ð\	*ð 	*ð 	*ð 	*ðð ð ð ð2ð ð ð ð1ð 1ð 1ð 1ðh(ð (ð (ð (ðV BFð ð ð ð ð ð6ið ið ið iðX ˆzÒÐØˆF‰HŒH€EØ	€Eˆ*ˆ$Œ*ð Rð Rð 2Qð Rñ Rô Rà"'ð)ñ )ô )ñ *ô *ð *ð *ð *ð Ðr2   