§
    ì›×j÷Q  ã                  ó„  — d Z ddlmZ ddlZddlmZ ddlZddlZddlZddl	m
Z
 ddlZddlZddlZddlZddlmZ ddlmZmZ dd	lmZmZmZ dd
lmZmZmZmZmZ ddlmZ ddl m!Z! ddl"m#Z#m$Z$ ddl%m&Z&m'Z'm(Z(m)Z) d„ Z*d„ Z+d4d„Z,d„ Z-d„ Z.d5d„Z/d„ Z0d„ Z1d„ Z2d6d„Z3dddddœd„Z4d4d„Z5d„ Z6d5d „Z7d!„ Z8e9d"k    �r ej:        e ¬#¦  «        Z;e; <                    d$g d%¢d&¬'¦  «         e; <                    d(¦  «         e; <                    d)d*d+gd*¬,¦  «         e; <                    d-e=d¬.¦  «         e; <                    d/d¬0¦  «         e; >                    ¦   «         Z?e?j@        d1k    r e-¦   «          dS e?j@        d2k    r e6¦   «          dS e?j@        d3k    r e8¦   «          dS  e5e?jA        e?jB        e?jC        e?jD        ¦  «         dS dS )7zOV4 train-only CV, true optimizer-state continuation and controlled batch study.é    )ÚannotationsN)ÚCounter)ÚPath)Únné   )ÚEndToEndÚseed_all)ÚBackboneÚPoseHeadÚ
PRETRAINED)ÚROOTÚPROJECTÚCONFIGÚconfigÚload)Ú	read_rows)Údigest)Úgroup_foldsÚangular_error_degrees)Úatomic_jsonÚ
loss_valueÚdecodedÚnowc                ó†  — t           j                             | d d …d d…f         |d d …d d…f         z
  d¬¦  «        }t          t          j        t          j        | d d …df         | d d …df         ¦  «        ¦  «        t          j        t          j        |d d …df         |d d …df         ¦  «        ¦  «        ¦  «        }||fS )Né   r   )Úaxisé   )ÚnpÚlinalgÚnormr   ÚdegreesÚarctan2)ÚpredÚtargetÚpositionÚangless       úpallet/pose_benchmark_v4.pyÚ	per_errorr(      sº   € ÝŒY�^Š^˜D    2 A 2 œJ v¨a¨a¨a°°°¨d¤|Ñ3¸ˆ^Ñ;Ô;€HÝ ¥¤­B¬J°t¸A¸A¸A¸a¸C´yÀÀaÀaÀaÈÀcÄÑ,KÔ,KÑ!LÔ!LÝ!#¤­B¬J°v¸a¸a¸aÀ¸c´{À6È!È!È!ÈAÈ#Ä;Ñ,OÔ,OÑ!PÔ!PñRô R€Fà�Fˆ?Ðó    c                ó   ‡‡— t          | |¦  «        \  }}d„ t          |||¦  «        D ¦   «         Št          d„ ‰D ¦   «         ¦  «        }t          j        ˆˆfd„|D ¦   «         ¦  «        }t          t          |¦  «        t          ‰¦  «        t          |¦  «        t          ‰¦  «        t          |¦  «        z
  t          |¦  «        t          |                     ¦   «         ¦  «        t          |                     ¦   «         ¦  «        ¬¦  «        S )Nc                óT   — i | ]%\  }}}|d          t          |dz  |dz  z   ¦  «        “Œ&S )Ú
target_keyçš™™™™™©?é   )Úfloat)Ú.0ÚrÚpÚas       r'   ú
<dictcomp>zmetrics.<locals>.<dictcomp>#   s8   € Ð
SÐ
SÐ
S±°°!°Aˆ1ˆ\Œ?�5  3¡ q¨¡s¡Ñ+Ô+Ð
SÐ
SÐ
Sr)   c                ó   — h | ]
}|d          ’ŒS ©Úgroup_id© ©r0   r1   s     r'   ú	<setcomp>zmetrics.<locals>.<setcomp>$   s   € Ð3Ð3Ð3 Q�1�Z”=Ð3Ð3Ð3r)   c                óT   •‡— g | ]#Št          j        ˆˆfd „‰D ¦   «         ¦  «        ‘Œ$S )c                ó„   •— g | ]<}|d          ‰k    ¯‰                      |d         t          ¦   «         d         ¦  «        ‘Œ=S )r7   r,   Úpreprocessing_failure_score)Úgetr   )r0   r1   ÚbykeyÚgroups     €€r'   ú
<listcomp>z&metrics.<locals>.<listcomp>.<listcomp>%   sP   ø€ ð Gð Gð GØ !°°:´ÀÒ1EÐ1Eð "ŸIšI a¨¤oµf±h´hÐ?\Ô6]Ñ^Ô^Ø1EÐ1EÐ1Er)   )r   Úmean)r0   r@   Úall_rowsr?   s    @€€r'   rA   zmetrics.<locals>.<listcomp>%   sq   øø€ ð ]ð ]ð ]ØLQõ ”7ð Gð Gð Gð Gð GØ%-ðGñ Gô Gñ Hô Hð ]ð ]ð ]r)   )ÚsamplesÚtotalÚgroupsÚfailed_preprocessingÚmacro_group_selection_scoreÚposition_width_fractionÚangle_mae_degrees)r(   ÚzipÚsortedr   rB   ÚdictÚlenr/   )	r#   r$   ÚrowsrC   r%   r&   rF   Úscorer?   s	      `    @r'   ÚmetricsrQ   !   s  øø€ Ý˜d 6Ñ*Ô*�O€HˆVØ
SÐ
S½¸TÀ(È6Ñ9RÔ9RÐ
SÑ
SÔ
S€EÝÐ3Ð3¨(Ð3Ñ3Ô3Ñ4Ô4€FÝ
Œ'ð ]ð ]ð ]ð ]ð ]ØU[ð]ñ ]ô ]ñ ^ô ^€Eå�˜D™	œ	­¨H©¬½SÀ¹[¼[Õ^aÐbjÑ^kÔ^kÕloÐptÑluÔluÑ^uÝ,1°%©L¬LÕQVÐW_×WdÒWdÑWfÔWfÑQgÔQgÝ"'¨¯ª©¬Ñ"6Ô"6ð8ñ 8ô 8ð 8r)   é*   Úbasec                óH   — t           dz  |z  | z  |z  t          |¦  «        z  S )NÚtrials)r   Ústr)ÚfamilyÚbranchÚseedÚarms       r'   Ú
trial_rootr[   ,   s&   € Ý�‰=˜Ñ˜VÑ# FÑ*­3¨t©9¬9Ñ4Ð4r)   c                 ó  ‡— t          ¦   «         } t          j        t          dz                       ¦   «         ¦  «        }t
          | d         z  }t          j        |dz                       ¦   «         ¦  «        }dd l}|D ]ž}|                     g d¢t
          |d         z  d¬¦  «                             ¦   «         |d	         k    rt          d
¦  «        ‚|                     g d¢t
          |d         z  d¬¦  «                             ¦   «         rt          d¦  «        ‚ŒŸt          j        |dz                       ¦   «         ¦  «        }|D ]6}t          |dz  |d         z  ¦  «        |d         k    rt          d¦  «        ‚Œ7t          t          ¦   «         | t          t          ¦  «        t          t          dz  ¦  «        |d         ||i ¬¦  «        }dD �]C}t          |¦  «        \  Š}	}
d„ ‰D ¦   «         }t          | d         t!          |¦  «        ¦  «        }|dk     rt          d|z   ¦  «        ‚g }t#          ‰|| d         ¦  «        D ]w\  }}ˆfd„|D ¦   «         }|                     t          ˆfd„|D ¦   «         ˆfd„|D ¦   «         t'          |¦  «        t'          ˆfd„|D ¦   «         ¦  «        ¬¦  «        ¦  «         Œxt          t!          ‰¦  «        t!          |
¦  «        t!          |¦  «        ||dk    rd nd!|d"k     rd#nd ¬$¦  «        |d%         |<   �ŒEt          d&z  }|                     ¦   «         rFt          j        |                     ¦   «         ¦  «        }|d'         |d'<   ||k    rt          d(¦  «        ‚t+          ||¦  «         |S ))Nzdataset/manifest.jsonÚofficial_assetszupstream_manifest.jsonr   )Úgitz	rev-parseÚHEADÚpathT)ÚcwdÚtextÚcommitzOfficial commit changed)r^   Údiffz--name-onlyzOfficial implementation changedzweights_manifest.jsonÚweightsÚnameÚsha256zOfficial weights changedÚlabels_sha256)Ú
created_atr   Úconfig_sha256Údataset_manifest_sha256rh   Úupstreamre   Úbranches)ÚmetricÚnative_unknownc                ó   — h | ]
}|d          ’ŒS r6   r8   r9   s     r'   r:   z"freeze_protocol.<locals>.<setcomp>B   s   € Ð,Ð,Ð, !��*”Ð,Ð,Ð,r)   Úfoldsr   z!Insufficient independent groups: Ú	fold_seedc                ó,   •— h | ]}‰|         d          ’ŒS r6   r8   ©r0   ÚirO   s     €r'   r:   z"freeze_protocol.<locals>.<setcomp>F   s"   ø€ Ð0Ð0Ð0¨��Q”˜
Ô#Ð0Ð0Ð0r)   c                ó,   •— g | ]}‰|         d          ‘ŒS ©r,   r8   rt   s     €r'   rA   z#freeze_protocol.<locals>.<listcomp>G   s"   ø€ Ð)LÐ)LÐ)LÀA¨$¨q¬'°,Ô*?Ð)LÐ)LÐ)Lr)   c                ó,   •— g | ]}‰|         d          ‘ŒS rw   r8   rt   s     €r'   rA   z#freeze_protocol.<locals>.<listcomp>G   s?   ø€ ð  ^Að  ^Að  ^AÐxyÐ^bÐcdÔ^eÐfrÔ^sð  ^Að  ^Að  ^Ar)   c                ó,   •— h | ]}‰|         d          ’ŒS r6   r8   rt   s     €r'   r:   z"freeze_protocol.<locals>.<setcomp>H   s'   ø€ ÐOpÐOpÐOpÐhiÐPTÐUVÔPWÐXbÔPcÐOpÐOpÐOpr)   )Úfit_keysÚvalidation_keysÚvalidation_groupsÚ
fit_groupsrn   ÚmÚunverified_nativer   Ú(two_group_leave_one_out_exploratory_only)Útrain_samplesÚfull_train_samplesÚtrain_groupsrq   ÚunitÚwarningrm   úprotocol.jsonri   zV4 protocol is already frozen)r   ÚjsonÚloadsr   Ú	read_textr   Ú
subprocessÚcheck_outputÚstripÚ
ValueErrorr   rM   r   r   r   ÚminrN   r   ÚappendrL   Úexistsr   )ÚcfgÚmanifestÚassetsrl   rŠ   Úrowre   ÚresultrX   ÚarraysrC   rF   rq   ÚdetailsÚtiÚviÚvgr`   ÚpreviousrO   s                      @r'   Úfreeze_protocolrœ   0   s   ø€ Ý‰Œ€C�$œ*¥dÐ+BÑ&B×%MÒ%MÑ%OÔ%OÑPÔP�Ý�3Ð(Ô)Ñ)€FÝŒZ˜Ð 8Ñ8×CÒCÑEÔEÑFÔF€HØÐÐÐØð @ð @ˆØ×"Ò"Ð#=Ð#=Ð#=Å'È#ÈfÌ+ÑBUÐ[_Ð"Ñ`Ô`×fÒfÑhÔhÐjmÐnvÔjwÒwÐwÝÐ6Ñ7Ô7Ð7Ø×"Ò"Ð#?Ð#?Ð#?ÅGÈCÐPVÌKÑDWÐ]aÐ"ÑbÔb×hÒhÑjÔjð 	@ÝÐ>Ñ?Ô?Ð?ð	@åŒJ˜Ð6Ñ6×AÒAÑCÔCÑDÔD€GØð lð lˆÝ�&˜Ñ" 3 v¤;Ñ.Ñ/Ô/°°X´Ò>Ð>ÅZÐPjÑEkÔEkÐ?kÐ>Ý�3™5œ5¨½&Å¹.¼.Ý(.­tÐ4KÑ/KÑ(LÔ(LØ& Ô7ÀÐRYÐceðgñ gô g€Fð .ð Uñ UˆÝ! &™\œ\ÑˆˆV�HØ,Ð, tÐ,Ñ,Ô,ˆµ3°s¸7´|ÅCÈÁKÄKÑ3PÔ3P¨UØ�Š7ˆ7�Ð$GÈÑ$NÑOÔOÐOØˆÝ   e¨C°Ô,<Ñ=Ô=ð 	tð 	t‰EˆBˆrØ0Ð0Ð0Ð0¨RÐ0Ñ0Ô0ˆBØ�NŠN�4Ð)LÐ)LÐ)LÐ)LÈÐ)LÑ)LÔ)Lð  ^Að  ^Að  ^Að  ^AÐ}ð  ^Añ  ^Aô  ^AÝ28¸±*´*ÍÐOpÐOpÐOpÐOpÐmoÐOpÑOpÔOpÑHqÔHqðsñ sô sñ tô tð tð tå#'µc¸$±i´iÕSVÐW_ÑS`ÔS`ÕnqÐrxÑnyÔnyØ f¨hÒ&6Ð&6˜s˜sÐ<OØBGÈÂ'À'Ð>Ð>Ètð$Uñ $Uô $UˆˆzÔ˜6Ñ"Ñ"õ 
ˆoÑ	€DØ‡{‚{�}„}ð NÝ”˜DŸNšNÑ,Ô,Ñ-Ô-ˆÀ8ÈLÔCY¨f°\Ñ.BØ�VÒÐ¥*Ð-LÑ"MÔ"MÐMÝ��VÑÔÐØ€Mr)   c                óì  — t           dz  | z  |dz   |z   dz   z  }|                     ¦   «         ràt          j        |                     d¦  «                             ¦   «         ¦  «        }t          |¦  «        |d         k    rt          d¦  «        ‚t          j	        |d¬¦  «        5 }|d	          
                    ¦   «         d
„ |D ¦   «         k    rt          d¦  «        ‚|d                              ¦   «         cd d d ¦  «         S # 1 swxY w Y   t          d¦  «         t          | ¦  «                             ¦   «                              ¦   «         }t!          ¦   «         }	g }
t#          j        ¦   «         }t'          j        ¦   «         5  t+          dt-          |¦  «        |	d         ¦  «        D �]5}||	d         z   }g }t+          d¦  «        D ]¡}t'          j        |d         ||…|f         ¦  «                             ¦   «         } ||¦  «                             ¦   «                              ¦   «         }|                     t          j        ||d         ||…|f         fd¦  «        ¦  «         Œ¢|
                     t          j        |d¦  «        ¦  «         |dz  dk    rCt;          t          j        t?          d| |||t-          |¦  «        ¬¦  «        ¦  «        d¬¦  «         �Œ7	 d d d ¦  «         n# 1 swxY w Y   t          j        |
¦  «        }t          j         |¦  «         !                    ¦   «         st          d¦  «        ‚|j"         #                    dd¬¦  «         t          j$        ||d„ |D ¦   «         ¬¦  «         tK          |                     d¦  «        t?          t          |¦  «        t#          j        ¦   «         |z
  dd¬¦  «        ¦  «         ~t&          j         &                    ¦   «          |S )NÚ
embeddingsÚ_z.npzz.jsonrg   zEmbedding hash changedF)Úallow_pickleÚkeysc                ó   — g | ]
}|d          ‘ŒS rw   r8   r9   s     r'   rA   zembeddings.<locals>.<listcomp>Z   s   € Ð#BÐ#BÐ#B¸ A l¤OÐ#BÐ#BÐ#Br)   zEmbedding cohort changedÚxrR   r   Úembedding_batchr   ÚfÚgéÿÿÿÿr   é€   Ú	embedding)ÚstagerW   rX   ÚsplitÚoffsetrE   T©Úflushz!Nonfinite official encoder output©ÚparentsÚexist_okc                ó   — g | ]
}|d          ‘ŒS rw   r8   r9   s     r'   rA   zembeddings.<locals>.<listcomp>h   s    € ÐTsÐTsÐTsÐijÐUVÐWcÔUdÐTsÐTsÐTsr)   )r£   r¡   )rg   ÚsecondsÚfrozen_official_encoderÚlabels_not_used)'r   r�   r‡   rˆ   Úwith_suffixr‰   r   r�   r   r   ÚtolistÚcopyr	   r
   ÚcudaÚevalr   ÚtimeÚ	monotonicÚtorchÚno_gradÚrangerN   Ú
from_numpyÚcpuÚnumpyr�   ÚconcatenateÚstackÚprintÚdumpsrM   ÚisfiniteÚallÚparentÚmkdirÚsavez_compressedr   Úempty_cache)rW   rX   r«   rO   r–   r`   ÚmetaÚzÚmodelr‘   ÚpartsÚstartr¬   ÚstopÚviewsÚvariantr¥   Úvaluer£   s                      r'   rž   rž   T   sX  € Ý	ˆlÑ	˜6Ñ	! 6¨#¡:¨eÑ#3°FÑ#:Ñ	;€DØ‡{‚{�}„}ð !ÝŒZ˜×(Ò(¨Ñ1Ô1×;Ò;Ñ=Ô=Ñ>Ô>ˆÝ�$‰<Œ<˜˜hœÒ'Ð'­jÐ9QÑ.RÔ.RÐ(RÝŒW�T uÐ-Ñ-Ô-ð 	!°Ø�Œy×ÒÑ!Ô!Ð#BÐ#B¸TÐ#BÑ#BÔ#BÒBÐBÍÐTnÑIoÔIoÐCoØ�S”6—;’;‘=”=ð	!ð 	!ð 	!ð 	!ñ 	!ô 	!ð 	!ð 	!ð 	!ð 	!ð 	!ð 	!øøøð 	!ð 	!ð 	!ð 	!õ ˆR�L„L€L•x Ñ'Ô'×,Ò,Ñ.Ô.×3Ò3Ñ5Ô5�½&¹(¼(°cÈÀ5ÕRVÔR`ÑRbÔRbÈEÝ	Œ‰Œð Yð YÝ˜A�c $™iœi¨Ð,=Ô(>Ñ?Ô?ð 	Yñ 	YˆFØ˜Ð-Ô.Ñ.ˆD°R¨uÝ  ™8œ8ð Zð Z�ÝÔ" 6¨#¤;¨v°d¨{¸7Ð/BÔ#CÑDÔD×IÒIÑKÔK�Ø�e˜A‘h”h—l’l‘n”n×*Ò*Ñ,Ô,�Ø—’�Rœ^¨U°6¸#´;¸vÀd¸{È7Ð?RÔ3SÐ,TÐUWÑXÔXÑYÔYÐYÐYØ�LŠL�œ %¨Ñ*Ô*Ñ+Ô+Ð+Ø�c‰z˜1Š}ˆ}�U¥4¤:­d¸ÈFÐZ`ÐglÐtzõ  BEð  FJñ  BKô  BKð  /Lñ  /Lô  /Lñ  $Mô  $Mð  TXð  Yñ  Yô  Yð  Yùð	YðYð Yð Yñ Yô Yð Yð Yð Yð Yð Yð Yøøøð Yð Yð Yð Yõ 	„n�UÑÔ€AÝŒ;�q‰>Œ>×ÒÑÔÐU¥jÐ1TÑ&UÔ&UÐ UØ„K×Ò˜d¨DÐÑ1Ô1Ð1µ"Ô2EÀdÈQÐTsÐTsÐnrÐTsÑTsÔTsÐ2tÑ2tÔ2tÐ2tÝ�× Ò  Ñ)Ô)­$µf¸T±l´lÍ4Ì>ÑK[ÔK[Ð\aÑKaØ(,¸Tð+Cñ +Cô +Cñ Dô Dð Dà�eŒj×$Ò$Ñ&Ô&Ð&Ø€Hs&   Â%ADÄDÄ
DÆEK/Ë/K3Ë6K3c                ó2  — |�dt          |j        d         ||df                              d¦  «        ||df                              d¦  «        ¦  «                             ¦   «         S t          | |d         |df         d¬¦  «                             ¦   «         S )Nr§   r   r¦   F)Útune)r   ÚshaperB   Ústdr¹   r   )rW   r–   r˜   r£   s       r'   Ú
make_modelrÚ   o   s|   € Ø€}�H Q¤W¨R¤[°°2°a°4´·²¸a±´ÀÀ2ÀaÀ4ÄÇÂÈQÁÄÑPÔP×UÒUÑWÔWÐWÝ�F˜6 #œ; r¨! tÔ,°%Ð8Ñ8Ô8×=Ò=Ñ?Ô?Ð?r)   c                ó^  — t          ¦   «         }|r|                      ¦   «         n[t          | j                             ¦   «         |d         ¬¦  «        t          | j                             ¦   «         |d         ¬¦  «        g}t
          j                             ||d         |d         ¬¦  «        S )NÚbackbone_learning_rate)ÚparamsÚlrÚhead_learning_rateÚweight_decay)rÞ   rà   )r   Ú
parametersrM   ÚbackboneÚheadr½   ÚoptimÚAdamW)rÏ   Úfrozenr‘   rÝ   s       r'   Úoptimizer_forrç   t   s    € Ý‰Œ€CØ!'ð Kˆ5×ÒÑÔÐÝ�E”N×-Ò-Ñ/Ô/°3Ð7OÔ3PÐQÑQÔQÝ�E”J×)Ò)Ñ+Ô+¨sÐ3GÔ/HÐIÑIÔIð.K€Fõ Œ;×Ò˜V sÐ+?Ô'@ÈcÐR`ÔNaÐÑbÔbÐbr)   c                ób   — d„ |                       ¦   «                              ¦   «         D ¦   «         S )Nc                ó†   — i | ]>\  }}||                      ¦   «                              ¦   «                              ¦   «         “Œ?S r8   )ÚdetachrÁ   Úclone)r0   ÚkÚvs      r'   r4   zcpu_model.<locals>.<dictcomp>|   s<   € Ð^Ð^Ð^¹C¸A¸a˜Q˜qŸxšx™zœzŸ~š~Ñ/Ô/×5Ò5Ñ7Ô7Ð^Ð^Ð^r)   )Ú
state_dictÚitems)rÏ   s    r'   Ú	cpu_modelrð   |   s.   € Ð^Ð^À5×CSÒCSÑCUÔCU×C[ÒC[ÑC]ÔC]Ð^Ñ^Ô^Ð^r)   c                ó¼   — | j                              dd¬¦  «         |                      d¦  «        }t          j        ||¦  «         |                     | ¦  «         d S )NTr¯   z.tmp)rÉ   rÊ   r¶   r½   ÚsaveÚreplace)r`   rÕ   Ú	temporarys      r'   Ú
checkpointrõ      sZ   € Ø„K×Ò˜d¨DÐÑ1Ô1Ð1¸D×<LÒ<LÈVÑ<TÔ<T°)Ý	„Jˆu�YÑÔÐ 	× 1Ò 1°$Ñ 7Ô 7Ð 7Ð 7Ð 7r)   c           
     ój  — |pt          ¦   «         d         }|                      ¦   «          g }t          j        ¦   «         5  t	          dt          |¦  «        |¦  «        D ]ò}||||z   …         }|�8 | t          j        ||df         ¦  «                             ¦   «         ¦  «        }np | t          j        |d         |df         ¦  «                             ¦   «         t          j        |d         |df         ¦  «                             ¦   «         ¦  «        }|                     | 	                    ¦   «          
                    ¦   «         ¦  «         Œó	 d d d ¦  «         n# 1 swxY w Y   t          j        |¦  «        }	t          j        |	¦  «                             ¦   «         st          d¦  «        ‚|	S )NÚevaluation_batchr   r¥   r¦   zNonfinite prediction)r   rº   r½   r¾   r¿   rN   rÀ   r¹   r�   rÁ   rÂ   r   rÃ   rÇ   rÈ   r�   )
rÏ   r–   Úindicesr£   ÚbatchÚoutputr¬   Úixr2   r•   s
             r'   Úpredictrü   „   s¸  € Ø
Ð
/•6‘8”8Ð.Ô/€E°·
²
±´°ÀB¸VÝ	Œ‰Œð +ð +Ý˜A�c '™lœl¨5Ñ1Ô1ð 	+ð 	+ˆFØ�v˜f U™lÐ*Ô+ˆBØˆ}˜u˜u¥UÔ%5°a¸¸1¸´gÑ%>Ô%>×%CÒ%CÑ%EÔ%EÑFÔF˜Q˜QØ�5�Ô)¨&°¬+°b¸°dÔ*;Ñ<Ô<×AÒAÑCÔCÅEÔDTÐU[Ð\_ÔU`ÐacÐdeÐaeÔUfÑDgÔDg×DlÒDlÑDnÔDnÑoÔo�Ø�MŠM˜!Ÿ%š%™'œ'Ÿ-š-™/œ/Ñ*Ô*Ð*Ð*ð		+ð+ð +ð +ñ +ô +ð +ð +ð +ð +ð +ð +øøøð +ð +ð +ð +õ Œ>˜&Ñ!Ô!€FÝŒ;�vÑÔ×"Ò"Ñ$Ô$ÐM­:Ð6LÑ+MÔ+MÐ%MØ€Ms   Á DEÅE#Å&E#r8   )rZ   r£   ÚresumeÚcheckpoint_epochsc	               óÌ  ‡‡‡	‡4‡5— t          ¦   «         }|                     dd¬¦  «         t          j        |t          ¬¦  «        }t          j        |t          ¬¦  «        }t          ˆfd„t          j        ||f         D ¦   «         ¦  «        rt          d¦  «        ‚ˆfd„|D ¦   «         }ˆfd„|D ¦   «         Š5|‰5z  rt          d¦  «        ‚t          ˆ	fd	„|d
         D ¦   «         d ¦  «        }|r|d         n|d         }|r|d         n|d         }t          | ||‰	||ˆfd„|D ¦   «         ˆfd„|D ¦   «         t          t          dz  ¦  «        |
d u|rt          |¦  «        nd |rt          |dz  ¦  «        nd t          t          j                             d¦  «        ¦  «        t!          |¦  «        ¬¦  «        }|dz                       ¦   «         rXt%          j        |dz                       ¦   «         ¦  «        }|D ],}|dk    r$||         ||         k    rt          d|z   ¦  «        ‚Œ-t+          |dz  |¦  «         |dz                       ¦   «         r)t%          j        |dz                       ¦   «         ¦  «        S t-          |¦  «         t          j                             |¦  «        }t3          | ‰||
¦  «        }t5          ||
d u¦  «        }dŠ4d}g }t7          d¦  «        }d}d }|dz                       ¦   «         r|n|}|�r¼t          j        |dz  dd¬¦  «        }|d         }dD ]&} ||          ||          k    rt          d| z   ¦  «        ‚Œ'||k    r!|d          |d         k    rt          d!¦  «        ‚|                     |d"         d¬#¦  «         |                     |d$         ¦  «         |d%         |j        _        t          j         |d&          !                    ¦   «         ¦  «         t          j                              |d'          !                    ¦   «         ¦  «         |d          Š4|d(         }|d)         }t          j        |d*z  d+d¬¦  «        }!|!d"         }|!d,         }|!d-         }||k    rMt+          |d.z  t          t          |dz  ¦  «        t          |d*z  ¦  «        ‰4|d|d         |¬/¦  «        ¦  «         |
€ˆfd0„d1D ¦   «         nRt          j"        |
¦  «                             ¦   «         t          j"        ‰d2         ¦  «                             ¦   «         d3œ}"tG          j$        ¦   «         }#ˆ5fd4„|D ¦   «         }$tK          |¦  «        }%|r¸tM          |¦  «        s©tO          ˆ4fd5„|%D ¦   «         ¦  «        D ]�}&|d6z  |&› d7�z  }'|'                     ¦   «         st          d8t          |&¦  «        z   ¦  «        ‚|d6z  |&› d7�z  }(|(j(                             d¬9¦  «         |( )                    |' *                    ¦   «         ¦  «         ŒŽtW          ‰4|¦  «        D �]�}&| ,                    ¦   «          | -                    |¦  «        })g }*t          j.        |)t_          d:ta          j1        tM          |)¦  «        |z  ¦  «        ¦  «        ¦  «        D �]š}+| 2                    dd;tM          |+¦  «        ¦  «        },|
� ||"d<         |+|,f         ¦  «        }-no|"d=         |+|,f          3                    ¦   «         }.|.d>d d;…fxx         t          j4        |.d>d d;…f         ¦  «        d?z  z  cc<    ||.|"d@         |+|,f         ¦  «        }-tk          |-|"d2         |+         ¦  «        }/t          j6        |/¦  «        st          dA¦  «        ‚| 7                    d¬B¦  «         |/ 8                    ¦   «          tr          j:         ;                    | <                    ¦   «         dC¦  «         | =                    ¦   «          |d:z  }|* >                    t7          |/ ?                    ¦   «         ¦  «        ¦  «         �Œœt          |&d:z   t7          t          j@        |*¦  «        ¦  «        ||¬D¦  «        }0tM          |¦  «        rjtƒ          |‰||
¦  «        }1t…          |1‰d2         |         ˆfdE„|D ¦   «         |$¦  «        |0dF<   |0dF         dG         }2|2|k     r|2|&d:z   }}t‡          |¦  «        }n|&d:z   }t‡          |¦  «        }dH}| >                    |0¦  «         t          || |
d ud||¬I¦  «        }!|&d:z   |%v rAt‰          |d6z  |&d:z   › d7�z  t          t‡          |¦  «        | |
d ud|&d:z   d ¬I¦  «        ¦  «         |&d:z   dJz  dk    s	|&d:z   |k    råt‰          |d*z  |!¦  «         t‰          |dz  t          t‡          |¦  «        | E                    ¦   «         |&d:z   |||j        j        t          jF        ¦   «         t          j         F                    ¦   «         |¬K¦	  «	        ¦  «         t+          |dLz  |¦  «         t+          |dMz  t          |&d:z   |tG          j$        ¦   «         |#z
  |||0¬N¦  «        ¦  «         |&‰4k    s|&d:z   dOz  dk    r<t�          t%          jH        t          dWdPt          |¦  «        i|0¤Ž¦  «        d¬Q¦  «         �Œ‘|€t          dR¦  «        ‚|                     |d¬#¦  «         tƒ          |‰tM          |¦  «        r|n||
¦  «        }-t          jI        |dSz  |-¦  «         t          |||t          |d*z  ¦  «        t          |dz  ¦  «        tG          j$        ¦   «         |#z
  t•          dT„ | <                    ¦   «         D ¦   «         ¦  «        t•          dU„ | <                    ¦   «         D ¦   «         ¦  «        ¬V¦  «        }3t+          |dz  |3¦  «         ~~~"t          j         K                    ¦   «          |3S )XNTr¯   )Údtypec              3  ó<   •K  — | ]}‰|         d          dk    V — ŒdS )r«   ÚtrainNr8   rt   s     €r'   ú	<genexpr>ztrain.<locals>.<genexpr>”   s1   øè è € Ð
;Ð
;¨ˆ4�Œ7�7Ô˜WÒ$Ð
;Ð
;Ð
;Ð
;Ð
;Ð
;r)   zHoldout used for fit/selectionc                ó,   •— h | ]}‰|         d          ’ŒS r6   r8   rt   s     €r'   r:   ztrain.<locals>.<setcomp>•   s"   ø€ Ð(Ð(Ð( ˆˆQŒ�
ÔÐ(Ð(Ð(r)   c                ó,   •— h | ]}‰|         d          ’ŒS r6   r8   rt   s     €r'   r:   ztrain.<locals>.<setcomp>•   s"   ø€ Ð,MÐ,MÐ,MÀQ¨T°!¬W°ZÔ-@Ð,MÐ,MÐ,Mr)   zCV group leakagec              3  ó4   •K  — | ]}|d          ‰k    ¯|V — ŒdS )rf   Nr8   )r0   r1   rZ   s     €r'   r  ztrain.<locals>.<genexpr>—   s+   øè è € ÐBÐB�q°1°V´9¸c²>°>�°>°>°>°>ÐBÐBr)   Úcontinuationrù   Ú
base_batchÚtotal_epochsÚbase_epochsc                ó,   •— g | ]}‰|         d          ‘ŒS rw   r8   rt   s     €r'   rA   ztrain.<locals>.<listcomp>›   s"   ø€ Ð4Ð4Ð4¨A�$�q”'˜,Ô'Ð4Ð4Ð4r)   c                ó,   •— g | ]}‰|         d          ‘ŒS rw   r8   rt   s     €r'   rA   ztrain.<locals>.<listcomp>›   s#   ø€ ÐEhÐEhÐEhÐ`aÀdÈ1ÄgÈlÔF[ÐEhÐEhÐEhr)   r†   zlast.ptr   )rW   rX   rY   rZ   rù   r	  rz   r{   Úprotocol_sha256Úfrozen_encoderÚresume_parentÚresume_parent_sha256Úgpurþ   zspecification.jsonr  zTrial specification changed: úcompleted.jsonÚinfr¹   F)Úmap_locationÚweights_onlyÚspecification)rz   r{   rW   rX   rY   r  r  z%Resume cohort/architecture mismatch: Úepochz1Continuation must start at epoch80 last, not bestrÏ   )ÚstrictÚ	optimizerÚ	numpy_rngÚ	torch_rngÚcuda_rngÚoptimizer_stepsÚhistoryzselected.ptrÁ   Úselected_epochÚselection_scorezcontinuation_binding.json)Úparent_last_sha256Úparent_selected_sha256Ústart_epochÚstart_optimizer_stepsÚoptimizer_and_rng_restoredÚparent_batchÚ	new_batchc                ój   •— i | ]/}|t          j        ‰|         ¦  «                             ¦   «         “Œ0S r8   )r½   rÀ   r¹   )r0   rì   r–   s     €r'   r4   ztrain.<locals>.<dictcomp>»   s6   ø€ ÐJÐJÐJ°qˆa•Ô  ¨¤Ñ+Ô+×0Ò0Ñ2Ô2ÐJÐJÐJr)   )r¥   r¦   Úyr)  )r£   r)  c                ó(   •— g | ]}|d          ‰v ¯|‘ŒS r6   r8   )r0   r1   rš   s     €r'   rA   ztrain.<locals>.<listcomp>½   s(   ø€ Ð*VÐ*VÐ*V°À!ÀJÄ-ÐSUÐBUÐBU¨1ÐBUÐBUÐBUr)   c              3  ó(   •K  — | ]}|‰k    ¯|V — Œd S ©Nr8   )r0   Úer#  s     €r'   r  ztrain.<locals>.<genexpr>À   s'   øè è € ÐGÐG !¸¸;º¸˜A¸¸¸¸ÐGÐGr)   Úepochsz.ptzRequired refit epoch missing: )r±   r   r   r£   r¥   .gú~j¼t“h?r¦   zNonfinite training loss)Úset_to_noner.   )r  Ú
train_lossrù   r  c                ó    •— g | ]
}‰|         ‘ŒS r8   r8   rt   s     €r'   rA   ztrain.<locals>.<listcomp>Ô   s   ø€ Ð>SÐ>SÐ>SÈ1¸tÀA¼wÐ>SÐ>SÐ>Sr)   Ú
validationrH   g        )rÏ   rW   r  r×   r  r   é
   )	rÏ   r  r  r  r  r  r  r  r  zhistory.jsonzprogress.json)r  r	  Úseconds_this_runÚ
best_epochr  Úlatesté(   rª   r­   zNo completed optimization epochzpredictions.npyc              3  ó>   K  — | ]}|                      ¦   «         V — Œd S r,  )Únumel©r0   r2   s     r'   r  ztrain.<locals>.<genexpr>ð   s*   è è € Ð>eÐ>eÈQ¸q¿wºw¹y¼yÐ>eÐ>eÐ>eÐ>eÐ>eÐ>er)   c              3  óL   K  — | ]}|j         ¯	|                     ¦   «         V — Œ d S r,  )Úrequires_gradr9  r:  s     r'   r  ztrain.<locals>.<genexpr>ñ   s1   è è € Ð ZÐ Z¨qÈ!Ì/Ð Z §¢¡¤Ð ZÐ ZÐ ZÐ ZÐ ZÐ Zr)   )r  Ú
last_epochr  Úselected_sha256Úlast_sha256r4  rá   Útrainable_parametersr8   )Lr   rÊ   r   ÚasarrayÚintÚanyÚr_r�   ÚnextrM   r   r   rV   r½   r¹   Úget_device_propertiesÚlistr�   r‡   rˆ   r‰   r   r	   ÚrandomÚdefault_rngrÚ   rç   r/   r   Úload_state_dictÚbit_generatorÚstateÚset_rng_staterÁ   rÀ   r»   r¼   ÚsetrN   rL   rÉ   Úwrite_bytesÚ
read_bytesr¿   r  ÚpermutationÚarray_splitÚmaxÚmathÚceilÚintegersrë   Ú
randn_liker   rÇ   Ú	zero_gradÚbackwardr   ÚutilsÚclip_grad_norm_rá   Ústepr�   rê   rB   rü   rQ   rð   rõ   rî   Úget_rng_staterÅ   rÆ   rò   ÚsumrÌ   )6rW   rX   rY   r–   rO   rC   r˜   r™   r`   rZ   r£   rý   rþ   r‘   ÚtgÚreciperù   r.  Úspecr›   rì   ÚrngrÏ   r  Úupdatesr  Úbestr5  Ú
best_stateÚresume_pathÚlastÚparent_specÚfieldÚselectedÚdata_gpurÑ   Úvalidation_allÚexport_epochsr  ÚsourceÚdestinationÚorderÚlossesrû   ÚvariantsÚ
predictionr¥   ÚlossÚitemrú   rP   Ú	completedr#  rš   s6      ``    `                                          @@r'   r  r  ‘   sµ  øøøøø€ å‰Œ€C�—’ D°$�Ñ7Ô7Ð7½2¼:ÀbÍsÐ;SÑ;SÔ;S¸ÕWYÔWaÐbdÕknÐWoÑWoÔWoÐTVÝ
Ð
;Ð
;Ð
;Ð
;­b¬e°B°r°E¬lÐ
;Ñ
;Ô
;Ñ;Ô;ÐnÅ*ÐMmÑBnÔBnÐ<nØ(Ð(Ð(Ð( RÐ(Ñ(Ô(€BÐ,MÐ,MÐ,MÐ,MÈ"Ð,MÑ,MÔ,M¨Ø	ˆ"�uÐ1•:Ð0Ñ1Ô1Ð1ÝÐBÐBÐBÐB˜C Ô/ÐBÑBÔBÀ4ÑHÔH€FØ#Ð
:ˆ&�Œ/ˆ/¨¨\Ô):€EØ%+ÐCˆ6�.Ô!Ð!°°]Ô1C€FÝ	�V 6¨t¸À%ÐU[Ø4Ð4Ð4Ð4°Ð4Ñ4Ô4ÐEhÐEhÐEhÐEhÐegÐEhÑEhÔEhÝ�t OÑ3Ñ4Ô4ÀAÈTÀMØ%+Ð5•c˜&‘k”k�k°Ø9?ÐI�V F¨9Ñ$4Ñ5Ô5Ð5ÀTÝ•”
×0Ò0°Ñ3Ô3Ñ4Ô4ÅtÐL]ÑG^ÔG^ð
`ñ 
`ô 
`€Dð 	Ð!Ñ!×)Ò)Ñ+Ô+ð eÝ”˜TÐ"6Ñ6×AÒAÑCÔCÑDÔDˆØð 	eð 	eˆAØ�%Šxˆx˜D œG X¨a¤[Ò0Ð0µzÐBaÐbcÑBcÑ7dÔ7dÐ1døÝ�Ð)Ñ)¨$Ñ/Ô/Ð/ØÐÑ×%Ò%Ñ'Ô'Ð^­t¬z¸4Ð@PÑ;P×:[Ò:[Ñ:]Ô:]Ñ/^Ô/^Ð(^ÝˆT�N„N€N•r”y×,Ò,¨TÑ2Ô2�3Ý
�V˜F 2 aÑ
(Ô
(€Eµ=ÀÀqÐPTÀ}Ñ3UÔ3U¨Ø€K˜!�' B˜G­E°%©L¬L tÀA¸ÐQUÀjØ˜i™×/Ò/Ñ1Ô1Ð=��°v€KØñ dÝŒZ˜ IÑ-¸6ÈuÐUÑUÔUˆØ˜Ô)ˆØoð 	oð 	oˆEØ�EŒ{˜K¨Ô.Ò.Ð.µZÐ@gÐhmÑ@mÑ5nÔ5nÐ/nÐ.Ø˜ÒÐ 4¨¤=°#°mÔ2DÒ#DÐ#DÍ:ð  WJñ  LKô  LKð  FKØ×Ò˜d 7œm°4ÐÑ8Ô8Ð8¸×9RÒ9RÐSWÐXcÔSdÑ9eÔ9eÐ9eØ $ [Ô 1ˆÔÔµ%Ô2EÀdÈ;ÔFW×F[ÒF[ÑF]ÔF]Ñ2^Ô2^Ð2^ÝŒ
× Ò   jÔ!1×!5Ò!5Ñ!7Ô!7Ñ8Ô8Ð8Ø˜”Mˆ¨$Ð/@Ô*A 'È$ÈyÌ/À'Ý”˜K¨Ñ5À5ÐVZÐ[Ñ[Ô[ˆØ˜GÔ$ˆ
°Ð9IÔ0J ZÐPXÐYjÔPkÈ4Ø˜ÒÐÝ˜Ð8Ñ8½ÕQWÐX^Ð_hÑXhÑQiÔQiÝ'-¨f°]Ñ.BÑ'CÔ'CÐP[ÐryØ+/¸[ÈÔ=QÐ\að:cñ :cô :cñ dô dð dð OPÈiÐJÐJÐJÐJ¸MÐJÑJÔJÐJÝÔ˜QÑÔ×$Ò$Ñ&Ô&­5Ô+;¸FÀ3¼KÑ+HÔ+H×+MÒ+MÑ+OÔ+Oð^Qð ^Q€Hå
Œ.Ñ
Ô
€EÐ*VÐ*VÐ*VÐ*V°hÐ*VÑ*VÔ*V˜>ÝÐ'Ñ(Ô(€MØð 9•c˜"‘g”gð 9ÝÐGÐGÐGÐG }ÐGÑGÔGÑGÔGð 	9ð 	9ˆEØ˜(‘? e = = =Ñ0ˆFØ—=’=‘?”?Ð`­Ð4TÕUXÐY^ÑU_ÔU_Ñ4_Ñ)`Ô)`Ð#`Ø˜X™¨ m m mÑ3ˆK°KÔ4F×4LÒ4LÐVZÐ4LÑ4[Ô4[Ð4[Ø×#Ò# F×$5Ò$5Ñ$7Ô$7Ñ8Ô8Ð8Ð8Ý�{ 6Ñ*Ô*ð $Gñ $GˆØ�Š‰Œˆ˜CŸOšO¨BÑ/Ô/�e°r°Ý”. ¥s¨1­T¬Yµs¸5±z´zÀ%Ñ7GÑ-HÔ-HÑ'IÔ'IÑJÔJð 		;ñ 		;ˆBØ—\’\ ! A¥c¨"¡g¤gÑ.Ô.ˆHØˆ}¨¨¨h°s¬m¸B¸x¸KÔ.HÑ(IÔ(I˜Z˜Zà˜3”-  8 Ô,×2Ò2Ñ4Ô4�°Q°s¸2¸A¸2°v°Y°Y´YÅÔ@PÐQRÐSVÐWYÐXYÐWYÐSYÔQZÑ@[Ô@[Ð\`Ñ@`Ñ5`°Y°Y±YØ ˜5  8¨C¤=°°H°Ô#=Ñ>Ô>�
Ý˜J x°¤}°RÔ'8Ñ9Ô9ˆDÝ”> $Ñ'Ô'ÐS­jÐ9RÑ.SÔ.SÐ(SØ×Ò¨DÐÑ1Ô1Ð1°$·-²-±/´/°/Å"Ä(×BZÒBZÐ[`×[kÒ[kÑ[mÔ[mÐnoÑBpÔBpÐBpÐqz×qÒqñ  rBô  rBð  rBØ�Q‰JˆG�v—}’}¥U¨4¯;ª;©=¬=Ñ%9Ô%9Ñ:Ô:Ð:Ñ:Ý˜˜a™­5µ´¸±´Ñ+AÔ+AÈÐ^eÐfÑfÔfˆÝˆr‰7Œ7ð 	CÝ˜5 ¨¨1Ñ-Ô-ˆFÝ& v¨f°S¬k¸"¬oÐ>SÐ>SÐ>SÐ>SÐPRÐ>SÑ>SÔ>SÐTbÑcÔcˆD�ÑØ�|Ô$Ð%BÔCˆEØ�TŠzˆzØ % e¨A¡g�Z�½À5Ñ9IÔ9I¨jøà˜Q‘wˆJ­)°EÑ*:Ô*:˜zÀ¸4Ø�Š�tÑÔÐÝ˜J¨fÀAÈTÀMÐW\Ø%/ÀðFñ Fô Fˆà�‰7�mÐ#Ð#Ý�t˜H‘}¨¨a© _ _ _Ñ4µTÅ	È%Ñ@PÔ@PÐX^Ø ¨˜}°%ÀuÈQÁwÐ_cð6eñ 6eô 6eñ fô fð fà�!‰G�R‰<˜Š?ˆ?˜e A™g všo˜oÝ�t˜MÑ)¨(Ñ3Ô3Ð3Ý�t˜I‘~¥dµ¸5Ñ1AÔ1AÈI×L`ÒL`ÑLbÔLbÐinÐopÑipØ '°À#ÔBSÔBYÝÔ-Ñ/Ô/½¼×9QÒ9QÑ9SÔ9SÐbfð'hñ 'hô 'hñ iô ið iõ ˜˜^Ñ+¨GÑ4Ô4Ð4Ý˜˜_Ñ,­T¸¸a¹ÈVÕeiÔesÑeuÔeuÐv{Ñe{Ø;EÐV]Ðeið.kñ .kô .kñ lô lð là�+ÒÐ %¨¡'¨2¡¨q¢ Ý•$”*�TÐ9Ð9­¨D©	¬	Ð9°DÐ9Ð9Ñ:Ô:ÀÐFÑFÔFÐFùØÐ¥
Ð+LÑ MÔ MÐMØ	×Ò˜*¨DÐÑ1Ô1Ð1Ý�u˜V­#¨b©'¬'Ð$9 B B°r¸!Ñ<Ô<€JÝ„GˆDÐ"Ñ" :Ñ.Ô.Ð.Ý *¸ÈwÝ˜t MÑ1Ñ2Ô2½vÀdÈ9ÁnÑ?UÔ?UÝœÑ)Ô)¨%Ñ/½3Ð>eÐ>eÐRW×RbÒRbÑRdÔRdÐ>eÑ>eÔ>eÑ;eÔ;eÝ Ð ZÐ Z°E×4DÒ4DÑ4FÔ4FÐ ZÑ ZÔ ZÑZÔZð\ñ \ô \€Iõ �Ð%Ñ% iÑ0Ô0Ð0Ø�%˜¥¤×!7Ò!7Ñ!9Ô!9Ð!9ØÐr)   c                óž  ‡— t          | |||¦  «        }|dz                       ¦   «         r)t          j        |dz                       ¦   «         ¦  «        S t          j        t
          dz                       ¦   «         ¦  «        }t          |¦  «        \  }}}| t          v rt          | |d||¦  «        nd }	t          j
        |d         ¦  «        }
g }d„ t          |¦  «        D ¦   «         Št          |d         |         d         ¦  «        D ] \  }}ˆfd„|d	         D ¦   «         }ˆfd
„|d         D ¦   «         }|dk    rt          | ||¦  «        d|› �z  nd }t          | ||||||||d|› �z  ||	|¬¦  «        }t          j        |d|› d�z  ¦  «        |
|<   |                     |¦  «         Œ¡|                     dd¬¦  «         t          j        |dz  |
|d         d„ |D ¦   «         ¬¦  «         t!          | |||t#          |
|d         ||¦  «        |¬¦  «        }t%          |dz  |¦  «         t'          t          j        |¦  «        d¬¦  «         |S )Nr  r†   r  r)  c                ó&   — i | ]\  }}|d          |“ŒS rw   r8   )r0   ru   r1   s      r'   r4   ztrial.<locals>.<dictcomp>ü   s%   € Ð;iÐ;iÐ;iÑRUÐRSÐTU¸A¸l¼OÈAÐ;iÐ;iÐ;ir)   rm   rq   c                ó    •— g | ]
}‰|         ‘ŒS r8   r8   ©r0   rì   r?   s     €r'   rA   ztrial.<locals>.<listcomp>þ   s   ø€ Ð/Ð/Ð/˜ˆE�!ŒHÐ/Ð/Ð/r)   rz   c                ó    •— g | ]
}‰|         ‘ŒS r8   r8   rz  s     €r'   rA   ztrial.<locals>.<listcomp>þ   s   ø€ Ð3^Ð3^Ð3^À°E¸!´HÐ3^Ð3^Ð3^r)   r{   rS   Úfold_)rZ   r£   rý   z/predictions.npyTr¯   úout_of_fold.npzc                ó   — g | ]
}|d          ‘ŒS rw   r8   r9   s     r'   rA   ztrial.<locals>.<listcomp>  s    € Ð_~Ð_~Ð_~ÐtuÐ`aÐbnÔ`oÐ_~Ð_~Ð_~r)   )ÚpredictionsÚtargetsr¡   )rW   rX   rY   rZ   rQ   rq   r­   )r[   r�   r‡   rˆ   r‰   r   r   r   rž   r   Ú
zeros_likeÚ	enumerater  r�   rÊ   rË   rM   rQ   r   rÅ   rÆ   )rW   rX   rY   rZ   r`   ÚprotocolrO   r–   rC   r£   rs  r—   Úfoldra  r˜   r™   rÉ   ÚdetailÚrecordr?   s                      @r'   Útrialr‡  ÷   sŸ  ø€ Ý	�F˜6 $ sÑ	+Ô	+€DØÐÑ×%Ò%Ñ'Ô'Ð^­t¬z¸4Ð@PÑ;P×:[Ò:[Ñ:]Ô:]Ñ/^Ô/^Ð(^ÝŒZ�˜oÑ-×8Ò8Ñ:Ô:Ñ;Ô;€HÕQUÐV\ÑQ]ÔQ]Ñ<P¸DÀÈØ7=ÅÐ7KÐ7K…j�˜˜w t¨FÑ3Ô3Ð3ÐQU€AÝŒ}˜V Cœ[Ñ)Ô)€J°"¨'Ð;iÐ;iÕYbÐcgÑYhÔYhÐ;iÑ;iÔ;i°UÝ˜x¨
Ô3°FÔ;¸GÔDÑEÔEð [ð [‰	ˆˆTØ/Ð/Ð/Ð/˜d :Ô.Ð/Ñ/Ô/ˆÐ3^Ð3^Ð3^Ð3^ÀdÐK\ÔF]Ð3^Ñ3^Ô3^°Ø@CÀVÂÀ�z˜& ¨Ñ-Ô-¨n°d¨n¨nÑ<Ð<ÐQUˆÝ�V˜F 4¨¨t°H¸RÀÀ4ÈÐPTÈÈÑCVÐ[^ÐabÐjpÐqÑqÔqˆÝ”w˜tÐ$B¨DÐ$BÐ$BÐ$BÑBÑCÔCˆ
�2‰ÀGÇNÂNÐSYÑDZÔDZÐDZÐDZØ‡J‚J�t T€JÑ*Ô*Ð*ÝÔ˜Ð.Ñ.¸:ÈfÐUXÌkÐ_~Ð_~Ðy}Ð_~Ñ_~Ô_~ÐÑÔÐÝ�v V°¸#ÅgÈjÐY_Ð`cÔYdÐeiÐjrÑFsÔFsð  {Bð  Cñ  Cô  C€FÝ�Ð%Ñ% fÑ-Ô-Ð-­eµD´J¸vÑ4FÔ4FÈTÐ.RÑ.RÔ.RÐ.RØ€Mr)   c            	     ót  — t          ¦   «         d         } g }t          ¦   «         d         D ]N}t          j        t          || ¦  «        dz                       ¦   «         ¦  «        }|                     |¦  «         ŒO|                     d„ ¬¦  «         t          t          ¦   «         | |d„ |d d…         D ¦   «         dd	¬
¦  «        }t          dz  }| 
                    ¦   «         rFt          j        |                     ¦   «         ¦  «        }|d         |d<   ||k    rt          d¦  «        ‚t          ||¦  «         |S )NÚprimary_selection_branchÚfamiliesr  c                ó   — | d         d         S )NrQ   rH   r8   ©r1   s    r'   ú<lambda>zshortlist.<locals>.<lambda>  s   € ˜a 	œlÐ+HÔI€ r)   ©Úkeyc                ó   — g | ]
}|d          ‘ŒS ©rW   r8   r9   s     r'   rA   zshortlist.<locals>.<listcomp>  s   € ÐGiÐGiÐGiÐXYÈÈ(ÌÐGiÐGiÐGir)   r   FT)ri   rX   ÚrankingÚtop_twoÚholdout_usedÚ1unknown_branch_exploratory_not_used_for_selectionúshortlist.jsonri   zShortlist changed)r   r‡   rˆ   r[   r‰   r�   ÚsortrM   r   r   r�   r�   r   )rX   r’  rW   rÕ   r•   r`   r›   s          r'   Ú	shortlistr˜  	  s?  € Ý‰8Œ8Ð.Ô/€F¸°Ý‘(”(˜:Ô&ð ið iˆÝŒj�* V¨FÑ3Ô3Ð4DÑD×OÒOÑQÔQÑRÔRˆÐSZ×SaÒSaÐbgÑShÔShÐShÐShØ‡L‚LÐIÐI€LÑJÔJÐJÝ�3™5œ5¨°wÐGiÐGiÐ]dÐegÐfgÐegÔ]hÐGiÑGiÔGiØ"ÐUYð[ñ [ô [€Få	ÐÑ	€DØ‡{‚{�}„}ð BÝ”˜DŸNšNÑ,Ô,Ñ-Ô-ˆÀ8ÈLÔCY¨f°\Ñ.BØ�8ÒÐ¥*Ð-@Ñ"AÔ"AÐAÝ��VÑÔÐ F˜]r)   c           
     ó4  ‡‡‡‡	— t          j        ‰¦  «        }d|d d …df<   ˆfd„Š	t          j        ˆ	fd„| D ¦   «         d¦  «        |�!t          j        ˆ	fd„|D ¦   «         d¦  «        n
 ‰	|¦  «        z
  Št          j        ˆˆfd„t	          d„ ‰D ¦   «         ¦  «        D ¦   «         ¦  «        }t           j                             d	¦  «        }||                     dt          |¦  «        d
t          |¦  «        f¦  «                                      d¦  «        }t          t          |                     ¦   «         ¦  «        t          t          j        |d¦  «        ¦  «        t          t          j        |d¦  «        ¦  «        t          |¦  «        d¬¦  «        S )Nr   r   c                ó@   •— t          | ‰¦  «        \  }}|dz  |dz  z   S )Nr-   r.   )r(   )r2   ÚposÚangler€  s      €r'   rP   zinterval.<locals>.score  s'   ø€ Ý˜A˜gÑ&Ô&‰	ˆˆE¨c°#©g°e¸A±g©oÐ'=r)   c                ó&   •— g | ]} ‰|¦  «        ‘ŒS r8   r8   ©r0   r2   rP   s     €r'   rA   zinterval.<locals>.<listcomp>  s!   ø€ Ð1Ð1Ð1 �5�5˜‘8”8Ð1Ð1Ð1r)   r   c                ó&   •— g | ]} ‰|¦  «        ‘ŒS r8   r8   rž  s     €r'   rA   zinterval.<locals>.<listcomp>  s!   ø€ Ð5Ð5Ð5˜a���q‘”Ð5Ð5Ð5r)   c                ó^   •‡— g | ](Š‰ˆfd „‰D ¦   «                                        ¦   «         ‘Œ)S )c                ó(   •— g | ]}|d          ‰k    ‘ŒS r6   r8   )r0   r1   r¦   s     €r'   rA   z'interval.<locals>.<listcomp>.<listcomp>  s"   ø€ Ð;Ð;Ð;°˜A˜jœM¨1Ò,Ð;Ð;Ð;r)   )rB   )r0   r¦   ÚdeltarO   s    @€€r'   rA   zinterval.<locals>.<listcomp>  s@   øø€ ÐsÐsÐsÈ�UÐ;Ð;Ð;Ð;°dÐ;Ñ;Ô;Ô<×AÒAÑCÔCÐsÐsÐsr)   c                ó   — h | ]
}|d          ’ŒS r6   r8   r9   s     r'   r:   zinterval.<locals>.<setcomp>  s    € ÐTqÐTqÐTqÐghÐUVÐWaÔUbÐTqÐTqÐTqr)   i’  i'  gš™™™™™™?g333333ï?T)rB   ÚlowerÚupperrF   ÚAdescriptive_selected_group_bootstrap_not_independent_significance)r   r�  rB   ÚarrayrL   rH  rI  rV  rN   rM   r/   Úquantile)
r  r€  rO   Úother_predictionsÚbaselineÚvaluesrb  Úbootr¢  rP   s
    ``     @@r'   Úintervalr­    s¡  øøøø€ ÝŒ]˜7Ñ#Ô#€H°! H¨Q¨Q¨Q¨q¨S¡Mð>ð >ð >ð >ð >å
Œ'Ð1Ð1Ð1Ð1 [Ð1Ñ1Ô1°!Ñ
4Ô
4Ø<MÐ<Y�ŒÐ5Ð5Ð5Ð5Ð#4Ð5Ñ5Ô5°aÑ8Ô8Ð8Ð_dÐ_dÐemÑ_nÔ_nñp€EåŒ8ÐsÐsÐsÐsÐsÍVÐTqÐTqÐlpÐTqÑTqÔTqÑMrÔMrÐsÑsÔsÑtÔt€FÝ
Œ	×Ò˜dÑ#Ô#€C¨°·²¸Q½sÀ6¹{¼{ÈEÕRUÐV\ÑR]ÔR]ÐK^Ñ0_Ô0_Ô)`×)eÒ)eÐfgÑ)hÔ)h DÝ•U˜6Ÿ;š;™=œ=Ñ)Ô)µµb´kÀ$ÀtÑ6LÔ6LÑ0MÔ0MÕTYÕZ\ÔZeÐfjÐkoÑZpÔZpÑTqÔTqÝ˜6‘{”{Ðeiðkñ kô kð kr)   c                 óÒ  ‡— t          ¦   «         } t          j        t          dz                       ¦   «         ¦  «        d         Ši }t          j        t          dz                       ¦   «         ¦  «        d         D �]A}t          |¦  «        \  }}}g }| d         D �]Æ}dg|‰v rd„ | d         D ¦   «         ng z   }|D �]£}	|‰v r| d	         nd
g}
g }g }g }|
D �]O}t          ||||	¦  «        }|                     t          j        |dz                       ¦   «         ¦  «        ¦  «         t          j        |dz  ¦  «        5 }|d          	                    ¦   «         d„ |D ¦   «         k    rt          d¦  «        ‚|                     |d                              ¦   «         ¦  «         d d d ¦  «         n# 1 swxY w Y   t          j        t          |||¦  «        dz  ¦  «        5 }|                     |d                              ¦   «         ¦  «         d d d ¦  «         n# 1 swxY w Y   �ŒQd„ |D ¦   «         }t          ||	|
t          t          j        |¦  «        ¦  «        t          t          j        |¦  «        ¦  «        |t          t          j        d„ |D ¦   «         ¦  «        ¦  «        t          t          j        d„ |D ¦   «         ¦  «        ¦  «        d„ |D ¦   «         t!          dt#          t          j        d„ |D ¦   «         ¦  «        ¦  «        ¦  «        t'          ||d         |¦  «        t'          ||d         ||¦  «        ¬¦  «        }|                     |¦  «         �Œ¥�ŒÈˆfd„|D ¦   «         }t)          |d„ ¬¦  «        }t          ||d|dk    r|d         d         d k     rd!nd"|d#k    rd$nd ¬%¦  «        ||<   �ŒCt          t+          ¦   «         t-          t          dz  ¦  «        ‰|d&d¬'¦  «        }t          d(z  }|                     ¦   «         rFt          j        |                     ¦   «         ¦  «        }|d)         |d)<   ||k    rt          d*¦  «        ‚t1          ||¦  «         |S )+Nr–  r“  r†   rm   rŠ  rS   c                ó   — g | ]
}|d          ‘ŒS )rf   r8   r9   s     r'   rA   z$freeze_selection.<locals>.<listcomp>(  s   € ÐCÐCÐC¨!˜A˜fœIÐCÐCÐCr)   r  ÚseedsrR   r  r}  r¡   c                ó   — g | ]
}|d          ‘ŒS rw   r8   r9   s     r'   rA   z$freeze_selection.<locals>.<listcomp>.  s   € Ð/NÐ/NÐ/NÀA°°,´Ð/NÐ/NÐ/Nr)   zOOF keys changedr  c                ó*   — g | ]}|d          d         ‘ŒS )rQ   rH   r8   r9   s     r'   rA   z$freeze_selection.<locals>.<listcomp>1  s"   € ÐUÐUÐUÈ˜˜)œÐ%BÔCÐUÐUÐUr)   c                ó*   — g | ]}|d          d         ‘ŒS )rQ   rI   r8   r9   s     r'   rA   z$freeze_selection.<locals>.<listcomp>3  sB   € ð  SMð  SMð  SMð  @AÐSTÐU^ÔS_Ð`yÔSzð  SMð  SMð  SMr)   c                ó*   — g | ]}|d          d         ‘ŒS )rQ   rJ   r8   r9   s     r'   rA   z$freeze_selection.<locals>.<listcomp>4  s#   € Ð-aÐ-aÐ-aÐTU¨a°	¬lÐ;NÔ.OÐ-aÐ-aÐ-ar)   c                ó4   — g | ]}|d          D ]
}|d         ‘ŒŒS ©rq   r  r8   ©r0   r1   r¥   s      r'   rA   z$freeze_selection.<locals>.<listcomp>5  s2   € Ð$^Ð$^Ð$^¸QÐSTÐU\ÔS]Ð$^Ð$^Èa QÐ'7Ô%8Ð$^Ð$^Ð$^Ð$^r)   r   c                ó4   — g | ]}|d          D ]
}|d         ‘ŒŒS r¶  r8   r·  s      r'   rA   z$freeze_selection.<locals>.<listcomp>6  s3   € Ð4nÐ4nÐ4nÈQÐcdÐelÔcmÐ4nÐ4nÐ^_°QÐ7GÔ5HÐ4nÐ4nÐ4nÐ4nr)   r)  )rW   rZ   r°  Ú
mean_scoreÚ	std_scoreÚseed_scoresÚposition_mean_width_fractionÚ
angle_meanÚselected_epochsÚrefit_epochÚdelta_vs_ROI_geometryÚdelta_vs_same_seed_basec                ó(   •— g | ]}|d          ‰v ¯|‘ŒS r‘  r8   )r0   r-  Útops     €r'   rA   z$freeze_selection.<locals>.<listcomp><  s'   ø€ Ð9Ð9Ð9�a a¨¤k°SÐ&8Ð&8�Ð&8Ð&8Ð&8r)   c                ó   — | d         S )Nr¹  r8   rŒ  s    r'   r�  z"freeze_selection.<locals>.<lambda>=  s
   €  Q |¤_€ r)   rŽ  Trn   rÀ  r¥  r   Ú.learned_candidate_needs_independent_validationÚretain_geometryro   Ú3two_independent_groups_only_not_deployment_evidence)Úbest_learningÚentriesÚthree_seed_selectionÚrecommendationÚ
limitationF)ri   r  r“  ÚprofilesÚval_test_usedÚprevious_test_seen_not_blindzselection_frozen.jsonri   zFrozen selection changed)r   r‡   rˆ   r   r‰   r   r[   r�   r   r·   r�   r¸   rM   r/   rB   rÙ   rS  rB  Úmedianr­  rŽ   r   r   r�   r   )r‘   r•   rX   rO   r–   rC   rÉ  rW   ÚarmsrZ   r°  Úrecordsr  Úbase_predictionsrY   r`   rÎ   ÚscoresÚentryÚstablerd  Údocumentr›   rÃ  s                          @r'   Úfreeze_selectionrØ  #  s   ø€ Ý‰Œ€C•T”Z¥Ð&6Ñ!6× AÒ AÑ CÔ CÑDÔDÀYÔO�ÐWYÐPVÝ”*�d ?Ñ2×=Ò=Ñ?Ô?Ñ@Ô@ÀÔLð tñ tˆÝ! &™\œ\ÑˆˆV�H°"¨'Ø˜*”oð 	&ñ 	&ˆFØ�ÀvÐQTÀ}À}ÐCÐC¨s°>Ô/BÐCÑCÔCÐCÐZ\Ñ]ˆDØð &ñ &�Ø&,° m m�c˜'”l�l¸"¸�Àb¸gÐUWÈÐikÐXhØ!ð Iñ I�DÝ# F¨6°$°sÑ;Ô;�D¸G¿NºNÍ4Ì:ÐW[Ð\lÑWl×VwÒVwÑVyÔVyÑKzÔKzÑ<{Ô<{Ð<{Ýœ Ð&7Ñ!7Ñ8Ô8ð D¸AØ˜Vœ9×+Ò+Ñ-Ô-Ð/NÐ/NÈÐ/NÑ/NÔ/NÒNÐNÕU_Ð`rÑUsÔUsÐOsØ#×*Ò*¨1¨]Ô+;×+@Ò+@Ñ+BÔ+BÑCÔCÐCðDð Dð Dñ Dô Dð Dð Dð Dð Dð Dð Døøøð Dð Dð Dð Dõ œ¥¨F°6¸$Ñ!?Ô!?Ð@QÑ!QÑRÔRð  IÐVWÐXh×XoÒXoÐpqÐrô  qA÷  qFò  qFñ  qHô  qHñ  YIô  YIð  YIð  Ið  Ið  Iñ  Iô  Ið  Ið  Ið  Ið  Ið  Ið  Iøøøð  Ið  Ið  Ið  IùØUÐUÈWÐUÑUÔU�Ý &¨S°uÍÍbÌgÐV\ÉoÌoÑH^ÔH^ÕinÕoqÔouÐv|Ño}Ôo}Ñi~Ôi~Ø &ÅEÍ"Ì'ð  SMð  SMð  ELð  SMñ  SMô  SMñ  KNô  KNñ  EOô  EOÝ$¥R¤WÐ-aÐ-aÐY`Ð-aÑ-aÔ-aÑ%bÔ%bÑcÔcØ$^Ð$^À'Ð$^Ñ$^Ô$^Ý # A¥c­"¬)Ð4nÐ4nÐRYÐ4nÑ4nÔ4nÑ*oÔ*oÑ&pÔ&pÑ qÔ qÝ*2°;¸vÀc¼{È4Ñ*PÔ*PÝ,4°[ÀÈÄÈTÐRbÑ,cÔ,cðeñ eô e�ð —’˜uÑ%Ô%Ð%Ñ%ñ!&ð& :Ð9Ð9Ð9˜7Ð9Ñ9Ô9ˆÝ�Ð4Ð4Ð5Ñ5Ô5ˆÝ¨$°wÐTXØOUÐW_ÒO_ÐO_Ðdhð  jAô  eBð  CJô  eKð  LMò  eMð  eMÐKÐKð  SdØPVÐXhÒPhÐPhÐLÐLÐnrðtñ tô tˆˆv‰‰õ �S™UœUµ6½$¸Ñ:NÑ3OÔ3OÐX[ÐekØ %À4ðIñ Iô I€Hå	Ð%Ñ	%€DØ‡{‚{�}„}ð KÝ”˜DŸNšNÑ,Ô,Ñ-Ô-ˆÀXÈlÔE[¨h°|Ñ.DØ�XÒÐ¥JÐ/IÑ$JÔ$JÐJÝ��XÑÔÐ h˜s%   Ä=A%F.Æ.F2Æ5F2Ç.HÈHÈ HÚ__main__)Údescriptionz--stage)Úfreezer‡  r˜  ÚselectT)ÚchoicesÚrequiredz--familyz--branchrn   ro   )rÝ  Údefaultz--seed)Útyperß  z--arm)rß  rÛ  r˜  rÜ  )rR   rS   r,  )NN)EÚ__doc__Ú
__future__r   ÚargparseÚcollectionsr   r¸   r‡   rT  Úpathlibr   rH  r»   rÂ   r   r½   r   Úpose_benchmarkr   r	   Úpose_benchmark_modelsr
   r   r   Úpose_benchmark_v4_datar   r   r   r   r   Úpose_datasetr   Úcluster_targetsr   Ú
pose_modelr   r   Úpose_refinementr   r   r   r   r(   rQ   r[   rœ   rž   rÚ   rç   rð   rõ   rü   r  r‡  r˜  r­  rØ  Ú__name__ÚArgumentParserÚparserÚadd_argumentrB  Ú
parse_argsÚargsrª   rW   rX   rY   rZ   r8   r)   r'   ú<module>ró     sÈ  ðØ UÐ UØ "Ð "Ð "Ð "Ð "Ð "à €€€Ø Ð Ð Ð Ð Ð Ø €€€Ø €€€Ø €€€Ø Ð Ð Ð Ð Ð Ø €€€Ø €€€à Ð Ð Ð Ø €€€Ø Ð Ð Ð Ð Ð à .Ð .Ð .Ð .Ð .Ð .Ð .Ð .Ø AÐ AÐ AÐ AÐ AÐ AÐ AÐ AÐ AÐ AØ GÐ GÐ GÐ GÐ GÐ GÐ GÐ GÐ GÐ GÐ GÐ GÐ GÐ GØ #Ð #Ð #Ð #Ð #Ð #Ø #Ð #Ð #Ð #Ð #Ð #Ø :Ð :Ð :Ð :Ð :Ð :Ð :Ð :Ø BÐ BÐ BÐ BÐ BÐ BÐ BÐ BÐ BÐ BÐ BÐ Bðð ð ð8ð 8ð 8ð5ð 5ð 5ð 5ð!ð !ð !ðHð ð ð6@ð @ð @ð @ð
cð cð cð _Ð ^Ð ^ð8ð 8ð 8ð

ð 
ð 
ð 
ð DJÈDØ¨ðcð cð cð cð cðLð ð ð ð$+ð +ð +ð	kð 	kð 	kð 	kð$/ð $/ð $/ðN ˆZÒÑØ"ˆ8Ô"¨wÐ7Ñ7Ô7€FØ
×Ò˜	Ð*QÐ*QÐ*QÐ[_ÐÑ`Ô`Ð`Ø
×Ò˜
Ñ#Ô#Ð# F×$7Ò$7¸
ÈHÐUeÐKfÐowÐ$7Ñ$xÔ$xÐ$xØ
×Ò˜ c°"ÐÑ5Ô5Ð5°f×6IÒ6IÈ'ÐZ`Ð6IÑ6aÔ6aÐ6aØ	×	Ò	Ñ	Ô	€DØ„z�8ÒÐ˜O˜OÑ-Ô-Ð-Ð-Ð-Ø	Œ�[Ò	 Ð	   ¡¤   Ø	Œ�XÒ	Ð	Ð.Ð.Ñ0Ô0Ð0Ð0Ð0Ø	ˆˆtŒ{˜4œ; t¤y°´Ñ	:Ô	:Ð	:Ð	:Ð	:ð Ðr)   