§
    Šž×jÓ  ã                  ó’  — d Z ddlmZ ddlZddlmZ ddlZddlZddlZddl	m
Z
 ddlmZmZ ddlZddlZddlZ e
e¦  «                             ¦   «         j        d         Zej                             d ee¦  «        ¦  «         ddlmZmZ dd	lmZ dd
lmZmZ d„ Z dd„Z!dd„Z"d„ Z#d„ Z$d„ Z%d„ Z&d„ Z'e(dk    r e'¦   «          dS dS )zJResumable latest-label benchmark and optimizer-state batch/duration study.é    )ÚannotationsN)ÚThreadPoolExecutor)ÚPath)ÚQueueÚEmptyé   )ÚROOTÚconfig)Ú
trial_root)Úatomic_jsonÚnowc                óÖ   — t          d| t          ¦   «         t          j        ¦   «         dœ|¤Ž}t	          t
          dz  |¦  «         t          t          j        |¦  «        d¬¦  «         d S )N)ÚstageÚ
updated_atÚpidzpipeline_state.jsonT©Úflush© )	Údictr   ÚosÚgetpidr   r	   ÚprintÚjsonÚdumps)r   ÚdetailsÚvalues      ú scripts/run_pose_benchmark_v4.pyÚstater      sa   € Ý
Ð
F�U¥c¡e¤eµ´	±´Ð
FÐ
F¸gÐ
FÐ
F€EÝ•Ð*Ñ*¨5Ñ1Ô1Ð1µ%½¼
À5Ñ8IÔ8IÐPTÐ2UÑ2UÔ2UÐ2UÐ2UÐ2Uó    c                óP   — t          t          j        dddd¬¦  «        }| r| |d<   |S )NÚ1Ú2zI/tmp/opencode/pose_benchmark_small_deps:/tmp/opencode/pose_benchmark_deps)ÚOPENBLAS_NUM_THREADSÚOMP_NUM_THREADSÚPYTHONDONTWRITEBYTECODEÚ
PYTHONPATHÚCUDA_VISIBLE_DEVICES)r   r   Úenviron)ÚgpuÚenvs     r   Úenvironmentr+      s<   € Ý�RŒZ¨SÀÐ]`Ø^ð	`ñ 	`ô 	`€Cà
Ð* sˆ3Ð%Ñ&Ø€Jr   c                ó„  — t           dz  | dz   z  }|j                             dd¬¦  «         |                     d¦  «        5 }t	          j        t          j        dg|¢t          t          |¦  «        |t          j
        ¬¦  «        }d d d ¦  «         n# 1 swxY w Y   |j        rt          | › d|j        › d	|› �¦  «        ‚d S )
NÚlogsz.logT©ÚparentsÚexist_okÚaz-u)Úcwdr*   ÚstdoutÚstderrz: exit z; see )r	   ÚparentÚmkdirÚopenÚ
subprocessÚrunÚsysÚ
executableÚPROJECTr+   ÚSTDOUTÚ
returncodeÚRuntimeError)ÚlabelÚargsr)   ÚpathÚlogÚprocesss         r   r9   r9   "   s  € Ý	ˆf‰�e˜F‘lÑ	#€D D¤K×$5Ò$5¸dÈDÐ$5Ñ$QÔ$QÐ$QØ	�Š�3‰Œð A˜3Ý”¥¤¨tÐ:°TÐ:½wÍ;ÐWZÑK[ÔK[ÐcfÕnxÔnð  Añ  Aô  AˆðAð Að Añ Aô Að Að Að Að Að Að Aøøøð Að Að Að AàÔÐ_¥°Ð-^Ð-^¸gÔ>PÐ-^Ð-^ÐX\Ð-^Ð-^Ñ _Ô _Ð_Ð_Ð_s   ÁABÂBÂBc                óP  — 	 |                      ¦   «         }n# t          $ r Y d S w xY w|\  }}}}t          g |d d…         ¢|‘R Ž dz                       ¦   «         rŒZd                     t          t          |¦  «        ¦  «        }t          t          dz  |dz   z  t          d| |t          ¦   «         ¬¦  «        ¦  «         t          t          j        t          || ¬	¦  «        ¦  «        d¬
¦  «         	 t          |ddddd|d|dt          |¦  «        d|g| ¦  «         t          t          dz  |dz   z  t          d| |t          ¦   «         ¬¦  «        ¦  «         nO# t          $ rB t          t          dz  |dz   z  t          d| |t!          j        ¦   «         ¬¦  «        ¦  «         ‚ w xY w�Œ¦)NTé   zcompleted.jsonÚ_Újobsz.jsonÚrunning)r   r)   ÚjobÚ
started_at)Ústartr)   r   ú-múpallet.pose_benchmark_v4ú--stageÚtrialú--familyú--branchz--seedz--armÚcomplete)r   r)   rJ   Úfinished_atÚfailed)r   r)   rJ   Úerror)Ú
get_nowaitr   r   ÚexistsÚjoinÚmapÚstrr   r	   r   r   r   r   r   r9   Ú	ExceptionÚ	tracebackÚ
format_exc)r)   ÚqueuerJ   ÚfamilyÚbranchÚseedÚarmr@   s           r   Útrial_workerrd   )   s   € ðØ× Ò Ñ"Ô"ˆCˆCøÝÐÐÐ�V�V�VÐøøøØ"Ñˆˆv�d˜3ÝÐ$˜˜B˜Q˜BœÐ$ Ð$Ð$Ð$Ð%5Ñ5×=Ò=Ñ?Ô?ÐHÀØ�hŠh•s�3˜s‘|”|Ñ$Ô$ˆ¥[µ°f±¸eÀG¹mÑ1LÍTÐXaÐfiÐnqõ  ~Añ  ~Cô  ~Cð  NDñ  NDô  NDñ  &Eô  &Eð  &EÝ�dŒj� C¨CÐ0Ñ0Ô0Ñ1Ô1¸Ð=Ñ=Ô=Ð=ð	Ý��tÐ6°yÀÈÐTZÐ[eÐflÐmuÕvyÐz~ÑvÔvð  AHð  ILð  Mð  NQñ  Rô  Rð  RÝ�˜V™ U¨7¡]Ñ3µD¸zÈcÐVYÕfiÑfkÔfkÐ4lÑ4lÔ4lÑmÔmÐmÐmøÝð 	ð 	ð 	Ý�˜V™ U¨7¡]Ñ3µD¸xÈCÐTWÕ^gÔ^rÑ^tÔ^tÐ4uÑ4uÔ4uÑvÔvÐvØð	øøøñs   ‚ —
%¤%Ã1A%E ÅAF#c                ó"  ‡‡— t          ¦   «         Š| D ]}‰                     |¦  «         Œt          d¬¦  «        5 Šˆˆfd„t          ¦   «         d         D ¦   «         }|D ]}|                     ¦   «          Œ	 d d d ¦  «         d S # 1 swxY w Y   d S )Né   ©Úmax_workersc                óH   •— g | ]}‰                      t          |‰¦  «        ‘ŒS r   )Úsubmitrd   )Ú.0r)   Úpoolr_   s     €€r   ú
<listcomp>z execute_jobs.<locals>.<listcomp>=   s)   ø€ Ð`Ð`Ð`¸�—’�\¨#¨eÑ4Ô4Ð`Ð`Ð`r   Úpreferred_gpu_uuids)r   Úputr   r
   Úresult)rH   rJ   ÚfuturesÚfuturerl   r_   s       @@r   Úexecute_jobsrs   9   sÜ   øø€ Ý
‰'Œ'€EØÐ"Ð"ˆ�E—I’I˜c‘N”N�N�NÝ	¨Ð	*Ñ	*Ô	*ð .¨dØ`Ð`Ð`Ð`Ð`ÅÁÄÐI^Ô@_Ð`Ñ`Ô`ˆØÐ-Ð-ˆF˜fŸmšm™oœo˜o˜oÐ-ð.ð .ð .ñ .ô .ð .ð .ð .ð .ð .ð .ð .øøøð .ð .ð .ð .ð .ð .s   »;BÂBÂBc                 óÂ   — t          dg d¢¦  «         t          dg d¢¦  «         t          d¦  «         t          d„ dD ¦   «         ¦  «         t          dg d	¢¦  «         d S )
NÚprepare)rM   zpallet.pose_benchmark_v4_datarO   ru   Úprotocol)rM   rN   rO   ÚfreezeÚall_eight_models_retrainingc                óH   — g | ]}t          ¦   «         d          D ]}||ddf‘Œ	Œ S )Úfamiliesé*   Úbase)r
   )rk   ra   r`   s      r   rm   zscreen.<locals>.<listcomp>F   s<   € ÐyÐyÐy°ÕdjÑdlÔdlÐmwÔdxÐyÐyÐZ`�6˜&  FÐ+ÐyÐyÐyÐyr   ©ÚmetricÚnative_unknownÚ	shortlist)rM   rN   rO   r€   )r9   r   rs   r   r   r   Úscreenr�   A   sz   € åˆ	ÐLÐLÐLÑMÔMÐMÝˆ
ÐGÐGÐGÑHÔHÐHÝ	Ð
'Ñ(Ô(Ð(ÝÐyÐyÐ:UÐyÑyÔyÑzÔzÐzÝˆÐKÐKÐKÑLÔLÐLÐLÐLr   c                 óÄ  ‡‡‡‡‡— t          ¦   «         Št          j        t          dz                       ¦   «         ¦  «        d         Št          d‰¬¦  «         t          ˆˆfd„dD ¦   «         ¦  «         t          d‰‰d         ¬	¦  «         t          ˆˆfd
„‰d         D ¦   «         ¦  «         t          d¦  «         t          dg d¢¦  «         t          d¦  «         t          d¬¦  «        5 Šˆfd„t          d‰d         ¦  «        D ¦   «         } | D ]}| 
                    ¦   «          Œ	 d d d ¦  «         n# 1 swxY w Y   t          d¦  «         t          ¦   «         ŠdD ]$}‰d         D ]}‰                     ||f¦  «         ŒŒ%ˆfd„Št          d¬¦  «        5 Šˆˆfd„‰d         D ¦   «         } | D ]}| 
                    ¦   «          Œ	 d d d ¦  «         n# 1 swxY w Y   t          d¦  «         t          d¬¦  «        5 Šˆfd„t          d‰d         ¦  «        D ¦   «         } | D ]}| 
                    ¦   «          Œ	 d d d ¦  «         n# 1 swxY w Y   t          d¦  «         t          dg d¢¦  «         t          ddg¦  «         t          ddg‰d         d          ¦  «         t          d!g d"¢¦  «         t          d#t          t          d$z  ¦  «        d d%¬&¦  «         d S )'Nzshortlist.jsonÚtop_twoÚtop_two_three_seed_baselines)rƒ   c                ó<   •— g | ]}‰D ]}‰d          D ]}|||df‘Œ	ŒŒS )Úseedsr|   r   )rk   ra   r`   rb   ÚcfgÚtops       €€r   rm   zrest.<locals>.<listcomp>M   sr   ø€ ð  Dð  Dð  D°&Ðfið  Dð  DÐ\bÐvyð  {Bô  wCð  Dð  DÐnr�6˜&  fÐ-ð  Dð  Dð  Dð  Dð  Dr   r}   Ú$controlled_continuation_from_epoch80Úcontinuation)rƒ   Úarmsc           
     óR   •— g | ]#}d D ]}‰D ]}‰d         D ]}||||d         f‘ŒŒŒŒ$S )r}   r†   Únamer   )rk   Úrecipera   r`   rb   r‡   rˆ   s        €€r   rm   zrest.<locals>.<listcomp>O   sˆ   ø€ ð hð hð h¸&Ø ;ðhð hØÈ#ðhð hØ@FÐZ]Ð^eÔZfðhð hØRVð ˜&  f¨V¤nÐ5ð hð hð hð hð hð hr   Úfreeze_selection_train_onlyÚ	selection)rM   rN   rO   ÚselectÚ1last_epoch_train_OOF_analysis_without_reselectionrf   rg   c                ób   •— g | ]+\  }}‰                      t          d |z   ddddd|g|¦  «        ‘Œ,S )Ú
endpoints_rM   ú pallet.pose_benchmark_v4_resultsrO   Ú	endpointsrR   ©rj   r9   ©rk   ra   r)   rl   s      €r   rm   zrest.<locals>.<listcomp>U   sn   ø€ ð `ð `ð `Ù�V˜Cð —’�S ¨fÑ!4°dÐ;]Ð^gÐhsÐt~ð  @Fð  6Gð  HKñ  Lô  Lð `ð `ð `r   rn   Ú*refit_all_eight_and_selected_continuationsrz   c                óž   •— 	 ‰                      ¦   «         \  }}n# t          $ r Y d S w xY wt          d|z   dz   |z   ddddd|d	|g| ¦  «         ŒL)
NTÚrefit_rG   rM   r•   rO   ÚrefitrQ   rR   )rW   r   r9   )r)   r`   ra   r_   s      €r   Úrefit_workerzrest.<locals>.refit_worker\   s�   ø€ ð	TØ#×.Ò.Ñ0Ô0‘��v�vøÝÐÐÐ˜˜˜ÐøøøÝ�˜‘ Ñ# FÑ*¨DÐ1SÐT]Ð^eØ*4°V¸JÀvð,OØORñTô Tð Tð	Ts   ƒ ›
)¨)c                ó<   •— g | ]}‰                      ‰|¦  «        ‘ŒS r   )rj   )rk   r)   rl   r�   s     €€r   rm   zrest.<locals>.<listcomp>c   s'   ø€ ÐUÐUÐU°3�—’˜\¨#Ñ.Ô.ÐUÐUÐUr   Ú1fixed_holdout_evaluation_after_all_choices_frozenc                ób   •— g | ]+\  }}‰                      t          d |z   ddddd|g|¦  «        ‘Œ,S )Ú	evaluate_rM   r•   rO   ÚevaluaterR   r—   r˜   s      €r   rm   zrest.<locals>.<listcomp>g   sn   ø€ ð `ð `ð `Ù�V˜Cð —’�S ¨VÑ!3°TÐ:\Ð]fÐgqÐr|ð  ~Dð  5Eð  FIñ  Jô  Jð `ð `ð `r   Ú-report_package_integrity_and_inference_checksÚreport)rM   r•   rO   r¤   Údeliveryz$scripts/deliver_pose_benchmark_v4.pyÚverificationz#scripts/verify_pose_benchmark_v4.pyr   Úregressions)rM   Úpytestztests/test_pose_benchmark_v4.pyztests/test_pose_benchmark.pyztests/test_pose_refinement.pyztests/test_pose_review.pyztests/test_pose_model.pyz-qrS   zREPORT_zh.mdF)r¤   Úsource_annotation_writesÚactive_machine_labels_modified)r
   r   Úloadsr	   Ú	read_textr   rs   r9   r   Úziprp   r   ro   r[   )	rq   rr   ra   r`   r‡   rl   r_   r�   rˆ   s	       @@@@@r   Úrestr®   J   s„  øøøøø€ Ý‰Œ€C•T”Z¥Ð&6Ñ!6× AÒ AÑ CÔ CÑDÔDÀYÔO�Ý	Ð
(°Ð5Ñ5Ô5Ð5Ýð  Dð  Dð  Dð  Dð  DÐ<Wð  Dñ  Dô  Dñ  Eô  Eð  EÝ	Ð
0¸À#ÀnÔBUÐVÑVÔVÐVÝð hð hð hð hð hÀCÈÔDWð hñ hô hñ iô ið iå	Ð
'Ñ(Ô(Ð(ÝˆÐHÐHÐHÑIÔIÐIÝ	Ð
=Ñ>Ô>Ð>Ý	¨Ð	*Ñ	*Ô	*ð .¨dð`ð `ð `ð `Ý#&Ð'BÀ3ÐG\ÔC]Ñ#^Ô#^ð`ñ `ô `ˆàÐ-Ð-ˆF˜fŸmšm™oœo˜o˜oÐ-ð.ð .ð .ñ .ô .ð .ð .ð .ð .ð .ð .øøøð .ð .ð .ð .õ 
Ð
6Ñ7Ô7Ð7Ý
‰'Œ'€EØ-ð Að AˆØ˜*”oÐ@Ð@ˆF e§i¢i°¸°Ñ&@Ô&@Ð&@Ð&@Ð@ðTð Tð Tð Tð Tõ 
¨Ð	*Ñ	*Ô	*ð .¨dØUÐUÐUÐUÐU¸#Ð>SÔ:TÐUÑUÔUˆØÐ-Ð-ˆF˜fŸmšm™oœo˜o˜oÐ-ð.ð .ð .ñ .ô .ð .ð .ð .ð .ð .ð .øøøð .ð .ð .ð .õ 
Ð
=Ñ>Ô>Ð>Ý	¨Ð	*Ñ	*Ô	*ð .¨dð`ð `ð `ð `Ý#&Ð'BÀ3ÐG\ÔC]Ñ#^Ô#^ð`ñ `ô `ˆàÐ-Ð-ˆF˜fŸmšm™oœo˜o˜oÐ-ð.ð .ð .ñ .ô .ð .ð .ð .ð .ð .ð .øøøð .ð .ð .ð .õ 
Ð
9Ñ:Ô:Ð:ÝˆÐMÐMÐMÑNÔNÐNÝˆ
Ð:Ð;Ñ<Ô<Ð<ÝˆÐ=Ð>¸sÐCXÔ?YÐZ[Ô?\Ñ]Ô]Ð]Ýˆð tð tð tñ uô uð uå	ˆ*�C¥ ^Ñ 3Ñ4Ô4ÈaÐotÐuÑuÔuÐuÐuÐus6   Ã/<D8Ä8D<Ä?D<Æ/GÇGÇGÈ<IÉIÉIc                 ó¾  — t          j        t          ¬¦  «        } |                      dg d¢d¬¦  «         |                      ddd¬	¦  «         |                      ¦   «         }t          j        d
d
¬¦  «         t
          dz                       d¦  «        5 }t          j	        |t          j
        |j        rdnt          j        z  ¦  «         	 |j        dv rt          ¦   «          |j        dv rt          ¦   «          |j        dk    rt!          d¦  «         n1# t"          $ r$ t!          dt%          j        ¦   «         ¬¦  «         ‚ w xY wd d d ¦  «         d S # 1 swxY w Y   d S )N)ÚdescriptionrO   )r�   ÚcontinueÚallr²   )ÚchoicesÚdefaultz--wait-for-pipelineÚ
store_truez3Block on the existing pipeline lock without polling)ÚactionÚhelpTr.   zpipeline.lockr1   r   )r�   r²   )r±   r²   r�   Ú)screening_complete_ready_for_continuationrU   )rV   )ÚargparseÚArgumentParserÚ__doc__Úadd_argumentÚ
parse_argsr	   r6   r7   ÚfcntlÚflockÚLOCK_EXÚwait_for_pipelineÚLOCK_NBr   r�   r®   r   r\   r]   r^   )ÚparserrA   Úlocks      r   ÚmainrÅ   s   s   € ÝÔ"­wÐ7Ñ7Ô7€FØ
×Ò˜	Ð*EÐ*EÐ*EÈeÐÑTÔTÐTØ
×ÒÐ-°\ÐG|ÐÑ}Ô}Ð}Ø	×	Ò	Ñ	Ô	€D�TœZ°¸dÐCÑCÔCÐCÝ
ˆÑ
×	$Ò	$ SÑ	)Ô	)ð ?¨TÝŒ�D�œ¨TÔ-CÐ(V¨¨ÍÌÑWÑXÔXÐXð	?ØŒzÐ-Ð-Ð-­f©h¬h¨hØŒzÐ/Ð/Ð/µ±´°ØŒz˜8Ò#Ð#¥EÐ*UÑ$VÔ$VÐ$VøøÝð 	?ð 	?ð 	?Ý�(¥Ô!5Ñ!7Ô!7Ð8Ñ8Ô8Ð8¸ð	?øøøð?ð ?ð ?ñ ?ô ?ð ?ð ?ð ?ð ?ð ?ð ?ð ?øøøð ?ð ?ð ?ð ?ð ?ð ?s+   Â6EÃADÄEÄ.EÅEÅEÅEÚ__main__)N))r»   Ú
__future__r   r¹   Úconcurrent.futuresr   r¾   r   r   Úpathlibr   r_   r   r   r8   r:   r]   Ú__file__Úresolver/   r<   rB   Úinsertr[   Úpallet.pose_benchmark_v4_datar	   r
   Úpallet.pose_benchmark_v4r   Úpallet.pose_refinementr   r   r   r+   r9   rd   rs   r�   r®   rÅ   Ú__name__r   r   r   ú<module>rÑ      sÐ  ðØ PÐ PØ "Ð "Ð "Ð "Ð "Ð "à €€€Ø 1Ð 1Ð 1Ð 1Ð 1Ð 1Ø €€€Ø €€€Ø 	€	€	€	Ø Ð Ð Ð Ð Ð Ø Ð Ð Ð Ð Ð Ð Ð Ø Ð Ð Ð Ø 
€
€
€
Ø Ð Ð Ð àˆˆX‰Œ×ÒÑ Ô Ô(¨Ô+€Ø „‡‚��#�#�g‘,”,Ñ Ô Ð Ø 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5Ø /Ð /Ð /Ð /Ð /Ð /Ø 2Ð 2Ð 2Ð 2Ð 2Ð 2Ð 2Ð 2ðVð Vð Vð
ð ð ð ð`ð `ð `ð `ðð ð ð .ð .ð .ðMð Mð Mð&vð &vð &vðR?ð ?ð ?ð ˆZÒÐ˜˜™œ˜˜˜ÐÐr   