§
    rà¸jÛ  ã                  óÐ  — d Z ddlmZ ddlZddlmZ ddlZddlZddlm	Z	 ddl
Z
ddlZddlZddlmZ ddlmZmZ ddlmZmZmZ dd	lmZ dd
lmZmZ ddlmZmZ ddlm Z  ddddœd„Z!e"dk    r÷ ej#        ¦   «         Z$e$ %                    dd¬¦  «         e$ %                    dd¬¦  «         e$ %                    dd¬¦  «         e$ %                    dd¬¦  «         e$ %                    de&d¬¦  «         e$ %                    dd¬¦  «         e$ '                    ¦   «         Z( e) ej*         e!e(j        e(j+        e(j,        e(j-        e(j.         e(j/        ¬ ¦  «        ¦  «        ¦  «         dS dS )!zSMeasure 640px training throughput on resolved source frames; never score test data.é    )ÚannotationsN)Úreplace)ÚPath)Ú
DataLoader)Ú
load_jsonlÚis_resolved)Úload_protocolÚ
write_jsonÚfile_digest)Úfit_normalization)Úresolve_deviceÚdevice_metadata)ÚPalletDatasetÚcollate_pallet)ÚPalletDetectorTé@   é   )Úp2ÚstepsÚ
batch_sizec               ó$
  ‡‡‡‡— t          |¦  «        \  }}}t          | ¦  «        Št          j        t	          d¦  «                             ¦   «         ¦  «        Šˆˆfd„|D ¦   «         Št          ‰¦  «        dk     rt          d¦  «        ‚‰d d…         Šd|z  rt          d¦  «        ‚t          ‰¦  «        }	ˆfd„t          |dz  ¦  «        D ¦   «         }
t          |
‰|	d	¬
¦  «        }t          ||t          ¬¦  «        }t          |¦  «        Š‰j        dk    rt          d¦  «        ‚t          d|d¬¦  «                             ¦   «                              ‰¦  «        }t$          j                             |                     ¦   «         d¬¦  «        }t$          j                             d¦  «        }|                     d¬¦  «         t3          |¦  «        }g }t$          j                             ‰¦  «         t          d|z   ¦  «        D �]¶}t9          j        ¦   «         }	 t=          |¦  «        }n.# t>          $ r! t3          |¦  «        }t=          |¦  «        }Y nw xY wˆfd„|                      ¦   «         D ¦   «         }t%          j!        d¦  «        5  | "                    |¦  «        \  }}| #                    ¦   «         dz  }d d d ¦  «         n# 1 swxY w Y   t%          j$        |¦  «        st          d¦  «        ‚| %                    |¦  «         &                    ¦   «          |dz   d|z  z  dk    r?| '                    |¦  «         | (                    ¦   «          |                     d¬¦  «         t$          j         )                    ‰¦  «         |dk    r)| *                    t9          j        ¦   «         |z
  ¦  «         �Œ¸i dd“dd“dtW          ‰¦  «        “d|“dd	“d |“d!d“d"|“d#tY          t[          j.        |¦  «        d$z  ¦  «        “d%tY          t[          j/        |¦  «        d$z  ¦  «        “d&tY          t[          j0        |d'¦  «        d$z  ¦  «        “d(t$          j         1                    ‰¦  «        d)z  “d*te          t[          j3        d+|z  ¦  «        ¦  «        tY          t[          j/        |¦  «        ¦  «        z  “d,d-„ ‰D ¦   «         “d.ti          | ¦  «        “d/ti          t	          |¦  «        d0z  ¦  «        “}tk          ||¦  «         |S )1Nz"outputs/review_v3/cache_index.jsonc                ó$  •— g | ]Œ}|j         ‰j        v r|‰j        |j                  j        d k    ra‰j        |j                  j        dv ¯Dt	          ‰j        |j                  ¦  «        ¯ct          |‰                     |j         ¦  «        ¬¦  «        ‘Œ�S )Útrain>   ÚposÚnegative)Ú
cache_path)Úframe_idÚframesÚsplitÚstatusr   r   Úget)Ú.0ÚrÚcacheÚlabelss     €€úA/root/private/project/pallet_detection_v2/pallet/throughput_v3.pyú
<listcomp>zmeasure.<locals>.<listcomp>   s˜   ø€ ð sð sð s¸AØŒz˜Vœ]Ð*Ð*¨v¬}¸Q¼ZÔ/HÔ/NÐPWÒ/WÐ/WØ”˜aœjÔ)Ô0Ð4FÐFÐFÍ;ÐW]ÔWdÐefÔeoÔWpÑKqÔKqÐFõ �A §¢¨1¬:Ñ!6Ô!6Ð7Ñ7Ô7àFÐFÐFó    é   z)need four resolved source training framesé   z,physical batch must divide effective batch16c                ó@   •— g | ]}‰|t          ‰¦  «        z           ‘ŒS © )Úlen)r"   ÚiÚsources     €r&   r'   zmeasure.<locals>.<listcomp>"   s(   ø€ ÐAÐAÐA¨ˆf�Q•s˜6‘{”{‘]Ô#ÐAÐAÐAr(   r   i€  )Úsize)r   Ú
collate_fnÚcudazGPU throughput requires CUDAé   z
yolo26s.pt)r   Ú
pretrainedgü©ñÒMbP?)ÚlrT)Úset_to_noneé   c                óN   •— i | ]!\  }}|d k    ¯||                      ‰¦  «        “Œ"S )Úmeta)Úto)r"   ÚkÚvÚdevs      €r&   ú
<dictcomp>zmeasure.<locals>.<dictcomp>4   s.   ø€ ÐBÐBÐB¡  !¸¸6º	¸	��!—$’$�s‘)”)¸	¸	¸	r(   znon-finite pilot training lossr   r    z?throughput only; small repeated source batch, no accuracy claimÚpreprocessingznRe-read compressed float cache and apply native-grid normalization/letterbox each step; filesystem cache warm.Údevicer   Ú
image_sizeÚphysical_batchÚeffective_batchr   Úmedian_microstep_msiè  Úmean_microstep_msÚp95_microstep_msé_   Úpeak_gpu_mibi   Ú<estimated_600_frame_train_epoch_seconds_excluding_validationiX  Úsource_frame_idsc                ó   — g | ]	}|j         ‘Œ
S r,   )r   )r"   r#   s     r&   r'   zmeasure.<locals>.<listcomp>F   s   € Ð;Ð;Ð;¨q ¤
Ð;Ð;Ð;r(   Úannotation_sha256Úprotocol_sha256zprotocol.json)6r	   r   ÚjsonÚloadsr   Ú	read_textr-   Ú
ValueErrorr   Úranger   r   r   r   Útyper   r   r:   ÚtorchÚoptimÚAdamWÚ
parametersÚampÚ
GradScalerÚ	zero_gradÚiterr2   Úreset_peak_memory_statsÚtimeÚperf_counterÚnextÚStopIterationÚitemsÚautocastÚlossÚsumÚisfiniteÚscaleÚbackwardÚstepÚupdateÚsynchronizeÚappendr   ÚfloatÚnpÚmedianÚmeanÚ
percentileÚmax_memory_allocatedÚintÚceilr   r
   )r   ÚprotocolÚoutputr@   r   r   r   ÚrecordsÚ_ÚstatsÚrepeatedÚdatasetÚloaderÚmodelÚ	optimizerÚscalerÚbatchesÚ	durationsÚindexÚstartÚbatchÚvaluesrc   ÚvalueÚresultr$   r=   r%   r/   s                            @@@@r&   Úmeasurer‡      s™  øøøø€ Ý˜hÑ'Ô'�K€GˆAˆaÝ�kÑ"Ô"€FÝ
Œ*•TÐ>Ñ?Ô?×IÒIÑKÔKÑ
LÔ
L€Eðsð sð sð sð sÀð sñ sô s€Fõ ˆ6�{„{�1‚}€}�:Ð&QÑRÔRÐRØ�"�1�"Œ:€FØ	ˆ*�}ÐU�:Ð&TÑUÔUÐUÝ
˜FÑ
#Ô
#€EØAÐAÐAÐA­U°:¸a±<Ñ-@Ô-@ÐAÑAÔA€HÝ˜( 6¨%°SÐ9Ñ9Ô9€GÝ�g¨½~ÐNÑNÔN€FÝ�vÑÔ€CØ
„x�ÒÐ�jÐ)GÑHÔHÐHÝ
˜˜b¨LÐ
9Ñ
9Ô
9×
?Ò
?Ñ
AÔ
A×
DÒ
DÀSÑ
IÔ
I€EÝŒk×Ò × 0Ò 0Ñ 2Ô 2°dÐÑ;Ô;€IÝŒ9×Ò Ñ'Ô'€FØ×Ò DÐÑ)Ô)Ð)Ý�‰LŒL€G 2˜Ý	„J×&Ò& sÑ+Ô+Ð+Ý�q˜‘w‘”ð @ñ @ˆÝÔÑ!Ô!ˆð	 Ý�w‘-”-ˆEˆEøÝð 	 ð 	 ð 	 Ý˜‘L”LˆGÝ�w‘-”-ˆEˆEˆEð	 øøøð CÐBÐBÐB u§{¢{¡}¤}ÐBÑBÔBˆÝŒ^˜FÑ#Ô#ð 	 ð 	 Ø—:’:˜fÑ%Ô%‰FˆD�Ø—(’(‘*”*˜R‘-ˆEð	 ð 	 ð 	 ñ 	 ô 	 ð 	 ð 	 ð 	 ð 	 ð 	 ð 	 øøøð 	 ð 	 ð 	 ð 	 õ Œ~˜eÑ$Ô$ÐW­:Ð6VÑ+WÔ+WÐ%WØ�Š�UÑÔ×$Ò$Ñ&Ô&Ð&Ø�!‰G�b˜*‘nÑ% qÒ(Ð(Ø�KŠK˜	Ñ"Ô"Ð" 6§=¢=¡?¤? ?°9×3FÒ3FÐSWÐ3FÑ3XÔ3XÐ3XÝŒ
×Ò˜sÑ#Ô#Ð#Ø�!Š8ˆ8�I×$Ò$¥TÔ%6Ñ%8Ô%8¸Ñ%>Ñ?Ô?Ð?ùð	yˆHÐVð 	yØð  Mð	yà•_ SÑ)Ô)ð	yà*.¨rð	yà2>¸sð	yàCSÐT^ð	yà_pÐqsð	yð �Eð	yð 0µµb´iÀ	Ñ6JÔ6JÈ4Ñ6OÑ0PÔ0Pð	yð  ¥¥b¤g¨iÑ&8Ô&8¸Ñ&=Ñ >Ô >ð		yð
 �u¥R¤]°9¸RÑ%@Ô%@ÀÑ%EÑFÔFð	yð �5œ:×:Ò:¸3Ñ?Ô?ÀÑEð	yð KÍ3ÍrÌwÐWZÐ[eÑWeÑOfÔOfÑKgÔKgÕhmÕnpÔnuÐvñ  oAô  oAñ  iBô  iBñ  LBð	yð Ð;Ð;°FÐ;Ñ;Ô;ð	yð  ¥¨KÑ 8Ô 8ð	yð ;LÍKÕX\Ð]eÑXfÔXfÐgvÑXvÑLwÔLwð	y€Fõ ˆv�fÑÔÐ V˜ms$   È!H1È1(IÉIÊ0KËK	ËK	Ú__main__z--annotations)Úrequiredz
--protocolzoutputs/protocol_v3)Údefaultz--outputz--devicez(GPU-09ed84c8-4dee-efc0-dc1d-deda5177e4e8z--batch-size)rS   rŠ   z--no-p2Ú
store_true)Úaction)r   r   )0Ú__doc__Ú
__future__r   ÚargparseÚdataclassesr   Ú	itertoolsrN   Úpathlibr   r]   Únumpyrm   rT   Útorch.utils.datar   Úpallet.annotationr   r   Úpallet.data.protocolr	   r
   r   Úpallet.data.loaderr   Úpallet.devicesr   r   Úpallet.experiments.datasetr   r   Úpallet.modelsr   r‡   Ú__name__ÚArgumentParserÚparserÚadd_argumentrr   Ú
parse_argsÚargsÚprintÚdumpsrt   ru   r@   Úno_p2r   r,   r(   r&   ú<module>r¤      s{  ðØ YÐ YØ "Ð "Ð "Ð "Ð "Ð "à €€€Ø Ð Ð Ð Ð Ð Ø Ð Ð Ð Ø €€€Ø Ð Ð Ð Ð Ð Ø €€€à Ð Ð Ð Ø €€€Ø 'Ð 'Ð 'Ð 'Ð 'Ð 'à 4Ð 4Ð 4Ð 4Ð 4Ð 4Ð 4Ð 4Ø EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EØ 0Ð 0Ð 0Ð 0Ð 0Ð 0Ø 9Ð 9Ð 9Ð 9Ð 9Ð 9Ð 9Ð 9Ø CÐ CÐ CÐ CÐ CÐ CÐ CÐ CØ (Ð (Ð (Ð (Ð (Ð (ð 59¸rÈQð 1,ð 1,ð 1,ð 1,ð 1,ðh ˆZÒÐØ"ˆ8Ô"Ñ$Ô$€F V×%8Ò%8¸ÐRVÐ%8Ñ%WÔ%WÐ%WØ
×Ò˜Ð-BÐÑCÔCÐCÀF×DWÒDWÐXbÐlpÐDWÑDqÔDqÐDqØ
×Ò˜
Ð+UÐÑVÔVÐVØ
×Ò˜¨C¸ÐÑ:Ô:Ð:Ø
×Ò˜	¨ÐÑ6Ô6Ð6¸F×<MÒ<MÑ<OÔ<O°tØ	€Eˆ*ˆ$Œ*�W�W˜TÔ-¨d¬m¸D¼KÈÌÐ[_Ô[eÐWeÐquô  rAð  Bñ  Bô  Bñ  Cô  Cñ  Dô  Dð  Dð  Dð  Dð Ðr(   