§
    çG¹j_  ã            
      ó  — d Z ddlmZ ddlZddlZddlmZ ddlZddlZddl	Z	ddl
mZmZmZ ddlmZmZmZ ddlmZmZ ddlmZmZ dd	lmZ dd
lmZ dZd„ Zd„ Zddddœd„Zddddœd„Z e!dk    �r ej"        ¦   «         Z#e# $                    dd¬¦  «         e# $                    dd¬¦  «         e# $                    dd¬¦  «         e# $                    dd¬¦  «         e# $                    dd¬ ¦  «         e# $                    d!e%d¬"¦  «         e# $                    d#e%d¬"¦  «         e# $                    d$e%d¬"¦  «         e# &                    ¦   «         Z' e e'j(        e'j)        e'j*        e'j+        e'j,        e'j-        e'j.        e'j/        ¬%¦  «         dS dS )&zASame-device latency measurements for completed pilot checkpoints.é    )ÚannotationsN)ÚPath)ÚNormalizationStatsÚapply_normalizationÚ
load_frame)Úfile_digestÚload_protocolÚ
write_json)Údevice_metadataÚresolve_device)Ú
SampleMetaÚletterbox_float)Úpredict_boxes)Úload_detector_checkpoint)Úyolo26sÚyolo26_p2_onlyÚyolo26_p2_fusion_no_edgeÚyolo26_p2_edge_no_fusionÚpallet_yolo26Úyolov8sÚyolov8_cspnextÚrfdetr_smallc                ó^   — | j         dk    r!t          j                             | ¦  «         d S d S )NÚcuda)ÚtypeÚtorchr   Úsynchronize)Údevices    úE/root/private/project/pallet_detection_v2/pallet/benchmark_trained.pyÚ_syncr       s3   € Ø„{�fÒÐÝŒ
×Ò˜vÑ&Ô&Ð&Ð&Ð&ð Ðó    c                ó   — t          d„ | D ¦   «         ¦  «        } t          j        | ¦  «        | t          t	          | ¦  «        dz
  t          dt	          | ¦  «        z  ¦  «        ¦  «                 t	          | ¦  «        dœS )Nc              3  ó    K  — | ]	}|d z  V — Œ
dS )iè  N© )Ú.0Úvalues     r   ú	<genexpr>z_summary.<locals>.<genexpr>   s&   è è € Ð5Ð5 U�E˜D‘LÐ5Ð5Ð5Ð5Ð5Ð5r!   é   gffffffî?)Ú	median_msÚp95_msÚrepetitions)ÚsortedÚ
statisticsÚmedianÚminÚlenÚint)Úvaluess    r   Ú_summaryr3      ss   € ÝÐ5Ð5¨fÐ5Ñ5Ô5Ñ5Ô5€FÝ#Ô*¨6Ñ2Ô2Ø�S¥ V¡¤¨q¡µ#°c½CÀ¹K¼KÑ6GÑ2HÔ2HÑIÔIÔJÝ˜v™;œ;ð(ð (ð (r!   é   é   é   )ÚwarmupÚrepeatsÚend_to_end_repeatsc          	     ó	  — t          |¦  «        }|dk     s|dk     s|dk     rt          d¦  «        ‚t          j        | dd¬¦  «        }t	          | ¦  «        \  }}|d         }	|	dk    rt          d¦  «        ‚t          di |d	         ¤Ž}
t          |¦  «        }t          t          ||
¦  «        |	¦  «        \  }}}| 	                    d
¦  «         
                    |¦  «        }t          |j        |j        d d…         ||¦  «        }|                     ¦   «          
                    |¦  «         t          |¦  «         |j        dk    rt          j                             |¦  «         t          j        ¦   «         5  t)          |¦  «        D ]}t+          |||d|	¬¦  «         Œt          |¦  «         g }t)          |¦  «        D ]g}t          |¦  «         t-          j        ¦   «         } ||¦  «         t          |¦  «         |                     t-          j        ¦   «         |z
  ¦  «         Œhg }t)          |¦  «        D ]p}t          |¦  «         t-          j        ¦   «         }t+          |||d|	¬¦  «         t          |¦  «         |                     t-          j        ¦   «         |z
  ¦  «         Œqg }t)          |¦  «        D ]í}t          |¦  «         t-          j        ¦   «         }t          |¦  «        }t          t          ||
¦  «        |	¦  «        \  }}}| 	                    d
¦  «         
                    |¦  «        }t          |j        |j        d d…         ||¦  «        }t+          |||d|	¬¦  «         t          |¦  «         |                     t-          j        ¦   «         |z
  ¦  «         Œî	 d d d ¦  «         n# 1 swxY w Y   t3          t5          | ¦  «                             ¦   «         ¦  «        t9          | ¦  «        t;          d„ |                     ¦   «         D ¦   «         ¦  «        |j        dk    r"t          j                             |¦  «        dz  nd tA          |¦  «        tA          |¦  «        tA          |¦  «        dœS )Nr(   z-warmup and repetition counts must be positiveÚcpuF)Úmap_locationÚweights_onlyÚsizeé€  z7trained pilot benchmark requires a 640-pixel checkpointÚnormalizationr   é   r   ç      Ð?)Úconfr>   c              3  ó>   K  — | ]}|                      ¦   «         V — Œd S ©N)Únumel)r%   Ú	parameters     r   r'   zbenchmark.<locals>.<genexpr>W   s,   è è € ÐTÐT°I˜iŸošoÑ/Ô/ÐTÐTÐTÐTÐTÐTr!   i   )Ú
checkpointÚcheckpoint_sha256Ú
parametersÚpeak_gpu_mibÚforward_onlyÚmodel_and_postprocessÚraw_sensor_to_boxesr$   )!r   Ú
ValueErrorr   Úloadr   r   r   r   r   Ú	unsqueezeÚtor   Úframe_idÚshapeÚevalr    r   r   Úreset_peak_memory_statsÚinference_modeÚranger   ÚtimeÚperf_counterÚappendÚstrr   Úresolver   ÚsumrJ   Úmax_memory_allocatedr3   )rH   Úrecordr   r7   r8   r9   ÚstateÚmodelÚconfigr>   r@   ÚrawÚpreparedÚscaleÚpaddingÚtensorÚmetaÚ_ÚforwardÚstartÚ	inferenceÚ
end_to_endÚcurrentÚcurrent_metas                           r   Ú	benchmarkrq   %   s€  € Ý˜FÑ#Ô#€FØ�‚z€z�W˜q’[�[Ð$6¸Ò$:Ð$:ÝÐHÑIÔIÐIÝŒJ�z°ÀEÐJÑJÔJ€EÝ,¨ZÑ8Ô8�M€Eˆ6Ø�&Œ>€DØˆs‚{€{ÝÐRÑSÔSÐSÝ&Ð@Ð@¨¨Ô)?Ð@Ð@€MÝ
�VÑ
Ô
€CÝ.Õ/BÀ3ÈÑ/VÔ/VÐX\Ñ]Ô]Ñ€Hˆe�WØ×Ò Ñ"Ô"×%Ò% fÑ-Ô-€FÝ�f”o s¤y°°!°¤}°e¸WÑEÔE€DØ	‡J‚J�L„L‡O‚O�FÑÔÐÝ	ˆ&�M„M€MØ„{�fÒÐÝŒ
×*Ò*¨6Ñ2Ô2Ð2å	Ô	Ñ	Ô	ð ;ð ;Ý�v‘”ð 	Dð 	DˆAÝ˜% ¨°C¸dÐCÑCÔCÐCÐCÝˆf‰ŒˆØˆÝ�w‘”ð 	8ð 	8ˆAÝ�&‰MŒMˆMÝÔ%Ñ'Ô'ˆEØˆE�&‰MŒMˆMÝ�&‰MŒMˆMØ�NŠN�4Ô,Ñ.Ô.°Ñ6Ñ7Ô7Ð7Ð7Øˆ	Ý�w‘”ð 	:ð 	:ˆAÝ�&‰MŒMˆMÝÔ%Ñ'Ô'ˆEÝ˜% ¨°C¸dÐCÑCÔCÐCÝ�&‰MŒMˆMØ×Ò�TÔ.Ñ0Ô0°5Ñ8Ñ9Ô9Ð9Ð9Øˆ
ÝÐ)Ñ*Ô*ð 		;ð 		;ˆAÝ�&‰MŒMˆMÝÔ%Ñ'Ô'ˆEÝ˜VÑ$Ô$ˆCÝ'6Õ7JÈ3ÐP]Ñ7^Ô7^Ð`dÑ'eÔ'eÑ$ˆH�e˜WØ×(Ò(¨Ñ+Ô+×.Ò.¨vÑ6Ô6ˆGÝ% f¤o°s´yÀÀ!À´}ÀeÈWÑUÔUˆLÝ˜% ¨,¸SÀtÐLÑLÔLÐLÝ�&‰MŒMˆMØ×Ò�dÔ/Ñ1Ô1°EÑ9Ñ:Ô:Ð:Ð:ð		;ð';ð ;ð ;ñ ;ô ;ð ;ð ;ð ;ð ;ð ;ð ;øøøð ;ð ;ð ;ð ;õ: �d :Ñ.Ô.×6Ò6Ñ8Ô8Ñ9Ô9Ý!,¨ZÑ!8Ô!8ÝÐTÐTÀ×AQÒAQÑASÔASÐTÑTÔTÑTÔTàŒ{˜fÒ$Ð$õ "œJ×;Ò;¸FÑCÔCÀeÑKÐKØ*.Ý$ WÑ-Ô-Ý%-¨iÑ%8Ô%8Ý#+¨JÑ#7Ô#7ð9ð 9ð 9s   Å9H0N6Î6N:Î=N:c               ó^  ‡— t          | ¦  «        \  }}	}
t          ˆfd„|D ¦   «         ¦  «        }t          |¦  «        }t          |¦  «        }d‰t	          t          | ¦  «        dz  ¦  «        |j        |dddt          j        j        j	        j
        t          j        j        j
        d|di d	œ}t          D ]÷}|d
z  d
z  |z  dz  }|dz  }t          j        |dz                       ¦   «         ¦  «        }t	          |¦  «        |d         k    rt!          d|› �¦  «        ‚t#          ||||||¬¦  «        |d         |<   t%          ||¦  «         t'          ||d         |         d         d¬¦  «         t          j                             ¦   «         rt          j                             ¦   «          Œø|S )Nc              3  ó2   •K  — | ]}|j         ‰k    ¯|V — Œd S rE   )rS   )r%   ÚrowrS   s     €r   r'   z"benchmark_pilot.<locals>.<genexpr>b   s/   øè è € ÐEÐE˜#¨C¬L¸HÒ,DÐ,D�#Ð,DÐ,DÐ,DÐ,DÐEÐEr!   z.completed pilot weights; no final test scoringzprotocol.jsonÚfp32r(   r?   rB   z]CUDA synchronized; raw PCD read/decode and normalization included only in raw_sensor_to_boxes)ÚscoperS   Úprotocol_sha256Úsource_sha256r   Ú	precisionÚbatchÚ
input_sizeÚcuda_matmul_allow_tf32Úcudnn_allow_tf32Úconfidence_thresholdr7   ÚmeasurementÚmodelsÚwithinÚseed_42zbest.ptzcompleted.jsonÚbest_checkpoint_sha256z&checkpoint is not the completed best: )r   r7   r8   r9   r€   rM   T)Úflush)r	   Únextr   r   r   rx   r   Úbackendsr   ÚmatmulÚ
allow_tf32ÚcudnnÚPILOT_VARIANTSÚjsonÚloadsÚ	read_textrO   rq   r
   ÚprintÚis_availableÚempty_cache)ÚprotocolÚrootÚoutputrS   r   r7   r8   r9   Úrecordsrj   Úidentityr`   ÚmetadataÚreportÚslugÚ	directoryrH   Ú	completeds      `              r   Úbenchmark_pilotr›   _   sÇ  ø€ å(¨Ñ2Ô2Ñ€GˆQ�ÝÐEÐEÐEÐE ÐEÑEÔEÑEÔE€FÝ�‰:Œ:€DÝ˜vÑ&Ô&€HØGØ"µ{Å4ÈÁ>Ä>ÐTcÑCcÑ7dÔ7dØ%Ô3Ø ¨vÀÐQTÝ(-¬Ô(;Ô(BÔ(MÝ"'¤.Ô"6Ô"AØ&)°VØ|Øðð €Fõ ð %ð %ˆØ˜8‘O hÑ.°Ñ5¸	ÑAˆ	Ø Ñ*ˆ
Ý”J 	Ð,<Ñ <×GÒGÑIÔIÑJÔJˆ	Ý�zÑ"Ô" iÐ0HÔ&IÒIÐIÝÐLÀdÐLÐLÑMÔMÐMÝ!*¨:°vÀfØ5;ÀWØASð"Uñ "Uô "UˆˆxÔ˜Ñõ 	�6˜6Ñ"Ô"Ð"Ýˆd�F˜8Ô$ TÔ*Ð+BÔCÈ4ÐPÑPÔPÐPÝŒ:×"Ò"Ñ$Ô$ð 	%ÝŒJ×"Ò"Ñ$Ô$Ð$øØ€Mr!   Ú__main__z
--protocolzoutputs/protocol_v5)Údefaultz--rootzoutputs/pilot600_v5z--outputz0outputs/pilot600_v5/summary/trained_latency.jsonz
--frame-idz"2024_11_29/29-11-2024_07-00-28#allz--deviceT)Úrequiredz--warmup)r   r�   z	--repeatsz--end-to-end-repeats)rS   r   r7   r8   r9   )0Ú__doc__Ú
__future__r   Úargparser‹   Úpathlibr   r-   rY   r   Úpallet.data.loaderr   r   r   Úpallet.data.protocolr   r	   r
   Úpallet.devicesr   r   Úpallet.experiments.datasetr   r   Úpallet.experiments.evaluater   Úpallet.exportr   rŠ   r    r3   rq   r›   Ú__name__ÚArgumentParserÚparserÚadd_argumentr1   Ú
parse_argsÚargsr‘   r’   r“   rS   r   r7   r8   r9   r$   r!   r   ú<module>r¯      s¯  ðØ GÐ GØ "Ð "Ð "Ð "Ð "Ð "à €€€Ø €€€Ø Ð Ð Ð Ð Ð Ø Ð Ð Ð Ø €€€à €€€à RÐ RÐ RÐ RÐ RÐ RÐ RÐ RÐ RÐ RØ GÐ GÐ GÐ GÐ GÐ GÐ GÐ GÐ GÐ GØ :Ð :Ð :Ð :Ð :Ð :Ð :Ð :Ø BÐ BÐ BÐ BÐ BÐ BÐ BÐ BØ 5Ð 5Ð 5Ð 5Ð 5Ð 5Ø 2Ð 2Ð 2Ð 2Ð 2Ð 2ð4€ð
'ð 'ð 'ð
(ð (ð (ð 56¸rÐVWð 79ð 79ð 79ð 79ð 79ðv  b¸Qðð ð ð ð ð> ˆzÒÑØ$ˆXÔ$Ñ&Ô&€FØ
×Ò˜Ð.CÐÑDÔDÐDØ
×Ò˜Ð*?ÐÑ@Ô@Ð@Ø
×Ò˜
Ð,^ÐÑ_Ô_Ð_Ø
×Ò˜Ð.RÐÑSÔSÐSØ
×Ò˜
¨TÐÑ2Ô2Ð2Ø
×Ò˜
¨°aÐÑ8Ô8Ð8Ø
×Ò˜¨#°rÐÑ:Ô:Ð:Ø
×ÒÐ.°SÀ!ÐÑDÔDÐDØ×ÒÑÔ€DØ€O�D”M 4¤9¨d¬kÀDÄMØœ;¨t¬{ÀDÄLØ'+Ô'>ð@ñ @ô @ð @ð @ð @ð Ðr!   