§
    û¸¸jàT  ã                   ó¬  — d Z ddlZddlZddlZddlZddlmZ ddlmZ ddlZddl	m
Z
 ddlmZ ddlmZmZmZ ddlmZmZmZ dd	lmZ  G d
„ d¦  «        Zd"dedefd„Zd"dedefd„Z G d„ d¦  «        Zdefd„Zdefd„Z	 d"dej        dej        dz  fd„Zd„ Z d„ Z!e"dk    r° e!¦   «         Z# e$de#› �¦  «         e#j%        €e#j&        dk    rdnde#_%        e#j'        r<ej(         )                    ¦   «         sJ ‚e#j*        dk    rd  e¦   «         v sJ ‚d!e#_+        ne#j,        rJ ‚e#j+        rJ ‚e#j,        se#j+        r ee#¦  «         dS  e e#¦  «         dS dS )#z]
Benchmark performance of SAM2 encoder with ORT or PyTorch. See benchmark_sam2.sh for usage.
é    N)ÚMapping)Údatetime)ÚSAM2ImageDecoder)ÚSAM2ImageEncoder)Údecoder_shape_dictÚencoder_shape_dictÚload_sam2_model)ÚInferenceSessionÚSessionOptionsÚget_available_providers)ÚCudaSessionc            +       óü   — e Zd Zddddddddddddej        dddddd	dfd
edededej        dededededededededededededededededef*d„Z	d „ Z
d!eeee         f         fd"„Zd!eeej        f         fd#„Zd$S )%Ú
TestConfigÚimage_encoderÚCPUExecutionProviderúmax-autotuneé   é   FTé   éè  Ú
model_typeÚ	onnx_pathÚsam2_dirÚdeviceÚ	componentÚ
batch_sizeÚheightÚwidthÚ
num_labelsÚ
num_pointsÚ	num_masksÚmulti_mask_outputÚuse_tf32Úenable_cuda_graphÚprefer_nhwcÚwarm_upÚenable_nvtx_profileÚenable_ort_profileÚenable_torch_profileÚrepeatsÚverbosec                 óô  — |dv sJ ‚|	dk    r|	dk    sJ ‚|
dk    r|
dk    sJ ‚|| _         || _        || _        || _        || _        || _        || _        |	| _        |
| _        || _	        || _
        || _        || _        || _        || _        || _        || _        || _        || _        || _        || _        || _        || _        || _        | j        dk    r | j        dk    r| j        dk    sJ d¦   «         ‚d S d S )N©Úsam2_hiera_tinyÚsam2_hiera_smallÚsam2_hiera_largeÚsam2_hiera_base_plusé    i   r   r   z7Only image size 1024x1024 is allowed for image encoder.)r   r   r   r   ÚproviderÚtorch_compile_moder   r   r   r   r    r!   r"   r   r#   r$   Údtyper%   r&   r'   r(   r)   r*   r+   )Úselfr   r   r   r   r   r3   r4   r   r   r   r   r    r!   r"   r#   r$   r5   r%   r&   r'   r(   r)   r*   r+   s                            úƒ/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/onnxruntime/transformers/models/sam2/benchmark_sam2.pyÚ__init__zTestConfig.__init__   s4  € ð6 ÐpÐpÐpÐpÐpØ˜Š}ˆ} ¨4¢  Ð/Ø˜Š|ˆ| ¨¢  Ð-à$ˆŒØ"ˆŒØ ˆŒØ"ˆŒØ ˆŒØ"4ˆÔØ$ˆŒØˆŒØˆŒ
Ø$ˆŒØ$ˆŒØ"ˆŒØ!2ˆÔØˆŒØ ˆŒØ!2ˆÔØˆŒ
Ø&ˆÔØˆŒØ#6ˆÔ Ø"4ˆÔØ$8ˆÔ!ØˆŒØˆŒàŒ>˜_Ò,Ð,Ø”; $Ò&Ð&¨4¬:¸Ò+=Ð+=Ð+=Ð?xÑ+=Ô+=Ð=ð -Ð,Ø+=Ð+=ó    c                 ó"   — t          | ¦  «        › S ©N)Úvars©r6   s    r7   Ú__repr__zTestConfig.__repr__V   s   € Ý�t‘*”*ˆÐr9   Úreturnc                 ó°   — | j         dk    r t          | j        | j        | j        ¦  «        S t          | j        | j        | j        | j        | j        ¦  «        S )Nr   )	r   r   r   r   r   r   r   r    r!   r=   s    r7   Ú
shape_dictzTestConfig.shape_dictY   sK   € ØŒ>˜_Ò,Ð,Ý% d¤o°t´{ÀDÄJÑOÔOÐOå% d¤k°4´:¸t¼ÐPTÔP_ÐaeÔaoÑpÔpÐpr9   c                 óâ  — | j         }| j        dk    r0dt          j        | j        d| j        | j        || j        ¬¦  «        iS t          j        dddd|| j        ¬¦  «        t          j        ddd	d	|| j        ¬¦  «        t          j        dddd|| j        ¬¦  «        t          j	        d
d| j
        | j        df|| j        ¬¦  «        t          j	        d
d| j
        | j        ft          j        | j        ¬¦  «        t          j        | j
        ddd|| j        ¬¦  «        t          j        | j
        || j        ¬¦  «        t          j        | j        | j        gt          j        | j        ¬¦  «        dœS )Nr   Úimageé   )r5   r   r   é    é   é@   é€   r   r   é   )Úimage_features_0Úimage_features_1Úimage_embeddingsÚpoint_coordsÚpoint_labelsÚinput_masksÚhas_input_masksÚoriginal_image_size)r5   r   ÚtorchÚrandnr   r   r   r   ÚrandÚrandintr   r    Úint32ÚzerosÚonesÚtensor)r6   r5   s     r7   Úrandom_inputszTestConfig.random_inputs_   sm  € Ø”
ˆØŒ>˜_Ò,Ð,Ø�Uœ[¨¬¸!¸T¼[È$Ì*Ð\aÐjnÔjuÐvÑvÔvÐwÐwõ %*¤J¨q°"°c¸3ÀeÐTXÔT_Ð$`Ñ$`Ô$`Ý$)¤J¨q°"°c¸3ÀeÐTXÔT_Ð$`Ñ$`Ô$`Ý$)¤J¨q°#°r¸2ÀUÐSWÔS^Ð$_Ñ$_Ô$_Ý %¤Ø�t˜dœo¨t¬ÀÐBÈ%ÐX\ÔXcð!ñ !ô !õ !&¤Ø�q˜4œ?¨D¬OÐ<ÅEÄKÐX\ÔXcð!ñ !ô !õ  %œ{¨4¬?¸A¸sÀCÈuÐ]aÔ]hÐiÑiÔiÝ#(¤:¨d¬oÀUÐSWÔS^Ð#_Ñ#_Ô#_Ý',¤|°T´[À$Ä*Ð4MÕUZÔU`ÐimÔitÐ'uÑ'uÔ'uðð ð r9   N)Ú__name__Ú
__module__Ú__qualname__rR   Úfloat32Ústrr   ÚintÚboolr8   r>   r   ÚlistrA   ÚTensorrZ   © r9   r7   r   r      s½  € € € € € ð )Ø'Ø)ØØØØØØØ"'ØØ"'ØŒmØ!ØØ$)Ø#(Ø%*ØØð39yð 9yàð9yð ð9yð ð	9yð
 ”ð9yð ð9yð ð9yð ð9yð ð9yð ð9yð ð9yð ð9yð  ð9yð  ð!9yð"  ð#9yð& ð'9yð( ð)9yð* "ð+9yð, !ð-9yð. #ð/9yð0 ð19yð2 ð39yð 9yð 9yð 9yðvð ð ðq˜G C¨¨c¬ NÔ3ð qð qð qð qð˜w s¨E¬LÐ'8Ô9ð ð ð ð ð ð r9   r   Úconfigr?   c                 ó¶  — | j         rt          dt          | ¦  «        › �¦  «         | j        dk    r�t	          | j        t          ¦  «        rt          j         	                    ¦   «         n| j        j
        }t          j        || j        ¦  «        }t          | j        ¦  «        |d<   | j        rd|d<   | j        |fdg}ndg}t#          | j        ||¬¦  «        }|S )Nzcreate session for ÚCUDAExecutionProviderr#   r   r%   r   )Ú	providers)r+   Úprintr<   r3   Ú
isinstancer   r_   rR   ÚcudaÚcurrent_deviceÚindexr   Úget_cuda_provider_optionsr$   r`   r#   r%   r
   r   )re   Úsession_optionsÚ	device_idÚprovider_optionsrh   Úort_sessions         r7   Úcreate_ort_sessionrs   t   sã   € Ø„~ð 4ÝÐ2¥D¨¡L¤LÐ2Ð2Ñ3Ô3Ð3à„Ð1Ò1Ð1Ý3=¸f¼mÍSÑ3QÔ3QÐj•E”J×-Ò-Ñ/Ô/Ð/ÐW]ÔWdÔWjˆ	Ý&Ô@ÀÈFÔLdÑeÔeÐÝ'*¨6¬?Ñ';Ô';Ð˜Ñ$ØÔð 	0Ø./Ð˜]Ñ+Ø”oÐ'7Ð8Ð:PÐQˆ	ˆ	à+Ð,ˆ	å" 6Ô#3°_ÐPYÐZÑZÔZ€KØÐr9   c                 óª   — t          | |¦  «        }t          || j        | j        ¦  «        }|                     |                      ¦   «         ¦  «         |S r;   )rs   r   r   r$   Úallocate_buffersrA   )re   ro   rr   Úcuda_sessions       r7   Úcreate_sessionrw   †   sM   € Ý$ V¨_Ñ=Ô=€KÝ˜{¨F¬M¸6Ô;SÑTÔT€LØ×!Ò! &×"3Ò"3Ñ"5Ô"5Ñ6Ô6Ð6ØÐr9   c                   ó&   — e Zd ZdZddefd„Zd„ ZdS )ÚOrtTestSessionz;A wrapper of ORT session to test relevance and performance.Nre   c                 ób   — t          ||¦  «        | _        |                     ¦   «         | _        d S r;   )rw   rr   rZ   Ú	feed_dict)r6   re   ro   s      r7   r8   zOrtTestSession.__init__�   s+   € Ý)¨&°/ÑBÔBˆÔØ×-Ò-Ñ/Ô/ˆŒˆˆr9   c                 ó@   — | j                              | j        ¦  «        S r;   )rr   Úinferr{   r=   s    r7   r}   zOrtTestSession.infer”   s   € ØÔ×%Ò% d¤nÑ5Ô5Ð5r9   r;   )r[   r\   r]   Ú__doc__r   r8   r}   rd   r9   r7   ry   ry   �   sI   € € € € € ØEÐEð0ð 0˜zð 0ð 0ð 0ð 0ð6ð 6ð 6ð 6ð 6r9   ry   rv   c                 ó‚   — t          j         ¦   «         }|                      |¦  «        }t          j         ¦   «         }||z
  S r;   )Útimer}   )rv   Ú
input_dictÚstartÚ_Úends        r7   Úmeasure_latencyr…   ˜   s5   € ÝŒI‰KŒK€EØ×Ò˜:Ñ&Ô&€AÝ
Œ)‰+Œ+€CØ�‰;Ðr9   c                 ó2  — | j         j        }|dk    }|r`t          j                             d¦  «        j        dk    r8| j        r1dt          j        j        j        _	        dt          j        j
        _	        |o| j        t          j        k    }|                      ¦   «         }t          j        ¦   «         5  t          j        || j        |¬¦  «        5  t!          | j        | j        | j         ¬¦  «        }| j        dk    �r	|r<| j        dk    r1t          j        |j        j        | j        dd	¬
¦  «        |j        _        |                      ¦   «         d         }t          j        |¦  «                             | j         | j        ¬¦  «        }t7          |¦  «        }|r#| j        dk    rt9          d| j        › d�¦  «         t;          | j        ¦  «        D ]}	 ||¦  «        \  }
}}Œ|r‚| j        r{dd l }ddlm!} | "                    ¦   «          t9          d¦  «         | #                    d¦  «        5   ||d¬¦  «         d d d ¦  «         n# 1 swxY w Y   | $                    ¦   «          |�r| j%        rÿt          j&         '                    t          j&        j(        j)        t          j&        j(        j*        gd¬¦  «        5 }t9          d¦  «         t          j&         +                    d¦  «        5   ||¦  «         d d d ¦  «         n# 1 swxY w Y   d d d ¦  «         n# 1 swxY w Y   t9          | ,                    ¦   «          -                    dd¬¦  «        ¦  «         | .                    d¦  «         | j/        dk    r	 d d d ¦  «         d d d ¦  «         d S t9          d| j/        › d�¦  «         ta          j0        ¦   «         }t;          | j/        ¦  «        D ]1}	 ||¦  «        \  }
}}|rt          j         1                    ¦   «          Œ2�nµ|d         |d         |d         |d         |d          |d!         |d"         |d#         f}te          || j3        ¬$¦  «        }|r2| j        dk    r't          j        |j        | j        dd	¬
¦  «        |_        t;          | j        ¦  «        D ]}	 ||Ž \  }}}Œ|r}| j        rvdd l }ddlm!} | "                    ¦   «          t9          d%¦  «         | #                    d¦  «        5   ||d&diŽ d d d ¦  «         n# 1 swxY w Y   | $                    ¦   «          |�r | j%        rùt          j&         '                    t          j&        j(        j)        t          j&        j(        j*        gd¬¦  «        5 }t9          d'¦  «         t          j&         +                    d(¦  «        5   ||Ž  d d d ¦  «         n# 1 swxY w Y   d d d ¦  «         n# 1 swxY w Y   t9          | ,                    ¦   «          -                    dd¬¦  «        ¦  «         | .                    d)¦  «         | j/        dk    r	 d d d ¦  «         d d d ¦  «         d S t9          d| j/        › d�¦  «         ta          j0        ¦   «         }t;          | j/        ¦  «        D ]+}	 ||Ž \  }}}|rt          j         1                    ¦   «          Œ,ta          j0        ¦   «         }||z
  | j/        z  cd d d ¦  «         cd d d ¦  «         S # 1 swxY w Y   d d d ¦  «         d S # 1 swxY w Y   d S )*Nrk   r   é   T)Údevice_typer5   Úenabled)r   r   ÚnoneF)ÚmodeÚ	fullgraphÚdynamicrC   )r   r5   zBRunning warm up. It will take a while since torch compile mode is ú.©Úcudartz#Start nvtx profiling on encoder ...Úone_run)r'   )Ú
activitiesÚrecord_shapesz$Start torch profiling on encoder ...ÚencoderÚcuda_time_totalé
   )Úsort_byÚ	row_limitztorch_image_encoder.jsonzStart z runs of performance tests...rJ   rK   rL   rM   rN   rO   rP   rQ   )Úmultimask_outputz"Start nvtx profiling on decoder...r'   z$Start torch profiling on decoder ...Údecoderztorch_image_decoder.json)4r   ÚtyperR   rk   Úget_device_propertiesÚmajorr#   ÚbackendsÚmatmulÚ
allow_tf32Úcudnnr5   r^   rZ   Úinference_modeÚautocastr	   r   r   r   r4   Úcompiler   ÚforwardrA   rS   Útor   ri   Úranger&   r'   Únvtxr�   ÚcudaProfilerStartÚannotateÚcudaProfilerStopr)   ÚprofilerÚprofileÚProfilerActivityÚCPUÚCUDAÚrecord_functionÚkey_averagesÚtableÚexport_chrome_tracer*   r€   Úsynchronizer   r"   )re   rˆ   Úis_cudaÚenabled_auto_castÚ
ort_inputsÚ
sam2_modelÚimage_shapeÚimgÚsam2_encoderrƒ   Ú_image_features_0Ú_image_features_1Ú_image_embeddingsr¨   r�   Úprofr‚   Útorch_inputsÚsam2_decoderÚ_masksÚ_iou_predictionsÚ_low_res_masksr„   s                          r7   Ú	run_torchrÆ   Ÿ   sV
  € Ø”-Ô$€KØ˜VÒ#€Gð ð /•5”:×3Ò3°AÑ6Ô6Ô<ÀÒAÐAÀfÄoÐAØ04�ŒÔÔ"Ô-Ø*.�ŒÔÔ'àÐA F¤LµE´MÒ$AÐØ×%Ò%Ñ'Ô'€Jå	Ô	Ñ	Ô	ð p.ð p.¥¤¸KÈvÌ|ÐevÐ!wÑ!wÔ!wð p.ð p.Ý$ V¤_°fÔ6GÐPVÔP]Ð^Ñ^Ô^ˆ
ØÔ˜Ò.Ñ.Øð ˜6Ô4¸Ò>Ð>Ý38´=ØÔ,Ô4ØÔ2Ø"Ø!ð	4ñ 4ô 4�
Ô(Ô0ð !×+Ò+Ñ-Ô-¨gÔ6ˆKÝ”+˜kÑ*Ô*×-Ò-°V´]È&Ì,Ð-ÑWÔWˆCÝ+¨JÑ7Ô7ˆLàð y˜6Ô4¸Ò>Ð>ÝÐwÐ[aÔ[tÐwÐwÐwÑxÔxÐxå˜6œ>Ñ*Ô*ð \ð \�ØJVÈ,ÐWZÑJ[ÔJ[ÑGÐ!Ð#4Ð6GÐ6Gàð *˜6Ô5ð *Ø���Ø'Ð'Ð'Ð'Ð'Ð'à×(Ò(Ñ*Ô*Ð*ÝÐ;Ñ<Ô<Ð<Ø—]’] 9Ñ-Ô-ð @ð @Ø �L ¸$Ð?Ñ?Ô?Ð?ð@ð @ð @ñ @ô @ð @ð @ð @ð @ð @ð @øøøð @ð @ð @ð @à×'Ò'Ñ)Ô)Ð)àñ 	E˜6Ô6ð 	EÝ”^×+Ò+Ý %¤Ô ?Ô CÅUÄ^ÔEdÔEiÐjØ"&ð ,ñ ô ð *ð ÝÐ@ÑAÔAÐAÝœ×7Ò7¸	ÑBÔBð *ð *Ø$˜ SÑ)Ô)Ð)ð*ð *ð *ñ *ô *ð *ð *ð *ð *ð *ð *øøøð *ð *ð *ð *ð*ð *ð *ñ *ô *ð *ð *ð *ð *ð *ð *øøøð *ð *ð *ð *õ �d×'Ò'Ñ)Ô)×/Ò/Ð8IÐUWÐ/ÑXÔXÑYÔYÐYØ×(Ò(Ð)CÑDÔDÐDàŒ~ Ò"Ð"ØðWp.ð p.ð p.ñ p.ô p.ð p.ð p.ð p.ð p.ñ p.ô p.ð p.ð p.ð p.õZ ÐH˜6œ>ÐHÐHÐHÑIÔIÐIÝ”I‘K”KˆEÝ˜6œ>Ñ*Ô*ð -ð -�ØJVÈ,ÐWZÑJ[ÔJ[ÑGÐ!Ð#4Ð6GØð -Ý”J×*Ò*Ñ,Ô,Ð,øñ-ð Ð-Ô.ØÐ-Ô.ØÐ-Ô.Ø˜>Ô*Ø˜>Ô*Ø˜=Ô)ØÐ,Ô-ØÐ0Ô1ð	ˆLõ ,ØØ!'Ô!9ðñ ô ˆLð
 ð ˜6Ô4¸Ò>Ð>Ý',¤}Ø Ô(ØÔ2Ø"Ø!ð	(ñ (ô (�Ô$õ ˜6œ>Ñ*Ô*ð Wð W�Ø;G¸<ÈÐ;VÑ8�Ð(¨.¨.àð *˜6Ô5ð *Ø���Ø'Ð'Ð'Ð'Ð'Ð'à×(Ò(Ñ*Ô*Ð*ÝÐ:Ñ;Ô;Ð;Ø—]’] 9Ñ-Ô-ð Jð JØ �L ,ÐIÀDÐIÐIÐIðJð Jð Jñ Jô Jð Jð Jð Jð Jð Jð Jøøøð Jð Jð Jð Jà×'Ò'Ñ)Ô)Ð)àñ 	E˜6Ô6ð 	EÝ”^×+Ò+Ý %¤Ô ?Ô CÅUÄ^ÔEdÔEiÐjØ"&ð ,ñ ô ð 4ð ÝÐ@ÑAÔAÐAÝœ×7Ò7¸	ÑBÔBð 4ð 4Ø$˜ lÐ3Ð3ð4ð 4ð 4ñ 4ô 4ð 4ð 4ð 4ð 4ð 4ð 4øøøð 4ð 4ð 4ð 4ð4ð 4ð 4ñ 4ô 4ð 4ð 4ð 4ð 4ð 4ð 4øøøð 4ð 4ð 4ð 4õ �d×'Ò'Ñ)Ô)×/Ò/Ð8IÐUWÐ/ÑXÔXÑYÔYÐYØ×(Ò(Ð)CÑDÔDÐDàŒ~ Ò"Ð"ØðMp.ð p.ð p.ñ p.ô p.ð p.ð p.ð p.ð p.ñ p.ô p.ð p.ð p.ð p.õP ÐH˜6œ>ÐHÐHÐHÑIÔIÐIÝ”I‘K”KˆEÝ˜6œ>Ñ*Ô*ð -ð -�Ø;G¸<ÈÐ;VÑ8�Ð(¨.Øð -Ý”J×*Ò*Ñ,Ô,Ð,øåŒi‰kŒkˆØ�e‘˜vœ~Ñ-ðap.ð p.ð p.ð p.ñ p.ô p.ð p.ð p.ð p.ð p.ð p.ñ p.ô p.ð p.ð p.ð p.ð p.ð p.ð p.øøøð p.ð p.ð p.ð p.ð p.ð p.ð p.ñ p.ô p.ð p.ð p.ð p.ð p.ð p.ð p.ð p.øøøð p.ð p.ð p.ð p.ð p.ð p.s-  Â3\ÃE[4È.IÈ<[4ÉIÉ[4ÉIÉA,[4Ê</LË+L	Ë7LÌLÌLÌ
LÌLÌ[4ÌLÌ[4Ì!LÌ"A[4Í<\ÎE"[4Ó6	TÓ?[4ÔTÔ[4ÔTÔA,[4Õ?/WÖ.W 	Ö4W× W×W×W×W×[4×W×[4×W×A[4Ø9\ÙB
[4Û\Û4[8	Û8\Û;[8	Û<\Ü\Ü\ÚargsÚ
csv_writerc                 ób  — | j         }| j        }| j        }|r6t          j                             ¦   «         }t          j        d|¦  «        }d}nd}t          j        d¦  «        }d}d}t          j        t          j        t          j	        dœ}t          d+i d| j        “d	| j        “d
| j        “d| j        “d|“d| j        “d| j        “d| j        “d|“dd“d|“d|| j                 “d| j        “d| j        “d| j        “d| j        “d| j        “d| j        “d| j        “dd“Ž}	| j        dk    �r¢t5          ¦   «         }
| j        |
_        |	j        rd|
_        d|
_        d|
_        t?          |	|
¦  «        }|	                      ¦   «         }	 tC          |	j        ¦  «        D ]}tE          ||¦  «        }Œn-# tF          $ r }tI          d|	›d |› �¦  «         Y d }~d S d }~ww xY w|	j        rtdd l%}dd!lm&} | '                    ¦   «          | (                    d"¦  «        5  | )                    |¦  «        }d d d ¦  «         n# 1 swxY w Y   | *                    ¦   «          |	j        r|j+         ,                    ¦   «          |dk    rd S g }tC          |¦  «        D ]'}tE          ||¦  «        }| -                    |¦  «         Œ(t]          j/        |¦  «        }~n}t          j0        ¦   «         5  	 tc          |	¦  «        }n8# tF          $ r+}tI          d|	›d |› �¦  «         Y d }~d d d ¦  «         d S d }~ww xY w	 d d d ¦  «         n# 1 swxY w Y   |dk    rd S | j        d#z   |rdndz   }i d| j        “d| j        “d| j        “d$|“d|“d|	j        “d|	j2        “d| j        “d| j        “d| j        “d%| j3        “d&|	j4        “d'|	j5        “d(|	j6        “d)| j        “d|	j        “d|“| j        | j        ||d*œ¥}|�| 7                    |¦  «         tI          tq          |	¦  «        › ¦  «         tI          |› ¦  «         d S ),Nrk   rg   r   ÚcpuFr   ©Úfp32Úfp16Úbf16r   r   r   r   r3   r   r   r   r   r#   Tr$   r5   r%   r*   r&   r'   r(   r)   r4   r+   Úorté   zFailed to run config=z. Exception: r�   r‘   ú:Úuse_gpur"   r   r    r!   Úintra_op_num_threads)r'   r4   ÚengineÚaverage_latencyrd   )9rÒ   Úuse_cuda_graphr*   rR   rk   rl   r   r^   Úfloat16Úbfloat16r   r   r   r   r   r   r   r   r5   r%   r&   r'   r(   r)   r4   rÔ   r   rÓ   Úenable_profilingÚlog_severity_levelÚlog_verbosity_levelrw   rZ   r§   r…   Ú	Exceptionri   r¨   r�   r©   rª   r}   r«   rr   Úend_profilingÚappendÚ
statisticsÚmeanÚno_gradrÆ   r#   r™   r   r    r!   Úwriterowr<   )rÇ   rÈ   rÒ   r$   r*   rp   r   r3   Údtypesre   Úsess_optionsÚsessionr�   rƒ   Úer¨   r�   Úlatency_listÚlatencyrÕ   rÔ   Úrows                         r7   Úrun_testrê     sJ  € ð ”L€GØ"Ô1ÐØ”<€Gàð *Ý”J×-Ò-Ñ/Ô/ˆ	Ý”˜f iÑ0Ô0ˆØ*ˆˆàˆ	Ý”˜eÑ$Ô$ˆØ!ÐØ)ˆå”m­U¬]ÅEÄNÐSÐS€FÝð ð ð Ø”?�?ðà”.�.ðð ”�ðð ”.�.ð	ð
 �ðð ”?�?ðð Œ{ˆ{ðð Œjˆjðð ˆvðð �ðð ,Ð+ðð �T”ZÔ Ð ðð Ô$Ð$ðð ”�ðð ”�ðð  !Ô4Ð4ð!ð"  Ô2Ð2ð#ð$ "Ô6Ð6ð%ð&  Ô2Ð2ð'ð( �ð)€Fð. „{�eÒÑÝ%Ñ'Ô'ˆØ,0Ô,EˆÔ)ØÔ$ð 	1Ø,0ˆLÔ)Ø./ˆLÔ+Ø/0ˆLÔ,å  ¨Ñ6Ô6ˆØ×)Ò)Ñ+Ô+ˆ
ð	Ý˜6œ>Ñ*Ô*ð 9ð 9�Ý# G¨ZÑ8Ô8��ð9øåð 	ð 	ð 	ÝÐ< 6Ð<Ð<¸Ð<Ð<Ñ=Ô=Ð=ØˆFˆFˆFˆFˆFøøøøð	øøøð Ô%ð 	&ØˆKˆKˆKØ#Ð#Ð#Ð#Ð#Ð#à×$Ò$Ñ&Ô&Ð&Ø—’˜yÑ)Ô)ð .ð .Ø—M’M *Ñ-Ô-�ð.ð .ð .ñ .ô .ð .ð .ð .ð .ð .ð .øøøð .ð .ð .ð .à×#Ò#Ñ%Ô%Ð%àÔ$ð 	0ØÔ×-Ò-Ñ/Ô/Ð/à�aŠ<ˆ<ØˆFàˆÝ�w‘”ð 	)ð 	)ˆAÝ% g¨zÑ:Ô:ˆGØ×Ò Ñ(Ô(Ð(Ð(Ý$œ/¨,Ñ7Ô7ˆàˆGåŒ]‰_Œ_ð 	ð 	ðÝ"+¨FÑ"3Ô"3��øÝð ð ð ÝÐ@ vÐ@Ð@¸QÐ@Ð@ÑAÔAÐAØ���ð	ð 	ð 	ñ 	ô 	ð 	ð 	ð 	øøøøðøøøð  ð	ð 	ð 	ñ 	ô 	ð 	ð 	ð 	ð 	ð 	ð 	øøøð 	ð 	ð 	ð 	ð �aŠ<ˆ<ØˆFàŒ[˜3Ñ¨GÐ"> & &¸Ñ?€FðØ�d”oðà�T”^ðð 	�”ðð 	�7ð	ð
 	Ð.ðð 	�vÔ)ðð 	�F”Oðð 	�d”oðð 	�$”+ðð 	�”ðð 	˜TÔ2ðð 	�fÔ'ðð 	�fÔ'ðð 	�VÔ%ðð 	 Ô 9ðð  	�6”>ð!ð" 	�7ð#ð$  $Ô7Ø"Ô5ØØ*ð+ð ð €Cð0 ÐØ×Ò˜CÑ Ô Ð å	�T�&‰\Œ\Ð
ÑÔÐÝ	ˆSˆ(�O„O€O€O€Osf   Æ
'F2 Æ2
GÆ<GÇGÈH;È;H?ÉH?Ë$L;Ë&K6Ë5L;Ë6
L+Ì L&ÌL;Ì&L+Ì+L;Ì;L?ÍL?c                 ón  — | j         rdnd}d                     || j        t          j        ¦   «                              d¦  «        ¦  «        }t          |dd¬¦  «        5 }g d¢}t          j        ||¬	¦  «        }| 	                    ¦   «          t          | |¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )
NÚgpurÊ   zbenchmark_sam_{}_{}_{}.csvz%Y%m%d-%H%M%SÚaÚ )r‹   Únewline)r   r   r5   rÒ   r$   r%   r#   r   r   r   r"   r   r    r!   rÓ   r&   r*   r'   r4   rÔ   rÕ   )Ú
fieldnames)rÒ   ÚformatrÔ   r   ÚnowÚstrftimeÚopenÚcsvÚ
DictWriterÚwriteheaderrê   )rÇ   ÚfeaturesÚcsv_filenameÚcsv_fileÚcolumn_namesrÈ   s         r7   Úrun_perf_testrü   œ  s  € ØœÐ/ˆuˆu¨%€HØ/×6Ò6ØØŒÝŒ‰Œ×Ò Ñ0Ô0ñô €Lõ
 
ˆl ¨bÐ	1Ñ	1Ô	1ð #°Xð
ð 
ð 
ˆõ. ”^ H¸ÐFÑFÔFˆ
Ø×ÒÑ Ô Ð å��zÑ"Ô"Ð"ð7#ð #ð #ñ #ô #ð #ð #ð #ð #ð #ð #ð #øøøð #ð #ð #ð #ð #ð #s   Á?B*Â*B.Â1B.c                  óJ  — t          j        d¬¦  «        } |                      ddddgdd¬¦  «         |                      d	dg d
¢dd¬¦  «         |                      dddd¬¦  «         |                      d¬¦  «         |                      dddd¬¦  «         |                      d¬¦  «         |                      ddt          g d¢dd¬¦  «         |                      ddt          dd¬¦  «         |                      ddt          dd ¬¦  «         |                      d!dt          dd"¬¦  «         |                      d#dt          d$d%¬¦  «         |                      d&dt          d'd(¬¦  «         |                      d)dt
          d*d*d+gd,¬-¦  «         |                      d.dddd/¬0¦  «         |                      d1dddd2¬0¦  «         |                      d3dddd4¬0¦  «         |                      d5dddd6¬0¦  «         |                      d7dddd8¬0¦  «         |                      d9dt
          d:g d;¢d<¬-¦  «         |                      d=dt
          d>d?¬¦  «         |                      d@dt
          dAdB¬¦  «         |                      dCdt
          d g dD¢dE¬-¦  «         |                      ¦   «         }|S )FNz,Benchmark SMA2 for ONNX Runtime and PyTorch.)Údescriptionz--componentFr   Úimage_decoderzDcomponent to benchmark. Choices are image_encoder and image_decoder.)ÚrequiredÚchoicesÚdefaultÚhelpz--dtyperË   rÌ   zData type for inference.z	--use_gpuÚ
store_truezUse GPU for inference.)r   Úactionr  )rÒ   z--use_cuda_graphzUse cuda graph in onnxruntime.)rÖ   z--intra_op_num_threads)r   r   rI   rÐ   r‡   é   r   z&intra_op_num_threads for onnxruntime. )r   r›   r  r  r  z--batch_sizer   z
batch size)r   r›   r  r  z--heightr   zimage heightz--widthzimage widthz	--repeatsr   z8number of repeats for performance test. Default is 1000.z	--warm_upr   z)number of runs for warm up. Default is 5.z--enginerÏ   rR   zengine for inference)r   r›   r  r  r  z--multimask_outputz:Export mask_decoder or image_decoder with multimask_output)r   r  r  r  z--prefer_nhwcz;Use prefer_nhwc=1 provider option for CUDAExecutionProviderz--enable_nvtx_profilezVEnable nvtx profiling. It will add an extra run for profiling before performance test.z--enable_ort_profilezEnable ORT profiling.z--enable_torch_profilezYEnable PyTorch profiling. It will add an extra run for profiling before performance test.z--model_typer0   r-   zsam2 model namez
--sam2_dirz./segment-anything-2z6The directory of segment-anything-2 git root directoryz--onnx_pathz6./sam2_onnx_models/sam2_hiera_large_image_encoder.onnxzpath of onnx modelz--torch_compile_mode)zreduce-overheadr   zmax-autotune-no-cudagraphsrŠ   z4torch compile mode. none will disable torch compile.)ÚargparseÚArgumentParserÚadd_argumentÚset_defaultsr`   r_   Ú
parse_args)ÚparserrÇ   s     r7   Ú_parse_argumentsr  Á  s  € ÝÔ$Ð1_Ð`Ñ`Ô`€Fà
×ÒØØØ  /Ð2ØØSð ñ ô ð ð ×ÒØ˜EÐ+CÐ+CÐ+CÈVÐZtð ñ ô ð ð ×ÒØØØØ%ð	 ñ ô ð ð ×Ò ÐÑ&Ô&Ð&à
×ÒØØØØ-ð	 ñ ô ð ð ×Ò uÐÑ-Ô-Ð-à
×ÒØ ØÝØ#Ð#Ð#ØØ5ð ñ ô ð ð ×ÒØØÝØØð ñ ô ð ð ×ÒØØÝØØð ñ ô ð ð ×ÒØØÝØØð ñ ô ð ð ×ÒØØÝØØGð ñ ô ð ð ×ÒØØÝØØ8ð ñ ô ð ð ×ÒØØÝØØ˜Ð Ø#ð ñ ô ð ð ×ÒØØØØØIð ñ ô ð ð ×ÒØØØØØJð ñ ô ð ð ×ÒØØØØØeð ñ ô ð ð ×ÒØØØØØ$ð ñ ô ð ð ×ÒØ ØØØØhð ñ ô ð ð ×ÒØØÝØ"ØcÐcÐcØð ñ ô ð ð ×ÒØØÝØ&ØEð ñ ô ð ð ×ÒØØÝØHØ!ð ñ ô ð ð ×ÒØØÝØØYÐYÐYØCð ñ ô ð ð ×ÒÑÔ€Dà€Kr9   Ú__main__z
arguments:r   r   rŠ   rÏ   rg   Fr;   )-r~   r  rõ   rß   r€   Úcollections.abcr   r   rR   rÿ   r   r   r   Ú
sam2_utilsr   r   r	   Úonnxruntimer
   r   r   Ú*onnxruntime.transformers.io_binding_helperr   r   rs   rw   ry   r…   rÆ   Ú	Namespacerö   rê   rü   r  r[   rÇ   ri   r4   r   rÒ   rk   Úis_availablerÔ   r)   r'   rd   r9   r7   ú<module>r     s-  ððð ð €€€Ø 
€
€
€
Ø Ð Ð Ð Ø €€€Ø #Ð #Ð #Ð #Ð #Ð #Ø Ð Ð Ð Ð Ð à €€€Ø *Ð *Ð *Ð *Ð *Ð *Ø *Ð *Ð *Ð *Ð *Ð *Ø NÐ NÐ NÐ NÐ NÐ NÐ NÐ NÐ NÐ Nà QÐ QÐ QÐ QÐ QÐ QÐ QÐ QÐ QÐ QØ BÐ BÐ BÐ BÐ BÐ BðWð Wð Wð Wð Wñ Wô Wð Wðtð ˜zð ÐDTð ð ð ð ð$ð ˜:ð Àð ð ð ð ð6ð 6ð 6ð 6ð 6ñ 6ô 6ð 6ð +ð ð ð ð ð|.�jð |.ð |.ð |.ð |.ðB )-ð{ð {Ø
Ô
ð{à” Ñ%ð{ð {ð {ð {ð|"#ð "#ð "#ðJeð eð eðP ˆzÒÐØÐÑÔ€DØ	€EÐ
�tÐ
Ð
ÑÔÐàÔÐ&à48´NÀoÒ4UÐ4U . .Ð[aˆÔà„|ð -ØŒz×&Ò&Ñ(Ô(Ð(Ð(Ð(ØŒ;˜%ÒÐØ*Ð.EÐ.EÑ.GÔ.GÐGÐGÐGÐGØ(-ˆDÔ%øð Ô+Ð+Ð+Ð+ØÔ,Ð,Ð,Ð,àÔð  4Ô#<ð Øˆ�‰Œˆˆˆàˆ�dÑÔÐÐÐð+ Ðr9   