§
    û¸¸j¯;  ã                   ó¸   — d dl Z d dlZd dlZd dlZd dlZd dlZd dlZd dlmZ d dl	m
Z
  ej        e¦  «        Zd„ Zd„ Zd„ Zd„ Zd„ Zed	k    r e¦   «          dS dS )
é    N)Úsetup_logger)ÚBenchmarkRecordc                  óZ  — t          j        ¦   «         } |                      ddt          d¬¦  «         |                      ddt          d¬¦  «         |                      dd	t          d
¬¦  «         |                      ddt          d¬¦  «         |                      dddd¬¦  «         |                      dddd¬¦  «         |                      dt          dd¬¦  «         |                      dt          dd¬¦  «         |                      dt          dd¬¦  «         |                      dt          dd¬¦  «         |                      d t          d!d"¬#¦  «         |                      d$t          d!g d%¢d&¬'¦  «         |                      d(t          d!g d)¢d*¬'¦  «         |                      d+t          d,d-¬¦  «         |                      d.ddd/¬¦  «         |                      d0t          d1d2¬¦  «         |                      d3t          d d4¬¦  «         |                      ¦   «         }t          |d5|j                             d6¦  «        d7          	                    d8d9¦  «        ¦  «         d:|j
        › d;|j        › �}|j        s||_        t          j        |j        d!¬<¦  «         |xj        d=z  c_        |S )>Nz-bú--batch-sizesz1 2)ÚtypeÚdefaultz-sú--sequence-lengthsz8 16 32 64 128 256 512z-wú--warmup-runsé   z-nú
--num-runséè  z--hf-pt-eagerFÚ
store_truez,Benchmark in PyTorch without `torch.compile`)r   ÚactionÚhelpz--hf-pt-compilez)Benchmark in PyTorch with `torch.compile`ú--hf-ort-dir-pathÚ zDPath to folder containing ONNX models for Optimum + ORT benchmarking)r   r   r   z--ort-msft-model-pathzAPath to ONNX model from https://github.com/microsoft/Llama-2-Onnxz --ort-convert-to-onnx-model-pathz'Path to ONNX model from convert_to_onnxú--cache-dirz./model_cachez-Cache dir where Hugging Face files are storedú--model-nameTzModel name in Hugging Face)r   Úrequiredr   ú--precision)Úint4Úint8Úfp16Úfp32zPrecision to run model)r   r   Úchoicesr   ú--device)ÚcpuÚcudaÚrocmzDevice to benchmark modelsz--device-idr   zGPU device IDz	--verbosezPrint detailed logsz	--timeouté
   z8Number of mins to attempt the benchmark before moving onú--log-folderz'Path to folder to save logs and resultsÚ
model_sizeú/éÿÿÿÿú.ú-z./Ú_)Úexist_oké<   )ÚargparseÚArgumentParserÚadd_argumentÚstrÚintÚ
parse_argsÚsetattrÚ
model_nameÚsplitÚreplacer"   Ú	precisionÚ
log_folderÚosÚmakedirsÚtimeout)ÚparserÚargsÚlog_folder_names      úƒ/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/onnxruntime/transformers/models/llama/benchmark_all.pyÚget_argsr=      s�  € ÝÔ$Ñ&Ô&€Fà
×ÒØØÝØð	 ñ ô ð ð ×ÒØØÝØ(ð	 ñ ô ð ð ×ÒØØÝØð	 ñ ô ð ð ×ÒØØÝØð	 ñ ô ð ð ×ÒØØØØ;ð	 ñ ô ð ð ×ÒØØØØ8ð	 ñ ô ð ð ×ÒØÝØØSð	 ñ ô ð ð ×ÒØÝØØPð	 ñ ô ð ð ×ÒØ*ÝØØ6ð	 ñ ô ð ð ×ÒØÝØØ<ð	 ñ ô ð ð ×ÒØÝØØ)ð	 ñ ô ð ð ×ÒØÝØØ0Ð0Ð0Ø%ð ñ ô ð ð ×ÒØÝØØ'Ð'Ð'Ø)ð ñ ô ð ð ×ÒØÝØØð	 ñ ô ð ð ×ÒØØØØ"ð	 ñ ô ð ð ×ÒØÝØØGð	 ñ ô ð ð ×ÒØÝØØ6ð	 ñ ô ð ð ×ÒÑÔ€DåˆD�, ¤× 5Ò 5°cÑ :Ô :¸2Ô >× FÒ FÀsÈCÑ PÔ PÑQÔQÐQØ=˜4œ?Ð=Ð=¨T¬^Ð=Ð=€OØŒ?ð *Ø)ˆŒÝ„K�”¨$Ð/Ñ/Ô/Ð/ð 	€L„L�BÑ€L„Là€Kó    c           
      óD  — g }d\  }}}d\  }}}	}
d}d}d}d}d}d}d	}t          |¦  «        5 }|D �]Ö}|                     d
d¦  «        }||v r%t          |t          |¦  «        d …         ¦  «        }ŒB||v r%t          |t          |¦  «        d …         ¦  «        }Œk||v rd}Œr||v rd}Œy||v r=t	          |t          |¦  «        |                     d¦  «        …         ¦  «        }|dz  }Œº||v r8t	          |t          |¦  «        |                     d¦  «        …         ¦  «        }	Œö||v rÜd|v rDt	          ||                     d¦  «        dz   |                     d¦  «        …         ¦  «        dz  }
ns||                     |¦  «        t          |¦  «        z   d …                              dd¦  «        }t          j        |¦  «        |          d         }t	          |¦  «        dz  }
|||||||	|
gz   }| 	                    |¦  «         �ŒØ	 d d d ¦  «         n# 1 swxY w Y   |S )N)NNN)NNNNzBatch Size: zSequence Length: zto get past_key_valueszwith past_key_valuesz	Latency: zThroughput: zpeak=ú
r   Úpromptz	per-tokenú r   ÚCPUú=é   z MBú'ú"Úmax_used_MB)
Úopenr3   r.   ÚlenÚfloatÚrfindÚfindÚjsonÚloadsÚappend)Ú	device_idÚlog_fileÚbase_resultsÚentriesÚ
batch_sizeÚsequence_lengthÚstepÚ	latency_sÚ
latency_msÚ
throughputÚmemoryÚbatch_patternÚsequence_patternÚprompt_step_patternÚper_token_step_patternÚlatency_patternÚthroughput_patternÚmemory_patternÚfÚ
input_lineÚlineÚpeakÚusageÚentrys                           r<   Úprocess_log_fileri   ž   s¿  € Ø€GØ(8Ñ%€J� Ø0FÑ-€Iˆz˜: và"€MØ*ÐØ2ÐØ3ÐØ!€OØ'ÐØ€Nå	ˆh‰Œð '&˜1Øð &	&ñ &	&ˆJØ×%Ò% d¨BÑ/Ô/ˆDà Ð$Ð$Ý  ¥c¨-Ñ&8Ô&8Ð&:Ð&:Ô!;Ñ<Ô<�
�
Ø! TÐ)Ð)Ý"% d­3Ð/?Ñ+@Ô+@Ð+BÐ+BÔ&CÑ"DÔ"D��Ø$¨Ð,Ð,Ø��Ø'¨4Ð/Ð/Ø"��Ø  DÐ(Ð(Ý! $¥s¨?Ñ';Ô';¸d¿jºjÈ¹o¼oÐ'MÔ"NÑOÔO�	Ø&¨Ñ-�
�
Ø# tÐ+Ð+Ý" 4­Ð,>Ñ(?Ô(?À$Ç*Â*ÈSÁ/Ä/Ð(QÔ#RÑSÔS�
�
Ø 4Ð'Ð'Ø˜D�=�=õ # 4¨¯
ª
°3©¬¸!Ñ(;¸d¿jºjÈÑ>OÔ>OÐ(OÔ#PÑQÔQÐTXÑX�F�Fð   §	¢	¨.Ñ 9Ô 9½CÀÑ<OÔ<OÑ OÐ QÐ QÔR×ZÒZÐ[^Ð`cÑdÔd�DÝ œJ tÑ,Ô,¨YÔ7¸ÔF�EÝ" 5™\œ\¨DÑ0�Fð %ØØ#ØØØØØð(ñ �ð —’˜uÑ%Ô%Ð%ùðM&	&ð'&ð '&ð '&ñ '&ô '&ð '&ð '&ð '&ð '&ð '&ð '&øøøð '&ð '&ð '&ð '&ðR €Ns   ­GHÈHÈHc           	      óÚ  — dd l }|                     | g d¢¬¦  «        }|d                              d¦  «        |d<   |d                              d¦  «        |d<   |d                              d¦  «        |d<   |d                              d¦  «        |d<   |d	                              d
¦  «        |d	<   |d                              d
¦  «        |d<   |d                              d
¦  «        |d<   |d                              d
¦  «        |d<   dd l}|j        }t          d„ |D ¦   «         ¦  «        }d}d}|rB|d                              d¦  «        d         }|d                              d¦  «        d         }g }	|                     ¦   «         D �]}\  }
}|d         dv r't          |d         |d         d|d         ||¦  «        }nq|d         dv r;t          |d         |d         d|d         t          j
        t          j        ¦  «        }n,t          |d         |d         |d         |d         dd¦  «        }|d         |j        _        |d         |j        _        |d         |j        _        |d         |j        _        |d         |j        j        d<   |d         |j        j        d<   |d	         |j        j        d<   |d         |j        _        |d         |j        j        d<   |d         |j        _        |	                     |¦  «         �Œt          j        ||	¦  «         t          j        |                     dd ¦  «        |	¦  «         t2                               d!|› d"�¦  «         d S )#Nr   )úWarmup RunsúMeasured Runsú
Model NameÚEngineÚ	PrecisionÚDeviceú
Batch SizeúSequence LengthÚStepúLatency (s)úLatency (ms)úThroughput (tps)úMemory (GB))Úcolumnsrk   r.   rl   rq   rr   rt   rK   ru   rv   rw   c                 óB   — g | ]}|j         d v ¯|j         › d|j        › �‘ŒS ))Úonnxruntimezonnxruntime-gpuú==)ÚkeyÚversion)Ú.0Úis     r<   ú
<listcomp>z save_results.<locals>.<listcomp>ü   s7   € ÐlÐlÐl QÀÄÐIkÐ@kÐ@kˆAŒEÐ	 Ð	 �Q”YÐ	 Ð	 Ð@kÐ@kÐ@kr>   r   r{   rE   rn   )úoptimum-ortrz   rm   ro   rz   rp   )úpytorch-eagerúpytorch-compileÚpytorchrs   Úmeasure_stepÚengineÚlatency_s_meanÚthroughput_tpsú.csvz.jsonzResults saved in ú!)ÚpandasÚ	DataFrameÚastypeÚpkg_resourcesÚworking_setÚsortedr2   Úiterrowsr   ÚtorchÚ__name__Ú__version__ÚconfigÚwarmup_runsÚmeasured_runsrU   Ú
seq_lengthÚ
customizedÚmetricsÚlatency_ms_meanÚmax_memory_usage_GBrP   Úsave_as_csvÚsave_as_jsonr3   ÚloggerÚinfo)ÚresultsÚfilenameÚpdÚdfrŽ   Úinstalled_packagesÚinstalled_packages_listÚort_pkg_nameÚort_pkg_versionÚrecordsr'   ÚrowÚrecords                r<   Úsave_resultsr¬   ×   s�  € ØÐÐÐà	�ŠØð
ð 
ð 
ð 
ñ 
ô 
€Bð( ˜=Ô)×0Ò0°Ñ7Ô7€B€}ÑØ˜_Ô-×4Ò4°UÑ;Ô;€B€ÑØ˜,Ô'×.Ò.¨uÑ5Ô5€B€|ÑØÐ0Ô1×8Ò8¸Ñ?Ô?€BÐÑØ˜=Ô)×0Ò0°Ñ9Ô9€B€}ÑØ˜NÔ+×2Ò2°7Ñ;Ô;€B€~ÑØÐ 2Ô3×:Ò:¸7ÑCÔC€BÐÑØ˜=Ô)×0Ò0°Ñ9Ô9€B€}Ñð ÐÐÐà&Ô2ÐÝ$ØlÐlÐ*<ÐlÑlÔlñô Ðð €LØ€OØð DØ.¨qÔ1×7Ò7¸Ñ=Ô=¸aÔ@ˆØ1°!Ô4×:Ò:¸4Ñ@Ô@ÀÔCˆð €GØ—+’+‘-”-ð ñ ‰ˆˆ3ØˆxŒ=Ð:Ð:Ð:Ý$Ø�LÔ! 3 {Ô#3°]ÀCÈÄMÐS_Ðapñô ˆFˆFð �Œ]ÐBÐBÐBÝ$Ø�LÔ! 3 {Ô#3°YÀÀHÄÍuÌ~Õ_dÔ_pñô ˆFˆFõ % S¨Ô%6¸¸KÔ8HÈ#ÈhÌ-ÐY\Ð]eÔYfÐhjÐlnÑoÔoˆFØ$'¨Ô$6ˆŒÔ!Ø&)¨/Ô&:ˆŒÔ#Ø#& |Ô#4ˆŒÔ Ø#&Ð'8Ô#9ˆŒÔ Ø36°v´;ˆŒÔ  Ñ0Ø-0°¬]ˆŒÔ  Ñ*Ø69¸-Ô6HˆŒÔ!Ð"2Ñ3Ø),¨^Ô)<ˆŒÔ&Ø69Ð:LÔ6MˆŒÔ!Ð"2Ñ3Ø-0°Ô-?ˆŒÔ*à�Š�vÑÔÐÑåÔ ¨'Ñ2Ô2Ð2ÝÔ  ×!1Ò!1°&¸'Ñ!BÔ!BÀGÑLÔLÐLÝ
‡K‚KÐ/ HÐ/Ð/Ð/Ñ0Ô0Ð0Ð0Ð0r>   c                 óD  — |› dt           j                              ¦   «         d›d�}t          j                             | j        |¦  «        }t          |d¦  «        5 }t          j        |||¬¦  «        }	 | 	                    | j
        ¦  «         n)# t          j        $ r |                     ¦   «          Y nw xY wd d d ¦  «         n# 1 swxY w Y   t                               d¦  «         | j        | j        | j        || j        | j        g}t)          | j        ||¦  «        }|S )Nr'   ú%Y-%m-%d_%H:%M:%Sz.logÚw)ÚstdoutÚstderrz Gathering data from log files...)ÚdatetimeÚnowr6   ÚpathÚjoinr5   rI   Ú
subprocessÚPopenÚwaitr8   ÚTimeoutExpiredÚkillrŸ   r    r–   Únum_runsr1   r4   Údeviceri   rQ   )	r:   Úbenchmark_cmdr†   Úlog_filenameÚlog_pathrR   ÚprocessrS   r¡   s	            r<   Ú	benchmarkrÁ   $  sQ  € ØÐNÐN�xÔ0×4Ò4Ñ6Ô6ÐNÐNÐNÐN€LÝŒw�|Š|˜DœO¨\Ñ:Ô:€HÝ	ˆh˜Ñ	Ô	ð  ÝÔ" =¸È(ÐSÑSÔSˆð	Ø�LŠL˜œÑ&Ô&Ð&Ð&øÝÔ(ð 	ð 	ð 	Ø�LŠL‰NŒNˆNˆNˆNð	øøøð	ð ð ñ ô ð ð ð ð ð ð øøøð ð ð ð õ ‡K‚KÐ2Ñ3Ô3Ð3ØÔ$ d¤m°T´_ÀfÈdÌnÐ^bÔ^iÐj€LÝ˜tœ~¨x¸ÑFÔF€Gà€Ns6   ÁCÁ4BÂCÂ#B5Â2CÂ4B5Â5CÃCÃCc                  óz  — t          ¦   «         } t          | j        ¦  «         t                               | j        ¦  «         dt          j        j        _	        g }t          | j        ¦  «        t          j        d<   | j        r¡dddddd| j        d	| j        d
| j        d| j        d| j        dt          | j        ¦  «        dt          | j        ¦  «        d| j        d| j        dg}t                               d¦  «         t          | |d¦  «        }|                     |¦  «         | j        r¡dddddd| j        d	| j        d
| j        d| j        d| j        dt          | j        ¦  «        dt          | j        ¦  «        d| j        d| j        dg}t                               d¦  «         t          | |d¦  «        }|                     |¦  «         | j        r¨dddddd| j        d| j        d	| j        d
| j        d| j        d| j        dt          | j        ¦  «        dt          | j        ¦  «        d| j        d| j        dg}t                               d¦  «         t          | |d¦  «        }|                     |¦  «         | j        r§dddddd| j        d| j        d	| j        d
| j        d| j        d| j        dt          | j        ¦  «        dt          | j        ¦  «        d| j        d| j        g}t                               d¦  «         t          | |d¦  «        }|                     |¦  «         | j        r§dddddd| j        d| j        d	| j        d
| j        d| j        d| j        dt          | j        ¦  «        dt          | j        ¦  «        d| j        d| j        g}t                               d¦  «         t          | |d ¦  «        }|                     |¦  «         | j        › d!| j        › d!t<          j                             ¦   «         d"›d#�}tA          |t          j!         "                    | j        |¦  «        ¦  «         d S )$NTÚCUDA_VISIBLE_DEVICESÚpythonz-mzmodels.llama.benchmarkz--benchmark-typezhf-pt-eagerr   r   r   r	   r   r
   r   r!   r   z--authz'Benchmark PyTorch without torch.compiler‚   zhf-pt-compilez$Benchmark PyTorch with torch.compilerƒ   zhf-ortr   z Benchmark Optimum + ONNX Runtimer�   zort-msftz--ort-model-pathz)Benchmark Microsoft model in ONNX Runtimezort-convert-to-onnxz/Benchmark convert_to_onnx model in ONNX Runtimerz   r'   r®   r‰   )#r=   r   ÚverboserŸ   r    Ú__dict__r’   ÚbackendsÚcudnnrÁ   r-   rQ   r6   ÚenvironÚhf_pt_eagerr1   r4   Úbatch_sizesÚsequence_lengthsr¼   r–   r»   r5   Ú	cache_dirÚextendÚhf_pt_compileÚhf_ort_dir_pathÚort_msft_model_pathÚort_convert_to_onnx_model_pathr"   r²   r³   r¬   r´   rµ   )r:   Úall_resultsr½   r¡   Úcsv_files        r<   ÚmainrÕ   6  sq  € Ý‰:Œ:€DÝ�”ÑÔÐÝ
‡K‚K�”ÑÔÐØ%)…E„NÔÔ"à€KÝ),¨T¬^Ñ)<Ô)<…B„JÐ%Ñ&ð Ôð $àØØ$ØØØØŒOØØŒNØØÔØ ØÔ!ØØŒKØÝ�Ô Ñ!Ô!ØÝ�”ÑÔØØŒOØØŒNØð1
ˆõ4 	�ŠÐ=Ñ>Ô>Ð>Ý˜D -°ÑAÔAˆØ×Ò˜7Ñ#Ô#Ð#ð Ôð $àØØ$ØØØØŒOØØŒNØØÔØ ØÔ!ØØŒKØÝ�Ô Ñ!Ô!ØÝ�”ÑÔØØŒOØØŒNØð1
ˆõ4 	�ŠÐ:Ñ;Ô;Ð;Ý˜D -Ð1BÑCÔCˆØ×Ò˜7Ñ#Ô#Ð#ð Ôð $àØØ$ØØØØÔ ØØŒOØØŒNØØÔØ ØÔ!ØØŒKØÝ�Ô Ñ!Ô!ØÝ�”ÑÔØØŒOØØŒNØð5
ˆõ8 	�ŠÐ6Ñ7Ô7Ð7Ý˜D -°Ñ?Ô?ˆØ×Ò˜7Ñ#Ô#Ð#ð Ôð $àØØ$ØØØØÔ$ØØŒOØØŒNØØÔØ ØÔ!ØØŒKØÝ�Ô Ñ!Ô!ØÝ�”ÑÔØØŒOØØŒNð3
ˆõ6 	�ŠÐ?Ñ@Ô@Ð@Ý˜D -°Ñ<Ô<ˆØ×Ò˜7Ñ#Ô#Ð#ð Ô*ð $àØØ$ØØ!ØØÔ/ØØŒOØØŒNØØÔØ ØÔ!ØØŒKØÝ�Ô Ñ!Ô!ØÝ�”ÑÔØØŒOØØŒNð3
ˆõ6 	�ŠÐEÑFÔFÐFÝ˜D -°Ñ?Ô?ˆØ×Ò˜7Ñ#Ô#Ð#à”/ÐdÐd D¤NÐdÐdµXÔ5F×5JÒ5JÑ5LÔ5LÐdÐdÐdÐd€HÝ��bœgŸlšl¨4¬?¸HÑEÔEÑFÔFÐFÐFÐFr>   Ú__main__)r*   r²   rN   Úloggingr6   r¶   r’   Úbenchmark_helperr   rš   r   Ú	getLoggerr“   rŸ   r=   ri   r¬   rÁ   rÕ   © r>   r<   ú<module>rÛ      sþ   ðð €€€Ø €€€Ø €€€Ø €€€Ø 	€	€	€	Ø Ð Ð Ð à €€€Ø )Ð )Ð )Ð )Ð )Ð )Ø #Ð #Ð #Ð #Ð #Ð #à	ˆÔ	˜8Ñ	$Ô	$€ðGð Gð GðT6ð 6ð 6ðrJ1ð J1ð J1ðZð ð ð$nGð nGð nGðb ˆzÒÐØ€D�F„F€F€F€Fð Ðr>   