§
    û¸¸j?L  ã                   ó®   — d dl Z d dlZd dlZd dlZd dlZd dlZd dlZd dlmZ d dl	m
Z
mZ  e j        e¦  «        Z G d„ d¦  «        Z G d„ d¦  «        ZdS )é    N)Ú	Precision)Ú
Gpt2HelperÚ
Gpt2Inputsc                   óP   — e Zd Zdd„Zd„ Zdefd„Zdefd„Zdd
„Z	dd„Z
d„ Zd„ ZdS )Ú
Gpt2MetricÚTorché   c                 óÔ   — |dk    r|dk    sJ ‚|| _         || _        |› d|› �| _        || _        d| _        d| _        d| _        d| _        d| _        d | _	        d | _
        i | _        d S )Né   éd   z vs r   )ÚbaselineÚ	treatmentÚnameÚtop_kÚtop_1_errorÚtop_k_errorÚtotal_samplesÚmax_logits_diffÚmax_logits_diff_no_pastÚbatch_top1_errorÚbatch_topk_errorÚseq_len_latency)ÚselfÚtreatment_nameÚbaseline_namer   s       ú€/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/onnxruntime/transformers/models/gpt2/gpt2_tester.pyÚ__init__zGpt2Metric.__init__   sˆ   € Ø�qŠyˆy˜U cš\˜\˜\Ð)Ø%ˆŒØ'ˆŒØ*Ð?Ð?°Ð?Ð?ˆŒ	ØˆŒ
Ø !ˆÔØ !ˆÔØ"#ˆÔØ&'ˆÔØ./ˆÔ$Ø37ˆÔØ37ˆÔØ!ˆÔÐÐó    c                 ó   — | j         | j        k    rÖt          d¦  «         t          d| j        › d| j         › d�¦  «         | j        dk    r\d| j        z  | j        z  }d| j        z  | j        z  }t          d| j        › d| j        › d	|d
›d| j        › d| j        › d	|d
›d�¦  «         t          d¦  «         t          d| j        d›�¦  «         t          d| j        d›�¦  «         nt          d| j        › d�¦  «         | j	        røt          d¦  «         d}d}t          | j	                             ¦   «         ¦  «        D ]¥}t          j        | j	        |         ¦  «        dz  }|dk    rt          d|› d|d
›d�¦  «         n&t          dd|z  › dd|dz   z  dz
  › d|d
›d�¦  «         ||t          | j	        |         ¦  «        z  z  }|t          | j	        |         ¦  «        z  }Œ¦t          d||z  d
›d�¦  «         d S d S )Nz---zMetrics for z (baseline=z):r   g      Y@zTotal=z Top1Error=z (z.2fz%) TopzError=z%)zMax logits diffs:z	with past  = z.6fz	empty past = z (baseline):z/Past sequence length range and average latency:ç     @�@ú	z:         	z msz	[é   z, r   z]:	zAverage Latency: )r   r   Úprintr   r   r   r   r   r   r   ÚsortedÚkeysÚ
statisticsÚmeanÚlen)r   Útop_1_error_rateÚtop_k_error_rateÚtotalÚcountÚkeyÚaverages          r   r#   zGpt2Metric.print%   sÁ  € ØŒ=˜DœNÒ*Ð*Ý�%‰LŒLˆLÝÐM ¤ÐMÐM¸D¼MÐMÐMÐMÑNÔNÐNØÔ! AÒ%Ð%Ø#(¨4Ô+;Ñ#;¸dÔ>PÑ#PÐ Ø#(¨4Ô+;Ñ#;¸dÔ>PÑ#PÐ Ýð k˜TÔ/ð  kð  k¸DÔ<Lð  kð  kÐP`ð  kð  kð  kÐlpÔlvð  kð  kð  Cô  Oð  kð  kð  Scð  kð  kð  kð  kñô ð õ Ð%Ñ&Ô&Ð&ÝÐ> DÔ$8Ð>Ð>Ð>Ñ?Ô?Ð?ÝÐF DÔ$@ÐFÐFÐFÑGÔGÐGÐGåÐ= ¤Ð=Ð=Ð=Ñ>Ô>Ð>àÔð 	>ÝÐCÑDÔDÐDØˆEØˆEÝ˜dÔ2×7Ò7Ñ9Ô9Ñ:Ô:ð 8ð 8�Ý$œ/¨$Ô*>¸sÔ*CÑDÔDÀvÑM�Ø˜!’8�8ÝÐ@˜sÐ@Ð@°Ð@Ð@Ð@Ð@ÑAÔAÐAÐAåÐR  3¡ÐRÐR¨!°°a±©.¸1Ñ*<ÐRÐRÀ'ÐRÐRÐRÐRÑSÔSÐSØ˜¥3 tÔ';¸CÔ'@Ñ#AÔ#AÑAÑA�Ø�˜TÔ1°#Ô6Ñ7Ô7Ñ7��ÝÐ< e¨e¡mÐ<Ð<Ð<Ð<Ñ=Ô=Ð=Ð=Ð=ð	>ð 	>r   Úis_empty_pastc                 óÆ   — ||z
                        ¦   «                              ¦   «         }|rt          | j        |¦  «        | _        nt          | j        |¦  «        | _        |S ©N)ÚabsÚmaxr   r   )r   Úbaseline_logitsÚtreatment_logitsr/   Údiffs        r   Údiff_logitszGpt2Metric.diff_logitsC   s`   € ØÐ"2Ñ2×7Ò7Ñ9Ô9×=Ò=Ñ?Ô?ˆØð 	CÝ+.¨tÔ/KÈTÑ+RÔ+RˆDÔ(Ð(å#& tÔ';¸TÑ#BÔ#BˆDÔ àˆr   Ú
batch_sizec                 óÂ   — | xj         |z  c_         t          j        |dft          j        ¬¦  «        | _        t          j        |dft          j        ¬¦  «        | _        d S )Nr   ©Údtype)r   ÚtorchÚzerosÚboolr   r   )r   r8   s     r   Ústart_batchzGpt2Metric.start_batchL   sV   € ØÐÔ˜jÑ(ÐÔÝ %¤¨Z¸¨OÅ5Ä:Ð NÑ NÔ NˆÔÝ %¤¨Z¸¨OÅ5Ä:Ð NÑ NÔ NˆÔÐÐr   Tc                 ó  — |                       |j        |j        d|¦  «         |                       |j        |j        | j        |¦  «         |                      |j        |j        |dk    ¦  «        }|rt          d| j        › d|› �¦  «         d S d S )Nr   r   zMax logits diffs of z: )Ú
_eval_topkÚtop_1_tokensÚtop_k_tokensr   r7   Úlogitsr#   r   )r   r   r   Úpast_seq_lenÚverboseÚmax_diffs         r   Ú
eval_batchzGpt2Metric.eval_batchQ   sŸ   € Ø�Š˜Ô-¨yÔ/EÀqÈ'ÑRÔRÐRØ�Š˜Ô-¨yÔ/EÀtÄzÐSZÑ[Ô[Ð[à×#Ò# H¤O°YÔ5EÀ|ÐWXÒGXÑYÔYˆØð 	BÝÐ@¨¬Ð@Ð@°hÐ@Ð@ÑAÔAÐAÐAÐAð	Bð 	Br   c                 óþ  — t          j        t          j        ||¦  «        ¦  «        sÕ|dk    rP|rt          d| j        › �¦  «         | xj        t          j        ||¦  «                             ¦   «         z  c_        d S |rt          d|› d| j        › d�¦  «         | xj        t          j        ||¦  «                             ¦   «                              d¦  «         	                    d¬¦  «        dk    z  c_        d S d S )Nr   z!Generated tokens not matched for zTop z tokens not matched for z-. This will lead to wrong beam search results)Údimr   )
r<   ÚallÚeqr#   r   r   Úlogical_notr   ÚsumÚ	unsqueeze)r   Úbaseline_topkÚtreatment_topkr   rF   s        r   rA   zGpt2Metric._eval_topkY   s  € ÝŒy�œ -°Ñ@Ô@ÑAÔAð 	Ø˜ŠzˆzØð KÝÐI¸d¼iÐIÐIÑJÔJÐJØÐ%Ô%­¬°-ÀÑ)PÔ)P×)\Ò)\Ñ)^Ô)^Ñ^Ð%Ô%Ð%Ð%àð ÝØv˜uÐvÐv¸d¼iÐvÐvÐvñô ð ð Ð%Ô%Ý”H˜]¨NÑ;Ô;×GÒGÑIÔI×MÒMÈaÑPÔP×ZÒZÐ_`ÐZÑaÔaÐdeÒeñÐ%Ô%Ð%Ð%ð	ð 	r   c                 ó¢   — | xj         | j                             ¦   «         z  c_         | xj        | j                             ¦   «         z  c_        d S r1   )r   r   rN   r   r   ©r   s    r   Ú	end_batchzGpt2Metric.end_batchh   sN   € ØÐÔ˜DÔ1×5Ò5Ñ7Ô7Ñ7ÐÔØÐÔ˜DÔ1×5Ò5Ñ7Ô7Ñ7ÐÔÐÐr   c                 óÄ   — |dk    r$t          t          j        |¦  «        ¦  «        dz   nd}|| j        vr
g | j        |<   | j        |                              |¦  «         d S )Nr   r   )ÚintÚmathÚlog2r   Úappend)r   rE   Úlatencyr-   s       r   Úadd_latencyzGpt2Metric.add_latencyl   sj   € Ø2>ÀÒ2BÐ2B�c•$”)˜LÑ)Ô)Ñ*Ô*¨QÑ.Ð.ÈˆØ�dÔ*Ð*Ð*Ø(*ˆDÔ  Ñ%ØÔ˜SÔ!×(Ò(¨Ñ1Ô1Ð1Ð1Ð1r   N)r   r	   )T)Ú__name__Ú
__module__Ú__qualname__r   r#   r>   r7   rV   r?   rH   rA   rT   r[   © r   r   r   r      s¼   € € € € € ð"ð "ð "ð "ð>ð >ð >ð<ÈDð ð ð ð ðO cð Oð Oð Oð Oð
Bð Bð Bð Bðð ð ð ð8ð 8ð 8ð2ð 2ð 2ð 2ð 2r   r   c            
       ó²   — e Zd Z	 	 	 dd„Zdefd„Zd„ Zd„ Zd„ Ze	dd
„¦   «         Z
e	d„ ¦   «         Ze	d„ ¦   «         Ze	ej        ddddddddf	d„¦   «         ZdS )Ú
Gpt2TesterFr	   c                 ó  — |j         d         | _        |j         d         | _        || _        || _        || _        || _        |d u| _        |d u| _        g | _	        d| j        |d||z  g}t          |¦  «        D ]n}t          j        |¦  «                             |rt          j        nt          j        ¦  «        }| j	                             |                     |¦  «        ¦  «         Œod | _        d | _        d | _        |	| _        |
| _        d S )Nr   r   r"   )Úshaper8   Úinput_lengthÚn_layerÚ	input_idsÚposition_idsÚattention_maskÚhas_position_idsÚhas_attention_maskÚpastÚranger<   ÚemptyÚtypeÚfloat16Úfloat32rY   ÚtorD   rB   rC   r   Útop_k_required_order)r   rf   rg   rh   Únum_attention_headsÚhidden_sizeÚ	num_layerÚdeviceÚis_fp16r   rr   Ú
past_shapeÚ_iÚ
empty_pasts                 r   r   zGpt2Tester.__init__t   s  € ð $œ/¨!Ô,ˆŒØ%œO¨AÔ.ˆÔØ ˆŒà"ˆŒØ(ˆÔØ,ˆÔà ,°DÐ 8ˆÔØ"0¸Ð"<ˆÔð ˆŒ	àØŒOØØØÐ.Ñ.ð
ˆ
õ ˜	Ñ"Ô"ð 	4ð 	4ˆBÝœ ZÑ0Ô0×5Ò5ÀwÐ6aµe´m°mÕTYÔTaÑbÔbˆJØŒI×Ò˜ZŸ]š]¨6Ñ2Ô2Ñ3Ô3Ð3Ð3àˆŒØ ˆÔØ ˆÔØˆŒ
Ø$8ˆÔ!Ð!Ð!r   Úreturnc                 óN   — t          | j        | j        | j        | j        ¦  «        S r1   )r   rf   rg   rh   rk   rS   s    r   Ú
get_inputszGpt2Tester.get_inputsŸ   s"   € Ý˜$œ.¨$Ô*;¸TÔ=PÐRVÔR[Ñ\Ô\Ð\r   c           	      ó†  ‡— ddl mŠ t          j                             |dt          |¦  «        z   ¦  «        }t          j                             |¦  «        rt          d|› d�¦  «         d S t          j        |d¬¦  «         ˆfd„}g } ||| j	        d	¦  «         | j
        r ||| j        d
¦  «         | j        r ||| j        d¦  «         t          | j        ¦  «        D ]*} ||| j        |         dt          |¦  «        z   ¦  «         Œ+t#          |¦  «        D ]v\  }}	t%          t          j                             |d|› d�¦  «        d¦  «        5 }
|
                     |	                     ¦   «         ¦  «         d d d ¦  «         n# 1 swxY w Y   Œwd„ |                     ¦   «         D ¦   «         }t#          |¦  «        D ]ï\  }}‰                     t/          ||         t0          j        ¦  «        r||         n=||                              ¦   «                              ¦   «                              ¦   «         ¦  «        }	t%          t          j                             |d|› d�¦  «        d¦  «        5 }
|
                     |	                     ¦   «         ¦  «         d d d ¦  «         n# 1 swxY w Y   Œðt          d|› �¦  «         d S )Nr   )Únumpy_helperÚtest_data_set_z
Directory z existed. Skip saving test dataT)Úexist_okc                 óÆ   •— |                       ‰                     |                     ¦   «                              ¦   «                              ¦   «         |¦  «        ¦  «         d S r1   )rY   Ú
from_arrayÚcloneÚcpuÚnumpy)Úinput_tensorsÚtorch_tensorr   r   s      €r   Ú
add_tensorz-Gpt2Tester.save_test_data.<locals>.add_tensor¬   sR   ø€ Ø× Ò  ×!8Ò!8¸×9KÒ9KÑ9MÔ9M×9QÒ9QÑ9SÔ9S×9YÒ9YÑ9[Ô9[Ð]aÑ!bÔ!bÑcÔcÐcÐcÐcr   rf   rg   rh   Úpast_Úinput_z.pbÚwbc                 ó   — g | ]	}|j         ‘Œ
S r_   )r   )Ú.0Úoutputs     r   ú
<listcomp>z-Gpt2Tester.save_test_data.<locals>.<listcomp>¿   s   € ÐHÐHÐH¨˜œÐHÐHÐHr   Úoutput_zTest data saved to directory )Úonnxr   ÚosÚpathÚjoinÚstrÚexistsr#   Úmakedirsrf   ri   rg   rj   rh   rl   re   rk   Ú	enumerateÚopenÚwriteÚSerializeToStringÚget_outputsrƒ   Ú
isinstancer†   Úndarrayr„   r…   )r   Úsessionr�   Úsave_test_data_dirÚtest_case_idr”   r‰   r‡   ÚiÚtensorÚfÚoutput_namesÚ_namer   s                @r   Úsave_test_datazGpt2Tester.save_test_data¢   sR  ø€ Ø%Ð%Ð%Ð%Ð%Ð%åŒw�|Š|Ð.Ð0@Å3À|ÑCTÔCTÑ0TÑUÔUˆÝŒ7�>Š>˜$ÑÔð 	ÝÐD˜tÐDÐDÐDÑEÔEÐEØˆFå
Œ�D 4Ð(Ñ(Ô(Ð(ð	dð 	dð 	dð 	dð 	dð ˆØˆ
�= $¤.°+Ñ>Ô>Ð>àÔ ð 	IØˆJ�} dÔ&7¸ÑHÔHÐHàÔ"ð 	MØˆJ�} dÔ&9Ð;KÑLÔLÐLå�t”|Ñ$Ô$ð 	Fð 	FˆAØˆJ�} d¤i°¤l°G½cÀ!¹f¼fÑ4DÑEÔEÐEÐEå" =Ñ1Ô1ð 	4ð 	4‰IˆAˆvÝ•b”g—l’l 4¨°!¨¨¨Ñ9Ô9¸4Ñ@Ô@ð 4ÀAØ—’˜×0Ò0Ñ2Ô2Ñ3Ô3Ð3ð4ð 4ð 4ñ 4ô 4ð 4ð 4ð 4ð 4ð 4ð 4øøøð 4ð 4ð 4ð 4øð IÐH°'×2EÒ2EÑ2GÔ2GÐHÑHÔHˆÝ! ,Ñ/Ô/ð 	4ð 	4‰HˆAˆuØ!×,Ò,Ý'¨¨q¬	µ5´=ÑAÔAÐf��q”	�	ÀvÈaÄyÇÂÑGXÔGX×G\ÒG\ÑG^ÔG^×GdÒGdÑGfÔGfñô ˆFõ •b”g—l’l 4Ð)9°1Ð)9Ð)9Ð)9Ñ:Ô:¸DÑAÔAð 4ÀQØ—’˜×0Ò0Ñ2Ô2Ñ3Ô3Ð3ð4ð 4ð 4ñ 4ô 4ð 4ð 4ð 4ð 4ð 4ð 4øøøð 4ð 4ð 4ð 4øõ 	Ð4¨dÐ4Ð4Ñ5Ô5Ð5Ð5Ð5s$   Å(FÆF
	ÆF
	É/(J#Ê#J'	Ê*J'	c                 óò  — t          |d         t          j        ¦  «        rt          j        |d         ¦  «        n=|d                              ¦   «                              ¦   «                              ¦   «         | _        t           
                    | j        ¦  «        | _        t           
                    | j        | j        | j        ¦  «        | _        | j                             ¦   «                              ¦   «                              | j        dg¦  «                             |¦  «        | _        | j        rdt          j        | j        |z   dz
  g¦  «                             d¦  «                             | j        d¦  «                             |¦  «        | _        | j        ret          j        | j        t          j        | j        dg¦  «                             | j        ¦  «        gd¦  «                             |¦  «        | _        g | _        t          |d         t>          ¦  «        rtA          |d         ¦  «        | _        dS tC          | j"        ¦  «        D ]ž}t          ||dz            t          j        ¦  «        rt          j        ||dz            ¦  «        n.||dz                                 ¦   «                              ¦   «         }| j         #                    |                     |¦  «        ¦  «         ŒŸdS )z7
        Update the inputs for next inference.
        r   r   N)$rž   r†   rŸ   r<   Ú
from_numpyr„   Údetachr…   rD   ra   Úpredict_next_tokenrB   r   rr   rC   Úreshaper8   rq   rf   ri   r¤   rd   rO   Úrepeatrg   rj   Úcatrh   ÚonesÚtype_asrk   ÚtupleÚlistrl   re   rY   )r   r�   Ústeprv   r£   Úpast_is         r   ÚupdatezGpt2Tester.updateÉ   s‰  € õ
 ,6°f¸Q´iÅÄÑ+OÔ+OÐu�EÔ˜V AœYÑ'Ô'Ð'ÐU[Ð\]ÔU^×UdÒUdÑUfÔUf×UmÒUmÑUoÔUo×UsÒUsÑUuÔUuð 	Œõ '×9Ò9¸$¼+ÑFÔFˆÔÝ&×9Ò9¸$¼+ÀtÄzÐSWÔSlÑmÔmˆÔàÔ*×0Ò0Ñ2Ô2×9Ò9Ñ;Ô;×CÒCÀTÄ_ÐVWÐDXÑYÔY×\Ò\Ð]cÑdÔdˆŒàÔ ð 	å”˜dÔ/°$Ñ6¸Ñ:Ð;Ñ<Ô<×FÒFÀqÑIÔI×PÒPÐQUÔQ`ÐbcÑdÔd×gÒgÐhnÑoÔoð Ôð Ô"ð 	Ý"'¤)àÔ'Ý”J ¤°Ð3Ñ4Ô4×<Ò<¸TÔ=PÑQÔQðð ñ#ô #÷ Šb�‰jŒjð Ôð ˆŒ	å�f˜Q”i¥Ñ'Ô'ð 		4Ý˜V AœY™œˆDŒIˆIˆIå˜4œ<Ñ(Ô(ð 4ð 4�õ " &¨¨Q©¤-µ´Ñ?Ô?ð8•EÔ$ V¨A°©E¤]Ñ3Ô3Ð3à  A¡œ×,Ò,Ñ.Ô.×5Ò5Ñ7Ô7ð ð
 ”	× Ò  §¢¨6Ñ!2Ô!2Ñ3Ô3Ð3Ð3ð4ð 4r   c                 óæ  — t          d¦  «         | j        �K| j        |j        z
                       ¦   «                              ¦   «         }|dk    rt          d|› �¦  «         t	          j        | j        |j        k    ¦  «        st          d| j        |j        ¦  «         | j        r=t	          j        | j        |j        k    ¦  «        st          d| j        |j        ¦  «         | j	        r=t	          j        | j
        |j
        k    ¦  «        st          d| j
        |j
        ¦  «         t          | j        ¦  «        t          |j        ¦  «        k    sJ ‚t          | j        ¦  «        D ]‰\  }}|j        |j        |         j        k    sJ ‚|                     ¦   «         dk    rO||j        |         z
                       ¦   «                              ¦   «         }|dk    rt          d	|› d
|› �¦  «         ŒŠdS )z3
        Compare inputs and logits output.
        zstart diff...Ng-Cëâ6?z$Max logits difference is too large: zInput_ids is differentzposition_ids is differentzattention_mask is differentr   zmax_past_diff[z]=)r#   rD   r2   r3   r<   rK   rf   ri   rg   rj   rh   r(   rk   r™   rc   Únelement)r   r   Úmax_io_diffr£   rµ   Úmax_past_diffs         r   r6   zGpt2Tester.diffñ   s  € õ
 	ˆoÑÔÐØŒ;Ð"Øœ;¨¬Ñ8×=Ò=Ñ?Ô?×CÒCÑEÔEˆKØ˜TÒ!Ð!ÝÐJ¸[ÐJÐJÑKÔKÐKåŒy˜œ¨8Ô+=Ò=Ñ>Ô>ð 	PÝÐ*¨D¬N¸HÔ<NÑOÔOÐOàÔ ð 	Ý”9˜TÔ.°(Ô2GÒGÑHÔHð ÝØ/ØÔ%ØÔ)ñô ð ð Ô"ð 	Ý”9˜TÔ0°HÔ4KÒKÑLÔLð ÝØ1ØÔ'ØÔ+ñô ð õ �4”9‰~Œ~¥ X¤]Ñ!3Ô!3Ò3Ð3Ð3Ð3å" 4¤9Ñ-Ô-ð 	Að 	A‰IˆAˆvØ”< 8¤=°Ô#3Ô#9Ò9Ð9Ð9Ð9Ø�ŠÑ Ô  1Ò$Ð$Ø!'¨(¬-¸Ô*:Ñ!:× ?Ò ?Ñ AÔ A× EÒ EÑ GÔ G�Ø  4Ò'Ð'ÝÐ?¨1Ð?Ð?°Ð?Ð?Ñ@Ô@Ð@øð	Að 	Ar   r   c                 óÖ   — | dd…df         }|dk    rt          j        |dd¦  «        }|S t          j        |dd¬¦  «        dd…d|…f         }|s|                     ¦   «         \  }}|S |S )z4
        Get top k topkens based on logits.
        Néÿÿÿÿr   T)Ú
descending)r<   ÚargmaxÚargsortÚsort)rD   r   Úrequired_orderÚlastTokenLogitsÚgeneratedTokensÚtopkÚsorted_topkÚ_s           r   r¬   zGpt2Tester.predict_next_token  s‚   € ð !    B œ-ˆØ�AŠ:ˆ:Ý#œl¨?¸A¸tÑDÔDˆOØ"Ð"å”= °"ÀÐFÑFÔFÀqÀqÀqÈ&È5È&ÀyÔQˆDØ!ð #Ø!%§¢¡¤‘�˜QØ"Ð"ØˆKr   c                 óú  — g }t          |¦  «        D ]Ö}t          | |dz            t          j        ¦  «        rt	          j        | |dz            ¦  «        n
| |dz            }t          ||dz            t          j        ¦  «        rt	          j        ||dz            ¦  «        n
||dz            }||z
                       ¦   «                              ¦   «         }|                     |¦  «         Œ×t          d|› �¦  «         dS )zO
        Compare the present outputs of two outputs from ONNX Runtime.
        r   zpresent_diff_max=N)
rl   rž   r†   rŸ   r<   rª   r2   r3   rY   r#   )Úonnx_outputÚonnx_io_outputre   Úpresent_diff_maxr£   Úonnx_present_iÚonnx_io_present_irG   s           r   Údiff_presentzGpt2Tester.diff_present+  s  € ð
 ÐÝ�w‘”ð 	.ð 	.ˆAõ ˜k¨!¨a©%Ô0µ%´-Ñ@Ô@ð(•Ô  ¨Q°©UÔ!3Ñ4Ô4Ð4à   Q¡Ô'ð õ ˜n¨Q°©UÔ3µU´]ÑCÔCð+•Ô  °°A±Ô!6Ñ7Ô7Ð7à# A¨¡EÔ*ð ð
 'Ð):Ñ:×?Ò?ÑAÔA×EÒEÑGÔGˆHØ×#Ò# HÑ-Ô-Ð-Ð-ÝÐ4Ð"2Ð4Ð4Ñ5Ô5Ð5Ð5Ð5r   c                 óF   — ddl m}  || ¦  «        }ddlm} |j        |k    S )z>
        Returns True if the ONNX model is quantized.
        r   )Úload)Ú__producer__)r’   rÏ   Ú!onnxruntime.quantization.quantizerÐ   Úproducer_name)Úonnx_model_pathrÏ   ÚmodelÚquantize_producers       r   Úis_quantized_onnx_modelz"Gpt2Tester.is_quantized_onnx_model@  sF   € ð
 	ÐÐÐÐÐà��_Ñ%Ô%ˆØWÐWÐWÐWÐWÐWàÔ"Ð&7Ò7Ð7r   ÚGpt2LMHeadModelTé   r   ú.c                 óˆ  — t          d|› d|› d|› dt          |¦  «        › d|	› d�¦  «         |j        j        }|j        j        }|j        j        }|j        j        }d}|t          j        k    }|r#d|  	                    ¦   «         d         j
        v sJ ‚|                     ¦   «                              |¦  «         t          j        d	d
d|j        |¬¦  «        }t          j        |||¬¦  «        }d}|t          j        k    rdnd}t#          |||¦  «        }t#          |||¦  «        }t#          |dz   ||¦  «        }t%          |¦  «        D �]9\  }}|	dk    r	||	k    r �n&|dz  dk    rt          |› ¦  «         |d         }|                     dd¦  «        }|                     dd¦  «        }t)          |||||||||| ¦
  «
        }t)          |||||||||| ¦
  «
        } t)          |||||||d|| ¦
  «
        }!|!j        }"|                     |"¦  «         |                     |"¦  «         t/          j        ¦   «         5  t/          j        |"t.          j        ¬¦  «        }#t7          |¦  «        D �]×}$t9          |j                             ¦   «         ¦  «        d         }%t9          |j        d                              ¦   «         ¦  «        d         }&tA          j!        ¦   «         }'t          j"        ||! #                    ¦   «         ¦  «        }(| $                    |&tA          j!        ¦   «         |'z
  ¦  «         |! %                    |(|$|¦  «         t          j&        | | #                    ¦   «         d¬¦  «        \  })}*| $                    |&|*dz  ¦  «         | %                    |)|$|¦  «         t          j        |"|&|%|j        |¬¦  «        }+t          j'        ||+¦  «         t          j(        | |  #                    ¦   «         ||+ddd¬¦  «        \  },}*| $                    |&|*dz  ¦  «         ||k     r|  )                    | |,||¦  «         |dz  }|  %                    |,|$|¦  «         |
r| *                    | ¦  «         t(           +                    |)|,|¦  «         t          d ¦  «         t          d!|!j,        ¦  «         t          d"|j,        ¦  «         t          d#| j,        ¦  «         | -                    |!||&|
¬$¦  «         | -                    |!| |&|
¬$¦  «         |#|!j,        |k     .                    ¦   «         z  }#t/          j/        |#¦  «        r n�ŒÙddd¦  «         n# 1 swxY w Y   | 0                    ¦   «          | 0                    ¦   «          �Œ;|                      ¦   «          |                      ¦   «          |                      ¦   «          dS )%z·
        Test Generation using greedy beam search (without sampling) to compare PyTorch and ONNX model.
        It will print top 1 and top k errors on the given test inputs.
        zstart test generation: (top_k=z top_k_no_order=z max_steps=z test_inputs=z max_inputs=ú)r   ro   é   é€   é    )r8   Úpast_sequence_lengthÚsequence_lengthÚconfigÚmodel_class)Ú
is_float16r   zQuantized OnnxÚOnnxz with IO Bindingé
   rf   rg   Nrh   Fr:   r   é   )Ú
total_runsr    )râ   T)rç   Úreturn_numpyÚinclude_copy_output_latencyzTop 1 tokens:z	Torchz	ONNXz	ONNX with IO binding)rF   )1r#   r(   rá   re   Ún_headÚn_embdÚeos_token_idr   ÚFLOAT16r�   rn   Úevalrq   r   Úget_output_shapesÚget_output_buffersÚINT8r   r™   Úgetra   r8   r?   r<   Úno_gradr=   r>   rl   r³   rf   Úsizerk   ÚtimeitÚdefault_timerÚpytorch_inferencer}   r[   r¶   Úonnxruntime_inferenceÚauto_increase_buffer_sizeÚ$onnxruntime_inference_with_binded_ior¨   r6   rÍ   rB   rH   ÚanyrK   rT   )-r    rÔ   rv   Útest_inputsÚ	precisionrâ   r   Útop_k_no_orderÚ	max_stepsÚ
max_inputsrF   r¨   r¡   re   rê   rë   rì   Útest_data_savedrã   Úinit_output_shapesÚoutput_buffersr   r   Útorch_metricÚonnx_metricÚonnx_io_metricr£   Úinputsrf   rg   rh   Úonnx_runnerÚonnx_io_runnerÚtorch_runnerr8   Údoner´   Úseq_lenrE   Ú
start_timeÚpytorch_outputrÈ   Úavg_latency_msÚoutput_shapesrÉ   s-                                                r   Útest_generationzGpt2Tester.test_generationL  sÉ  € õ( 	ð c¨Uð  cð  cÀNð  cð  cÐ_hð  cð  cÕwzð  |Gñ  xHô  xHð  cð  cð  V`ð  cð  cð  cñ	
ô 	
ð 	
ð ”,Ô&ˆØ”Ô$ˆØ”Ô$ˆØ”|Ô0ˆØˆà¥)Ô"3Ò3ˆ
Øð 	>Ø × 3Ò 3Ñ 5Ô 5°aÔ 8Ô =Ð=Ð=Ð=Ð=ð 	�
Š
‰Œ�Š˜ÑÔÐõ (Ô9ØØ!$ØØ”<Ø#ð
ñ 
ô 
Ðõ $Ô6Ð7IÈ6Ð^hÐiÑiÔiˆàˆØ-6½)¼.Ò-HÐ-HÐ)Ð)ÈfˆÝ! -°ÀÑFÔFˆÝ  °ÀÑFÔFˆÝ# NÐ5GÑ$GÈÐX]Ñ^Ô^ˆå" ;Ñ/Ô/ð q	'ñ q	'‰IˆAˆvØ˜AŠ~ˆ~ ! z¢/ /Ø‘Ø�2‰v˜Š{ˆ{Ý˜�f‘”�Ø˜{Ô+ˆIØ!Ÿ:š: n°dÑ;Ô;ˆLØ#ŸZšZÐ(8¸$Ñ?Ô?ˆNå$ØØØØØØØØØØ"Ð"ñô ˆKõ (ØØØØØØØØØØ"Ð"ñô ˆNõ &ØØØØØØØØØØ"Ð"ñô ˆLð &Ô0ˆJØ×#Ò# JÑ/Ô/Ð/Ø×&Ò& zÑ2Ô2Ð2å”‘”ð <ð <Ý”{ :µU´ZÐ@Ñ@Ô@�Ý! )Ñ,Ô,ð :ñ :�DÝ" ;Ô#8×#=Ò#=Ñ#?Ô#?Ñ@Ô@ÀÔC�GÝ#'¨Ô(8¸Ô(;×(@Ò(@Ñ(BÔ(BÑ#CÔ#CÀAÔ#F�Lå!'Ô!5Ñ!7Ô!7�JÝ%/Ô%AÀ%È×I`ÒI`ÑIbÔIbÑ%cÔ%c�NØ ×,Ò,¨\½6Ô;OÑ;QÔ;QÐT^Ñ;^Ñ_Ô_Ð_Ø ×'Ò'¨¸¸fÑEÔEÐEå2<Ô2RØ ×!7Ò!7Ñ!9Ô!9Àað3ñ 3ô 3Ñ/�K ð  ×+Ò+¨L¸.È6Ñ:QÑRÔRÐRØ×&Ò& {°D¸&ÑAÔAÐAå$.Ô$@Ø"Ø$ØØœØ$/ð%ñ %ô %�Mõ Ô8¸ÈÑWÔWÐWõ
 #ÔGØØ&×1Ò1Ñ3Ô3Ø&Ø%Ø#$Ø%*Ø48ðñ ô ñØ&Ø&ð #×.Ò.¨|¸^ÈfÑ=TÑUÔUÐUà&¨Ò7Ð7Ø&×5Ò5°g¸~ÐOaÐcrÑsÔsÐsØ'¨1Ñ,˜à"×)Ò)¨.¸$ÀÑGÔGÐGàð UØ#×(Ò(¨Ñ8Ô8Ð8Ý"×/Ò/°¸^ÈWÑUÔUÐUå˜oÑ.Ô.Ð.Ý˜i¨Ô)BÑCÔCÐCÝ˜h¨Ô(@ÑAÔAÐAÝÐ6¸Ô8SÑTÔTÐTà×*Ò*¨<¸ÀlÐ\cÐ*ÑdÔdÐdØ"×-Ò-¨l¸NÈLÐbiÐ-ÑjÔjÐjà <Ô#<ÀÒ#L×"QÒ"QÑ"SÔ"SÑS�DÝ”y ‘”ð Ø˜ñðw<ð <ð <ñ <ô <ð <ð <ð <ð <ð <ð <øøøð <ð <ð <ð <ð| ×!Ò!Ñ#Ô#Ð#Ø×$Ò$Ñ&Ô&Ð&Ñ&à×ÒÑÔÐØ×ÒÑÔÐØ×ÒÑÔÐÐÐs   È<L	UÕU	ÕU	N)Fr	   F)r   F)r\   r]   r^   r   r   r}   r¨   r¶   r6   Ústaticmethodr¬   rÍ   rÖ   r   ÚFLOAT32r  r_   r   r   ra   ra   s   s#  € € € € € ð ØØ"ð)9ð )9ð )9ð )9ðV]˜Jð ]ð ]ð ]ð ]ð%6ð %6ð %6ðN&4ð &4ð &4ðP%Að %Að %AðN ðð ð ñ „\ðð$ ð6ð 6ñ „\ð6ð( ð	8ð 	8ñ „\ð	8ð ð Ô#Ø%ØØØØØØØðhð hð hñ „\ðhð hð hr   ra   )ÚloggingrW   r“   r&   rõ   r†   r<   Úbenchmark_helperr   Úgpt2_helperr   r   Ú	getLoggerr\   Úloggerr   ra   r_   r   r   ú<module>r     sò   ðð €€€Ø €€€Ø 	€	€	€	Ø Ð Ð Ð Ø €€€à €€€Ø €€€Ø &Ð &Ð &Ð &Ð &Ð &Ø .Ð .Ð .Ð .Ð .Ð .Ð .Ð .à	ˆÔ	˜8Ñ	$Ô	$€ð[2ð [2ð [2ð [2ð [2ñ [2ô [2ð [2ð|Bð Bð Bð Bð Bñ Bô Bð Bð Bð Br   