§
    û¸¸j†C  ã                   ó’   — d dl Zd dlZd dlmZ d dlZej        ej        ej	        ej
        dœZd„ Z G d„ d¦  «        Z	 	 	 	 	 d
d	„ZdS )é    N)ÚAutoTokenizer)ztorch.int32ztorch.int64ztorch.float32ztorch.float16c                 óì   — ddl m} |                     |                      ¦   «         |                     ¦   «         |                     ¦   «         |                     ¦   «         z  |j        j        ¦  «         d S )Nr   )Úcudart)Úcudar   Ú
cudaMemcpyÚdata_ptrÚelement_sizeÚnelementÚcudaMemcpyKindÚcudaMemcpyDeviceToDevice)ÚdstÚsrcr   s      ú†/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/onnxruntime/transformers/models/phi2/inference_example.pyÚcuda_memcpyr      sq   € ØÐÐÐÐÐà
×ÒØ�Š‰ŒØ�Š‰ŒØ×ÒÑÔ˜SŸ\š\™^œ^Ñ+ØÔÔ6ñ	ô ð ð ð ó    c                   ó\   — e Zd Zd„ Zd„ Zd„ Zdej        dedefd„Z		 dd
„Z
dd„Zd„ Zd„ ZdS )ÚORTGeneratorc                 ó„   — || _         d| _        d| _        d| _        d| _        d| _        d| _        d| _        i | _        d S )Né    éP   i   r   F)	Úonnx_decoder_pathÚ	num_headsÚ	head_sizeÚ
num_layersÚmax_sequence_lengthÚ	device_idÚuse_cuda_graphÚuse_traced_inputsÚstatic_inputs_map)ÚselfÚdecoder_paths     r   Ú__init__zORTGenerator.__init__    sL   € Ø!-ˆÔØˆŒØˆŒØˆŒØ#'ˆÔ ØˆŒØ#ˆÔØ!&ˆÔØ!#ˆÔÐÐr   c                 óR  — || j         v rd S t          j        d¦  «        }t          j        d| j        ¦  «        }i }t          j        |dft          j        |¬¦  «        |d<   t          j        dgt          j        |¬¦  «        |d<   t          j        |dgz  t          j        |¬¦  «        |d<   t          j        dgt          j        |¬¦  «        |d	<   || j        | j	        | j
        f}t          | j        ¦  «        D ]x}t          j        ||t          j        ¬
¦  «        }|                     d|› �|                     ¦   «         d|› �|                     ¦   «                              ¦   «         i¦  «         Œyt          j        |ddft          j        |¬¦  «        |d<   || j         |<   d S )NÚcpur   é   )ÚdtypeÚdeviceÚ	input_idsr   ÚstepÚ	seqlens_kÚtotal_sequence_length©r'   r&   Ú	past_key_Úpast_value_é È  Úlogits)r   Útorchr'   r   ÚzerosÚint32ÚtensorÚint64r   r   r   Úranger   Úfloat16ÚupdateÚ
contiguousÚclone)r    Ú
batch_sizeÚ
cpu_deviceÚcuda_deviceÚ	static_ioÚcache_shapeÚiÚcaches           r   Úappend_static_inputsz!ORTGenerator.append_static_inputs+   s˜  € à˜Ô/Ð/Ð/ØˆFå”\ %Ñ(Ô(ˆ
Ý”l 6¨4¬>Ñ:Ô:ˆàˆ	Ý!&¤¨j¸!¨_ÅEÄKÐXcÐ!dÑ!dÔ!dˆ	�+ÑÝ!œL¨!¨µE´KÈÐTÑTÔTˆ	�&ÑÝ!&¤¨j¸A¸3Ñ.>ÅeÄkÐZeÐ!fÑ!fÔ!fˆ	�+ÑÝ-2¬\¸1¸#ÅUÄ[ÐYcÐ-dÑ-dÔ-dˆ	Ð)Ñ*à! 4¤>°4Ô3KÈTÌ^Ð\ˆÝ�t”Ñ'Ô'ð 	sð 	sˆAÝ”K °KÅuÄ}ÐUÑUÔUˆEØ×Ò˜o¨!˜o˜o¨u×/?Ò/?Ñ/AÔ/AÐCTÐQRÐCTÐCTÐV[×VaÒVaÑVcÔVc×VnÒVnÑVpÔVpÐqÑrÔrÐrÐrå#œk¨:°q¸%Ð*@ÍÌÐ^iÐjÑjÔjˆ	�(Ñà-6ˆÔ˜zÑ*Ð*Ð*r   c           	      óâ	  — | j         rt          j        nt          j        | _        t          j        |d         | j        t          j        ¬¦  «        }t          j        |d         | j        t          j        ¬¦  «        }|j        \  }}| j	        o|| j
        v o| j        o| j         | _        | j        s't          j        dg| j        t          j        ¬¦  «        n| j
        |         d         }| j        s*t          j        |dgz  | j        t          j        ¬¦  «        n| j
        |         d         }t          ||                     d¦  «                             d¦  «                             t          j        ¦  «        ¦  «         | j        s4t          j        dgt          j        d¦  «        t          j        ¬¦  «        n| j
        |         d	         }||d<   |                     ¦   «         |                     ¦   «         d
œ}	| j        r|                     ¦   «         |	d<   | j	        r1|                     ¦   «         |	d<   |                     ¦   «         |	d	<   |	d= | j        r| j        nd}
| j        rd|| j        |
| j        fn|| j        |
| j        f}| j        sÁt1          | j        ¦  «        D ]«}t          j        || j        | j        ¬¦  «        }| j        sU|	                     d|› �|                     ¦   «         d|› �|                     ¦   «                              ¦   «         i¦  «        n+|	                     d|› �|                     ¦   «         i¦  «         Œ¬n‚t1          | j        ¦  «        D ]m}|	                     d|› �| j
        |         d|› �                              ¦   «         d|› �| j
        |         d|› �                              ¦   «         i¦  «         Œnt          j        ||d| j        | j        ¬¦  «        }d|                     ¦   «         i}| j        sÖ| j        rd|| j        || j        fn|| j        || j        f}t1          | j        ¦  «        D ]™}t          j        || j        | j        ¬¦  «        }| j        sC|                     d|› �|                     ¦   «         d|› �|                     ¦   «         i¦  «        n+|                     d|› �|                     ¦   «         i¦  «         Œš|	|fS )Nr(   r,   Úattention_maskr   r)   r*   r%   r$   r+   )r(   rD   é   r-   r.   Úpast_r/   r0   Úpresent_key_Úpresent_value_Úpresent_)Úuse_fp16r1   r7   Úfloat32Útorch_dtyper4   r'   r3   Úshaper   r   Úuse_buffer_shareÚ	packed_kvr   r5   r   ÚsumÚsubÚtor9   Úuse_stepr   r   r   r6   r   r2   r8   r:   )r    Úencodings_dictr(   rD   r;   Úsequence_lengthr)   r*   Útotal_seq_lengthÚinputsÚpast_seq_lengthÚ
past_shaper@   Úpastr0   ÚoutputsÚpresent_shapeÚpresents                     r   Úget_initial_inputs_and_outputsz+ORTGenerator.get_initial_inputs_and_outputsB   s)  € Ø,0¬MÐL�5œ=˜=½u¼}ˆÔå”L °Ô!<ÀTÄ[ÕX]ÔXcÐdÑdÔdˆ	Ýœ nÐ5EÔ&FÈtÌ{ÕbgÔbmÐnÑnÔnˆà&/¤oÑ#ˆ
�Oð Ôð #Ø˜tÔ5Ð5ð#àÔ%ð#ð ”NÐ"ð	 	Ôð Ô)ð<�EŒL˜!˜ T¤[½¼ÐDÑDÔDÐDàÔ'¨
Ô3°FÔ;ð 	ð Ô)ðA�EŒL˜ q cÑ)°$´+ÅUÄ[ÐQÑQÔQÐQàÔ'¨
Ô3°KÔ@ð 	õ
 	�I˜~×1Ò1°!Ñ4Ô4×8Ò8¸Ñ;Ô;×>Ò>½u¼{ÑKÔKÑLÔLÐLð Ô)ðM�EŒL˜!˜¥U¤\°%Ñ%8Ô%8ÅÄÐLÑLÔLÐLàÔ'¨
Ô3Ð4KÔLð 	ð
 .Ð˜Ñð #×-Ò-Ñ/Ô/Ø,×7Ò7Ñ9Ô9ð
ð 
ˆð
 Œ=ð 	/Ø!Ÿ_š_Ñ.Ô.ˆF�6‰NàÔð 	)Ø"+×"6Ò"6Ñ"8Ô"8ˆF�;ÑØ.>×.IÒ.IÑ.KÔ.KˆFÐ*Ñ+ØÐ'Ð(à6:Ô6KÐR˜$Ô2Ð2ÐQRˆð Œ~ðOˆQ�
˜DœN¨O¸T¼^ÐLÐLà˜dœn¨o¸t¼~ÐNð 	ð Ô%ð 	Ý˜4œ?Ñ+Ô+ð ð �Ý”{ :°d´kÈÔIYÐZÑZÔZ�ð  œ>ðI�F—M’M ?¨q ? ?°D·O²OÑ4EÔ4EÐGXÐUVÐGXÐGXÐZ^×ZdÒZdÑZfÔZf×ZqÒZqÑZsÔZsÐ"tÑuÔuÐuàŸš¨°¨¨°T·_²_Ñ5FÔ5FÐ'GÑHÔHøøðõ ˜4œ?Ñ+Ô+ð ð �Ø—’à' A˜˜¨Ô)?À
Ô)KÈOÐXYÈOÈOÔ)\×)gÒ)gÑ)iÔ)iØ) aÐ)Ð)¨4Ô+AÀ*Ô+MÐN_Ð\]ÐN_ÐN_Ô+`×+kÒ+kÑ+mÔ+mðñô ð ð õ ”˜Z¨¸%ÈÌÐ[_Ô[kÐlÑlÔlˆØ˜V×.Ò.Ñ0Ô0Ð1ˆàÔ$ð 	ð ”>ðS��J ¤°ÀÄÐPÐPà  $¤.°/À4Ä>ÐRð õ
 ˜4œ?Ñ+Ô+ð ð �Ýœ+ m¸D¼KÈtÔO_Ð`Ñ`Ô`�ð
  œ>ðP�G—N’NØ+¨Ð+Ð+¨W×-?Ò-?Ñ-AÔ-AÐCWÐTUÐCWÐCWÐY`×YkÒYkÑYmÔYmÐnñô ð ð !Ÿš¨°A¨¨¸×9KÒ9KÑ9MÔ9MÐ(NÑOÔOøøð �wˆÐr   ÚmodelrW   r[   c           
      óÞ  — |                      ¦   «         }d }|                     ¦   «         D ]Ž\  }}|                     ||j        j        |j        j        dk    rdn|j        j        t          t          |j        ¦  «                 t          |j
        ¦  «        |                     ¦   «         ¬¦  «         |j        }Œ�|                     ¦   «         D �]}|j        }	| j        r‘d|	v r�||	                     dd¦  «                 }|                     |	|j        j        |j        j        | j        rt$          j        nt$          j        t          |j
        ¦  «        |                     ¦   «         ¬¦  «         Œ¢||	         }|                     |	|j        |j        dk    rdn|j        | j        rt$          j        nt$          j        t          |j
        ¦  «        |                     ¦   «         ¬¦  «         �Œ|S )Nr$   r   )ÚnameÚdevice_typer   Úelement_typerM   Ú
buffer_ptrr]   rZ   )Ú
io_bindingÚitemsÚ
bind_inputr'   ÚtypeÚindexÚpt_to_npÚreprr&   ÚtuplerM   r   Úget_outputsra   rN   ÚreplaceÚbind_outputrJ   Únpr7   rK   )
r    r_   rW   r[   re   r'   ÚkÚvÚoutputra   s
             r   Úapply_io_bindingzORTGenerator.apply_io_bindingŸ   sÈ  € Ø×%Ò%Ñ'Ô'ˆ
Øˆà—L’L‘N”Nð 		ð 		‰DˆAˆqØ×!Ò!ØØœHœMØ œxœ}°Ò5Ð5˜!˜!¸1¼8¼>Ý%¥d¨1¬7¡m¤mÔ4Ý˜AœG‘n”nØŸ:š:™<œ<ð "ñ ô ð ð ”XˆFˆFà×'Ò'Ñ)Ô)ð 	ñ 	ˆFØ”;ˆDØÔ$ð ¨°dÐ):Ð):Ø˜4Ÿ<š<¨	°6Ñ:Ô:Ô;�Ø×&Ò&ØØ !¤¤ØœhœnØ04´Ð"M¥"¤* *Å2Ä:Ý ¤™.œ.Ø Ÿzšz™|œ|ð 'ñ ô ð ð ð ˜D”M�Ø×&Ò&ØØ &¤Ø#)¤;°%Ò#7Ð#7˜a˜a¸V¼\Ø04´Ð"M¥"¤* *Å2Ä:Ý ¤™.œ.Ø Ÿzšz™|œ|ð 'ñ ô ð ñ ð Ðr   TFc                 ó<  — || _         t          j        ¦   «         }d|_        d|_        || _        | j         dk    rd| j         | j        dœfnd}t          j        | j        ||g¬¦  «        | _        t          j	        ¦   «         | _
        t          j                             ¦   «         rt          j        d| j         ¦  «        nt          j        d¦  «        | _        || _        || _        || _        || _        t'          j        d	d
¬¦  «        | _        d| j        _        d S )Né   r   ÚCUDAExecutionProvider)r   Úenable_cuda_graphÚCPUExecutionProvider)Úsess_optionsÚ	providersr   r$   zmicrosoft/phi-2T)Útrust_remote_codez[PAD])r   ÚortÚSessionOptionsÚlog_verbosity_levelÚlog_severity_levelr   ÚInferenceSessionr   ÚsessÚ
RunOptionsÚror1   r   Úis_availabler'   rJ   rN   rO   rS   r   Úfrom_pretrainedÚ	tokenizerÚ	pad_token)	r    r   rJ   rN   rO   rS   r   rz   Úeps	            r   Úcreate_sessionzORTGenerator.create_sessionÇ   s  € ð #ˆŒÝÔ)Ñ+Ô+ˆØ+,ˆÔ(Ø*+ˆÔ'Ø,ˆÔð Œ~ Ò"Ð"ð %°D´NÐY]ÔYlÐ&mÐ&mÐnÐnà'ð 	õ
 Ô(¨Ô)?ÈlÐgiÐfjÐkÑkÔkˆŒ	Ý”.Ñ"Ô"ˆŒå>C¼j×>UÒ>UÑ>WÔ>WÐp•e”l 6¨4¬>Ñ:Ô:Ð:Õ]bÔ]iÐjoÑ]pÔ]pˆŒØ ˆŒØ 0ˆÔØ"ˆŒØ ˆŒå&Ô6Ð7HÐ\`ÐaÑaÔaˆŒØ#*ˆŒÔ Ð Ð r   c                 ó&  — |                       |¦  «        \  }}|d                              ¦   «         }|j        \  }}	|	}
t          j        || j        t          j        ¬¦  «        }|rdd l}g }d}|
|k     �r¤|                      | j	        ||¦  «        }|r|                     ¦   «         }| 
                    ¦   «          |r}| j        r| j                             dd¦  «         | j	                             || j        ¦  «         | j        r1| j                             d| j        rt!          |¦  «        nd¦  «         d}n | j	                             || j        ¦  «         |                     ¦   «          |r,|                     ¦   «         }|                     ||z
  ¦  «         |d         d d …d	d d …f         }t          j        |d	¬
¦  «        }||z  | j        j        k    }|                     || j        j        ¦  «                             |dg¦  «        }t          j        ||gd	¬
¦  «        }t          j        |¦  «        r�nÜ|
dz  }
|                     t          j        ¦  «        |d<   | j        r=t9          | j        |         d         |d         ¦  «         | j        |         d         |d<   | j        rqt          j        |
dz
  g| j        t          j         ¬¦  «        |d<   | j        r=t9          | j        |         d         |d         ¦  «         | j        |         d         |d<   | j        rÊ|d         }||                      |d¦  «        z                        t          j        ¦  «        |d<   |
|d         d<   | j        rut9          | j        |         d         |d         ¦  «         | j        |         d         |d<   |d         d         | j        |         d         d<   | j        |         d         |d<   nRt          j        |d         |                      |d¦  «        gd¦  «                             t          j        ¦  «        |d<   |d         j        d         dk    rI|d         d d …d d…d d …f          !                    ¦   «         |d<   | j        r| j        |         d         |d<   |d          "                    ¦   «          | j#        �sMtI          | j%        ¦  «        D ]=}| j&        s#|d|› �         |d|› �<   |d|› �         |d|› �<   Œ,|d|› �         |d|› �<   Œ>|d         j        d         }| j&        rd|| j'        || j(        fn|| j'        || j(        f}tI          | j%        ¦  «        D ]«}t          j        || j        | j)        ¬¦  «        }| j&        sU| *                    d|› �| !                    ¦   «         d|› �|                     ¦   «          !                    ¦   «         i¦  «        n+| *                    d|› �| !                    ¦   «         i¦  «         Œ¬|
|k     �°¤|rYtW          d|› d|	› d||	z
  › �¦  «         tW          dd|d         z  › ddtY          j-        |dd …         ¦  «        z  › d�¦  «         d S | j         .                    |d¬¦  «        }|S )Nr(   r,   r   TÚgpu_graph_idz-1Fr0   éÿÿÿÿ)Údimr%   r)   r*   r+   rD   rG   r-   rH   r.   rI   rF   rE   zBatch size: z, Sequence length: z, Token num: zPrompt letency: iè  zms, Token latency: Úms)Úskip_special_tokens)/r^   r:   rM   r1   r2   r'   ÚboolÚtimert   r‚   Úsynchronize_inputsr   r„   Úadd_run_config_entryÚrun_with_iobindingr   ÚstrÚsynchronize_outputsÚappendÚargmaxr‡   Úeos_token_idÚmasked_fillÚreshapeÚcatÚallrR   r3   r   r   rS   r4   r5   r9   Úzero_rN   r6   r   rO   r   r   rL   r8   Úprintrp   ÚmeanÚbatch_decode)r    rT   Ú
max_lengthÚcuda_graph_annotationÚ	benchmarkrW   r[   Úall_token_idsr;   rU   Úcurrent_lengthÚhas_eosr’   ÚlatencyÚ
prompt_runre   ÚstartÚendÚnext_token_logitsÚnext_tokensÚtokens_to_addÚprevious_seqlens_kr@   Únew_sequence_lengthr\   r]   Útextss                              r   Úgenerate_implzORTGenerator.generate_implà   sC  € Ø×=Ò=¸nÑMÔM‰ˆ�à˜{Ô+×1Ò1Ñ3Ô3ˆØ&3Ô&9Ñ#ˆ
�Oà(ˆÝ”+˜j°´ÅEÄJÐOÑOÔOˆàð 	ØˆKˆKˆKàˆGàˆ
Ø˜zÒ)Ñ)Ø×.Ò.¨t¬y¸&À'ÑJÔJˆJàð $ØŸ	š	™œ�à×)Ò)Ñ+Ô+Ð+Øð BØÔ&ð Gà”G×0Ò0°ÀÑFÔFÐFØ”	×,Ò,¨Z¸¼ÑAÔAÐAØÔ&ð à”G×0Ò0Ø&ÀdÔF\Ð(f­Ð,AÑ(BÔ(BÐ(BÐbfñô ð ð #�
�
à”	×,Ò,¨Z¸¼ÑAÔAÐAØ×*Ò*Ñ,Ô,Ð,àð ,Ø—i’i‘k”k�Ø—’˜s U™{Ñ+Ô+Ð+ð !(¨Ô 1°!°!°!°R¸¸¸°(Ô ;ÐÝœ,Ð'8¸bÐAÑAÔAˆKð  Ñ+¨t¬~Ô/JÒJˆGð (×3Ò3°G¸T¼^Ô=XÑYÔY×aÒaÐcmÐopÐbqÑrÔrˆMÝ!œI }°mÐ&DÈ"ÐMÑMÔMˆMõ Œy˜Ñ!Ô!ð Ùð ˜aÑˆNà"/×"2Ò"2µ5´;Ñ"?Ô"?ˆF�;ÑØÔ%ð VÝ˜DÔ2°:Ô>¸{ÔKÈVÐT_ÔM`ÑaÔaÐaØ&*Ô&<¸ZÔ&HÈÔ&U��{Ñ#àŒ}ð PÝ!&¤¨~ÀÑ/AÐ.BÈ4Ì;Õ^cÔ^iÐ!jÑ!jÔ!j��v‘ØÔ)ð PÝ Ô 6°zÔ BÀ6Ô JÈFÐSYÌNÑ[Ô[Ð[Ø%)Ô%;¸JÔ%GÈÔ%O�F˜6‘NàÔ"ð "Ø%+¨KÔ%8Ð"Ø'9¸g¸X×<NÒ<NÈzÐ[\Ñ<]Ô<]Ñ']×&aÒ&aÕbgÔbmÑ&nÔ&n��{Ñ#Ø5C�Ð.Ô/°Ñ2ØÔ)ð rÝ Ô 6°zÔ BÀ;Ô OÐQWÐXcÔQdÑeÔeÐeØ*.Ô*@ÀÔ*LÈ[Ô*Y�F˜;Ñ'ØU[Ð\sÔUtÐuvÔUw�DÔ*¨:Ô6Ð7NÔOÐPQÑRØ6:Ô6LÈZÔ6XÐYpÔ6q�FÐ2Ñ3øå+0¬9ØÐ,Ô-°°×/AÒ/AÀ*ÈaÑ/PÔ/PÐQÐSTñ,ô ,ç’"•U”[‘/”/ð Ð'Ñ(ð
 �xÔ Ô& qÔ)¨QÒ.Ð.Ø$+¨HÔ$5°a°a°a¸¸!¸¸Q¸Q¸Q°hÔ$?×$JÒ$JÑ$LÔ$L�˜Ñ!ØÔ)ð UØ(,Ô(>¸zÔ(JÈ8Ô(T�G˜HÑ%Ø�HÔ×#Ò#Ñ%Ô%Ð%àÔ(ñ Ý˜tœÑ/Ô/ð Fð F�AØœ>ð FØ29Ð:LÈÐ:LÐ:LÔ2M˜˜¨1˜˜Ñ/Ø4;Ð<PÈQÐ<PÐ<PÔ4Q˜Ð0¨QÐ0Ð0Ñ1Ð1à.5°nÀ°n°nÔ.E˜˜{ q˜{˜{Ñ+Ð+à&,Ð-=Ô&>Ô&DÀQÔ&GÐ#ð ”~ð[�Q˜
 D¤NÐ4GÈÌÐXÐXà$ d¤nÐ6IÈ4Ì>ÐZð õ
 ˜tœÑ/Ô/ð ð �AÝ#œk¨-ÀÄÐSWÔScÐdÑdÔd�Gð  $œ~ðT˜Ÿšà 2¨qÐ 2Ð 2°G×4FÒ4FÑ4HÔ4HØ 4°Ð 4Ð 4°g·m²m±o´o×6PÒ6PÑ6RÔ6Rðñô ð ð %Ÿ^š^¨^¸¨^¨^¸W×=OÒ=OÑ=QÔ=QÐ,RÑSÔSøøðK ˜zÒ)Ñ)ðP ð 	ÝØz˜zÐzÐz¸oÐzÐzÐ\fÐixÑ\xÐzÐzñô ð õ Ðj T¨G°A¬JÑ%6ÐjÐjÈ4ÕRTÔRYÐZaÐbcÐbdÐbdÔZeÑRfÔRfÑKfÐjÐjÐjÑkÔkÐkØˆFà”×+Ò+¨MÈtÐ+ÑTÔTˆØˆr   c                 óh   — | j                              |d¬¦  «        }|                      |||¦  «        S )NT)Úpadding)r‡   Úbatch_encode_plusr³   )r    Úpromptr£   r¤   rT   s        r   ÚgeneratezORTGenerator.generatea  s5   € Øœ×9Ò9¸&È$Ð9ÑOÔOˆà×!Ò! .°*Ð>SÑTÔTÐTr   c                 ób  — |\  }}||z   }i }t          j        dd||ft           j        ¬¦  «                             ¦   «         |d<   t          j        ||ft           j        ¬¦  «                             ¦   «         |d<   |                      |||d¬¦  «         |                      |||d¬¦  «         d S )	Nr   iXÄ  )r&   r(   rD   F)r¥   T)r1   Úrandintr3   ÚtolistÚonesr³   )r    Úprompt_shapeÚ	token_numr¤   r;   rU   r£   rT   s           r   Úgenerate_benchmarkzORTGenerator.generate_benchmarkf  sÄ   € Ø&2Ñ#ˆ
�OØ$ yÑ0ˆ
àˆÝ&+¤m°A°u¸zÈ?Ð>[ÕchÔcnÐ&oÑ&oÔ&o×&vÒ&vÑ&xÔ&xˆ�{Ñ#Ý+0¬:°zÀ?Ð6SÕ[`Ô[fÐ+gÑ+gÔ+g×+nÒ+nÑ+pÔ+pˆÐ'Ñ(ð 	×Ò˜>¨:Ð7LÐX]ÐÑ^Ô^Ð^ð 	×Ò˜>¨:Ð7LÐX\ÐÑ]Ô]Ð]Ð]Ð]r   N)TTFFF)F)Ú__name__Ú
__module__Ú__qualname__r"   rB   r^   r}   r�   Údictrt   rŠ   r³   r¸   r¿   © r   r   r   r      sÍ   € € € € € ð	$ð 	$ð 	$ð7ð 7ð 7ð.[ð [ð [ðz& cÔ&:ð &ÀDð &ÐSWð &ð &ð &ð &ðR puð+ð +ð +ð +ð2ð ð ð ðBUð Uð Uð
^ð ^ð ^ð ^ð ^r   r   FTc                 ó
  ‡‡— t          | ¦  «        Š‰                     |||||‰¦  «         ˆˆfd„}dg}	|s ||	¦  «         |r=d}
dD ]:}‰                     |¦  «         dD ]}||f}‰                     ||
|¬¦  «         ŒŒ9d S d S )Nc                 ó  •— t          | ¦  «        }‰r‰                     |¬¦  «         ‰                     | d|¬¦  «        }t          t          |¦  «        ¦  «        D ].}t	          d| |         ¦  «         t	          d||         ¦  «         Œ/d S )N)r;   éÒ   )r£   r¤   zPrompt: zTexts: )ÚlenrB   r¸   r6   r    )r·   Úexample_batch_sizer²   r@   Ú	generatorr   s       €€r   Ú
simple_runzrun_phi2.<locals>.simple_run‚  s�   ø€ Ý  ™[œ[ÐØð 	JØ×*Ò*Ð6HÐ*ÑIÔIÐIØ×"Ò" 6°cÐQcÐ"ÑdÔdˆå•s˜5‘z”zÑ"Ô"ð 	'ð 	'ˆAÝ�*˜f QœiÑ(Ô(Ð(Ý�)˜U 1œXÑ&Ô&Ð&Ð&ð	'ð 	'r   zV```python
    def print_prime(n):
    """
    Print all primes between 1 and n
    """r   )r%   rE   rv   é   )é   i   )r¤   )r   rŠ   rB   r¿   )Úonnx_model_pathrN   r   rO   rJ   rS   r   Úrun_benchmarkrË   r·   r¾   r;   rU   r½   rÊ   s         `       @r   Úrun_phi2rÐ   u  s  øø€ õ ˜_Ñ-Ô-€IØ×Ò˜Y¨Ð2BÀIÈxÐYgÑhÔhÐhð'ð 'ð 'ð 'ð 'ð 'ð	ð€Fð ð Øˆ
�6ÑÔÐð ð hØˆ	Ø&ð 	hð 	hˆJØ×*Ò*¨:Ñ6Ô6Ð6Ø#,ð hð h�Ø *¨OÐ<�Ø×,Ò,¨\¸9Ð\fÐ,ÑgÔgÐgÐgðhð	hð hð	hð 	hr   )FTFFF)Únumpyrp   r1   Útransformersr   Úonnxruntimer}   r3   r5   rK   r7   rj   r   r   rÐ   rÄ   r   r   ú<module>rÔ      sÙ   ðð Ð Ð Ð Ø €€€Ø &Ð &Ð &Ð &Ð &Ð &à Ð Ð Ð ð ”8Ø”8Ø”ZØ”Zð	ð €ðð ð ðS^ð S^ð S^ð S^ð S^ñ S^ô S^ð S^ðt
 ØØØØð)hð )hð )hð )hð )hð )hr   