§
    û¸¸jþN  ã                  óÜ   — d dl mZ d dlZd dlZd dlmZmZ d dlm	Z	 d dl
mZmZ d;d
„Z	 	 d<d=d„Z	 	 	 	 d>d?d„Z	 	 	 	 	 d@dAd„ZdBd!„ZdCdDd"„ZdEd%„Z	 	 	 dFdGd)„ZdHd+„ZdId.„ZdJd1„ZdKd4„ZdLd:„ZdS )Mé    )ÚannotationsN)Ú
AutoConfigÚAutoTokenizer)ÚDynamicCache)ÚInferenceSessionÚOrtValueÚattention_maskútorch.TensorÚuse_past_kvÚboolc                óÐ   — |                       ¦   «                              d¦  «        dz
  }|                     | dk    d¦  «         |r|d d …df                              d¦  «        }|S )Néÿÿÿÿé   r   )ÚlongÚcumsumÚmasked_fill_Ú	unsqueeze)r	   r   Úposition_idss      ú‚/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/onnxruntime/transformers/models/llama/llama_inputs.pyÚget_position_idsr      sq   € Ø!×&Ò&Ñ(Ô(×/Ò/°Ñ3Ô3°aÑ7€LØ×Ò˜n°Ò1°1Ñ5Ô5Ð5Øð 9à# A A A r EÔ*×4Ò4°RÑ8Ô8ˆð Ðó    ÚptFÚconfigr   Údeviceútorch.deviceÚ
batch_sizeÚintÚseq_lenÚengineÚstrÚreturn_dictc                óð  — t          j        d| j        ||ft           j        ¬¦  «        }t          j        ||t           j        ¬¦  «        }t          |d¬¦  «        }|dk    r|                     ¦   «         n|                     |¦  «        }|dk    r|                     ¦   «         n|                     |¦  «        }|dk    r|                     ¦   «         n|                     |¦  «        }|s|||fS |||dœ}	|	S )Nr   ©ÚlowÚhighÚsizeÚdtype©r'   F©r   Úort©Ú	input_idsr	   r   )ÚtorchÚrandintÚ
vocab_sizeÚint64Úonesr   ÚnumpyÚto)
r   r   r   r   r   r!   r,   r	   r   Úinputss
             r   Úget_sample_inputsr5       s  € õ ” !¨&Ô*;À:ÈwÐBWÕ_dÔ_jÐkÑkÔk€IÝ”Z 
¨G½5¼;ÐGÑGÔG€NÝ# NÀÐFÑFÔF€Lð &,¨u¢_ _�	—’Ñ!Ô!Ð!¸)¿,º,ÀvÑ:NÔ:N€IØ/5¸ª¨�^×)Ò)Ñ+Ô+Ð+ÀN×DUÒDUÐV\ÑD]ÔD]€NØ+1°Uª?¨?�<×%Ò%Ñ'Ô'Ð'ÀÇÂÐPVÑ@WÔ@W€Làð 9à˜>¨<Ð8Ð8ð Ø(Ø$ðð €Fð
 €Mr   r   Úpast_seq_lenÚuse_fp16Ú
world_sizec                ó4  ‡— t          j        d| j        |dft           j        ¬¦  «        }t          j        ||dz   t           j        ¬¦  «        }	t          |	d¬¦  «        }
t          | ||||¬¦  «        }|dk    r|                     ¦   «         n|                     ‰¦  «        }|dk    r|	                     ¦   «         n|	                     ‰¦  «        }	|dk    r|
                     ¦   «         n|
                     ‰¦  «        }
|dk    rt          |¦  «        nˆfd	„|D ¦   «         }|st          |t          ¦  «        sJ ‚||	|
|fS ||	|
d
œ}|dk    r-t          |t          ¦  «        sJ ‚|                     |¦  «         nt          |t          ¦  «        sJ ‚||d<   |S )Nr   r   r#   r(   Tr)   ©r8   r*   c                ó|   •— g | ]8}|d                                ‰¦  «        |d                               ‰¦  «        f‘Œ9S ©r   r   ©r3   ©Ú.0Úkvr   s     €r   ú
<listcomp>z2get_sample_with_past_kv_inputs.<locals>.<listcomp>X   óE   ø€ Ð@xÐ@xÐ@xÐjlÀ"ÀQÄ%Ç(Â(È6ÑBRÔBRÐTVÐWXÔTY×T\ÒT\Ð]cÑTdÔTdÐAeÐ@xÐ@xÐ@xr   r+   Úpast_key_values)r-   r.   r/   r0   r1   r   Úget_past_kv_inputsr2   r3   Úflatten_past_kv_inputsÚ
isinstanceÚlistÚdictÚupdate)r   r   r   r6   r7   r   r!   r8   r,   r	   r   Úpast_kvr4   s    `           r   Úget_sample_with_past_kv_inputsrK   C   sÉ  ø€ õ ” !¨&Ô*;À:ÈqÀ/ÕY^ÔYdÐeÑeÔe€IÝ”Z 
¨L¸1Ñ,<ÅEÄKÐPÑPÔP€Nå# NÀÐEÑEÔE€LÝ  ¨°\À8ÐXbÐcÑcÔc€Gð &,¨u¢_ _�	—’Ñ!Ô!Ð!¸)¿,º,ÀvÑ:NÔ:N€IØ/5¸ª¨�^×)Ò)Ñ+Ô+Ð+ÀN×DUÒDUÐV\ÑD]ÔD]€NØ+1°Uª?¨?�<×%Ò%Ñ'Ô'Ð'ÀÇÂÐPVÑ@WÔ@W€Là+1°Uª?¨?Õ˜wÑ'Ô'Ð'Ð@xÐ@xÐ@xÐ@xÐpwÐ@xÑ@xÔ@xð ð ð Bå˜'¥4Ñ(Ô(Ð(Ð(Ð(Ø˜>¨<¸ÐAÐAð Ø(Ø$ðð €Fð
 �‚€Ý˜'¥4Ñ(Ô(Ð(Ð(Ð(Ø�Š�gÑÔÐÐå˜'¥4Ñ(Ô(Ð(Ð(Ð(Ø$+ˆÐ Ñ!à€Mr   Úmax_seq_lenÚuse_buffer_sharec                ób  ‡— t          j        d| j        ||ft           j        ¬¦  «        }t          j        |||z   t           j        ¬¦  «        }t          ||dk    ¬¦  «        }t          | ||||
¬¦  «        }|dk    r|                     ¦   «         n|                     ‰¦  «        }|dk    r|                     ¦   «         n|                     ‰¦  «        }|dk    r|                     ¦   «         n|                     ‰¦  «        }|dk    rt          |¦  «        nˆfd„|D ¦   «         }|	st          |t          ¦  «        sJ ‚||||fS |||dœ}|dk    r@t          |t          ¦  «        sJ ‚|                     |¦  «         |rt          |||¦  «        }nt          |t          ¦  «        sJ ‚||d	<   |S )
Nr   r#   r(   r)   r:   r*   c                ó|   •— g | ]8}|d                                ‰¦  «        |d                               ‰¦  «        f‘Œ9S r<   r=   r>   s     €r   rA   z9get_merged_sample_with_past_kv_inputs.<locals>.<listcomp>‘   rB   r   r+   rC   )r-   r.   r/   r0   r1   r   rD   r2   r3   rE   rF   rG   rH   rI   Ú enable_past_present_share_buffer)r   r   r   r   r6   rL   r7   rM   r   r!   r8   r,   r	   r   rJ   r4   s    `              r   Ú%get_merged_sample_with_past_kv_inputsrQ   y   sê  ø€ õ ” !¨&Ô*;À:ÈwÐBWÕ_dÔ_jÐkÑkÔk€IÝ”Z 
¨L¸7Ñ,BÍ%Ì+ÐVÑVÔV€Nå# NÀÐQRÒARÐTÑTÔT€LÝ  ¨°\À8ÐXbÐcÑcÔc€Gð &,¨u¢_ _�	—’Ñ!Ô!Ð!¸)¿,º,ÀvÑ:NÔ:N€IØ/5¸ª¨�^×)Ò)Ñ+Ô+Ð+ÀN×DUÒDUÐV\ÑD]ÔD]€NØ+1°Uª?¨?�<×%Ò%Ñ'Ô'Ð'ÀÇÂÐPVÑ@WÔ@W€Là+1°Uª?¨?Õ˜wÑ'Ô'Ð'Ð@xÐ@xÐ@xÐ@xÐpwÐ@xÑ@xÔ@xð ð ð Bå˜'¥4Ñ(Ô(Ð(Ð(Ð(Ø˜>¨<¸ÐAÐAð Ø(Ø$ðð €Fð
 �‚€Ý˜'¥4Ñ(Ô(Ð(Ð(Ð(Ø�Š�gÑÔÐàð 	YÝ5°f¸lÈKÑXÔXˆFøõ ˜'¥4Ñ(Ô(Ð(Ð(Ð(Ø$+ˆÐ Ñ!à€Mr   Úsplit_kvc                óh  — |rt           j        nt           j        }| j        | j        z  }	|�st           j                             ||| j        ¦  «                             |¦  «        dt          j        t          j	        |||f¦  «        d¬¦  «        z                       |¦  «        t           j                             || j
        || j        |	¦  «                             |¦  «        t           j                             || j
        || j        |	¦  «                             |¦  «        t          j        |t           j        ¬¦  «        dœ}
�nkt           j                             ||| j        ¦  «                             |¦  «        t          j        t          j	        |||ft           j        ¬¦  «        d¬¦  «        dz
                       t           j        ¦  «        t          j        |t           j        ¬¦  «        dœ}
t          | j
        ¦  «        D ]“}|
                     d|› d�t           j                             || j        ||	¦  «                             |¦  «        d	|› d�t           j                             || j        ||	¦  «                             |¦  «        i¦  «         Œ”|rt!          |
||¦  «        }
|
S )
Ng     ˆÃÀr   )Úkr(   )ÚxÚ	attn_maskÚk_cacheÚv_cacheÚpos)rU   rV   rY   Úk_Ú_cacheÚv_)ÚnpÚfloat16Úfloat32Úhidden_sizeÚnum_attention_headsÚrandomÚrandÚastypeÚtriur1   Únum_hidden_layersÚarrayr0   Úint32ÚrangerI   rP   )r   r   r6   r   rL   r7   rM   rR   Únp_dtypeÚ	head_sizeÚ
ort_inputsÚis               r   Úget_msft_sample_inputsrn   ­   st  € ð &Ð5�rŒzˆz­2¬:€HØÔ" fÔ&@Ñ@€Iàñ !aå”—’ 
¨G°VÔ5GÑHÔH×OÒOÐPXÑYÔYØ"¥R¤W­R¬W°jÀ+È{Ð5[Ñ-\Ô-\Ð`aÐ%bÑ%bÔ%bÑb×jÒjÐksÑtÔtÝ”y—~’~Ø˜FÔ4°lÀFÔD^Ð`iñô çŠf�XÑÔÝ”y—~’~Ø˜FÔ4°lÀFÔD^Ð`iñô çŠf�XÑÔÝ”8˜Lµ´Ð9Ñ9Ô9ð

ð 

ˆ
‰
õ ”—’ 
¨G°VÔ5GÑHÔH×OÒOÐPXÑYÔYÝœ'¥"¤'¨:°{ÀKÐ*PÕXZÔX`Ð"aÑ"aÔ"aÐefÐgÑgÔgÐjkÑk×sÒsÝ”ñô õ ”8˜Lµ´Ð9Ñ9Ô9ð
ð 
ˆ
õ �vÔ/Ñ0Ô0ð 
	ð 
	ˆAØ×Òà"˜�N�N�N¥B¤I§N¢NØ" FÔ$>ÀÈiñ%ô %ç’f˜XÑ&Ô&Ø"˜�N�N�N¥B¤I§N¢NØ" FÔ$>ÀÈiñ%ô %ç’f˜XÑ&Ô&ðñ	ô 	ð 	ð 	ð ð 	aÝ9¸*ÀlÐT_Ñ`Ô`ˆJàÐr   c                óì   ‡‡‡‡‡— | j         |z  Št          | d¦  «        r| j        n| j        | j        z  Š|rt
          j        nt
          j        Šˆˆˆˆˆfd„t          | j	        ¦  «        D ¦   «         }|S )NÚhead_dimc           
     ót   •— g | ]4}t          j        ‰‰‰‰‰¬ ¦  «        t          j        ‰‰‰‰‰¬ ¦  «        f‘Œ5S )r(   )r-   rc   )r?   Ú_r   rk   Ú	num_headsr6   Útorch_dtypes     €€€€€r   rA   z&get_past_kv_inputs.<locals>.<listcomp>æ   s]   ø€ ð ð ð ð
 õ ŒJ�z 9¨l¸IÈ[ÐYÑYÔYÝŒJ�z 9¨l¸IÈ[ÐYÑYÔYð	
ðð ð r   )
Únum_key_value_headsÚhasattrrp   r`   ra   r-   r^   r_   ri   rf   )	r   r   r6   r7   r8   rJ   rk   rs   rt   s	    ``   @@@r   rD   rD   â   sœ   øøøøø€ ØÔ*¨jÑ8€IÝ#*¨6°:Ñ#>Ô#>Ðt�”�ÀFÔDVÐZ`ÔZtÑDt€IØ#+Ð>•%”-�-µ´€Kðð ð ð ð ð ð ð õ
 �vÔ/Ñ0Ô0ðñ ô €Gð €Nr   rC   ú'list[tuple[torch.Tensor, torch.Tensor]]c                ó^  — i }t          | ¦  «        D �]\  }\  }}t          | t          ¦  «        r}|                     ¦   «                              ¦   «                              ¦   «         |d|› �<   |                     ¦   «                              ¦   «                              ¦   «         |d|› �<   Œ›|                     ¦   «                              ¦   «                              ¦   «         |d|› d�<   |                     ¦   «                              ¦   «                              ¦   «         |d|› d�<   �Œ|S )NÚpast_key_values_key_cache_Úpast_key_values_value_cache_úpast_key_values.ú.keyú.value)Ú	enumeraterF   r   ÚdetachÚcpur2   )rC   rJ   rm   Úpast_kÚpast_vs        r   rE   rE   ñ   s  € Ø€GÝ(¨Ñ9Ô9ð Rñ RÑˆÑˆF�FÝ�o¥|Ñ4Ô4ð 	RØ8>¿º¹¼×8KÒ8KÑ8MÔ8M×8SÒ8SÑ8UÔ8UˆGÐ4°Ð4Ð4Ñ5Ø:@¿-º-¹/¼/×:MÒ:MÑ:OÔ:O×:UÒ:UÑ:WÔ:WˆGÐ6°1Ð6Ð6Ñ7Ð7à28·-²-±/´/×2EÒ2EÑ2GÔ2G×2MÒ2MÑ2OÔ2OˆGÐ. qÐ.Ð.Ð.Ñ/Ø4:·M²M±O´O×4GÒ4GÑ4IÔ4I×4OÒ4OÑ4QÔ4QˆGÐ0 qÐ0Ð0Ð0Ñ1Ñ1Ø€Nr   é   Ú	pt_inputsrH   c                ól  — i }|                       ¦   «         D ]‰\  }}t          |t          j        ¦  «        r|||<   Œ%|dk    r#|                     t          |¦  «        ¦  «         ŒN|                     ¦   «                              ¦   «                              ¦   «         ||<   ŒŠ|rt          |||¦  «        }|S )NrC   )
ÚitemsrF   r]   ÚndarrayrI   rE   r   r€   r2   rP   )r„   rM   r6   rL   rl   rT   Úvs          r   Úconvert_inputs_for_ortr‰   þ   s½   € ð €JØ—’Ñ!Ô!ð 5ð 5‰ˆˆ1Ý�a�œÑ$Ô$ð 	5ØˆJ�q‰MˆMØÐ#Ò#Ð#Ø×ÒÕ4°QÑ7Ô7Ñ8Ô8Ð8Ð8àŸHšH™JœJŸNšNÑ,Ô,×2Ò2Ñ4Ô4ˆJ�q‰MˆMð ð ]Ý5°jÀ,ÐP[Ñ\Ô\ˆ
àÐr   rl   c                óÌ   — |                       ¦   «         D ]N\  }}d|v sd|v rA|j        \  }}}}t          j        ||||f|j        ¬¦  «        }	||	d |…d |…d |…d |…f<   |	| |<   ŒO| S )NÚcacherC   r(   )r†   Úshaper]   Úzerosr'   )
rl   r6   rL   rT   rˆ   r   rs   rr   rk   Únew_vs
             r   rP   rP     s™   € Ø× Ò Ñ"Ô"ð "ð "‰ˆˆ1à�aˆ<ˆ<Ð,°Ð1Ð1à23´'Ñ/ˆJ˜	 1 iÝ”H˜j¨)°[À)ÐLÐTUÔT[Ð\Ñ\Ô\ˆEØHIˆE�+�:�+˜z 	˜z¨=¨L¨=¸*¸9¸*ÐDÑEØ!ˆJ�q‰MøØÐr   Úmodelr   c                ó&  — d„ |                       ¦   «         D ¦   «         }t          |                     ¦   «         ¦  «        }||z
  }t          |¦  «        r!t	          d|› �¦  «         t          d¦  «        ‚||z
  }t          |¦  «        r|D ]}||= Œ|S )Nc                ó   — h | ]	}|j         ’Œ
S © ©Úname)r?   Úmodel_inputs     r   ú	<setcomp>z$verify_ort_inputs.<locals>.<setcomp>%  s   € ÐKÐKÐK¨�KÔ$ÐKÐKÐKr   z(The following model inputs are missing: zEThere are missing inputs to the model. Please add them and try again.)Ú
get_inputsÚsetÚkeysÚlenÚprintÚ	Exception)r�   rl   Úmodel_inputsÚuser_inputsÚmissing_inputsÚunnecessary_inputsÚunnecessary_inputs          r   Úverify_ort_inputsr¢   #  s¹   € àKÐK¸×8HÒ8HÑ8JÔ8JÐKÑKÔK€LÝ�j—o’oÑ'Ô'Ñ(Ô(€KØ! KÑ/€NÝ
ˆ>ÑÔð aÝÐI¸ÐIÐIÑJÔJÐJÝÐ_Ñ`Ô`Ð`ð % |Ñ3ÐÝ
ÐÑÔð .Ø!3ð 	.ð 	.ÐØÐ,Ð-Ð-àÐr   Ú	device_idÚkv_cache_ortvaluesc                ó  — |                       ¦   «         }d„ |                      ¦   «         D ¦   «         }|                     ¦   «         D ]°\  }}	||vrŒ
|rwd|v sd|v ro||vr3t          j        |	||¬¦  «        }
|                     ||
¦  «         |
||<   ŒK||                              |	¦  «         |                     |||         ¦  «         Œƒt          j        |	||¬¦  «        }
|                     ||
¦  «         Œ±|                      ¦   «         D ]r}|j        }|rOd|v sd|v rG| 	                    dd¦  «         	                    dd¦  «        }| 
                    |||         ¦  «         ŒZ|                     |||¬¦  «         Œs||fS )Nc                ó   — h | ]	}|j         ’Œ
S r’   r“   )r?   rm   s     r   r–   z/add_io_bindings_as_ortvalues.<locals>.<setcomp>A  s   € Ð7Ð7Ð7˜q�A”FÐ7Ð7Ð7r   r‹   rC   )Údevice_typer£   ÚoutÚpresent)Ú
io_bindingr—   r†   r   Úortvalue_from_numpyÚbind_ortvalue_inputÚupdate_inplaceÚget_outputsr”   ÚreplaceÚbind_ortvalue_outputÚbind_output)r�   rl   r   r£   rM   r¤   rª   r�   rT   rˆ   Úv_deviceÚoutputr”   Ú
input_names                 r   Úadd_io_bindings_as_ortvaluesrµ   7  sÝ  € ð ×!Ò!Ñ#Ô#€Jà7Ð7 E×$4Ò$4Ñ$6Ô$6Ð7Ñ7Ô7€LØ× Ò Ñ"Ô"ð 8ð 8‰ˆˆ1ð �LÐ Ð Øð ð 
	8 ¨A  Ð1BÀaÐ1GÐ1GØÐ*Ð*Ð*Ý#Ô7¸ÀvÐYbÐcÑcÔc�Ø×.Ò.¨q°(Ñ;Ô;Ð;Ø(0Ð" 1Ñ%Ð%à" 1Ô%×4Ò4°QÑ7Ô7Ð7Ø×.Ò.¨qÐ2DÀQÔ2GÑHÔHÐHÐHåÔ3°AÀ6ÐU^Ð_Ñ_Ô_ˆHØ×*Ò*¨1¨hÑ7Ô7Ð7Ð7à×#Ò#Ñ%Ô%ð Rð RˆØŒ{ˆØð 	R ¨$  °)¸tÐ2CÐ2CàŸš e¨WÑ5Ô5×=Ò=¸iÐIZÑ[Ô[ˆJØ×+Ò+¨DÐ2DÀZÔ2PÑQÔQÐQÐQà×"Ò" 4°VÀyÐ"ÑQÔQÐQÐQàÐ)Ð)Ð)r   r4   Úoutputsc           
     óX  — t          | |¦  «        }d }t          j        t          j        t          j        t          j        dœ}|                      ¦   «         }|                     ¦   «         D ]‰\  }}	|                     ||	j	        j
        |	j	        j
        dk    rdn|	j	        j        |t          |	j        ¦  «                 t          |	j        ¦  «        |	                     ¦   «         ¬¦  «         |	j	        }ŒŠ|                      ¦   «         D ]¡}
|
j        }|r d|v r||                     dd¦  «                 n||         }	|                     ||j
        |j
        dk    rdn|j        |rt          j        nt          j        t          |	j        ¦  «        |	                     ¦   «         ¬¦  «         Œ¢|S )N)ztorch.int32ztorch.int64ztorch.float16ztorch.float32r€   r   )r”   r§   r£   Úelement_typerŒ   Ú
buffer_ptrr©   rC   )r¢   r]   rh   r0   r^   r_   rª   r†   Ú
bind_inputr   ÚtypeÚindexÚreprr'   ÚtuplerŒ   Údata_ptrr®   r”   r¯   r±   )r�   r4   r¶   r7   rM   r   Úpt_to_nprª   rT   rˆ   r³   r”   s               r   Úadd_io_bindings_as_tensorsrÁ   d  s¥  € õ ˜u fÑ-Ô-€Fà€Få”xÝ”xÝœÝœð	ð €Hð ×!Ò!Ñ#Ô#€JØ—’‘”ð 	ð 	‰ˆˆ1Ø×ÒØØœœØœ8œ=¨EÒ1Ð1�a�a°q´x´~Ø!¥$ q¤w¡-¤-Ô0Ý˜œ‘.”.Ø—z’z‘|”|ð 	ñ 	
ô 	
ð 	
ð ”ˆˆà×#Ò#Ñ%Ô%ð 
ð 
ˆØŒ{ˆð  ðØ$-°Ð$5Ð$5ð �4—<’< 	Ð+<Ñ=Ô=Ô>Ð>à˜”ð 	
ð
 	×ÒØØœØ!œ;¨%Ò/Ð/�a�a°V´\Ø(0Ð@�"œ*˜*µb´jÝ˜œ‘.”.Ø—z’z‘|”|ð 	ñ 	
ô 	
ð 	
ð 	
ð Ðr   Ú	tokenizerr   Úrequested_lengthÚpromptú	list[str]c           	     ó|  — |j         |_        |                     |d¬¦  «        }|rt          j        nt          j        }	t          j        |d         |t          j        ¬¦  «        }
t          j        |d         |t          j        ¬¦  «        }t          |d¬¦  «        }|
j	        d         }||k    r.|
d d …d |…f         }
|d d …d |…f         }t          |d¬¦  «        }n ||k     rš|
d d …d	f          
                    d	¦  «        j        }|d d …d	f          
                    d	¦  «        j        }t          ||z
  ¦  «        D ].}t          j        ||
f¦  «        }
t          j        ||f¦  «        }Œ/t          |d¬¦  «        }|
j	        d         }||k    sJ ‚|d
k    r|
                     ¦   «         n|
|d
k    r|                     ¦   «         n||d
k    r|                     ¦   «         n|dœ}|d
k    rg |d<   |
j	        \  }}| j        }| j        }t#          | d¦  «        r| j        n| j        | j        z  }t          | j        ¦  «        D ]§}t          j        |||r|nd	|||	¬¦  «        }t          j        |||r|nd	|||	¬¦  «        }|d
k    rF|                     d|› d�|                     ¦   «         d|› d�|                     ¦   «         i¦  «         ŒŠ|d                              ||f¦  «         Œ¨d }|d
k    rÆt          j        ||| j        ||	¬¦  «        }d|                     ¦   «         i}|s�t          | j        ¦  «        D ]{}t          j        ||||||	¬¦  «        }t          j        ||||||	¬¦  «        }|                     d|› d�|                     ¦   «         d|› d�|                     ¦   «         i¦  «         Œ|||fS )NT)Úpaddingr,   )r   r'   r	   Fr)   r   r   r*   r+   rC   rp   r{   r|   r}   Úlogitszpresent.)Ú	eos_tokenÚ	pad_tokenÚbatch_encode_plusr-   r^   r_   Útensorr0   r   rŒ   r   ÚTri   ÚhstackÚ
contiguousÚmax_position_embeddingsru   rv   rp   r`   ra   rf   r�   rI   Úappendr/   )r   rÂ   rÃ   rÄ   r   r7   rM   r   Úencodings_dictrt   r,   r	   r   Útokenized_lengthÚinput_ids_first_colÚattention_mask_first_colrr   r4   r   Úsequence_lengthÚmax_sequence_lengthrs   rk   rm   Úpast_keyÚ
past_valuer¶   rÈ   Úpresent_keyÚpresent_values                                 r   Úget_initial_inputs_and_outputsrÜ   ”  s›  € ð $Ô-€IÔØ×0Ò0°ÀÐ0ÑFÔF€NØ#+Ð>•%”-�-µ´€Kõ
 ”˜^¨KÔ8ÀÍuÌ{Ð[Ñ[Ô[€IÝ”\ .Ð1AÔ"BÈ6ÕY^ÔYdÐeÑeÔe€NÝ# NÀÐFÑFÔF€Lð !” rÔ*ÐØÐ*Ò*Ð*à˜a˜a˜aÐ!2Ð"2Ð!2Ð2Ô3ˆ	Ø'¨¨¨Ð+<Ð,<Ð+<Ð(<Ô=ˆÝ'¨ÀEÐJÑJÔJˆˆØ	Ð,Ò	,Ð	,à'¨¨¨¨1¨œo×7Ò7¸Ñ:Ô:Ô<ÐØ#1°!°!°!°Q°$Ô#7×#AÒ#AÀ!Ñ#DÔ#DÔ#FÐ ÝÐ'Ð*:Ñ:Ñ;Ô;ð 	Vð 	VˆAÝœÐ&9¸9Ð%EÑFÔFˆIÝ"œ\Ð+CÀ^Ð*TÑUÔUˆNˆNÝ'¨ÀEÐJÑJÔJˆà ” rÔ*ÐØÐ/Ò/Ð/Ð/Ð/ð 06¸ª¨�Y×)Ò)Ñ+Ô+Ð+ÀIØ9?À5º¸˜.×3Ò3Ñ5Ô5Ð5ÈnØ5;¸u²_°_˜×/Ò/Ñ1Ô1Ð1È,ðð €Fð
 �‚€Ø$&ˆÐ Ñ!ð #,¤/Ñ€J�Ø Ô8ÐØÔ*€IÝ#*¨6°:Ñ#>Ô#>Ðt�”�ÀFÔDVÐZ`ÔZtÑDt€Iõ �6Ô+Ñ,Ô,ð Eð EˆÝ”;ØØØ#3Ð:ÐÐ¸ØØØð
ñ 
ô 
ˆõ ”[ØØØ#3Ð:ÐÐ¸ØØØð
ñ 
ô 
ˆ
ð �UŠ?ˆ?Ø�MŠMà. qÐ.Ð.Ð.°×0CÒ0CÑ0EÔ0EØ0 qÐ0Ð0Ð0°*×2GÒ2GÑ2IÔ2Iðñô ð ð ð Ð$Ô%×,Ò,¨h¸
Ð-CÑDÔDÐDÐDà€GØ�‚€å”˜Z¨¸&Ô:KÐTZÐbmÐnÑnÔnˆØ˜V×.Ò.Ñ0Ô0Ð1ˆØð 
	Ý˜6Ô3Ñ4Ô4ð 	ð 	�Ý#œkØ 	¨?¸IÈfÐ\gðñ ô �õ !&¤Ø 	¨?¸IÈfÐ\gð!ñ !ô !�ð —’Ø' Ð'Ð'Ð'¨×)?Ò)?Ñ)AÔ)AÐCWÈaÐCWÐCWÐCWÐYf×YqÒYqÑYsÔYsÐtñô ð ð ð �7ˆ?Ðr   )r	   r
   r   r   )r   F)r   r   r   r   r   r   r   r   r   r    r!   r   )Fr   Fr   )r   r   r   r   r   r   r6   r   r7   r   r   r    r!   r   r8   r   )FFr   Fr   )r   r   r   r   r   r   r   r   r6   r   rL   r   r7   r   rM   r   r   r    r!   r   r8   r   )r   r   r   r   r6   r   r   r   rL   r   r7   r   rM   r   rR   r   )r   )
r   r   r   r   r6   r   r7   r   r8   r   )rC   rw   )Fr   rƒ   )r„   rH   rM   r   r6   r   rL   r   )rl   rH   r6   r   rL   r   )r�   r   rl   rH   )r�   r   rl   rH   r   r    r£   r   rM   r   r¤   rH   )
r�   r   r4   rH   r¶   rH   r7   r   rM   r   )r   r   rÂ   r   rÃ   r   rÄ   rÅ   r   r   r7   r   rM   r   r   r    )Ú
__future__r   r2   r]   r-   Útransformersr   r   Útransformers.cache_utilsr   Úonnxruntimer   r   r   r5   rK   rQ   rn   rD   rE   r‰   rP   r¢   rµ   rÁ   rÜ   r’   r   r   ú<module>rá      sÕ  ðð #Ð "Ð "Ð "Ð "Ð "à Ð Ð Ð Ø €€€Ø 2Ð 2Ð 2Ð 2Ð 2Ð 2Ð 2Ð 2Ø 1Ð 1Ð 1Ð 1Ð 1Ð 1à 2Ð 2Ð 2Ð 2Ð 2Ð 2Ð 2Ð 2ðð ð ð ð( Øðð ð ð ð ðP ØØØð)ð )ð )ð )ð )ðz Ø"ØØØð0ð 0ð 0ð 0ð 0ðh0ð 0ð 0ð 0ðjð ð ð ð ð	ð 	ð 	ð 	ð #ØØð	ð ð ð ð ð0	ð 	ð 	ð 	ðð ð ð ð((*ð (*ð (*ð (*ðZ,ð ,ð ,ð ,ð`dð dð dð dð dð dr   