§
    û¸¸j6=  ã                   ód  — d dl Z d dlZd dlZd dlmZ d dlmZ  e j        e	¦  «        Z
	 	 d,dedej        ded	ed
ef
d„Z	 d-dedej        ded	edef
d„Z	 d.dedej        ded
efd„Z	 d.dedej        deded
ef
d„Zdeeej        ej        f                  deeej        ej        f                  fd„Zdeeej        ej        ej        ej        f                  fd„Z	 	 d/dedej        dedefd„Z	 d.dej        dedefd„Z	 d.dej        dedefd„Z	 d.dedej        ded	ed
ef
d„Z	 	 d,dedej        ded	ed
ef
d„Z	 	 	 d0dedej        ded ed!ed
edefd"„Z	 	 d1dedej        ded#ed	ed
edefd$„Z	 	 d1dedej        ded	edededed
edefd%„Zd&ed'efd(„Z ded)ee!         d*ee!         fd+„Z"dS )2é    N)ÚWhisperConfig)ÚInferenceSessioné¸  FÚconfigÚdeviceÚ
batch_sizeÚsequence_lengthÚuse_fp16c                 óv   — |rt           j        nt           j        }t          j        || j        |||¬¦  «        }|S ©N©r   Údtype)ÚtorchÚfloat16Úfloat32ÚrandnÚnum_mel_bins)r   r   r   r	   r
   Útorch_dtypeÚaudio_featuress          ú†/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/onnxruntime/transformers/models/whisper/whisper_inputs.pyÚget_sample_audio_featuresr   !   s;   € ð $,Ð>•%”-�-µ´€KÝ”[ ¨VÔ-@À/ÐZ`ÐhsÐtÑtÔt€NØÐó    TÚ	use_int32c                 óz   — |rt           j        nt           j        }t          j        d| j        ||f||¬¦  «        }|S )Nr   )ÚlowÚhighÚsizer   r   )r   Úint32Úint64ÚrandintÚ
vocab_size)r   r   r   r	   r   r   Údecoder_input_idss          r   Úget_sample_decoder_input_idsr#   /   sJ   € ð "+Ð;•%”+�+µ´€KÝœØ�FÔ%¨Z¸Ð,IÐRXÐ`kðñ ô Ðð Ðr   c                 ó€   — |rt           j        nt           j        }t          j        || j        | j        ||¬¦  «        }|S r   )r   r   r   r   Úmax_source_positionsÚd_model)r   r   r   r
   r   Úencoder_hidden_statess         r   Ú get_sample_encoder_hidden_statesr(   ?   sF   € ð $,Ð>•%”-�-µ´€KÝ!œKØ�FÔ/°´ÈÐVaðñ ô Ðð !Ð r   Úpast_seq_lenc                 ó(  ‡‡‡‡‡‡	‡
— | j         Š	| j        ‰	z  Š| j        Š|rt          j        nt          j        Š
ˆˆˆˆ	ˆˆ
fd„t          | j        ¦  «        D ¦   «         }ˆˆˆˆˆ	ˆ
fd„t          | j        ¦  «        D ¦   «         }t          ||¦  «        S )Nc                 óx   •— g | ]6}t          j        ‰‰‰‰‰‰¬ ¦  «        t          j        ‰‰‰‰‰‰¬ ¦  «        f‘Œ7S ©r   ©r   Úrand)Ú.0Ú_r   r   Ú	head_sizeÚ	num_headsr)   r   s     €€€€€€r   ú
<listcomp>z.get_sample_past_key_values.<locals>.<listcomp>\   sc   ø€ ð  ð  ð  ð
 õ ŒJ�z 9¨l¸IÈfÐ\gÐhÑhÔhÝŒJ�z 9¨l¸IÈfÐ\gÐhÑhÔhð	
ð ð  ð  r   c                 óx   •— g | ]6}t          j        ‰‰‰‰‰‰¬ ¦  «        t          j        ‰‰‰‰‰‰¬ ¦  «        f‘Œ7S r,   r-   )r/   r0   r   r   r1   r%   r2   r   s     €€€€€€r   r3   z.get_sample_past_key_values.<locals>.<listcomp>c   sg   ø€ ð !ð !ð !ð
 õ ŒJ�z 9Ð.BÀIÐV\ÐdoÐpÑpÔpÝŒJ�z 9Ð.BÀIÐV\ÐdoÐpÑpÔpð	
ð!ð !ð !r   )	Údecoder_attention_headsr&   r%   r   r   r   ÚrangeÚnum_hidden_layersÚflatten_past_key_values)r   r   r   r)   r
   Úself_attention_kv_cachesÚcross_attention_kv_cachesr1   r%   r2   r   s    ```   @@@@r   Úget_sample_past_key_valuesr;   O   sð   øøøøøøø€ ð Ô.€IØ” )Ñ+€IàÔ#ð ð $,Ð>•%”-�-µ´€Kð ð  ð  ð  ð  ð  ð  ð  ð  õ
 �vÔ/Ñ0Ô0ð ñ  ô  Ðð!ð !ð !ð !ð !ð !ð !ð !ð !õ
 �vÔ/Ñ0Ô0ð!ñ !ô !Ðõ #Ð#;Ð=VÑWÔWÐWr   Úself_attn_kv_cachesÚcross_attn_kv_cachesc                 ó|   — g }t          | |d¬¦  «        D ]&\  \  }}\  }}||||f}|                     |¦  «         Œ'|S )NF)Ústrict)ÚzipÚappend)r<   r=   Úpast_key_valuesÚself_k_cacheÚself_v_cacheÚcross_k_cacheÚcross_v_cacheÚlayer_kv_cachess           r   r8   r8   o   sn   € ð €OÝHKØÐ1¸%ðIñ Iô Ið 0ð 0ÑDÑ$ˆ�|Ñ&D }°mð (¨°}ÀmÐTˆØ×Ò˜Ñ/Ô/Ð/Ð/ØÐr   Ú	kv_cachesc                 óÎ   — g g }}| D ][\  }}}}|                      |¦  «         |                      |¦  «         |                      |¦  «         |                      |¦  «         Œ\||fS ©N)rA   )rH   r<   r=   rC   rD   rE   rF   s          r   Úgroup_past_key_valuesrK   ~   s†   € ð 13°BÐ-ÐØDMð 3ð 3Ñ@ˆ�l M°=Ø×"Ò" <Ñ0Ô0Ð0Ø×"Ò" <Ñ0Ô0Ð0Ø×#Ò# MÑ2Ô2Ð2Ø×#Ò# MÑ2Ô2Ð2Ð2ØÐ 4Ð4Ð4r   é   Únum_alignment_headsc                 ól   — |rt           j        nt           j        }t          j        |df||¬¦  «        }|S )Né   r   )r   r   r   Úones)r   r   rM   r   r   Úalignment_headss         r   Úget_sample_alignment_headsrR   Œ   s9   € ð "+Ð;•%”+�+µ´€KÝ”jÐ"5°qÐ!9À&ÐP[Ð\Ñ\Ô\€OØÐr   Úsot_sequence_lengthc                 ój   — |rt           j        nt           j        }t          j        |g| |¬¦  «        }|S r   ©r   r   r   Útensor)r   rS   r   r   Ú
sot_lengths        r   Úget_sample_sot_sequence_lengthrX   ™   s6   € ð
 "+Ð;•%”+�+µ´€KÝ”Ð2Ð3¸FÈ+ÐVÑVÔV€JØÐr   Úsegment_lengthc                 ój   — |rt           j        nt           j        }t          j        |g| |¬¦  «        }|S r   rU   )r   rY   r   r   Úsegment_sizes        r   Úget_sample_segment_lengthr\   ¥   s5   € ð
 "+Ð;•%”+�+µ´€KÝ”< Ð 0¸À{ÐSÑSÔS€LØÐr   c                 óž   ‡ ‡‡‡‡‡— ‰ j         Š|rt          j        nt          j        Šˆˆ ˆˆˆˆfd„t	          ‰ j        ¦  «        D ¦   «         }|S )Nc           
      óN   •— g | ]!}t          j        ‰‰‰‰j        ‰‰¬ ¦  «        ‘Œ"S r,   )r   r.   r%   )r/   r0   r   r   r   r2   r	   r   s     €€€€€€r   r3   z"get_sample_QKs.<locals>.<listcomp>º   sN   ø€ ð ð ð ð õ 	Œ
Ø˜	 ?°FÔ4OÐX^Ðfqð	
ñ 	
ô 	
ðð ð r   )r5   r   r   r   r6   r7   )r   r   r   r	   r
   ÚQKsr2   r   s   ````  @@r   Úget_sample_QKsr`   ±   sy   øøøøøø€ ð Ô.€IØ#+Ð>•%”-�-µ´€Kðð ð ð ð ð ð ð ð õ �vÔ/Ñ0Ô0ð	ñ ô €Cð €Jr   c                 ó0   — t          | ||||¦  «        }d|iS )Nr   )r   )r   r   r   r	   r
   r   s         r   Úget_sample_encoder_inputsrb   Ä   s%   € õ /¨v°v¸zÈ?Ð\dÑeÔe€NØ˜nÐ-Ð-r   Údecoder_sequence_lengthÚencoder_sequence_lengthc                 óX   — t          | ||||¦  «        }t          | ||||¦  «        }||dœS )N)r   r"   )r   r#   )	r   r   r   rc   rd   r
   r   r   r"   s	            r   Ú&get_sample_encoder_decoder_init_inputsrf   Ð   sB   € õ /¨v°v¸zÐKbÐdlÑmÔm€NÝ4°V¸VÀZÐQhÐjsÑtÔtÐØ,ÐCTÐUÐUÐUr   Úpast_sequence_lengthc                 ó~   — t          | ||||¦  «        }t          | |||¦  «        }t          | ||||¦  «        }	|||	dœS )N)r"   r'   rB   )r#   r(   r;   )
r   r   r   rg   r	   r
   r   r"   r'   rB   s
             r   Úget_sample_decoder_inputsri   á   s`   € õ 5°V¸VÀZÐQ`ÐbkÑlÔlÐÝ<¸VÀVÈZÐYaÑbÔbÐÝ0°¸ÀÐMaÐckÑlÔl€Oà.Ø!6Ø*ðð ð r   c	                 óš   — t          | |||¦  «        }	t          ||¦  «        }t          ||¦  «        }t          | ||||¦  «        }
|	|||
dœS )N)rQ   rS   rY   r_   )rR   rX   r\   r`   )r   r   r   r	   rM   rS   rY   r
   r   rQ   r_   s              r   Úget_sample_jump_times_inputsrk   õ   si   € õ 1°¸ÐATÐV_Ñ`Ô`€Oå8¸ÐATÑUÔUÐÝ.¨v°~ÑFÔF€NÝ
˜ ¨°_ÀhÑ
OÔ
O€Cà*Ø2Ø(Øð	ð ð r   ÚinputsÚmodelc                 ó¾  — d\  }}d\  }}}}d\  }}	d| v r*t          | d         ¦  «        \  }}|d         j        \  }}}}i }
t          t          d„ |                     ¦   «         ¦  «        ¦  «        }d|v }|D �]c}|dv rB| d	                              ¦   «                              ¦   «                              ¦   «         |
|<   ŒI|d
k    rB| d
                              ¦   «                              ¦   «                              ¦   «         |
|<   Œ‘|dv rB| d                              ¦   «                              ¦   «                              ¦   «         |
|<   Œ×d|v sd|v r‹|                     d¦  «                             ¦   «                              ¦   «                              ¦   «         }|r7t          j
        |||	|f|j        ¬¦  «        }||d |…d |…d |…d |…f<   ||
|<   �Œc||
|<   �Œjd|v sd|v rR|                     d¦  «                             ¦   «                              ¦   «                              ¦   «         }||
|<   �ŒÄ|dk    r&t          j        |gt          j        ¬¦  «        |
|<   �Œð|dk    r(t          j
        |||	ft          j        ¬¦  «        |
|<   �Œ|dk    rC| d                              ¦   «                              ¦   «                              ¦   «         |
|<   �Œg|dk    rC| d                              ¦   «                              ¦   «                              ¦   «         |
|<   �Œ°|dk    rC| d                              ¦   «                              ¦   «                              ¦   «         |
|<   �Œùd|v rV| d                              d¦  «                             ¦   «                              ¦   «                              ¦   «         |
|<   �ŒSt          d|› �¦  «        ‚|
S )N)NN)r   r   r   r   )é   iÀ  rB   r   c                 ó   — | j         S rJ   )Úname)Úis    r   ú<lambda>z(convert_inputs_for_ort.<locals>.<lambda>  s   €  a¤f€ r   Úcache_indirection>   r   Úencoder_input_idsr   r'   >   Ú	input_idsr"   r"   Úpast_key_selfÚpast_value_self)r   Úpast_key_crossÚpast_value_crossrg   rQ   rS   rY   Úcross_qkr_   zUnknown name not recognized: )rK   ÚshapeÚlistÚmapÚ
get_inputsÚdetachÚcpuÚnumpyÚpopÚnpÚzerosr   Úarrayr   Ú
ValueError)rl   rm   r<   r=   r   r2   r)   r1   Ú	num_beamsÚmax_seq_lenÚ
ort_inputsÚmodel_inputsÚuse_buffer_sharingrq   Úorig_kv_cacheÚnew_kv_caches                   r   Úconvert_inputs_for_ortr�     s  € ð 1;Ñ-ÐÐ-Ø5?Ñ2€J�	˜<¨Ø#Ñ€Iˆ{Ø˜FÐ"Ð"Ý6KÈFÐSdÔLeÑ6fÔ6fÑ3Ð	Ð2Ø9LÈQÔ9OÔ9UÑ6ˆ
�I˜|¨Yà€JÝ�Ð,Ð,¨e×.>Ò.>Ñ.@Ô.@ÑAÔAÑBÔB€LØ,°Ð<ÐØð *Eñ *EˆØÐ:Ð:Ð:à%Ð&6Ô7×>Ò>Ñ@Ô@×DÒDÑFÔF×LÒLÑNÔNˆJ�tÑÐØÐ,Ò,Ð,à%Ð&=Ô>×EÒEÑGÔG×KÒKÑMÔM×SÒSÑUÔUˆJ�tÑÐØÐ7Ð7Ð7à%Ð&9Ô:×AÒAÑCÔC×GÒGÑIÔI×OÒOÑQÔQˆJ�tÑÐØ Ð$Ð$Ð(9¸TÐ(AÐ(Aà/×3Ò3°AÑ6Ô6×=Ò=Ñ?Ô?×CÒCÑEÔE×KÒKÑMÔMˆMØ!ð 1Ý!œx¨°YÀÈYÐ(WÐ_lÔ_rÐsÑsÔs�ØS`�˜[˜j˜[¨*¨9¨*°m°|°mÀZÀiÀZÐOÑPØ#/�
˜4Ñ Ñ à#0�
˜4Ñ Ñ Ø Ð%Ð%Ð);¸tÐ)CÐ)Cà0×4Ò4°QÑ7Ô7×>Ò>Ñ@Ô@×DÒDÑFÔF×LÒLÑNÔNˆMØ,ˆJ�tÑÑØÐ+Ò+Ð+å!œx¨¨½b¼hÐGÑGÔGˆJ�tÑÑØÐ(Ò(Ð(å!œx¨°YÀÐ(LÕTVÔT\Ð]Ñ]Ô]ˆJ�tÑÑØÐ&Ò&Ð&à%Ð&7Ô8×?Ò?ÑAÔA×EÒEÑGÔG×MÒMÑOÔOˆJ�tÑÑØÐ*Ò*Ð*à%Ð&;Ô<×CÒCÑEÔE×IÒIÑKÔK×QÒQÑSÔSˆJ�tÑÑØÐ%Ò%Ð%à%Ð&6Ô7×>Ò>Ñ@Ô@×DÒDÑFÔF×LÒLÑNÔNˆJ�tÑÑØ˜4ÐÐà% eœ}×0Ò0°Ñ3Ô3×:Ò:Ñ<Ô<×@Ò@ÑBÔB×HÒHÑJÔJˆJ�tÑÑåÐC¸TÐCÐCÑDÔDÐDàÐr   Úinput_namesÚoutput_namesc                 óv  — i }||z   D ]°}|dv rddi||<   Œ|dv r	dddœ||<   Œ|dk    rddi||<   Œ)|d	v rŒ.|d
k    r	dddœ||<   Œ=|dk    rddi||<   ŒKd|v sd|v r	dddœ||<   Œ\d|v sd|v r	dddœ||<   Œmd|v sd|v sd|v sd|v rddi||<   Œ…d|v r	dddœ||<   Œ’d|v r	dddœ||<   ŒŸt          d|› �¦  «        ‚|S )N>   r   ru   r   r   >   rv   r"   r	   )r   ro   rQ   rM   >   rY   rS   Úlogitsr'   rw   rx   rg   )r   rO   Úpresent_key_selfÚpresent_value_selfÚtotal_sequence_lengthry   rz   Úpresent_key_crossÚpresent_value_crossr{   Ú
jump_timesÚ
max_lengthz$Unknown input or output name found: )Ú	Exception)r   r�   r‘   Údynamic_axesrq   s        r   Úget_model_dynamic_axesr�   L  sÄ  € ð
 €LØ˜lÑ*ð )Kð )KˆØÐ:Ð:Ð:à"# \Ð!2ˆL˜ÑÐØÐ7Ð7Ð7à%1Ð6GÐ!HÐ!HˆL˜ÑÐØÐ&Ò&Ð&à"#Ð%:Ð!;ˆL˜ÑÐØÐ>Ð>Ð>àØ�XÒÐà%1Ð6GÐ!HÐ!HˆL˜ÑÐØÐ,Ò,Ð,à"# \Ð!2ˆL˜ÑÐØ Ð$Ð$Ð(9¸TÐ(AÐ(Aà%1Ð6LÐ!MÐ!MˆL˜ÑÐØ 4Ð'Ð'Ð+?À4Ð+GÐ+Gð &2Ð6MÐ!NÐ!NˆL˜ÑÐà Ð$Ð$Ø! TÐ)Ð)Ø" dÐ*Ð*Ø$¨Ð,Ð,ð #$ \Ð!2ˆL˜ÑÐØ˜4ÐÐà%1Ð6GÐ!HÐ!HˆL˜ÑÐØ˜TÐ!Ð!à%1°lÐ!CÐ!CˆL˜ÑÐåÐIÀ4ÐIÐIÑJÔJÐJØÐr   )r   F)T)F)rL   T)r   FT)FT)#Úloggingr‚   r„   r   Útransformersr   Úonnxruntimer   Ú	getLoggerÚ__name__Úloggerr   ÚintÚboolr   r#   r(   r;   r}   ÚtupleÚTensorr8   rK   rR   rX   r\   r`   rb   rf   ri   rk   Údictr�   Ústrr�   © r   r   ú<module>r«      s)  ðð €€€à Ð Ð Ð Ø €€€Ø &Ð &Ð &Ð &Ð &Ð &à (Ð (Ð (Ð (Ð (Ð (à	ˆÔ	˜8Ñ	$Ô	$€ð,  Øð	ð 	Øð	àŒLð	ð ð	ð ð		ð
 ð	ð 	ð 	ð 	ð& ðð ØðàŒLðð ðð ð	ð
 ðð ð ð ð( ð	
!ð 
!Øð
!àŒLð
!ð ð
!ð ð	
!ð 
!ð 
!ð 
!ð* ðXð XØðXàŒLðXð ðXð ð	Xð
 ðXð Xð Xð Xð@
Ø˜e E¤L°%´,Ð$>Ô?Ô@ð
à˜u U¤\°5´<Ð%?Ô@ÔAð
ð 
ð 
ð 
ð	5Ø�E˜%œ,¨¬°e´lÀEÄLÐPÔQÔRð	5ð 	5ð 	5ð 	5ð"  !Øð	ð ØðàŒLðð ðð ð	ð ð ð ð  ðð ØŒLðàðð ðð ð ð ð ðð ØŒLðàðð ðð ð ð ð" ðð ØðàŒLðð ðð ð	ð
 ðð ð ð ð.  Øð.ð .Øð.àŒLð.ð ð.ð ð	.ð
 ð.ð .ð .ð .ð" $(ØØðVð VØðVàŒLðVð ðVð !ð	Vð
 !ðVð ðVð ðVð Vð Vð Vð. Øðð ØðàŒLðð ðð ð	ð
 ðð ðð ðð ð ð ð8 Øðð ØðàŒLðð ðð ð	ð
 ðð ðð ðð ðð ðð ð ð ð2:Øð:àð:ð :ð :ð :ð|0Øð0à�c”ð0ð �s”)ð0ð 0ð 0ð 0ð 0ð 0r   