§
    ú¸¸jÊ  ã                  óx   — d dl mZ d dlZd dlZd dlmZ ddd
„Zd„ Z	 	 	 	 	 	 	 	 	 	 ddd„Z	 G d„ de¦  «        Z
dS )é    )ÚannotationsN)ÚOpRunéÿÿÿÿÚxú
np.ndarrayÚaxisÚintÚreturnc                ó–   — t          j        | |d¬¦  «        }t          j        | |z
  ¦  «        }t          j        ||d¬¦  «        }||z  S )NT)r   Úkeepdims)ÚnpÚmaxÚexpÚsum)r   r   Úx_maxÚtmpÚss        úo/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/onnx/reference/ops/op_attention.pyÚ_softmaxr      sJ   € ÝŒF�1˜4¨$Ð/Ñ/Ô/€EÝ
Œ&��U‘Ñ
Ô
€CÝ
Œˆs˜¨Ð-Ñ-Ô-€AØ�‰7€Nó    c                óN   — |dk    r| |z  }t          j        |¦  «        }||z  S | S )Nr   )r   Útanh)ÚXÚsoftcapÚYs      r   Ú_softcapr      s0   € Ø�‚{€{Ø�‰KˆÝŒG�A‰JŒJˆØ�7‰{Ðàˆr   FÚQÚKÚVÚ	attn_maskúnp.ndarray | NoneÚpast_keyÚ
past_valuec                ó<
  — t          | j        ¦  «        t          |j        ¦  «        cxk    rt          |j        ¦  «        k    sn J ‚t          | j        ¦  «        }| j        d         }t          | j        ¦  «        dk    rÕ| j        d         }|j        d         }|j        d         }|�|	€J ‚t          ||z  ¦  «        }||| j        d         |g}t          j        | |¦  «        } t          ||	z  ¦  «        }||	|j        d         |g}t          j        ||¦  «        }t          ||	z  ¦  «        }||	|j        d         |g}t          j        ||¦  «        }t          | j        ¦  «        dk    r0t          |j        ¦  «        dk    rt          |j        ¦  «        dk    sJ ‚|€$| j        d         }dt          j        |¦  «        z  }t          j        |¦  «        }|�t          j        ||fd¬¦  «        }n|}|�t          j        ||fd¬¦  «        }n|}|}|}| j        d         }|j        d         }t          j        ||f| j        ¬¦  «        }|dk    r�|�J ‚t          j	        ||ft          ¬¦  «        }t          j        |d¬¦  «        }t          j        |¦  «        }t          j                             ||¬	¦  «        }|                     t!          d
¦  «        ¬¦  «        }|�v|dk    sJ ‚|j        t          k    rYt          j        |¦  «        }t          j                             ||¬	¦  «        }|                     t!          d
¦  «        ¬¦  «        }n||z  }|€| j        d         }|	€|j        d         } |j        d         }!n|	} |	}!|| k    rQ|| z  dk    rH| |!k    rBt          || z  ¦  «        }"d|"ddg}#t          j        ||#¦  «        }t          j        ||#¦  «        }t          j        |d¦  «        }$t          j        | |z  |$|z  ¦  «        }%|%|z   }&|dk    r|%|z   }%|�t)          |&|¦  «        }&|dk    r|&}%|
�2|&                     t,          j                             |
¦  «        ¦  «        }&t3          |&¦  «        }'|dk    r|'}%|%                     | j        ¦  «        }%t          j        |'|¦  «                             | j        ¦  «        }(|dk    rCt          j        |(d¦  «        }(t          j        |(|(j        d         |(j        d         df¦  «        }(|(|||%fS )Nr   é   é   é   é   )r   )Údtype)Úk)Úmaskz-inf)Ú
fill_value)r   r'   r%   r&   )r   r&   r'   r%   r   )ÚlenÚshaper	   r   ÚreshapeÚsqrtÚconcatenateÚzerosr)   ÚonesÚboolÚtrilÚlogical_notÚmaÚarrayÚfilledÚfloatÚtileÚ	transposeÚmatmulr   ÚastypeÚonnxÚhelperÚtensor_dtype_to_np_dtyper   ))r   r   r   r    r"   r#   ÚscaleÚ	is_causalÚq_num_headsÚkv_num_headsÚsoftmax_precisionr   Úqk_matmul_output_modeÚinput_shape_lenÚ
batch_sizeÚhidden_size_qÚhidden_size_kÚhidden_size_vÚhead_size_qÚnew_shape_qÚhead_size_kÚnew_shape_kÚhead_size_vÚnew_shape_vÚq_head_sizeÚpresent_keyÚpresent_valueÚq_sequence_lengthÚkv_sequence_lengthÚ	attn_biasÚ	temp_maskÚattn_bias_maÚk_num_headsÚv_num_headsÚseq_repsÚrepsÚk_transposeÚqk_matmul_outputÚqk_with_biasÚ
qk_softmaxÚoutputs)                                            r   Ú_compute_attentionrd      s'  € õ ˆqŒw‰<Œ<�3˜qœw™<œ<Ð7Ð7Ò7Ð7­3¨q¬w©<¬<Ò7Ð7Ð7Ð7Ð7Ð7õ
 ˜!œ'‘l”l€OØ”˜”€JÝ
ˆ1Œ7�|„|�qÒÐØœ œ
ˆØœ œ
ˆØœ œ
ˆØÐ&¨<Ð+CÐ+CÐCå˜-¨+Ñ5Ñ6Ô6ˆØ! ;°´¸´
¸KÐHˆÝŒJ�q˜+Ñ&Ô&ˆå˜-¨,Ñ6Ñ7Ô7ˆØ! <°´¸´¸[ÐIˆÝŒJ�q˜+Ñ&Ô&ˆå˜-¨,Ñ6Ñ7Ô7ˆØ! <°´¸´¸[ÐIˆÝŒJ�q˜+Ñ&Ô&ˆÝˆqŒw‰<Œ<˜1ÒÐ¥ Q¤W¡¤°Ò!2Ð!2µs¸1¼7±|´|ÀqÒ7HÐ7HÐ7HÐHð €}Ø”g˜a”jˆØ•B”G˜KÑ(Ô(Ñ(ˆÝŒG�E‰NŒN€Eð ÐÝ”n h° ]¸Ð;Ñ;Ô;ˆˆàˆØÐÝœ¨
°A ¸QÐ?Ñ?Ô?ˆˆàˆØ€AØ€Að œ œ
ÐØœ œÐÝ”Ð+Ð-?Ð@ÈÌÐPÑPÔP€Ið
 �A‚~€~ØÐ Ð Ð Ý”GÐ.Ð0BÐCÍ4ÐPÑPÔPˆ	Ý”G˜I¨Ð+Ñ+Ô+ˆ	Ý”N 9Ñ-Ô-ˆ	Ý”u—{’{ 9°9�{Ñ=Ô=ˆØ ×'Ò'µ5¸±=´=Ð'ÑAÔAˆ	ØÐØ˜AŠ~ˆ~ˆ~ˆ~ØŒ?�dÒ"Ð"Ýœ yÑ1Ô1ˆIÝœ5Ÿ;š; y°y˜;ÑAÔAˆLØ$×+Ò+µu¸V±}´}Ð+ÑEÔEˆIˆIà˜Ñ"ˆIð ÐØ”g˜a”jˆØÐØ”g˜a”jˆØ”g˜a”jˆˆà"ˆØ"ˆà	˜Ò	#Ð	#Ø˜;Ñ&¨!Ò+Ð+Ø˜KÒ'Ð'å�{ [Ñ0Ñ1Ô1ˆØ�8˜Q Ð"ˆÝŒG�A�tÑÔˆÝŒG�A�tÑÔˆõ( ”,˜q ,Ñ/Ô/€KÝ”y  U¡¨K¸%Ñ,?Ñ@Ô@ÐØ# iÑ/€LØ Ò!Ð!Ø+¨iÑ7Ðð ÐÝ ¨gÑ6Ô6ˆØ  AÒ%Ð%Ø+ÐàÐ$Ø#×*Ò*ÝŒK×0Ò0Ð1BÑCÔCñ
ô 
ˆõ ˜,Ñ'Ô'€JØ Ò!Ð!Ø%ÐØ'×.Ò.¨q¬wÑ7Ô7ÐåŒY�z 1Ñ%Ô%×,Ò,¨Q¬WÑ5Ô5€FØ˜!ÒÐÝ”˜f lÑ3Ô3ˆÝ”˜F V¤\°!¤_°f´lÀ1´oÀrÐ$JÑKÔKˆØ�; Ð/?Ð?Ð?r   c                  ó,   — e Zd Z	 	 	 	 	 	 	 	 	 	 ddd„ZdS )Ú	AttentionNFr   r   r   r   r    r!   r"   r#   r
   c                ó>   — t          |||||||||	|
|||¬¦  «        }|S )N)
r    r"   r#   rB   rC   rD   rE   rF   r   rG   )rd   )Úselfr   r   r   r    r"   r#   rB   rC   rD   rE   rF   r   rG   Úress                  r   Ú_runzAttention._run´   sF   € õ  !ØØØØØØ!ØØØ#Ø%Ø/ØØ"7ð
ñ 
ô 
ˆð ˆ
r   ©
NNNNFNNNNN©r   r   r   r   r   r   r    r!   r"   r!   r#   r!   r
   r   )Ú__name__Ú
__module__Ú__qualname__rj   © r   r   rf   rf   ³   sM   € € € € € ð (,Ø&*Ø(,ØØØØØØØ"ðð ð ð ð ð ð r   rf   )r   )r   r   r   r	   r
   r   rk   rl   )Ú
__future__r   Únumpyr   r?   Úonnx.reference.op_runr   r   r   rd   rf   rp   r   r   ú<module>rt      sà   ðð #Ð "Ð "Ð "Ð "Ð "à Ð Ð Ð à €€€Ø 'Ð 'Ð 'Ð 'Ð 'Ð 'ðð ð ð ð ðð ð ð $(Ø"&Ø$(Ø
ØØØØØØðT@ð T@ð T@ð T@ð T@ðn ð  ð  ð  ð  �ñ  ô  ð  ð  ð  r   