§
    ù¸¸joª  ã                  ób   — d dl mZ d dlZd dlZd dlmZ d dlmZ d dl	m
Z
  G d„ de¦  «        ZdS )é    )ÚannotationsN)ÚBase)Úexpect)Ú_compute_attentionc                  óv  — e Zd Zed3d„¦   «         Zed3d„¦   «         Zed3d„¦   «         Zed3d„¦   «         Zed3d„¦   «         Zed3d„¦   «         Z	ed3d	„¦   «         Z
ed3d
„¦   «         Zed3d„¦   «         Zed3d„¦   «         Zed3d„¦   «         Zed3d„¦   «         Zed3d„¦   «         Zed3d„¦   «         Zed3d„¦   «         Zed3d„¦   «         Zed3d„¦   «         Zed3d„¦   «         Zed3d„¦   «         Zed3d„¦   «         Zed3d„¦   «         Zed3d„¦   «         Zed3d„¦   «         Zed3d„¦   «         Zed3d„¦   «         Zed3d„¦   «         Zed3d„¦   «         Zed3d„¦   «         Zed3d„¦   «         Z ed3d „¦   «         Z!ed3d!„¦   «         Z"ed3d"„¦   «         Z#ed3d#„¦   «         Z$ed3d$„¦   «         Z%ed3d%„¦   «         Z&ed3d&„¦   «         Z'ed3d'„¦   «         Z(ed3d(„¦   «         Z)ed3d)„¦   «         Z*ed3d*„¦   «         Z+ed3d+„¦   «         Z,ed3d,„¦   «         Z-ed3d-„¦   «         Z.ed3d.„¦   «         Z/ed3d/„¦   «         Z0ed3d0„¦   «         Z1ed3d1„¦   «         Z2d2S )4Ú	AttentionÚreturnÚNonec                 ó$  — t           j                             dg d¢dg¬¦  «        } t          j                             dddd¦  «                             t          j        ¦  «        }t          j                             ddd	d¦  «                             t          j        ¦  «        }t          j                             ddd	d¦  «                             t          j        ¦  «        }t          |||¦  «        \  }}}}t          | |||g|gd
¬¦  «         d S )Nr   ©ÚQÚKÚVÚY©ÚinputsÚoutputsé   é   é   é   é   Útest_attention_4d©r   r   Úname©
ÚonnxÚhelperÚ	make_nodeÚnpÚrandomÚrandÚastypeÚfloat32r   r   ©Únoder   r   r   r   Ú_s         úu/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/onnx/backend/test/case/node/attention.pyÚexport_attentionzAttention.export_attention   sï   € åŒ{×$Ò$ [¸¸¸ÐSVÐRWÐ$ÑXÔXˆåŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆå'¨¨1¨aÑ0Ô0‰
ˆˆ1ˆa�åØØ�q˜!�9Ø�CØ$ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
ó    c                 ó$  — t           j                             dg d¢dg¬¦  «        } t          j                             dddd¦  «                             t          j        ¦  «        }t          j                             dd	d
d¦  «                             t          j        ¦  «        }t          j                             dd	d
d¦  «                             t          j        ¦  «        }t          |||¦  «        \  }}}}t          | |||g|gd¬¦  «         d S )Nr   r   r   r   r   é	   r   r   r   r   Útest_attention_4d_gqar   r   r%   s         r(   Úexport_attention_gqazAttention.export_attention_gqa    sï   € åŒ{×$Ò$ [¸¸¸ÐSVÐRWÐ$ÑXÔXˆåŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆå'¨¨1¨aÑ0Ô0‰
ˆˆ1ˆa�åØØ�q˜!�9Ø�CØ(ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 ó$  — t           j                             dg d¢dg¬¦  «        } t          j                             dddd¦  «                             t          j        ¦  «        }t          j                             ddd	d¦  «                             t          j        ¦  «        }t          j                             ddd	d
¦  «                             t          j        ¦  «        }t          |||¦  «        \  }}}}t          | |||g|gd¬¦  «         d S )Nr   r   r   r   r   r   r   r   r   é
   Ú"test_attention_4d_diff_heads_sizesr   r   r%   s         r(   Ú export_attention_diff_head_sizesz*Attention.export_attention_diff_head_sizes1   sï   € åŒ{×$Ò$ [¸¸¸ÐSVÐRWÐ$ÑXÔXˆåŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  BÑ'Ô'×.Ò.­r¬zÑ:Ô:ˆå'¨¨1¨aÑ0Ô0‰
ˆˆ1ˆa�åØØ�q˜!�9Ø�CØ5ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 ó.  — d} t           j                             dg d¢dg| ¬¦  «        }t          j                             dddd	¦  «                             t          j        ¦  «        }t          j                             ddd
d	¦  «                             t          j        ¦  «        }t          j                             ddd
d	¦  «                             t          j        ¦  «        }t          |||| ¬¦  «        \  }}}}t          ||||g|gd¬¦  «         d S )Nç{®Gáz„?r   r   r   ©r   r   Úscaler   r   r   r   r   ©r6   Útest_attention_4d_scaledr   r   ©r6   r&   r   r   r   r   r'   s          r(   Úexport_attention_scaledz!Attention.export_attention_scaledB   s  € àˆÝŒ{×$Ò$ØØ"�?�?Ø�EØð	 %ñ 
ô 
ˆõ ŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆå'¨¨1¨a°uÐ=Ñ=Ô=‰
ˆˆ1ˆa�åØØ�q˜!�9Ø�CØ+ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 ó.  — d} t           j                             dg d¢dg| ¬¦  «        }t          j                             dddd	¦  «                             t          j        ¦  «        }t          j                             dd
dd	¦  «                             t          j        ¦  «        }t          j                             dd
dd	¦  «                             t          j        ¦  «        }t          |||| ¬¦  «        \  }}}}t          ||||g|gd¬¦  «         d S )Nr4   r   r   r   r5   r   r,   r   r   r   r   r7   Útest_attention_4d_gqa_scaledr   r   r9   s          r(   Úexport_attention_gqa_scaledz%Attention.export_attention_gqa_scaledY   s  € àˆÝŒ{×$Ò$ØØ"�?�?Ø�EØð	 %ñ 
ô 
ˆõ ŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆå'¨¨1¨a°uÐ=Ñ=Ô=‰
ˆˆ1ˆa�åØØ�q˜!�9Ø�CØ/ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 ó.  — d} t           j                             dg d¢dg| ¬¦  «        }t          j                             dddd	¦  «                             t          j        ¦  «        }t          j                             ddd
d	¦  «                             t          j        ¦  «        }t          j                             ddd
d¦  «                             t          j        ¦  «        }t          |||| ¬¦  «        \  }}}}t          ||||g|gd¬¦  «         d S )Nr4   r   r   r   r5   r   r   r   r   r   r0   r7   Ú)test_attention_4d_diff_heads_sizes_scaledr   r   r9   s          r(   Ú'export_attention_diff_head_sizes_scaledz1Attention.export_attention_diff_head_sizes_scaledp   s  € àˆÝŒ{×$Ò$ØØ"�?�?Ø�EØð	 %ñ 
ô 
ˆõ ŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  BÑ'Ô'×.Ò.­r¬zÑ:Ô:ˆå'¨¨1¨a°uÐ=Ñ=Ô=‰
ˆˆ1ˆa�åØØ�q˜!�9Ø�CØ<ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 ó*  — t           j                             dg d¢dgd¬¦  «        } t          j                             dddd	¦  «                             t          j        ¦  «        }t          j                             ddd
d	¦  «                             t          j        ¦  «        }t          j                             ddd
d	¦  «                             t          j        ¦  «        }t          |||d¬¦  «        \  }}}}t          | |||g|gd¬¦  «         d S )Nr   r   r   é   ©r   r   Ú	is_causalr   r   r   r   r   ©rD   Útest_attention_4d_causalr   r   r%   s         r(   Úexport_attention_causalz!Attention.export_attention_causal‡   s   € åŒ{×$Ò$ØØ"�?�?Ø�EØð	 %ñ 
ô 
ˆõ ŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆå'¨¨1¨a¸1Ð=Ñ=Ô=‰
ˆˆ1ˆa�åØØ�q˜!�9Ø�CØ+ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 ó*  — t           j                             dg d¢dgd¬¦  «        } t          j                             dddd	¦  «                             t          j        ¦  «        }t          j                             dd
dd	¦  «                             t          j        ¦  «        }t          j                             dd
dd	¦  «                             t          j        ¦  «        }t          |||d¬¦  «        \  }}}}t          | |||g|gd¬¦  «         d S )Nr   r   r   rB   rC   r   r,   r   r   r   r   rE   Útest_attention_4d_gqa_causalr   r   r%   s         r(   Úexport_attention_gqa_causalz%Attention.export_attention_gqa_causal�   s   € åŒ{×$Ò$ØØ"�?�?Ø�EØð	 %ñ 
ô 
ˆõ ŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆå'¨¨1¨a¸1Ð=Ñ=Ô=‰
ˆˆ1ˆa�åØØ�q˜!�9Ø�CØ/ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 ó*  — t           j                             dg d¢dgd¬¦  «        } t          j                             dddd	¦  «                             t          j        ¦  «        }t          j                             ddd
d	¦  «                             t          j        ¦  «        }t          j                             ddd
d¦  «                             t          j        ¦  «        }t          |||d¬¦  «        \  }}}}t          | |||g|gd¬¦  «         d S )Nr   r   r   rB   rC   r   r   r   r   r   r0   rE   Ú)test_attention_4d_diff_heads_sizes_causalr   r   r%   s         r(   Ú'export_attention_diff_head_sizes_causalz1Attention.export_attention_diff_head_sizes_causal³   s  € åŒ{×$Ò$ØØ"�?�?Ø�EØð	 %ñ 
ô 
ˆõ ŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  BÑ'Ô'×.Ò.­r¬zÑ:Ô:ˆå'ØØØØð	
ñ 
ô 
‰
ˆˆ1ˆa�õ 	ØØ�q˜!�9Ø�CØ<ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 ó¤  — t           j                             dg d¢dg¬¦  «        } t          j                             dddd¦  «                             t          j        ¦  «        }t          j                             ddd	d¦  «                             t          j        ¦  «        }t          j                             ddd	d¦  «                             t          j        ¦  «        }t          j                             dd	¦  «                             t          j        ¦  «        }t          ||||¬
¦  «        \  }}}}t          | ||||g|gd¬¦  «         d S )Nr   ©r   r   r   Ú	attn_maskr   r   r   r   r   r   r   ©rP   Útest_attention_4d_attn_maskr   r   ©r&   r   r   r   rP   r   r'   s          r(   Úexport_attention_attn_maskz$Attention.export_attention_attn_maskÎ   s3  € åŒ{×$Ò$ØØ/Ð/Ð/Ø�Eð %ñ 
ô 
ˆõ ŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝ”I—N’N 1 aÑ(Ô(×/Ò/µ´
Ñ;Ô;ˆ	å'ØØØØð	
ñ 
ô 
‰
ˆˆ1ˆa�õ 	ØØ�q˜!˜YÐ'Ø�CØ.ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 ó¤  — t           j                             dg d¢dg¬¦  «        } t          j                             dddd¦  «                             t          j        ¦  «        }t          j                             ddd	d¦  «                             t          j        ¦  «        }t          j                             ddd	d¦  «                             t          j        ¦  «        }t          j                             dd	¦  «                             t          j        ¦  «        }t          ||||¬
¦  «        \  }}}}t          | ||||g|gd¬¦  «         d S )Nr   rO   r   r   r   r   r   r   r   rQ   Ú test_attention_4d_attn_mask_boolr   )r   r   r   r    r!   r"   r#   r$   Úboolr   r   rS   s          r(   Úexport_attention_attn_mask_boolz)Attention.export_attention_attn_mask_boolé   s3  € åŒ{×$Ò$ØØ/Ð/Ð/Ø�Eð %ñ 
ô 
ˆõ ŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝ”I—N’N 1 aÑ(Ô(×/Ò/µ´Ñ8Ô8ˆ	å'ØØØØð	
ñ 
ô 
‰
ˆˆ1ˆa�õ 	ØØ�q˜!˜YÐ'Ø�CØ3ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 ó¤  — t           j                             dg d¢dg¬¦  «        } t          j                             dddd¦  «                             t          j        ¦  «        }t          j                             dd	d
d¦  «                             t          j        ¦  «        }t          j                             dd	d
d¦  «                             t          j        ¦  «        }t          j                             dd
¦  «                             t          j        ¦  «        }t          ||||¬¦  «        \  }}}}t          | ||||g|gd¬¦  «         d S )Nr   rO   r   r   r   r,   r   r   r   r   rQ   Útest_attention_4d_gqa_attn_maskr   r   rS   s          r(   Úexport_attention_gqa_attn_maskz(Attention.export_attention_gqa_attn_mask  s3  € åŒ{×$Ò$ØØ/Ð/Ð/Ø�Eð %ñ 
ô 
ˆõ ŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝ”I—N’N 1 aÑ(Ô(×/Ò/µ´
Ñ;Ô;ˆ	å'ØØØØð	
ñ 
ô 
‰
ˆˆ1ˆa�õ 	ØØ�q˜!˜YÐ'Ø�CØ2ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 ó¤  — t           j                             dg d¢dg¬¦  «        } t          j                             dddd¦  «                             t          j        ¦  «        }t          j                             ddd	d¦  «                             t          j        ¦  «        }t          j                             ddd	d
¦  «                             t          j        ¦  «        }t          j                             dd	¦  «                             t          j        ¦  «        }t          ||||¬¦  «        \  }}}}t          | ||||g|gd¬¦  «         d S )Nr   rO   r   r   r   r   r   r   r   r0   rQ   Ú,test_attention_4d_diff_heads_sizes_attn_maskr   r   rS   s          r(   Ú*export_attention_diff_head_sizes_attn_maskz4Attention.export_attention_diff_head_sizes_attn_mask  s3  € åŒ{×$Ò$ØØ/Ð/Ð/Ø�Eð %ñ 
ô 
ˆõ ŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  BÑ'Ô'×.Ò.­r¬zÑ:Ô:ˆÝ”I—N’N 1 aÑ(Ô(×/Ò/µ´
Ñ;Ô;ˆ	å'ØØØØð	
ñ 
ô 
‰
ˆˆ1ˆa�õ 	ØØ�q˜!˜YÐ'Ø�CØ?ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c            	     ó¸  — t           j                             dg d¢g d¢¬¦  «        } d}t          j                             dddd	¦  «                             t          j        ¦  «        }t          j                             ddd
d	¦  «                             t          j        ¦  «        }t          j                             ddd
d	¦  «                             t          j        ¦  «        }t          j                             dd
|z   ¦  «                             t          j        ¦  «        }t          j                             dd|d	¦  «                             t          j        ¦  «        }t          j                             dd|d	¦  «                             t          j        ¦  «        }t          ||||||¬¦  «        \  }}	}
}t          | ||||||g||	|
gd¬¦  «         d S )Nr   ©r   r   r   rP   Úpast_keyÚ
past_value©r   Úpresent_keyÚpresent_valuer   é   r   r   r   r   r   ©rP   ra   rb   Ú'test_attention_4d_with_past_and_presentr   r   ©r&   Úpast_sequence_lengthr   r   r   rP   ra   rb   r   rd   re   r'   s               r(   Ú&export_attention_with_past_and_presentz0Attention.export_attention_with_past_and_present:  s§  € åŒ{×$Ò$ØØIÐIÐIØ9Ð9Ð9ð %ñ 
ô 
ˆð  "ÐÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝ”I—N’N 1 aÐ*>Ñ&>Ñ?Ô?×FÒFÅrÄzÑRÔRˆ	Ý”9—>’> ! QÐ(<¸aÑ@Ô@×GÒGÍÌ
ÑSÔSˆÝ”Y—^’^ A qÐ*>ÀÑBÔB×IÒIÍ"Ì*ÑUÔUˆ
å+=ØØØØØØ!ð,
ñ ,
ô ,
Ñ(ˆˆ;˜ qõ 	ØØ�q˜!˜Y¨°*Ð=Ø˜ ]Ð3Ø:ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c            	     ó¸  — t           j                             dg d¢g d¢¬¦  «        } d}t          j                             dddd	¦  «                             t          j        ¦  «        }t          j                             dd
dd	¦  «                             t          j        ¦  «        }t          j                             dd
dd	¦  «                             t          j        ¦  «        }t          j                             dd|z   ¦  «                             t          j        ¦  «        }t          j                             dd
|d	¦  «                             t          j        ¦  «        }t          j                             dd
|d	¦  «                             t          j        ¦  «        }t          ||||||¬¦  «        \  }}	}
}t          | ||||||g||	|
gd¬¦  «         d S )Nr   r`   rc   r   rf   r   r,   r   r   r   r   rg   Ú+test_attention_4d_gqa_with_past_and_presentr   r   ri   s               r(   Ú*export_attention_gqa_with_past_and_presentz4Attention.export_attention_gqa_with_past_and_presentZ  s§  € åŒ{×$Ò$ØØIÐIÐIØ9Ð9Ð9ð %ñ 
ô 
ˆð  "ÐÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝ”I—N’N 1 aÐ*>Ñ&>Ñ?Ô?×FÒFÅrÄzÑRÔRˆ	Ý”9—>’> ! QÐ(<¸aÑ@Ô@×GÒGÍÌ
ÑSÔSˆÝ”Y—^’^ A qÐ*>ÀÑBÔB×IÒIÍ"Ì*ÑUÔUˆ
å+=ØØØØØØ!ð,
ñ ,
ô ,
Ñ(ˆˆ;˜ qõ 	ØØ�q˜!˜Y¨°*Ð=Ø˜ ]Ð3Ø>ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c            	     ó¸  — t           j                             dg d¢g d¢¬¦  «        } d}t          j                             dddd	¦  «                             t          j        ¦  «        }t          j                             ddd
d	¦  «                             t          j        ¦  «        }t          j                             ddd
d¦  «                             t          j        ¦  «        }t          j                             dd
|z   ¦  «                             t          j        ¦  «        }t          j                             dd|d	¦  «                             t          j        ¦  «        }t          j                             dd|d¦  «                             t          j        ¦  «        }t          ||||||¬¦  «        \  }}	}
}t          | ||||||g||	|
gd¬¦  «         d S )Nr   r`   rc   r   rf   r   r   r   r   r   r0   rg   Ú2test_attention_4d_diff_heads_with_past_and_presentr   r   ri   s               r(   Ú6export_attention_diff_head_sizes_with_past_and_presentz@Attention.export_attention_diff_head_sizes_with_past_and_presentz  s§  € åŒ{×$Ò$ØØIÐIÐIØ9Ð9Ð9ð %ñ 
ô 
ˆð  "ÐÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  BÑ'Ô'×.Ò.­r¬zÑ:Ô:ˆÝ”I—N’N 1 aÐ*>Ñ&>Ñ?Ô?×FÒFÅrÄzÑRÔRˆ	Ý”9—>’> ! QÐ(<¸aÑ@Ô@×GÒGÍÌ
ÑSÔSˆÝ”Y—^’^ A qÐ*>ÀÑCÔC×JÒJÍ2Ì:ÑVÔVˆ
å+=ØØØØØØ!ð,
ñ ,
ô ,
Ñ(ˆˆ;˜ qõ 	ØØ�q˜!˜Y¨°*Ð=Ø˜ ]Ð3ØEð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 ó*  — t           j                             dg d¢dgd¬¦  «        } t          j                             dddd	¦  «                             t          j        ¦  «        }t          j                             ddd
d	¦  «                             t          j        ¦  «        }t          j                             ddd
d	¦  «                             t          j        ¦  «        }t          |||d¬¦  «        \  }}}}t          | |||g|gd¬¦  «         d S )Nr   r   r   ç       @©r   r   Úsoftcapr   r   r   r   r   ©ru   Útest_attention_4d_softcapr   r   r%   s         r(   Úexport_attention_softcapz"Attention.export_attention_softcapš  s   € åŒ{×$Ò$ØØ"�?�?Ø�EØð	 %ñ 
ô 
ˆõ ŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆå'¨¨1¨a¸Ð=Ñ=Ô=‰
ˆˆ1ˆa�åØØ�q˜!�9Ø�CØ,ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 ó*  — t           j                             dg d¢dgd¬¦  «        } t          j                             dddd	¦  «                             t          j        ¦  «        }t          j                             dd
dd	¦  «                             t          j        ¦  «        }t          j                             dd
dd	¦  «                             t          j        ¦  «        }t          |||d¬¦  «        \  }}}}t          | |||g|gd¬¦  «         d S )Nr   r   r   rs   rt   r   r,   r   r   r   r   rv   Útest_attention_4d_gqa_softcapr   r   r%   s         r(   Úexport_attention_gqa_softcapz&Attention.export_attention_gqa_softcap°  s   € åŒ{×$Ò$ØØ"�?�?Ø�EØð	 %ñ 
ô 
ˆõ ŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆå'¨¨1¨a¸Ð=Ñ=Ô=‰
ˆˆ1ˆa�åØØ�q˜!�9Ø�CØ0ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 ó*  — t           j                             dg d¢dgd¬¦  «        } t          j                             dddd	¦  «                             t          j        ¦  «        }t          j                             ddd
d	¦  «                             t          j        ¦  «        }t          j                             ddd
d¦  «                             t          j        ¦  «        }t          |||d¬¦  «        \  }}}}t          | |||g|gd¬¦  «         d S )Nr   r   r   rs   rt   r   r   r   r   r   r0   rv   Ú*test_attention_4d_diff_heads_sizes_softcapr   r   r%   s         r(   Ú(export_attention_diff_head_sizes_softcapz2Attention.export_attention_diff_head_sizes_softcapÆ  s  € åŒ{×$Ò$ØØ"�?�?Ø�EØð	 %ñ 
ô 
ˆõ ŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  BÑ'Ô'×.Ò.­r¬zÑ:Ô:ˆå'ØØØØð	
ñ 
ô 
‰
ˆˆ1ˆa�õ 	ØØ�q˜!�9Ø�CØ=ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 ó(  — t           j                             dg d¢g d¢¬¦  «        } t          j                             dddd¦  «                             t          j        ¦  «        }t          j                             ddd	d¦  «                             t          j        ¦  «        }t          j                             ddd	d¦  «                             t          j        ¦  «        }t          |||¦  «        \  }}}}t          | |||g||gd
¬¦  «         d S )Nr   r   ©r   Ú r�   Úqk_matmul_outputr   r   r   r   r   r   Ú test_attention_4d_with_qk_matmulr   r   )r&   r   r   r   r   r'   r‚   s          r(   Úexport_attention_with_qk_matmulz)Attention.export_attention_with_qk_matmulá  s  € åŒ{×$Ò$ØØ"�?�?Ø5Ð5Ð5ð %ñ 
ô 
ˆõ ŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆå$6°q¸!¸QÑ$?Ô$?Ñ!ˆˆ1ˆaÐ!åØØ�q˜!�9ØÐ(Ð)Ø3ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 ó¬  — t           j                             dg d¢g d¢d¬¦  «        } t          j                             dddd	¦  «                             t          j        ¦  «        }t          j                             ddd
d	¦  «                             t          j        ¦  «        }t          j                             ddd
d	¦  «                             t          j        ¦  «        }t          j                             dd
¦  «                             t          j        ¦  «        }t          ||||d¬¦  «        \  }}}}t          | ||||g||gd¬¦  «         d S )Nr   rO   r€   rB   ©r   r   Úqk_matmul_output_moder   r   r   r   r   ©rP   r‡   Ú%test_attention_4d_with_qk_matmul_biasr   r   ©r&   r   r   r   rP   r   r'   r‚   s           r(   Ú$export_attention_with_qk_matmul_biasz.Attention.export_attention_with_qk_matmul_biasö  sC  € åŒ{×$Ò$ØØ/Ð/Ð/Ø5Ð5Ð5Ø"#ð	 %ñ 
ô 
ˆõ ŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝ”I—N’N 1 aÑ(Ô(×/Ò/µ´
Ñ;Ô;ˆ	å$6ØØØØØ"#ð%
ñ %
ô %
Ñ!ˆˆ1ˆaÐ!õ 	ØØ�q˜!˜YÐ'ØÐ(Ð)Ø8ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 ó°  — t           j                             dg d¢g d¢dd¬¦  «        } t          j                             dddd	¦  «                             t          j        ¦  «        }t          j                             ddd
d	¦  «                             t          j        ¦  «        }t          j                             ddd
d	¦  «                             t          j        ¦  «        }t          j                             dd
¦  «                             t          j        ¦  «        }t          ||||dd¬¦  «        \  }}}}t          | ||||g||gd¬¦  «         d S )Nr   rO   r€   rs   r   )r   r   ru   r‡   r   r   r   r   )rP   ru   r‡   Ú(test_attention_4d_with_qk_matmul_softcapr   r   rŠ   s           r(   Ú'export_attention_with_qk_matmul_softcapz1Attention.export_attention_with_qk_matmul_softcap  sI  € åŒ{×$Ò$ØØ/Ð/Ð/Ø5Ð5Ð5ØØ"#ð %ñ 
ô 
ˆõ ŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝ”I—N’N 1 aÑ(Ô(×/Ò/µ´
Ñ;Ô;ˆ	å$6ØØØØØØ"#ð%
ñ %
ô %
Ñ!ˆˆ1ˆaÐ!õ 	ØØ�q˜!˜YÐ'ØÐ(Ð)Ø;ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 ó¬  — t           j                             dg d¢g d¢d¬¦  «        } t          j                             dddd¦  «                             t          j        ¦  «        }t          j                             ddd	d¦  «                             t          j        ¦  «        }t          j                             ddd	d¦  «                             t          j        ¦  «        }t          j                             dd	¦  «                             t          j        ¦  «        }t          ||||d¬
¦  «        \  }}}}t          | ||||g||gd¬¦  «         d S )Nr   rO   r€   r   r†   r   r   r   r   rˆ   Ú(test_attention_4d_with_qk_matmul_softmaxr   r   rŠ   s           r(   Ú'export_attention_with_qk_matmul_softmaxz1Attention.export_attention_with_qk_matmul_softmax2  sC  € åŒ{×$Ò$ØØ/Ð/Ð/Ø5Ð5Ð5Ø"#ð	 %ñ 
ô 
ˆõ ŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝ”I—N’N 1 aÑ(Ô(×/Ò/µ´
Ñ;Ô;ˆ	å$6ØØØØØ"#ð%
ñ %
ô %
Ñ!ˆˆ1ˆaÐ!õ 	ØØ�q˜!˜YÐ'ØÐ(Ð)Ø;ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c            	     ó¾  — t           j                             dg d¢g d¢d¬¦  «        } d}t          j                             ddd	d
¦  «                             t          j        ¦  «        }t          j                             dddd
¦  «                             t          j        ¦  «        }t          j                             dddd
¦  «                             t          j        ¦  «        }t          j                             d	d|z   ¦  «                             t          j        ¦  «        }t          j                             dd|d
¦  «                             t          j        ¦  «        }t          j                             dd|d
¦  «                             t          j        ¦  «        }t          ||||||d¬¦  «        \  }}	}
}t          | ||||||g||	|
|gd¬¦  «         d S )Nr   r`   ©r   rd   re   r‚   rB   r†   rf   r   r   r   r   r   )rP   ra   rb   r‡   Ú6test_attention_4d_with_past_and_present_qk_matmul_biasr   r   ©r&   rj   r   r   r   rP   ra   rb   r   rd   re   r‚   s               r(   Ú5export_attention_with_past_and_present_qk_matmul_biasz?Attention.export_attention_with_past_and_present_qk_matmul_biasO  s±  € åŒ{×$Ò$ØØIÐIÐIØMÐMÐMØ"#ð	 %ñ 
ô 
ˆð  "ÐÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝ”I—N’N 1 aÐ*>Ñ&>Ñ?Ô?×FÒFÅrÄzÑRÔRˆ	Ý”9—>’> ! QÐ(<¸aÑ@Ô@×GÒGÍÌ
ÑSÔSˆÝ”Y—^’^ A qÐ*>ÀÑBÔB×IÒIÍ"Ì*ÑUÔUˆ
å:LØØØØØØ!Ø"#ð;
ñ ;
ô ;
Ñ7ˆˆ;˜Ð'7õ 	ØØ�q˜!˜Y¨°*Ð=Ø˜ ]Ð4DÐEØIð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c            	     óº  — t           j                             dg d¢g d¢¬¦  «        } d}t          j                             dddd	¦  «                             t          j        ¦  «        }t          j                             ddd
d	¦  «                             t          j        ¦  «        }t          j                             ddd
d	¦  «                             t          j        ¦  «        }t          j                             dd
|z   ¦  «                             t          j        ¦  «        }t          j                             dd|d	¦  «                             t          j        ¦  «        }t          j                             dd|d	¦  «                             t          j        ¦  «        }t          ||||||¬¦  «        \  }}	}
}t          | ||||||g||	|
|gd¬¦  «         d S )Nr   r`   r“   r   rf   r   r   r   r   r   rg   Ú1test_attention_4d_with_past_and_present_qk_matmulr   r   r•   s               r(   Ú0export_attention_with_past_and_present_qk_matmulz:Attention.export_attention_with_past_and_present_qk_matmulq  s«  € åŒ{×$Ò$ØØIÐIÐIØMÐMÐMð %ñ 
ô 
ˆð  "ÐÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝŒI�NŠN˜1˜a  AÑ&Ô&×-Ò-­b¬jÑ9Ô9ˆÝ”I—N’N 1 aÐ*>Ñ&>Ñ?Ô?×FÒFÅrÄzÑRÔRˆ	Ý”9—>’> ! QÐ(<¸aÑ@Ô@×GÒGÍÌ
ÑSÔSˆÝ”Y—^’^ A qÐ*>ÀÑBÔB×IÒIÍ"Ì*ÑUÔUˆ
å:LØØØØØØ!ð;
ñ ;
ô ;
Ñ7ˆˆ;˜Ð'7õ 	ØØ�q˜!˜Y¨°*Ð=Ø˜ ]Ð4DÐEØDð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 ó2  — d\  } }t           j                             dg d¢dg| |¬¦  «        }t          j                             ddd¦  «                             t          j        ¦  «        }t          j                             dd	d¦  «                             t          j        ¦  «        }t          j                             dd	d¦  «                             t          j        ¦  «        }t          |||| |¬
¦  «        \  }}}}t          ||||g|gd¬¦  «         d S )N©r   r   r   r   r   ©r   r   Úq_num_headsÚkv_num_headsr   r   é   r   ©r�   rž   Útest_attention_3dr   r   ©r�   rž   r&   r   r   r   r   r'   s           r(   Úexport_attention_3dzAttention.export_attention_3d‘  s  € à$(Ñ!ˆ�\ÝŒ{×$Ò$ØØ"�?�?Ø�EØ#Ø%ð %ñ 
ô 
ˆõ ŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆå'ØØØØ#Ø%ð
ñ 
ô 
‰
ˆˆ1ˆa�õ 	ØØ�q˜!�9Ø�CØ$ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 ó2  — d\  } }t           j                             dg d¢dg| |¬¦  «        }t          j                             ddd¦  «                             t          j        ¦  «        }t          j                             dd	d
¦  «                             t          j        ¦  «        }t          j                             dd	d
¦  «                             t          j        ¦  «        }t          |||| |¬¦  «        \  }}}}t          ||||g|gd¬¦  «         d S )N©r,   r   r   r   r   rœ   r   r   éH   r   rŸ   r    Útest_attention_3d_gqar   r   r¢   s           r(   Úexport_attention_3d_gqaz!Attention.export_attention_3d_gqa¯  s  € à$(Ñ!ˆ�\ÝŒ{×$Ò$ØØ"�?�?Ø�EØ#Ø%ð %ñ 
ô 
ˆõ ŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆå'ØØØØ#Ø%ð
ñ 
ô 
‰
ˆˆ1ˆa�õ 	ØØ�q˜!�9Ø�CØ(ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 ó2  — d\  } }t           j                             dg d¢dg| |¬¦  «        }t          j                             ddd¦  «                             t          j        ¦  «        }t          j                             dd	d¦  «                             t          j        ¦  «        }t          j                             dd	d
¦  «                             t          j        ¦  «        }t          |||| |¬¦  «        \  }}}}t          ||||g|gd¬¦  «         d S )Nr›   r   r   r   rœ   r   r   rŸ   r   é   r    Ú"test_attention_3d_diff_heads_sizesr   r   r¢   s           r(   Ú#export_attention_3d_diff_head_sizesz-Attention.export_attention_3d_diff_head_sizesÍ  s  € à$(Ñ!ˆ�\ÝŒ{×$Ò$ØØ"�?�?Ø�EØ#Ø%ð %ñ 
ô 
ˆõ ŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆå'ØØØØ#Ø%ð
ñ 
ô 
‰
ˆˆ1ˆa�õ 	ØØ�q˜!�9Ø�CØ5ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 ó:  — d} d\  }}t           j                             dg d¢dg| ||¬¦  «        }t          j                             ddd	¦  «                             t          j        ¦  «        }t          j                             dd
d	¦  «                             t          j        ¦  «        }t          j                             dd
d	¦  «                             t          j        ¦  «        }t          |||| ||¬¦  «        \  }}}}t          ||||g|gd¬¦  «         d S )Nr4   r›   r   r   r   ©r   r   r6   r�   rž   r   r   rŸ   r   ©r6   r�   rž   Útest_attention_3d_scaledr   r   ©	r6   r�   rž   r&   r   r   r   r   r'   s	            r(   Úexport_attention_3d_scaledz$Attention.export_attention_3d_scaledë  s!  € àˆØ$(Ñ!ˆ�\ÝŒ{×$Ò$ØØ"�?�?Ø�EØØ#Ø%ð %ñ 
ô 
ˆõ ŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆå'ØØØØØ#Ø%ð
ñ 
ô 
‰
ˆˆ1ˆa�õ 	ØØ�q˜!�9Ø�CØ+ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 ó:  — d} d\  }}t           j                             dg d¢dg| ||¬¦  «        }t          j                             ddd	¦  «                             t          j        ¦  «        }t          j                             dd
d¦  «                             t          j        ¦  «        }t          j                             dd
d¦  «                             t          j        ¦  «        }t          |||| ||¬¦  «        \  }}}}t          ||||g|gd¬¦  «         d S )Nr4   r¥   r   r   r   r®   r   r   r¦   r   rŸ   r¯   Útest_attention_3d_gqa_scaledr   r   r±   s	            r(   Úexport_attention_3d_gqa_scaledz(Attention.export_attention_3d_gqa_scaled  s!  € àˆØ$(Ñ!ˆ�\ÝŒ{×$Ò$ØØ"�?�?Ø�EØØ#Ø%ð %ñ 
ô 
ˆõ ŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆå'ØØØØØ#Ø%ð
ñ 
ô 
‰
ˆˆ1ˆa�õ 	ØØ�q˜!�9Ø�CØ/ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 ó:  — d} d\  }}t           j                             dg d¢dg| ||¬¦  «        }t          j                             ddd	¦  «                             t          j        ¦  «        }t          j                             dd
d	¦  «                             t          j        ¦  «        }t          j                             dd
d¦  «                             t          j        ¦  «        }t          |||| ||¬¦  «        \  }}}}t          ||||g|gd¬¦  «         d S )Nr4   r›   r   r   r   r®   r   r   rŸ   r   rª   r¯   Ú)test_attention_3d_diff_heads_sizes_scaledr   r   r±   s	            r(   Ú*export_attention_3d_diff_head_sizes_scaledz4Attention.export_attention_3d_diff_head_sizes_scaled-  s!  € àˆØ$(Ñ!ˆ�\ÝŒ{×$Ò$ØØ"�?�?Ø�EØØ#Ø%ð %ñ 
ô 
ˆõ ŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆå'ØØØØØ#Ø%ð
ñ 
ô 
‰
ˆˆ1ˆa�õ 	ØØ�q˜!�9Ø�CØ<ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 ó6  — d\  } }t           j                             dg d¢dgd| |¬¦  «        }t          j                             ddd	¦  «                             t          j        ¦  «        }t          j                             dd
d	¦  «                             t          j        ¦  «        }t          j                             dd
d	¦  «                             t          j        ¦  «        }t          |||d| |¬¦  «        \  }}}}t          ||||g|gd¬¦  «         d S )Nr›   r   r   r   rB   ©r   r   rD   r�   rž   r   r   rŸ   r   ©rD   r�   rž   Útest_attention_3d_causalr   r   r¢   s           r(   Úexport_attention_3d_causalz$Attention.export_attention_3d_causalN  s  € à$(Ñ!ˆ�\ÝŒ{×$Ò$ØØ"�?�?Ø�EØØ#Ø%ð %ñ 
ô 
ˆõ ŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆå'ØØØØØ#Ø%ð
ñ 
ô 
‰
ˆˆ1ˆa�õ 	ØØ�q˜!�9Ø�CØ+ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 ó6  — d\  } }t           j                             dg d¢dgd| |¬¦  «        }t          j                             ddd	¦  «                             t          j        ¦  «        }t          j                             dd
d¦  «                             t          j        ¦  «        }t          j                             dd
d¦  «                             t          j        ¦  «        }t          |||d| |¬¦  «        \  }}}}t          ||||g|gd¬¦  «         d S )Nr¥   r   r   r   rB   rº   r   r   r¦   r   rŸ   r»   Útest_attention_3d_gqa_causalr   r   r¢   s           r(   Úexport_attention_3d_gqa_causalz(Attention.export_attention_3d_gqa_causaln  s  € à$(Ñ!ˆ�\ÝŒ{×$Ò$ØØ"�?�?Ø�EØØ#Ø%ð %ñ 
ô 
ˆõ ŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆå'ØØØØØ#Ø%ð
ñ 
ô 
‰
ˆˆ1ˆa�õ 	ØØ�q˜!�9Ø�CØ/ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 ó6  — d\  } }t           j                             dg d¢dgd| |¬¦  «        }t          j                             ddd	¦  «                             t          j        ¦  «        }t          j                             dd
d	¦  «                             t          j        ¦  «        }t          j                             dd
d¦  «                             t          j        ¦  «        }t          |||d| |¬¦  «        \  }}}}t          ||||g|gd¬¦  «         d S )Nr›   r   r   r   rB   rº   r   r   rŸ   r   rª   r»   Ú)test_attention_3d_diff_heads_sizes_causalr   r   r¢   s           r(   Ú*export_attention_3d_diff_head_sizes_causalz4Attention.export_attention_3d_diff_head_sizes_causalŽ  s  € à$(Ñ!ˆ�\ÝŒ{×$Ò$ØØ"�?�?Ø�EØØ#Ø%ð %ñ 
ô 
ˆõ ŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆå'ØØØØØ#Ø%ð
ñ 
ô 
‰
ˆˆ1ˆa�õ 	ØØ�q˜!�9Ø�CØ<ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 ó°  — d\  } }t           j                             dg d¢dg| |¬¦  «        }t          j                             ddd¦  «                             t          j        ¦  «        }t          j                             dd	d¦  «                             t          j        ¦  «        }t          j                             dd	d¦  «                             t          j        ¦  «        }t          j                             dd	¦  «                             t          j        ¦  «        }t          ||||| |¬
¦  «        \  }}}}t          |||||g|gd¬¦  «         d S )Nr›   r   rO   r   rœ   r   r   rŸ   r   ©rP   r�   rž   Útest_attention_3d_attn_maskr   r   ©	r�   rž   r&   r   r   r   rP   r   r'   s	            r(   Úexport_attention_3d_attn_maskz'Attention.export_attention_3d_attn_mask®  sC  € à$(Ñ!ˆ�\ÝŒ{×$Ò$ØØ/Ð/Ð/Ø�EØ#Ø%ð %ñ 
ô 
ˆõ ŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝ”I—N’N 1 aÑ(Ô(×/Ò/µ´
Ñ;Ô;ˆ	å'ØØØØØ#Ø%ð
ñ 
ô 
‰
ˆˆ1ˆa�õ 	ØØ�q˜!˜YÐ'Ø�CØ.ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 ó°  — d\  } }t           j                             dg d¢dg| |¬¦  «        }t          j                             ddd¦  «                             t          j        ¦  «        }t          j                             dd	d
¦  «                             t          j        ¦  «        }t          j                             dd	d
¦  «                             t          j        ¦  «        }t          j                             dd	¦  «                             t          j        ¦  «        }t          ||||| |¬¦  «        \  }}}}t          |||||g|gd¬¦  «         d S )Nr¥   r   rO   r   rœ   r   r   r¦   r   rŸ   rÅ   Útest_attention_3d_gqa_attn_maskr   r   rÇ   s	            r(   Ú!export_attention_3d_gqa_attn_maskz+Attention.export_attention_3d_gqa_attn_maskÎ  sC  € à$(Ñ!ˆ�\ÝŒ{×$Ò$ØØ/Ð/Ð/Ø�EØ#Ø%ð %ñ 
ô 
ˆõ ŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝ”I—N’N 1 aÑ(Ô(×/Ò/µ´
Ñ;Ô;ˆ	å'ØØØØØ#Ø%ð
ñ 
ô 
‰
ˆˆ1ˆa�õ 	ØØ�q˜!˜YÐ'Ø�CØ2ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 ó°  — d\  } }t           j                             dg d¢dg| |¬¦  «        }t          j                             ddd¦  «                             t          j        ¦  «        }t          j                             dd	d¦  «                             t          j        ¦  «        }t          j                             dd	d
¦  «                             t          j        ¦  «        }t          j                             dd	¦  «                             t          j        ¦  «        }t          ||||| |¬¦  «        \  }}}}t          |||||g|gd¬¦  «         d S )Nr›   r   rO   r   rœ   r   r   rŸ   r   rª   rÅ   Ú,test_attention_3d_diff_heads_sizes_attn_maskr   r   rÇ   s	            r(   Ú-export_attention_3d_diff_head_sizes_attn_maskz7Attention.export_attention_3d_diff_head_sizes_attn_maskî  sC  € à$(Ñ!ˆ�\ÝŒ{×$Ò$ØØ/Ð/Ð/Ø�EØ#Ø%ð %ñ 
ô 
ˆõ ŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝ”I—N’N 1 aÑ(Ô(×/Ò/µ´
Ñ;Ô;ˆ	å'ØØØØØ#Ø%ð
ñ 
ô 
‰
ˆˆ1ˆa�õ 	ØØ�q˜!˜YÐ'Ø�CØ?ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 ó6  — d\  } }t           j                             dg d¢dgd| |¬¦  «        }t          j                             ddd	¦  «                             t          j        ¦  «        }t          j                             dd
d	¦  «                             t          j        ¦  «        }t          j                             dd
d	¦  «                             t          j        ¦  «        }t          |||d| |¬¦  «        \  }}}}t          ||||g|gd¬¦  «         d S )Nr›   r   r   r   ç      @©r   r   ru   r�   rž   r   r   rŸ   r   ©ru   r�   rž   Útest_attention_3d_softcapr   r   r¢   s           r(   Úexport_attention_3d_softcapz%Attention.export_attention_3d_softcap  s  € à$(Ñ!ˆ�\ÝŒ{×$Ò$ØØ"�?�?Ø�EØØ#Ø%ð %ñ 
ô 
ˆõ ŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆå'ØØØØØ#Ø%ð
ñ 
ô 
‰
ˆˆ1ˆa�õ 	ØØ�q˜!�9Ø�CØ,ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 ó6  — d\  } }t           j                             dg d¢dgd| |¬¦  «        }t          j                             ddd	¦  «                             t          j        ¦  «        }t          j                             dd
d¦  «                             t          j        ¦  «        }t          j                             dd
d¦  «                             t          j        ¦  «        }t          |||d| |¬¦  «        \  }}}}t          ||||g|gd¬¦  «         d S )Nr¥   r   r   r   rÐ   rÑ   r   r   r¦   r   rŸ   rÒ   Útest_attention_3d_gqa_softcapr   r   r¢   s           r(   Úexport_attention_3d_gqa_softcapz)Attention.export_attention_3d_gqa_softcap.  s  € à$(Ñ!ˆ�\ÝŒ{×$Ò$ØØ"�?�?Ø�EØØ#Ø%ð %ñ 
ô 
ˆõ ŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆå'ØØØØØ#Ø%ð
ñ 
ô 
‰
ˆˆ1ˆa�õ 	ØØ�q˜!�9Ø�CØ0ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 ó6  — d\  } }t           j                             dg d¢dgd| |¬¦  «        }t          j                             ddd	¦  «                             t          j        ¦  «        }t          j                             dd
d	¦  «                             t          j        ¦  «        }t          j                             dd
d¦  «                             t          j        ¦  «        }t          |||d| |¬¦  «        \  }}}}t          ||||g|gd¬¦  «         d S )Nr›   r   r   r   rÐ   rÑ   r   r   rŸ   r   rª   rÒ   Ú*test_attention_3d_diff_heads_sizes_softcapr   r   r¢   s           r(   Ú+export_attention_3d_diff_head_sizes_softcapz5Attention.export_attention_3d_diff_head_sizes_softcapN  s  € à$(Ñ!ˆ�\ÝŒ{×$Ò$ØØ"�?�?Ø�EØØ#Ø%ð %ñ 
ô 
ˆõ ŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆå'ØØØØØ#Ø%ð
ñ 
ô 
‰
ˆˆ1ˆa�õ 	ØØ�q˜!�9Ø�CØ=ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c            
     óÄ  — d\  } }t           j                             dg d¢g d¢| |¬¦  «        }d}t          j                             ddd	¦  «                             t          j        ¦  «        }t          j                             dd
d	¦  «                             t          j        ¦  «        }t          j                             dd
d	¦  «                             t          j        ¦  «        }t          j                             dd
|z   ¦  «                             t          j        ¦  «        }t          j                             dd|d¦  «                             t          j        ¦  «        }t          j                             dd|d¦  «                             t          j        ¦  «        }	t          ||||||	| |¬¦  «        \  }
}}}t          |||||||	g|
||gd¬¦  «         d S )Nr›   r   r`   rc   rœ   rf   r   r   rŸ   r   r   r   ©rP   ra   rb   r�   rž   Ú'test_attention_3d_with_past_and_presentr   r   ©r�   rž   r&   rj   r   r   r   rP   ra   rb   r   rd   re   r'   s                 r(   Ú)export_attention_3d_with_past_and_presentz3Attention.export_attention_3d_with_past_and_presentn  s·  € à$(Ñ!ˆ�\ÝŒ{×$Ò$ØØIÐIÐIØ9Ð9Ð9Ø#Ø%ð %ñ 
ô 
ˆð  "ÐÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝ”I—N’N 1 aÐ*>Ñ&>Ñ?Ô?×FÒFÅrÄzÑRÔRˆ	Ý”9—>’> ! QÐ(<¸aÑ@Ô@×GÒGÍÌ
ÑSÔSˆÝ”Y—^’^ A qÐ*>ÀÑBÔB×IÒIÍ"Ì*ÑUÔUˆ
å+=ØØØØØØ!Ø#Ø%ð	,
ñ 	,
ô 	,
Ñ(ˆˆ;˜ qõ 	ØØ�q˜!˜Y¨°*Ð=Ø˜ ]Ð3Ø:ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c            
     óÄ  — d\  } }t           j                             dg d¢g d¢| |¬¦  «        }d}t          j                             ddd	¦  «                             t          j        ¦  «        }t          j                             dd
d¦  «                             t          j        ¦  «        }t          j                             dd
d¦  «                             t          j        ¦  «        }t          j                             dd
|z   ¦  «                             t          j        ¦  «        }t          j                             dd|d¦  «                             t          j        ¦  «        }t          j                             dd|d¦  «                             t          j        ¦  «        }	t          ||||||	| |¬¦  «        \  }
}}}t          |||||||	g|
||gd¬¦  «         d S )Nr¥   r   r`   rc   rœ   rf   r   r   r¦   r   rŸ   r   r   rÜ   Ú+test_attention_3d_gqa_with_past_and_presentr   r   rÞ   s                 r(   Ú-export_attention_3d_gqa_with_past_and_presentz7Attention.export_attention_3d_gqa_with_past_and_present“  s·  € à$(Ñ!ˆ�\ÝŒ{×$Ò$ØØIÐIÐIØ9Ð9Ð9Ø#Ø%ð %ñ 
ô 
ˆð  "ÐÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝ”I—N’N 1 aÐ*>Ñ&>Ñ?Ô?×FÒFÅrÄzÑRÔRˆ	Ý”9—>’> ! QÐ(<¸aÑ@Ô@×GÒGÍÌ
ÑSÔSˆÝ”Y—^’^ A qÐ*>ÀÑBÔB×IÒIÍ"Ì*ÑUÔUˆ
å+=ØØØØØØ!Ø#Ø%ð	,
ñ 	,
ô 	,
Ñ(ˆˆ;˜ qõ 	ØØ�q˜!˜Y¨°*Ð=Ø˜ ]Ð3Ø>ð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c            
     óÄ  — d\  } }t           j                             dg d¢g d¢| |¬¦  «        }d}t          j                             ddd	¦  «                             t          j        ¦  «        }t          j                             dd
d	¦  «                             t          j        ¦  «        }t          j                             dd
d¦  «                             t          j        ¦  «        }t          j                             dd
|z   ¦  «                             t          j        ¦  «        }t          j                             dd|d¦  «                             t          j        ¦  «        }t          j                             dd|d¦  «                             t          j        ¦  «        }	t          ||||||	| |¬¦  «        \  }
}}}t          |||||||	g|
||gd¬¦  «         d S )Nr›   r   r`   rc   rœ   rf   r   r   rŸ   r   rª   r   r   r0   rÜ   Ú2test_attention_3d_diff_heads_with_past_and_presentr   r   rÞ   s                 r(   Ú9export_attention_3d_diff_head_sizes_with_past_and_presentzCAttention.export_attention_3d_diff_head_sizes_with_past_and_present¸  s·  € à$(Ñ!ˆ�\ÝŒ{×$Ò$ØØIÐIÐIØ9Ð9Ð9Ø#Ø%ð %ñ 
ô 
ˆð  "ÐÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝ”I—N’N 1 aÐ*>Ñ&>Ñ?Ô?×FÒFÅrÄzÑRÔRˆ	Ý”9—>’> ! QÐ(<¸aÑ@Ô@×GÒGÍÌ
ÑSÔSˆÝ”Y—^’^ A qÐ*>ÀÑCÔC×JÒJÍ2Ì:ÑVÔVˆ
å+=ØØØØØØ!Ø#Ø%ð	,
ñ 	,
ô 	,
Ñ(ˆˆ;˜ qõ 	ØØ�q˜!˜Y¨°*Ð=Ø˜ ]Ð3ØEð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c            
     óÆ  — d\  } }t           j                             dg d¢g d¢| |¬¦  «        }d}t          j                             ddd	¦  «                             t          j        ¦  «        }t          j                             dd
d	¦  «                             t          j        ¦  «        }t          j                             dd
d	¦  «                             t          j        ¦  «        }t          j                             dd
|z   ¦  «                             t          j        ¦  «        }t          j                             dd|d¦  «                             t          j        ¦  «        }t          j                             dd|d¦  «                             t          j        ¦  «        }	t          ||||||	| |¬¦  «        \  }
}}}t          |||||||	g|
|||gd¬¦  «         d S )Nr›   r   r`   r“   rœ   rf   r   r   rŸ   r   r   r   rÜ   Ú1test_attention_3d_with_past_and_present_qk_matmulr   r   ©r�   rž   r&   rj   r   r   r   rP   ra   rb   r   rd   re   r‚   s                 r(   Ú3export_attention_3d_with_past_and_present_qk_matmulz=Attention.export_attention_3d_with_past_and_present_qk_matmulÝ  s»  € à$(Ñ!ˆ�\ÝŒ{×$Ò$ØØIÐIÐIØMÐMÐMØ#Ø%ð %ñ 
ô 
ˆð  "ÐÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝ”I—N’N 1 aÐ*>Ñ&>Ñ?Ô?×FÒFÅrÄzÑRÔRˆ	Ý”9—>’> ! QÐ(<¸aÑ@Ô@×GÒGÍÌ
ÑSÔSˆÝ”Y—^’^ A qÐ*>ÀÑBÔB×IÒIÍ"Ì*ÑUÔUˆ
å:LØØØØØØ!Ø#Ø%ð	;
ñ 	;
ô 	;
Ñ7ˆˆ;˜Ð'7õ 	ØØ�q˜!˜Y¨°*Ð=Ø˜ ]Ð4DÐEØDð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 óÊ  — d\  } }t           j                             dg d¢g d¢| |d¬¦  «        }d}t          j                             dd	d
¦  «                             t          j        ¦  «        }t          j                             ddd
¦  «                             t          j        ¦  «        }t          j                             ddd
¦  «                             t          j        ¦  «        }t          j                             d	d|z   ¦  «                             t          j        ¦  «        }t          j                             dd|d¦  «                             t          j        ¦  «        }t          j                             dd|d¦  «                             t          j        ¦  «        }	t          ||||||	| |d¬¦	  «	        \  }
}}}t          |||||||	g|
|||gd¬¦  «         d S )Nr›   r   r`   r“   rB   ©r   r   r�   rž   r‡   rf   r   r   rŸ   r   r   r   ©rP   ra   rb   r�   rž   r‡   Ú6test_attention_3d_with_past_and_present_qk_matmul_biasr   r   rè   s                 r(   Ú8export_attention_3d_with_past_and_present_qk_matmul_biaszBAttention.export_attention_3d_with_past_and_present_qk_matmul_bias  sÁ  € à$(Ñ!ˆ�\ÝŒ{×$Ò$ØØIÐIÐIØMÐMÐMØ#Ø%Ø"#ð %ñ 
ô 
ˆð  "ÐÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝ”I—N’N 1 aÐ*>Ñ&>Ñ?Ô?×FÒFÅrÄzÑRÔRˆ	Ý”9—>’> ! QÐ(<¸aÑ@Ô@×GÒGÍÌ
ÑSÔSˆÝ”Y—^’^ A qÐ*>ÀÑBÔB×IÒIÍ"Ì*ÑUÔUˆ
å:LØØØØØØ!Ø#Ø%Ø"#ð
;
ñ 
;
ô 
;
Ñ7ˆˆ;˜Ð'7õ 	ØØ�q˜!˜Y¨°*Ð=Ø˜ ]Ð4DÐEØIð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 óÎ  — d\  } }t           j                             dg d¢g d¢| |dd¬¦  «        }d}t          j                             dd	d
¦  «                             t          j        ¦  «        }t          j                             ddd
¦  «                             t          j        ¦  «        }t          j                             ddd
¦  «                             t          j        ¦  «        }t          j                             d	d|z   ¦  «                             t          j        ¦  «        }t          j                             dd|d¦  «                             t          j        ¦  «        }t          j                             dd|d¦  «                             t          j        ¦  «        }	t          ||||||	| |dd¬¦
  «
        \  }
}}}t          |||||||	g|
|||gd¬¦  «         d S )Nr›   r   r`   r“   rs   r   )r   r   r�   rž   ru   r‡   rf   r   rŸ   r   r   r   )rP   ra   rb   r�   rž   ru   r‡   Ú9test_attention_3d_with_past_and_present_qk_matmul_softcapr   r   rè   s                 r(   Ú;export_attention_3d_with_past_and_present_qk_matmul_softcapzEAttention.export_attention_3d_with_past_and_present_qk_matmul_softcap)  sÇ  € à$(Ñ!ˆ�\ÝŒ{×$Ò$ØØIÐIÐIØMÐMÐMØ#Ø%ØØ"#ð %ñ 
ô 
ˆð  "ÐÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝ”I—N’N 1 aÐ*>Ñ&>Ñ?Ô?×FÒFÅrÄzÑRÔRˆ	Ý”9—>’> ! QÐ(<¸aÑ@Ô@×GÒGÍÌ
ÑSÔSˆÝ”Y—^’^ A qÐ*>ÀÑBÔB×IÒIÍ"Ì*ÑUÔUˆ
å:LØØØØØØ!Ø#Ø%ØØ"#ð;
ñ ;
ô ;
Ñ7ˆˆ;˜Ð'7õ 	ØØ�q˜!˜Y¨°*Ð=Ø˜ ]Ð4DÐEØLð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   c                 óÊ  — d\  } }t           j                             dg d¢g d¢| |d¬¦  «        }d}t          j                             dd	d
¦  «                             t          j        ¦  «        }t          j                             ddd
¦  «                             t          j        ¦  «        }t          j                             ddd
¦  «                             t          j        ¦  «        }t          j                             d	d|z   ¦  «                             t          j        ¦  «        }t          j                             dd|d¦  «                             t          j        ¦  «        }t          j                             dd|d¦  «                             t          j        ¦  «        }	t          ||||||	| |d¬¦	  «	        \  }
}}}t          |||||||	g|
|||gd¬¦  «         d S )Nr›   r   r`   r“   r   rë   rf   r   r   rŸ   r   r   rì   Ú9test_attention_3d_with_past_and_present_qk_matmul_softmaxr   r   rè   s                 r(   Ú;export_attention_3d_with_past_and_present_qk_matmul_softmaxzEAttention.export_attention_3d_with_past_and_present_qk_matmul_softmaxR  sÁ  € à$(Ñ!ˆ�\ÝŒ{×$Ò$ØØIÐIÐIØMÐMÐMØ#Ø%Ø"#ð %ñ 
ô 
ˆð  "ÐÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝŒI�NŠN˜1˜a Ñ$Ô$×+Ò+­B¬JÑ7Ô7ˆÝ”I—N’N 1 aÐ*>Ñ&>Ñ?Ô?×FÒFÅrÄzÑRÔRˆ	Ý”9—>’> ! QÐ(<¸aÑ@Ô@×GÒGÍÌ
ÑSÔSˆÝ”Y—^’^ A qÐ*>ÀÑBÔB×IÒIÍ"Ì*ÑUÔUˆ
å:LØØØØØØ!Ø#Ø%Ø"#ð
;
ñ 
;
ô 
;
Ñ7ˆˆ;˜Ð'7õ 	ØØ�q˜!˜Y¨°*Ð=Ø˜ ]Ð4DÐEØLð		
ñ 	
ô 	
ð 	
ð 	
ð 	
r*   N)r	   r
   )3Ú__name__Ú
__module__Ú__qualname__Ústaticmethodr)   r.   r2   r:   r=   r@   rG   rJ   rM   rT   rX   r[   r^   rk   rn   rq   rx   r{   r~   r„   r‹   rŽ   r‘   r–   r™   r£   r¨   r¬   r²   rµ   r¸   r½   rÀ   rÃ   rÈ   rË   rÎ   rÔ   r×   rÚ   rß   râ   rå   ré   rî   rñ   rô   © r*   r(   r   r      sü  € € € € € Øð
ð 
ð 
ñ „\ð
ð  ð
ð 
ð 
ñ „\ð
ð  ð
ð 
ð 
ñ „\ð
ð  ð
ð 
ð 
ñ „\ð
ð, ð
ð 
ð 
ñ „\ð
ð, ð
ð 
ð 
ñ „\ð
ð, ð
ð 
ð 
ñ „\ð
ð* ð
ð 
ð 
ñ „\ð
ð* ð
ð 
ð 
ñ „\ð
ð4 ð
ð 
ð 
ñ „\ð
ð4 ð
ð 
ð 
ñ „\ð
ð4 ð
ð 
ð 
ñ „\ð
ð4 ð
ð 
ð 
ñ „\ð
ð4 ð
ð 
ð 
ñ „\ð
ð> ð
ð 
ð 
ñ „\ð
ð> ð
ð 
ð 
ñ „\ð
ð> ð
ð 
ð 
ñ „\ð
ð* ð
ð 
ð 
ñ „\ð
ð* ð
ð 
ð 
ñ „\ð
ð4 ð
ð 
ð 
ñ „\ð
ð( ð
ð 
ð 
ñ „\ð
ð8 ð
ð 
ð 
ñ „\ð
ð< ð
ð 
ð 
ñ „\ð
ð8 ð
ð 
ð 
ñ „\ð
ðB ð
ð 
ð 
ñ „\ð
ð> ð
ð 
ð 
ñ „\ð
ð: ð
ð 
ð 
ñ „\ð
ð: ð
ð 
ð 
ñ „\ð
ð: ð
ð 
ð 
ñ „\ð
ð@ ð
ð 
ð 
ñ „\ð
ð@ ð
ð 
ð 
ñ „\ð
ð@ ð
ð 
ð 
ñ „\ð
ð> ð
ð 
ð 
ñ „\ð
ð> ð
ð 
ð 
ñ „\ð
ð> ð
ð 
ð 
ñ „\ð
ð> ð
ð 
ð 
ñ „\ð
ð> ð
ð 
ð 
ñ „\ð
ð> ð
ð 
ð 
ñ „\ð
ð> ð
ð 
ð 
ñ „\ð
ð> ð
ð 
ð 
ñ „\ð
ð> ð"
ð "
ð "
ñ „\ð"
ðH ð"
ð "
ð "
ñ „\ð"
ðH ð"
ð "
ð "
ñ „\ð"
ðH ð"
ð "
ð "
ñ „\ð"
ðH ð$
ð $
ð $
ñ „\ð$
ðL ð&
ð &
ð &
ñ „\ð&
ðP ð$
ð $
ð $
ñ „\ð$
ð $
ð $
r*   r   )Ú
__future__r   Únumpyr    r   Úonnx.backend.test.case.baser   Úonnx.backend.test.case.noder   Úonnx.reference.ops.op_attentionr   r   rù   r*   r(   ú<module>rÿ      s¢   ðð #Ð "Ð "Ð "Ð "Ð "à Ð Ð Ð à €€€Ø ,Ð ,Ð ,Ð ,Ð ,Ð ,Ø .Ð .Ð .Ð .Ð .Ð .Ø >Ð >Ð >Ð >Ð >Ð >ði
ð i
ð i
ð i
ð i
�ñ i
ô i
ð i
ð i
ð i
r*   