§
    û¸¸jMA  ã                   ó�   — d dl mZ d dlZd dlmZ d dlmZ d dlm	Z	m
Z
 d dlmZmZ d dlmZ  ee¦  «        Z G d„ d	e¦  «        ZdS )
é    )Ú	getLoggerN)ÚAttentionMask)ÚFusion)ÚFusionUtilsÚNumpyHelper)Ú	NodeProtoÚhelper)Ú	OnnxModelc                   óV   ‡ — e Zd Zdedededefˆ fd„Zdedeeef         fd„Z	d	„ Z
ˆ xZS )
ÚFusionQOrderedAttentionÚmodelÚhidden_sizeÚ	num_headsÚattention_maskc                 óx   •— || _         || _        || _        t          ¦   «                              |dd¦  «         d S )NÚQOrderedAttentionÚQOrderedLayerNormalization)r   r   r   ÚsuperÚ__init__)Úselfr   r   r   r   Ú	__class__s        €ú‚/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/onnxruntime/transformers/fusion_qordered_attention.pyr   z FusionQOrderedAttention.__init__   s@   ø€ ð 'ˆÔØ"ˆŒØ,ˆÔå‰Œ×Ò˜Ð 3Ð5QÑRÔRÐRÐRÐRó    Ú	reshape_qÚreturnc                 ó¬  — | j                              |j        d         ¦  «        }|€–t                               |j        d         › d�¦  «         | j                              |dgdg¦  «        }|€| j        | j        fS |d         }t          |j	        ¦  «        dk    r| j        | j        fS |j	        d         j
        }t          j        |¦  «        }t          |¦  «        dk    s|d         dk    s|d         dk    r,t                               d	|› d
�¦  «         | j        | j        fS |d         }|d         }||z  }| j        dk    r?|| j        k    r4| j        r-t                               d| j        › d|› d�¦  «         d| _        | j        dk    r?|| j        k    r4| j        r-t                               d| j        › d|› d�¦  «         d| _        ||fS )zÊDetect num_heads and hidden_size from a reshape node.
        Args:
            reshape_q (NodeProto): reshape node for Q
        Returns:
            Tuple[int, int]: num_heads and hidden_size
        é   Nz is not initializer.ÚConstantr   é   é   é   zq_shape_value=z7. Expected value are like [0, 0, num_heads, head_size].z--num_heads is z. Detected value is z. Using detected value.Fz--hidden_size is )r   Úget_initializerÚinputÚloggerÚdebugÚmatch_parent_pathr   r   ÚlenÚ	attributeÚtr   Úto_arrayÚnum_heads_warningÚwarningÚhidden_size_warning)r   r   Úq_shapeÚconstant_nodeÚq_shape_valuer   Ú	head_sizer   s           r   Úget_num_heads_and_hidden_sizez5FusionQOrderedAttention.get_num_heads_and_hidden_size    s  € ð ”*×,Ò,¨Y¬_¸QÔ-?Ñ@Ô@ˆØˆ?Ý�LŠL˜IœO¨AÔ.ÐDÐDÐDÑEÔEÐEð !œJ×8Ò8¸ÀZÀLÐSTÐRUÑVÔVˆMàÐ$Ø”~ tÔ'7Ð7Ð7à -¨aÔ 0�å�}Ô.Ñ/Ô/°1Ò4Ð4Øœ>¨4Ô+;Ð;Ð;ð (Ô1°!Ô4Ô6�å#Ô,¨WÑ5Ô5ˆÝˆ}ÑÔ Ò"Ð" }°QÔ'7¸1Ò'<Ð'<ÀÈaÔ@PÐTUÒ@UÐ@UÝ�LŠLÐp¨-ÐpÐpÐpÑqÔqÐqØ”> 4Ô#3Ð3Ð3à! !Ô$ˆ	Ø! !Ô$ˆ	Ø )Ñ+ˆàŒ>˜AÒÐ )¨t¬~Ò"=Ð"=ØÔ%ð /Ý—’Ðw°´ÐwÐwÐU^ÐwÐwÐwÑxÔxÐxØ).�Ô&àÔ˜aÒÐ K°4Ô3CÒ$CÐ$CØÔ'ð 1Ý—’Ør¨Ô(8ÐrÐrÈkÐrÐrÐrñô ð ð ,1�Ô(à˜+Ð%Ð%r   c                 ó4  — | j                              |ddgddg¦  «        }|�	|d         }nd S | j                              |dgd g¦  «        }|€t                               d¦  «         d S |d         }| j                              |g d¢g d¢¦  «        }|€t                               d	¦  «         d S |\  }}	}
}}}}t	          j        || j         ¦  «        sd S t	          j        || j         ¦  «        sd S g }t          |j        ¦  «        D ]7\  }}||vrŒ
||d         j        d         k    rŒ"| 	                    |¦  «         Œ8t          |¦  «        d
k    rd S |d         }| j                              |g d¢g d¢¦  «        }|€t                               d¦  «         d S |\  }}}}}}t	          j        || j         ¦  «        sd S t	          j        || j         ¦  «        sd S | j                              |dgd
g¦  «        }|€t                               d¦  «         d S |d         }| j                              |j        d         ¦  «        €d S t	          j        || j         d¦  «        sd S | j                              |g d¢g d¢¦  «        }|€t                               d¦  «         d S |\  }}}}}}} }!t	          j        || j         ¦  «        sd S t	          j        || j         ¦  «        sd S t	          j        | | j         ¦  «        sd S t	          j        || j         ¦  «        sd S | j                              |!g d¢g d¢¦  «        }"|"€t                               d¦  «         d S |"\  }}#}$}%}&}'t	          j        |%| j         ¦  «        sd S t	          j        |$| j         ¦  «        sd S | j                              |'dgd
g¦  «        }(|(€t                               d¦  «         d S |(d         }(| j                              |(j        d         ¦  «        €d S t	          j        |(| j         d¦  «        sd S | j                              |!g d¢g d¢¦  «        })|)€t                               d¦  «         d S |)\  }}}*}+},}-t	          j        |+| j         ¦  «        sd S t	          j        |*| j         ¦  «        sd S | j                              |-dgd
g¦  «        }.|.€t                               d¦  «         d S |.d         }.| j                              |.j        d         ¦  «        €d S t	          j        |.| j         d¦  «        sd S | j                              |g d¢g d¢¦  «        }/|/€t                               d¦  «         d S | j                              |(j        d         ¦  «        }0| j                              |.j        d         ¦  «        }1| j                              |j        d         ¦  «        }2t          j        |0¦  «        }3t          j        |1¦  «        }4t          j        |2¦  «        }5t          j        |3j        d
d …         ¦  «        }6t          j        |4j        d
d …         ¦  «        }7t          j        |5j        d
d …         ¦  «        }8|j        d         |k    �r‹|'j        d         |k    �r{|-j        d         |k    �rk| j                             |/d         j        d         ¦  «        }9|                      |#¦  «        \  }:};|j        d         g}<|< 	                    |j        d
         ¦  «         |< 	                    |$j        d
         ¦  «         |< 	                    |*j        d
         ¦  «         |< 	                    |j        d
         ¦  «         |< 	                    |(j        d         ¦  «         |< 	                    |.j        d         ¦  «         |< 	                    |j        d         ¦  «         |< 	                    |(j        d
         ¦  «         |< 	                    |.j        d
         ¦  «         |< 	                    |j        d
         ¦  «         | j                              |&j        d         ¦  «        r!|< 	                    |&j        d         ¦  «         n |< 	                    |&j        d
         ¦  «         | j                              |,j        d         ¦  «        r!|< 	                    |,j        d         ¦  «         n |< 	                    |,j        d
         ¦  «         | j                              |j        d         ¦  «        r!|< 	                    |j        d         ¦  «         n |< 	                    |j        d
         ¦  «         |< 	                    | j        d
         ¦  «         |< 	                    |j        d
         ¦  «         |< 	                    |j        d
         ¦  «         |9�|< 	                    |9¦  «         n|< 	                    d¦  «         | j                              |(j        d         ¦  «        }=t	          j        |=¦  «         | j                              |.j        d         ¦  «        }>t	          j        |>¦  «         | j                              |j        d         ¦  «        }?t	          j        |?¦  «         | j                              d¦  «        }@t/          j        d|<|
j        d         g|@¬¦  «        }A| j                              ||j        d         |Aj        d         ¦  «         | j                              |	|	j        d         |j        d         ¦  «         |Aj                             t/          j        d|:¦  «        g¦  «         |Aj                             t/          j        dd
¦  «        g¦  «         |Aj                             t/          j        dd¦  «        g¦  «         |Aj                             t/          j        dd
¦  «        g¦  «         |Aj                             t/          j        d|6|7|8g¦  «        g¦  «         d |A_        | j         	                    |A¦  «         | j        | j         |Aj!        <   | j"                             |
|||g¦  «         | j"                             |¦  «         | j"                             |"¦  «         | j"                             |)¦  «         | j"                             |¦  «         | j"                             |(|.|g¦  «         d!| _#        d S d S d S d S )"NÚQuantizeLinearÚAddr   éÿÿÿÿÚDequantizeLinearz=fuse_qordered_attention: failed to match input qdq nodes path)r5   ÚMatMulÚReshapeÚ	Transposer7   r4   r8   )NNr   r   r   r   r   z1fuse_qordered_attention: failed to match qkv pathr   )r:   r9   r7   r4   r5   r8   )r   r   r   r   r   Nz/fuse_qordered_attention: failed to match v pathF)r7   r4   ÚSoftmaxr5   ÚDivr7   r4   r8   )r   r   r   r   Nr   r   r   z0fuse_qordered_attention: failed to match qk path)r   r   r   r   r   Nz/fuse_qordered_attention: failed to match q pathz/fuse_qordered_attention: failed to match k path)ÚMulÚSubÚCastÚ	Unsqueezer@   )Nr   r   r   r   z8fuse_qordered_attention: failed to match mask_nodes pathÚ r   )ÚinputsÚoutputsÚnamer   Úorder_inputÚorder_weightÚorder_outputÚqkv_hidden_sizeszcom.microsoftT)$r   r&   r$   r%   r   Úcheck_qdq_node_for_fusionÚ	enumerater#   ÚoutputÚappendr'   Úget_constant_valuer"   r   r*   ÚnpÚprodÚshaper   Úprocess_maskr2   Útranspose_2d_int8_tensorÚcreate_node_namer	   Ú	make_nodeÚreplace_node_inputr(   ÚextendÚmake_attributeÚdomainÚnodes_to_addÚthis_graph_nameÚnode_name_to_graph_namerD   Únodes_to_removeÚprune_graph)Br   Únormalize_nodeÚinput_name_to_nodesÚoutput_name_to_nodeÚadd_before_layernormÚ
start_nodeÚdequantize_inputÚ	qkv_nodesÚ_Úprojection_matmulÚreshape_qkvÚtranspose_qkvÚdequantize_qkvÚquantize_qkvÚ
matmul_qkvÚother_inputsÚ_ir#   Ú
root_inputÚv_nodesÚdequantize_vÚ
quantize_vÚadd_vÚmatmul_vÚdequantize_v_matmul_weightÚqk_nodesÚdequantize_qk_softmaxÚquantize_qk_softmaxÚ
softmax_qkÚadd_qkÚdiv_qkÚdequantize_qkÚquantize_qkÚ	matmul_qkÚq_nodesr   Údequantize_qÚ
quantize_qÚadd_qÚmatmul_qÚdequantize_q_matmul_weightÚk_nodesÚdequantize_kÚ
quantize_kÚadd_kÚmatmul_kÚdequantize_k_matmul_weightÚ
mask_nodesÚq_weightÚk_weightÚv_weightÚqwÚkwÚvwÚqw_out_sizeÚkw_out_sizeÚvw_out_sizeÚ
mask_indexr   r   Úattention_inputsÚq_weight_tensorÚk_weight_tensorÚv_weight_tensorÚattention_node_nameÚattention_nodesB                                                                     r   ÚfusezFusionQOrderedAttention.fuseS   s�  € Ø#œz×;Ò;ØØ˜uÐ%Ø�ˆFñ 
ô  
Ðð  Ð+Ø-¨bÔ1ˆJˆJàˆFð  œ:×7Ò7ØØÐ ØˆFñ
ô 
Ðð Ð#Ý�LŠLÐXÑYÔYÐYØˆFà+¨BÔ/Ðð ”J×0Ò0ØØeÐeÐeØ'Ð'Ð'ñ
ô 
ˆ	ð ÐÝ�LŠLÐLÑMÔMÐMØˆFàgpÑdˆÐ˜{¨M¸>È<ÐYcõ Ô4°\À4Ä:ÑNÔNð 	ØˆFåÔ4°^ÀTÄZÑPÔPð 	ØˆFð ˆÝ" :Ô#3Ñ4Ô4ð 	'ð 	'‰IˆB�ØÐ/Ð/Ð/Øà˜	 !œÔ+¨AÔ.Ò.Ð.Øà×Ò Ñ&Ô&Ð&Ð&åˆ|ÑÔ Ò!Ð!ØˆFà! !”_ˆ
ð ”*×.Ò.ØØ[Ð[Ð[Ø!Ð!Ð!ñ
ô 
ˆð ˆ?Ý�LŠLÐJÑKÔKÐKØˆFà<CÑ9ˆˆAˆ|˜Z¨°õ Ô4°ZÀÄÑLÔLð 	ØˆFåÔ4°\À4Ä:ÑNÔNð 	ØˆFð &*¤Z×%AÒ%AÀ(ÐM_ÐL`ÐcdÐbeÑ%fÔ%fÐ"à%Ð-Ý�LŠLÐJÑKÔKÐKØˆFà%?ÀÔ%BÐ"àŒ:×(Ò(Ð)CÔ)IÈ!Ô)LÑMÔMÐUØˆFõ Ô4Ð5OÐQUÔQ[Ð]bÑcÔcð 	ØˆFð ”:×/Ò/Øð	ð 	ð 	ð (Ð'Ð'ñ
ô 
ˆð ÐÝ�LŠLÐKÑLÔLÐLØˆFð ñ		
Ø!ØØØØØØØõ Ô4Ð5HÈ$Ì*ÑUÔUð 	ØˆFåÔ4Ð5JÈDÌJÑWÔWð 	ØˆFåÔ4°[À$Ä*ÑMÔMð 	ØˆFåÔ4°]ÀDÄJÑOÔOð 	ØˆFð ”*×.Ò.ØØ[Ð[Ð[Ø!Ð!Ð!ñ
ô 
ˆð ˆ?Ý�LŠLÐJÑKÔKÐKØˆFàDKÑAˆˆI�| Z°¸õ Ô4°ZÀÄÑLÔLð 	ØˆFåÔ4°\À4Ä:ÑNÔNð 	ØˆFð &*¤Z×%AÒ%AÀ(ÐM_ÐL`ÐcdÐbeÑ%fÔ%fÐ"à%Ð-Ý�LŠLÐJÑKÔKÐKØˆFà%?ÀÔ%BÐ"àŒ:×(Ò(Ð)CÔ)IÈ!Ô)LÑMÔMÐUØˆFõ Ô4Ð5OÐQUÔQ[Ð]bÑcÔcð 	ØˆFð ”*×.Ò.ØØ[Ð[Ð[Ø!Ð!Ð!ñ
ô 
ˆð ˆ?Ý�LŠLÐJÑKÔKÐKØˆFà<CÑ9ˆˆAˆ|˜Z¨°õ Ô4°ZÀÄÑLÔLð 	ØˆFåÔ4°\À4Ä:ÑNÔNð 	ØˆFð &*¤Z×%AÒ%AÀ(ÐM_ÐL`ÐcdÐbeÑ%fÔ%fÐ"à%Ð-Ý�LŠLÐJÑKÔKÐKØˆFà%?ÀÔ%BÐ"àŒ:×(Ò(Ð)CÔ)IÈ!Ô)LÑMÔMÐUØˆFõ Ô4Ð5OÐQUÔQ[Ð]bÑcÔcð 	ØˆFð ”Z×1Ò1ØÐDÐDÐDÐFXÐFXÐFXñ
ô 
ˆ
ð ÐÝ�LŠLÐSÑTÔTÐTØˆFð ”:×-Ò-Ð.HÔ.NÈqÔ.QÑRÔRˆØ”:×-Ò-Ð.HÔ.NÈqÔ.QÑRÔRˆØ”:×-Ò-Ð.HÔ.NÈqÔ.QÑRÔRˆåÔ! (Ñ+Ô+ˆÝÔ! (Ñ+Ô+ˆÝÔ! (Ñ+Ô+ˆå”g˜bœh q r rœlÑ+Ô+ˆÝ”g˜bœh q r rœlÑ+Ô+ˆÝ”g˜bœh q r rœlÑ+Ô+ˆð Œ>˜!Ô 
Ò*Ñ*¨x¬~¸aÔ/@ÀJÒ/NÑ/NÐS[ÔSaÐbcÔSdÐhrÒSrÑSrØÔ,×9Ò9¸*ÀR¼.Ô:NÈqÔ:QÑRÔRˆJð &*×%GÒ%GÈ	Ñ%RÔ%RÑ"ˆI�{ð !1Ô 6°qÔ 9Ð:ÐØ×#Ò#Ð$4Ô$:¸1Ô$=Ñ>Ô>Ð>à×#Ò# LÔ$6°qÔ$9Ñ:Ô:Ð:Ø×#Ò# LÔ$6°qÔ$9Ñ:Ô:Ð:Ø×#Ò# LÔ$6°qÔ$9Ñ:Ô:Ð:à×#Ò#Ð$>Ô$DÀQÔ$GÑHÔHÐHØ×#Ò#Ð$>Ô$DÀQÔ$GÑHÔHÐHØ×#Ò#Ð$>Ô$DÀQÔ$GÑHÔHÐHà×#Ò#Ð$>Ô$DÀQÔ$GÑHÔHÐHØ×#Ò#Ð$>Ô$DÀQÔ$GÑHÔHÐHØ×#Ò#Ð$>Ô$DÀQÔ$GÑHÔHÐHàŒz×)Ò)¨%¬+°a¬.Ñ9Ô9ð 8Ø ×'Ò'¨¬°A¬Ñ7Ô7Ð7Ð7à ×'Ò'¨¬°A¬Ñ7Ô7Ð7àŒz×)Ò)¨%¬+°a¬.Ñ9Ô9ð 8Ø ×'Ò'¨¬°A¬Ñ7Ô7Ð7Ð7à ×'Ò'¨¬°A¬Ñ7Ô7Ð7àŒz×)Ò)¨%¬+°a¬.Ñ9Ô9ð 8Ø ×'Ò'¨¬°A¬Ñ7Ô7Ð7Ð7à ×'Ò'¨¬°A¬Ñ7Ô7Ð7à×#Ò# KÔ$5°aÔ$8Ñ9Ô9Ð9Ø×#Ò#Ð$7Ô$=¸aÔ$@ÑAÔAÐAØ×#Ò# NÔ$8¸Ô$;Ñ<Ô<Ð<ð Ð%Ø ×'Ò'¨
Ñ3Ô3Ð3Ð3à ×'Ò'¨Ñ+Ô+Ð+ð #œj×8Ò8Ð9SÔ9YÐZ[Ô9\Ñ]Ô]ˆOÝÔ0°ÑAÔAÐAà"œj×8Ò8Ð9SÔ9YÐZ[Ô9\Ñ]Ô]ˆOÝÔ0°ÑAÔAÐAà"œj×8Ò8Ð9SÔ9YÐZ[Ô9\Ñ]Ô]ˆOÝÔ0°ÑAÔAÐAð #'¤*×"=Ò"=Ð>QÑ"RÔ"RÐå#Ô-Ø#Ø'Ø$Ô+¨AÔ.Ð/Ø(ð	ñ ô ˆNð ŒJ×)Ò)¨.¸.Ô:NÈqÔ:QÐSaÔShÐijÔSkÑlÔlÐlØŒJ×)Ò)Ð*;Ð=NÔ=TÐUVÔ=WÐYgÔYnÐopÔYqÑrÔrÐràÔ$×+Ò+­VÔ-BÀ;ÐPYÑ-ZÔ-ZÐ,[Ñ\Ô\Ð\ØÔ$×+Ò+­VÔ-BÀ=ÐRSÑ-TÔ-TÐ,UÑVÔVÐVØÔ$×+Ò+­VÔ-BÀ>ÐSTÑ-UÔ-UÐ,VÑWÔWÐWØÔ$×+Ò+­VÔ-BÀ>ÐSTÑ-UÔ-UÐ,VÑWÔWÐWØÔ$×+Ò+ÝÔ&Ð'9¸KÈÐVaÐ;bÑcÔcÐdñô ð ð %4ˆNÔ!àÔ×$Ò$ ^Ñ4Ô4Ð4Ø@DÔ@TˆDÔ(¨Ô)<Ñ=àÔ ×'Ò'¨°mÀ\ÐS]Ð(^Ñ_Ô_Ð_ØÔ ×'Ò'¨Ñ1Ô1Ð1ØÔ ×'Ò'¨Ñ0Ô0Ð0ØÔ ×'Ò'¨Ñ0Ô0Ð0ØÔ ×'Ò'¨Ñ0Ô0Ð0ØÔ ×'Ò'Ø+Ð-GÐIcÐdñô ð ð  $ˆDÔÐÐðE +Ð*Ð/NÐ/NÐSrÐSrr   )Ú__name__Ú
__module__Ú__qualname__r
   Úintr   r   r   Útupler2   r›   Ú__classcell__)r   s   @r   r   r      s¯   ø€ € € € € ðSàðSð ðSð ð	Sð
 &ðSð Sð Sð Sð Sð Sð1&°yð 1&ÀUÈ3ÐPSÈ8Ä_ð 1&ð 1&ð 1&ð 1&ðfQ$ð Q$ð Q$ð Q$ð Q$ð Q$ð Q$r   r   )Úloggingr   ÚnumpyrN   Úfusion_attentionr   Úfusion_baser   Úfusion_utilsr   r   Úonnxr   r	   Ú
onnx_modelr
   rœ   r$   r   © r   r   ú<module>rª      sØ   ðð Ð Ð Ð Ð Ð à Ð Ð Ð Ø *Ð *Ð *Ð *Ð *Ð *Ø Ð Ð Ð Ð Ð Ø 1Ð 1Ð 1Ð 1Ð 1Ð 1Ð 1Ð 1Ø "Ð "Ð "Ð "Ð "Ð "Ð "Ð "Ø  Ð  Ð  Ð  Ð  Ð  à	ˆ�8Ñ	Ô	€ðR$ð R$ð R$ð R$ð R$˜fñ R$ô R$ð R$ð R$ð R$r   