§
    9²¸j}!  ã                   ó˜  — d dl mZ d dlZd dlmc mZ d dlmZ ddlmZ	 ddl
mZ ddlmZ ddlmZmZ dd	lmZmZ dd
lmZ ddlmZ ddlmZ ddlmZmZmZmZmZ ddl m!Z!m"Z"m#Z#m$Z$m%Z%m&Z& ddl'm(Z( ddl)m*Z* ddl+m,Z,  ej-        e.¦  «        Z/ G d„ de#¦  «        Z0 G d„ de$¦  «        Z1 G d„ de*¦  «        Z2 G d„ de¦  «        Z3 G d„ de¦  «        Z4 G d„ de¦  «        Z5 G d „ d!e¦  «        Z6 G d"„ d#e¦  «        Z7 G d$„ d%e¦  «        Z8 G d&„ d'e"¦  «        Z9 G d(„ d)e!¦  «        Z: G d*„ d+ee8¦  «        Z; G d,„ d-ee8¦  «        Z<g d.¢Z=dS )/é    )ÚCallableN)Únné   )Úinitialization)ÚCache)ÚFlashAttentionKwargs)Ú GenericForSequenceClassificationÚGenericForTokenClassification)ÚALL_ATTENTION_FUNCTIONSÚPreTrainedModel)ÚUnpack)Úloggingé   )ÚDeepseekV2TopkRouter)ÚDeepseekV3AttentionÚDeepseekV3DecoderLayerÚDeepseekV3ExpertsÚDeepseekV3MoEÚapply_rotary_pos_emb_interleave)ÚLlamaForCausalLMÚ
LlamaModelÚLlamaRMSNormÚLlamaRotaryEmbeddingÚapply_rotary_pos_embÚeager_attention_forward)Úget_llama_4_attn_scale)ÚQwen2MoeMLPé   )ÚMistral4Configc                   ó   — e Zd ZdS )ÚMistral4RMSNormN©Ú__name__Ú
__module__Ú__qualname__© ó    ú}/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/transformers/models/mistral4/modular_mistral4.pyr!   r!   3   ó   € € € € € Ø€Dr'   r!   c                   ó   — e Zd ZdS )ÚMistral4RotaryEmbeddingNr"   r&   r'   r(   r+   r+   7   r)   r'   r+   c                   ó   — e Zd ZdS )ÚMistral4MLPNr"   r&   r'   r(   r-   r-   ;   r)   r'   r-   c                   ó$   ‡ — e Zd Zˆ fd„Zd„ Zˆ xZS )ÚMistral4TopkRouterc                 ó~   •— t          ¦   «                              |¦  «         | `|j        | _        |j        | _        d S ©N)ÚsuperÚ__init__Útopk_methodÚnum_local_expertsÚnum_expertsÚnorm_topk_prob)ÚselfÚconfigÚ	__class__s     €r(   r3   zMistral4TopkRouter.__init__@   s=   ø€ Ý‰Œ×Ò˜Ñ Ô Ð ØÐØ!Ô3ˆÔØ$Ô3ˆÔÐÐr'   c                 óº  — |                      d| j        ¦  «        }t          j        || j        ¦  «        }|                     d¦  «        }|                      d| j        | j        | j        z  ¦  «                             dd¬¦  «        d          	                    d¬¦  «        }t          j        || j        dd¬¦  «        d         }t          j        |¦  «        }|                     d|d¦  «         |                     d¦  «                             d| j        | j        | j        z  ¦  «                             d| j        ¦  «        }|                     |                     ¦   «          d¦  «        }t          j        || j        dd¬¦  «        d         }	|                     d|	¦  «        }
| j        r|
 	                    dd	¬
¦  «        dz   }|
|z  }
|
| j        z  }
||
|	fS )Néÿÿÿÿr   ©Údimr   F)Úkr>   Úsortedr   ç        T)r>   Úkeepdimg#B’¡œÇ;)ÚviewÚ
hidden_dimÚFÚlinearÚweightÚsoftmaxÚ	num_groupr6   ÚtopkÚsumÚtorchÚ
topk_groupÚ
zeros_likeÚscatter_Ú	unsqueezeÚexpandÚreshapeÚmasked_fillÚboolÚtop_kÚgatherr7   Úrouted_scaling_factor)r8   Úhidden_statesÚrouter_logitsÚscoresÚgroup_scoresÚ	group_idxÚ
group_maskÚ
score_maskÚscores_for_choiceÚtopk_indicesÚtopk_weightsÚdenominators               r(   ÚforwardzMistral4TopkRouter.forwardF   sÅ  € Ø%×*Ò*¨2¨t¬Ñ?Ô?ˆÝœ °´Ñ<Ô<ˆØ×&Ò& rÑ*Ô*ˆà�KŠK˜˜DœN¨DÔ,<ÀÄÑ,NÑOÔO×TÒTÐUVÐ\^ÐTÑ_Ô_Ð`aÔb×fÒfÐkmÐfÑnÔnð 	õ ”J˜|¨t¬ÀBÈuÐUÑUÔUÐVWÔXˆ	ÝÔ% lÑ3Ô3ˆ
Ø×Ò˜A˜y¨!Ñ,Ô,Ð,à× Ò  Ñ$Ô$ßŠV�B˜œ¨Ô(8¸D¼NÑ(JÑKÔKßŠW�R˜Ô)Ñ*Ô*ð 	ð
 #×.Ò.°
·²Ñ0AÔ0AÐ/AÀ3ÑGÔGÐÝ”zÐ"3°t´zÀrÐRWÐXÑXÔXÐYZÔ[ˆØ—}’} Q¨Ñ5Ô5ˆØÔð 	(Ø&×*Ò*¨r¸4Ð*Ñ@Ô@À5ÑHˆKØ˜KÑ'ˆLØ# dÔ&@Ñ@ˆØ˜l¨LÐ8Ð8r'   )r#   r$   r%   r3   rc   Ú__classcell__©r:   s   @r(   r/   r/   ?   sG   ø€ € € € € ð4ð 4ð 4ð 4ð 4ð9ð 9ð 9ð 9ð 9ð 9ð 9r'   r/   c                   ó   — e Zd ZdS )ÚMistral4ExpertsNr"   r&   r'   r(   rg   rg   _   r)   r'   rg   c                   ó   — e Zd ZdS )ÚMistral4MoENr"   r&   r'   r(   ri   ri   c   r)   r'   ri   c                   óØ   — e Zd Z	 d
dej        deej        ej        f         dej        dz  dej        dedz  dee         deej        ej        dz  eej                 dz  f         fd	„Z	dS )ÚMistral4AttentionNrX   Úposition_embeddingsÚattention_maskÚposition_idsÚpast_key_valuesÚkwargsÚreturnc                 óš  — |j         d d…         \  }}||d| j        f}	| j        €|                      |¦  «        }
n;|                      |                      |                      |¦  «        ¦  «        ¦  «        }
|
                     |	¦  «                             dd¦  «        }
t          j
        |
| j        | j        gd¬¦  «        \  }}|                      |¦  «        }t          j
        || j        | j        gd¬¦  «        \  }}|                      |¦  «                             |d|| j        ¦  «        }|                     |d|| j        ¦  «        }|\  }}| j        j        rt%          ||||¦  «        \  }}nt'          ||||¦  «        \  }}|�|                     ||| j        ¦  «        \  }}t          j        ||fd¬¦  «        }|t/          || j        j                             d¦  «        | j        j                             d¦  «        ¦  «                             |j        ¦  «        z  }|                      ||¦  «        \  }}t;          j        | j        j        t@          ¦  «        } || ||||f| j!        sdn| j"        | j#        dœ|¤Ž\  }}| $                    ||d¦  «         %                    ¦   «         }|  &                    |¦  «        }||fS )	Nr<   r   r   r=   Úllama_4_scaling_betaÚ original_max_position_embeddingsrA   )ÚdropoutÚscaling)'ÚshapeÚqk_head_dimÚq_lora_rankÚq_projÚq_b_projÚq_a_layernormÚq_a_projrC   Ú	transposerL   ÚsplitÚqk_nope_head_dimÚqk_rope_head_dimÚkv_a_proj_with_mqaÚkv_lora_rankÚkv_a_layernormr9   Úrope_interleaver   r   ÚupdateÚ	layer_idxÚcatr   Úrope_parametersÚgetÚtoÚdtypeÚ	expand_kvr   Úget_interfaceÚ_attn_implementationr   ÚtrainingÚattention_dropoutrv   rR   Ú
contiguousÚo_proj)r8   rX   rl   rm   rn   ro   rp   Ú
batch_sizeÚ
seq_lengthÚquery_shapeÚq_statesÚq_passÚq_rotÚcompressed_kvÚkv_passÚk_rotÚk_passÚcosÚsinÚquery_statesÚ
key_statesÚvalue_statesÚattention_interfaceÚattn_outputÚattn_weightss                            r(   rc   zMistral4Attention.forwardh   sá  € ð "/Ô!4°S°b°SÔ!9Ñˆ
�JØ! :¨r°4Ô3CÐDˆàÔÐ#Ø—{’{ =Ñ1Ô1ˆHˆHà—}’} T×%7Ò%7¸¿ºÀmÑ8TÔ8TÑ%UÔ%UÑVÔVˆHØ—=’= Ñ-Ô-×7Ò7¸¸1Ñ=Ô=ˆÝœ H¨tÔ/DÀdÔF[Ð.\ÐbdÐeÑeÔe‰ˆ�à×/Ò/°Ñ>Ô>ˆÝœ ]°TÔ5FÈÔH]Ð4^ÐdfÐgÑgÔg‰ˆ�à×$Ò$ WÑ-Ô-×2Ò2°:¸qÀ*ÈdÔN_Ñ`Ô`ˆØ—
’
˜: q¨*°dÔ6KÑLÔLˆà&‰ˆˆSØŒ;Ô&ð 	HÝ:¸5À%ÈÈcÑRÔR‰LˆE�5�5å/°°u¸cÀ3ÑGÔG‰LˆE�5ð Ð&Ø+×2Ò2°6¸5À$Ä.ÑQÔQ‰MˆF�Eå”y &¨% °bÐ9Ñ9Ô9ˆà#Õ&<ØØŒKÔ'×+Ò+Ð,BÑCÔCØŒKÔ'×+Ò+Ð,NÑOÔOñ'
ô '
÷ Š"ˆ\ÔÑ
 Ô
 ñ	!ˆð $(§>¢>°&¸%Ñ#@Ô#@Ñ ˆ
�Lå(?Ô(MØŒKÔ,Õ.Eñ)
ô )
Ðð %8Ð$7ØØØØØð	%
ð  $œ}ÐH�C�C°$Ô2HØ”Lð	%
ð 	%
ð ð	%
ð 	%
Ñ!ˆ�\ð "×)Ò)¨*°jÀ"ÑEÔE×PÒPÑRÔRˆØ—k’k +Ñ.Ô.ˆØ˜LÐ(Ð(r'   r1   )
r#   r$   r%   rL   ÚTensorÚtupler   r   r   rc   r&   r'   r(   rk   rk   g   sº   € € € € € ð )-ð>)ð >)à”|ð>)ð # 5¤<°´Ð#=Ô>ð>)ð œ tÑ+ð	>)ð
 ”lð>)ð  ™ð>)ð Ð-Ô.ð>)ð 
ˆuŒ|˜Uœ\¨DÑ0°%¸¼Ô2EÈÑ2LÐLÔ	Mð>)ð >)ð >)ð >)ð >)ð >)r'   rk   c                   ó   — e Zd Zdedefd„ZdS )ÚMistral4DecoderLayerr9   r‡   c                 óp  — t           j                             | ¦  «         |j        | _        t	          ||¬¦  «        | _        ||j        k    rt          |¦  «        | _        nt          |¦  «        | _        t          |j        |j        ¬¦  «        | _        t          |j        |j        ¬¦  «        | _        d S )N)r9   r‡   )Úeps)r   ÚModuler3   Úhidden_sizerk   Ú	self_attnÚfirst_k_dense_replaceri   Úmlpr-   r!   Úrms_norm_epsÚinput_layernormÚpost_attention_layernorm)r8   r9   r‡   s      r(   r3   zMistral4DecoderLayer.__init__ª   s¢   € Ý
Œ	×Ò˜4Ñ Ô Ð Ø!Ô-ˆÔå*°&ÀIÐNÑNÔNˆŒà˜Ô4Ò4Ð4Ý" 6Ñ*Ô*ˆDŒHˆHå" 6Ñ*Ô*ˆDŒHå.¨vÔ/AÀvÔGZÐ[Ñ[Ô[ˆÔÝ(7¸Ô8JÐPVÔPcÐ(dÑ(dÔ(dˆÔ%Ð%Ð%r'   N)r#   r$   r%   r   Úintr3   r&   r'   r(   r©   r©   ©   s>   € € € € € ðe˜~ð e¸#ð eð eð eð eð eð er'   r©   c                   óŽ   ‡ — e Zd ZU eed<   dZdZdgZdgZdZ	dZ
dZdZdZeedœZg Zg Z ej        ¦   «         ˆ fd„¦   «         Zˆ xZS )ÚMistral4PreTrainedModelr9   ÚmodelTr©   ro   )rX   Ú
attentionsc                 óŠ  •— t          ¦   «                              |¦  «         t          |t          ¦  «        r(t	          j        |j        d| j        j        ¬¦  «         d S t          |t          ¦  «        rNt	          j        |j
        d| j        j        ¬¦  «         t	          j        |j        d| j        j        ¬¦  «         d S d S )NrA   )ÚmeanÚstd)r2   Ú_init_weightsÚ
isinstancer/   ÚinitÚnormal_rG   r9   Úinitializer_rangerg   Úgate_up_projÚ	down_proj)r8   Úmoduler:   s     €r(   r¼   z%Mistral4PreTrainedModel._init_weightsÌ   s¶   ø€ å‰Œ×Ò˜fÑ%Ô%Ð%Ý�fÕ0Ñ1Ô1ð 	XÝŒL˜œ¨S°d´kÔ6SÐTÑTÔTÐTÐTÐTÝ˜¥Ñ0Ô0ð 	XÝŒL˜Ô,°3¸D¼KÔ<YÐZÑZÔZÐZÝŒL˜Ô)°¸¼Ô9VÐWÑWÔWÐWÐWÐWð	Xð 	Xr'   )r#   r$   r%   r   Ú__annotations__Úbase_model_prefixÚsupports_gradient_checkpointingÚ_no_split_modulesÚ_skip_keys_device_placementÚ_supports_flash_attnÚ_supports_sdpaÚ_supports_flex_attnÚ_can_compile_fullgraphÚ_supports_attention_backendr©   rk   Ú_can_record_outputsÚ_keep_in_fp32_modules_strictÚ"_keys_to_ignore_on_load_unexpectedrL   Úno_gradr¼   rd   re   s   @r(   r¶   r¶   ¹   s½   ø€ € € € € € ØÐÐÑØÐØ&*Ð#Ø/Ð0ÐØ#4Ð"5ÐØÐØ€NØÐà!ÐØ"&Ðà-Ø'ðð Ðð $&Ð Ø)+Ð&à€U„]�_„_ðXð Xð Xð Xñ „_ðXð Xð Xð Xð Xr'   r¶   c                   ó   — e Zd ZdS )ÚMistral4ModelNr"   r&   r'   r(   rÓ   rÓ   Ö   r)   r'   rÓ   c                   ó   — e Zd ZdS )ÚMistral4ForCausalLMNr"   r&   r'   r(   rÕ   rÕ   Ú   r)   r'   rÕ   c                   ó   — e Zd ZdS )Ú!Mistral4ForSequenceClassificationNr"   r&   r'   r(   r×   r×   Þ   r)   r'   r×   c                   ó   — e Zd ZdS )ÚMistral4ForTokenClassificationNr"   r&   r'   r(   rÙ   rÙ   â   r)   r'   rÙ   )r¶   rÓ   rÕ   r×   rÙ   )>Úcollections.abcr   rL   Útorch.nn.functionalr   Ú
functionalrE   Ú r   r¾   Úcache_utilsr   Úmodeling_flash_attention_utilsr   Úmodeling_layersr	   r
   Úmodeling_utilsr   r   Úprocessing_utilsr   Úutilsr   Ú deepseek_v2.modeling_deepseek_v2r   Ú deepseek_v3.modeling_deepseek_v3r   r   r   r   r   Úllama.modeling_llamar   r   r   r   r   r   Úministral3.modeling_ministral3r   Úqwen2_moe.modeling_qwen2_moer   Úconfiguration_mistral4r   Ú
get_loggerr#   Úloggerr!   r+   r-   r/   rg   ri   rk   r©   r¶   rÓ   rÕ   r×   rÙ   Ú__all__r&   r'   r(   ú<module>rí      s%  ðð %Ð $Ð $Ð $Ð $Ð $à €€€Ø Ð Ð Ð Ð Ð Ð Ð Ð Ø Ð Ð Ð Ð Ð à &Ð &Ð &Ð &Ð &Ð &Ø  Ð  Ð  Ð  Ð  Ð  Ø BÐ BÐ BÐ BÐ BÐ BØ ^Ð ^Ð ^Ð ^Ð ^Ð ^Ð ^Ð ^Ø FÐ FÐ FÐ FÐ FÐ FÐ FÐ FØ &Ð &Ð &Ð &Ð &Ð &Ø Ð Ð Ð Ð Ð Ø CÐ CÐ CÐ CÐ CÐ Cðð ð ð ð ð ð ð ð ð ð ð ð ð ðð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð DÐ CÐ CÐ CÐ CÐ CØ 6Ð 6Ð 6Ð 6Ð 6Ð 6Ø 2Ð 2Ð 2Ð 2Ð 2Ð 2ð 
ˆÔ	˜HÑ	%Ô	%€ð	ð 	ð 	ð 	ð 	�lñ 	ô 	ð 	ð	ð 	ð 	ð 	ð 	Ð2ñ 	ô 	ð 	ð	ð 	ð 	ð 	ð 	�+ñ 	ô 	ð 	ð9ð 9ð 9ð 9ð 9Ð-ñ 9ô 9ð 9ð@	ð 	ð 	ð 	ð 	Ð'ñ 	ô 	ð 	ð	ð 	ð 	ð 	ð 	�-ñ 	ô 	ð 	ð?)ð ?)ð ?)ð ?)ð ?)Ð+ñ ?)ô ?)ð ?)ðDeð eð eð eð eÐ1ñ eô eð eð Xð Xð Xð Xð X˜oñ Xô Xð Xð:	ð 	ð 	ð 	ð 	�Jñ 	ô 	ð 	ð	ð 	ð 	ð 	ð 	Ð*ñ 	ô 	ð 	ð	ð 	ð 	ð 	ð 	Ð(HÐJañ 	ô 	ð 	ð	ð 	ð 	ð 	ð 	Ð%BÐD[ñ 	ô 	ð 	ðð ð €€€r'   