§
    9²¸jú/  ã                   ó^  — d dl mZ d dlZd dlmc mZ d dlmZ ddlmZm	Z	 ddl
mZ ddlmZ ddlmZmZ dd	lmZ dd
lmZ ddlmZ ddlmZ ddlmZmZ ddlmZ ddlmZm Z m!Z!m"Z"m#Z#m$Z$m%Z% ddl&m'Z'm(Z(m)Z) ddl*m+Z+  ej,        e-¦  «        Z. G d„ de#¦  «        Z/ G d„ de¦  «        Z0 G d„ dej1        ¦  «        Z2 G d„ de¦  «        Z3 ee)e(g¦  «         G d„ dej1        ¦  «        ¦   «         Z4 G d„ de¦  «        Z5 G d „ d!e"¦  «        Z6 G d"„ d#e!¦  «        Z7 G d$„ d%e ¦  «        Z8g d&¢Z9dS )'é    )ÚCallableN)Únné   )ÚCacheÚDynamicCache)Úuse_kernelized_func)Úforce_accelerate_hooks)Úcreate_causal_maskÚcreate_recurrent_attention_mask)ÚGradientCheckpointingLayer)ÚBaseModelOutputWithPast)ÚALL_ATTENTION_FUNCTIONS)ÚUnpack)ÚTransformersKwargsÚloggingé   )ÚGemma2RotaryEmbedding)ÚLlamaAttentionÚLlamaForCausalLMÚ
LlamaModelÚLlamaPreTrainedModelÚLlamaRMSNormÚapply_rotary_pos_embÚeager_attention_forward)Úapply_mask_to_padding_statesÚcausal_conv1d_fnÚcausal_conv1d_updateé   )Ú
Lfm2Configc                   ó   — e Zd ZdS )ÚLfm2RMSNormN©Ú__name__Ú
__module__Ú__qualname__© ó    úu/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/transformers/models/lfm2/modular_lfm2.pyr!   r!   .   ó   € € € € € Ø€Dr'   r!   c                   ó   — e Zd ZdS )ÚLfm2RotaryEmbeddingNr"   r&   r'   r(   r+   r+   2   r)   r'   r+   c                   ó*   ‡ — e Zd Zdefˆ fd„Zd„ Zˆ xZS )ÚLfm2MLPÚconfigc                 óÊ  •— t          ¦   «                              ¦   «          |j        }|j        rPt	          d|z  dz  ¦  «        }|j        �4t	          |j        |z  ¦  «        }|j        ||j        z   dz
  |j        z  z  }t          j        |j	        |d¬¦  «        | _
        t          j        |j	        |d¬¦  «        | _        t          j        ||j	        d¬¦  «        | _        d S )Nr   r   r   F©Úbias)ÚsuperÚ__init__Úintermediate_sizeÚblock_auto_adjust_ff_dimÚintÚblock_ffn_dim_multiplierÚblock_multiple_ofr   ÚLinearÚhidden_sizeÚw1Úw3Úw2)Úselfr.   r4   Ú	__class__s      €r(   r3   zLfm2MLP.__init__7   sæ   ø€ Ý‰Œ×ÒÑÔÐØ"Ô4ÐØÔ*ð 	Ý # AÐ(9Ñ$9¸AÑ$=Ñ >Ô >ÐàÔ.Ð:Ý$'¨Ô(GÐJ[Ñ([Ñ$\Ô$\Ð!Ø$*Ô$<Ø&¨Ô)AÑAÀAÑEÈ&ÔJbÑbñ%Ð!õ ”)˜FÔ.Ð0AÈÐNÑNÔNˆŒÝ”)˜FÔ.Ð0AÈÐNÑNÔNˆŒÝ”)Ð-¨vÔ/AÈÐNÑNÔNˆŒˆˆr'   c                 ó¢   — |                       t          j        |                      |¦  «        ¦  «        |                      |¦  «        z  ¦  «        S ©N)r=   ÚFÚsilur;   r<   )r>   Úxs     r(   ÚforwardzLfm2MLP.forwardF   s7   € Ø�wŠw•q”v˜dŸgšg a™jœjÑ)Ô)¨D¯GªG°A©J¬JÑ6Ñ7Ô7Ð7r'   )r#   r$   r%   r   r3   rE   Ú__classcell__©r?   s   @r(   r-   r-   6   sZ   ø€ € € € € ðO˜zð Oð Oð Oð Oð Oð Oð8ð 8ð 8ð 8ð 8ð 8ð 8r'   r-   c                   ó¶   ‡ — e Zd Zdedefˆ fd„Z	 ddej        deej        ej        f         dej        dz  de	dz  d	eej        ej        dz  f         f
d
„Z
ˆ xZS )ÚLfm2Attentionr.   Ú	layer_idxc                 óD  •— t          ¦   «                              ||¦  «         t          j        |j        |j        | j        z  d¬¦  «        | _        t          j        |j        |j        | j        z  d¬¦  «        | _	        t          j        |j        |j        | j        z  d¬¦  «        | _
        t          j        |j        | j        z  |j        d¬¦  «        | _        t          | j        |j        ¬¦  «        | _        t          | j        |j        ¬¦  «        | _        | `| `d S )NFr0   ©Úeps)r2   r3   r   r9   r:   Únum_attention_headsÚhead_dimÚq_projÚnum_key_value_headsÚk_projÚv_projÚout_projr!   Únorm_epsÚq_layernormÚk_layernormÚo_projÚattention_dropout©r>   r.   rJ   r?   s      €r(   r3   zLfm2Attention.__init__K   sþ   ø€ Ý‰Œ×Ò˜ Ñ+Ô+Ð+Ý”i Ô 2°FÔ4NÐQUÔQ^Ñ4^ÐejÐkÑkÔkˆŒÝ”i Ô 2°FÔ4NÐQUÔQ^Ñ4^ÐejÐkÑkÔkˆŒÝ”i Ô 2°FÔ4NÐQUÔQ^Ñ4^ÐejÐkÑkÔkˆŒÝœ	 &Ô"<¸t¼}Ñ"LÈfÔN`ÐglÐmÑmÔmˆŒÝ& t¤}¸&¼/ÐJÑJÔJˆÔÝ& t¤}¸&¼/ÐJÑJÔJˆÔØˆKØÐ"Ð"Ð"r'   NÚhidden_statesÚposition_embeddingsÚattention_maskÚpast_key_valuesÚreturnc                 ó  — |j         d d…         }g |¢d‘| j        ‘R }|                       |                      |¦  «        j        |Ž ¦  «                             dd¦  «        }|                       |                      |¦  «        j        |Ž ¦  «                             dd¦  «        }	 |                      |¦  «        j        |Ž                      dd¦  «        }
|\  }}t          ||	||¦  «        \  }}	|�| 
                    |	|
| j        ¦  «        \  }	}
t          j        | j        j        t           ¦  «        } || ||	|
|fd| j        dœ|¤Ž\  }} |j        g |¢d‘R Ž                      ¦   «         }|                      |¦  «        }||fS )Néÿÿÿÿr   r   g        )ÚdropoutÚscaling)ÚshaperO   rV   rP   ÚviewÚ	transposerW   rR   rS   r   ÚupdaterJ   r   Úget_interfacer.   Ú_attn_implementationr   rc   ÚreshapeÚ
contiguousrT   )r>   r[   r\   r]   r^   ÚkwargsÚinput_shapeÚhidden_shapeÚquery_statesÚ
key_statesÚvalue_statesÚcosÚsinÚattention_interfaceÚattn_outputÚattn_weightsÚoutputs                    r(   rE   zLfm2Attention.forwardV   sÇ  € ð $Ô)¨#¨2¨#Ô.ˆØ8˜Ð8 bÐ8¨$¬-Ð8Ð8ˆà×'Ò'Ð(G¨¯ª°MÑ(BÔ(BÔ(GÈÐ(VÑWÔW×aÒaÐbcÐefÑgÔgˆØ×%Ò%Ð&E d§k¢k°-Ñ&@Ô&@Ô&EÀ|Ð&TÑUÔU×_Ò_Ð`aÐcdÑeÔeˆ
Ø6�t—{’{ =Ñ1Ô1Ô6¸ÐE×OÒOÐPQÐSTÑUÔUˆà&‰ˆˆSÝ#7¸ÀjÐRUÐWZÑ#[Ô#[Ñ ˆ�jàÐ&Ø'6×'=Ò'=¸jÈ,ÐX\ÔXfÑ'gÔ'gÑ$ˆJ˜å(?Ô(MØŒKÔ,Õ.Eñ)
ô )
Ðð %8Ð$7ØØØØØð	%
ð Ø”Lð	%
ð 	%
ð ð	%
ð 	%
Ñ!ˆ�\ð *�kÔ)Ð;¨;Ð;¸Ð;Ð;Ð;×FÒFÑHÔHˆØ—’˜{Ñ+Ô+ˆØ�|Ð#Ð#r'   rA   )r#   r$   r%   r   r6   r3   ÚtorchÚTensorÚtupler   rE   rF   rG   s   @r(   rI   rI   J   sÇ   ø€ € € € € ð	#˜zð 	#°cð 	#ð 	#ð 	#ð 	#ð 	#ð 	#ð  )-ð%$ð %$à”|ð%$ð # 5¤<°´Ð#=Ô>ð%$ð œ tÑ+ð	%$ð
  ™ð%$ð 
ˆuŒ|˜Uœ\¨DÑ0Ð0Ô	1ð%$ð %$ð %$ð %$ð %$ð %$ð %$ð %$r'   rI   c                   óš   ‡ — e Zd Zdedefˆ fd„Z ed¦  «        	 	 	 ddej        de	dz  dej        dz  d	ej
        dz  fd
„¦   «         Zˆ xZS )ÚLfm2ShortConvr.   rJ   c           	      óê  •— t          ¦   «                              ¦   «          || _        || _        |j        | _        |j        | _        t          j	        |j
        |j
        | j        |j
        | j        | j        dz
  ¬¦  «        | _        t          j        |j
        d|j
        z  | j        ¬¦  «        | _        t          j        |j
        |j
        | j        ¬¦  «        | _        |j        |         | _        d S )Nr   )Úin_channelsÚout_channelsÚkernel_sizeÚgroupsr1   Úpaddingr   r0   )r2   r3   r.   rJ   Úconv_L_cacheÚconv_kernel_sizeÚ	conv_biasr1   r   ÚConv1dr:   Úconvr9   Úin_projrT   Úlayer_typesÚ
layer_typerZ   s      €r(   r3   zLfm2ShortConv.__init__€   sÚ   ø€ õ
 	‰Œ×ÒÑÔÐØˆŒØ"ˆŒØ &Ô 3ˆÔØÔ$ˆŒ	å”IØÔ*ØÔ+ØÔ-ØÔ%Ø”ØÔ)¨AÑ-ð
ñ 
ô 
ˆŒ	õ ”y Ô!3°Q¸Ô9KÑ5KÐRVÔR[Ð\Ñ\Ô\ˆŒÝœ	 &Ô"4°fÔ6HÈtÌyÐYÑYÔYˆŒà Ô,¨YÔ7ˆŒˆˆr'   r‡   Nr[   r^   r]   Úseq_idxc                 ób  — |j         d         }t          ||¦  «        }|                      |¦  «                             dd¦  «        }|                     dd¬¦  «        \  }}}	||	z  }|d uo|                     | j        ¦  «        }
|
rt|dk    rn|j        | j                 j        sW|j        | j                 j	        d         }t          ||| j        j                             d¦  «        | j        j        ¦  «        }nr|�"|                     || j        | j        ¬¦  «        }t#          || j        j                             d¦  «        | j        j        |¬¦  «        }|�|d d …d d …| d …f         }||z  }|                     dd¦  «                             ¦   «         }|                      |¦  «        }|S )	Nr   ra   éþÿÿÿr   )Údimr   )r„   )r‹   )rd   r   rˆ   rf   ÚchunkÚhas_previous_staterJ   ÚlayersÚrecord_pastÚconv_statesr   r‡   ÚweightÚsqueezer1   Úupdate_conv_stater„   r   rk   rT   )r>   r[   r^   r]   r‹   Úseq_lenÚBCxÚBÚCrD   Úuse_precomputed_statesÚ
conv_stateÚys                r(   rE   zLfm2ShortConv.forward˜   s½  € ð  Ô% aÔ(ˆå4°]ÀNÑSÔSˆØ�lŠl˜=Ñ)Ô)×3Ò3°B¸Ñ;Ô;ˆØ—)’)˜A 2�)Ñ&Ô&‰ˆˆ1ˆaØ˜A™ˆà!0¸Ð!<Ð!sÀ×AcÒAcÐdhÔdrÑAsÔAsÐà!ð 	? g°¢l l¸?Ô;QÐRVÔR`Ô;aÔ;m lØ(Ô/°´Ô?ÔKÈAÔNˆJå0Ø˜z¨4¬9Ô+;×+CÒ+CÀAÑ+FÔ+FÈÌ	Ìñô ˆMˆMð Ð*Ø /× AÒ AØ! 4¤>ÀDÔDYð !Bñ !ô !�õ -Ø˜tœyÔ/×7Ò7¸Ñ:Ô:¸D¼I¼NÐT[ðñ ô ˆMð
 Ð*Ø -¨a¨a¨a°°°°W°H°I°I¨oÔ >�à�ÑˆØ�KŠK˜˜BÑÔ×*Ò*Ñ,Ô,ˆØ�MŠM˜!ÑÔˆØˆr'   )NNN)r#   r$   r%   r   r6   r3   r	   rx   ry   r   Ú	IntTensorrE   rF   rG   s   @r(   r|   r|   ~   sÅ   ø€ € € € € ð8àð8ð ð8ð 8ð 8ð 8ð 8ð 8ð0 Ð˜FÑ#Ô#ð )-Ø.2Ø*.ð'ð 'à”|ð'ð  ™ð'ð œ tÑ+ð	'ð
 ” 4Ñ'ð'ð 'ð 'ñ $Ô#ð'ð 'ð 'ð 'ð 'r'   r|   c                   ó¶   ‡ — e Zd Zdedefˆ fd„Z	 	 	 	 ddej        deej        ej        f         dz  dej        dz  dej	        dz  d	e
dz  d
ej        fd„Zˆ xZS )ÚLfm2DecoderLayerr.   rJ   c                 ó€  •— t          ¦   «                              ¦   «          |j        |         dk    | _        | j        rt	          ||¦  «        | _        nt          ||¦  «        | _        t          |¦  «        | _	        t          |j        |j        ¬¦  «        | _        t          |j        |j        ¬¦  «        | _        d S )NÚfull_attentionrL   )r2   r3   r‰   Úis_attention_layerrI   Ú	self_attnr|   r‡   r-   Úfeed_forwardr!   r:   rU   Úoperator_normÚffn_normrZ   s      €r(   r3   zLfm2DecoderLayer.__init__Ä   s£   ø€ Ý‰Œ×ÒÑÔÐØ"(Ô"4°YÔ"?ÐCSÒ"SˆÔàÔ"ð 	9Ý*¨6°9Ñ=Ô=ˆDŒNˆNå% f¨iÑ8Ô8ˆDŒIÝ# F™OœOˆÔÝ(¨Ô);ÀÄÐQÑQÔQˆÔÝ# FÔ$6¸F¼OÐLÑLÔLˆŒˆˆr'   Nr[   r\   r]   Úposition_idsr^   r_   c           	      óJ  — |}| j         r* | j        d|                      |¦  «        ||||dœ|¤Ž\  }}n?|                      |                      |¦  «        |||                     d¦  «        ¬¦  «        }||z   }||                      |                      |¦  «        ¦  «        z   }|S )N)r[   r\   r]   r¨   r^   r‹   )r[   r^   r]   r‹   r&   )r£   r¤   r¦   r‡   Úgetr¥   r§   )	r>   r[   r\   r]   r¨   r^   rl   ÚresidualÚ_s	            r(   rE   zLfm2DecoderLayer.forwardÐ   sÕ   € ð !ˆØÔ"ð 	Ø-˜tœ~ð  Ø"×0Ò0°Ñ?Ô?Ø$7Ø-Ø)Ø /ð ð  ð ð ð  ÑˆM˜1˜1ð !ŸIšIØ"×0Ò0°Ñ?Ô?Ø /Ø-ØŸ
š
 9Ñ-Ô-ð	 &ñ ô ˆMð &¨Ñ0ˆØ%¨×(9Ò(9¸$¿-º-ÈÑ:VÔ:VÑ(WÔ(WÑWˆàÐr'   )NNNN)r#   r$   r%   r   r6   r3   rx   ry   rz   Ú
LongTensorr   rE   rF   rG   s   @r(   r    r    Ã   sà   ø€ € € € € ð
M˜zð 
M°cð 
Mð 
Mð 
Mð 
Mð 
Mð 
Mð IMØ.2Ø04Ø(,ðð à”|ðð # 5¤<°´Ð#=Ô>ÀÑEðð œ tÑ+ð	ð
 Ô&¨Ñ-ðð  ™ðð 
Œðð ð ð ð ð ð ð r'   r    c                   ó   — e Zd ZdS )ÚLfm2PreTrainedModelNr"   r&   r'   r(   r¯   r¯   ð   r)   r'   r¯   c                   ó²   ‡ — e Zd Zdefˆ fd„Z	 	 	 	 	 	 ddej        dz  dej        dz  dej        dz  dedz  dej	        dz  d	e
dz  d
ee         defd„Zˆ xZS )Ú	Lfm2Modelr.   c                 óŽ   •— t          ¦   «                              |¦  «         t          |j        |j        ¬¦  «        | _        | `d S )NrL   )r2   r3   r!   r:   rU   Úembedding_normÚnorm)r>   r.   r?   s     €r(   r3   zLfm2Model.__init__õ   s>   ø€ Ý‰Œ×Ò˜Ñ Ô Ð Ý)¨&Ô*<À&Ä/ÐRÑRÔRˆÔØˆIˆIˆIr'   NÚ	input_idsr]   r¨   r^   Úinputs_embedsÚ	use_cacherl   r_   c           	      óÚ  — |d u |d uz  rt          d¦  «        ‚|€|                      |¦  «        }|r|€t          | j        ¬¦  «        }|€V|�|                     ¦   «         nd}t          j        |j        d         |j        ¬¦  «        |z   }| 	                    d¦  «        }t          |x}	t          ¦  «        s&| j        ||||dœ}
t          di |
¤Žt          di |
¤Ždœ}	|}|                      ||¬¦  «        }t          | j        d | j        j        …         ¦  «        D ])\  }} ||f|	| j        j        |                  |||d	œ|¤Ž}Œ*|                      |¦  «        }t)          ||¬
¦  «        S )Nz:You must specify exactly one of input_ids or inputs_embeds)r.   r   r   )Údevice)r.   r¶   r]   r^   r¨   )r¢   r‡   )r¨   )r]   r\   r¨   r^   )Úlast_hidden_stater^   r&   )Ú
ValueErrorÚembed_tokensr   r.   Úget_seq_lengthrx   Úarangerd   r¹   Ú	unsqueezeÚ
isinstanceÚdictr
   r   Ú
rotary_embÚ	enumerater‘   Únum_hidden_layersr‰   r³   r   )r>   rµ   r]   r¨   r^   r¶   r·   rl   Úpast_seen_tokensÚcausal_mask_mappingÚmask_kwargsr[   r\   ÚiÚdecoder_layers                  r(   rE   zLfm2Model.forwardú   sè  € ð ˜Ð -°tÐ";Ñ<ð 	[ÝÐYÑZÔZÐZàÐ Ø ×-Ò-¨iÑ8Ô8ˆMàð 	?˜Ð0Ý*°$´+Ð>Ñ>Ô>ˆOàÐØCRÐC^˜×=Ò=Ñ?Ô?Ð?ÐdeÐÝ œ<¨Ô(;¸AÔ(>À}ÔG[Ð\Ñ\Ô\Ð_oÑoˆLØ'×1Ò1°!Ñ4Ô4ˆLå°Ð?Ð-ÅÑFÔFð 	àœ+Ø!.Ø"0Ø#2Ø ,ðð ˆKõ #5Ð"CÐ"C°{Ð"CÐ"CÝ7ÐFÐF¸+ÐFÐFð#ð #Ðð
 &ˆØ"Ÿošo¨mÈ,˜oÑWÔWÐõ !*¨$¬+Ð6U¸¼Ô8UÐ6UÔ*VÑ WÔ Wð 	ð 	ÑˆAˆ}Ø)˜MØðà2°4´;Ô3JÈ1Ô3MÔNØ$7Ø)Ø /ðð ð ðð ˆMˆMð ×+Ò+¨MÑ:Ô:ˆå&Ø+Ø+ð
ñ 
ô 
ð 	
r'   )NNNNNN)r#   r$   r%   r   r3   rx   r­   ry   r   ÚFloatTensorÚboolr   r   r   rE   rF   rG   s   @r(   r±   r±   ô   sì   ø€ € € € € ð˜zð ð ð ð ð ð ð .2Ø.2Ø04Ø(,Ø26Ø!%ð8
ð 8
àÔ# dÑ*ð8
ð œ tÑ+ð8
ð Ô&¨Ñ-ð	8
ð
  ™ð8
ð Ô(¨4Ñ/ð8
ð ˜$‘;ð8
ð Ð+Ô,ð8
ð 
!ð8
ð 8
ð 8
ð 8
ð 8
ð 8
ð 8
ð 8
r'   r±   c                   ó   — e Zd ZdS )ÚLfm2ForCausalLMNr"   r&   r'   r(   rÍ   rÍ   5  r)   r'   rÍ   )rÍ   r±   r¯   ):Úcollections.abcr   rx   Útorch.nn.functionalr   Ú
functionalrB   Úcache_utilsr   r   Úintegrationsr   Úintegrations.accelerater	   Úmasking_utilsr
   r   Úmodeling_layersr   Úmodeling_outputsr   Úmodeling_utilsr   Úprocessing_utilsr   Úutilsr   r   Úgemma2.modeling_gemma2r   Úllama.modeling_llamar   r   r   r   r   r   r   Úqwen3_next.modeling_qwen3_nextr   r   r   Úconfiguration_lfm2r   Ú
get_loggerr#   Úloggerr!   r+   ÚModuler-   rI   r|   r    r¯   r±   rÍ   Ú__all__r&   r'   r(   ú<module>râ      su  ðð %Ð $Ð $Ð $Ð $Ð $à €€€Ø Ð Ð Ð Ð Ð Ð Ð Ð Ø Ð Ð Ð Ð Ð à .Ð .Ð .Ð .Ð .Ð .Ð .Ð .Ø /Ð /Ð /Ð /Ð /Ð /Ø =Ð =Ð =Ð =Ð =Ð =Ø PÐ PÐ PÐ PÐ PÐ PÐ PÐ PØ 9Ð 9Ð 9Ð 9Ð 9Ð 9Ø 7Ð 7Ð 7Ð 7Ð 7Ð 7Ø 5Ð 5Ð 5Ð 5Ð 5Ð 5Ø &Ð &Ð &Ð &Ð &Ð &Ø 0Ð 0Ð 0Ð 0Ð 0Ð 0Ð 0Ð 0Ø :Ð :Ð :Ð :Ð :Ð :ðð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð rÐ qÐ qÐ qÐ qÐ qÐ qÐ qÐ qÐ qØ *Ð *Ð *Ð *Ð *Ð *ð 
ˆÔ	˜HÑ	%Ô	%€ð	ð 	ð 	ð 	ð 	�,ñ 	ô 	ð 	ð	ð 	ð 	ð 	ð 	Ð/ñ 	ô 	ð 	ð8ð 8ð 8ð 8ð 8ˆbŒiñ 8ô 8ð 8ð(1$ð 1$ð 1$ð 1$ð 1$�Nñ 1$ô 1$ð 1$ðh ÐÐ*Ð,<Ð=Ñ>Ô>ðAð Að Að Að A�B”Iñ Aô Añ ?Ô>ðAðH*ð *ð *ð *ð *Ð1ñ *ô *ð *ðZ	ð 	ð 	ð 	ð 	Ð.ñ 	ô 	ð 	ð>
ð >
ð >
ð >
ð >
�
ñ >
ô >
ð >
ðB	ð 	ð 	ð 	ð 	Ð&ñ 	ô 	ð 	ð BÐ
AÐ
A€€€r'   