§
    9²¸jÐR  ã                   óÎ  — d dl Z d dlZd dlmZ d dlmc mZ ddlmZ	 ddl
mZ ddlmZ ddlmZ ddlmZmZ ddlmZ dd	lmZ dd
lmZmZ ddlmZmZmZmZmZm Z m!Z!m"Z"m#Z# ddl$m%Z%  ej&        e'¦  «        Z( G d„ de"¦  «        Z) G d„ de¦  «        Z* G d„ dej+        ¦  «        Z, G d„ de¦  «        Z- G d„ de¦  «        Z. G d„ de¦  «        Z/ G d„ dej+        ¦  «        Z0 G d„ dej+        ¦  «        Z1 G d„ d ej+        ¦  «        Z2 G d!„ d"ee#¦  «        Z3eZ4 G d#„ d$e!¦  «        Z5 G d%„ d&e¦  «        Z6 G d'„ d(e¦  «        Z7 G d)„ d*e¦  «        Z8 G d+„ d,e ¦  «        Z9g d-¢Z:dS ).é    Né   )Úinitialization)Úis_deepspeed_zero3_enabled)Úis_fsdp_managed_module)ÚGradientCheckpointingLayer)ÚBaseModelOutputÚWav2Vec2BaseModelOutput)ÚPreTrainedModel)ÚUnpack)ÚTransformersKwargsÚloggingé   )	ÚWav2Vec2FeatureProjectionÚWav2Vec2FeedForwardÚ#Wav2Vec2ForAudioFrameClassificationÚWav2Vec2ForCTCÚ!Wav2Vec2ForSequenceClassificationÚWav2Vec2ForXVectorÚWav2Vec2ModelÚWav2Vec2PositionalConvEmbeddingÚWav2Vec2PreTrainedModelé   )ÚWavLMConfigc                   ó   — e Zd ZdS )ÚWavLMPositionalConvEmbeddingN©Ú__name__Ú
__module__Ú__qualname__© ó    úw/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/transformers/models/wavlm/modular_wavlm.pyr   r       ó   € € € € € Ø€Dr!   r   c                   ó   — e Zd ZdS )ÚWavLMFeatureProjectionNr   r    r!   r"   r%   r%   $   r#   r!   r%   c                   óž  ‡ — e Zd ZdZ	 	 	 	 ddededeez  d	ed
edefˆ fd„Z	 	 	 ddej	        dej	        dz  dej	        dz  dede
e         deej	        ej	        dz  eej	                 dz  f         fd„Zdej        dej        ej        z  dej        deej        ej        f         fd„Zdededej        fd„Zdej        dej        fd„Zˆ xZS )ÚWavLMAttentionz=Multi-headed attention from 'Attention Is All You Need' paperç        é@  é   TÚ	embed_dimÚ	num_headsÚdropoutÚnum_bucketsÚmax_distanceÚhas_relative_position_biasc                 óà  •— t          ¦   «                              ¦   «          || _        || _        || _        ||z  | _        | j        |z  | j        k    rt          d| j        › d|› d�¦  «        ‚| j        dz  | _        t          j	        ||¦  «        | _
        t          j	        ||¦  «        | _        t          j	        ||¦  «        | _        t          j	        ||¦  «        | _        || _        || _        t          j        t#          j        d| j        dd¦  «        ¦  «        | _        t          j	        | j        d¦  «        | _        |r&t          j        | j        | j        ¦  «        | _        d S d S )Nz;embed_dim must be divisible by num_heads (got `embed_dim`: z and `num_heads`: z).g      à¿r   é   )ÚsuperÚ__init__r+   r,   r-   Úhead_dimÚ
ValueErrorÚscalingÚnnÚLinearÚk_projÚv_projÚq_projÚout_projr.   r/   Ú	ParameterÚtorchÚonesÚgru_rel_pos_constÚgru_rel_pos_linearÚ	EmbeddingÚrel_attn_embed)Úselfr+   r,   r-   r.   r/   r0   Ú	__class__s          €r"   r4   zWavLMAttention.__init__+   sa  ø€ õ 	‰Œ×ÒÑÔÐØ"ˆŒØ"ˆŒØˆŒØ! YÑ.ˆŒàŒM˜IÑ%¨$¬.Ò8Ð8Ýð3ÈdÌnð 3ð 3Ø%.ð3ð 3ð 3ñô ð ð ”} dÑ*ˆŒå”i 	¨9Ñ5Ô5ˆŒÝ”i 	¨9Ñ5Ô5ˆŒÝ”i 	¨9Ñ5Ô5ˆŒÝœ	 )¨YÑ7Ô7ˆŒà&ˆÔØ(ˆÔå!#¤­e¬j¸¸D¼NÈAÈqÑ.QÔ.QÑ!RÔ!RˆÔÝ"$¤)¨D¬M¸1Ñ"=Ô"=ˆÔà%ð 	QÝ"$¤,¨tÔ/?ÀÄÑ"PÔ"PˆDÔÐÐð	Qð 	Qr!   Nr   Úhidden_statesÚattention_maskÚposition_biasÚindexÚkwargsÚreturnc                 óD  — |                      ¦   «         \  }}}|€^|                      ||¦  «        }|                     d¦  «                             |ddd¦  «                             || j        z  ||¦  «        }|                     |j        dd…         | j        dfz   ¦  «        }	|	                     dddd¦  «        }	|                      |	¦  «        }
|
                     |	j        dd…         dz   ¦  «         	                    d¦  «        }
t          j        |
¦  «                             dd¬¦  «        \  }}||| j        z  d	z
  z  d
z   }|                     || j        z  dd¦  «        |z  }|                     d||f¦  «        }|                      |||¦  «        \  }}|||fS )z'Attention layer with relative attentionNr   r   éÿÿÿÿr   r   )r   é   ©Údimç      ð?g       @)ÚsizeÚcompute_biasÚ	unsqueezeÚrepeatÚviewr,   ÚshapeÚpermuterB   Úsumr?   ÚsigmoidÚchunkrA   Útorch_multi_head_self_attention)rE   rG   rH   rI   rJ   rK   ÚbszÚtgt_lenÚ_Úgated_hidden_statesÚrelative_position_projÚgate_aÚgate_bÚgate_outputÚgated_position_biasÚattn_outputÚattn_weightss                    r"   ÚforwardzWavLMAttention.forwardO   sÍ  € ð (×,Ò,Ñ.Ô.‰ˆˆW�að Ð Ø ×-Ò-¨g°wÑ?Ô?ˆMà×'Ò'¨Ñ*Ô*×1Ò1°#°q¸!¸QÑ?Ô?×DÒDÀSÈ4Ì>ÑEYÐ[bÐdkÑlÔlð ð ,×0Ò0°Ô1DÀSÀbÀSÔ1IÈTÌ^Ð]_ÐL`Ñ1`ÑaÔaÐØ1×9Ò9¸!¸QÀÀ1ÑEÔEÐð "&×!8Ò!8Ð9LÑ!MÔ!MÐØ!7×!<Ò!<Ð=PÔ=VÐWZÐXZÐWZÔ=[Ð^dÑ=dÑ!eÔ!e×!iÒ!iÐjlÑ!mÔ!mÐõ œÐ'=Ñ>Ô>×DÒDÀQÈBÐDÑOÔO‰ˆ�Ø ¨Ô)?Ñ ?À#Ñ EÑFÈÑLˆð *×.Ò.¨s°T´^Ñ/CÀRÈÑKÔKÈmÑ[ÐØ1×6Ò6¸¸GÀWÐ7MÑNÔNÐà$(×$HÒ$HØ˜>Ð+>ñ%
ô %
Ñ!ˆ�\ð ˜L¨-Ð7Ð7r!   rf   c                 ó¦  — |                      dd¦  «        x}x}}|�|                     d¦  «        nd}dx}}	d}
t          j        |||| j        | j        t          j        dg¦  «        t          j        | j	        j
        | j        j
        | j        j
        f¦  «        ||	|
| j        | j        j        | j        j
        | j        |d|d| j	        j        | j        j        | j        j        ¬¦  «        \  }}|                      dd¦  «        }|�E|dd…df                              |j        dd…         | j        fz   |j        dd…         z   ¦  «        }||fS )zCsimple wrapper around torch's multi_head_attention_forward functionr   r   NFT)Úneed_weightsÚ	attn_maskÚuse_separate_proj_weightÚq_proj_weightÚk_proj_weightÚv_proj_weight)Ú	transposeÚneÚFÚmulti_head_attention_forwardr+   r,   r?   ÚemptyÚcatr<   Úbiasr:   r;   r-   r=   ÚweightÚtrainingÚbroadcast_torX   )rE   rG   rH   rf   ÚqueryÚkeyÚvalueÚkey_padding_maskÚbias_kÚbias_vÚadd_zero_attnrg   rh   s                r"   r]   z.WavLMAttention.torch_multi_head_self_attentionx   sx  € ð ,×5Ò5°a¸Ñ;Ô;Ð;ˆÐ;��eØ3AÐ3M˜>×,Ò,¨QÑ/Ô/Ð/ÐSWÐð Ðˆ�Øˆõ %&Ô$BØØØØŒNØŒNÝŒK˜˜ÑÔÝŒI�t”{Ô'¨¬Ô)9¸4¼;Ô;KÐLÑMÔMØØØØŒLØŒMÔ ØŒMÔØŒMØØØ)Ø%)Øœ+Ô,Øœ+Ô,Øœ+Ô,ð+%
ñ %
ô %
Ñ!ˆ�\ð2 "×+Ò+¨A¨qÑ1Ô1ˆàÐ#ð (¨¨¨¨4¨Ô0×=Ò=ØÔ" 2 A 2Ô&¨$¬.Ð):Ñ:¸\Ô=OÐPQÐPRÐPRÔ=SÑSñô ˆLð ˜LÐ(Ð(r!   Úquery_lengthÚ
key_lengthc                 ó‚  — t          j        |t           j        ¬¦  «        d d …d f         }t          j        |t           j        ¬¦  «        d d d …f         }||z
  }|                      |¦  «        }|                     | j        j        j        ¦  «        }|                      |¦  «        }|                     g d¢¦  «        }|S )N)Údtype)r   r   r   )	r?   ÚarangeÚlongÚ_relative_positions_bucketÚtorD   rx   ÚdevicerY   )rE   r‚   rƒ   Úcontext_positionÚmemory_positionÚrelative_positionÚrelative_position_bucketÚvaluess           r"   rT   zWavLMAttention.compute_bias®   sµ   € Ý œ<¨½E¼JÐGÑGÔGÈÈÈÈ4ÈÔPÐÝœ, z½¼ÐDÑDÔDÀTÈ1È1È1ÀWÔMˆØ+Ð.>Ñ>ÐØ#'×#BÒ#BÐCTÑ#UÔ#UÐ Ø#;×#>Ò#>¸tÔ?RÔ?YÔ?`Ñ#aÔ#aÐ Ø×$Ò$Ð%=Ñ>Ô>ˆØ—’ 	 	 	Ñ*Ô*ˆØˆr!   Úrelative_positionsc                 ó  — | j         dz  }|dk                         t          j        ¦  «        |z  }t          j        |¦  «        }|dz  }||k     }t          j        |                     ¦   «         |z  ¦  «        }|t          j        | j        |z  ¦  «        z  }|||z
  z  }||z                        t          j        ¦  «        }t          j	        |t          j
        ||dz
  ¦  «        ¦  «        }|t          j        |||¦  «        z  }|S )Nr   r   r   )r.   r‰   r?   r‡   ÚabsÚlogÚfloatÚmathr/   ÚminÚ	full_likeÚwhere)rE   r�   r.   Úrelative_bucketsÚ	max_exactÚis_smallÚrelative_positions_if_largeÚrelative_position_if_larges           r"   rˆ   z)WavLMAttention._relative_positions_bucket¸   s  € ØÔ&¨!Ñ+ˆà.°Ò2×6Ò6µu´zÑBÔBÀ[ÑPÐÝ"œYÐ'9Ñ:Ô:Ðà 1Ñ$ˆ	Ø%¨	Ò1ˆå&+¤iÐ0B×0HÒ0HÑ0JÔ0JÈYÑ0VÑ&WÔ&WÐ#Ø&AÅDÄHÈTÔM^ÐajÑMjÑDkÔDkÑ&kÐ#Ø&AÀ[ÐS\ÑE\Ñ&]Ð#Ø&/Ð2MÑ&M×%QÒ%QÕRWÔR\Ñ%]Ô%]Ð"Ý%*¤YØ&­¬Ð8RÐT_ÐbcÑTcÑ(dÔ(dñ&
ô &
Ð"ð 	�EœK¨Ð2DÐF`ÑaÔaÑaÐØÐr!   )r(   r)   r*   T©NNr   )r   r   r   Ú__doc__Úintr”   Úboolr4   r?   ÚTensorr   r   Útupleri   ÚFloatTensorÚ
LongTensorÚ
BoolTensorr]   rT   rˆ   Ú__classcell__©rF   s   @r"   r'   r'   (   sé  ø€ € € € € ØGÐGð  #ØØØ+/ð"Qð "Qàð"Qð ð"Qð ˜‘ð	"Qð
 ð"Qð ð"Qð %)ð"Qð "Qð "Qð "Qð "Qð "QðN /3Ø-1Øð'8ð '8à”|ð'8ð œ tÑ+ð'8ð ”| dÑ*ð	'8ð
 ð'8ð Ð+Ô,ð'8ð 
ˆuŒ|˜Uœ\¨DÑ0°%¸¼Ô2EÈÑ2LÐLÔ	Mð'8ð '8ð '8ð '8ðR4)àÔ(ð4)ð Ô(¨5Ô+;Ñ;ð4)ð #Ô.ð	4)ð
 
ˆuÔ  %Ô"3Ð3Ô	4ð4)ð 4)ð 4)ð 4)ðl¨ð ¸#ð À%ÔBSð ð ð ð ð ¸UÔ=Nð  ÐSXÔSdð  ð  ð  ð  ð  ð  ð  ð  r!   r'   c                   ó   — e Zd ZdS )ÚWavLMFeedForwardNr   r    r!   r"   rª   rª   Í   r#   r!   rª   c                   ó„   ‡ — e Zd Zddedefˆ fd„Z	 	 	 ddej        dej        dz  d	ej        dz  d
ede	e
         f
d„Zˆ xZS )ÚWavLMEncoderLayerTÚconfigr0   c                 ó¦  •— t          ¦   «                              ¦   «          t          |j        |j        |j        |j        |j        |¬¦  «        | _        t          j
        |j        ¦  «        | _        t          j        |j        |j        ¬¦  «        | _        t!          |¦  «        | _        t          j        |j        |j        ¬¦  «        | _        d S ©N)r+   r,   r-   r.   r/   r0   ©Úeps©r3   r4   r'   Úhidden_sizeÚnum_attention_headsÚattention_dropoutr.   Úmax_bucket_distanceÚ	attentionr8   ÚDropoutÚhidden_dropoutr-   Ú	LayerNormÚlayer_norm_epsÚ
layer_normrª   Úfeed_forwardÚfinal_layer_norm©rE   r­   r0   rF   s      €r"   r4   zWavLMEncoderLayer.__init__Ò   óµ   ø€ Ý‰Œ×ÒÑÔÐÝ'ØÔ(ØÔ0ØÔ,ØÔ*ØÔ3Ø'Að
ñ 
ô 
ˆŒõ ”z &Ô"7Ñ8Ô8ˆŒÝœ, vÔ'9¸vÔ?TÐUÑUÔUˆŒÝ,¨VÑ4Ô4ˆÔÝ "¤¨VÔ-?ÀVÔEZÐ [Ñ [Ô [ˆÔÐÐr!   Nr   rG   rH   rI   rJ   rK   c                 óò   — |} | j         |f|||dœ|¤Ž\  }}}|                      |¦  «        }||z   }|                      |¦  «        }||                      |¦  «        z   }|                      |¦  «        }||fS )N©rH   rI   rJ   )r·   r-   r¼   r½   r¾   )rE   rG   rH   rI   rJ   rK   Úattn_residualr`   s           r"   ri   zWavLMEncoderLayer.forwardá   s§   € ð &ˆØ*8¨$¬.Øð+
à)Ø'Øð	+
ð +
ð
 ð+
ð +
Ñ'ˆ�q˜-ð Ÿš ]Ñ3Ô3ˆØ%¨Ñ5ˆàŸš¨Ñ6Ô6ˆà%¨×(9Ò(9¸-Ñ(HÔ(HÑHˆØ×-Ò-¨mÑ<Ô<ˆà˜mÐ+Ð+r!   ©Trž   )r   r   r   r   r¡   r4   r?   r¢   r    r   r   ri   r§   r¨   s   @r"   r¬   r¬   Ñ   sÃ   ø€ € € € € ð\ð \˜{ð \Èð \ð \ð \ð \ð \ð \ð$ /3Ø-1Øð,ð ,à”|ð,ð œ tÑ+ð,ð ”| dÑ*ð	,ð
 ð,ð Ð+Ô,ð,ð ,ð ,ð ,ð ,ð ,ð ,ð ,r!   r¬   c            
       ó~   ‡ — e Zd Zddedefˆ fd„Z	 	 ddej        dej        dz  dej        dz  d	ee	         fd
„Z
ˆ xZS )Ú WavLMEncoderLayerStableLayerNormTr­   r0   c                 ó¦  •— t          ¦   «                              ¦   «          t          |j        |j        |j        |j        |j        |¬¦  «        | _        t          j
        |j        ¦  «        | _        t          j        |j        |j        ¬¦  «        | _        t!          |¦  «        | _        t          j        |j        |j        ¬¦  «        | _        d S r¯   r²   r¿   s      €r"   r4   z)WavLMEncoderLayerStableLayerNorm.__init__ý   rÀ   r!   NrG   rH   rI   rK   c                 óì   — |}|                       |¦  «        } | j        |f||dœ|¤Ž\  }}}|                      |¦  «        }||z   }||                      |                      |¦  «        ¦  «        z   }||fS )N©rH   rI   )r¼   r·   r-   r½   r¾   )rE   rG   rH   rI   rK   rÃ   r`   s          r"   ri   z(WavLMEncoderLayerStableLayerNorm.forward  s    € ð &ˆØŸš¨Ñ6Ô6ˆØ*8¨$¬.Øð+
à)Ø'ð+
ð +
ð ð	+
ð +
Ñ'ˆ�q˜-ð Ÿš ]Ñ3Ô3ˆØ%¨Ñ5ˆØ%¨×(9Ò(9¸$×:OÒ:OÐP]Ñ:^Ô:^Ñ(_Ô(_Ñ_ˆà˜mÐ+Ð+r!   rÄ   )NN)r   r   r   r   r¡   r4   r?   r¢   r   r   ri   r§   r¨   s   @r"   rÆ   rÆ   ü   s¶   ø€ € € € € ð\ð \˜{ð \Èð \ð \ð \ð \ð \ð \ð$ /3Ø-1ð	,ð ,à”|ð,ð œ tÑ+ð,ð ”| dÑ*ð	,ð
 Ð+Ô,ð,ð ,ð ,ð ,ð ,ð ,ð ,ð ,r!   rÆ   c                   óN   ‡ — e Zd Zˆ fd„Z	 ddej        dz  dee         fd„Zˆ xZ	S )ÚWavLMEncoderc                 ó‚  •‡— t          ¦   «                              ¦   «          ‰| _        t          ‰¦  «        | _        t          j        ‰j        ‰j        ¬¦  «        | _	        t          j
        ‰j        ¦  «        | _        t          j        ˆfd„t          ‰j        ¦  «        D ¦   «         ¦  «        | _        d| _        d S )Nr°   c                 ó:   •— g | ]}t          ‰|d k    ¬¦  «        ‘ŒS ©r   )r0   )r¬   ©Ú.0Úir­   s     €r"   ú
<listcomp>z)WavLMEncoder.__init__.<locals>.<listcomp>*  s,   ø€ ÐuÐuÐuÐPQÕ˜vÀ1ÈÂ6ÐKÑKÔKÐuÐuÐur!   F©r3   r4   r­   r   Úpos_conv_embedr8   rº   r³   r»   r¼   r¸   r¹   r-   Ú
ModuleListÚrangeÚnum_hidden_layersÚlayersÚgradient_checkpointing©rE   r­   rF   s    `€r"   r4   zWavLMEncoder.__init__#  s¨   øø€ Ý‰Œ×ÒÑÔÐØˆŒÝ:¸6ÑBÔBˆÔÝœ, vÔ'9¸vÔ?TÐUÑUÔUˆŒÝ”z &Ô"7Ñ8Ô8ˆŒÝ”mØuÐuÐuÐuÕUZÐ[aÔ[sÑUtÔUtÐuÑuÔuñ
ô 
ˆŒð ',ˆÔ#Ð#Ð#r!   NrH   rK   c                 ó   — |�;|                      d¦  «                             dd|j        d         ¦  «        }d|| <   |                      |¦  «        }||z   }|                      |¦  «        }|                      |¦  «        }t          ¦   «         pt          | ¦  «        }d }t          | j	        ¦  «        D ]J\  }}	t          j        g ¦  «        }
| j        o|dk    o|
| j        j        k     }|r|r |	|f|||dœ|¤Ž\  }}ŒKt          |¬¦  «        S )NrN   r   r   r   rÂ   ©Úlast_hidden_state)rU   rV   rX   rÔ   r¼   r-   r   r   Ú	enumeraterØ   r?   Úrandry   r­   Ú	layerdropr   ©rE   rG   rH   rK   Úexpand_attention_maskÚposition_embeddingsÚsynced_gpusrI   rÑ   ÚlayerÚdropout_probabilityÚskip_the_layers               r"   ri   zWavLMEncoder.forward.  sL  € ð Ð%à$2×$<Ò$<¸RÑ$@Ô$@×$GÒ$GÈÈ1ÈmÔNaÐbcÔNdÑ$eÔ$eÐ!Ø45ˆMÐ0Ð0Ñ1à"×1Ò1°-Ñ@Ô@ÐØ%Ð(;Ñ;ˆØŸš¨Ñ6Ô6ˆØŸš ]Ñ3Ô3ˆå0Ñ2Ô2ÐRÕ6LÈTÑ6RÔ6RˆØˆå! $¤+Ñ.Ô.ð 	ð 	‰HˆAˆuå"'¤*¨R¡.¤.Ðà!œ]Ðf¨q°1ªuÐfÐ:MÐPTÔP[ÔPeÒ:eˆNØ!ð  [ð à/4¨uØ!ð0à#1Ø"/Øð	0ð 0ð
 ð0ð 0Ñ,�˜}øõ °Ð?Ñ?Ô?Ð?r!   ©N©
r   r   r   r4   r?   r¢   r   r   ri   r§   r¨   s   @r"   rË   rË   "  s‚   ø€ € € € € ð	,ð 	,ð 	,ð 	,ð 	,ð /3ð"@ð "@ð œ tÑ+ð"@ð Ð+Ô,ð	"@ð "@ð "@ð "@ð "@ð "@ð "@ð "@r!   rË   c                   óN   ‡ — e Zd Zˆ fd„Z	 ddej        dz  dee         fd„Zˆ xZ	S )ÚWavLMEncoderStableLayerNormc                 ó‚  •‡— t          ¦   «                              ¦   «          ‰| _        t          ‰¦  «        | _        t          j        ‰j        ‰j        ¬¦  «        | _	        t          j
        ‰j        ¦  «        | _        t          j        ˆfd„t          ‰j        ¦  «        D ¦   «         ¦  «        | _        d| _        d S )Nr°   c                 ó:   •— g | ]}t          ‰|d k    ¬¦  «        ‘ŒS rÎ   )rÆ   rÏ   s     €r"   rÒ   z8WavLMEncoderStableLayerNorm.__init__.<locals>.<listcomp>[  s=   ø€ ð ð ð àõ 1°ÐUVÐZ[ÒU[Ð]Ñ]Ô]ðð ð r!   FrÓ   rÚ   s    `€r"   r4   z$WavLMEncoderStableLayerNorm.__init__T  sµ   øø€ Ý‰Œ×ÒÑÔÐØˆŒÝ:¸6ÑBÔBˆÔÝœ, vÔ'9¸vÔ?TÐUÑUÔUˆŒÝ”z &Ô"7Ñ8Ô8ˆŒÝ”mðð ð ð å˜vÔ7Ñ8Ô8ðñ ô ñ
ô 
ˆŒð ',ˆÔ#Ð#Ð#r!   NrH   rK   c                 ó  — |�;|                      d¦  «                             dd|j        d         ¦  «        }d|| <   |                      |¦  «        }||z   }|                      |¦  «        }t          ¦   «         pt          | ¦  «        }d }t          | j        ¦  «        D ]I\  }}	t          j
        g ¦  «        }
| j        o|dk    o|
| j        j        k     }|r|r |	|f||dœ|¤Ž\  }}ŒJ|                      |¦  «        }t          |¬¦  «        S )NrN   r   r   r   rÉ   rÜ   )rU   rV   rX   rÔ   r-   r   r   rÞ   rØ   r?   rß   ry   r­   rà   r¼   r   rá   s               r"   ri   z#WavLMEncoderStableLayerNorm.forwardb  sK  € ð Ð%à$2×$<Ò$<¸RÑ$@Ô$@×$GÒ$GÈÈ1ÈmÔNaÐbcÔNdÑ$eÔ$eÐ!Ø45ˆMÐ0Ð0Ñ1à"×1Ò1°-Ñ@Ô@ÐØ%Ð(;Ñ;ˆØŸš ]Ñ3Ô3ˆå0Ñ2Ô2ÐRÕ6LÈTÑ6RÔ6RˆØˆå! $¤+Ñ.Ô.ð 	ð 	‰HˆAˆuå"'¤*¨R¡.¤.Ðà!œ]Ðf¨q°1ªuÐfÐ:MÐPTÔP[ÔPeÒ:eˆNØ!ð  [ð ð 05¨uØ!ð0à#1Ø"/ð0ð 0ð ð	0ð 0Ñ,�˜}øð Ÿš¨Ñ6Ô6ˆå°Ð?Ñ?Ô?Ð?r!   rè   ré   r¨   s   @r"   rë   rë   S  s‚   ø€ € € € € ð,ð ,ð ,ð ,ð ,ð" /3ð#@ð #@ð œ tÑ+ð#@ð Ð+Ô,ð	#@ð #@ð #@ð #@ð #@ð #@ð #@ð #@r!   rë   c                   ó>   ‡ — e Zd ZdZˆ fd„Zed„ ¦   «         Zd„ Zˆ xZS )ÚWavLMGumbelVectorQuantizerz°
    Vector quantization using gumbel softmax. See [CATEGORICAL REPARAMETERIZATION WITH
    GUMBEL-SOFTMAX](https://huggingface.co/papers/1611.01144) for more information.
    c                 óÞ  •— t          ¦   «                              ¦   «          |j        | _        |j        | _        |j        | j        z  dk    r t          d|j        › d| j        › d�¦  «        ‚t          j	        t          j        d| j        | j        z  |j        | j        z  ¦  «        ¦  «        | _        t          j        |j        d         | j        | j        z  ¦  «        | _        d| _        d S )Nr   z`config.codevector_dim z5 must be divisible by `config.num_codevector_groups` z for concatenation.r   rN   r   )r3   r4   Únum_codevector_groupsÚ
num_groupsÚnum_codevectors_per_groupÚnum_varsÚcodevector_dimr6   r8   r>   r?   r¤   Úcodevectorsr9   Úconv_dimÚweight_projÚtemperaturerÚ   s     €r"   r4   z#WavLMGumbelVectorQuantizer.__init__Ž  sï   ø€ Ý‰Œ×ÒÑÔÐØ Ô6ˆŒØÔ8ˆŒàÔ  4¤?Ñ2°aÒ7Ð7Ýð%¨&Ô*?ð %ð %Ø6:´oð%ð %ð %ñô ð õ œ<ÝÔ˜a ¤°4´=Ñ!@À&ÔBWÐ[_Ô[jÑBjÑkÔkñ
ô 
ˆÔõ œ9 V¤_°RÔ%8¸$¼/ÈDÌMÑ:YÑZÔZˆÔð ˆÔÐÐr!   c                 óÎ   — |                       d¬¦  «        }t          j        t          j        t          j        ||¦  «        d¬¦  «         ¦  «                             ¦   «         }|S )Nr   rP   rN   )Úmeanr?   ÚexprZ   Úxlogy)ÚprobsÚmarginal_probsÚ
perplexitys      r"   Ú_compute_perplexityz.WavLMGumbelVectorQuantizer._compute_perplexity£  sU   € àŸš¨˜Ñ*Ô*ˆÝ”Y¥¤	­%¬+°nÀnÑ*UÔ*UÐ[]Ð ^Ñ ^Ô ^Ð^Ñ_Ô_×cÒcÑeÔeˆ
ØÐr!   c                 óú  — |j         \  }}}|                      |¦  «        }|                     ||z  | j        z  d¦  «        }| j        r©t
          j                             |                     ¦   «         | j	        d¬¦  «        }| 
                    |¦  «        }t          j        |                     ||z  | j        d¦  «                             ¦   «         d¬¦  «        }|                      |¦  «        }n‚|                     d¬¦  «        } |j        |j         Ž                      d|                     dd¦  «        d¦  «        }|                     ||z  | j        d¦  «        }|                      |¦  «        }|                     ||z  d¦  «        }|                     d¦  «        | j        z  }	|	                     ||z  | j        | j        d¦  «        }
|
                     d¦  «                             ||d¦  «        }
|
|fS )NrN   T)ÚtauÚhardrP   r   rR   éþÿÿÿ)rX   rù   rW   ró   ry   r8   Ú
functionalÚgumbel_softmaxr”   rú   Útype_asr?   Úsoftmaxr  ÚargmaxÚ	new_zerosÚscatter_rU   r÷   rõ   rZ   )rE   rG   Ú
batch_sizeÚsequence_lengthr³   Úcodevector_probsÚcodevector_soft_distr  Úcodevector_idxÚcodevectors_per_groupr÷   s              r"   ri   z"WavLMGumbelVectorQuantizer.forward©  s  € Ø3@Ô3FÑ0ˆ
�O [ð ×(Ò(¨Ñ7Ô7ˆØ%×*Ò*¨:¸Ñ+GÈ$Ì/Ñ+YÐ[]Ñ^Ô^ˆàŒ=ð 	Då!œ}×;Ò;¸M×<OÒ<OÑ<QÔ<QÐW[ÔWgÐnrÐ;ÑsÔsÐØ/×7Ò7¸ÑFÔFÐõ $)¤=Ø×"Ò" :°Ñ#?ÀÄÐRTÑUÔU×[Ò[Ñ]Ô]Ðceð$ñ $ô $Ð ð ×1Ò1Ð2FÑGÔGˆJˆJð +×1Ò1°bÐ1Ñ9Ô9ˆNØ6˜}Ô6¸Ô8KÐL×UÒUØ�N×'Ò'¨¨AÑ.Ô.°ñ ô  Ðð  0×4Ò4°ZÀ/Ñ5QÐSWÔSbÐdfÑgÔgÐà×1Ò1Ð2BÑCÔCˆJà+×0Ò0°¸oÑ1MÈrÑRÔRÐà 0× :Ò :¸2Ñ >Ô >ÀÔAQÑ QÐØ+×0Ò0°¸oÑ1MÈtÌÐ`dÔ`mÐoqÑrÔrˆØ!—o’o bÑ)Ô)×.Ò.¨z¸?ÈBÑOÔOˆà˜JÐ&Ð&r!   )	r   r   r   rŸ   r4   Ústaticmethodr  ri   r§   r¨   s   @r"   rð   rð   ˆ  sl   ø€ € € € € ðð ð
ð ð ð ð ð* ðð ñ „\ðð
"'ð "'ð "'ð "'ð "'ð "'ð "'r!   rð   c                   óx   — e Zd ZU eed<   dZdZdZdZdZ	dZ
dZ ej        ¦   «         d„ ¦   «         Zd„ Zd	„ Zd
„ ZdS )ÚWavLMPreTrainedModelr­   ÚwavlmÚinput_valuesÚaudioTFc           
      ó2  — t          j        | |¦  «         t          |t          ¦  «        rZt	          j        |j        j        dd¬¦  «         t	          j        |j        j	        ¦  «         t	          j
        |j        ¦  «         dS t          |t          ¦  «        rwt	          j        |j        j        ddt          j        d|j        j        d         |j        j        z  z  ¦  «        z  ¬¦  «         t	          j        |j        j	        d¦  «         dS t          |t&          ¦  «        rgt          j        d|j        j        z  ¦  «        }t	          j
        |j        j        | |¬¦  «         t	          j
        |j        j	        | |¬¦  «         dS t          |t,          j        ¦  «        rnt	          j        |j        ¦  «         |j	        �Pt          j        |j        |j        |j        d         z  z  ¦  «        }t	          j
        |j	        | |¬¦  «         dS dS dS )zInitialize the weightsr(   r   )rü   Ústdr   r   )ÚaÚbN)r
   Ú_init_weightsÚ
isinstancerð   ÚinitÚnormal_rù   rx   Úzeros_rw   Úuniform_r÷   r   Úconvr•   ÚsqrtÚkernel_sizeÚin_channelsÚ	constant_r%   Ú
projectionÚin_featuresr8   ÚConv1dÚkaiming_normal_Úgroups)rE   ÚmoduleÚks      r"   r  z"WavLMPreTrainedModel._init_weightsØ  sñ  € õ 	Ô% d¨FÑ3Ô3Ð3å�fÕ8Ñ9Ô9ð 	6ÝŒL˜Ô+Ô2¸À!ÐDÑDÔDÐDÝŒK˜Ô*Ô/Ñ0Ô0Ð0ÝŒM˜&Ô,Ñ-Ô-Ð-Ð-Ð-Ý˜Õ <Ñ=Ô=ð 	6ÝŒLØ”Ô"ØØ�œ	 ! v¤{Ô'>¸qÔ'AÀFÄKÔD[Ñ'[Ñ"\Ñ]Ô]Ñ]ðñ ô ð õ
 ŒN˜6œ;Ô+¨QÑ/Ô/Ð/Ð/Ð/Ý˜Õ 6Ñ7Ô7ð 		6Ý”	˜!˜fÔ/Ô;Ñ;Ñ<Ô<ˆAÝŒM˜&Ô+Ô2°q°b¸AÐ>Ñ>Ô>Ð>ÝŒM˜&Ô+Ô0°Q°B¸!Ð<Ñ<Ô<Ð<Ð<Ð<Ý˜¥¤	Ñ*Ô*ð 	6ÝÔ  ¤Ñ/Ô/Ð/àŒ{Ð&Ý”I˜fœm¨vÔ/AÀFÔDVÐWXÔDYÑ/YÑZÑ[Ô[�Ý”˜fœk¨a¨R°1Ð5Ñ5Ô5Ð5Ð5Ð5ð	6ð 	6ð 'Ð&r!   c                 ó    — t          d¦  «        ‚©NzNot needed for WavLM©ÚAttributeError©rE   s    r"   Ú_get_adaptersz"WavLMPreTrainedModel._get_adaptersó  ó   € ÝÐ3Ñ4Ô4Ð4r!   c                 ó    — t          d¦  «        ‚r1  r2  r4  s    r"   Úinit_adapter_layersz(WavLMPreTrainedModel.init_adapter_layersö  r6  r!   c                 ó    — t          d¦  «        ‚r1  r2  r4  s    r"   Úload_adapterz!WavLMPreTrainedModel.load_adapterù  r6  r!   N)r   r   r   r   Ú__annotations__Úbase_model_prefixÚmain_input_nameÚinput_modalitiesÚsupports_gradient_checkpointingÚ_supports_flash_attnÚ_supports_sdpaÚ_supports_flex_attnr?   Úno_gradr  r5  r8  r:  r    r!   r"   r  r  Î  s˜   € € € € € € ØÐÐÑØÐØ$€OØÐØ&*Ð#Ø ÐØ€NØÐà€U„]�_„_ð6ð 6ñ „_ð6ð45ð 5ð 5ð5ð 5ð 5ð5ð 5ð 5ð 5ð 5r!   r  c                   ó   — e Zd ZdS )Ú
WavLMModelNr   r    r!   r"   rE  rE     r#   r!   rE  c                   ó   — e Zd ZdS )ÚWavLMForCTCNr   r    r!   r"   rG  rG    r#   r!   rG  c                   ó   — e Zd ZdS )ÚWavLMForSequenceClassificationNr   r    r!   r"   rI  rI    r#   r!   rI  c                   ó   — e Zd ZdS )Ú WavLMForAudioFrameClassificationNr   r    r!   r"   rK  rK    r#   r!   rK  c                   ó   — e Zd ZdS )ÚWavLMForXVectorNr   r    r!   r"   rM  rM    r#   r!   rM  )rK  rG  rI  rM  rE  r  );r•   r?   Útorch.nnr8   Útorch.nn.functionalr  rs   Ú r   r   Úintegrations.deepspeedr   Úintegrations.fsdpr   Úmodeling_layersr   Úmodeling_outputsr   r	   Úmodeling_utilsr
   Úprocessing_utilsr   Úutilsr   r   Úwav2vec2.modeling_wav2vec2r   r   r   r   r   r   r   r   r   Úconfiguration_wavlmr   Ú
get_loggerr   Úloggerr   r%   ÚModuler'   rª   r¬   rÆ   rË   rë   rð   r  ÚWavLMBaseModelOutputrE  rG  rI  rK  rM  Ú__all__r    r!   r"   ú<module>r_     sC  ðØ €€€à €€€Ø Ð Ð Ð Ð Ð Ø Ð Ð Ð Ð Ð Ð Ð Ð à &Ð &Ð &Ð &Ð &Ð &Ø @Ð @Ð @Ð @Ð @Ð @Ø 7Ð 7Ð 7Ð 7Ð 7Ð 7Ø 9Ð 9Ð 9Ð 9Ð 9Ð 9Ø HÐ HÐ HÐ HÐ HÐ HÐ HÐ HØ -Ð -Ð -Ð -Ð -Ð -Ø &Ð &Ð &Ð &Ð &Ð &Ø 0Ð 0Ð 0Ð 0Ð 0Ð 0Ð 0Ð 0ð
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð -Ð ,Ð ,Ð ,Ð ,Ð ,ð 
ˆÔ	˜HÑ	%Ô	%€ð	ð 	ð 	ð 	ð 	Ð#Bñ 	ô 	ð 	ð	ð 	ð 	ð 	ð 	Ð6ñ 	ô 	ð 	ðb ð b ð b ð b ð b �R”Yñ b ô b ð b ðJ	ð 	ð 	ð 	ð 	Ð*ñ 	ô 	ð 	ð(,ð (,ð (,ð (,ð (,Ð2ñ (,ô (,ð (,ðV#,ð #,ð #,ð #,ð #,Ð'Añ #,ô #,ð #,ðL.@ð .@ð .@ð .@ð .@�2”9ñ .@ô .@ð .@ðb2@ð 2@ð 2@ð 2@ð 2@ "¤)ñ 2@ô 2@ð 2@ðjC'ð C'ð C'ð C'ð C' ¤ñ C'ô C'ð C'ðL,5ð ,5ð ,5ð ,5ð ,5˜?Ð,Cñ ,5ô ,5ð ,5ð^ /Ð ð	ð 	ð 	ð 	ð 	�ñ 	ô 	ð 	ð	ð 	ð 	ð 	ð 	�.ñ 	ô 	ð 	ð	ð 	ð 	ð 	ð 	Ð%Fñ 	ô 	ð 	ð	ð 	ð 	ð 	ð 	Ð'Jñ 	ô 	ð 	ð	ð 	ð 	ð 	ð 	Ð(ñ 	ô 	ð 	ðð ð €€€r!   