§
    9²¸j>  ã                   óà  — d Z ddlZddlZddlmZ ddlmZ ddlmZ ddl	m
Z
 ddlmZ dd	lmZ dd
lmZ ddlmZ ddlmZ ddlmZmZ ddlmZ ddlmZmZ ddlmZmZm Z m!Z!m"Z"m#Z#m$Z$m%Z%m&Z&m'Z'm(Z( ddl)m*Z* dZ+ G d„ de&¦  «        Z, G d„ de%¦  «        Z- G d„ de$¦  «        Z. G d„ dej/        ¦  «        Z0 G d„ de'¦  «        Z1 G d„ dej/        ¦  «        Z2 G d „ d!e ¦  «        Z3 G d"„ d#e¦  «        Z4 G d$„ d%e!¦  «        Z5 G d&„ d'e¦  «        Z6 G d(„ d)ej/        ¦  «        Z7e G d*„ d+e¦  «        ¦   «         Z8e G d,„ d-e8¦  «        ¦   «         Z9 G d.„ d/e"¦  «        Z: G d0„ d1e#¦  «        Z;g d2¢Z<dS )3zPyTorch SEW model.é    N)Únné   )Úinitialization)ÚACT2FN)Úis_deepspeed_zero3_enabled)Úis_fsdp_managed_module)Úcreate_bidirectional_mask)ÚBaseModelOutput)ÚPreTrainedModel)ÚUnpack)ÚTransformersKwargsÚauto_docstring)Úmerge_with_config_defaults)ÚOutputRecorderÚcapture_outputsé   )ÚWav2Vec2AttentionÚWav2Vec2EncoderLayerÚWav2Vec2FeatureEncoderÚWav2Vec2FeedForwardÚWav2Vec2ForCTCÚ!Wav2Vec2ForSequenceClassificationÚWav2Vec2GroupNormConvLayerÚWav2Vec2LayerNormConvLayerÚWav2Vec2NoLayerNormConvLayerÚWav2Vec2SamePadLayerÚ_compute_mask_indicesé   )Ú	SEWConfigc                   ó   — e Zd ZdS )ÚSEWNoLayerNormConvLayerN©Ú__name__Ú
__module__Ú__qualname__© ó    ús/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/transformers/models/sew/modular_sew.pyr!   r!   3   ó   € € € € € Ø€Dr'   r!   c                   ó   — e Zd ZdS )ÚSEWLayerNormConvLayerNr"   r&   r'   r(   r+   r+   7   r)   r'   r+   c                   ó   — e Zd ZdS )ÚSEWGroupNormConvLayerNr"   r&   r'   r(   r-   r-   ;   r)   r'   r-   c                   ó$   ‡ — e Zd Zˆ fd„Zd„ Zˆ xZS )ÚSEWPositionalConvEmbeddingc                 óÖ  •— t          ¦   «                              ¦   «          t          j        |j        |j        |j        |j        dz  |j        |j        ¬¦  «        | _        t          j	        j
        }t          t          j	        j        d¦  «        rt          j	        j        j
        }t          ¦   «         rëdd l}|j                             | j        j        d¬¦  «        5   || j        dd¬¦  «        | _        d d d ¦  «         n# 1 swxY w Y   t          | j        d¦  «        r-| j        j        j        j        }| j        j        j        j        }n| j        j        }| j        j        }|j                             | |¦  «         |j                             | |¦  «         n || j        dd¬¦  «        | _        t/          |j        ¦  «        | _        t2          |j                 | _        d S )	Nr   )Úkernel_sizeÚpaddingÚgroupsÚstrideÚweight_normr   ©Úmodifier_rankÚweight)ÚnameÚdimÚparametrizations)ÚsuperÚ__init__r   ÚConv1dÚhidden_sizeÚnum_conv_pos_embeddingsÚnum_conv_pos_embedding_groupsÚsqueeze_factorÚconvÚutilsr5   Úhasattrr;   r   Ú	deepspeedÚzeroÚGatheredParametersr8   Ú	original0Ú	original1Úweight_gÚweight_vÚregister_external_parameterÚSEWSamePadLayerr2   r   Úfeat_extract_activationÚ
activation)ÚselfÚconfigr5   rF   rK   rL   Ú	__class__s         €r(   r=   z#SEWPositionalConvEmbedding.__init__@   s  ø€ Ý‰Œ×ÒÑÔÐÝ”IØÔØÔØÔ6ØÔ2°aÑ7ØÔ7ØÔ(ð
ñ 
ô 
ˆŒ	õ ”hÔ*ˆÝ•2”8Ô,¨mÑ<Ô<ð 	@Ýœ(Ô3Ô?ˆKå%Ñ'Ô'ð 	EØÐÐÐà”×2Ò2°4´9Ô3CÐSTÐ2ÑUÔUð Ið IØ'˜K¨¬	¸ÀaÐHÑHÔH�”	ðIð Ið Iñ Iô Ið Ið Ið Ið Ið Ið Iøøøð Ið Ið Ið Iå�t”yÐ"4Ñ5Ô5ð .Øœ9Ô5Ô<ÔF�Øœ9Ô5Ô<ÔF��àœ9Ô-�Øœ9Ô-�ØŒN×6Ò6°t¸XÑFÔFÐFØŒN×6Ò6°t¸XÑFÔFÐFÐFà#˜ D¤I°HÀ!ÐDÑDÔDˆDŒIå& vÔ'EÑFÔFˆŒÝ  Ô!?Ô@ˆŒˆˆs   Ã DÄD	ÄD	c                 ó„   — |                       |¦  «        }|                      |¦  «        }|                      |¦  «        }|S ©N)rC   r2   rP   )rQ   Úhidden_statess     r(   Úforwardz"SEWPositionalConvEmbedding.forwardb   s;   € ØŸ	š	 -Ñ0Ô0ˆØŸš ]Ñ3Ô3ˆØŸš¨Ñ6Ô6ˆàÐr'   ©r#   r$   r%   r=   rW   Ú__classcell__©rS   s   @r(   r/   r/   ?   sM   ø€ € € € € ð Að  Að  Að  Að  AðDð ð ð ð ð ð r'   r/   c                   ó   — e Zd ZdS )rN   Nr"   r&   r'   r(   rN   rN   j   r)   r'   rN   c                   ó$   ‡ — e Zd Zˆ fd„Zd„ Zˆ xZS )ÚSEWUpsamplingc                 óæ   •— t          ¦   «                              ¦   «          t          j        |j        |j        |j        z  ¦  «        | _        t          |j                 | _	        |j        | _        d S rU   )
r<   r=   r   ÚLinearr?   rB   Ú
projectionr   rO   rP   ©rQ   rR   rS   s     €r(   r=   zSEWUpsampling.__init__o   sZ   ø€ Ý‰Œ×ÒÑÔÐÝœ) FÔ$6¸Ô8JÈVÔMbÑ8bÑcÔcˆŒÝ  Ô!?Ô@ˆŒØ$Ô3ˆÔÐÐr'   c                 ó0  — |                       |¦  «        }|                      |¦  «        }| j        dk    r`|                     ¦   «         \  }}}|| j        z  }|| j        z  }|                     ||| j        |¦  «        }|                     |||¦  «        }|S )Nr   )r`   rP   rB   ÚsizeÚreshape)rQ   rV   ÚbszÚsrc_lenÚsrc_embed_dimÚtgt_lenÚtgt_embed_dims          r(   rW   zSEWUpsampling.forwardu   sž   € ØŸš¨Ñ6Ô6ˆØŸš¨Ñ6Ô6ˆàÔ Ò"Ð"à*7×*<Ò*<Ñ*>Ô*>Ñ'ˆC�˜-Ø Ô 3Ñ3ˆGØ)¨TÔ-@Ñ@ˆMØ)×1Ò1°#°wÀÔ@SÐUbÑcÔcˆMØ)×1Ò1°#°wÀÑNÔNˆMàÐr'   rX   rZ   s   @r(   r]   r]   n   sG   ø€ € € € € ð4ð 4ð 4ð 4ð 4ðð ð ð ð ð ð r'   r]   c                   ó   — e Zd ZdS )ÚSEWFeatureEncoderNr"   r&   r'   r(   rk   rk   „   r)   r'   rk   c                   ó   — e Zd ZdS )ÚSEWAttentionNr"   r&   r'   r(   rm   rm   ˆ   r)   r'   rm   c                   ó   — e Zd ZdS )ÚSEWFeedForwardNr"   r&   r'   r(   ro   ro   Œ   r)   r'   ro   c                   ó   — e Zd ZdS )ÚSEWEncoderLayerNr"   r&   r'   r(   rq   rq   �   r)   r'   rq   c                   ó:   ‡ — e Zd Zˆ fd„Z	 ddee         fd„Zˆ xZS )Ú
SEWEncoderc                 óò  •‡— t          ¦   «                              ¦   «          ‰| _        t          ‰¦  «        | _        t          j        ‰j        ‰j        ¦  «        | _        t          j	        ‰j
        ‰j        ¬¦  «        | _        t          j        ‰j        ¦  «        | _        t          j        ˆfd„t#          ‰j        ¦  «        D ¦   «         ¦  «        | _        t)          ‰¦  «        | _        d| _        d S )N©Úepsc                 ó.   •— g | ]}t          ‰¦  «        ‘ŒS r&   )rq   )Ú.0Ú_rR   s     €r(   ú
<listcomp>z'SEWEncoder.__init__.<locals>.<listcomp>œ   s!   ø€ Ð$fÐ$fÐ$fÀ¥_°VÑ%<Ô%<Ð$fÐ$fÐ$fr'   F)r<   r=   rR   r/   Úpos_conv_embedr   Ú	AvgPool1drB   ÚpoolÚ	LayerNormr?   Úlayer_norm_epsÚ
layer_normÚDropoutÚhidden_dropoutÚdropoutÚ
ModuleListÚrangeÚnum_hidden_layersÚlayersr]   ÚupsampleÚgradient_checkpointingra   s    `€r(   r=   zSEWEncoder.__init__•   sÈ   øø€ Ý‰Œ×ÒÑÔÐØˆŒÝ8¸Ñ@Ô@ˆÔÝ”L Ô!6¸Ô8MÑNÔNˆŒ	Ýœ, vÔ'9¸vÔ?TÐUÑUÔUˆŒÝ”z &Ô"7Ñ8Ô8ˆŒÝ”mÐ$fÐ$fÐ$fÐ$fÅeÈFÔLdÑFeÔFeÐ$fÑ$fÔ$fÑgÔgˆŒÝ% fÑ-Ô-ˆŒØ&+ˆÔ#Ð#Ð#r'   NÚkwargsc           	      óô  — |�»|                      d¦  «                             dd|j        d         ¦  «        }d|| <   t          j                             |                     ¦   «                               d¦  «        | j        j        | j        j        ¬¦  «         	                    d¦  «         
                    ¦   «         }|j        d         }|                     dd¦  «        }|                      |¦  «        }|                      |¦  «        }t          |                     d¦  «        |                     d¦  «        ¦  «        }|dd |…f         |dd |…f         z   }|                     dd¦  «        }t!          | j        ||¬¦  «        }|                      |¦  «        }|                      |¦  «        }t'          ¦   «         pt)          | ¦  «        }	| j        D ]<}
t-          j        g ¦  «        }| j        o|| j        j        k     }|r|	r |
|fd|i|¤Ž}Œ=|                      |¦  «        }|j        d         |k     r2t          j                             |d	d	d	||j        d         z
  f¦  «        }t9          |¬
¦  «        S )Néÿÿÿÿr   r   ç        )r1   r4   .)rR   Úinputs_embedsÚattention_maskr�   r   ©Úlast_hidden_state)Ú	unsqueezeÚrepeatÚshaper   Ú
functionalÚ
max_pool1dÚfloatrR   rB   ÚsqueezeÚlongÚ	transposer{   r}   Úminrc   r	   r€   rƒ   r   r   r‡   ÚtorchÚrandÚtrainingÚ	layerdroprˆ   Úpadr
   )rQ   rV   r�   rŠ   Úexpand_attention_maskÚn_input_timestepsÚposition_embeddingsÚpooled_hidden_statesÚ
min_lengthÚsynced_gpusÚlayerÚdropout_probabilityÚskip_the_layers                r(   rW   zSEWEncoder.forward    s‹  € ð Ð%à$2×$<Ò$<¸RÑ$@Ô$@×$GÒ$GÈÈ1ÈmÔNaÐbcÔNdÑ$eÔ$eÐ!Ø47ˆMÐ0Ð0Ñ1õ ”×(Ò(Ø"×(Ò(Ñ*Ô*×4Ò4°QÑ7Ô7Ø $¤Ô :Øœ;Ô5ð )ñ ô ÷
 ’˜‘”ß’‘”ð ð *Ô/°Ô2Ðà%×/Ò/°°1Ñ5Ô5ˆØ"×1Ò1°-Ñ@Ô@ÐØ#Ÿyšy¨Ñ7Ô7ÐÝÐ,×1Ò1°"Ñ5Ô5Ð7K×7PÒ7PÐQSÑ7TÔ7TÑUÔUˆ
Ø,¨S°+°:°+Ð-=Ô>ÐATÐUXÐZeÐ[eÐZeÐUeÔAfÑfˆØ%×/Ò/°°1Ñ5Ô5ˆå2Ø”;¨mÈNð
ñ 
ô 
ˆð Ÿš¨Ñ6Ô6ˆØŸš ]Ñ3Ô3ˆå0Ñ2Ô2ÐRÕ6LÈTÑ6RÔ6Rˆà”[ð 	^ð 	^ˆEå"'¤*¨R¡.¤.Ðà!œ]ÐZÐ/BÀTÄ[ÔEZÒ/ZˆNØ!ð ^ [ð ^à %  mÐ ]Ð ]ÀNÐ ]ÐV\Ð ]Ð ]�øàŸš mÑ4Ô4ˆØÔ˜qÔ!Ð$5Ò5Ð5ÝœM×-Ò-¨m¸aÀÀAÐGXÐ[hÔ[nÐopÔ[qÑGqÐ=rÑsÔsˆMå°Ð?Ñ?Ô?Ð?r'   rU   )r#   r$   r%   r=   r   r   rW   rY   rZ   s   @r(   rs   rs   ”   sp   ø€ € € € € ð	,ð 	,ð 	,ð 	,ð 	,ð ð7@ð 7@ð Ð+Ô,ð	7@ð 7@ð 7@ð 7@ð 7@ð 7@ð 7@ð 7@r'   rs   c                   óÈ   ‡ — e Zd ZU eed<   dZdZdZdZdZ	dZ
dZe eedd¬¦  «        d	œZ ej        ¦   «         ˆ fd
„¦   «         Zdej        ez  fd„Zdedej        fd„Zˆ xZS )ÚSEWPreTrainedModelrR   ÚsewÚinput_valuesÚaudioTr   Úencoder)ÚindexÚ
layer_name)rV   Ú
attentionsc           
      ó’  •— t          ¦   «                              |¦  «         t          |t          ¦  «        rwt	          j        |j        j        ddt          j	        d|j        j
        d         |j        j        z  z  ¦  «        z  ¬¦  «         t	          j        |j        j        d¦  «         dS t          |t          j        ¦  «        rþt!          ¦   «         rÕddl}t%          |d¦  «        rlt%          |d¦  «        r\|j                             |j        |j        gd¬¦  «        5  t	          j        |j        ¦  «         ddd¦  «         dS # 1 swxY w Y   dS |j                             |j        d¬¦  «        5  t	          j        |j        ¦  «         ddd¦  «         dS # 1 swxY w Y   dS t	          j        |j        ¦  «         dS dS )	zInitialize the weightsr   r   r   )ÚmeanÚstdNrL   rK   r6   )r<   Ú_init_weightsÚ
isinstancer/   ÚinitÚnormal_rC   r8   ÚmathÚsqrtr1   Úin_channelsÚ	constant_Úbiasr   r>   r   rF   rE   rG   rH   rL   rK   Úkaiming_normal_)rQ   ÚmodulerF   rS   s      €r(   r¶   z SEWPreTrainedModel._init_weightsé   sG  ø€ õ 	‰Œ×Ò˜fÑ%Ô%Ð%Ý�fÕ8Ñ9Ô9ð 	4ÝŒLØ”Ô"ØØ�œ	 ! v¤{Ô'>¸qÔ'AÀFÄKÔD[Ñ'[Ñ"\Ñ]Ô]Ñ]ðñ ô ð õ
 ŒN˜6œ;Ô+¨QÑ/Ô/Ð/Ð/Ð/Ý˜¥¤	Ñ*Ô*ð 	4Ý)Ñ+Ô+ð 
4Ø Ð Ð Ð å˜6 :Ñ.Ô.ð <µ7¸6À:Ñ3NÔ3Nð <Ø"œ×:Ò:¸F¼OÈVÌ_Ð;]ÐmnÐ:ÑoÔoð <ð <ÝÔ,¨V¬]Ñ;Ô;Ð;ð<ð <ð <ñ <ô <ð <ð <ð <ð <ð <ð <ð <øøøð <ð <ð <ð <ð <ð <ð #œ×:Ò:¸6¼=ÐXYÐ:ÑZÔZð <ð <ÝÔ,¨V¬]Ñ;Ô;Ð;ð<ð <ð <ñ <ô <ð <ð <ð <ð <ð <ð <ð <øøøð <ð <ð <ð <ð <ð <õ Ô$ V¤]Ñ3Ô3Ð3Ð3Ð3ð	4ð 	4s$   Ä#E
Å
EÅEÅ8FÆF#Æ&F#Úinput_lengthsc                 óz   — d„ }t          | j        j        | j        j        ¦  «        D ]\  }} ||||¦  «        }Œ|S )zH
        Computes the output length of the convolutional layers
        c                 ó<   — t          j        | |z
  |d¬¦  «        dz   S )NÚfloor)Úrounding_moder   )rœ   Údiv)Úinput_lengthr1   r4   s      r(   Ú_conv_out_lengthzMSEWPreTrainedModel._get_feat_extract_output_lengths.<locals>._conv_out_length  s&   € õ ”9˜\¨KÑ7¸ÈwÐWÑWÔWÐZ[Ñ[Ð[r'   )ÚziprR   Úconv_kernelÚconv_stride)rQ   rÁ   rÈ   r1   r4   s        r(   Ú _get_feat_extract_output_lengthsz3SEWPreTrainedModel._get_feat_extract_output_lengths  s\   € ð
	\ð 	\ð 	\õ
 $' t¤{Ô'>ÀÄÔ@WÑ#XÔ#Xð 	Qð 	QÑˆK˜Ø,Ð,¨]¸KÈÑPÔPˆMˆMàÐr'   Úfeature_vector_lengthr�   c                 ó  — |                       |                     d¦  «        ¦  «                             t          j        ¦  «        }t          j        ||j        ¬¦  «        }|                     d¦  «        |                     d¦  «        k     S )NrŒ   )Údevicer   r   )rÌ   ÚsumÚtorœ   r™   ÚarangerÏ   r’   )rQ   rÍ   r�   Úoutput_lengthsÚattention_idss        r(   Ú"_get_feature_vector_attention_maskz5SEWPreTrainedModel._get_feature_vector_attention_mask  sw   € Ø×>Ò>¸~×?QÒ?QÐRTÑ?UÔ?UÑVÔV×YÒYÕZ_ÔZdÑeÔeˆõ œÐ%:À>ÔCXÐYÑYÔYˆØ×&Ò& qÑ)Ô)¨N×,DÒ,DÀQÑ,GÔ,GÒGÐGr'   )r#   r$   r%   r   Ú__annotations__Úbase_model_prefixÚmain_input_nameÚinput_modalitiesÚsupports_gradient_checkpointingÚ_supports_flash_attnÚ_supports_sdpaÚ_supports_flex_attnrq   r   rm   Ú_can_record_outputsrœ   Úno_gradr¶   Ú
LongTensorÚintrÌ   rÕ   rY   rZ   s   @r(   r«   r«   Ú   sú   ø€ € € € € € àÐÐÑØÐØ$€OØÐØ&*Ð#ØÐØ€NØÐà(Ø$�n \¸ÀyÐQÑQÔQðð Ðð
 €U„]�_„_ð4ð 4ð 4ð 4ñ „_ð4ð.¸eÔ>NÐQTÑ>Tð ð ð ð ðHÈð HÐ]bÔ]mð Hð Hð Hð Hð Hð Hð Hð Hr'   r«   c                   ó  ‡ — e Zd Zdefˆ fd„Z	 	 ddej        dej        dz  dej        dz  fd„Ze	 e
d¬	¦  «        e	 	 dd
ej        dz  dej        dz  dej        dz  dee         deez  f
d„¦   «         ¦   «         ¦   «         Zˆ xZS )ÚSEWModelrR   c                 óª  •— t          ¦   «                              |¦  «         || _        t          |¦  «        | _        t          j        |j        d         |j        ¬¦  «        | _	        |j        d         |j
        k    | _        | j        r*t          j        |j        d         |j
        ¦  «        | _        t          j        |j        ¦  «        | _        |j        dk    s|j        dk    rBt          j        t)          j        |j
        ¦  «                             ¦   «         ¦  «        | _        t1          |¦  «        | _        |                      ¦   «          d S )NrŒ   ru   r�   )r<   r=   rR   rk   Úfeature_extractorr   r~   Úconv_dimr   r€   r?   Úproject_featuresr_   Úfeature_projectionr�   Úfeat_proj_dropoutÚfeature_dropoutÚmask_time_probÚmask_feature_probÚ	Parameterrœ   ÚTensorÚuniform_Úmasked_spec_embedrs   r¯   Ú	post_initra   s     €r(   r=   zSEWModel.__init__  s  ø€ Ý‰Œ×Ò˜Ñ Ô Ð ØˆŒÝ!2°6Ñ!:Ô!:ˆÔÝœ, v¤°rÔ':ÀÔ@UÐVÑVÔVˆŒà &¤°Ô 3°vÔ7IÒ IˆÔØÔ ð 	YÝ&(¤i°´ÀÔ0CÀVÔEWÑ&XÔ&XˆDÔ#Ý!œz¨&Ô*BÑCÔCˆÔàÔ  3Ò&Ð&¨&Ô*BÀSÒ*HÐ*HÝ%'¤\µ%´,¸vÔ?QÑ2RÔ2R×2[Ò2[Ñ2]Ô2]Ñ%^Ô%^ˆDÔ"å! &Ñ)Ô)ˆŒð 	�ŠÑÔÐÐÐr'   NrV   Úmask_time_indicesr�   c                 ó  — t          | j        dd¦  «        s|S |                     ¦   «         \  }}}|�#| j                             |j        ¦  «        ||<   n“| j        j        dk    rƒ| j        r|t          ||f| j        j        | j        j	        || j        j
        ¬¦  «        }t          j        ||j        t          j        ¬¦  «        }| j                             |j        ¦  «        ||<   | j        j        dk    r†| j        rt          ||f| j        j        | j        j        | j        j        ¬¦  «        }t          j        ||j        t          j        ¬¦  «        }|dd…df                              d|d¦  «        }d||<   |S )	z¢
        Masks extracted features along time axis and/or along feature axis according to
        [SpecAugment](https://huggingface.co/papers/1904.08779).
        Úapply_spec_augmentTNr   )Ú	mask_probÚmask_lengthr�   Ú	min_masks)rÏ   Údtype)rõ   rö   r÷   rŒ   )ÚgetattrrR   rc   rð   rÑ   rø   rë   rž   r   Úmask_time_lengthÚmask_time_min_masksrœ   ÚtensorrÏ   Úboolrì   Úmask_feature_lengthÚmask_feature_min_masksÚexpand)rQ   rV   rò   r�   Ú
batch_sizeÚsequence_lengthr?   Úmask_feature_indicess           r(   Ú_mask_hidden_stateszSEWModel._mask_hidden_states/  s—  € õ �t”{Ð$8¸$Ñ?Ô?ð 	!Ø Ð ð 4A×3EÒ3EÑ3GÔ3GÑ0ˆ
�O [àÐ(à/3Ô/E×/HÒ/HÈÔI\Ñ/]Ô/]ˆMÐ+Ñ,Ð,ØŒ[Ô'¨!Ò+Ð+°´Ð+Ý 5Ø˜_Ð-Øœ+Ô4Ø œKÔ8Ø-Øœ+Ô9ð!ñ !ô !Ðõ !&¤Ð->À}ÔG[ÕchÔcmÐ nÑ nÔ nÐØ/3Ô/E×/HÒ/HÈÔI\Ñ/]Ô/]ˆMÐ+Ñ,àŒ;Ô(¨1Ò,Ð,°´Ð,å#8Ø˜[Ð)Øœ+Ô7Ø œKÔ;Øœ+Ô<ð	$ñ $ô $Ð õ $)¤<Ð0DÈ]ÔMaÕinÔisÐ#tÑ#tÔ#tÐ Ø#7¸¸¸¸4¸Ô#@×#GÒ#GÈÈOÐ]_Ñ#`Ô#`Ð Ø23ˆMÐ.Ñ/àÐr'   F)Útie_last_hidden_statesr­   rŠ   Úreturnc                 ó¦  — |                       |¦  «        }|                     dd¦  «        }|                      |¦  «        }| j        r|                      |¦  «        }|                      |¦  «        }|�!|                      |j        d         |¦  «        }|                      ||¬¦  «        } | j	        |fd|i|¤Ž}|j
        }t          |¬¦  «        S )a/  
        mask_time_indices (`torch.BoolTensor` of shape `(batch_size, sequence_length)`, *optional*):
            Indices to mask extracted features for contrastive loss. When in training mode, model learns to predict
            masked extracted features in *config.proj_codevector_dim* space.
        r   r   N)rò   r�   r�   )rå   rš   r€   rç   rè   rê   rÕ   r”   r  r¯   r‘   r
   )rQ   r­   r�   rò   rŠ   Úextract_featuresrV   Úencoder_outputss           r(   rW   zSEWModel.forward]  sü   € ð  ×1Ò1°,Ñ?Ô?ÐØ+×5Ò5°a¸Ñ;Ô;ÐØŸ?š?Ð+;Ñ<Ô<ÐàÔ ð 	IØ#×6Ò6Ð7GÑHÔHÐØ×,Ò,Ð-=Ñ>Ô>ˆàÐ%à!×DÒDÀ]ÔEXÐYZÔE[Ð]kÑlÔlˆNà×0Ò0°ÐRcÐ0ÑdÔdˆà&˜$œ,Øð
ð 
à)ð
ð ð
ð 
ˆð (Ô9ˆå°Ð?Ñ?Ô?Ð?r'   )NN)r#   r$   r%   r   r=   rœ   ÚFloatTensorrà   r  r   r   r   rî   r   r   Útupler
   rW   rY   rZ   s   @r(   rã   rã     sD  ø€ € € € € ð˜yð ð ð ð ð ð ð. 7;Ø26ð	,ð ,àÔ(ð,ð !Ô,¨tÑ3ð,ð Ô(¨4Ñ/ð	,ð ,ð ,ð ,ð\  Ø€_¨EÐ2Ñ2Ô2Øð /3Ø6:ð	"@ð "@à”l TÑ)ð"@ð œ tÑ+ð"@ð !Ô,¨tÑ3ð	"@ð
 Ð+Ô,ð"@ð 
�Ñ	 ð"@ð "@ð "@ñ „^ñ 3Ô2ñ  Ôð"@ð "@ð "@ð "@ð "@r'   rã   c                   ó   — e Zd ZdS )Ú	SEWForCTCNr"   r&   r'   r(   r  r  …  r)   r'   r  c                   ó   — e Zd ZdS )ÚSEWForSequenceClassificationNr"   r&   r'   r(   r  r  ‰  r)   r'   r  )r  r  rã   r«   )=Ú__doc__rº   rœ   r   Ú r   r¸   Úactivationsr   Úintegrations.deepspeedr   Úintegrations.fsdpr   Úmasking_utilsr	   Úmodeling_outputsr
   Úmodeling_utilsr   Úprocessing_utilsr   rD   r   r   Úutils.genericr   Úutils.output_capturingr   r   Úwav2vec2.modeling_wav2vec2r   r   r   r   r   r   r   r   r   r   r   Úconfiguration_sewr   Ú_HIDDEN_STATES_START_POSITIONr!   r+   r-   ÚModuler/   rN   r]   rk   rm   ro   rq   rs   r«   rã   r  r  Ú__all__r&   r'   r(   ú<module>r      s}  ðð Ð à €€€à €€€Ø Ð Ð Ð Ð Ð à &Ð &Ð &Ð &Ð &Ð &Ø !Ð !Ð !Ð !Ð !Ð !Ø @Ð @Ð @Ð @Ð @Ð @Ø 7Ð 7Ð 7Ð 7Ð 7Ð 7Ø 6Ð 6Ð 6Ð 6Ð 6Ð 6Ø /Ð /Ð /Ð /Ð /Ð /Ø -Ð -Ð -Ð -Ð -Ð -Ø &Ð &Ð &Ð &Ð &Ð &Ø 7Ð 7Ð 7Ð 7Ð 7Ð 7Ð 7Ð 7Ø 7Ð 7Ð 7Ð 7Ð 7Ð 7Ø EÐ EÐ EÐ EÐ EÐ EÐ EÐ Eðð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð )Ð (Ð (Ð (Ð (Ð (ð !"Ð ð	ð 	ð 	ð 	ð 	Ð:ñ 	ô 	ð 	ð	ð 	ð 	ð 	ð 	Ð6ñ 	ô 	ð 	ð	ð 	ð 	ð 	ð 	Ð6ñ 	ô 	ð 	ð(ð (ð (ð (ð ( ¤ñ (ô (ð (ðV	ð 	ð 	ð 	ð 	Ð*ñ 	ô 	ð 	ðð ð ð ð �B”Iñ ô ð ð,	ð 	ð 	ð 	ð 	Ð.ñ 	ô 	ð 	ð	ð 	ð 	ð 	ð 	Ð$ñ 	ô 	ð 	ð	ð 	ð 	ð 	ð 	Ð(ñ 	ô 	ð 	ð	ð 	ð 	ð 	ð 	Ð*ñ 	ô 	ð 	ðC@ð C@ð C@ð C@ð C@�”ñ C@ô C@ð C@ðL ð;Hð ;Hð ;Hð ;Hð ;H˜ñ ;Hô ;Hñ „ð;Hð| ðh@ð h@ð h@ð h@ð h@Ð!ñ h@ô h@ñ „ðh@ðV	ð 	ð 	ð 	ð 	�ñ 	ô 	ð 	ð	ð 	ð 	ð 	ð 	Ð#Dñ 	ô 	ð 	ð ZÐ
YÐ
Y€€€r'   