§
    ·¯¸jPa  ã                   ó*  — d Z ddlmZ ddlmZmZmZmZmZ ddl	Z	ddl	m
Z
 ddlmZmZ ddlmZmZmZmZmZmZmZmZ dd	lmZ dd
lmZ ddlmZ ddlmZmZ  G d„ de
j         ¦  «        Z! G d„ de
j         ¦  «        Z" G d„ de
j         ¦  «        Z# G d„ de
j         ¦  «        Z$ G d„ de
j         ¦  «        Z% G d„ de
j         ¦  «        Z& G d„ de
j         ¦  «        Z'd„ Z(d;d„Z) e e)d¬¦  «         e)d¬¦  «         e)d¬¦  «         e)d¬¦  «         e)d¬¦  «         e)d¬¦  «         e)dd d!¬"¦  «         e)dd d!¬"¦  «         e)dd d!¬"¦  «         e)d¬¦  «         e)dd#d#d$d%¬&¦  «         e)dd'¬(¦  «         e)d)d*d+¬,¦  «        d-œ¦  «        Z*d<d/„Z+ed<d0„¦   «         Z,ed<d1„¦   «         Z-ed<d2„¦   «         Z.ed<d3„¦   «         Z/ed<d4„¦   «         Z0ed<d5„¦   «         Z1ed<d6„¦   «         Z2ed<d7„¦   «         Z3ed<d8„¦   «         Z4ed<d9„¦   «         Z5ed<d:„¦   «         Z6dS )=zú
MambaOut models for image classification.
Some implementations are modified from:
timm (https://github.com/rwightman/pytorch-image-models),
MetaFormer (https://github.com/sail-sg/metaformer),
InceptionNeXt (https://github.com/sail-sg/inceptionnext)
é    )ÚOrderedDict)ÚListÚOptionalÚTupleÚTypeÚUnionN)Únn©ÚIMAGENET_DEFAULT_MEANÚIMAGENET_DEFAULT_STD)Útrunc_normal_ÚDropPathÚcalculate_drop_path_ratesÚ	LayerNormÚ
LayerScaleÚClNormMlpClassifierHeadÚget_act_layerÚget_device_dtypeé   )Úbuild_model_with_cfg)Úfeature_take_indices)Úcheckpoint_seq)Úregister_modelÚgenerate_default_cfgsc                   ó„   ‡ — e Zd ZdZdddej        eddfdededed	e	ej
                 d
e	ej
                 f
ˆ fd„Zd„ Zˆ xZS )ÚStemzV Code modified from InternImage:
        https://github.com/OpenGVLab/InternImage
    é   é`   TNÚin_chsÚout_chsÚmid_normÚ	act_layerÚ
norm_layerc                 ó2  •— ||dœ}t          ¦   «                              ¦   «          t          j        ||dz  fddddœ|¤Ž| _        |r ||dz  fi |¤Žnd | _         |¦   «         | _        t          j        |dz  |fddddœ|¤Ž| _         ||fi |¤Ž| _        d S )N©ÚdeviceÚdtypeé   r   r   ©Úkernel_sizeÚstrideÚpadding)	ÚsuperÚ__init__r	   ÚConv2dÚconv1Únorm1ÚactÚconv2Únorm2)
Úselfr   r    r!   r"   r#   r&   r'   ÚddÚ	__class__s
            €úd/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/timm/models/mambaout.pyr.   zStem.__init__   sö   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐÝ”YØØ�q‰Lð
ð ØØð
ð 
ð ð
ð 
ˆŒ
ð 8@ÐI�Z�Z ¨1¡Ð3Ð3°Ð3Ð3Ð3ÀTˆŒ
Ø�9‘;”;ˆŒÝ”YØ�q‰LØð
ð ØØð
ð 
ð ð
ð 
ˆŒ
ð  �Z Ð.Ð.¨2Ð.Ð.ˆŒ
ˆ
ˆ
ó    c                 óv  — |                       |¦  «        }| j        �E|                     dddd¦  «        }|                      |¦  «        }|                     dddd¦  «        }|                      |¦  «        }|                      |¦  «        }|                     dddd¦  «        }|                      |¦  «        }|S )Nr   r(   r   r   )r0   r1   Úpermuter2   r3   r4   ©r5   Úxs     r8   ÚforwardzStem.forward;   sŸ   € Ø�JŠJ�q‰MŒMˆØŒ:Ð!Ø—	’	˜!˜Q  1Ñ%Ô%ˆAØ—
’
˜1‘”ˆAØ—	’	˜!˜Q  1Ñ%Ô%ˆAØ�HŠH�Q‰KŒKˆØ�JŠJ�q‰MŒMˆØ�IŠI�a˜˜A˜qÑ!Ô!ˆØ�JŠJ�q‰MŒMˆØˆr9   )Ú__name__Ú
__module__Ú__qualname__Ú__doc__r	   ÚGELUr   ÚintÚboolr   ÚModuler.   r>   Ú__classcell__©r7   s   @r8   r   r      s±   ø€ € € € € ðð ð ØØ!Ø)+¬Ø*3ØØð/ð /àð/ð ð/ð ð	/ð
 ˜BœI”ð/ð ˜RœYœð/ð /ð /ð /ð /ð /ð@
ð 
ð 
ð 
ð 
ð 
ð 
r9   r   c                   óT   ‡ — e Zd Zddeddfdededeej                 fˆ fd„Zd„ Z	ˆ xZ
S )	ÚDownsampleNormFirstr   éÆ   Nr   r    r#   c                 ó¦   •— ||dœ}t          ¦   «                              ¦   «           ||fi |¤Ž| _        t          j        ||fddddœ|¤Ž| _        d S ©Nr%   r   r(   r   r)   )r-   r.   Únormr	   r/   Úconv©r5   r   r    r#   r&   r'   r6   r7   s          €r8   r.   zDownsampleNormFirst.__init__J   s}   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ�J˜vÐ,Ð,¨Ð,Ð,ˆŒ	Ý”IØØð
ð ØØð
ð 
ð ð
ð 
ˆŒ	ˆ	ˆ	r9   c                 óº   — |                       |¦  «        }|                     dddd¦  «        }|                      |¦  «        }|                     dddd¦  «        }|S ©Nr   r   r   r(   )rN   r;   rO   r<   s     r8   r>   zDownsampleNormFirst.forward^   sS   € Ø�IŠI�a‰LŒLˆØ�IŠI�a˜˜A˜qÑ!Ô!ˆØ�IŠI�a‰LŒLˆØ�IŠI�a˜˜A˜qÑ!Ô!ˆØˆr9   ©r?   r@   rA   r   rD   r   r	   rF   r.   r>   rG   rH   s   @r8   rJ   rJ   H   s„   ø€ € € € € ð ØØ*3ØØð
ð 
àð
ð ð
ð ˜RœYœð	
ð 
ð 
ð 
ð 
ð 
ð(ð ð ð ð ð ð r9   rJ   c                   óT   ‡ — e Zd Zddeddfdededeej                 fˆ fd„Zd„ Z	ˆ xZ
S )	Ú
Downsampler   rK   Nr   r    r#   c                 ó¦   •— ||dœ}t          ¦   «                              ¦   «          t          j        ||fddddœ|¤Ž| _         ||fi |¤Ž| _        d S rM   )r-   r.   r	   r/   rO   rN   rP   s          €r8   r.   zDownsample.__init__h   s   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐÝ”IØØð
ð ØØð
ð 
ð ð
ð 
ˆŒ	ð �J˜wÐ-Ð-¨"Ð-Ð-ˆŒ	ˆ	ˆ	r9   c                 óº   — |                      dddd¦  «        }|                      |¦  «        }|                      dddd¦  «        }|                      |¦  «        }|S rR   )r;   rO   rN   r<   s     r8   r>   zDownsample.forward|   sS   € Ø�IŠI�a˜˜A˜qÑ!Ô!ˆØ�IŠI�a‰LŒLˆØ�IŠI�a˜˜A˜qÑ!Ô!ˆØ�IŠI�a‰LŒLˆØˆr9   rS   rH   s   @r8   rU   rU   f   s„   ø€ € € € € ð ØØ*3ØØð.ð .àð.ð ð.ð ˜RœYœð	.ð .ð .ð .ð .ð .ð(ð ð ð ð ð ð r9   rU   c                   óÒ   ‡ — e Zd ZdZddej        deddddf	ded	ed
ede	ej
                 dee         de	ej
                 dedefˆ fd„Z	 	 	 	 dd	ed
ee         defd„Zddefd„Zˆ xZS )ÚMlpHeadz MLP classification head
    éè  Úavgé   ç        TNÚin_featuresÚnum_classesÚ	pool_typer"   Ú	mlp_ratior#   Ú	drop_rateÚbiasc                 ó\  •— |	|
dœ}t          ¦   «                              ¦   «          |�t          ||z  ¦  «        }nd }|| _        || _        |p|| _         ||fi |¤Ž| _        |rWt          j        t          dt          j
        ||fi |¤Žfd |¦   «         fd ||fi |¤Žfg¦  «        ¦  «        | _        || _        n|| _        t          j        ¦   «         | _        |dk    rt          j
        | j        |fd|i|¤Žnt          j        ¦   «         | _        t          j        |¦  «        | _        d S )Nr%   Úfcr2   rN   r   rc   )r-   r.   rD   r`   r^   Úhidden_sizerN   r	   Ú
Sequentialr   ÚLinearÚ
pre_logitsÚnum_featuresÚIdentityre   ÚDropoutÚhead_dropout)r5   r^   r_   r`   r"   ra   r#   rb   rc   r&   r'   r6   rf   r7   s                €r8   r.   zMlpHead.__init__ˆ   sc  ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØÐ Ý˜i¨+Ñ5Ñ6Ô6ˆKˆKàˆKØ"ˆŒØ&ˆÔØ&Ð5¨+ˆÔà�J˜{Ð1Ð1¨bÐ1Ð1ˆŒ	Øð 		,Ý œm­KØ•r”y ¨kÐ@Ð@¸RÐ@Ð@ÐAØ˜	˜	™œÐ$Ø˜˜ KÐ6Ð6°2Ð6Ð6Ð7ð9ñ -ô -ñ ô ˆDŒOð
 !,ˆDÔÐà +ˆDÔÝ œk™mœmˆDŒOàP[Ð^_ÒP_ÐP_•"”)˜DÔ-¨{ÐLÐLÀÐLÈÐLÐLÐLÕegÔepÑerÔerˆŒÝœJ yÑ1Ô1ˆÔÐÐr9   FÚreset_otherc                 óÞ  — t          | ||¬¦  «        }|�|| _        |rzt          j        ¦   «         | _        | j                             | j        ¦  «         t          j        ¦   «         | _        | j                             | j        ¦  «         | j        | _	        |dk    rt          j
        | j	        |fi |¤Žnt          j        ¦   «         | _        | j                             | j        ¦  «         d S )Nr%   r   )r   r`   r	   rk   rN   ÚtrainÚtrainingri   r^   rj   rh   re   )r5   r_   r`   rn   r&   r'   r6   s          r8   ÚresetzMlpHead.reset®   sÒ   € õ ˜d¨6¸Ð?Ñ?Ô?ˆØÐ Ø&ˆDŒNØð 	1Ýœ™œˆDŒIØŒI�OŠO˜DœMÑ*Ô*Ð*Ý œk™mœmˆDŒOØŒO×!Ò! $¤-Ñ0Ô0Ð0Ø $Ô 0ˆDÔØEPÐSTÂ_À_•"”)˜DÔ-¨{ÐAÐA¸bÐAÐAÐAÕZ\ÔZeÑZgÔZgˆŒØŒ�Š�d”mÑ$Ô$Ð$Ð$Ð$r9   ri   c                 óö   — | j         dk    r|                     d¦  «        }|                      |¦  «        }|                      |¦  «        }|                      |¦  «        }|r|S |                      |¦  «        }|S )Nr[   )r   r(   )r`   ÚmeanrN   ri   rm   re   ©r5   r=   ri   s      r8   r>   zMlpHead.forwardÂ   sr   € ØŒ>˜UÒ"Ð"Ø—’�v‘”ˆAØ�IŠI�a‰LŒLˆØ�OŠO˜AÑÔˆØ×Ò˜aÑ Ô ˆØð 	ØˆHØ�GŠG�A‰JŒJˆØˆr9   )NFNN©F)r?   r@   rA   rB   r	   rC   r   rD   Ústrr   rF   r   ÚfloatrE   r.   rr   r>   rG   rH   s   @r8   rY   rY   „   s1  ø€ € € € € ðð ð  $Ø"Ø)+¬Ø'(Ø*3Ø!ØØØð$2ð $2àð$2ð ð$2ð ð	$2ð
 ˜BœI”ð$2ð   ”}ð$2ð ˜RœYœð$2ð ð$2ð ð$2ð $2ð $2ð $2ð $2ð $2ðR (,Ø %ØØð%ð %àð%ð   ”}ð%ð ð	%ð %ð %ð %ð(	ð 	 Tð 	ð 	ð 	ð 	ð 	ð 	ð 	ð 	r9   rY   c                   ó    ‡ — e Zd ZdZddddeej        dddf	deded	ed
ede	e         de
ej                 de
ej                 defˆ fd„Zd„ Zˆ xZS )ÚGatedConvBlockaã   Our implementation of Gated CNN Block: https://arxiv.org/pdf/1612.08083
    Args:
        conv_ratio: control the number of channels to conduct depthwise convolution.
            Conduct convolution on partial channels can improve paraitcal efficiency.
            The idea of partial channels is from ShuffleNet V2 (https://arxiv.org/abs/1807.11164) and
            also used by InceptionNeXt (https://arxiv.org/abs/2303.16900) and FasterNet (https://arxiv.org/abs/2303.03667)
    çUUUUUU@é   ç      ð?Nr]   ÚdimÚexpansion_ratior*   Ú
conv_ratioÚls_init_valuer#   r"   Ú	drop_pathc                 ó:  •— |	|
dœ}t          ¦   «                              ¦   «           ||fi |¤Ž| _        t          ||z  ¦  «        }t	          j        ||dz  fi |¤Ž| _         |¦   «         | _        t          ||z  ¦  «        }|||z
  |f| _        t	          j	        ||f||dz  |dœ|¤Ž| _
        t	          j        ||fi |¤Ž| _        |�t          |fi |¤Žnt	          j        ¦   «         | _        |dk    rt          |¦  «        nt	          j        ¦   «         | _        d S )Nr%   r(   )r*   r,   Úgroupsr]   )r-   r.   rN   rD   r	   rh   Úfc1r2   Úsplit_indicesr/   rO   Úfc2r   rk   Úlsr   r‚   )r5   r~   r   r*   r€   r�   r#   r"   r‚   r&   r'   Úkwargsr6   ÚhiddenÚconv_channelsr7   s                  €r8   r.   zGatedConvBlock.__init__×   sL  ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ�J˜sÐ)Ð) bÐ)Ð)ˆŒ	Ý�_ sÑ*Ñ+Ô+ˆÝ”9˜S &¨1¡*Ð3Ð3°Ð3Ð3ˆŒØ�9‘;”;ˆŒÝ˜J¨Ñ,Ñ-Ô-ˆØ$ f¨}Ñ&<¸mÐLˆÔÝ”IØØð
ð $Ø 1Ñ$Ø ð
ð 
ð ð
ð 
ˆŒ	õ ”9˜V SÐ/Ð/¨BÐ/Ð/ˆŒØ+8Ð+D•*˜SÐ'Ð' BÐ'Ð'Ð'Í"Ì+É-Ì-ˆŒØ09¸B²°� )Ñ,Ô,Ð,ÅBÄKÁMÄMˆŒˆˆr9   c                 ó  — |}|                       |¦  «        }|                      |¦  «        }t          j        || j        d¬¦  «        \  }}}|                     dddd¦  «        }|                      |¦  «        }|                     dddd¦  «        }|                      |                      |¦  «        t          j	        ||fd¬¦  «        z  ¦  «        }|  
                    |¦  «        }|                      |¦  «        }||z   S )Néÿÿÿÿ)r~   r   r   r   r(   )rN   r…   ÚtorchÚsplitr†   r;   rO   r‡   r2   Úcatrˆ   r‚   )r5   r=   ÚshortcutÚgÚiÚcs         r8   r>   zGatedConvBlock.forwardù   sÞ   € ØˆØ�IŠI�a‰LŒLˆØ�HŠH�Q‰KŒKˆÝ”+˜a Ô!3¸Ð<Ñ<Ô<‰ˆˆ1ˆaØ�IŠI�a˜˜A˜qÑ!Ô!ˆØ�IŠI�a‰LŒLˆØ�IŠI�a˜˜A˜qÑ!Ô!ˆØ�HŠH�T—X’X˜a‘[”[¥5¤9¨a°¨V¸Ð#<Ñ#<Ô#<Ñ<Ñ=Ô=ˆØ�GŠG�A‰JŒJˆØ�NŠN˜1ÑÔˆØ�8‰|Ðr9   )r?   r@   rA   rB   r   r	   rC   rD   rx   r   r   rF   r.   r>   rG   rH   s   @r8   rz   rz   Î   sè   ø€ € € € € ðð ð &+Ø Ø #Ø-1Ø*3Ø)+¬Ø!ØØð Rð  Ràð Rð #ð Rð ð	 Rð
 ð Rð $ Eœ?ð Rð ˜RœYœð Rð ˜BœI”ð Rð ð Rð  Rð  Rð  Rð  Rð  RðDð ð ð ð ð ð r9   rz   c                   óº   ‡ — e Zd Zdddddddeej        dddfded	ee         d
edededede	dee         de
ej                 de
ej                 defˆ fd„Zd„ Zˆ xZS )ÚMambaOutStageNr\   r{   r|   r}   Ú r]   r~   Údim_outÚdepthr   r*   r€   Ú
downsampler�   r#   r"   r‚   c                 ó’  •‡‡‡‡‡‡	‡
‡‡— ||dœŠt          ¦   «                              ¦   «          ‰p|Šd| _        |dk    rt          |‰fd‰	i‰¤Ž| _        n<|dk    rt          |‰fd‰	i‰¤Ž| _        n |‰k    sJ ‚t          j        ¦   «         | _        t          j        ˆ
ˆˆˆˆˆˆˆˆ	f	d„t          |¦  «        D ¦   «         Ž | _
        d S )Nr%   FrO   r#   Úconv_nfc                 ó‚   •	— g | ];}t          d‰‰‰‰‰	‰
‰t          ‰t          t          f¦  «        r‰|         n‰d œ‰¤Ž‘Œ<S ))r~   r   r*   r€   r�   r#   r"   r‚   © )rz   Ú
isinstanceÚlistÚtuple)Ú.0Újr"   r€   r6   r˜   r‚   r   r*   r�   r#   s     €€€€€€€€€r8   ú
<listcomp>z*MambaOutStage.__init__.<locals>.<listcomp>&  s}   ø€ ð &
ð &
ð &
ð õ ð 
ØØ /Ø'Ø%Ø+Ø%Ø#Ý*4°YÅÅuÀÑ*NÔ*NÐ]˜) Aœ,˜,ÐT]ð
ð 
ð ð
ð 
ð&
ð &
ð &
r9   )r-   r.   Úgrad_checkpointingrU   rš   rJ   r	   rk   rg   ÚrangeÚblocks)r5   r~   r˜   r™   r   r*   r€   rš   r�   r#   r"   r‚   r&   r'   r6   r7   s     ` ``` ````  @€r8   r.   zMambaOutStage.__init__	  s  øøøøøøøøøø€ ð  ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ�.˜SˆØ"'ˆÔà˜ÒÐÝ(¨¨gÐSÐSÀ*ÐSÐPRÐSÐSˆDŒOˆOØ˜9Ò$Ð$Ý1°#°wÐ\Ð\È:Ð\ÐY[Ð\Ð\ˆDŒOˆOà˜'’>�>�>�>Ý œk™mœmˆDŒOå”mð &
ð &
ð &
ð &
ð &
ð &
ð &
ð &
ð &
ð &
ð &
ð &
õ ˜5‘\”\ð&
ñ &
ô &
ð ˆŒˆˆr9   c                 óÐ   — |                       |¦  «        }| j        r4t          j                             ¦   «         st          | j        |¦  «        }n|                      |¦  «        }|S ©N)rš   r¥   rŽ   ÚjitÚis_scriptingr   r§   r<   s     r8   r>   zMambaOutStage.forward5  sZ   € Ø�OŠO˜AÑÔˆØÔ"ð 	­5¬9×+AÒ+AÑ+CÔ+Cð 	Ý˜tœ{¨AÑ.Ô.ˆAˆAà—’˜A‘”ˆAØˆr9   )r?   r@   rA   r   r	   rC   rD   r   rx   rw   r   rF   r.   r>   rG   rH   s   @r8   r–   r–     sú   ø€ € € € € ð
 &*ØØ%*Ø Ø #Ø Ø-1Ø*3Ø)+¬Ø!ØØð*ð *àð*ð ˜c”]ð*ð ð	*ð
 #ð*ð ð*ð ð*ð ð*ð $ Eœ?ð*ð ˜RœYœð*ð ˜BœI”ð*ð ð*ð *ð *ð *ð *ð *ðXð ð ð ð ð ð r9   r–   c            !       ó¬  ‡ — e Zd ZdZdddddeej        ddd	d
dddddddfdededede	edf         de	edf         de
ej                 de
ej                 dededededee         dedededef ˆ fd „Zd!„ Zej        j        d8d#„¦   «         Zej        j        d9d$„¦   «         Zej        j        d%ej        fd&„¦   «         Zd:dedee         fd'„Z	 	 	 	 	 d;d)ej        d*eeeee         f                  d+ed,ed-ed.ed%eeej                 e	ej        eej                 f         f         fd/„Z	 	 	 d<d*eeee         f         d1ed2efd3„Zd4„ Zd8d5efd6„Zd7„ Zˆ xZ S )=ÚMambaOuta<   MetaFormer
        A PyTorch impl of : `MetaFormer Baselines for Vision`  -
          https://arxiv.org/abs/2210.13452

    Args:
        in_chans (int): Number of input image channels. Default: 3.
        num_classes (int): Number of classes for classification head. Default: 1000.
        depths (list or tuple): Number of blocks at each stage. Default: [3, 3, 9, 3].
        dims (int): Feature dimension at each stage. Default: [96, 192, 384, 576].
        downsample_layers: (list or tuple): Downsampling layers before each stage.
        drop_path_rate (float): Stochastic depth rate. Default: 0.
        output_norm: norm before classifier head. Default: partial(nn.LayerNorm, eps=1e-6).
        head_fn: classification head. Default: nn.Linear.
        head_dropout (float): dropout for MLP classifier. Default: 0.
    r   rZ   r[   ©r   r   é	   r   ©r   éÀ   é€  i@  r}   r{   r|   TNrO   r]   ÚdefaultÚin_chansr_   Úglobal_poolÚdepths.Údimsr#   r"   r€   r   r*   Ústem_mid_normr�   rš   Údrop_path_raterb   Úhead_fnc                 ó@  •— t          ¦   «                              ¦   «          ||dœ}|| _        || _        || _        d| _        t          |t          t          f¦  «        s|g}t          |t          t          f¦  «        s|g}t          |¦  «        }t          |¦  «        }|| _        g | _        t          ||d         f|||dœ|¤Ž| _        |d         }t          ||d¬¦  «        }d}d}t!          j        ¦   «         | _        t'          |¦  «        D ]–}||         }|dk    s|dk    rdnd	}||z  }t)          d||||         |
||	|dk    r|nd
|||||         dœ|¤Ž}| j                             |¦  «         |}| xj        t-          ||d|› �¬¦  «        gz  c_        |||         z  }Œ—|dk    rt/          ||f|||dœ|¤Ž| _        n(t3          ||ft5          |dz  ¦  «        |||dœ|¤Ž| _        || _        | j        j        | _        |                      | j        ¦  «         d S )Nr%   ÚNHWCr   )r!   r"   r#   T)Ú	stagewiser\   r(   r   r—   )r~   r˜   r™   r*   r€   r   rš   r�   r#   r"   r‚   zstages.)Únum_chsÚ	reductionÚmoduler³   )r`   rb   r#   )rf   r`   r#   rb   rž   )r-   r.   r_   r´   rb   Ú
output_fmtrŸ   r    r¡   r   ÚlenÚ	num_stageÚfeature_infor   Ústemr   r	   rg   Ústagesr¦   r–   ÚappendÚdictrY   Úheadr   rD   rj   Úhead_hidden_sizeÚapplyÚ_init_weights)r5   r´   r_   rµ   r¶   r·   r#   r"   r€   r   r*   r¸   r�   rš   r¹   rb   rº   r&   r'   r6   rÃ   Úprev_dimÚdp_ratesÚcurÚcurr_strider“   r~   r+   Ústager7   s                                €r8   r.   zMambaOut.__init__O  sÌ  ø€ õ* 	‰Œ×ÒÑÔÐØ¨Ð/Ð/ˆØ&ˆÔØ ˆŒØ"ˆŒØ ˆŒÝ˜&¥4­ -Ñ0Ô0ð 	Ø�XˆFÝ˜$¥¥u Ñ.Ô.ð 	Ø�6ˆDÝ! )Ñ,Ô,ˆ	å˜‘K”Kˆ	Ø"ˆŒØˆÔåØØ�ŒGð
ð #ØØ!ð
ð 
ð ð
ð 
ˆŒ	ð ˜”7ˆÝ,¨^¸VÈtÐTÑTÔTˆØˆØˆÝ”m‘o”oˆŒÝ�yÑ!Ô!ð 	ð 	ˆAØ�q”'ˆCØ%¨Ò*Ð*¨a°!ªe¨e�Q�Q¸ˆFØ˜6Ñ!ˆKÝ!ð ØØØ˜Q”iØ'Ø%Ø /Ø)*¨Qª¨˜:˜:°BØ+Ø%Ø#Ø" 1œ+ðð ð ðð ˆEð ŒK×Ò˜uÑ%Ô%Ð%ØˆHàÐÔ¥$¨xÀ;ÐWdÐabÐWdÐWdÐ"eÑ"eÔ"eÐ!fÑfÐÔØ�6˜!”9ÑˆCˆCà�iÒÐåØØðð &Ø#Ø%ðð ð ðð ˆDŒIˆIõ 0ØØðõ   ¨1¡Ñ-Ô-Ø%Ø%Ø#ðð ð ðð ˆDŒIð %ˆÔØ $¤	Ô 6ˆÔà�
Š
�4Ô%Ñ&Ô&Ð&Ð&Ð&r9   c                 óÞ   — t          |t          j        t          j        f¦  «        rDt	          |j        d¬¦  «         |j        �)t          j                             |j        d¦  «         d S d S d S )Ng{®Gáz”?)Ústdr   )	rŸ   r	   r/   rh   r   Úweightrc   ÚinitÚ	constant_)r5   Úms     r8   rÌ   zMambaOut._init_weights³  sj   € Ý�a�"œ)¥R¤YÐ/Ñ0Ô0ð 	-Ý˜!œ(¨Ð,Ñ,Ô,Ð,ØŒvÐ!Ý”×!Ò! !¤&¨!Ñ,Ô,Ð,Ð,Ð,ð	-ð 	-à!Ð!r9   Fc                 ó0   — t          d|rdnddg¬¦  «        S )Nz^stemz^stages\.(\d+))z^stages\.(\d+)\.downsample)r   )z^stages\.(\d+)\.blocks\.(\d+)N)rÅ   r§   )rÈ   )r5   Úcoarses     r8   Úgroup_matcherzMambaOut.group_matcher¹  s5   € åØØ(.ð Ð$Ð$Ø5Ø8ð5ð
ñ 
ô 
ð 	
r9   c                 ó(   — | j         D ]	}||_        Œ
d S r©   )rÆ   r¥   )r5   ÚenableÚss      r8   Úset_grad_checkpointingzMambaOut.set_grad_checkpointingÃ  s(   € à”ð 	*ð 	*ˆAØ#)ˆAÔ Ð ð	*ð 	*r9   Úreturnc                 ó   — | j         j        S r©   )rÉ   re   )r5   s    r8   Úget_classifierzMambaOut.get_classifierÈ  s   € àŒyŒ|Ðr9   c                 óZ   — t          | ¦  «        }|| _         | j        j        ||fi |¤Ž d S r©   )r   r_   rÉ   rr   )r5   r_   rµ   r6   s       r8   Úreset_classifierzMambaOut.reset_classifierÌ  s;   € Ý˜dÑ#Ô#ˆØ&ˆÔØˆŒ	Œ˜ [Ð7Ð7°BÐ7Ð7Ð7Ð7Ð7r9   ÚNCHWr=   ÚindicesrN   Ú
stop_earlyrÁ   Úintermediates_onlyc                 ó´  — |dv s
J d¦   «         ‚|dk    }g }t          t          | j        ¦  «        |¦  «        \  }	}
|                      |¦  «        }t          j                             ¦   «         s|s| j        }n| j        d|
dz   …         }t          |¦  «        D ])\  }} ||¦  «        }||	v r|                     |¦  «         Œ*|rd„ |D ¦   «         }|r|S ||fS )aï   Forward features that returns intermediates.

        Args:
            x: Input image tensor
            indices: Take last n blocks if int, all if None, select matching indices if sequence
            norm: Apply norm layer to compatible intermediates
            stop_early: Stop iterating over blocks when last desired intermediate hit
            output_fmt: Shape of intermediate feature outputs
            intermediates_only: Only return intermediate features
        Returns:

        )rä   r¼   z*Output format must be one of NCHW or NHWC.rä   Nr   c                 ób   — g | ],}|                      d ddd¦  «                             ¦   «         ‘Œ-S )r   r   r   r(   )r;   Ú
contiguous)r¢   Úys     r8   r¤   z2MambaOut.forward_intermediates.<locals>.<listcomp>ù  s6   € ÐWÐWÐWÀA˜QŸYšY q¨!¨Q°Ñ2Ô2×=Ò=Ñ?Ô?ÐWÐWÐWr9   )	r   rÂ   rÆ   rÅ   rŽ   rª   r«   Ú	enumeraterÇ   )r5   r=   rå   rN   ræ   rÁ   rç   Úchannel_firstÚintermediatesÚtake_indicesÚ	max_indexrÆ   Úfeat_idxrÑ   s                 r8   Úforward_intermediateszMambaOut.forward_intermediatesÑ  s  € ð* Ð-Ð-Ð-Ð-Ð/[Ñ-Ô-Ð-Ø" fÒ,ˆØˆÝ"6µs¸4¼;Ñ7GÔ7GÈÑ"QÔ"QÑˆ�ið �IŠI�a‰LŒLˆÝŒ9×!Ò!Ñ#Ô#ð 	1¨:ð 	1Ø”[ˆFˆFà”[  )¨a¡- Ô0ˆFå(¨Ñ0Ô0ð 	(ð 	(‰OˆH�eØ��a‘”ˆAØ˜<Ð'Ð'Ø×$Ò$ QÑ'Ô'Ð'øàð 	XàWÐWÈÐWÑWÔWˆMàð 	!Ø Ð à�-ÐÐr9   r   Ú
prune_normÚ
prune_headc                 ó®   — t          t          | j        ¦  «        |¦  «        \  }}| j        d|dz   …         | _        |r|                      dd¦  «         |S )z@ Prune layers not required for specified intermediates.
        Nr   r   r—   )r   rÂ   rÆ   rã   )r5   rå   ró   rô   rï   rð   s         r8   Úprune_intermediate_layersz"MambaOut.prune_intermediate_layers   s\   € õ #7µs¸4¼;Ñ7GÔ7GÈÑ"QÔ"QÑˆ�iØ”k . 9¨q¡= .Ô1ˆŒØð 	)Ø×!Ò! ! RÑ(Ô(Ð(ØÐr9   c                 óZ   — |                       |¦  «        }|                      |¦  «        }|S r©   )rÅ   rÆ   r<   s     r8   Úforward_featureszMambaOut.forward_features  s%   € Ø�IŠI�a‰LŒLˆØ�KŠK˜‰NŒNˆØˆr9   ri   c                 ób   — |r|                       ||¬¦  «        n|                       |¦  «        }|S )N)ri   )rÉ   ru   s      r8   Úforward_headzMambaOut.forward_head  s0   € Ø3=ÐOˆD�IŠI�a JˆIÑ/Ô/Ð/À4Ç9Â9ÈQÁ<Ä<ˆØˆr9   c                 óZ   — |                       |¦  «        }|                      |¦  «        }|S r©   )rø   rú   r<   s     r8   r>   zMambaOut.forward  s-   € Ø×!Ò! !Ñ$Ô$ˆØ×Ò˜aÑ Ô ˆØˆr9   rv   )Tr©   )NFFrä   F)r   FT)!r?   r@   rA   rB   r   r	   rC   rD   rw   r   r   rF   rx   rE   r   r.   rÌ   rŽ   rª   ÚignorerÚ   rÞ   rá   rã   ÚTensorr   r   rò   rö   rø   rú   r>   rG   rH   s   @r8   r­   r­   >  sC  ø€ € € € € ðð ð$ Ø#Ø$Ø&2Ø$7Ø*3Ø)+¬Ø #Ø%(Ø Ø"&Ø-1Ø$Ø$&Ø!Ø$ØØð'b'ð b'àðb'ð ðb'ð ð	b'ð
 ˜#˜s˜(”Oðb'ð ˜˜S˜”/ðb'ð ˜RœYœðb'ð ˜BœI”ðb'ð ðb'ð #ðb'ð ðb'ð  ðb'ð $ Eœ?ðb'ð ðb'ð "ðb'ð  ð!b'ð" ð#b'ð b'ð b'ð b'ð b'ð b'ðH-ð -ð -ð „YÔð
ð 
ð 
ñ Ôð
ð „YÔð*ð *ð *ñ Ôð*ð „YÔð ¤	ð ð ð ñ Ôðð8ð 8¨Cð 8¸hÀs¼mð 8ð 8ð 8ð 8ð 8<ØØ$Ø$Ø',ð- ð - àŒ|ð- ð ˜e C¨¨c¬ NÔ3Ô4ð- ð ð	- ð
 ð- ð ð- ð !%ð- ð 
ˆt�E”LÔ! 5¨¬°t¸E¼LÔ7IÐ)IÔ#JÐJÔ	Kð- ð - ð - ð - ðb ./Ø$Ø#ð	ð à˜3  S¤	˜>Ô*ðð ðð ð	ð ð ð ðð ð ð
ð ¨$ð ð ð ð ðð ð ð ð ð ð r9   r­   c                 ó  — d| v r| d         } d| v r| S dd l }i }|                      ¦   «         D ]Ñ\  }}|                     dd¦  «        }|                     dd|¦  «        }|                     dd	|¦  «        }|                     d
¦  «        r|                     d
d¦  «        }nW|                     d¦  «        rB|                     dd¦  «        }|                     dd¦  «        }|                     dd¦  «        }|||<   ŒÒ|S )NÚmodelzstem.conv1.weightr   zdownsample_layers.0.zstem.zstages.([0-9]+).([0-9]+)zstages.\1.blocks.\2zdownsample_layers.([0-9]+)zstages.\1.downsampleznorm.z
head.norm.zhead.z	head.fc1.zhead.pre_logits.fc.zhead.pre_logits.norm.z	head.fc2.zhead.fc.)ÚreÚitemsÚreplaceÚsubÚ
startswith)Ú
state_dictrÿ   r   Úout_dictÚkÚvs         r8   Úcheckpoint_filter_fnr	    s  € Ø�*ÐÐØ Ô(ˆ
Ø˜jÐ(Ð(ØÐà€I€I€IØ€HØ× Ò Ñ"Ô"ð ð ‰ˆˆ1Ø�IŠIÐ,¨gÑ6Ô6ˆØ�FŠFÐ.Ð0FÈÑJÔJˆØ�FŠFÐ0Ð2IÈ1ÑMÔMˆà�<Š<˜Ñ Ô ð 	3à—	’	˜' <Ñ0Ô0ˆAˆAØ�\Š\˜'Ñ"Ô"ð 	3Ø—	’	˜+Ð'<Ñ=Ô=ˆAØ—	’	˜,Ð(?Ñ@Ô@ˆAØ—	’	˜+ zÑ2Ô2ˆAØˆ�‰ˆà€Or9   r—   c                 ó8   — | ddddddt           t          ddd	d
œ|¥S )NrZ   )r   éà   r  )r   é   r  )r|   r|   r}   Úbicubicz
stem.conv1zhead.fcz
apache-2.0)Úurlr_   Ú
input_sizeÚtest_input_sizeÚ	pool_sizeÚcrop_pctÚinterpolationrt   rÓ   Ú
first_convÚ
classifierÚlicenser
   )r  r‰   s     r8   Ú_cfgr  6  s:   € àØ¨=È]Ø¨¸yÝ%Õ.BØ"°)Øðð ð ðð r9   ztimm/)Ú	hf_hub_idgffffffî?r}   )r  r  Útest_crop_pct)r   r²   r²   Úsquash)é   r  )r  r  r  Ú	crop_moder  i-.  )r  r_   )r   é    r  )r   r±   r±   )é   r  )r  r  r  )zmambaout_femto.in1kzmambaout_kobe.in1kzmambaout_tiny.in1kzmambaout_small.in1kzmambaout_base.in1kzmambaout_small_rw.sw_e450_in1kz#mambaout_base_short_rw.sw_e500_in1kz"mambaout_base_tall_rw.sw_e500_in1kz"mambaout_base_wide_rw.sw_e500_in1kz+mambaout_base_plus_rw.sw_e150_in12k_ft_in1kz0mambaout_base_plus_rw.sw_e150_r384_in12k_ft_in1kz#mambaout_base_plus_rw.sw_e150_in12kÚtest_mambaoutFc                 ó\   — t          t          | |ft          t          dd¬¦  «        dœ|¤Ž}|S )N)r   r   r(   r   T)Úout_indicesÚflatten_sequential)Úpretrained_filter_fnÚfeature_cfg)r   r­   r	  rÈ   )ÚvariantÚ
pretrainedr‰   rÿ   s       r8   Ú_create_mambaoutr'  n  sF   € Ý Ý�'˜:ðå1Ý \ÀdÐKÑKÔKðð ð ð	ð €Eð €Lr9   c           	      óV   — t          dd¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )Nr®   ©é0   r   r±   r  ©r¶   r·   Úmambaout_femtor&  )r,  ©rÈ   r'  ©r&  r‰   Ú
model_argss      r8   r,  r,  y  s?   € å˜\Ð0BÐCÑCÔC€JÝÐbÐb¸ÐbÅtÈJÐGaÐGaÐZ`ÐGaÐGaÐbÐbÐbr9   c           	      ó^   — t          g d¢g d¢¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )N)r   r   é   r   r)  r+  Úmambaout_kober&  )r2  r-  r.  s      r8   r2  r2    sI   € å˜]˜]˜]Ð1CÐ1CÐ1CÐDÑDÔD€JÝÐaÐa¸
ÐaÅdÈ:ÐF`ÐF`ÐY_ÐF`ÐF`ÐaÐaÐar9   c           	      ó^   — t          g d¢g d¢¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )Nr®   r°   r+  Úmambaout_tinyr&  )r4  r-  r.  s      r8   r4  r4  „  sI   € å˜\˜\˜\Ð0CÐ0CÐ0CÐDÑDÔD€JÝÐaÐa¸
ÐaÅdÈ:ÐF`ÐF`ÐY_ÐF`ÐF`ÐaÐaÐar9   c           	      ó^   — t          g d¢g d¢¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )N©r   r\   é   r   r°   r+  Úmambaout_smallr&  )r8  r-  r.  s      r8   r8  r8  Š  sI   € å˜]˜]˜]Ð1DÐ1DÐ1DÐEÑEÔE€JÝÐbÐb¸ÐbÅtÈJÐGaÐGaÐZ`ÐGaÐGaÐbÐbÐbr9   c           	      ó^   — t          g d¢g d¢¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )Nr6  ©é€   é   i   i   r+  Úmambaout_baser&  )r=  r-  r.  s      r8   r=  r=  �  sI   € å˜]˜]˜]Ð1EÐ1EÐ1EÐFÑFÔF€JÝÐaÐa¸
ÐaÅdÈ:ÐF`ÐF`ÐY_ÐF`ÐF`ÐaÐaÐar9   c           	      óf   — t          g d¢g d¢dddd¬¦  «        }t          d
d	| it          |fi |¤Ž¤ŽS )Nr6  r°   Frœ   ç�íµ ÷Æ°>Únorm_mlp)r¶   r·   r¸   rš   r�   rº   Úmambaout_small_rwr&  )rA  r-  r.  s      r8   rA  rA  –  s^   € åØˆ}ˆ}Ø Ð Ð ØØØØðñ ô €Jõ ÐeÐe¸JÐeÍ$ÈzÐJdÐJdÐ]cÐJdÐJdÐeÐeÐer9   c           
      ób   — t          dddddddd¬	¦  «        }t          dd| it          |fi |¤Ž¤ŽS )N)r   r   é   r   r:  ç      @ç      ô?Frœ   r?  r@  ©r¶   r·   r   r€   r¸   rš   r�   rº   Úmambaout_base_short_rwr&  )rG  r-  r.  s      r8   rG  rG  £  s[   € åØØ!ØØØØØØð	ñ 	ô 	€Jõ ÐjÐjÀÐjÍtÐT^ÐOiÐOiÐbhÐOiÐOiÐjÐjÐjr9   c           
      ób   — t          dddddddd¬	¦  «        }t          dd| it          |fi |¤Ž¤ŽS )N©r   r\   é   r   r:  g      @rE  Frœ   r?  r@  rF  Úmambaout_base_tall_rwr&  )rK  r-  r.  s      r8   rK  rK  ²  s[   € åØØ!ØØØØØØð	ñ 	ô 	€Jõ ÐiÐiÀ
ÐiÍdÐS]ÐNhÐNhÐagÐNhÐNhÐiÐiÐir9   c                 ód   — t          ddddddddd	¬
¦	  «	        }t          dd| it          |fi |¤Ž¤ŽS )Nr6  r:  rD  ç      ø?Frœ   r?  Úsilur@  ©	r¶   r·   r   r€   r¸   rš   r�   r"   rº   Úmambaout_base_wide_rwr&  )rP  r-  r.  s      r8   rP  rP  Á  ó^   € åØØ!ØØØØØØØð
ñ 
ô 
€Jõ ÐiÐiÀ
ÐiÍdÐS]ÐNhÐNhÐagÐNhÐNhÐiÐiÐir9   c                 ód   — t          ddddddddd	¬
¦	  «	        }t          dd| it          |fi |¤Ž¤ŽS )NrI  r:  rD  rM  Frœ   r?  rN  r@  rO  Úmambaout_base_plus_rwr&  )rS  r-  r.  s      r8   rS  rS  Ñ  rQ  r9   c           
      ób   — t          dddddddd¬	¦  «        }t          dd| it          |fi |¤Ž¤ŽS )N)r   r   r   r   )é   é    r*  é@   r   Frœ   g-Cëâ6?rN  r@  )r¶   r·   r   r¸   rš   r�   r"   rº   r  r&  )r  r-  r.  s      r8   r  r  á  sZ   € åØØØØØØØØð	ñ 	ô 	€Jõ ÐaÐa¸
ÐaÅdÈ:ÐF`ÐF`ÐY_ÐF`ÐF`ÐaÐaÐar9   )r—   rv   )7rB   Úcollectionsr   Útypingr   r   r   r   r   rŽ   r	   Ú	timm.datar   r   Útimm.layersr   r   r   r   r   r   r   r   Ú_builderr   Ú	_featuresr   Ú_manipulater   Ú	_registryr   r   rF   r   rJ   rU   rY   rz   r–   r­   r	  r  Údefault_cfgsr'  r,  r2  r4  r8  r=  rA  rG  rK  rP  rS  r  rž   r9   r8   ú<module>ra     sÓ  ððð ð $Ð #Ð #Ð #Ð #Ð #Ø 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5à €€€Ø Ð Ð Ð Ð Ð à AÐ AÐ AÐ AÐ AÐ AÐ AÐ Að \ð  \ð  \ð  \ð  \ð  \ð  \ð  \ð  \ð  \ð  \ð  \ð  \ð  \ð  \ð  \ð  \ð  \ð  \ð  \Ø *Ð *Ð *Ð *Ð *Ð *Ø +Ð +Ð +Ð +Ð +Ð +Ø 'Ð 'Ð 'Ð 'Ð 'Ð 'Ø <Ð <Ð <Ð <Ð <Ð <Ð <Ð <ð/ð /ð /ð /ð /ˆ2Œ9ñ /ô /ð /ðdð ð ð ð ˜"œ)ñ ô ð ð<ð ð ð ð �”ñ ô ð ð<Gð Gð Gð Gð GˆbŒiñ Gô Gð GðT6ð 6ð 6ð 6ð 6�R”Yñ 6ô 6ð 6ðr4ð 4ð 4ð 4ð 4�B”Iñ 4ô 4ð 4ðn\ð \ð \ð \ð \ˆrŒyñ \ô \ð \ð~ð ð ð2	ð 	ð 	ð 	ð %Ð$à˜4Øðñ ô à˜$Øðñ ô à˜$Øðñ ô à˜4Øðñ ô à˜$Øðñ ô ð '+ dØð'ñ 'ô 'ð ,0¨4ØØ Sð,ñ ,ô ,ð +/¨$ØØ Sð+ñ +ô +ð +/¨$ØØ Sð+ñ +ô +ð 48°4Øð4ñ 4ô 4ð 9=¸ØØ °-È8Ð_gð9ñ 9ô 9ð ,0¨4ØØð,ñ ,ô ,ð �T ]ÀMÐ]cÐdÑdÔdðQ)&ð )&ñ )ô )€ðXð ð ð ð ðcð cð cñ „ðcð
 ðbð bð bñ „ðbð ðbð bð bñ „ðbð
 ðcð cð cñ „ðcð
 ðbð bð bñ „ðbð
 ð	fð 	fð 	fñ „ð	fð ðkð kð kñ „ðkð ðjð jð jñ „ðjð ðjð jð jñ „ðjð ðjð jð jñ „ðjð ðbð bð bñ „ðbð bð br9   