§
    ·¯¸jšˆ  ã                   óŽ  — d Z ddlZddlZddlmZ ddlmZ ddlmZm	Z	m
Z
mZmZmZmZmZ ddlZddlZddlmZ ddlmc mZ ddlmZmZ ddlmZmZmZmZm Z  dd	l!m"Z" dd
l#m$Z$ ddl%m&Z& ddl'm(Z(m)Z) dgZ* G d„ dej+        ¦  «        Z, G d„ dej+        ¦  «        Z- G d„ dej.        ¦  «        Z/ G d„ dej.        ¦  «        Z0 G d„ dej.        ¦  «        Z1 G d„ dej.        ¦  «        Z2 G d„ dej.        ¦  «        Z3 G d„ dej.        ¦  «        Z4 G d„ dej.        ¦  «        Z5 G d „ d!ej.        ¦  «        Z6 G d"„ d#ej.        ¦  «        Z7 G d$„ dej.        ¦  «        Z8d%e	e9ej:        f         d&ej.        d'e	e9ej:        f         fd(„Z;dGd*e9d+ed'e	e9ef         fd,„Z< e( e<d-d.¬/¦  «         e<d0d.¬/¦  «         e<d1d.¬/¦  «         e<d2d.¬/¦  «         e<¦   «          e<d3d.¬/¦  «         e<d4d.d5¬6¦  «         e<d7d.d5¬6¦  «         e<d8d.d5¬6¦  «        d9œ	¦  «        Z=dHd;e9d<e>d+ed'e8fd=„Z?e)dHd<e>d+ed'e8fd>„¦   «         Z@e)dHd<e>d+ed'e8fd?„¦   «         ZAe)dHd<e>d+ed'e8fd@„¦   «         ZBe)dHd<e>d+ed'e8fdA„¦   «         ZCe)dHd<e>d+ed'e8fdB„¦   «         ZDe)dHd<e>d+ed'e8fdC„¦   «         ZEe)dHd<e>d+ed'e8fdD„¦   «         ZFe)dHd<e>d+ed'e8fdE„¦   «         ZGe)dHd<e>d+ed'e8fdF„¦   «         ZHdS )Ia  iFormer
iFormer: Integrating ConvNet and Transformer for Mobile Application (ICLR 2025)
- paper: https://arxiv.org/abs/2501.15369
- code: https://github.com/ChuanyangZheng/iFormer
@inproceedings{zheng2025iformer,
  title={iformer: Integrating convnet and transformer for mobile application},
  author={Zheng, Chuanyang},
  booktitle={International Conference on Learning Representations},
  volume={2025},
  pages={22947--22961},
  year={2025}
}
Modifications by / Copyright 2026 Ryan Hou & Ross Wightman, original copyrights below
é    N)Únullcontext)Úpartial)ÚAnyÚDictÚListÚOptionalÚSetÚTupleÚTypeÚUnion©ÚIMAGENET_DEFAULT_MEANÚIMAGENET_DEFAULT_STD)ÚDropPathÚcalculate_drop_path_ratesÚget_device_dtypeÚtrunc_normal_Úuse_fused_attné   )Úbuild_model_with_cfg)Úfeature_take_indices)Úcheckpoint_seq)Úgenerate_default_cfgsÚregister_modelÚIFormerc                   óŒ   ‡ — e Zd Z	 	 	 	 	 	 	 ddededededed	ed
efˆ fd„Z ej        ¦   «         dej	        fd„¦   «         Z
ˆ xZS )ÚConvNormr   r   NÚin_channelsÚout_channelsÚkernel_sizeÚstrideÚpaddingÚgroupsÚbn_weight_initc
                 ó   •— ||	dœ}
t          ¦   «                              ¦   «          |                      dt          j        d||||||ddœ|
¤Ž¦  «         |                      dt          j        |fi |
¤Ž¦  «         t          j                             | j        j	        |¦  «         t          j                             | j        j
        d¦  «         d S )N©ÚdeviceÚdtypeÚcF)r   r   r    r!   r"   r#   ÚbiasÚbnr   © )ÚsuperÚ__init__Ú
add_moduleÚnnÚConv2dÚBatchNorm2dÚinitÚ	constant_r+   Úweightr*   )Úselfr   r   r    r!   r"   r#   r$   r'   r(   ÚddÚ	__class__s              €úc/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/timm/models/iformer.pyr.   zConvNorm.__init__&   sß   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ�ŠØÝŒIð 	Ø'Ø)Ø'ØØØØð	ð 	ð ð	ð 	ñ	
ô 	
ð 	
ð 	�Š˜�bœn¨\Ð@Ð@¸RÐ@Ð@ÑAÔAÐAÝ
Œ×Ò˜$œ'œ.¨.Ñ9Ô9Ð9Ý
Œ×Ò˜$œ'œ,¨Ñ*Ô*Ð*Ð*Ð*ó    Úreturnc                 ó   — | j                              ¦   «         \  }}|j        |j        |j        z   dz  z  }|j        |d d …d d d f         z  }|j        |j        |j        z  |j        |j        z   dz  z  z
  }t          j        | 	                    d¦  «        | j
        j        z  | 	                    d¦  «        |j        dd …         | j
        j        | j
        j        | j
        j        | j
        j        |j        j        |j        j        ¬¦	  «	        }|j        j                             |¦  «         |j        j                             |¦  «         |S )Nç      à?r   r   é   )r!   r"   Údilationr#   r'   r(   )Ú_modulesÚvaluesr5   Úrunning_varÚepsr*   Úrunning_meanr0   r1   Úsizer)   r#   Úshaper!   r"   r?   r'   r(   ÚdataÚcopy_)r6   r)   r+   ÚwÚbÚms         r9   ÚfusezConvNorm.fuseE   s!  € à”×$Ò$Ñ&Ô&‰ˆˆ2ØŒI˜œ¨"¬&Ñ0°SÑ8Ñ8ˆØŒH�q˜˜˜˜D $¨Ð,Ô-Ñ-ˆØŒG�b”o¨¬	Ñ1°R´^ÀbÄfÑ5LÐQTÑ4TÑTÑTˆÝŒIØ�FŠF�1‰IŒI˜œœÑ%Ø�FŠF�1‰IŒIØŒG�A�B�BŒKØ”6”=Ø”F”NØ”V”_Ø”6”=Ø”8”?Ø”(”.ð

ñ 

ô 

ˆð 	
ŒŒ×Ò˜AÑÔÐØ	ŒŒ×Ò˜!ÑÔÐØˆr:   )r   r   r   r   r   NN)Ú__name__Ú
__module__Ú__qualname__ÚintÚfloatr.   ÚtorchÚno_gradr0   r1   rL   Ú__classcell__©r8   s   @r9   r   r   %   sÎ   ø€ € € € € ð
  !ØØØØ$%ØØð+ð +àð+ð ð+ð ð	+ð
 ð+ð ð+ð ð+ð "ð+ð +ð +ð +ð +ð +ð> €U„]�_„_ð�b”ið ð ð ñ „_ðð ð ð ð r:   r   c            	       óz   ‡ — e Zd Z	 	 	 	 ddedededefˆ fd„Z ej        ¦   «         d	e	j
        fd
„¦   «         Zˆ xZS )Ú
NormLinearTç{®Gáz”?NÚin_featuresÚout_featuresr*   Ústdc                 ó‚  •— ||dœ}t          ¦   «                              ¦   «          |                      dt          j        |fi |¤Ž¦  «         |                      dt          j        ||fd|i|¤Ž¦  «         t          | j        j        |¬¦  «         |r,t          j	         
                    | j        j        d¦  «         d S d S )Nr&   r+   Úlr*   ©r[   r   )r-   r.   r/   r0   ÚBatchNorm1dÚLinearr   r]   r5   r3   r4   r*   )	r6   rY   rZ   r*   r[   r'   r(   r7   r8   s	           €r9   r.   zNormLinear.__init__\   sÆ   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ�Š˜�bœn¨[Ð?Ð?¸BÐ?Ð?Ñ@Ô@Ð@Ø�Š˜�RœY {°LÐRÐRÀtÐRÈrÐRÐRÑSÔSÐSÝ�d”f”m¨Ð-Ñ-Ô-Ð-Øð 	.ÝŒG×Ò˜dœfœk¨1Ñ-Ô-Ð-Ð-Ð-ð	.ð 	.r:   r;   c                 óÂ  — | j                              ¦   «         \  }}|j        |j        |j        z   dz  z  }|j        | j        j        | j        j        z  |j        |j        z   dz  z  z
  }|j        |d d d …f         z  }|j        €|| j        j        j	        z  }n4|j        |d d …d f         z   
                    d¦  «        | j        j        z   }t          j        |                     d¦  «        |                     d¦  «        |j        j        |j        j        ¬¦  «        }|j        j                             |¦  «         |j        j                             |¦  «         |S )Nr=   éÿÿÿÿr   r   r&   )r@   rA   r5   rB   rC   r*   r+   rD   r]   ÚTÚviewr0   r`   rE   r'   r(   rG   rH   )r6   r+   r]   rI   rJ   rK   s         r9   rL   zNormLinear.fusem   s,  € à”×$Ò$Ñ&Ô&‰ˆˆAØŒI˜œ¨"¬&Ñ0°SÑ8Ñ8ˆØŒG�d”gÔ*¨T¬W¬^Ñ;¸r¼~ÐPRÔPVÑ?VÐ[^Ñ>^Ñ^Ñ^ˆØŒH�q˜˜q˜q˜q˜”zÑ!ˆØŒ6ˆ>Ø�D”F”M”OÑ#ˆAˆAà”˜A˜a˜a˜a ˜gœJÑ&×,Ò,¨RÑ0Ô0°4´6´;Ñ>ˆAÝŒI�a—f’f˜Q‘i”i §¢¨¡¤°1´8´?È!Ì(Ì.ÐYÑYÔYˆØ	ŒŒ×Ò˜AÑÔÐØ	ŒŒ×Ò˜!ÑÔÐØˆr:   )TrX   NN)rM   rN   rO   rP   ÚboolrQ   r.   rR   rS   r0   r`   rL   rT   rU   s   @r9   rW   rW   [   s§   ø€ € € € € ð
 ØØØð.ð .àð.ð ð.ð ð	.ð
 ð.ð .ð .ð .ð .ð .ð" €U„]�_„_ð�b”ið ð ð ñ „_ðð ð ð ð r:   rW   c            	       óÒ   ‡ — e Zd Z	 	 	 	 ddedededefˆ fd„Zd	ej        d
e	ej        e
ej        ej        f         f         fd„Z ej        ¦   «         d
ej        fd„¦   «         Zˆ xZS )ÚRepVitClassifierFç        NÚdimÚnum_classesÚdistillationÚdropc                 ó–  •— ||dœ}t          ¦   «                              ¦   «          t          j        |¦  «        | _        |dk    rt          ||fi |¤Žnt          j        ¦   «         | _        || _        d| _	        || _
        |r.|dk    rt          ||fi |¤Žnt          j        ¦   «         | _        d S t          j        ¦   «         | _        d S )Nr&   r   F)r-   r.   r0   ÚDropoutÚ	head_droprW   ÚIdentityÚheadrk   Údistilled_trainingrj   Ú	head_dist)	r6   ri   rj   rk   rl   r'   r(   r7   r8   s	           €r9   r.   zRepVitClassifier.__init__~   sË   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐÝœ DÑ)Ô)ˆŒØ:EÈº/¸/•J˜s KÐ6Ð6°2Ð6Ð6Ð6ÍrÌ{É}Ì}ˆŒ	Ø(ˆÔØ"'ˆÔØ&ˆÔØð 	+ØCNÐQRÂ?À?�Z¨¨[Ð?Ð?¸BÐ?Ð?Ð?ÕXZÔXcÑXeÔXeˆDŒNˆNˆNåœ[™]œ]ˆDŒNˆNˆNr:   Úxr;   c                 ó,  — |                       |¦  «        }| j        rb|                      |¦  «        |                      |¦  «        }}| j        r)| j        r"t          j                             ¦   «         s||fS ||z   dz  S |                      |¦  «        }|S )Nr>   )	ro   rk   rq   rs   Útrainingrr   rR   ÚjitÚis_scripting)r6   rt   Úx1Úx2s       r9   ÚforwardzRepVitClassifier.forward“   s‘   € Ø�NŠN˜1ÑÔˆØÔð 	Ø—Y’Y˜q‘\”\ 4§>¢>°!Ñ#4Ô#4�ˆBØŒ}ð % Ô!8ð %ÅÄ×AWÒAWÑAYÔAYð %Ø˜2�v�à˜R™ 1‘}Ð$à—	’	˜!‘”ˆAØˆHr:   c                 óL  — | j         dk    st          j        ¦   «         S | j                             ¦   «         }| j        re| j                             ¦   «         }|xj        |j        z  c_        |xj        |j        z  c_        |xj        dz  c_        |xj        dz  c_        |S |S )Nr   r>   )	rj   r0   rp   rq   rL   rk   rs   r5   r*   )r6   rq   rs   s      r9   rL   zRepVitClassifier.fuseŸ   s™   € àÔ !Ò#Ð#Ý”;‘=”=Ð ØŒy�~Š~ÑÔˆØÔð 	Øœ×+Ò+Ñ-Ô-ˆIØˆKŒK˜9Ô+Ñ+ˆKŒKØˆIŒI˜œÑ'ˆIŒIØˆKŒK˜1ÑˆKŒKØˆIŒI˜‰NˆIŒIØˆKàˆKr:   )Frh   NN)rM   rN   rO   rP   re   rQ   r.   rR   ÚTensorr   r
   r{   rS   r0   ÚModulerL   rT   rU   s   @r9   rg   rg   }   sç   ø€ € € € € ð
 "'ØØØð+ð +àð+ð ð+ð ð	+ð
 ð+ð +ð +ð +ð +ð +ð*
˜œð 
¨%°´¸eÀEÄLÐRWÔR^ÐD^Ô>_Ð0_Ô*`ð 
ð 
ð 
ð 
ð €U„]�_„_ð�b”ið ð ð ñ „_ðð ð ð ð r:   rg   c                   ó  ‡ — e Zd ZU dZej        j        e         ed<   	 	 	 	 	 dde	de	d	e	d
e	fˆ fd„Z
dej        dej        fd„Zedej        d
e	dej        fd„¦   «         Zedej        d
e	de	de	dej        f
d„¦   «         Zˆ xZS )ÚSHMAu5   Single-Head Modulation Attention â€” core of iFormer.Ú
fused_attnr   r>   r   Nri   ÚratioÚhead_dim_reduction_ratioÚwindow_sizec                 óÜ  •— ||dœ}t          ¦   «                              ¦   «          t          ||z  ¦  «        }||z  }	|	dz  | _        t	          ¦   «         | _        || _        t          ||	dddfi |¤Ž| _        t          ||	dddfi |¤Ž| _	        t          |d|z  dddfi |¤Ž| _
        t          j        ¦   «         | _        t          j        d¦  «        | _        t          ||dfi |¤Ž| _        d S )Nr&   g      à¿r   r   r>   rh   )r-   r.   rP   Úscaler   r�   r„   r   ÚqÚkÚv_gater0   ÚSigmoidÚgate_actrn   Ú	attn_dropÚproj)r6   ri   r‚   rƒ   r„   r'   r(   r7   Úmid_dimÚdim_attnr8   s             €r9   r.   zSHMA.__init__´   s   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐÝ�c˜E‘kÑ"Ô"ˆØÐ2Ñ2ˆØ˜t‘^ˆŒ
Ý(Ñ*Ô*ˆŒØ&ˆÔÝ˜#˜x¨¨A¨qÐ7Ð7°BÐ7Ð7ˆŒÝ˜#˜x¨¨A¨qÐ7Ð7°BÐ7Ð7ˆŒÝ˜s A¨¡K°°A°qÐ?Ð?¸BÐ?Ð?ˆŒÝœ
™œˆŒÝœ C™œˆŒÝ˜W c¨1Ð3Ð3°Ð3Ð3ˆŒ	ˆ	ˆ	r:   rt   r;   c                 ó.  — |j         \  }}}}| j        o
| j        dk    }|r…| j        || j        z  z
  | j        z  }| j        || j        z  z
  | j        z  }t          j        |d|d|f¦  «        }	||}}
|	j         \  }}}}|                      |	| j        ¦  «        }|j         \  }}}}ndx}
x}x}x}x}}|                      |                      |¦  «        ¦  «                             dd¬¦  «        \  }}|                      |¦  «         	                    d¦  «        }|  
                    |¦  «         	                    d¦  «        }| 	                    d¦  «        }| j        rÓ|                     dd¦  «                             d¦  «        }|                     dd¦  «                             d¦  «        }|                     dd¦  «                             d¦  «        }t          j        |||| j        r| j        j        nd¬¦  «        }|                     dd¦  «                             |d||¦  «        }n{|| j        z  }|                     dd¦  «        |z                       d¬¦  «        }|                      |¦  «        }||                     dd¦  «        z                       |d||¦  «        }|                      ||z  ¦  «        }|rO|                      || j        ||¦  «        }|dk    s|dk    r&|d d …d d …d |
…d |…f                              ¦   «         }|S )	Nr   r>   r   )ri   rb   éþÿÿÿrh   )Ú	dropout_p)rF   r„   ÚFÚpadÚ_window_partitionr‹   r‰   Úchunkr‡   Úflattenrˆ   r�   Ú	transposeÚ	unsqueezeÚscaled_dot_product_attentionrv   rŒ   ÚpÚreshaper†   Úsoftmaxrd   r�   Ú_window_reverseÚ
contiguous)r6   rt   ÚBÚ_ÚHÚWÚ	do_windowÚpad_rÚpad_bÚx_padÚHoÚWoÚHpÚWpÚvÚgater‡   rˆ   Úq_tÚk_tÚv_tÚx_attnÚq_sÚattnÚx_outs                            r9   r{   zSHMA.forwardË   s  € Ø”W‰
ˆˆ1ˆa�ØÔ$Ð=¨Ô)9¸AÒ)=ˆ	Øð 		2ØÔ%¨¨DÔ,<Ñ(<Ñ<ÀÔ@PÑPˆEØÔ%¨¨DÔ,<Ñ(<Ñ<ÀÔ@PÑPˆEÝ”E˜!˜a ¨¨5Ð1Ñ2Ô2ˆEØ˜�ˆBØ œ;‰LˆAˆq�"�bØ×&Ò& u¨dÔ.>Ñ?Ô?ˆAØœ‰JˆAˆq�!�Q�Qà01Ð1ˆBÐ1�Ð1�bÐ1˜2Ð1 ¨à—-’- §¢¨A¡¤Ñ/Ô/×5Ò5°a¸QÐ5Ñ?Ô?‰ˆˆ4Ø�FŠF�1‰IŒI×Ò˜aÑ Ô ˆØ�FŠF�1‰IŒI×Ò˜aÑ Ô ˆØ�IŠI�a‰LŒLˆàŒ?ð 	DØ—+’+˜b "Ñ%Ô%×/Ò/°Ñ2Ô2ˆCØ—+’+˜b "Ñ%Ô%×/Ò/°Ñ2Ô2ˆCØ—+’+˜b "Ñ%Ô%×/Ò/°Ñ2Ô2ˆCÝÔ3ØØØØ.2¬mÐD˜$œ.Ô*Ð*Àð	ñ ô ˆFð ×%Ò% b¨"Ñ-Ô-×5Ò5°a¸¸QÀÑBÔBˆFˆFà�d”j‘.ˆCØ—M’M " bÑ)Ô)¨AÑ-×6Ò6¸2Ð6Ñ>Ô>ˆDØ—>’> $Ñ'Ô'ˆDØ˜$Ÿ.š.¨¨RÑ0Ô0Ñ0×6Ò6°q¸"¸aÀÑCÔCˆFà—	’	˜& 4™-Ñ(Ô(ˆØð 	;Ø×(Ò(¨°Ô0@À"ÀbÑIÔIˆEØ�qŠyˆy˜E AšI˜IØ˜a˜a˜a    C R C¨¨"¨˜nÔ-×8Ò8Ñ:Ô:�Øˆr:   c                 óâ   — | j         \  }}}}|                      ||||z  |||z  |¦  «        } |                      dddddd¦  «                             ¦   «                              d|||¦  «        } | S )Nr   r>   é   r   é   é   rb   ©rF   rd   ÚpermuterŸ   )rt   r„   r    ÚCr¢   r£   s         r9   r•   zSHMA._window_partitionö   sv   € à”W‰
ˆˆ1ˆa�Ø�FŠF�1�a˜˜kÑ)¨;¸¸[Ñ8HÈ+ÑVÔVˆØ�IŠI�a˜˜A˜q ! QÑ'Ô'×2Ò2Ñ4Ô4×9Ò9¸"¸aÀÈkÑZÔZˆØˆr:   Úwindowsr¢   r£   c                 ó  — | j         \  }}}}| j         d         ||z  ||z  z  z  }|                      |||z  ||z  |||¦  «        }|                     dddddd¦  «                             ¦   «                              ||||¦  «        }|S )Nr   r·   r   r¶   r>   r¸   r¹   )r¼   r„   r¢   r£   r¡   r»   r    rt   s           r9   rž   zSHMA._window_reverseý   s—   € à”]‰
ˆˆ1ˆa�ØŒM˜!Ô ! {Ñ"2°q¸KÑ7GÑ!HÑIˆØ�LŠL˜˜A Ñ,¨a°;Ñ.>ÀÀ;ÐP[Ñ\Ô\ˆØ�IŠI�a˜˜A˜q ! QÑ'Ô'×2Ò2Ñ4Ô4×9Ò9¸!¸QÀÀ1ÑEÔEˆØˆr:   )r   r>   r   NN)rM   rN   rO   Ú__doc__rR   rw   ÚFinalre   Ú__annotations__rP   r.   r}   r{   Ústaticmethodr•   rž   rT   rU   s   @r9   r€   r€   ¯   s?  ø€ € € € € € Ø?Ð?à”	” Ô%Ð%Ð%Ñ%ð
 Ø,-Ø ØØð4ð 4àð4ð ð4ð '*ð	4ð
 ð4ð 4ð 4ð 4ð 4ð 4ð.)˜œð )¨%¬,ð )ð )ð )ð )ðV ð˜Uœ\ð ¸ð ÀÄð ð ð ñ „\ðð ð ¤ð ¸Cð ÀCð ÈCð ÐTYÔT`ð ð ð ñ „\ðð ð ð ð r:   r€   c            
       ó~   ‡ — e Zd Z	 	 	 	 	 ddej        dededee         fˆ fd„Zdd
„Z	de
j        d	e
j        fd„Zˆ xZS )ÚResidualrh   r   NÚmoduleÚ	drop_pathÚlayer_scale_init_valueri   c           	      óN  •— ||dœ}t          ¦   «                              ¦   «          || _        || _        |dk    rt	          |¦  «        nt          j        ¦   «         | _        |dk    r6|�4t          j        |t          j
        d|ddffi |¤Žz  d¬¦  «        | _        d S d | _        d S )Nr&   rh   r   r   T)Úrequires_grad)r-   r.   rÄ   rÆ   r   r0   rp   rÅ   Ú	ParameterrR   ÚonesÚgamma)	r6   rÄ   rÅ   rÆ   ri   r'   r(   r7   r8   s	           €r9   r.   zResidual.__init__  s¶   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØˆŒØ&<ˆÔ#Ø09¸C²°� )Ñ,Ô,Ð,ÅRÄ[Á]Ä]ˆŒØ! AÒ%Ð%¨#¨/ÝœØ&­¬°Q¸¸QÀ°NÐ)IÐ)IÀbÐ)IÐ)IÑIØ"ðñ ô ˆDŒJˆJˆJð
 ˆDŒJˆJˆJr:   r;   c                 ól   — | j         �,t          j                             | j         | j        ¦  «         d S d S ©N)rË   r0   r3   r4   rÆ   ©r6   s    r9   Úreset_parameterszResidual.reset_parameters  s5   € ØŒ:Ð!ÝŒG×Ò˜dœj¨$Ô*EÑFÔFÐFÐFÐFð "Ð!r:   rt   c                 óÌ   — | j         �3|| j         |                      |                      |¦  «        ¦  «        z  z   S ||                      |                      |¦  «        ¦  «        z   S rÍ   )rË   rÅ   rÄ   ©r6   rt   s     r9   r{   zResidual.forward!  sS   € ØŒ:Ð!Ø�t”z D§N¢N°4·;²;¸q±>´>Ñ$BÔ$BÑBÑBÐBØ�4—>’> $§+¢+¨a¡.¤.Ñ1Ô1Ñ1Ð1r:   )rh   r   NNN)r;   N)rM   rN   rO   r0   r~   rQ   r   rP   r.   rÏ   rR   r}   r{   rT   rU   s   @r9   rÃ   rÃ     s½   ø€ € € € € ð  #Ø,-Ø!%ØØðð à”Iðð ðð %*ð	ð
 ˜#”ðð ð ð ð ð ð,Gð Gð Gð Gð2˜œð 2¨%¬,ð 2ð 2ð 2ð 2ð 2ð 2ð 2ð 2r:   rÃ   c                   óf   ‡ — e Zd Z	 	 	 	 	 	 ddededed	ed
ef
ˆ fd„Zdej        dej        fd„Zˆ xZ	S )Ú	SHMABlockr   r>   rh   ç�íµ ÷Æ°>Nri   r‚   rƒ   rÅ   rÆ   c                 ó–   •— ||dœ}t          ¦   «                              ¦   «          t          t          |||fi |¤Ž|||fi |¤Ž| _        d S ©Nr&   )r-   r.   rÃ   r€   Úmixer)
r6   ri   r‚   rƒ   rÅ   rÆ   r'   r(   r7   r8   s
            €r9   r.   zSHMABlock.__init__(  sm   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐÝÝ��eÐ5Ð<Ð<¸Ð<Ð<ØØ"Øð	
ð 
ð
 ð
ð 
ˆŒ
ˆ
ˆ
r:   rt   r;   c                 ó,   — |                       |¦  «        S rÍ   ©r×   rÑ   s     r9   r{   zSHMABlock.forward<  ó   € Ø�zŠz˜!‰}Œ}Ðr:   )r   r>   rh   rÔ   NN)
rM   rN   rO   rP   rQ   r.   rR   r}   r{   rT   rU   s   @r9   rÓ   rÓ   '  s¬   ø€ € € € € ð Ø,-Ø"Ø,0ØØð
ð 
àð
ð ð
ð '*ð	
ð
 ð
ð %*ð
ð 
ð 
ð 
ð 
ð 
ð(˜œð ¨%¬,ð ð ð ð ð ð ð ð r:   rÓ   c                   ó†   ‡ — e Zd Zdddej        ddfdedededed	eej                 f
ˆ fd
„Z	de
j        de
j        fd„Zˆ xZS )ÚFFNr¶   rh   rÔ   Nri   r‚   rÅ   rÆ   Ú	act_layerc                 óò   •— ||dœ}t          ¦   «                              ¦   «          ||z  }	t          t          j        t          ||	dfi |¤Ž |¦   «         t          |	|dfi |¤Ž¦  «        |||fi |¤Ž| _        d S )Nr&   r   ©r-   r.   rÃ   r0   Ú
Sequentialr   r×   )r6   ri   r‚   rÅ   rÆ   rÝ   r'   r(   r7   Úmid_channelsr8   s             €r9   r.   zFFN.__init__A  s¦   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ˜s‘{ˆÝÝŒMÝ˜˜l¨AÐ4Ð4°Ð4Ð4Ø�	‘”Ý˜ s¨AÐ4Ð4°Ð4Ð4ñô ð
 Ø"Øð

ð 

ð ð

ð 

ˆŒ
ˆ
ˆ
r:   rt   r;   c                 ó,   — |                       |¦  «        S rÍ   rÙ   rÑ   s     r9   r{   zFFN.forwardZ  rÚ   r:   ©rM   rN   rO   r0   ÚGELUrP   rQ   r   r~   r.   rR   r}   r{   rT   rU   s   @r9   rÜ   rÜ   @  s´   ø€ € € € € ð Ø"Ø,0Ø)+¬ØØð
ð 
àð
ð ð
ð ð	
ð
 %*ð
ð ˜BœI”ð
ð 
ð 
ð 
ð 
ð 
ð2˜œð ¨%¬,ð ð ð ð ð ð ð ð r:   rÜ   c                   óŒ   ‡ — e Zd Zddddej        ddfdededed	ed
edeej                 fˆ fd„Z	de
j        de
j        fd„Zˆ xZS )Ú	ConvBlocké   r¶   rh   rÔ   Nri   r    r‚   rÅ   rÆ   rÝ   c	                 ó  •— ||dœ}	t          ¦   «                              ¦   «          ||z  }
t          t          j        t          |||d|dz  fd|i|	¤Žt          ||
dfi |	¤Ž |¦   «         t          |
|dfi |	¤Ž¦  «        |||fi |	¤Ž| _        d S ©Nr&   r   r>   r#   rß   )r6   ri   r    r‚   rÅ   rÆ   rÝ   r'   r(   r7   rá   r8   s              €r9   r.   zConvBlock.__init___  sÌ   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ˜s‘{ˆÝÝŒMÝ˜˜c ;°°;À!Ñ3CÐVÐVÈCÐVÐSUÐVÐVÝ˜˜l¨AÐ4Ð4°Ð4Ð4Ø�	‘”Ý˜ s¨AÐ4Ð4°Ð4Ð4ñ	ô ð Ø"Øð
ð 
ð ð
ð 
ˆŒ
ˆ
ˆ
r:   rt   r;   c                 ó,   — |                       |¦  «        S rÍ   rÙ   rÑ   s     r9   r{   zConvBlock.forwardz  rÚ   r:   rã   rU   s   @r9   ræ   ræ   ^  sÁ   ø€ € € € € ð  !ØØ"Ø,0Ø)+¬ØØð
ð 
àð
ð ð
ð ð	
ð
 ð
ð %*ð
ð ˜BœI”ð
ð 
ð 
ð 
ð 
ð 
ð6˜œð ¨%¬,ð ð ð ð ð ð ð ð r:   ræ   c                   ó˜   ‡ — e Zd ZdZ	 	 	 ddedefˆ fd„Z ej        ¦   «         dej	        fd„¦   «         Z
d	ej        dej        fd
„Zˆ xZS )ÚRepCPEu7   Conditional Positional Encoding â€” depthwise residual.rç   Nri   r    c           
      óž   •— ||dœ}t          ¦   «                              ¦   «          t          t          |||d|dz  fd|i|¤Žfi |¤Ž| _        d S ré   )r-   r.   rÃ   r   Úcpe)r6   ri   r    r'   r(   r7   r8   s         €r9   r.   zRepCPE.__init__�  so   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐÝÝ�S˜#˜{¨A¨{¸aÑ/?ÐRÐRÈÐRÈrÐRÐRð
ð 
àð
ð 
ˆŒˆˆr:   r;   c                 óœ   — | j         j                             ¦   «         }|j        \  }}|j        d d …d d …|dz  |dz  fxx         dz  cc<   |S )Nr>   r   )rî   rÄ   rL   r    r5   )r6   ÚconvÚkhÚkws       r9   rL   zRepCPE.fuse�  s_   € àŒxŒ×#Ò#Ñ%Ô%ˆØÔ!‰ˆˆBØŒ�A�A�A�q�q�q˜" ™' 2¨¡7Ð*Ð+Ð+Ô+¨qÑ0Ð+Ð+Ñ+Øˆr:   rt   c                 ó,   — |                       |¦  «        S rÍ   )rî   rÑ   s     r9   r{   zRepCPE.forward–  s   € Ø�xŠx˜‰{Œ{Ðr:   )rç   NN)rM   rN   rO   r¾   rP   r.   rR   rS   r0   r1   rL   r}   r{   rT   rU   s   @r9   rì   rì   ~  s¼   ø€ € € € € ØAÐAð
  !ØØð
ð 
àð
ð ð
ð 
ð 
ð 
ð 
ð 
ð €U„]�_„_ð�b”ið ð ð ñ „_ðð˜œð ¨%¬,ð ð ð ð ð ð ð ð r:   rì   c                   ó˜   ‡ — e Zd Z	 	 ddededededededed	ed
ee         dedeej                 fˆ fd„Z	de
j        de
j        fd„Zˆ xZS )Ú
StageBlockNÚin_dimri   ÚdepthÚnum_attnÚhdrrÚ
conv_ratioÚ	ffn_ratioÚ
attn_ratioÚdrop_path_ratesrÆ   rÝ   c                 óÊ  •— ||dœ}t          ¦   «                              ¦   «          |d|z  k    s
J d¦   «         ‚d| _        ||k    rt          j        ¦   «         nt          ||dddfi |¤Ž| _        g }|dk    r?t          |¦  «        D ]-}|                     t          |d||	|         |
|fi |¤Ž¦  «         Œ.�n||dz  z
  }|dk    r|dz
  dfnd	\  }}t          |¦  «        D ]-}|                     t          |d||	|         |
|fi |¤Ž¦  «         Œ.t          |¦  «        D ]…}||dz  z   }|                     t          |dfi |¤Ž¦  «         |                     t          ||||	|dz            |
fi |¤Ž¦  «         |                     t          |||	|dz            |
|fi |¤Ž¦  «         Œ†|r+|                     t          |d||	d
         |
|fi |¤Ž¦  «         t          j        |Ž | _        d S )Nr&   r·   z+Each attention group requires three blocks.Fr>   r   r   rç   )r   r   rb   )r-   r.   Úgrad_checkpointingr0   rp   r   Ú
downsampleÚrangeÚappendræ   rì   rÓ   rÜ   rà   Úblocks)r6   rö   ri   r÷   rø   rù   rú   rû   rü   rý   rÆ   rÝ   r'   r(   r7   r  ÚjÚnum_convÚ
num_prefixÚ
num_suffixÚgÚoffsetr8   s                         €r9   r.   zStageBlock.__init__›  s”  ø€ ð  ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ˜˜H™Ò$Ð$Ð$Ð&SÑ$Ô$Ð$Ø"'ˆÔØ+1°Sª=¨=�"œ+™-œ-˜-½hÀvÈsÐTUÐWXÐZ[Ð>bÐ>bÐ_aÐ>bÐ>bˆŒàˆØ�qŠ=ˆ=Ý˜5‘\”\ð ð �Ø—’Ý˜c 1 j°/À!Ô2DÐF\Ð^gÐnÐnÐkmÐnÐnñô ð ð ñð
 ˜x¨!™|Ñ+ˆHØ:BÀQº,¸, h°¡l°AÐ%6Ð%6ÈFÑ"ˆJ˜
Ý˜:Ñ&Ô&ð ð �Ø—’Ý˜c 1 j°/À!Ô2DÐF\Ð^gÐnÐnÐkmÐnÐnñô ð ð õ ˜8‘_”_ð ð �Ø# a¨!¡eÑ+�Ø—’�f S¨!Ð2Ð2¨rÐ2Ð2Ñ3Ô3Ð3Ø—’Ý˜c :¨t°_ÀVÈaÁZÔ5PÐRhÐoÐoÐlnÐoÐoñô ð ð —’Ý˜˜Y¨¸À¹
Ô(CÐE[Ð]fÐmÐmÐjlÐmÐmñô ð ð ð ð Ø—’Ý˜c 1 j°/À"Ô2EÐG]Ð_hÐoÐoÐlnÐoÐoñô ð õ ”m VÐ,ˆŒˆˆr:   rt   r;   c                 óÐ   — |                       |¦  «        }| j        r4t          j                             ¦   «         st          | j        |¦  «        }n|                      |¦  «        }|S rÍ   )r   rÿ   rR   rw   rx   r   r  rÑ   s     r9   r{   zStageBlock.forwardÍ  sZ   € Ø�OŠO˜AÑÔˆØÔ"ð 	­5¬9×+AÒ+AÑ+CÔ+Cð 	Ý˜tœ{¨AÑ.Ô.ˆAˆAà—’˜A‘”ˆAØˆr:   )NN)rM   rN   rO   rP   r   rQ   r   r0   r~   r.   rR   r}   r{   rT   rU   s   @r9   rõ   rõ   š  sç   ø€ € € € € ð Øð0-ð 0-àð0-ð ð0-ð ð	0-ð
 ð0-ð ð0-ð ð0-ð ð0-ð ð0-ð " %œ[ð0-ð %*ð0-ð ˜BœI”ð0-ð 0-ð 0-ð 0-ð 0-ð 0-ðd˜œð ¨%¬,ð ð ð ð ð ð ð ð r:   rõ   c                   óx   ‡ — e Zd Zej        ddfdededeej                 fˆ fd„Zde	j
        de	j
        fd„Zˆ xZS )	ÚStemNÚin_chansÚout_chsrÝ   c                 ó*  •— ||dœ}t          ¦   «                              ¦   «          |dz  dz  }t          ||dz  dddfi |¤Ž| _         |¦   «         | _        t          |dz  |dddfi |¤Ž| _         |¦   «         | _        t          ||dfi |¤Ž| _        d S )Nr&   r>   r¶   r¸   r   )r-   r.   r   Úconv1Úact1Úconv2Úact2Úconv3)	r6   r  r  rÝ   r'   r(   r7   rá   r8   s	           €r9   r.   zStem.__init__×  sµ   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ 1™¨Ñ)ˆÝ˜h¨°1©°a¸¸AÐDÐDÀÐDÐDˆŒ
Ø�I‘K”KˆŒ	Ý˜g¨™l¨L¸!¸QÀÐHÐHÀRÐHÐHˆŒ
Ø�I‘K”KˆŒ	Ý˜l¨G°QÐ=Ð=¸"Ð=Ð=ˆŒ
ˆ
ˆ
r:   rt   r;   c                 óØ   — |                       |¦  «        }|                      |¦  «        }|                      |¦  «        }|                      |¦  «        }|                      |¦  «        }|S rÍ   )r  r  r  r  r  rÑ   s     r9   r{   zStem.forwardè  sR   € Ø�JŠJ�q‰MŒMˆØ�IŠI�a‰LŒLˆØ�JŠJ�q‰MŒMˆØ�IŠI�a‰LŒLˆØ�JŠJ�q‰MŒMˆØˆr:   )rM   rN   rO   r0   rä   rP   r   r~   r.   rR   r}   r{   rT   rU   s   @r9   r  r  Ö  s—   ø€ € € € € ð
 *,¬ØØð>ð >àð>ð ð>ð ˜BœI”ð	>ð >ð >ð >ð >ð >ð"˜œð ¨%¬,ð ð ð ð ð ð ð ð r:   r  c                   óŒ  ‡ — e Zd Zdddddddddd	d
d
d
ej        dddfdedededeedf         deedf         deedf         deedf         dedededededede	ej
                 defˆ fd„Zej        j        d<ded dfd!„¦   «         Zd<d"ej
        ded dfd#„Zej        j        d ee         fd$„¦   «         Zej        j        d=d%ed eeef         fd&„¦   «         Zej        j        d<d'efd(„¦   «         Zej        j        d ej
        fd)„¦   «         Z	 	 	 	 d>dedee         defd*„Zej        j        d<d'efd+„¦   «         Z	 	 	 	 	 d?d-ej        d.eeeee         f                  d/ed0ed1ed2ed eeej                 eej        eej                 f         f         fd3„Z	 	 	 d@d.eeee         f         d4ed5ed ee         fd6„Z d-ej        d ej        fd7„Z!	 d=d-ej        d8ed eej        eej        ej        f         f         fd9„Z"d-ej        d eej        eej        ej        f         f         fd:„Z# ej$        ¦   «         d;„ ¦   «         Z%ˆ xZ&S )Ar   r·   éè  Úavg©é    é@   é€   é   ©r>   r>   é   é   ©r   r   r·   r>   ©r   r   r>   r¶   r>   r   rh   FNr  rj   Úglobal_poolÚdims.ÚdepthsÚattn_groupsÚattn_head_dim_reductionrú   rû   rü   Ú	drop_rateÚdrop_path_raterÆ   rÝ   rk   c                 óÚ  •— t          ¦   «                              ¦   «          ||dœ}|| _        || _        || _        || _        t          |¦  «        t          |¦  «        cxk    r't          |¦  «        cxk    rt          |¦  «        k    sn J ‚t          |¦  «        | _        g | _        t          ||d         |fi |¤Ž| _
        |d         }t          ||d¬¦  «        }g }t          | j        ¦  «        D ]…}t          d|||         ||         ||         ||         ||	|
||         ||dœ|¤Ž}||         }|                     |¦  «         | xj        t          ||         d|dz   z  d|› �¬¦  «        gz  c_        Œ†t!          j        |Ž | _        |d	         x| _        | _        t!          j        |¦  «        | _        t/          |d	         ||d
fi |¤Ž| _        |                      d¬¦  «         d S )Nr&   r   T)Ú	stagewise)rö   ri   r÷   rø   rù   rú   rû   rü   rý   rÆ   rÝ   r>   ústages.)Únum_chsÚ	reductionrÄ   rb   rh   F©Úneeds_resetr,   )r-   r.   rj   r  r#  rk   ÚlenÚ
num_stagesÚfeature_infor  Ústemr   r  rõ   r  Údictr0   rà   ÚstagesÚnum_featuresÚhead_hidden_sizern   ro   rg   rq   Úinit_weights)r6   r  rj   r#  r$  r%  r&  r'  rú   rû   rü   r(  r)  rÆ   rÝ   rk   r'   r(   r7   Úprev_dimÚdprr6  ÚiÚstager8   s                           €r9   r.   zIFormer.__init__ò  s/  ø€ õ( 	‰Œ×ÒÑÔÐØ¨Ð/Ð/ˆØ&ˆÔØ ˆŒØ&ˆÔØ(ˆÔÝ�4‰yŒy�C ™KœKÐ[Ð[Ò[Ð[­3¨{Ñ+;Ô+;Ð[Ð[Ò[Ð[½sÐCZÑ?[Ô?[Ò[Ð[Ð[Ð[Ð[Ð[Ý˜f™+œ+ˆŒØˆÔå˜ 4¨¤7¨IÐ<Ð<¸Ð<Ð<ˆŒ	Ø˜”7ˆå'¨¸È$ÐOÑOÔOˆàˆÝ�t”Ñ'Ô'ð 	gð 	gˆAÝð ØØ˜”GØ˜Q”iØ$ QœØ,¨QÔ/Ø%Ø#Ø%Ø # A¤Ø'=Ø#ðð ð ðð ˆEð ˜A”wˆHØ�MŠM˜%Ñ Ô Ð ØÐÔ¥$¨t°A¬wÀ!ÈÈAÉÁ,ÐWdÐabÐWdÐWdÐ"eÑ"eÔ"eÐ!fÑfÐÔÐÝ”m VÐ,ˆŒà48¸´HÐ<ˆÔ˜DÔ1Ýœ IÑ.Ô.ˆŒÝ$ T¨"¤X¨{¸LÈ#ÐTÐTÐQSÐTÐTˆŒ	Ø×Ò eÐÑ,Ô,Ð,Ð,Ð,r:   Tr0  r;   c                 óX   — |                       t          | j        |¬¦  «        ¦  «         dS )z?Initialize parameters and restore buffers after ``to_empty()``.r/  N)Úapplyr   Ú_init_weights)r6   r0  s     r9   r9  zIFormer.init_weights/  s,   € ð 	�
Š
•7˜4Ô-¸;ÐGÑGÔGÑHÔHÐHÐHÐHr:   rK   c                 ó2  — t          |t          j        t          j        f¦  «        rFt	          |j        d¬¦  «         |j        �'t          j                             |j        d¦  «         d S d S |r&t          |d¦  «        r| 
                    ¦   «          d S d S d S )NrX   r^   r   rÏ   )Ú
isinstancer0   r1   r`   r   r5   r*   r3   r4   ÚhasattrrÏ   )r6   rK   r0  s      r9   r@  zIFormer._init_weights4  s¨   € Ý�a�"œ)¥R¤YÐ/Ñ0Ô0ð 	!Ý˜!œ(¨Ð-Ñ-Ô-Ð-ØŒvÐ!Ý”×!Ò! !¤&¨!Ñ,Ô,Ð,Ð,Ð,ð "Ð!àð 	!�W QÐ(:Ñ;Ô;ð 	!Ø×ÒÑ Ô Ð Ð Ð ð	!ð 	!ð 	!ð 	!r:   c                 ó   — t          ¦   «         S rÍ   )ÚsetrÎ   s    r9   Úno_weight_decayzIFormer.no_weight_decay<  s   € å‰uŒuˆr:   Úcoarsec                 ó4   — t          d|rdng d¢¬¦  «        }|S )Nz^stemz^stages\.(\d+)))z^stages\.(\d+)\.downsample)r   )z^stages\.(\d+)\.blocks\.(\d+)N)z^head)iŸ† )r4  r  )r5  )r6   rG  Úmatchers      r9   Úgroup_matcherzIFormer.group_matcher@  s?   € åØð ðÐ!Ð!ðð ð ð
ñ 
ô 
ˆð ˆr:   Úenablec                 ó(   — | j         D ]	}||_        Œ
d S rÍ   )r6  rÿ   )r6   rK  r=  s      r9   Úset_grad_checkpointingzIFormer.set_grad_checkpointingP  s(   € à”[ð 	.ð 	.ˆEØ'-ˆEÔ$Ð$ð	.ð 	.r:   c                 ó   — | j         S rÍ   )rq   rÎ   s    r9   Úget_classifierzIFormer.get_classifierU  s
   € àŒyÐr:   c                 óÈ   — t          | ||¬¦  «        }|| _        || _        |�|| _        t	          | j        ||fi |¤Ž| _        | j                             | j        ¦  «         d S rÖ   )	r   rj   rk   r#  rg   r8  rq   Útrainrv   )r6   rj   r#  rk   r'   r(   r7   s          r9   Úreset_classifierzIFormer.reset_classifierY  sq   € õ ˜d¨6¸Ð?Ñ?Ô?ˆØ&ˆÔØ(ˆÔØÐ"Ø*ˆDÔÝ$ TÔ%:¸KÈÐ\Ð\ÐY[Ð\Ð\ˆŒ	ØŒ	�Š˜œÑ&Ô&Ð&Ð&Ð&r:   c                 ó   — || j         _        d S rÍ   )rq   rr   )r6   rK  s     r9   Úset_distilled_trainingzIFormer.set_distilled_trainingi  s   € à'-ˆŒ	Ô$Ð$Ð$r:   ÚNCHWrt   ÚindicesÚnormÚ
stop_earlyÚ
output_fmtÚintermediates_onlyc                 óŒ  — |dv s
J d¦   «         ‚g }t          t          | j        ¦  «        |¦  «        \  }}	|                      |¦  «        }t          j                             ¦   «         s|s| j        }
n| j        d|	dz   …         }
t          |
¦  «        D ])\  }} ||¦  «        }||v r|                     |¦  «         Œ*|r|S ||fS )aT  Forward features that returns intermediates.

        Args:
            x: Input image tensor.
            indices: Take last n blocks if int, all if None, select matching indices if sequence.
            norm: Unused; there is no final feature normalization layer.
            stop_early: Stop iterating over blocks when last desired intermediate hit.
            output_fmt: Shape of intermediate feature outputs.
            intermediates_only: Only return intermediate features.

        Returns:
            List of intermediate features or tuple of (final features, intermediates).
        )rU  zOutput shape must be NCHW.Nr   )	r   r1  r6  r4  rR   rw   rx   Ú	enumerater  )r6   rt   rV  rW  rX  rY  rZ  ÚintermediatesÚtake_indicesÚ	max_indexr6  Úfeat_idxr=  s                r9   Úforward_intermediateszIFormer.forward_intermediatesm  sí   € ð, ˜YÐ&Ð&Ð&Ð(DÑ&Ô&Ð&ØˆÝ"6µs¸4¼;Ñ7GÔ7GÈÑ"QÔ"QÑˆ�ið �IŠI�a‰LŒLˆÝŒ9×!Ò!Ñ#Ô#ð 	1¨:ð 	1Ø”[ˆFˆFà”[  )¨a¡- Ô0ˆFå(¨Ñ0Ô0ð 	(ð 	(‰OˆH�eØ��a‘”ˆAØ˜<Ð'Ð'Ø×$Ò$ QÑ'Ô'Ð'øàð 	!Ø Ð à�-ÐÐr:   Ú
prune_normÚ
prune_headc                 óš  — t          t          | j        ¦  «        |¦  «        \  }}|dz   t          | j        ¦  «        k     r|s
J d¦   «         ‚| j        d|dz   …         | _        | j        d|dz   …         | _        t          | j        ¦  «        | _        | j        d         d         x| _        | _        |r|                      dd¦  «         |S )aE  Prune layers not required for specified intermediates.

        Args:
            indices: Indices of intermediate layers to keep.
            prune_norm: Whether to prune normalization layer.
            prune_head: Whether to prune the classifier head.

        Returns:
            List of indices that were kept.
        r   z(The classifier requires the final stage.Nrb   r-  r   Ú )r   r1  r6  r3  r2  r7  r8  rR  )r6   rV  rb  rc  r^  r_  s         r9   Úprune_intermediate_layersz!IFormer.prune_intermediate_layers˜  sÏ   € õ  #7µs¸4¼;Ñ7GÔ7GÈÑ"QÔ"QÑˆ�iØ�q‰=�3˜tœ{Ñ+Ô+Ò+Ð+ØÐIÐIÐIÑIÔI�:Ø”k . 9¨q¡= .Ô1ˆŒØ Ô-¨n¨y¸1©}¨nÔ=ˆÔÝ˜dœkÑ*Ô*ˆŒØ48Ô4EÀbÔ4IÈ)Ô4TÐTˆÔ˜DÔ1Øð 	)Ø×!Ò! ! RÑ(Ô(Ð(ØÐr:   c                 óZ   — |                       |¦  «        }|                      |¦  «        }|S rÍ   )r4  r6  rÑ   s     r9   Úforward_featureszIFormer.forward_features³  s%   € Ø�IŠI�a‰LŒLˆØ�KŠK˜‰NŒNˆØˆr:   Ú
pre_logitsc                 óØ   — | j         dv sJ d| j         › �¦   «         ‚| j         dk    r|                     dd¬¦  «        }|                      |¦  «        }|r|S |                      |¦  «        S )N)r  re  zUnsupported global_pool r  )r>   r·   F)Úkeepdim)r#  Úmeanro   rq   )r6   rt   ri  s      r9   Úforward_headzIFormer.forward_head¸  s}   € ð
 Ô ;Ð.Ð.Ð.Ð0]È4ÔK[Ð0]Ð0]Ñ.Ô.Ð.ØÔ˜uÒ$Ð$Ø—’�v u�Ñ-Ô-ˆAØ�NŠN˜1ÑÔˆØð 	ØˆHØ�yŠy˜‰|Œ|Ðr:   c                 óZ   — |                       |¦  «        }|                      |¦  «        }|S rÍ   )rh  rm  rÑ   s     r9   r{   zIFormer.forwardÅ  s-   € Ø×!Ò! !Ñ$Ô$ˆØ×Ò˜aÑ Ô ˆØˆr:   c                 óB   ‡— dt           j        fˆfd„Š ‰| ¦  «         | S )NÚnetc                 óô   •— |                       ¦   «         D ]a\  }}t          |d¦  «        rA|                     ¦   «         }||urt          | ||¦  «          ‰|¦  «         ŒJ ‰|¦  «         ŒV ‰|¦  «         Œbd S )NrL   )Únamed_childrenrC  rL   Úsetattr)rp  Ú
child_nameÚchildÚfusedÚfuse_childrens       €r9   rw  z#IFormer.fuse.<locals>.fuse_childrenÌ  s¢   ø€ Ø%(×%7Ò%7Ñ%9Ô%9ð 	)ð 	)Ñ!�
˜EÝ˜5 &Ñ)Ô)ð )Ø!ŸJšJ™LœL�EØ EÐ)Ð)Ý  Z°Ñ7Ô7Ð7Ø%˜ eÑ,Ô,Ð,Ð,à%˜ eÑ,Ô,Ð,Ð,à!�M %Ñ(Ô(Ð(Ð(ð	)ð 	)r:   )r0   r~   )r6   rw  s    @r9   rL   zIFormer.fuseÊ  sA   ø€ ð
	)�rœyð 
	)ð 
	)ð 
	)ð 
	)ð 
	)ð 
	)ð 	ˆ�dÑÔÐØˆr:   )T©F)NFNN)NFFrU  F)r   FT)'rM   rN   rO   r0   rä   rP   Ústrr
   rQ   r   r~   re   r.   rR   rw   Úignorer9  r@  r	   rF  r   r   rJ  rM  rO  r   rR  rT  r}   r   r   ra  rf  rh  rm  r{   rS   rL   rT   rU   s   @r9   r   r   ñ  sÑ  ø€ € € € € ð Ø#Ø$Ø$6Ø&3Ø+7Ø7CØØØØ"Ø$'Ø,/Ø)+¬Ø!&ØØð%;-ð ;-àð;-ð ð;-ð ð	;-ð
 ˜˜S˜”/ð;-ð ˜#˜s˜(”Oð;-ð ˜s C˜xœð;-ð &+¨3°¨8¤_ð;-ð ð;-ð ð;-ð ð;-ð ð;-ð "ð;-ð %*ð;-ð ˜BœI”ð;-ð  ð!;-ð ;-ð ;-ð ;-ð ;-ð ;-ðz „YÔðIð I¨ð I¸ð Ið Ið Iñ ÔðIð!ð !˜rœyð !°tð !Àtð !ð !ð !ð !ð „YÔð  S¤ð ð ð ñ Ôðð „YÔðð  Dð °T¸#¸s¸(´^ð ð ð ñ Ôðð „YÔð.ð .¨Tð .ð .ð .ñ Ôð.ð „YÔð ¤	ð ð ð ñ Ôðð *.Ø!&ØØð'ð 'àð'ð " #œð'ð ð	'ð 'ð 'ð 'ð  „YÔð.ð .¨Tð .ð .ð .ñ Ôð.ð 8<ØØ$Ø$Ø',ð) ð ) àŒ|ð) ð ˜e C¨¨c¬ NÔ3Ô4ð) ð ð	) ð
 ð) ð ð) ð !%ð) ð 
ˆt�E”LÔ! 5¨¬°t¸E¼LÔ7IÐ)IÔ#JÐJÔ	Kð) ð ) ð ) ð ) ðZ ./Ø$Ø#ð	ð à˜3  S¤	˜>Ô*ðð ðð ð	ð
 
ˆcŒðð ð ð ð6 %¤,ð °5´<ð ð ð ð ð  %ðð àŒ|ðð ðð 
ˆuŒ|˜U 5¤<°´Ð#=Ô>Ð>Ô	?ð	ð ð ð ð˜œð ¨%°´¸eÀEÄLÐRWÔR^ÐD^Ô>_Ð0_Ô*`ð ð ð ð ð
 €U„]�_„_ðð ñ „_ðð ð ð ð r:   Ú
state_dictÚmodelr;   c                 ót  — d| v r#t          | d         t          ¦  «        r| d         } d| v r#t          | d         t          ¦  «        r| d         } i }|                      ¦   «         D �]Q\  }}|                     d¦  «        r|                     ddd¦  «        }nY|                     d¦  «        r|                     ddd¦  «        }n,|                     d¦  «        r|                     ddd¦  «        }|                     d	¦  «        r|                     d	d
d¦  «        }�nD|                     d¦  «        r|                     ddd¦  «        }�n|                     d¦  «        r|                     ddd¦  «        }né|                     d¦  «        rÔt          j        d|¦  «        }|r/d|                     d¦  «        › d|                     d¦  «        › �}nEt          j        d|¦  «        }|r.d|                     d¦  «        › d|                     d¦  «        › �}|                     dd¦  «        }|                     dd¦  «        }|                     dd¦  «        }|||<   �Œþt          j        d|¦  «        }|ret          |                     d¦  «        ¦  «        t          |                     d¦  «        ¦  «        |                     d¦  «        }}}d|› d|› d|› �}n�|                     d¦  «        r{t          j        d|¦  «        }|rdt          |                     d¦  «        ¦  «        t          |                     d¦  «        ¦  «        |                     d¦  «        }}}d|› d|› d|› �}|                     dd¦  «        }|                     dd¦  «        }|                     dd¦  «        }|||<   �ŒS|S )Nr|  r{  zclassifier.classifier_dist.zhead.head_dist.r   zclassifier.classifier.z
head.head.zclassifier.zdownsample_layers.0.0.zstem.conv1.z#downsample_layers.0.2.conv_exp_bn1.zstem.conv2.z#downsample_layers.0.2.conv_pwl_bn2.zstem.conv3.zdownsample_layers.z"^downsample_layers\.(\d+)\.0\.(.*)r,  z.downsample.r>   z^downsample_layers\.(\d+)\.(.*)Útoken_channel_mixerr×   Úchannel_mixerz.m.z.module.z"^stages\.(\d+)\.(\d+)\.block\.(.*)r·   z.blocks.ú.z^stages\.(\d+)\.(\d+)\.(.*))	rB  r5  ÚitemsÚ
startswithÚreplaceÚreÚmatchÚgrouprP   )	r{  r|  Úout_dictÚkeyÚvaluerK   ÚsiÚbiÚrests	            r9   Úcheckpoint_filter_fnr�  Ü  s«  € Ø�*ÐÐ¥¨J°wÔ,?ÅÑ!FÔ!FÐØ Ô(ˆ
Ø�zÐ!Ð!¥j°¸LÔ1IÍ4Ñ&PÔ&PÐ!Ø Ô-ˆ
à€HØ ×&Ò&Ñ(Ô(ð .ñ .‰
ˆˆUà�>Š>Ð7Ñ8Ô8ð 	>Ø—+’+Ð;Ð=NÐPQÑRÔRˆCˆCØ�^Š^Ð4Ñ5Ô5ð 	>Ø—+’+Ð6¸ÀaÑHÔHˆCˆCØ�^Š^˜MÑ*Ô*ð 	>Ø—+’+˜m¨\¸1Ñ=Ô=ˆCð �>Š>Ð2Ñ3Ô3ð 	Ø—+’+Ð6¸ÀqÑIÔIˆC‰CØ�^Š^ÐAÑBÔBð 	Ø—+’+ÐCÀ]ÐTUÑVÔVˆC‰CØ�^Š^ÐAÑBÔBð 	Ø—+’+ÐCÀ]ÐTUÑVÔVˆCˆCØ�^Š^Ð0Ñ1Ô1ð 	å”Ð>ÀÑDÔDˆAØð IØD §¢¨¡
¤
ÐDÐD¸¿ºÀ¹
¼
ÐDÐD��å”HÐ?ÀÑEÔE�Øð IØH A§G¢G¨A¡J¤JÐHÐH¸A¿GºGÀA¹J¼JÐHÐH�Cà—+’+Ð3°WÑ=Ô=ˆCØ—+’+˜o¨wÑ7Ô7ˆCØ—+’+˜e ZÑ0Ô0ˆCØ!ˆH�S‰MÙõ ŒHÐ:¸CÑ@Ô@ˆØð 	8Ý˜qŸwšw q™zœz™?œ?­C°·²¸±
´
©O¬O¸Q¿WºWÀQ¹Z¼Z�D�ˆBØ3˜BÐ3Ð3¨Ð3Ð3¨TÐ3Ð3ˆCˆCØ�^Š^˜IÑ&Ô&ð 	8Ý”Ð7¸Ñ=Ô=ˆAØð 8Ý" 1§7¢7¨1¡:¤:™œµ°A·G²G¸A±J´J±´ÀÇÂÈÁÄ˜�B�Ø7 Ð7Ð7¨BÐ7Ð7°Ð7Ð7�à�kŠkÐ/°Ñ9Ô9ˆØ�kŠk˜/¨7Ñ3Ô3ˆØ�kŠk˜% Ñ,Ô,ˆØˆ�‰‰Ø€Or:   re  ÚurlÚkwargsc                 ó<   — | dddddt           t          dddd	d
ddœ|¥S )Nr  )r·   éà   r‘  )rç   rç   g      ì?Úbicubiczstem.conv1.cúhead.head.lzarXiv:2501.15369zCiFormer: Integrating ConvNet and Transformer for Mobile Applicationz)https://github.com/ChuanyangZheng/iFormerÚmit)rŽ  rj   Ú
input_sizeÚ	pool_sizeÚcrop_pctÚinterpolationrl  r[   Ú
first_convÚ
classifierÚ	paper_idsÚ
paper_nameÚ
origin_urlÚlicenser   )rŽ  r�  s     r9   Ú_cfgrŸ    sE   € àØØ#ØØØ"Ý%Ý#Ø$Ø#Ø'Ø[ØAØðð ð ðð r:   zNhttps://github.com/ChuanyangZheng/iFormer/releases/download/v0.9/iFormer_t.pthztimm/)rŽ  Ú	hf_hub_idzNhttps://github.com/ChuanyangZheng/iFormer/releases/download/v0.9/iFormer_s.pthzNhttps://github.com/ChuanyangZheng/iFormer/releases/download/v0.9/iFormer_m.pthzNhttps://github.com/ChuanyangZheng/iFormer/releases/download/v0.9/iFormer_l.pthzNhttps://github.com/ChuanyangZheng/iFormer/releases/download/v0.9/iFormer_h.pthzVhttps://github.com/ChuanyangZheng/iFormer/releases/download/v0.9/iFormer_m_distill.pth)r“  zhead.head_dist.l)rŽ  r   rš  zVhttps://github.com/ChuanyangZheng/iFormer/releases/download/v0.9/iFormer_l_distill.pthzWhttps://github.com/ChuanyangZheng/iFormer/releases/download/v0.9/iFormer_l2_distill.pth)	ziformer_t.in1kziformer_s.in1kziformer_m.in1kziformer_l.in1kziformer_l2.untrainedziformer_h.in1kziformer_m_distilled.in1kziformer_l_distilled.in1kziformer_l2_distilled.in1kFÚvariantÚ
pretrainedc           	      óº  — t          ¦   «         }|�rt          t          j        d¦  «        rêt          t          d¦  «        rt          j        nt          j        }|j        j        }t          j
        t          j        t          t	          j        d¦  «        ¦  «        g}t          j                             t          j        ¦  «        dk    r|                     |df¦  «         n|                     |¦  «         t          j                             |¦  «        }|5  t%          t&          | |ft(          t+          dd¬¦  «        d	œ|¤Žcd d d ¦  «         S # 1 swxY w Y   d S )
NÚsafe_globalsÚ_coreÚfloat64z2.0.0znumpy.core.multiarray.scalar)r   r   r>   r·   T)Úout_indicesÚflatten_sequential)Úpretrained_filter_fnÚfeature_cfg)r   rC  rR   ÚserializationÚnpr¥  ÚcoreÚ
multiarrayÚscalarÚargparseÚ	Namespacer(   ÚtypeÚlibÚNumpyVersionÚ__version__r  r¤  r   r   r�  r5  )r¡  r¢  r�  Úload_contextÚ
numpy_corer¯  Ú
safe_typess          r9   Ú_create_iformerr¹  Q  s‚  € õ ‘=”=€LØñ D•g�eÔ1°>ÑBÔBð DÝ!(­¨WÑ!5Ô!5ÐB•R”X�X½2¼7ˆ
ØÔ&Ô-ˆÝÔ(­"¬(µD½¼À)Ñ9LÔ9LÑ4MÔ4MÐNˆ
ÝŒ6×Ò�rœ~Ñ.Ô.°'Ò9Ð9Ø×Ò˜vÐ'EÐFÑGÔGÐGÐGà×Ò˜fÑ%Ô%Ð%ÝÔ*×7Ò7¸
ÑCÔCˆØ	ð 
ð 
Ý#ÝØØð
õ "6Ý¨È$ÐOÑOÔOð
ð 
ð ð
ð 
ð
ð 
ð 
ð 
ñ 
ô 
ð 
ð 
ð 
ð 
ð 
ð 
øøøð 
ð 
ð 
ð 
ð 
ð 
s   Ä+EÅEÅEc           	      ó^   — t          dddddd¬¦  «        }t          d
d	| it          |fi |¤Ž¤ŽS )Nr  r  r!  r"  r·   r>   ©r$  r%  r&  r'  rú   rû   Ú	iformer_tr¢  )r¼  ©r5  r¹  ©r¢  r�  Ú
model_argss      r9   r¼  r¼  i  óT   € åØØØ Ø ,ØØðñ ô €Jõ Ð\Ð\°:Ð\ÅÀjÐA[ÐA[ÐTZÐA[ÐA[Ð\Ð\Ð\r:   c           	      ó^   — t          dddddd¬¦  «        }t          d
d	| it          |fi |¤Ž¤ŽS )N)r  r  é°   i@  )r>   r>   é   r   r!  r"  r¶   r·   r»  Ú	iformer_sr¢  )rÄ  r½  r¾  s      r9   rÄ  rÄ  v  rÀ  r:   c           	      ó^   — t          dddddd¬¦  «        }t          d
d	| it          |fi |¤Ž¤ŽS )N©é0   é`   éÀ   é€  ©r>   r>   é   r   ©r   r   r¶   r>   r"  r¶   r·   r»  Ú	iformer_mr¢  )rÎ  r½  r¾  s      r9   rÎ  rÎ  ƒ  rÀ  r:   c           	      ó^   — t          dddddd¬¦  «        }t          d
d	| it          |fi |¤Ž¤ŽS )N©rÇ  rÈ  r  rÊ  ©r>   r>   é!   r   ©r   r   é   r>   r"  r¶   r·   r»  Ú	iformer_lr¢  )rÕ  r½  r¾  s      r9   rÕ  rÕ  �  rÀ  r:   c           	      ó^   — t          dddddd¬¦  «        }t          d
d	| it          |fi |¤Ž¤ŽS )N©r  r  r  i   ©r·   r·   é.   é	   ©r   r   é   r·   r"  r¶   r·   r»  Ú
iformer_l2r¢  )rÝ  r½  r¾  s      r9   rÝ  rÝ  �  sT   € åØ ØØ!Ø ,ØØðñ ô €Jõ Ð]Ð]°JÐ]Å$ÀzÐB\ÐB\ÐU[ÐB\ÐB\Ð]Ð]Ð]r:   c           	      ó`   — t          ddddddd¬¦  «        }t          d
d	| it          |fi |¤Ž¤ŽS )N)rÈ  rÉ  rÊ  i   )r¸   r¸   é<   é   )r   r   é   r   )r   r   r   r   r¶   rÔ   )r$  r%  r&  r'  rú   rû   rÆ   Ú	iformer_hr¢  )râ  r½  r¾  s      r9   râ  râ  ª  sW   € åØ ØØ!Ø ,ØØØ#ðñ ô €Jõ Ð\Ð\°:Ð\ÅÀjÐA[ÐA[ÐTZÐA[ÐA[Ð\Ð\Ð\r:   c           	      ó`   — t          ddddddd¬¦  «        }t          dd
| it          |fi |¤Ž¤ŽS )NrÆ  rË  rÍ  r"  r¶   r·   T©r$  r%  r&  r'  rú   rû   rk   Úiformer_m_distilledr¢  )rå  r½  r¾  s      r9   rå  rå  ¸  óX   € åØØØ Ø ,ØØØðñ ô €Jõ ÐfÐf¸ZÐfÍ4ÐPZÐKeÐKeÐ^dÐKeÐKeÐfÐfÐfr:   c           	      ó`   — t          ddddddd¬¦  «        }t          dd
| it          |fi |¤Ž¤ŽS )NrÐ  rÑ  rÓ  r"  r¶   r·   Trä  Úiformer_l_distilledr¢  )rè  r½  r¾  s      r9   rè  rè  Æ  ræ  r:   c           	      ó`   — t          ddddddd¬¦  «        }t          dd
| it          |fi |¤Ž¤ŽS )Nr×  rØ  rÛ  r"  r¶   r·   Trä  Úiformer_l2_distilledr¢  )rê  r½  r¾  s      r9   rê  rê  Ô  sX   € åØ ØØ!Ø ,ØØØðñ ô €Jõ ÐgÐg¸jÐgÍDÐQ[ÐLfÐLfÐ_eÐLfÐLfÐgÐgÐgr:   )re  rx  )Ir¾   r°  r„  Ú
contextlibr   Ú	functoolsr   Útypingr   r   r   r   r	   r
   r   r   Únumpyr¬  rR   Útorch.nnr0   Útorch.nn.functionalÚ
functionalr“   Ú	timm.datar   r   Útimm.layersr   r   r   r   r   Ú_builderr   Ú	_featuresr   Ú_manipulater   Ú	_registryr   r   Ú__all__rà   r   rW   r~   rg   r€   rÃ   rÓ   rÜ   ræ   rì   rõ   r  r   ry  r}   r�  rŸ  Údefault_cfgsre   r¹  r¼  rÄ  rÎ  rÕ  rÝ  râ  rå  rè  rê  r,   r:   r9   ú<module>rú     s¥  ððð ð €€€Ø 	€	€	€	Ø "Ð "Ð "Ð "Ð "Ð "Ø Ð Ð Ð Ð Ð Ø EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ Eà Ð Ð Ð Ø €€€Ø Ð Ð Ð Ð Ð Ø Ð Ð Ð Ð Ð Ð Ð Ð à AÐ AÐ AÐ AÐ AÐ AÐ AÐ AØ lÐ lÐ lÐ lÐ lÐ lÐ lÐ lÐ lÐ lÐ lÐ lÐ lÐ lØ *Ð *Ð *Ð *Ð *Ð *Ø +Ð +Ð +Ð +Ð +Ð +Ø 'Ð 'Ð 'Ð 'Ð 'Ð 'Ø <Ð <Ð <Ð <Ð <Ð <Ð <Ð <àˆ+€ð3ð 3ð 3ð 3ð 3ˆrŒ}ñ 3ô 3ð 3ðlð ð ð ð �”ñ ô ð ðD/ð /ð /ð /ð /�r”yñ /ô /ð /ðdTð Tð Tð Tð Tˆ2Œ9ñ Tô Tð Tðn2ð 2ð 2ð 2ð 2ˆrŒyñ 2ô 2ð 2ðBð ð ð ð �”	ñ ô ð ð2ð ð ð ð ˆ"Œ)ñ ô ð ð<ð ð ð ð �”	ñ ô ð ð@ð ð ð ð ˆRŒYñ ô ð ð89ð 9ð 9ð 9ð 9�”ñ 9ô 9ð 9ðxð ð ð ð ˆ2Œ9ñ ô ð ð6hð hð hð hð hˆbŒiñ hô hð hðV6 T¨#¨u¬|Ð*;Ô%<ð 6ÀRÄYð 6ÐSWÐX[Ð]bÔ]iÐXiÔSjð 6ð 6ð 6ð 6ðrð ˆcð  #ð ¨$¨s°C¨x¬.ð ð ð ð ð( %Ð$Ø�dØ\Øðñ ô ð �dØ\Øðñ ô ð �dØ\Øðñ ô ð �dØ\Øðñ ô ð !˜D™FœFØ�dØ\Øðñ ô ð !% ØdØØ6ð!ñ !ô !ð
 !% ØdØØ6ð!ñ !ô !ð
 "& ØeØØ6ð"ñ "ô "ðA%&ð %&ñ %ô %€ðP
ð 
˜Sð 
¨dð 
Àcð 
Ègð 
ð 
ð 
ð 
ð0 ð	]ð 	]˜$ð 	]°#ð 	]¸'ð 	]ð 	]ð 	]ñ „ð	]ð ð	]ð 	]˜$ð 	]°#ð 	]¸'ð 	]ð 	]ð 	]ñ „ð	]ð ð	]ð 	]˜$ð 	]°#ð 	]¸'ð 	]ð 	]ð 	]ñ „ð	]ð ð	]ð 	]˜$ð 	]°#ð 	]¸'ð 	]ð 	]ð 	]ñ „ð	]ð ð	^ð 	^˜4ð 	^°3ð 	^¸7ð 	^ð 	^ð 	^ñ „ð	^ð ð
]ð 
]˜$ð 
]°#ð 
]¸'ð 
]ð 
]ð 
]ñ „ð
]ð ð
gð 
g Dð 
g¸Cð 
gÀGð 
gð 
gð 
gñ „ð
gð ð
gð 
g Dð 
g¸Cð 
gÀGð 
gð 
gð 
gñ „ð
gð ð
hð 
h Tð 
h¸Sð 
hÀWð 
hð 
hð 
hñ „ð
hð 
hð 
hr:   