§
    ·¯¸jO  ã            	       ó´  — d Z ddlmZmZmZmZmZmZmZm	Z	 ddl
Z
ddlmZ ddlmc mZ ddlmZmZ ddlmZmZmZmZmZmZ ddlmZ ddlmZ dd	lmZ dd
l m!Z!m"Z" dgZ# G d„ dej$        ¦  «        Z% G d„ dej&        ¦  «        Z' G d„ dej&        ¦  «        Z( G d„ dej$        ¦  «        Z) G d„ dej$        ¦  «        Z* G d„ dej$        ¦  «        Z+ G d„ dej$        ¦  «        Z, G d„ dej$        ¦  «        Z- G d„ dej$        ¦  «        Z.dee/e
j0        f         dej$        dee/e
j0        f         fd „Z1d2d"e/d#edee/ef         fd$„Z2 e" e2d%¬&¦  «         e2d%¬&¦  «         e2d%¬&¦  «         e2d%d'¬(¦  «        d)œ¦  «        Z3d3d+e/d,e4d#ede.fd-„Z5e!d3d,e4d#ede.fd.„¦   «         Z6e!d3d,e4d#ede.fd/„¦   «         Z7e!d3d,e4d#ede.fd0„¦   «         Z8e!d3d,e4d#ede.fd1„¦   «         Z9dS )4aÇ  SHViT
SHViT: Single-Head Vision Transformer with Memory Efficient Macro Design
Code: https://github.com/ysj9909/SHViT
Paper: https://arxiv.org/abs/2401.16456

@inproceedings{yun2024shvit,
  author={Yun, Seokju and Ro, Youngmin},
  title={SHViT: Single-Head Vision Transformer with Memory Efficient Macro Design},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  pages={5756--5767},
  year={2024}
}
é    )ÚAnyÚDictÚListÚOptionalÚSetÚTupleÚTypeÚUnionN©ÚIMAGENET_DEFAULT_MEANÚIMAGENET_DEFAULT_STD)Ú
GroupNorm1ÚSqueezeExciteÚSelectAdaptivePool2dÚ	LayerTypeÚtrunc_normal_Úget_device_dtypeé   )Úbuild_model_with_cfg)Úfeature_take_indices)Úcheckpoint_seq)Úregister_modelÚgenerate_default_cfgsÚSHViTc                   ó’   ‡ — e Zd Zdej        fˆ fd„Zdej        dej        fd„Z ej	        ¦   «         dej        fd„¦   «         Z
ˆ xZS )ÚResidualÚmc                 óV   •— t          ¦   «                              ¦   «          || _        d S ©N)ÚsuperÚ__init__r   )Úselfr   Ú	__class__s     €úa/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/timm/models/shvit.pyr!   zResidual.__init__   s$   ø€ Ý‰Œ×ÒÑÔÐØˆŒˆˆó    ÚxÚreturnc                 ó2   — ||                       |¦  «        z   S r   )r   ©r"   r&   s     r$   ÚforwardzResidual.forward#   s   € Ø�4—6’6˜!‘9”9‰}Ðr%   c                 óŠ  — t          | j        t          ¦  «        r¨| j                             ¦   «         }|j        |j        k    sJ ‚t          j        |j        j	        d         |j        j	        d         dd¦  «        }t          j        |g d¢¦  «        }|xj        |                     |j        j        ¦  «        z  c_        |S | S )Nr   r   )r   r   r   r   )Ú
isinstancer   Ú
Conv2dNormÚfuseÚgroupsÚin_channelsÚtorchÚonesÚweightÚshapeÚFÚpadÚtoÚdevice)r"   r   Úidentitys      r$   r.   zResidual.fuse&   s    € å�d”f�jÑ)Ô)ð 	Ø”—’‘”ˆAØ”8˜qœ}Ò,Ð,Ð,Ð,Ý”z !¤(¤.°Ô"3°Q´X´^ÀAÔ5FÈÈ1ÑMÔMˆHÝ”u˜X y y yÑ1Ô1ˆHØˆHŒH˜Ÿš A¤H¤OÑ4Ô4Ñ4ˆHŒHØˆHàˆKr%   )Ú__name__Ú
__module__Ú__qualname__ÚnnÚModuler!   r1   ÚTensorr*   Úno_gradr.   Ú__classcell__©r#   s   @r$   r   r      s�   ø€ € € € € ð˜"œ)ð ð ð ð ð ð ð˜œð ¨%¬,ð ð ð ð ð €U„]�_„_ð	�b”ið 	ð 	ð 	ñ „_ð	ð 	ð 	ð 	ð 	r%   r   c                   ó†   ‡ — e Zd Z	 	 	 	 	 	 ddededededed	efˆ fd
„Z ej        ¦   «         dej        fd„¦   «         Z	ˆ xZ
S )r-   r   r   Nr0   Úout_channelsÚkernel_sizeÚstrideÚpaddingÚbn_weight_initc	           
      ó¢  •— ||dœ}
t          ¦   «                              ¦   «          |                      dt          j        |||||fddi|
¤|	¤Ž¦  «         |                      dt          j        |fi |
¤Ž¦  «         t          j                             | j        j	        |¦  «         t          j                             | j        j
        d¦  «         d S )N©r8   ÚdtypeÚcÚbiasFÚbnr   )r    r!   Ú
add_moduler=   ÚConv2dÚBatchNorm2dÚinitÚ	constant_rN   r3   rM   )r"   r0   rD   rE   rF   rG   rH   r8   rK   ÚkwargsÚddr#   s              €r$   r!   zConv2dNorm.__init__4   sã   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ�Š˜�RœYØ˜ {°F¸Gðað aØJOðaØSUðaØY_ðað añ 	bô 	bð 	bà�Š˜�bœn¨\Ð@Ð@¸RÐ@Ð@ÑAÔAÐAÝ
Œ×Ò˜$œ'œ.¨.Ñ9Ô9Ð9Ý
Œ×Ò˜$œ'œ,¨Ñ*Ô*Ð*Ð*Ð*r%   r'   c                 ó   — | j                              ¦   «         \  }}|j        |j        |j        z   dz  z  }|j        |d d …d d d f         z  }|j        |j        |j        z  |j        |j        z   dz  z  z
  }t          j        | 	                    d¦  «        | j
        j        z  | 	                    d¦  «        |j        dd …         | j
        j        | j
        j        | j
        j        | j
        j        |j        j        |j        j        ¬¦	  «	        }|j        j                             |¦  «         |j        j                             |¦  «         |S )Nç      à?r   r   é   )	r0   rD   rE   rF   rG   Údilationr/   r8   rK   )Ú_modulesÚvaluesr3   Úrunning_varÚepsrM   Úrunning_meanr=   rP   ÚsizerL   r/   r4   rF   rG   rY   r8   rK   ÚdataÚcopy_)r"   rL   rN   ÚwÚbr   s         r$   r.   zConv2dNorm.fuseH   s!  € à”×$Ò$Ñ&Ô&‰ˆˆ2ØŒI˜œ¨"¬&Ñ0°SÑ8Ñ8ˆØŒH�q˜˜˜˜D $¨Ð,Ô-Ñ-ˆØŒG�b”o¨¬	Ñ1°R´^ÀbÄfÑ5LÐQTÑ4TÑTÑTˆÝŒIØŸš˜q™	œ	 D¤F¤MÑ1ØŸš ™œØœ   œØ”6”=Ø”F”NØ”V”_Ø”6”=Ø”8”?Ø”(”.ð

ñ 

ô 

ˆð 	
ŒŒ×Ò˜AÑÔÐØ	ŒŒ×Ò˜!ÑÔÐØˆr%   )r   r   r   r   NN)r:   r;   r<   Úintr!   r1   r@   r=   rP   r.   rA   rB   s   @r$   r-   r-   3   sÁ   ø€ € € € € ð
  !ØØØ"#ØØð+ð +àð+ð ð+ð ð	+ð
 ð+ð ð+ð  ð+ð +ð +ð +ð +ð +ð( €U„]�_„_ð�b”ið ð ð ñ „_ðð ð ð ð r%   r-   c            	       óz   ‡ — e Zd Z	 	 	 	 ddedededefˆ fd„Z ej        ¦   «         d	e	j
        fd
„¦   «         Zˆ xZS )Ú
NormLinearTç{®Gáz”?NÚin_featuresÚout_featuresrM   Ústdc                 ó‚  •— ||dœ}t          ¦   «                              ¦   «          |                      dt          j        |fi |¤Ž¦  «         |                      dt          j        ||fd|i|¤Ž¦  «         t          | j        j        |¬¦  «         |r,t          j	         
                    | j        j        d¦  «         d S d S )NrJ   rN   ÚlrM   )rj   r   )r    r!   rO   r=   ÚBatchNorm1dÚLinearr   rl   r3   rR   rS   rM   )	r"   rh   ri   rM   rj   r8   rK   rU   r#   s	           €r$   r!   zNormLinear.__init___   sÆ   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ�Š˜�bœn¨[Ð?Ð?¸BÐ?Ð?Ñ@Ô@Ð@Ø�Š˜�RœY {°LÐRÐRÀtÐRÈrÐRÐRÑSÔSÐSÝ�d”f”m¨Ð-Ñ-Ô-Ð-Øð 	.ÝŒG×Ò˜dœfœk¨1Ñ-Ô-Ð-Ð-Ð-ð	.ð 	.r%   r'   c                 óÂ  — | j                              ¦   «         \  }}|j        |j        |j        z   dz  z  }|j        | j        j        | j        j        z  |j        |j        z   dz  z  z
  }|j        |d d d …f         z  }|j        €|| j        j        j	        z  }n4|j        |d d …d f         z   
                    d¦  «        | j        j        z   }t          j        |                     d¦  «        |                     d¦  «        |j        j        |j        j        ¬¦  «        }|j        j                             |¦  «         |j        j                             |¦  «         |S )NrW   éÿÿÿÿr   r   rJ   )rZ   r[   r3   r\   r]   rM   rN   r^   rl   ÚTÚviewr=   rn   r_   r8   rK   r`   ra   )r"   rN   rl   rb   rc   r   s         r$   r.   zNormLinear.fusep   s,  € à”×$Ò$Ñ&Ô&‰ˆˆAØŒI˜œ¨"¬&Ñ0°SÑ8Ñ8ˆØŒG�d”gÔ*¨T¬W¬^Ñ;¸r¼~ÐPRÔPVÑ?VÐ[^Ñ>^Ñ^Ñ^ˆØŒH�q˜˜q˜q˜q˜”zÑ!ˆØŒ6ˆ>Ø�D”F”M”OÑ#ˆAˆAà”˜A˜a˜a˜a ˜gœJÑ&×,Ò,¨RÑ0Ô0°4´6´;Ñ>ˆAÝŒI�a—f’f˜Q‘i”i §¢¨¡¤°1´8´?È!Ì(Ì.ÐYÑYÔYˆØ	ŒŒ×Ò˜AÑÔÐØ	ŒŒ×Ò˜!ÑÔÐØˆr%   )Trg   NN)r:   r;   r<   rd   ÚboolÚfloatr!   r1   r@   r=   rn   r.   rA   rB   s   @r$   rf   rf   ^   s§   ø€ € € € € ð
 ØØØð.ð .àð.ð ð.ð ð	.ð
 ð.ð .ð .ð .ð .ð .ð" €U„]�_„_ð�b”ið ð ð ñ „_ðð ð ð ð r%   rf   c                   óx   ‡ — e Zd Zej        ddfdededeej                 fˆ fd„Zde	j
        de	j
        fd„Zˆ xZS )	ÚPatchMergingNÚdimÚout_dimÚ	act_layerc                 óT  •— ||dœ}t          ¦   «                              ¦   «          t          |dz  ¦  «        }t          ||fi |¤Ž| _         |¦   «         | _        t          ||dddfd|i|¤Ž| _         |¦   «         | _        t          |dfi |¤Ž| _	        t          ||fi |¤Ž| _
        d S )NrJ   é   é   rX   r   r/   g      Ð?)r    r!   rd   r-   Úconv1Úact1Úconv2Úact2r   ÚseÚconv3)	r"   rw   rx   ry   r8   rK   rU   Úhid_dimr#   s	           €r$   r!   zPatchMerging.__init__�   sÄ   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐÝ�c˜A‘g‘,”,ˆÝ  WÐ3Ð3°Ð3Ð3ˆŒ
Ø�I‘K”KˆŒ	Ý ¨°!°Q¸ÐPÐPÀ'ÐPÈRÐPÐPˆŒ
Ø�I‘K”KˆŒ	Ý ¨Ð4Ð4°Ð4Ð4ˆŒÝ ¨Ð7Ð7°BÐ7Ð7ˆŒ
ˆ
ˆ
r%   r&   r'   c                 ó  — |                       |¦  «        }|                      |¦  «        }|                      |¦  «        }|                      |¦  «        }|                      |¦  «        }|                      |¦  «        }|S r   )r}   r~   r   r€   r�   r‚   r)   s     r$   r*   zPatchMerging.forward“   sa   € Ø�JŠJ�q‰MŒMˆØ�IŠI�a‰LŒLˆØ�JŠJ�q‰MŒMˆØ�IŠI�a‰LŒLˆØ�GŠG�A‰JŒJˆØ�JŠJ�q‰MŒMˆØˆr%   ©r:   r;   r<   r=   ÚReLUrd   r	   r>   r!   r1   r?   r*   rA   rB   s   @r$   rv   rv   €   s—   ø€ € € € € ð
 *,¬ØØð8ð 8àð8ð ð8ð ˜BœI”ð	8ð 8ð 8ð 8ð 8ð 8ð$˜œð ¨%¬,ð ð ð ð ð ð ð ð r%   rv   c                   óx   ‡ — e Zd Zej        ddfdededeej                 fˆ fd„Zde	j
        de	j
        fd„Zˆ xZS )	ÚFFNNrw   Ú	embed_dimry   c                 óÀ   •— ||dœ}t          ¦   «                              ¦   «          t          ||fi |¤Ž| _         |¦   «         | _        t          ||fddi|¤Ž| _        d S )NrJ   rH   r   )r    r!   r-   Úpw1ÚactÚpw2)r"   rw   r‰   ry   r8   rK   rU   r#   s          €r$   r!   zFFN.__init__ž   sp   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐÝ˜c 9Ð3Ð3°Ð3Ð3ˆŒØ�9‘;”;ˆŒÝ˜i¨ÐEÐE¸QÐEÀ"ÐEÐEˆŒˆˆr%   r&   r'   c                 ó„   — |                       |¦  «        }|                      |¦  «        }|                      |¦  «        }|S r   )r‹   rŒ   r�   r)   s     r$   r*   zFFN.forward¬   s4   € Ø�HŠH�Q‰KŒKˆØ�HŠH�Q‰KŒKˆØ�HŠH�Q‰KŒKˆØˆr%   r…   rB   s   @r$   rˆ   rˆ   �   s¡   ø€ € € € € ð
 *,¬ØØðFð FàðFð ðFð ˜BœI”ð	Fð Fð Fð Fð Fð Fð˜œð ¨%¬,ð ð ð ð ð ð ð ð r%   rˆ   c                   óœ   ‡ — e Zd ZdZeej        ddfdedededeej	                 deej	                 f
ˆ fd„Z
d	ej        d
ej        fd„Zˆ xZS )ÚSHSAzSingle-Head Self-AttentionNrw   Úqk_dimÚpdimÚ
norm_layerry   c                 ó>  •— ||dœ}t          ¦   «                              ¦   «          |dz  | _        || _        || _        || _         ||fi |¤Ž| _        t          ||dz  |z   fi |¤Ž| _        t          j
         |¦   «         t          ||fddi|¤Ž¦  «        | _        d S )NrJ   g      à¿rX   rH   r   )r    r!   Úscaler‘   rw   r’   Úpre_normr-   Úqkvr=   Ú
SequentialÚproj)
r"   rw   r‘   r’   r“   ry   r8   rK   rU   r#   s
            €r$   r!   zSHSA.__init__µ   s¹   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ˜t‘^ˆŒ
ØˆŒØˆŒØˆŒ	à"˜
 4Ð.Ð.¨2Ð.Ð.ˆŒå˜d F¨Q¡J°Ñ$5Ð<Ð<¸Ð<Ð<ˆŒÝ”M ) )¡+¤+­z¸#¸sÐ/[Ð/[ÐSTÐ/[ÐXZÐ/[Ð/[Ñ\Ô\ˆŒ	ˆ	ˆ	r%   r&   r'   c                 óÒ  — |j         \  }}}}t          j        || j        | j        | j        z
  gd¬¦  «        \  }}|                      |¦  «        }|                      |¦  «        }t          j        || j        | j        | j        gd¬¦  «        \  }	}
}|	                     d¦  «        |
                     d¦  «        |                     d¦  «        }}
}	|	 	                    dd¦  «        |
z  | j
        z  }|                     d¬¦  «        }|| 	                    dd¦  «        z                       || j        ||¦  «        }|                      t          j        ||gd¬¦  «        ¦  «        }|S )Nr   )rw   rX   éþÿÿÿrp   )r4   r1   Úsplitr’   rw   r–   r—   r‘   ÚflattenÚ	transposer•   ÚsoftmaxÚreshaper™   Úcat)r"   r&   ÚBÚ_ÚHÚWÚx1Úx2r—   ÚqÚkÚvÚattns                r$   r*   zSHSA.forwardË   s8  € Ø”W‰
ˆˆ1ˆa�Ý”˜Q ¤¨D¬H°t´yÑ,@Ð AÈÐKÑKÔK‰ˆˆBØ�]Š]˜2ÑÔˆØ�hŠh�r‰lŒlˆÝ”+˜c D¤K°´¸d¼iÐ#HÈaÐPÑPÔP‰ˆˆ1ˆaØ—)’)˜A‘,”, §	¢	¨!¡¤¨a¯iªi¸©l¬lˆaˆ1ˆà—’˜B Ñ#Ô# aÑ'¨4¬:Ñ5ˆØ�|Š| ˆ|Ñ#Ô#ˆØ�$—.’.  RÑ(Ô(Ñ(×1Ò1°!°T´YÀÀ1ÑEÔEˆØ�IŠI•e”i  R °Ð2Ñ2Ô2Ñ3Ô3ˆØˆr%   )r:   r;   r<   Ú__doc__r   r=   r†   rd   r	   r>   r!   r1   r?   r*   rA   rB   s   @r$   r�   r�   ³   sÆ   ø€ € € € € Ø$Ð$ð +5Ø)+¬ØØð]ð ]àð]ð ð]ð ð	]ð
 ˜RœYœð]ð ˜BœI”ð]ð ]ð ]ð ]ð ]ð ]ð,˜œð ¨%¬,ð ð ð ð ð ð ð ð r%   r�   c                   óœ   ‡ — e Zd Zeej        ddfdededededeej	                 deej	                 fˆ fd„Z
d	ej        d
ej        fd„Zˆ xZS )Ú
BasicBlockNrw   r‘   r’   Útyper“   ry   c	           	      ó‚  •— ||dœ}	t          ¦   «                              ¦   «          t          t          ||dddf|ddœ|	¤Ž¦  «        | _        |dk    r$t          t          |||||fi |	¤Ž¦  «        | _        nt          j        ¦   «         | _        t          t          |t          |dz  ¦  «        fi |	¤Ž¦  «        | _        d S )NrJ   r|   r   r   )r/   rH   ÚsrX   )r    r!   r   r-   Úconvr�   Úmixerr=   ÚIdentityrˆ   rd   Úffn)r"   rw   r‘   r’   r¯   r“   ry   r8   rK   rU   r#   s             €r$   r!   zBasicBlock.__init__Û   sÇ   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐÝ�Z¨¨S°!°Q¸Ð^À#ÐVWÐ^Ð^Ð[]Ð^Ð^Ñ_Ô_ˆŒ	Ø�3Š;ˆ;Ý!¥$ s¨F°D¸*ÀiÐ"VÐ"VÐSUÐ"VÐ"VÑWÔWˆDŒJˆJåœ™œˆDŒJÝ�C ¥S¨¨q©¡\¤\Ð8Ð8°RÐ8Ð8Ñ9Ô9ˆŒˆˆr%   r&   r'   c                 ó„   — |                       |¦  «        }|                      |¦  «        }|                      |¦  «        }|S r   )r²   r³   rµ   r)   s     r$   r*   zBasicBlock.forwardï   s4   € Ø�IŠI�a‰LŒLˆØ�JŠJ�q‰MŒMˆØ�HŠH�Q‰KŒKˆØˆr%   ©r:   r;   r<   r   r=   r†   rd   Ústrr	   r>   r!   r1   r?   r*   rA   rB   s   @r$   r®   r®   Ú   s¾   ø€ € € € € ð +5Ø)+¬ØØð:ð :àð:ð ð:ð ð	:ð
 ð:ð ˜RœYœð:ð ˜BœI”ð:ð :ð :ð :ð :ð :ð(˜œð ¨%¬,ð ð ð ð ð ð ð ð r%   r®   c                   ó¤   ‡ — e Zd Zeej        ddfdededededededeej	                 d	eej	                 fˆ fd
„Z
dej        dej        fd„Zˆ xZS )Ú
StageBlockNÚprev_dimrw   r‘   r’   r¯   Údepthr“   ry   c                 óx  •‡‡‡‡‡‡‡— |	|
dœŠt          ¦   «                              ¦   «          d| _        |‰k    rµt          j        t          t          ||dddfd|i‰¤Ž¦  «        t          t          |t          |dz  ¦  «        ‰fi ‰¤Ž¦  «        t          |‰‰fi ‰¤Žt          t          ‰‰dddfd‰i‰¤Ž¦  «        t          t          ‰t          ‰dz  ¦  «        ‰fi ‰¤Ž¦  «        ¦  «        nt          j
        ¦   «         | _        t          j        ˆˆˆˆˆˆˆfd„t          |¦  «        D ¦   «         Ž | _        d S )NrJ   Fr|   r   r/   rX   c           
      ó4   •— g | ]}t          ‰‰‰‰‰‰fi ‰¤Ž‘ŒS © )r®   )	Ú.0r£   ry   rU   rw   r“   r’   r‘   r¯   s	     €€€€€€€r$   ú
<listcomp>z'StageBlock.__init__.<locals>.<listcomp>  s@   ø€ ð &
ð &
ð &
ØQR�J�s˜F D¨$°
¸IÐLÐLÈÐLÐLð&
ð &
ð &
r%   )r    r!   Úgrad_checkpointingr=   r˜   r   r-   rˆ   rd   rv   r´   Ú
downsampleÚrangeÚblocks)r"   r»   rw   r‘   r’   r¯   r¼   r“   ry   r8   rK   rU   r#   s     ```` ``  @€r$   r!   zStageBlock.__init__÷   s‡  øøøøøøøø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ"'ˆÔð ˜Š_ˆ_õ œ-Ý•Z ¨(°A°q¸!ÐSÐSÀHÐSÐPRÐSÐSÑTÔTÝ•S˜¥3 x°!¡|Ñ#4Ô#4°iÐFÐFÀ2ÐFÐFÑGÔGÝ˜ 3¨	Ð8Ð8°RÐ8Ð8Ý•Z  S¨!¨Q°ÐDÐD¸#ÐDÀÐDÐDÑEÔEÝ•S˜�c #¨¡'™lœl¨IÐ<Ð<¸Ð<Ð<Ñ=Ô=ñ
ô 
ð 
õ #%¤+¡-¤-ð 	Œõ ”mð &
ð &
ð &
ð &
ð &
ð &
ð &
ð &
ð &
ð &
ÝV[Ð\aÑVbÔVbð&
ñ &
ô &
ð ˆŒˆˆr%   r&   r'   c                 óÐ   — |                       |¦  «        }| j        r4t          j                             ¦   «         st          | j        |¦  «        }n|                      |¦  «        }|S r   )rÃ   rÂ   r1   ÚjitÚis_scriptingr   rÅ   r)   s     r$   r*   zStageBlock.forward  sZ   € Ø�OŠO˜AÑÔˆØÔ"ð 	­5¬9×+AÒ+AÑ+CÔ+Cð 	Ý˜tœ{¨AÑ.Ô.ˆAˆAà—’˜A‘”ˆAØˆr%   r·   rB   s   @r$   rº   rº   ö   sÒ   ø€ € € € € ð +5Ø)+¬ØØðð àðð ðð ð	ð
 ðð ðð ðð ˜RœYœðð ˜BœI”ðð ð ð ð ð ð8˜œð ¨%¬,ð ð ð ð ð ð ð ð r%   rº   c                   óx  ‡ — e Zd Zddddddddd	eej        d
d
fdedededeeeef         deeeef         deeeef         deeeef         deeeef         de	de
ej                 de
ej                 fˆ fd„Zej        j        defd„¦   «         Zej        j        d1dedeeef         fd„¦   «         Zej        j        d2d„¦   «         Zej        j        dej        fd„¦   «         Zd3dedefd„Z	 	 	 	 	 d4d!ej        d"eeeee         f                  d#ed$ed%ed&edeeej                 eej        eej                 f         f         fd'„Z	 	 	 d5d"eeee         f         d)ed*efd+„Zd!ej        dej        fd,„Zd1d!ej        d-edej        fd.„Z d!ej        dej        fd/„Z! ej"        ¦   «         d0„ ¦   «         Z#ˆ xZ$S )6r   r|   éè  Úavg)é€   é   i€  )é    é@   é`   )é   rÑ   rÑ   )r   rX   r|   )r±   r±   r±   ç        NÚin_chansÚnum_classesÚglobal_poolr‰   Úpartial_dimr‘   r¼   ÚtypesÚ	drop_rater“   ry   c                 ó"  •— t          ¦   «                              ¦   «          ||dœ}|| _        || _        |	| _        g | _        |d         }t          j        t          ||dz  dddfi |¤Ž |¦   «         t          |dz  |dz  dddfi |¤Ž |¦   «         t          |dz  |dz  dddfi |¤Ž |¦   «         t          |dz  |dddfi |¤Ž¦  «        | _	        g }|}t          t          |¦  «        ¦  «        D ]ƒ}|                     t          d|||         ||         ||         ||         ||         |
|dœ|¤Ž¦  «         ||         }| j                             t          |d|dz   z  d	|› �¬
¦  «        ¦  «         Œ„t          j        |Ž | _        |d         x| _        | _        t%          |¬¦  «        | _        |rt          j        d¦  «        nt          j        ¦   «         | _        |dk    rt/          | j        |fi |¤Žnt          j        ¦   «         | _        d S )NrJ   r   é   r|   rX   r   r{   )r»   rw   r‘   r’   r¯   r¼   r“   ry   zstages.)Únum_chsÚ	reductionÚmodulerp   ©Ú	pool_typer¿   )r    r!   rÔ   rÓ   rØ   Úfeature_infor=   r˜   r-   Úpatch_embedrÄ   ÚlenÚappendrº   ÚdictÚstagesÚnum_featuresÚhead_hidden_sizer   rÕ   ÚFlattenr´   r�   rf   Úhead)r"   rÓ   rÔ   rÕ   r‰   rÖ   r‘   r¼   r×   rØ   r“   ry   r8   rK   rU   Ústem_chsrå   Úprev_chsÚir#   s                      €r$   r!   zSHViT.__init__  sd  ø€ õ  	‰Œ×ÒÑÔÐØ¨Ð/Ð/ˆØ&ˆÔØ ˆŒØ"ˆŒØˆÔð ˜Q”<ˆÝœ=Ý�x ¨Q¡°°1°aÐ>Ð>¸2Ð>Ð>ØˆI‰KŒKÝ�x 1‘} h°!¡m°Q¸¸1ÐCÐCÀÐCÐCØˆI‰KŒKÝ�x 1‘} h°!¡m°Q¸¸1ÐCÐCÀÐCÐCØˆI‰KŒKÝ�x 1‘} h°°1°aÐ>Ð>¸2Ð>Ð>ñ
ô 
ˆÔð ˆØˆÝ•s˜9‘~”~Ñ&Ô&ð 	gð 	gˆAØ�MŠM�*ð 
Ø!Ø˜a”LØ˜a”yØ  ”^Ø˜1”XØ˜A”hØ%Ø#ð
ð 
ð ð
ð 
ñ 
ô 
ð 
ð ! ”|ˆHØÔ×$Ò$¥T°(ÀaÈ!ÈAÉ#ÁhÐWdÐabÐWdÐWdÐ%eÑ%eÔ%eÑfÔfÐfÐfÝ”m VÐ,ˆŒð 5>¸b´MÐAˆÔ˜DÔ1Ý/¸+ÐFÑFÔFˆÔØ(3ÐF•r”z !‘}”}�}½¼¹¼ˆŒØLWÐZ[ÊOÈO•J˜tÔ4°kÐHÐHÀRÐHÐHÐHÕacÔalÑanÔanˆŒ	ˆ	ˆ	r%   r'   c                 ó   — t          ¦   «         S r   )Úset©r"   s    r$   Úno_weight_decayzSHViT.no_weight_decayY  s   € å‰uŒuˆr%   FÚcoarsec                 ó4   — t          d|rdnddg¬¦  «        }|S )Nz^patch_embedz^stages\.(\d+))z^stages\.(\d+).downsample)r   )z^stages\.(\d+)\.blocks\.(\d+)N)ÚstemrÅ   )rä   )r"   rñ   Úmatchers      r$   Úgroup_matcherzSHViT.group_matcher]  s9   € åØ Ø(.ð Ð$Ð$Ø4Ø8ð5ð
ñ 
ô 
ˆð ˆr%   Tc                 ó(   — | j         D ]	}||_        Œ
d S r   )rå   rÂ   )r"   Úenabler±   s      r$   Úset_grad_checkpointingzSHViT.set_grad_checkpointingh  s(   € à”ð 	*ð 	*ˆAØ#)ˆAÔ Ð ð	*ð 	*r%   c                 ó   — | j         j        S r   )ré   rl   rï   s    r$   Úget_classifierzSHViT.get_classifierm  s   € àŒyŒ{Ðr%   c                 óÔ  — t          | ¦  «        }|| _        t          |¬¦  «        | _        | j                             | j        ¦  «         |rt          j        d¦  «        nt          j        ¦   «         | _	        | j	                             | j        ¦  «         |dk    rt          | j        |fi |¤Žnt          j        ¦   «         | _        | j                             | j        ¦  «         d S )NrÞ   r   r   )r   rÔ   r   rÕ   ÚtrainÚtrainingr=   rè   r´   r�   rf   rç   ré   )r"   rÔ   rÕ   rU   s       r$   Úreset_classifierzSHViT.reset_classifierq  sÉ   € Ý˜dÑ#Ô#ˆØ&ˆÔå/¸+ÐFÑFÔFˆÔØÔ×Ò˜tœ}Ñ-Ô-Ð-Ø(3ÐF•r”z !‘}”}�}½¼¹¼ˆŒØŒ×Ò˜4œ=Ñ)Ô)Ð)ØLWÐZ[ÊOÈO•J˜tÔ4°kÐHÐHÀRÐHÐHÐHÕacÔalÑanÔanˆŒ	ØŒ	�Š˜œÑ&Ô&Ð&Ð&Ð&r%   ÚNCHWr&   ÚindicesÚnormÚ
stop_earlyÚ
output_fmtÚintermediates_onlyc                 óŒ  — |dv s
J d¦   «         ‚g }t          t          | j        ¦  «        |¦  «        \  }}	|                      |¦  «        }t          j                             ¦   «         s|s| j        }
n| j        d|	dz   …         }
t          |
¦  «        D ])\  }} ||¦  «        }||v r|                     |¦  «         Œ*|r|S ||fS )aï   Forward features that returns intermediates.

        Args:
            x: Input image tensor
            indices: Take last n blocks if int, all if None, select matching indices if sequence
            norm: Apply norm layer to compatible intermediates
            stop_early: Stop iterating over blocks when last desired intermediate hit
            output_fmt: Shape of intermediate feature outputs
            intermediates_only: Only return intermediate features
        Returns:

        )rÿ   zOutput shape must be NCHW.Nr   )	r   râ   rå   rá   r1   rÇ   rÈ   Ú	enumeraterã   )r"   r&   r   r  r  r  r  ÚintermediatesÚtake_indicesÚ	max_indexrå   Úfeat_idxÚstages                r$   Úforward_intermediateszSHViT.forward_intermediates|  sñ   € ð* ˜YÐ&Ð&Ð&Ð(DÑ&Ô&Ð&ØˆÝ"6µs¸4¼;Ñ7GÔ7GÈÑ"QÔ"QÑˆ�ið ×Ò˜QÑÔˆÝŒ9×!Ò!Ñ#Ô#ð 	1¨:ð 	1Ø”[ˆFˆFà”[  )¨a¡- Ô0ˆFå(¨Ñ0Ô0ð 	(ð 	(‰OˆH�eØ��a‘”ˆAØ˜<Ð'Ð'Ø×$Ò$ QÑ'Ô'Ð'øàð 	!Ø Ð à�-ÐÐr%   r   Ú
prune_normÚ
prune_headc                 ó®   — t          t          | j        ¦  «        |¦  «        \  }}| j        d|dz   …         | _        |r|                      dd¦  «         |S )z@ Prune layers not required for specified intermediates.
        Nr   r   Ú )r   râ   rå   rþ   )r"   r   r  r  r  r	  s         r$   Úprune_intermediate_layerszSHViT.prune_intermediate_layers¦  s\   € õ #7µs¸4¼;Ñ7GÔ7GÈÑ"QÔ"QÑˆ�iØ”k . 9¨q¡= .Ô1ˆŒØð 	)Ø×!Ò! ! RÑ(Ô(Ð(ØÐr%   c                 óZ   — |                       |¦  «        }|                      |¦  «        }|S r   )rá   rå   r)   s     r$   Úforward_featureszSHViT.forward_features´  s)   € Ø×Ò˜QÑÔˆØ�KŠK˜‰NŒNˆØˆr%   Ú
pre_logitsc                 óà   — |                       |¦  «        }|                      |¦  «        }| j        dk    r!t          j        || j        | j        ¬¦  «        }|r|n|                      |¦  «        S )NrÒ   )Úprý   )rÕ   r�   rØ   r5   Údropoutrý   ré   )r"   r&   r  s      r$   Úforward_headzSHViT.forward_head¹  sd   € Ø×Ò˜QÑÔˆØ�LŠL˜‰OŒOˆØŒ>˜BÒÐÝ”	˜!˜tœ~¸¼ÐFÑFÔFˆAØÐ0ˆqˆq D§I¢I¨a¡L¤LÐ0r%   c                 óZ   — |                       |¦  «        }|                      |¦  «        }|S r   )r  r  r)   s     r$   r*   zSHViT.forwardÀ  s-   € Ø×!Ò! !Ñ$Ô$ˆØ×Ò˜aÑ Ô ˆØˆr%   c                 ó(   ‡— ˆfd„Š ‰| ¦  «         d S )Nc                 óÔ   •— |                       ¦   «         D ]Q\  }}t          |d¦  «        r1|                     ¦   «         }t          | ||¦  «          ‰|¦  «         ŒF ‰|¦  «         ŒRd S )Nr.   )Únamed_childrenÚhasattrr.   Úsetattr)ÚnetÚ
child_nameÚchildÚfusedÚfuse_childrens       €r$   r#  z!SHViT.fuse.<locals>.fuse_childrenÇ  s„   ø€ Ø%(×%7Ò%7Ñ%9Ô%9ð )ð )Ñ!�
˜EÝ˜5 &Ñ)Ô)ð )Ø!ŸJšJ™LœL�EÝ˜C ¨UÑ3Ô3Ð3Ø!�M %Ñ(Ô(Ð(Ð(à!�M %Ñ(Ô(Ð(Ð(ð)ð )r%   r¿   )r"   r#  s    @r$   r.   z
SHViT.fuseÅ  s4   ø€ ð	)ð 	)ð 	)ð 	)ð 	)ð 	ˆ�dÑÔÐÐÐr%   ©F)T)rË   )NFFrÿ   F)r   FT)%r:   r;   r<   r   r=   r†   rd   r¸   r   rt   r	   r>   r!   r1   rÇ   Úignorer   rð   rs   r   r   rõ   rø   rú   rþ   r?   r   r
   r   r  r  r  r  r*   r@   r.   rA   rB   s   @r$   r   r     s®  ø€ € € € € ð Ø#Ø$Ø.=Ø0<Ø+7Ø*3Ø*9Ø!Ø*4Ø)+¬ØØð:oð :oàð:oð ð:oð ð	:oð
 ˜S # s˜]Ô+ð:oð ˜s C¨˜}Ô-ð:oð ˜#˜s C˜-Ô(ð:oð ˜˜c 3˜Ô'ð:oð ˜˜c 3˜Ô'ð:oð ð:oð ˜RœYœð:oð ˜BœI”ð:oð :oð :oð :oð :oð :oðx „YÔð ð ð ð ñ Ôðð „YÔðð  Dð °T¸#¸s¸(´^ð ð ð ñ Ôðð „YÔð*ð *ð *ñ Ôð*ð „YÔð ¤	ð ð ð ñ Ôðð	'ð 	'¨Cð 	'¸cð 	'ð 	'ð 	'ð 	'ð 8<ØØ$Ø$Ø',ð( ð ( àŒ|ð( ð ˜e C¨¨c¬ NÔ3Ô4ð( ð ð	( ð
 ð( ð ð( ð !%ð( ð 
ˆt�E”LÔ! 5¨¬°t¸E¼LÔ7IÐ)IÔ#JÐJÔ	Kð( ð ( ð ( ð ( ðX ./Ø$Ø#ð	ð à˜3  S¤	˜>Ô*ðð ðð ð	ð ð ð ð %¤,ð °5´<ð ð ð ð ð
1ð 1˜eœlð 1¸ð 1ÈÌð 1ð 1ð 1ð 1ð˜œð ¨%¬,ð ð ð ð ð
 €U„]�_„_ð
ð 
ñ „_ð
ð 
ð 
ð 
ð 
r%   Ú
state_dictÚmodelr'   c                 ó2   — |                       d| ¦  «        } | S )Nr'  )Úget)r&  r'  s     r$   Úcheckpoint_filter_fnr*  Ó  s   € Ø—’ ¨Ñ4Ô4€Jð: Ðr%   r  ÚurlrT   c                 ó<   — | dddddt           t          dddd	d
ddœ|¥S )NrÊ   )r|   éà   r-  )r{   r{   g      ì?Úbicubiczpatch_embed.0.czhead.lÚmitzarXiv:2401.16456zHSHViT: Single-Head Vision Transformer with Memory Efficient Macro Designz https://github.com/ysj9909/SHViT)r+  rÔ   Ú
input_sizeÚ	pool_sizeÚcrop_pctÚinterpolationÚmeanrj   Ú
first_convÚ
classifierÚlicenseÚ	paper_idsÚ
paper_nameÚ
origin_urlr   )r+  rT   s     r$   Ú_cfgr;  ô  sA   € à 4°}ÐSYØ¨IÝ%Õ.BØ'°xØØ'Ø`Ø8ð
ð 
ð ð
ð 
r%   ztimm/)Ú	hf_hub_id)r|   rÍ   rÍ   )r<  r0  )zshvit_s1.in1kzshvit_s2.in1kzshvit_s3.in1kzshvit_s4.in1kFÚvariantÚ
pretrainedc                 ó\   — t          t          | |ft          t          dd¬¦  «        dœ|¤Ž}|S )N)r   r   rX   T)Úout_indicesÚflatten_sequential)Úpretrained_filter_fnÚfeature_cfg)r   r   r*  rä   )r=  r>  rT   r'  s       r$   Ú_create_shvitrD    sF   € Ý Ýˆw˜
ðå1Ý YÀ4ÐHÑHÔHðð ð ð	ð €Eð €Lr%   c           	      óZ   — t          dddd¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )	N)rÌ   r-  i@  ©rX   r{   é   )rÎ   é0   éD   ©rì   r±   r±   ©r‰   r¼   rÖ   r×   Úshvit_s1r>  )rL  ©rä   rD  ©r>  rT   Ú
model_argss      r$   rL  rL  !  óM   € åØ!¨ÀÐTcðeñ eô e€JåÐYÐY°
ÐY½dÀ:Ð>XÐ>XÐQWÐ>XÐ>XÐYÐYÐYr%   c           	      óZ   — t          dddd¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )	N)rÌ   i4  éÀ  rF  )rÎ   éB   rÐ   rJ  rK  Úshvit_s2r>  )rT  rM  rN  s      r$   rT  rT  (  rP  r%   c           	      óZ   — t          dddd¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )	N)éÀ   i`  rR  )r|   rG  rG  )rH  éK   rÐ   rJ  rK  Úshvit_s3r>  )rX  rM  rN  s      r$   rX  rX  /  rP  r%   c           	      óZ   — t          dddd¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )	N)r-  iP  rR  )r{   é   é   )rH  éH   rÐ   rJ  rK  Úshvit_s4r>  )r]  rM  rN  s      r$   r]  r]  6  rP  r%   )r  r$  ):r¬   Útypingr   r   r   r   r   r   r	   r
   r1   Útorch.nnr=   Útorch.nn.functionalÚ
functionalr5   Ú	timm.datar   r   Útimm.layersr   r   r   r   r   r   Ú_builderr   Ú	_featuresr   Ú_manipulater   Ú	_registryr   r   Ú__all__r>   r   r˜   r-   rf   rv   rˆ   r�   r®   rº   r   r¸   r?   r*  r;  Údefault_cfgsrs   rD  rL  rT  rX  r]  r¿   r%   r$   ú<module>rj     s  ððð ð FÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ Eà €€€Ø Ð Ð Ð Ð Ð Ø Ð Ð Ð Ð Ð Ð Ð Ð à AÐ AÐ AÐ AÐ AÐ AÐ AÐ AØ sÐ sÐ sÐ sÐ sÐ sÐ sÐ sÐ sÐ sÐ sÐ sÐ sÐ sÐ sÐ sØ *Ð *Ð *Ð *Ð *Ð *Ø +Ð +Ð +Ð +Ð +Ð +Ø 'Ð 'Ð 'Ð 'Ð 'Ð 'Ø <Ð <Ð <Ð <Ð <Ð <Ð <Ð <àˆ)€ðð ð ð ð ˆrŒyñ ô ð ð*(ð (ð (ð (ð (�”ñ (ô (ð (ðVð ð ð ð �”ñ ô ð ðDð ð ð ð �2”9ñ ô ð ð:ð ð ð ð ˆ"Œ)ñ ô ð ð,$ð $ð $ð $ð $ˆ2Œ9ñ $ô $ð $ðNð ð ð ð �”ñ ô ð ð8#ð #ð #ð #ð #�”ñ #ô #ð #ðLtð tð tð tð tˆBŒIñ tô tð tðn T¨#¨u¬|Ð*;Ô%<ð ÀRÄYð ÐSWÐX[Ð]bÔ]iÐXiÔSjð ð ð ð ðBð ˆcð  #ð ¨$¨s°C¨x¬.ð ð ð ð ð %Ð$Ø�TØðñ ô ð �TØðñ ô ð �TØðñ ô ð �TØà ðñ ô ð&ð &ñ ô €ð*ð ˜3ð ¨Dð ÀCð ÈEð ð ð ð ð ðZð Z˜ð Z°ð Z¸ð Zð Zð Zñ „ðZð ðZð Z˜ð Z°ð Z¸ð Zð Zð Zñ „ðZð ðZð Z˜ð Z°ð Z¸ð Zð Zð Zñ „ðZð ðZð Z˜ð Z°ð Z¸ð Zð Zð Zñ „ðZð Zð Zr%   