§
    ·¯¸jŽA  ã                   ó
  — d Z 	 ddlmZmZmZmZ ddlZddlmZ ddl	m
Z
mZ ddlmZmZmZmZmZmZmZmZ ddlmZ ddlmZ dd	lmZmZ d
gZe G d„ dej        ¦  «        ¦   «         Z G d„ dej        ¦  «        Z G d„ dej        ¦  «        Z  G d„ d
ej        ¦  «        Z!dd„Z"dd„Z# e e#d¬¦  «         e#d¬¦  «         e#d¬¦  «        dœ¦  «        Z$edde!fd„¦   «         Z%edde!fd„¦   «         Z&edde!fd„¦   «         Z'dS )a   ConViT Model

@article{d2021convit,
  title={ConViT: Improving Vision Transformers with Soft Convolutional Inductive Biases},
  author={d'Ascoli, St{'e}phane and Touvron, Hugo and Leavitt, Matthew and Morcos, Ari and Biroli, Giulio and Sagun, Levent},
  journal={arXiv preprint arXiv:2103.10697},
  year={2021}
}

Paper link: https://arxiv.org/abs/2103.10697
Original code: https://github.com/facebookresearch/convit, original copyright below

Modifications and additions for timm hacked together by / Copyright 2021, Ross Wightman
é    )ÚOptionalÚUnionÚTypeÚAnyN©ÚIMAGENET_DEFAULT_MEANÚIMAGENET_DEFAULT_STD)ÚDropPathÚcalculate_drop_path_ratesÚtrunc_normal_Ú
PatchEmbedÚMlpÚ	LayerNormÚHybridEmbedÚget_device_dtypeé   )Úbuild_model_with_cfg)Úregister_notrace_module)Úregister_modelÚgenerate_default_cfgsÚConVitc                   ó|   ‡ — e Zd Z	 	 	 	 	 	 	 ddededed	ed
edefˆ fd„Zd„ Zd„ Zdd„Z	d„ Z
dedej        fd„Zˆ xZS )ÚGPSAé   Fç        ç      ð?NÚdimÚ	num_headsÚqkv_biasÚ	attn_dropÚ	proj_dropÚlocality_strengthc	                 óT  •— ||dœ}	t          ¦   «                              ¦   «          || _        || _        ||z  }
|
dz  | _        || _        t          j        ||dz  fd|i|	¤Ž| _        t          j        ||fd|i|	¤Ž| _	        t          j
        |¦  «        | _        t          j        ||fi |	¤Ž| _        t          j        d|fi |	¤Ž| _        t          j
        |¦  «        | _        t          j        t!          j        | j        fi |	¤Ž¦  «        | _        t!          j        di |	¤Ž| _        d S )N©ÚdeviceÚdtypeç      à¿é   Úbiasé   )r   r   r   r*   )ÚsuperÚ__init__r   r   Úscaler"   ÚnnÚLinearÚqkÚvÚDropoutr    ÚprojÚpos_projr!   Ú	ParameterÚtorchÚonesÚgating_paramÚzerosÚrel_indices)Úselfr   r   r   r    r!   r"   r%   r&   ÚddÚhead_dimÚ	__class__s              €úb/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/timm/models/convit.pyr,   zGPSA.__init__)   s4  ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ"ˆŒØˆŒØ˜)Ñ#ˆØ Ñ%ˆŒ
Ø!2ˆÔå”)˜C  q¡Ð>Ð>¨xÐ>¸2Ð>Ð>ˆŒÝ”˜3 Ð9Ð9¨(Ð9°bÐ9Ð9ˆŒåœ IÑ.Ô.ˆŒÝ”I˜c 3Ð-Ð-¨"Ð-Ð-ˆŒ	Ýœ	 ! YÐ5Ð5°"Ð5Ð5ˆŒÝœ IÑ.Ô.ˆŒÝœL­¬°D´NÐ)IÐ)IÀbÐ)IÐ)IÑJÔJˆÔÝ).¬Ð)FÐ)FÀ2Ð)FÐ)FˆÔÐÐó    c                 ó   — |j         \  }}}| j        �| j        j         d         |k    r|                      |¦  «        | _        |                      |¦  «        }|                      |¦  «                             ||| j        || j        z  ¦  «                             dddd¦  «        }||z                       dd¦  «                             |||¦  «        }|  	                    |¦  «        }|  
                    |¦  «        }|S )Nr   r   r(   r*   )Úshaper:   Úget_rel_indicesÚget_attentionr1   Úreshaper   ÚpermuteÚ	transposer3   r!   )r;   ÚxÚBÚNÚCÚattnr1   s          r?   ÚforwardzGPSA.forwardF   sê   € Ø”'‰ˆˆ1ˆaØÔÐ# tÔ'7Ô'=¸aÔ'@ÀAÒ'EÐ'EØ#×3Ò3°AÑ6Ô6ˆDÔØ×!Ò! !Ñ$Ô$ˆØ�FŠF�1‰IŒI×Ò˜a  D¤N°A¸¼Ñ4GÑHÔH×PÒPÐQRÐTUÐWXÐZ[Ñ\Ô\ˆØ�A‰X× Ò   AÑ&Ô&×.Ò.¨q°!°QÑ7Ô7ˆØ�IŠI�a‰LŒLˆØ�NŠN˜1ÑÔˆØˆr@   c                 ó&  — |j         \  }}}|                      |¦  «                             ||d| j        || j        z  ¦  «                             ddddd¦  «        }|d         |d         }}| j                             |ddd¦  «        }|                      |¦  «                             dddd¦  «        }||                     dd¦  «        z  | j	        z  }	|	 
                    d¬¦  «        }	| 
                    d¬¦  «        }| j                             dddd¦  «        }
d	t          j        |
¦  «        z
  |	z  t          j        |
¦  «        |z  z   }||                     d¬¦  «                             d¦  «        z  }|                      |¦  «        }|S )
Nr(   r   r*   r   é   éÿÿÿÿéþÿÿÿ©r   r   )rB   r0   rE   r   rF   r:   Úexpandr4   rG   r-   Úsoftmaxr8   Úviewr6   ÚsigmoidÚsumÚ	unsqueezer    )r;   rH   rI   rJ   rK   r0   ÚqÚkÚ	pos_scoreÚpatch_scoreÚgatingrL   s               r?   rD   zGPSA.get_attentionQ   s{  € Ø”'‰ˆˆ1ˆaØ�WŠW�Q‰ZŒZ×Ò  1 a¨¬¸¸d¼nÑ9LÑMÔM×UÒUÐVWÐYZÐ\]Ð_`ÐbcÑdÔdˆØ�!Œu�b˜”eˆ1ˆØÔ$×+Ò+¨A¨r°2°rÑ:Ô:ˆ	Ø—M’M )Ñ,Ô,×4Ò4°Q¸¸1¸aÑ@Ô@ˆ	Ø˜1Ÿ;š; r¨2Ñ.Ô.Ñ.°$´*Ñ<ˆØ!×)Ò)¨bÐ)Ñ1Ô1ˆØ×%Ò%¨"Ð%Ñ-Ô-ˆ	àÔ"×'Ò'¨¨2¨q°!Ñ4Ô4ˆØ•U”] 6Ñ*Ô*Ñ*¨kÑ9½E¼MÈ&Ñ<QÔ<QÐT]Ñ<]Ñ]ˆØ�—’˜R�Ñ Ô ×*Ò*¨2Ñ.Ô.Ñ.ˆØ�~Š~˜dÑ#Ô#ˆØˆr@   c                 ó  — |                       |¦  «                             d¦  «        }| j                             ¦   «         d d …d d …df         dz  }t	          j        d||f¦  «        |                     d¦  «        z  }|r||fS |S )Nr   rP   ç      à?ú	nm,hnm->h)rD   Úmeanr:   Úsqueezer6   ÚeinsumÚsize)r;   rH   Ú
return_mapÚattn_mapÚ	distancesÚdists         r?   Úget_attention_mapzGPSA.get_attention_mapa   sŽ   € Ø×%Ò% aÑ(Ô(×-Ò-¨aÑ0Ô0ˆØÔ$×,Ò,Ñ.Ô.¨q¨q¨q°!°!°!°R¨xÔ8¸BÑ>ˆ	ÝŒ|˜K¨)°XÐ)>Ñ?Ô?À)Ç.Â.ÐQRÑBSÔBSÑSˆØð 	Ø˜�>Ð!àˆKr@   c                 ó  — | j         j        j                             t	          j        | j        ¦  «        ¦  «         d}t          | j        dz  ¦  «        }|dz  dk    r|dz
  dz  n|dz  }t          |¦  «        D ]p}t          |¦  «        D ]^}|||z  z   }d| j
        j        j        |df<   d||z
  z  |z  | j
        j        j        |df<   d||z
  z  |z  | j
        j        j        |df<   Œ_Œq| j
        j        xj        | j        z  c_        d S )Nr   r_   r(   r   rP   )r1   ÚweightÚdataÚcopy_r6   Úeyer   Úintr   Úranger4   r"   )r;   Úlocality_distanceÚkernel_sizeÚcenterÚh1Úh2Úpositions          r?   Ú
local_initzGPSA.local_initj   s8  € ØŒŒÔ× Ò ¥¤¨4¬8Ñ!4Ô!4Ñ5Ô5Ð5ØÐå˜$œ.¨BÑ.Ñ/Ô/ˆØ*5¸©/¸QÒ*>Ð*>�+ ‘/ QÑ&Ð&ÀKÐSTÑDTˆÝ˜Ñ$Ô$ð 	_ð 	_ˆBÝ˜KÑ(Ô(ð _ð _�Ø ¨bÑ 0Ñ0�Ø9;�”Ô$Ô)¨(°A¨+Ñ6Ø9:¸bÀ6¹kÑ9JÐM^Ñ9^�”Ô$Ô)¨(°A¨+Ñ6Ø9:¸bÀ6¹kÑ9JÐM^Ñ9^�”Ô$Ô)¨(°A¨+Ñ6Ð6ð	_ð
 	ŒÔÐ!Ô! TÔ%;Ñ;Ð!Ô!Ð!Ð!r@   Únum_patchesÚreturnc                 óþ  — t          |dz  ¦  «        }t          j        d||d¦  «        }t          j        |t          j        ¬¦  «                             dd¦  «        t          j        |t          j        ¬¦  «                             dd¦  «        z
  }|                     ||¦  «        }|                     |d¬¦  «                             |d¬¦  «        }|dz  |dz  z   }|                     d¦  «        |d d …d d …d d …df<   |                     d¦  «        |d d …d d …d d …df<   |                     d¦  «        |d d …d d …d d …df<   | j	        j
        j        }| j	        j
        j        }	|                     ||	¬	¦  «        S )
Nr_   r   r*   ©r&   rP   r   rR   r(   r$   )ro   r6   r9   ÚarangeÚfloat32rU   ÚrepeatÚrepeat_interleaverX   r0   rk   r%   r&   Úto)
r;   rx   Úimg_sizer:   ÚindÚindxÚindyÚinddr%   r&   s
             r?   rC   zGPSA.get_rel_indicesx   s{  € Ý�{ bÑ(Ñ)Ô)ˆÝ”k ! [°+¸qÑAÔAˆå”˜X­U¬]Ð;Ñ;Ô;×@Ò@ÀÀBÑGÔGÝ”,˜x­u¬}Ð=Ñ=Ô=×BÒBÀ2ÀqÑIÔIñJð 	ð �zŠz˜( HÑ-Ô-ˆØ×$Ò$ X°1Ð$Ñ5Ô5×GÒGÈÐVWÐGÑXÔXˆØ�q‰y˜4 1™9Ñ$ˆØ"&§.¢.°Ñ"3Ô"3ˆ�A�A�A�q�q�q˜!˜!˜!˜Q�JÑØ"&§.¢.°Ñ"3Ô"3ˆ�A�A�A�q�q�q˜!˜!˜!˜Q�JÑØ"&§.¢.°Ñ"3Ô"3ˆ�A�A�A�q�q�q˜!˜!˜!˜Q�JÑØ””Ô&ˆØ””Ô$ˆØ�~Š~ V°5ˆ~Ñ9Ô9Ð9r@   )r   Fr   r   r   NN©F)Ú__name__Ú
__module__Ú__qualname__ro   ÚboolÚfloatr,   rM   rD   ri   rw   r6   ÚTensorrC   Ú__classcell__©r>   s   @r?   r   r   '   s  ø€ € € € € ð
 Ø"Ø!Ø!Ø')ØØðGð GàðGð ðGð ð	Gð
 ðGð ðGð  %ðGð Gð Gð Gð Gð Gð:	ð 	ð 	ðð ð ð ð ð ð ð<ð <ð <ð:¨3ð :°5´<ð :ð :ð :ð :ð :ð :ð :ð :r@   r   c                   óP   ‡ — e Zd Z	 	 	 	 	 	 ddedededed	ef
ˆ fd
„Zdd„Zd„ Zˆ xZ	S )ÚMHSAr   Fr   Nr   r   r   r    r!   c                 óL  •— ||dœ}t          ¦   «                              ¦   «          || _        ||z  }	|	dz  | _        t	          j        ||dz  fd|i|¤Ž| _        t	          j        |¦  «        | _        t	          j        ||fi |¤Ž| _	        t	          j        |¦  «        | _
        d S )Nr$   r'   r*   r)   )r+   r,   r   r-   r.   r/   Úqkvr2   r    r3   r!   )r;   r   r   r   r    r!   r%   r&   r<   r=   r>   s             €r?   r,   zMHSA.__init__‹   sª   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ"ˆŒØ˜)Ñ#ˆØ Ñ%ˆŒ
å”9˜S #¨¡'Ð?Ð?°Ð?¸BÐ?Ð?ˆŒÝœ IÑ.Ô.ˆŒÝ”I˜c 3Ð-Ð-¨"Ð-Ð-ˆŒ	Ýœ IÑ.Ô.ˆŒˆˆr@   c                 óš  — |j         \  }}}|                      |¦  «                             ||d| j        || j        z  ¦  «                             ddddd¦  «        }|d         |d         |d         }	}}||                     dd¦  «        z  | j        z  }
|
                     d¬¦  «                             d¦  «        }
t          |d	z  ¦  «        }t          j        |t          j        ¬
¦  «                             dd¦  «        t          j        |t          j        ¬
¦  «                             dd¦  «        z
  }|                     ||¦  «        }|                     |d¬¦  «                             |d¬¦  «        }|dz  |dz  z   }|d	z  }|                     |
j        |
j        ¦  «        }t          j        d||
f¦  «        |z  }|r||
fS |S )Nr*   r(   r   r   rO   rQ   rP   rR   r_   r{   r`   )rB   r’   rE   r   rF   rG   r-   rT   ra   ro   r6   r|   r}   rU   r~   r   r€   r%   r&   rc   )r;   rH   re   rI   rJ   rK   r’   rY   rZ   r1   rf   r�   r‚   rƒ   r„   r…   rg   rh   s                     r?   ri   zMHSA.get_attention_map    s»  € Ø”'‰ˆˆ1ˆaØ�hŠh�q‰kŒk×!Ò! ! Q¨¨4¬>¸1ÀÄÑ;NÑOÔO×WÒWÐXYÐ[\Ð^_ÐabÐdeÑfÔfˆØ�a”&˜#˜aœ& # a¤&ˆaˆ1ˆØ˜Ÿš B¨Ñ+Ô+Ñ+¨t¬zÑ9ˆØ×#Ò#¨Ð#Ñ+Ô+×0Ò0°Ñ3Ô3ˆå�q˜B‘w‘<”<ˆå”˜X­U¬]Ð;Ñ;Ô;×@Ò@ÀÀBÑGÔGÝ”,˜x­u¬}Ð=Ñ=Ô=×BÒBÀ2ÀqÑIÔIñJð 	ð �zŠz˜( HÑ-Ô-ˆØ×$Ò$ X°1Ð$Ñ5Ô5×GÒGÈÐVWÐGÑXÔXˆØ�q‰y˜4 1™9Ñ$ˆØ˜B‘Jˆ	Ø—L’L ¤°(´.ÑAÔAˆ	åŒ|˜K¨)°XÐ)>Ñ?Ô?À!ÑCˆØð 	Ø˜�>Ð!àˆKr@   c                 ó6  — |j         \  }}}|                      |¦  «                             ||d| j        || j        z  ¦  «                             ddddd¦  «        }|                     d¦  «        \  }}}||                     dd¦  «        z  | j        z  }	|	                     d¬¦  «        }	|  	                    |	¦  «        }	|	|z                       dd¦  «                             |||¦  «        }|  
                    |¦  «        }|                      |¦  «        }|S )	Nr*   r(   r   r   rO   rQ   rP   rR   )rB   r’   rE   r   rF   ÚunbindrG   r-   rT   r    r3   r!   )
r;   rH   rI   rJ   rK   r’   rY   rZ   r1   rL   s
             r?   rM   zMHSA.forward¸   s   € Ø”'‰ˆˆ1ˆaØ�hŠh�q‰kŒk×!Ò! ! Q¨¨4¬>¸1ÀÄÑ;NÑOÔO×WÒWÐXYÐ[\Ð^_ÐabÐdeÑfÔfˆØ—*’*˜Q‘-”-‰ˆˆ1ˆaà�A—K’K  BÑ'Ô'Ñ'¨4¬:Ñ5ˆØ�|Š| ˆ|Ñ#Ô#ˆØ�~Š~˜dÑ#Ô#ˆà�A‰X× Ò   AÑ&Ô&×.Ò.¨q°!°QÑ7Ô7ˆØ�IŠI�a‰LŒLˆØ�NŠN˜1ÑÔˆØˆr@   )r   Fr   r   NNr†   )
r‡   rˆ   r‰   ro   rŠ   r‹   r,   ri   rM   r�   rŽ   s   @r?   r�   r�   Š   s©   ø€ € € € € ð Ø"Ø!Ø!ØØð/ð /àð/ð ð/ð ð	/ð
 ð/ð ð/ð /ð /ð /ð /ð /ð*ð ð ð ð0ð ð ð ð ð ð r@   r�   c                   ó    ‡ — e Zd Zdddddej        eddddfdeded	ed
edededede	ej
                 de	ej
                 dedefˆ fd„Zd„ Zˆ xZS )ÚBlockç      @Fr   Tr   Nr   r   Ú	mlp_ratior   r!   r    Ú	drop_pathÚ	act_layerÚ
norm_layerÚuse_gpsar"   c           	      ó°  •— ||dœ}t          ¦   «                              ¦   «           |	|fi |¤Ž| _        |
| _        | j        rt	          |f|||||dœ|¤Ž| _        nt          |f||||dœ|¤Ž| _        |dk    rt          |¦  «        nt          j	        ¦   «         | _
         |	|fi |¤Ž| _        t          ||z  ¦  «        }t          d||||dœ|¤Ž| _        d S )Nr$   )r   r   r    r!   r"   )r   r   r    r!   r   )Úin_featuresÚhidden_featuresr›   Údrop© )r+   r,   Únorm1r�   r   rL   r�   r
   r.   ÚIdentityrš   Únorm2ro   r   Úmlp)r;   r   r   r™   r   r!   r    rš   r›   rœ   r�   r"   r%   r&   r<   Úmlp_hidden_dimr>   s                   €r?   r,   zBlock.__init__É   sD  ø€ ð  ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ�Z Ð*Ð* rÐ*Ð*ˆŒ
Ø ˆŒØŒ=ð 	ÝØðà#Ø!Ø#Ø#Ø"3ðð ð ðð ˆDŒIˆIõ Øðà#Ø!Ø#Ø#ðð ð ðð ˆDŒIð 1:¸B²°� )Ñ,Ô,Ð,ÅBÄKÁMÄMˆŒØ�Z Ð*Ð* rÐ*Ð*ˆŒ
Ý˜S 9™_Ñ-Ô-ˆÝð 
ØØ*ØØð	
ð 
ð
 ð
ð 
ˆŒˆˆr@   c                 óþ   — ||                       |                      |                      |¦  «        ¦  «        ¦  «        z   }||                       |                      |                      |¦  «        ¦  «        ¦  «        z   }|S ©N)rš   rL   r£   r¦   r¥   ©r;   rH   s     r?   rM   zBlock.forwardû   s_   € Ø�—’˜tŸyšy¨¯ª°A©¬Ñ7Ô7Ñ8Ô8Ñ8ˆØ�—’˜tŸxšx¨¯
ª
°1©¬Ñ6Ô6Ñ7Ô7Ñ7ˆØˆr@   )r‡   rˆ   r‰   r.   ÚGELUr   ro   r‹   rŠ   r   ÚModuler,   rM   r�   rŽ   s   @r?   r—   r—   Ç   sï   ø€ € € € € ð  "Ø"Ø!Ø!Ø!Ø)+¬Ø*3Ø!Ø')ØØð0
ð 0
àð0
ð ð0
ð ð	0
ð
 ð0
ð ð0
ð ð0
ð ð0
ð ˜BœI”ð0
ð ˜RœYœð0
ð ð0
ð  %ð0
ð 0
ð 0
ð 0
ð 0
ð 0
ðdð ð ð ð ð ð r@   r—   c            )       ó¾  ‡ — e Zd ZdZddddddddd	d
ddddddedddddfdededededededededededededededede	e
         deej                 d ed!ed"ef(ˆ fd#„Zd$„ Zej        j        d%„ ¦   «         Zej        j        d/d&„¦   «         Zej        j        d0d'„¦   «         Zej        j        d(ej        fd)„¦   «         Zd1dede	e         fd*„Zd+„ Zd/d,efd-„Zd.„ Zˆ xZS )2r   zI Vision Transformer with support for patch or hybrid CNN input stage
    éà   é   r*   éè  Útokeni   é   r˜   Fr   Nr   Tr�   Ú
patch_sizeÚin_chansÚnum_classesÚglobal_poolÚ	embed_dimÚdepthr   r™   r   Ú	drop_rateÚpos_drop_rateÚproj_drop_rateÚattn_drop_rateÚdrop_path_rateÚhybrid_backbonerœ   Úlocal_up_to_layerr"   Úuse_pos_embedc                 óî  •‡‡‡	‡
‡‡‡‡‡‡‡— t          ¦   «                              ¦   «          ||dœŠ|dv sJ ‚‰‰z  Š|| _        || _        || _        ‰| _        ‰x| _        x| _        | _        ‰| _	        || _
        |�t          |f||‰dœ‰¤Ž| _        nt          d|||‰dœ‰¤Ž| _        | j        j        }|| _        t          j        t#          j        dd‰fi ‰¤Ž¦  «        | _        t          j        |¬¦  «        | _        | j
        rAt          j        t#          j        d|‰fi ‰¤Ž¦  «        | _        t/          | j        d¬¦  «         t1          ||¦  «        Št          j        ˆˆˆˆˆˆˆ	ˆˆˆˆ
fd	„t5          |¦  «        D ¦   «         ¦  «        | _         ‰‰fi ‰¤Ž| _        t;          ‰d
d¬¦  «        g| _        t          j        |¦  «        | _        |d
k    rt          j         ‰|fi ‰¤Žnt          j!        ¦   «         | _"        t/          | j        d¬¦  «         |  #                    | j$        ¦  «         |  %                    ¦   «         D ])\  }}tM          |d¦  «        r| '                    ¦   «          Œ*d S )Nr$   )Ú Úavgr±   )r�   r´   r·   )r�   r³   r´   r·   r   )Úpç{®Gáz”?©Ústdc                 óR   •— g | ]#}t          d‰‰
‰‰‰‰‰|         ‰	|‰k     ‰d œ
‰¤Ž‘Œ$S ))
r   r   r™   r   r!   r    rš   rœ   r�   r"   r¢   )r—   )Ú.0Úir¼   r<   Údprr·   r¿   r"   r™   rœ   r   r»   r   s     €€€€€€€€€€€r?   ú
<listcomp>z#ConVit.__init__.<locals>.<listcomp>E  sq   ø€ ð %%ð %%ð %%ð õ ð ØØ#Ø#Ø!Ø(Ø(Ø˜aœ&Ø%ØÐ.Ò.Ø"3ðð ð ðð ð%%ð %%ð %%r@   r   Úhead)Únum_chsÚ	reductionÚmodulerw   r¢   )(r+   r,   rµ   r´   r¶   r¿   Únum_featuresÚhead_hidden_sizer·   r"   rÀ   r   Úpatch_embedr   rx   r.   r5   r6   r9   Ú	cls_tokenr2   Úpos_dropÚ	pos_embedr   r   Ú
ModuleListrp   ÚblocksÚnormÚdictÚfeature_infoÚ	head_dropr/   r¤   rÍ   ÚapplyÚ_init_weightsÚnamed_modulesÚhasattrrw   )r;   r�   r³   r´   rµ   r¶   r·   r¸   r   r™   r   r¹   rº   r»   r¼   r½   r¾   rœ   r¿   r"   rÀ   r%   r&   rx   ÚnÚmr<   rË   r>   s         ` ```  ``  ```      @@€r?   r,   zConVit.__init__  s  øøøøøøøøøøøø€ õ2 	‰Œ×ÒÑÔÐØ¨Ð/Ð/ˆØÐ2Ð2Ð2Ð2Ð2Ø�YÑˆ	Ø&ˆÔØ ˆŒØ&ˆÔØ!2ˆÔØENÐNˆÔÐN˜DÔ1°D´NØ!2ˆÔØ*ˆÔàÐ&Ý*Øð à!Ø!Ø#ð	 ð  ð
 ð ð  ˆDÔÐõ  *ð  Ø!Ø%Ø!Ø#ð	 ð  ð
 ð ð  ˆDÔð Ô&Ô2ˆØ&ˆÔåœ¥e¤k°!°Q¸	Ð&HÐ&HÀRÐ&HÐ&HÑIÔIˆŒÝœ
 ]Ð3Ñ3Ô3ˆŒàÔð 	3Ýœ\­%¬+°a¸ÀiÐ*VÐ*VÐSUÐ*VÐ*VÑWÔWˆDŒNÝ˜$œ.¨cÐ2Ñ2Ô2Ð2å'¨¸Ñ>Ô>ˆÝ”mð %%ð %%ð %%ð %%ð %%ð %%ð %%ð %%ð %%ð %%ð %%ð %%ð %%ð %%õ ˜U‘|”|ð%%ñ %%ô %%ñ &ô &ˆŒð �J˜yÐ/Ð/¨BÐ/Ð/ˆŒ	õ "¨)¸qÈÐPÑPÔPÐQˆÔÝœ IÑ.Ô.ˆŒØ?JÈQº¸•B”I˜i¨Ð;Ð;¸Ð;Ð;Ð;ÕTVÔT_ÑTaÔTaˆŒ	å�d”n¨#Ð.Ñ.Ô.Ð.Ø�
Š
�4Ô%Ñ&Ô&Ð&Ø×&Ò&Ñ(Ô(ð 	ð 	‰DˆAˆqÝ�q˜,Ñ'Ô'ð Ø—’‘”�øð	ð 	r@   c                 óÊ  — t          |t          j        ¦  «        rbt          |j        d¬¦  «         t          |t          j        ¦  «        r.|j        �)t          j                             |j        d¦  «         d S d S d S t          |t          j        ¦  «        rLt          j                             |j        d¦  «         t          j                             |j        d¦  «         d S d S )NrÅ   rÆ   r   r   )	Ú
isinstancer.   r/   r   rk   r)   ÚinitÚ	constant_r   )r;   râ   s     r?   rÞ   zConVit._init_weights`  sÎ   € Ý�a�œÑ#Ô#ð 	-Ý˜!œ(¨Ð,Ñ,Ô,Ð,Ý˜!�RœYÑ'Ô'ð -¨A¬FÐ,>Ý”×!Ò! !¤&¨!Ñ,Ô,Ð,Ð,Ð,ð-ð -Ð,>Ð,>å˜�2œ<Ñ(Ô(ð 	-ÝŒG×Ò˜aœf aÑ(Ô(Ð(ÝŒG×Ò˜aœh¨Ñ,Ô,Ð,Ð,Ð,ð	-ð 	-r@   c                 ó
   — ddhS )NrÖ   rÔ   r¢   ©r;   s    r?   Úno_weight_decayzConVit.no_weight_decayi  s   € à˜[Ð)Ð)r@   c                 ó(   — t          dddg¬¦  «        S )Nz ^cls_token|pos_embed|patch_embed)z^blocks\.(\d+)N)z^norm)iŸ† )ÚstemrØ   )rÚ   )r;   Úcoarses     r?   Úgroup_matcherzConVit.group_matcherm  s%   € åØ4Ø-Ð/CÐDð
ñ 
ô 
ð 	
r@   c                 ó   — |r
J d¦   «         ‚d S )Nz$gradient checkpointing not supportedr¢   )r;   Úenables     r?   Úset_grad_checkpointingzConVit.set_grad_checkpointingt  s   € àÐAÐAÐAÑAÔAˆzÐAÐAr@   ry   c                 ó   — | j         S r©   )rÍ   rè   s    r?   Úget_classifierzConVit.get_classifierx  s
   € àŒyÐr@   c                 óú   — t          | ¦  «        }|| _        |�|dv sJ ‚|| _        |dk    rt          j        | j        |fi |¤Žnt          j        ¦   «         | _        | j                             | j	        ¦  «         d S )N)rÂ   r±   rÃ   r   )
r   rµ   r¶   r.   r/   r·   r¤   rÍ   ÚtrainÚtraining)r;   rµ   r¶   r<   s       r?   Úreset_classifierzConVit.reset_classifier|  sˆ   € Ý˜dÑ#Ô#ˆØ&ˆÔØÐ"ØÐ"6Ð6Ð6Ð6Ð6Ø*ˆDÔØDOÐRSÂOÀO•B”I˜dœn¨kÐ@Ð@¸RÐ@Ð@Ð@ÕY[ÔYdÑYfÔYfˆŒ	ØŒ	�Š˜œÑ&Ô&Ð&Ð&Ð&r@   c                 ó„  — |                       |¦  «        }| j        r
|| j        z   }|                      |¦  «        }| j                             |j        d         dd¦  «        }t          | j        ¦  «        D ]3\  }}|| j	        k    rt          j        ||fd¬¦  «        } ||¦  «        }Œ4|                      |¦  «        }|S )Nr   rP   r   rR   )rÓ   rÀ   rÖ   rÕ   rÔ   rS   rB   Ú	enumeraterØ   r¿   r6   ÚcatrÙ   )r;   rH   Ú
cls_tokensÚuÚblks        r?   Úforward_featureszConVit.forward_features…  sÂ   € Ø×Ò˜QÑÔˆØÔð 	#Ø�D”NÑ"ˆAØ�MŠM˜!ÑÔˆØ”^×*Ò*¨1¬7°1¬:°r¸2Ñ>Ô>ˆ
Ý ¤Ñ,Ô,ð 	ð 	‰FˆAˆsØ�DÔ*Ò*Ð*Ý”I˜z¨1˜o°1Ð5Ñ5Ô5�Ø��A‘”ˆAˆAØ�IŠI�a‰LŒLˆØˆr@   Ú
pre_logitsc                 óÞ   — | j         r9| j         dk    r"|d d …dd …f                              d¬¦  «        n|d d …df         }|                      |¦  «        }|r|n|                      |¦  «        S )NrÃ   r   rR   r   )r¶   ra   rÜ   rÍ   )r;   rH   rþ   s      r?   Úforward_headzConVit.forward_head’  sy   € ØÔð 	OØ(,Ô(8¸EÒ(AÐ(A��!�!�!�Q�R�R�%”—’ !�Ñ$Ô$Ð$ÀqÈÈÈÈAÈÄwˆAØ�NŠN˜1ÑÔˆØÐ0ˆqˆq D§I¢I¨a¡L¤LÐ0r@   c                 óZ   — |                       |¦  «        }|                      |¦  «        }|S r©   )rý   r   rª   s     r?   rM   zConVit.forward˜  s-   € Ø×!Ò! !Ñ$Ô$ˆØ×Ò˜aÑ Ô ˆØˆr@   r†   )Tr©   )r‡   rˆ   r‰   Ú__doc__r   ro   Ústrr‹   rŠ   r   r   r   r.   r¬   r,   rÞ   r6   ÚjitÚignoreré   rí   rð   rò   rö   rý   r   rM   r�   rŽ   s   @r?   r   r     s”  ø€ € € € € ðð ð
  Ø ØØ#Ø&Ø ØØØ!Ø"Ø!Ø#%Ø$&Ø$&Ø$&Ø-1Ø*3Ø%&Ø')Ø"&ØØð/Yð YàðYð ðYð ð	Yð
 ðYð ðYð ðYð ðYð ðYð ðYð ðYð ðYð !ðYð "ðYð "ðYð  "ð!Yð" & cœ]ð#Yð$ ˜RœYœð%Yð&  #ð'Yð(  %ð)Yð*  ð+Yð Yð Yð Yð Yð Yðv-ð -ð -ð „YÔð*ð *ñ Ôð*ð „YÔð
ð 
ð 
ñ Ôð
ð „YÔðBð Bð Bñ ÔðBð „YÔð ¤	ð ð ð ñ Ôðð'ð '¨Cð '¸hÀs¼mð 'ð 'ð 'ð 'ðð ð ð1ð 1¨$ð 1ð 1ð 1ð 1ðð ð ð ð ð ð r@   Fc                 ót   — |                      dd ¦  «        rt          d¦  «        ‚t          t          | |fi |¤ŽS )NÚfeatures_onlyz<features_only not implemented for Vision Transformer models.)ÚgetÚRuntimeErrorr   r   )ÚvariantÚ
pretrainedÚkwargss      r?   Ú_create_convitr  ž  sB   € Ø‡z‚z�/ 4Ñ(Ô(ð [ÝÐYÑZÔZÐZå¥¨°ÐFÐF¸vÐFÐFÐFr@   rÂ   c                 ó4   — | ddd t           t          dddddœ
|¥S )Nr°   )r*   r®   r®   Tzpatch_embed.projrÍ   z
apache-2.0)
Úurlrµ   Ú
input_sizeÚ	pool_sizera   rÇ   Úfixed_input_sizeÚ
first_convÚ
classifierÚlicenser   )r  r  s     r?   Ú_cfgr  ¥  s5   € àØ¨=ÀtÝ%Õ.BÐX\Ø(¸È<ð	ð ð
 ðð r@   ztimm/)Ú	hf_hub_id)zconvit_tiny.fb_in1kzconvit_small.fb_in1kzconvit_base.fb_in1kry   c           	      ó`   — t          dddd¬¦  «        }t          dd| dœt          |fi |¤Ž¤Ž}|S )	Né
   r   é0   rO   ©r¿   r"   r·   r   Úconvit_tiny©r
  r  r¢   ©rÚ   r  ©r  r  Ú
model_argsÚmodels       r?   r  r  ·  sS   € åØ°¸rÈQðPñ Pô P€JåÐf =¸ZÐfÐfÍ4ÐPZÐKeÐKeÐ^dÐKeÐKeÐfÐf€EØ€Lr@   c           	      ó`   — t          dddd¬¦  «        }t          dd| dœt          |fi |¤Ž¤Ž}|S )	Nr  r   r  é	   r  Úconvit_smallr  r¢   r  r  s       r?   r$  r$  ¿  sS   € åØ°¸rÈQðPñ Pô P€JåÐg >¸jÐgÐgÍDÐQ[ÐLfÐLfÐ_eÐLfÐLfÐgÐg€EØ€Lr@   c           	      ó`   — t          dddd¬¦  «        }t          dd| dœt          |fi |¤Ž¤Ž}|S )	Nr  r   r  r¯   r  Úconvit_baser  r¢   r  r  s       r?   r&  r&  Ç  sS   € åØ°¸rÈRðQñ Qô Q€JåÐf =¸ZÐfÐfÍ4ÐPZÐKeÐKeÐ^dÐKeÐKeÐfÐf€EØ€Lr@   r†   )rÂ   )(r  Útypingr   r   r   r   r6   Útorch.nnr.   Ú	timm.datar   r	   Útimm.layersr
   r   r   r   r   r   r   r   Ú_builderr   Ú_features_fxr   Ú	_registryr   r   Ú__all__r¬   r   r�   r—   r   r  r  Údefault_cfgsr  r$  r&  r¢   r@   r?   ú<module>r0     s  ððð ð(ð .Ð -Ð -Ð -Ð -Ð -Ð -Ð -Ð -Ð -Ð -Ð -à €€€Ø Ð Ð Ð Ð Ð à AÐ AÐ AÐ AÐ AÐ AÐ AÐ Að Fð  Fð  Fð  Fð  Fð  Fð  Fð  Fð  Fð  Fð  Fð  Fð  Fð  Fð  Fð  Fð  Fð  Fð  Fð  FØ *Ð *Ð *Ð *Ð *Ð *Ø 1Ð 1Ð 1Ð 1Ð 1Ð 1Ø <Ð <Ð <Ð <Ð <Ð <Ð <Ð <ð ˆ*€ð ð_:ð _:ð _:ð _:ð _:ˆ2Œ9ñ _:ô _:ñ Ôð_:ðD:ð :ð :ð :ð :ˆ2Œ9ñ :ô :ð :ðz7ð 7ð 7ð 7ð 7ˆBŒIñ 7ô 7ð 7ðtZð Zð Zð Zð ZˆRŒYñ Zô Zð ZðzGð Gð Gð Gðð ð ð ð %Ð$à˜4¨'Ð2Ñ2Ô2Ø ˜D¨7Ð3Ñ3Ô3Ø˜4¨'Ð2Ñ2Ô2ð	&ð &ñ ô €ð ðð ¨vð ð ð ñ „ðð ðð °ð ð ð ñ „ðð ðð ¨vð ð ð ñ „ðð ð r@   