§
    ·¯¸jì   ã                   óž  — d Z ddlmZ ddlmZ ddlmZmZmZm	Z	m
Z
mZ ddlZddlmZ ddlmZmZ ddlmZmZmZmZmZmZmZ dd	lmZ dd
lmZ ddlmZm Z  ddl!m"Z"m#Z# dgZ$ G d„ dej%        ¦  «        Z& G d„ dej%        ¦  «        Z' G d„ dej%        ¦  «        Z( G d„ dej)        ¦  «        Z* G d„ dej)        ¦  «        Z+ G d„ dej%        ¦  «        Z, G d„ dej%        ¦  «        Z- G d„ dej%        ¦  «        Z. G d„ dej%        ¦  «        Z/ G d „ d!ej%        ¦  «        Z0 G d"„ d#ej%        ¦  «        Z1 G d$„ d%ej%        ¦  «        Z2 G d&„ dej%        ¦  «        Z3 G d'„ d(e3¦  «        Z4d)„ Z5 e6 e6d*d+d,d-¬.¦  «         e6d*d+d/d0¬.¦  «         e6d1d2d3d0¬.¦  «         e6d4d2d,d0¬.¦  «         e6d5d2d6d0¬.¦  «         e6d5d2d6d0d7d8¬9¦  «         e6d:d;d<d0d7d8¬9¦  «         e6d=d;d>d0d7¬?¦  «         e6d4d2d,d@d7¬?¦  «         e6dAd;dBd@d7¬?¦  «        ¬C¦
  «
        Z7dvdF„Z8dwdH„Z9 e"i dI e9dJ¬K¦  «        “dL e9dJ¬K¦  «        “dM e9dJ¬K¦  «        “dN e9dJ¬K¦  «        “dO e9dJ¬K¦  «        “dP e9dJdQ¬R¦  «        “dS e9dJdQ¬R¦  «        “dT e9dJdQ¬R¦  «        “dU e9dJdQ¬R¦  «        “dV e9dJdQ¬R¦  «        “dW e9dX¬Y¦  «        “dZ e9dX¬Y¦  «        “d[ e9dX¬Y¦  «        “d\ e9dX¬Y¦  «        “d] e9dX¬Y¦  «        “d^ e9dX¬Y¦  «        “d_ e9dX¬Y¦  «        “ e9dX¬Y¦  «         e9dX¬Y¦  «         e9dX¬Y¦  «        d`œ¥¦  «        Z:e#dxdae3fdb„¦   «         Z;e#dxdae3fdc„¦   «         Z<e#dxdae3fdd„¦   «         Z=e#dxdae3fde„¦   «         Z>e#dxdae3fdf„¦   «         Z?e#dxdae3fdg„¦   «         Z@e#dxdae3fdh„¦   «         ZAe#dxdae3fdi„¦   «         ZBe#dxdae3fdj„¦   «         ZCe#dxdae3fdk„¦   «         ZDe#dxdae3fdl„¦   «         ZEe#dxdae3fdm„¦   «         ZFe#dxdae3fdn„¦   «         ZGe#dxdae3fdo„¦   «         ZHe#dxdae3fdp„¦   «         ZIe#dxdae3fdq„¦   «         ZJe#dxdae3fdr„¦   «         ZKe#dxdae3fds„¦   «         ZLe#dxdae3fdt„¦   «         ZMe#dxdae3fdu„¦   «         ZNdS )yaÈ   LeViT

Paper: `LeViT: a Vision Transformer in ConvNet's Clothing for Faster Inference`
    - https://arxiv.org/abs/2104.01136

@article{graham2021levit,
  title={LeViT: a Vision Transformer in ConvNet's Clothing for Faster Inference},
  author={Benjamin Graham and Alaaeldin El-Nouby and Hugo Touvron and Pierre Stock and Armand Joulin and Herv'e J'egou and Matthijs Douze},
  journal={arXiv preprint arXiv:22104.01136},
  year={2021}
}

Adapted from official impl at https://github.com/facebookresearch/LeViT, original copyright bellow.

This version combines both conv/linear models and fixes torchscript compatibility.

Modifications and additions for timm hacked together by / Copyright 2021, Ross Wightman
é    )ÚOrderedDict)Úpartial)ÚDictÚListÚOptionalÚTupleÚTypeÚUnionN)ÚIMAGENET_DEFAULT_STDÚIMAGENET_DEFAULT_MEAN)Ú	to_ntupleÚ	to_2tupleÚget_act_layerÚDropPathÚtrunc_normal_ÚndgridÚget_device_dtypeé   )Úbuild_model_with_cfg)Úfeature_take_indices)Ú
checkpointÚcheckpoint_seq)Úgenerate_default_cfgsÚregister_modelÚLevitc                   óˆ   ‡ — e Zd Z	 	 	 	 	 	 	 	 ddededededed	ed
edefˆ fd„Z ej        ¦   «         d„ ¦   «         Zd„ Z	ˆ xZ
S )ÚConvNormr   r   NÚin_chsÚout_chsÚkernel_sizeÚstrideÚpaddingÚdilationÚgroupsÚbn_weight_initc           	      ó  •— |	|
dœ}t          ¦   «                              ¦   «          t          j        |||||||fddi|¤Ž| _        t          j        |fi |¤Ž| _        t          j                             | j        j	        |¦  «         d S ©N©ÚdeviceÚdtypeÚbiasF)
ÚsuperÚ__init__ÚnnÚConv2dÚlinearÚBatchNorm2dÚbnÚinitÚ	constant_Úweight)Úselfr   r   r    r!   r"   r#   r$   r%   r)   r*   ÚddÚ	__class__s               €úa/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/timm/models/levit.pyr-   zConvNorm.__init__,   s�   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐÝ”i ¨°¸fÀgÈxÐY_ÐrÐrÐfkÐrÐoqÐrÐrˆŒÝ”. Ð/Ð/¨BÐ/Ð/ˆŒå
Œ×Ò˜$œ'œ.¨.Ñ9Ô9Ð9Ð9Ð9ó    c           	      ó>  — | j         | j        }}|j        |j        |j        z   dz  z  }|j        |d d …d d d f         z  }|j        |j        |j        z  |j        |j        z   dz  z  z
  }t          j        | 	                    d¦  «        | 	                    d¦  «        |j
        dd …         | j         j        | j         j        | j         j        | j         j        ¬¦  «        }|j        j                             |¦  «         |j        j                             |¦  «         |S )Nç      à?r   r   é   )r!   r"   r#   r$   )r0   r2   r5   Úrunning_varÚepsr+   Úrunning_meanr.   r/   ÚsizeÚshaper!   r"   r#   r$   ÚdataÚcopy_)r6   Úcr2   ÚwÚbÚms         r9   ÚfusezConvNorm.fuse@   s  € à”˜TœWˆ2ˆØŒI˜œ¨"¬&Ñ0°SÑ8Ñ8ˆØŒH�q˜˜˜˜D $¨Ð,Ô-Ñ-ˆØŒG�b”o¨¬	Ñ1°R´^ÀbÄfÑ5LÐQTÑ4TÑTÑTˆÝŒIØ�FŠF�1‰IŒI�q—v’v˜a‘y”y !¤'¨!¨"¨"¤+°d´kÔ6HØ”KÔ'°$´+Ô2FÈtÌ{ÔOaðcñ cô cˆð 	
ŒŒ×Ò˜AÑÔÐØ	ŒŒ×Ò˜!ÑÔÐØˆr:   c                 óR   — |                       |                      |¦  «        ¦  «        S ©N)r2   r0   ©r6   Úxs     r9   ÚforwardzConvNorm.forwardM   s   € Ø�wŠw�t—{’{ 1‘~”~Ñ&Ô&Ð&r:   )r   r   r   r   r   r   NN©Ú__name__Ú
__module__Ú__qualname__ÚintÚfloatr-   ÚtorchÚno_gradrI   rN   Ú__classcell__©r8   s   @r9   r   r   +   sÜ   ø€ € € € € ð
  !ØØØØØ$%ØØð:ð :àð:ð ð:ð ð	:ð
 ð:ð ð:ð ð:ð ð:ð "ð:ð :ð :ð :ð :ð :ð( €U„]�_„_ð
ð 
ñ „_ð
ð'ð 'ð 'ð 'ð 'ð 'ð 'r:   r   c                   ój   ‡ — e Zd Z	 	 	 d	dededefˆ fd„Z ej        ¦   «         d„ ¦   «         Zd„ Z	ˆ xZ
S )
Ú
LinearNormr   NÚin_featuresÚout_featuresr%   c                 ó  •— ||dœ}t          ¦   «                              ¦   «          t          j        ||fddi|¤Ž| _        t          j        |fi |¤Ž| _        t          j                             | j        j	        |¦  «         d S r'   )
r,   r-   r.   ÚLinearr0   ÚBatchNorm1dr2   r3   r4   r5   )r6   r[   r\   r%   r)   r*   r7   r8   s          €r9   r-   zLinearNorm.__init__R   sƒ   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐÝ”i ¨\ÐLÐLÀÐLÈÐLÐLˆŒÝ”. Ð4Ð4°Ð4Ð4ˆŒå
Œ×Ò˜$œ'œ.¨.Ñ9Ô9Ð9Ð9Ð9r:   c                 óÄ  — | j         | j        }}|j        |j        |j        z   dz  z  }|j        |d d …d f         z  }|j        |j        |j        z  |j        |j        z   dz  z  z
  }t          j        | 	                    d¦  «        | 	                    d¦  «        ¦  «        }|j        j
                             |¦  «         |j        j
                             |¦  «         |S )Nr<   r   r   )r0   r2   r5   r>   r?   r+   r@   r.   r^   rA   rC   rD   )r6   Úlr2   rF   rG   rH   s         r9   rI   zLinearNorm.fusea   sÄ   € à”˜TœWˆ2ˆØŒI˜œ¨"¬&Ñ0°SÑ8Ñ8ˆØŒH�q˜˜˜˜D˜”zÑ!ˆØŒG�b”o¨¬	Ñ1°R´^ÀbÄfÑ5LÐQTÑ4TÑTÑTˆÝŒI�a—f’f˜Q‘i”i §¢¨¡¤Ñ+Ô+ˆØ	ŒŒ×Ò˜AÑÔÐØ	ŒŒ×Ò˜!ÑÔÐØˆr:   c                 ó¤   — |                       |¦  «        }|                      |                     dd¦  «        ¦  «                             |¦  «        S )Nr   r   )r0   r2   ÚflattenÚ
reshape_asrL   s     r9   rN   zLinearNorm.forwardl   s=   € Ø�KŠK˜‰NŒNˆØ�wŠw�q—y’y  A‘”Ñ'Ô'×2Ò2°1Ñ5Ô5Ð5r:   )r   NNrO   rX   s   @r9   rZ   rZ   Q   s›   ø€ € € € € ð
 %&ØØð:ð :àð:ð ð:ð "ð	:ð :ð :ð :ð :ð :ð €U„]�_„_ðð ñ „_ðð6ð 6ð 6ð 6ð 6ð 6ð 6r:   rZ   c                   óv   ‡ — e Zd Z	 	 	 	 	 ddedededed	ef
ˆ fd
„Z ej        ¦   «         d„ ¦   «         Z	d„ Z
ˆ xZS )Ú
NormLinearTç{®Gáz”?ç        Nr[   r\   r+   ÚstdÚdropc                 óŒ  •— ||dœ}t          ¦   «                              ¦   «          t          j        |fi |¤Ž| _        t          j        |¦  «        | _        t          j        ||fd|i|¤Ž| _        t          | j        j
        |¬¦  «         | j        j        �,t          j                             | j        j        d¦  «         d S d S )Nr(   r+   )ri   r   )r,   r-   r.   r_   r2   ÚDropoutrj   r^   r0   r   r5   r+   r3   r4   )
r6   r[   r\   r+   ri   rj   r)   r*   r7   r8   s
            €r9   r-   zNormLinear.__init__r   sÀ   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐÝ”. Ð3Ð3°Ð3Ð3ˆŒÝ”J˜tÑ$Ô$ˆŒ	Ý”i ¨\ÐKÐKÀÐKÈÐKÐKˆŒå�d”kÔ(¨cÐ2Ñ2Ô2Ð2ØŒ;ÔÐ'ÝŒG×Ò˜dœkÔ.°Ñ2Ô2Ð2Ð2Ð2ð (Ð'r:   c                 óx  — | j         | j        }}|j        |j        |j        z   dz  z  }|j        | j         j        | j         j        z  |j        |j        z   dz  z  z
  }|j        |d d d …f         z  }|j        €|| j        j        j        z  }n4|j        |d d …d f         z                       d¦  «        | j        j        z   }t          j
        |                     d¦  «        |                     d¦  «        ¦  «        }|j        j                             |¦  «         |j        j                             |¦  «         |S )Nr<   éÿÿÿÿr   r   )r2   r0   r5   r>   r?   r+   r@   ÚTÚviewr.   r^   rA   rC   rD   )r6   r2   ra   rF   rG   rH   s         r9   rI   zNormLinear.fuse†   s  € à”˜œˆAˆØŒI˜œ¨"¬&Ñ0°SÑ8Ñ8ˆØŒG�d”gÔ*¨T¬W¬^Ñ;¸r¼~ÐPRÔPVÑ?VÐ[^Ñ>^Ñ^Ñ^ˆØŒH�q˜˜q˜q˜q˜”zÑ!ˆØŒ6ˆ>Ø�D”KÔ&Ô(Ñ(ˆAˆAà”˜A˜a˜a˜a ˜gœJÑ&×,Ò,¨RÑ0Ô0°4´;Ô3CÑCˆAÝŒI�a—f’f˜Q‘i”i §¢¨¡¤Ñ+Ô+ˆØ	ŒŒ×Ò˜AÑÔÐØ	ŒŒ×Ò˜!ÑÔÐØˆr:   c                 óx   — |                       |                      |                      |¦  «        ¦  «        ¦  «        S rK   )r0   rj   r2   rL   s     r9   rN   zNormLinear.forward•   s*   € Ø�{Š{˜4Ÿ9š9 T§W¢W¨Q¡Z¤ZÑ0Ô0Ñ1Ô1Ð1r:   )Trg   rh   NN)rP   rQ   rR   rS   ÚboolrT   r-   rU   rV   rI   rN   rW   rX   s   @r9   rf   rf   q   sµ   ø€ € € € € ð
 ØØØØð3ð 3àð3ð ð3ð ð	3ð
 ð3ð ð3ð 3ð 3ð 3ð 3ð 3ð( €U„]�_„_ðð ñ „_ðð2ð 2ð 2ð 2ð 2ð 2ð 2r:   rf   c                   óH   ‡ — e Zd Z	 	 ddededeej                 fˆ fd„Zˆ xZS )ÚStem8Nr   r   Ú	act_layerc           	      óÔ  •— ||dœ}t          ¦   «                              ¦   «          d| _        |                      dt	          ||dz  dfdddœ|¤Ž¦  «         |                      d	 |¦   «         ¦  «         |                      d
t	          |dz  |dz  dfdddœ|¤Ž¦  «         |                      d |¦   «         ¦  «         |                      dt	          |dz  |dfdddœ|¤Ž¦  «         d S )Nr(   é   Úconv1é   é   r=   r   ©r!   r"   Úact1Úconv2Úact2Úconv3©r,   r-   r!   Ú
add_moduler   ©r6   r   r   ru   r)   r*   r7   r8   s          €r9   r-   zStem8.__init__š   s  ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØˆŒà�Š˜¥¨&°'¸Q±,ÀÐ!]È!ÐUVÐ!]Ð!]ÐZ\Ð!]Ð!]Ñ^Ô^Ð^Ø�Š˜ 	 	¡¤Ñ,Ô,Ð,Ø�Š˜¥¨'°Q©,¸À1¹ÀaÐ!cÐPQÐ[\Ð!cÐ!cÐ`bÐ!cÐ!cÑdÔdÐdØ�Š˜ 	 	¡¤Ñ,Ô,Ð,Ø�Š˜¥¨'°Q©,¸ÀÐ!^È1ÐVWÐ!^Ð!^Ð[]Ð!^Ð!^Ñ_Ô_Ð_Ð_Ð_r:   ©NN©	rP   rQ   rR   rS   r	   r.   ÚModuler-   rW   rX   s   @r9   rt   rt   ™   sz   ø€ € € € € ð Øð`ð `àð`ð ð`ð ˜BœI”ð	`ð `ð `ð `ð `ð `ð `ð `ð `ð `r:   rt   c                   óH   ‡ — e Zd Z	 	 ddededeej                 fˆ fd„Zˆ xZS )ÚStem16Nr   r   ru   c           	      óh  •— ||dœ}t          ¦   «                              ¦   «          d| _        |                      dt	          ||dz  dfdddœ|¤Ž¦  «         |                      d	 |¦   «         ¦  «         |                      d
t	          |dz  |dz  dfdddœ|¤Ž¦  «         |                      d |¦   «         ¦  «         |                      dt	          |dz  |dz  dfdddœ|¤Ž¦  «         |                      d |¦   «         ¦  «         |                      dt	          |dz  |dfdddœ|¤Ž¦  «         d S )Nr(   é   rx   rw   rz   r=   r   r{   r|   r}   ry   r~   r   Úact3Úconv4r€   r‚   s          €r9   r-   zStem16.__init__®   sa  ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØˆŒà�Š˜¥¨&°'¸Q±,ÀÐ!]È!ÐUVÐ!]Ð!]ÐZ\Ð!]Ð!]Ñ^Ô^Ð^Ø�Š˜ 	 	¡¤Ñ,Ô,Ð,Ø�Š˜¥¨'°Q©,¸À1¹ÀaÐ!cÐPQÐ[\Ð!cÐ!cÐ`bÐ!cÐ!cÑdÔdÐdØ�Š˜ 	 	¡¤Ñ,Ô,Ð,Ø�Š˜¥¨'°Q©,¸À1¹ÀaÐ!cÐPQÐ[\Ð!cÐ!cÐ`bÐ!cÐ!cÑdÔdÐdØ�Š˜ 	 	¡¤Ñ,Ô,Ð,Ø�Š˜¥¨'°Q©,¸ÀÐ!^È1ÐVWÐ!^Ð!^Ð[]Ð!^Ð!^Ñ_Ô_Ð_Ð_Ð_r:   rƒ   r„   rX   s   @r9   r‡   r‡   ­   sz   ø€ € € € € ð Øð`ð `àð`ð ð`ð ˜BœI”ð	`ð `ð `ð `ð `ð `ð `ð `ð `ð `r:   r‡   c            	       óZ   ‡ — e Zd Z	 	 	 ddedeeeeef         f         defˆ fd„Zd„ Zˆ xZ	S )	Ú
DownsampleFNr!   Ú
resolutionÚuse_poolc                 óÀ   •— t          ¦   «                              ¦   «          || _        t          |¦  «        | _        |rt          j        d|dd¬¦  «        nd | _        d S )Nrz   r   F)r!   r"   Úcount_include_pad)r,   r-   r!   r   rŽ   r.   Ú	AvgPool2dÚpool)r6   r!   rŽ   r�   r)   r*   r8   s         €r9   r-   zDownsample.__init__Ä   s[   ø€ õ 	‰Œ×ÒÑÔÐØˆŒÝ# JÑ/Ô/ˆŒØZbÐl•B”L ¨6¸1ÐPUÐVÑVÔVÐVÐhlˆŒ	ˆ	ˆ	r:   c                 ón  — |j         \  }}}|                     || j        d         | j        d         |¦  «        }| j        �B|                      |                     dddd¦  «        ¦  «                             dddd¦  «        }n|d d …d d | j        …d d | j        …f         }|                     |d|¦  «        S )Nr   r   rz   r=   rn   )rB   rp   rŽ   r“   Úpermuter!   Úreshape)r6   rM   ÚBÚNÚCs        r9   rN   zDownsample.forwardÑ   s°   € Ø”'‰ˆˆ1ˆaØ�FŠF�1�d”o aÔ(¨$¬/¸!Ô*<¸aÑ@Ô@ˆØŒ9Ð Ø—	’	˜!Ÿ)š) A q¨!¨QÑ/Ô/Ñ0Ô0×8Ò8¸¸A¸qÀ!ÑDÔDˆAˆAà�!�!�!�]�]�t”{�] M M d¤k MÐ1Ô2ˆAØ�yŠy˜˜B Ñ"Ô"Ð"r:   )FNN)
rP   rQ   rR   rS   r
   r   rr   r-   rN   rW   rX   s   @r9   r�   r�   Ã   s”   ø€ € € € € ð
 #ØØðmð màðmð ˜c 5¨¨c¨¤?Ð2Ô3ðmð ð	mð mð mð mð mð mð#ð #ð #ð #ð #ð #ð #r:   r�   c                   ó2  ‡ — e Zd ZU eeej        f         ed<   ddddej	        ddfde
de
d	e
d
edee
ee
e
f         f         dedeej                 fˆ fd„Z ej        ¦   «         dˆ fd„	¦   «         Zdd„Zdd„Zdd„Zdd„Zdej        dej        fd„Zd„ Zˆ xZS )Ú	AttentionÚattention_bias_cacherw   ç      @é   FNÚdimÚkey_dimÚ	num_headsÚ
attn_ratiorŽ   Úuse_convru   c
                 ó4  •— ||	dœ}
t          ¦   «                              ¦   «          |rt          nt          }t	          |¦  «        }|| _        || _        |dz  | _        || _        ||z  | _	        t          ||z  ¦  «        | _        t          ||z  ¦  «        |z  | _        || _         ||| j        | j	        dz  z   fi |
¤Ž| _        t          j        t#          d |¦   «         fd || j        |fddi|
¤Žfg¦  «        ¦  «        | _        |d         |d         z  }t          j        t)          j        ||fi |
¤Ž¦  «        | _        |                      d	t)          j        ||f|t(          j        ¬¦  «        d
¬¦  «         i | _        |                      ¦   «          d S )Nr(   ç      à¿r=   ÚactÚlnr%   r   r   Úattention_bias_idxsF©Ú
persistent)r,   r-   r   rZ   r   r£   r¡   Úscaler    Úkey_attn_dimrS   Úval_dimÚval_attn_dimrŽ   Úqkvr.   Ú
Sequentialr   ÚprojÚ	ParameterrU   ÚemptyÚattention_biasesÚregister_bufferÚlongrœ   Úreset_parameters)r6   rŸ   r    r¡   r¢   rŽ   r£   ru   r)   r*   r7   Úln_layerr˜   r8   s                €r9   r-   zAttention.__init__Þ   sÁ  ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ'Ð7•8�8­ZˆÝ˜zÑ*Ô*ˆ
à ˆŒØ"ˆŒØ ‘_ˆŒ
ØˆŒØ# iÑ/ˆÔÝ˜:¨Ñ/Ñ0Ô0ˆŒÝ 
¨WÑ 4Ñ5Ô5¸	ÑAˆÔØ$ˆŒà�8˜C Ô!2°TÔ5FÈÑ5JÑ!JÐQÐQÈbÐQÐQˆŒÝ”M¥+Ø�I�I‘K”KÐ Ø�8�8˜DÔ-¨sÐKÐKÀ1ÐKÈÐKÐKÐLð/
ñ #ô #ñ ô ˆŒ	ð
 �qŒM˜J qœMÑ)ˆÝ "¤­U¬[¸ÀAÐ-LÐ-LÈÐ-LÐ-LÑ MÔ MˆÔØ×ÒØ!¥5¤;°°1¨v¸fÍEÌJÐ#WÑ#WÔ#WÐdið 	ñ 	kô 	kð 	kà$&ˆÔ!ð 	×ÒÑÔÐÐÐr:   Tc                 ój   •— t          ¦   «                              |¦  «         | j        r	i | _        d S d S rK   ©r,   Útrainrœ   ©r6   Úmoder8   s     €r9   r»   zAttention.train  ó<   ø€ å‰Œ�Š�dÑÔÐØÔ$ð 	+Ø(*ˆDÔ%Ð%Ð%ð	+ð 	+r:   Úreturnc                 óv   — t           j                             | j        ¦  «         |                      ¦   «          dS ©z"Initialize parameters and buffers.N©r.   r3   Úzeros_r´   Ú_init_buffers©r6   s    r9   r·   zAttention.reset_parameters  ó1   € å
Œ�Š�tÔ,Ñ-Ô-Ð-Ø×ÒÑÔÐÐÐr:   c           
      ó°  — t          j        t          t          j        | j        d         |t           j        ¬¦  «        t          j        | j        d         |t           j        ¬¦  «        ¦  «        ¦  «                             d¦  «        }|ddd…df         |dddd…f         z
                       ¦   «         }|d         | j        d         z  |d         z   }|S )ú5Compute relative position indices for attention bias.r   r(   r   .N)rU   Ústackr   ÚarangerŽ   r¶   rc   Úabs)r6   r)   ÚposÚrel_poss       r9   Ú_compute_attention_bias_idxsz&Attention._compute_attention_bias_idxs  sÂ   € åŒk�&ÝŒL˜œ¨Ô+°FÅ%Ä*ÐMÑMÔMÝŒL˜œ¨Ô+°FÅ%Ä*ÐMÑMÔMñ
ô 
ñ ô ÷ Š7�1‰:Œ:ð 	ð �s˜A˜A˜A˜t�|Ô$ s¨3°°a°a°a¨<Ô'8Ñ8×=Ò=Ñ?Ô?ˆØ˜1”: ¤°Ô 2Ñ2°g¸a´jÑ@ˆØˆr:   c                 ó„   — | j                              |                      | j         j        ¬¦  «        ¦  «         i | _        dS ©z.Compute and fill non-persistent buffer values.)r)   N©r¨   rD   rÎ   r)   rœ   rÅ   s    r9   rÄ   zAttention._init_buffers  óG   € àÔ ×&Ò&Ø×-Ò-°TÔ5MÔ5TÐ-ÑUÔUñ	
ô 	
ð 	
ð %'ˆÔ!Ð!Ð!r:   c                 ó.   — |                       ¦   «          dS ©z"Initialize non-persistent buffers.N©rÄ   rÅ   s    r9   Úinit_non_persistent_buffersz%Attention.init_non_persistent_buffers#  ó   € à×ÒÑÔÐÐÐr:   r)   c                 óþ   — t           j                             ¦   «         s| j        r| j        d d …| j        f         S t          |¦  «        }|| j        vr| j        d d …| j        f         | j        |<   | j        |         S rK   ©rU   ÚjitÚ
is_tracingÚtrainingr´   r¨   Ústrrœ   ©r6   r)   Ú
device_keys      r9   Úget_attention_biaseszAttention.get_attention_biases'  ó„   € ÝŒ9×ÒÑ!Ô!ð 	9 T¤]ð 	9ØÔ(¨¨¨¨DÔ,DÐ)DÔEÐEå˜V™œˆJØ Ô!:Ð:Ð:Ø8<Ô8MÈaÈaÈaÐQUÔQiÐNiÔ8j�Ô)¨*Ñ5ØÔ,¨ZÔ8Ð8r:   c                 óV  — | j         rí|j        \  }}}}|                      |¦  «                             || j        d||z  ¦  «                             | j        | j        | j        gd¬¦  «        \  }}}|                     dd¦  «        |z  | j	        z  |  
                    |j        ¦  «        z   }	|	                     d¬¦  «        }	||	                     dd¦  «        z                       |d||¦  «        }�n|j        \  }}
}|                      |¦  «                             ||
| j        d¦  «                             | j        | j        | j        gd¬¦  «        \  }}}|                     dddd¦  «        }|                     dddd¦  «        }|                     dddd¦  «        }||z  | j	        z  |  
                    |j        ¦  «        z   }	|	                     d¬¦  «        }	|	|z                       dd¦  «                             ||
| j        ¦  «        }|                      |¦  «        }|S )Nrn   r=   ©rŸ   éþÿÿÿrz   r   r   )r£   rB   r¯   rp   r¡   Úsplitr    r­   Ú	transposer«   rà   r)   Úsoftmaxr•   r–   r®   r±   )r6   rM   r—   r™   ÚHÚWÚqÚkÚvÚattnr˜   s              r9   rN   zAttention.forward0  s  € ØŒ=ð 	LØœ‰JˆAˆq�!�QØ—h’h˜q‘k”k×&Ò&Ø�4”> 2 q¨1¡uñ.ô .ß.3ªe°T´\À4Ä<ÐQUÔQ]Ð4^Ðde¨eÑ.fÔ.fñ ˆAˆq�!ð —K’K  BÑ'Ô'¨!Ñ+¨t¬zÑ9¸D×<UÒ<UÐVWÔV^Ñ<_Ô<_Ñ_ˆDØ—<’< B�<Ñ'Ô'ˆDà�T—^’^ B¨Ñ+Ô+Ñ+×1Ò1°!°R¸¸AÑ>Ô>ˆA‰Aà”g‰GˆAˆq�!Ø—h’h˜q‘k”k×&Ò&Ø�1�d”n bñ*ô *ß*/ª%°´¸t¼|ÈTÌ\Ð0ZÐ`a¨%Ñ*bÔ*bñ ˆAˆq�!à—	’	˜!˜Q  1Ñ%Ô%ˆAØ—	’	˜!˜Q  1Ñ%Ô%ˆAØ—	’	˜!˜Q  1Ñ%Ô%ˆAà�q‘5˜4œ:Ñ%¨×(AÒ(AÀ!Ä(Ñ(KÔ(KÑKˆDØ—<’< B�<Ñ'Ô'ˆDà˜‘×$Ò$ Q¨Ñ*Ô*×2Ò2°1°a¸Ô9JÑKÔKˆAØ�IŠI�a‰LŒLˆØˆr:   ©T©r¿   NrK   ©rP   rQ   rR   r   rÝ   rU   ÚTensorÚ__annotations__r.   ÚSiLUrS   rT   r
   r   rr   r	   r…   r-   rV   r»   r·   rÎ   rÄ   rÖ   r)   rà   rN   rW   rX   s   @r9   r›   r›   Û   s‰  ø€ € € € € € Ø˜s E¤LÐ0Ô1Ð1Ð1Ñ1ð Ø "Ø68Ø"Ø)+¬ØØð' ð ' àð' ð ð' ð ð	' ð
 ð' ð ˜c 5¨¨c¨¤?Ð2Ô3ð' ð ð' ð ˜BœI”ð' ð ' ð ' ð ' ð ' ð ' ðR €U„]�_„_ð+ð +ð +ð +ð +ñ „_ð+ð
ð ð ð ð
ð ð ð ð'ð 'ð 'ð 'ðð ð ð ð9¨5¬<ð 9¸E¼Lð 9ð 9ð 9ð 9ðð ð ð ð ð ð r:   r›   c                   óB  ‡ — e Zd ZU eeej        f         ed<   ddddddej	        ddf	de
d	e
d
e
de
dede
dee
ee
e
f         f         dededeej                 fˆ fd„Z ej        ¦   «         dˆ fd„	¦   «         Zdd„Zdd„Zdd„Zdd„Zdej        dej        fd„Zd„ Zˆ xZS ) ÚAttentionDownsamplerœ   rw   ç       @r=   rž   FNÚin_dimÚout_dimr    r¡   r¢   r!   rŽ   r£   r�   ru   c                 óh  •— ||dœ}t          ¦   «                              ¦   «          t          |¦  «        }|| _        || _        || _        || _        ||z  | _        t          ||z  ¦  «        | _	        | j	        | j        z  | _
        |dz  | _        || _        | j        r-t          }t          t          j        |	rdnd|	rdndd¬¦  «        }nt"          }t          t$          f||	dœ|¤Ž} ||| j
        | j        z   fi |¤Ž| _        t          j        t+          d	 ||¬
¦  «        fd ||| j        fi |¤Žfg¦  «        ¦  «        | _        t          j        t+          d |
¦   «         fd || j
        |fi |¤Žfg¦  «        ¦  «        | _        |d         |d         z  }|d          |z   |d          |z   z  }t          j        t3          j        ||fi |¤Ž¦  «        | _        |                      dt3          j        ||f|t2          j        ¬¦  «        d¬¦  «         i | _        |                      ¦   «          d S )Nr(   r¥   rz   r   r   F)r    r"   r‘   )rŽ   r�   Údown)r!   r§   r¦   r¨   r©   ) r,   r-   r   r!   rŽ   r¡   r    r¬   rS   r­   r®   r«   r£   r   r   r.   r’   rZ   r�   Úkvr°   r   rê   r±   r²   rU   r³   r´   rµ   r¶   rœ   r·   )r6   r÷   rø   r    r¡   r¢   r!   rŽ   r£   r�   ru   r)   r*   r7   r¸   Ú	sub_layerÚN_kÚN_qr8   s                     €r9   r-   zAttentionDownsample.__init__M  s‹  ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐÝ˜zÑ*Ô*ˆ
àˆŒØ$ˆŒØ"ˆŒØˆŒØ# iÑ/ˆÔÝ˜:¨Ñ/Ñ0Ô0ˆŒØ œL¨4¬>Ñ9ˆÔØ ‘_ˆŒ
Ø ˆŒàŒ=ð 	\ÝˆHÝÝ”Ø!)Ð0˜A˜A¨q¸xÐ:N¸!¸!ÈQÐbgðiñ iô iˆIˆIõ "ˆHÝ¥
Ð[°zÈHÐ[Ð[ÐXZÐ[Ð[ˆIà�(˜6 4Ô#4°tÔ7HÑ#HÐOÐOÈBÐOÐOˆŒÝ”�{Ø�Y�Y fÐ-Ñ-Ô-Ð.Ø�8�8˜F DÔ$5Ð<Ð<¸Ð<Ð<Ð=ð,
ñ  ô  ñ ô ˆŒõ ”M¥+Ø�I�I‘K”KÐ Ø�8�8˜DÔ-¨wÐ=Ð=¸"Ð=Ð=Ð>ð/
ñ #ô #ñ ô ˆŒ	ð
 ˜Œm˜j¨œmÑ+ˆØ˜A”� &Ñ(Ð)¨z¸!¬}¨nÀÑ.FÐ,GÑGˆÝ "¤­U¬[¸ÀCÐ-NÐ-NÈ2Ð-NÐ-NÑ OÔ OˆÔØ×ÒÐ2µE´KÀÀcÀ
ÐSYÕafÔakÐ4lÑ4lÔ4lÐy~ÐÑÔÐØ$&ˆÔ!ð 	×ÒÑÔÐÐÐr:   Tc                 ój   •— t          ¦   «                              |¦  «         | j        r	i | _        d S d S rK   rº   r¼   s     €r9   r»   zAttentionDownsample.train†  r¾   r:   r¿   c                 óv   — t           j                             | j        ¦  «         |                      ¦   «          dS rÁ   rÂ   rÅ   s    r9   r·   z$AttentionDownsample.reset_parametersŒ  rÆ   r:   c                 óÞ  — t          j        t          t          j        | j        d         |t           j        ¬¦  «        t          j        | j        d         |t           j        ¬¦  «        ¦  «        ¦  «                             d¦  «        }t          j        t          t          j        d| j        d         | j        |t           j        ¬¦  «        t          j        d| j        d         | j        |t           j        ¬¦  «        ¦  «        ¦  «                             d¦  «        }|ddd…df         |dddd…f         z
                       ¦   «         }|d         | j        d         z  |d         z   }|S )rÈ   r   r(   r   )Ústepr)   r*   .N)	rU   rÉ   r   rÊ   rŽ   r¶   rc   r!   rË   )r6   r)   Úk_posÚq_posrÍ   s        r9   rÎ   z0AttentionDownsample._compute_attention_bias_idxs‘  s;  € å”�FÝŒL˜œ¨Ô+°FÅ%Ä*ÐMÑMÔMÝŒL˜œ¨Ô+°FÅ%Ä*ÐMÑMÔMñ
ô 
ñ ô ÷ Š7�1‰:Œ:ð 	õ ”�FÝŒL˜˜DœO¨AÔ.°T´[ÈÕW\ÔWaÐbÑbÔbÝŒL˜˜DœO¨AÔ.°T´[ÈÕW\ÔWaÐbÑbÔbñ
ô 
ñ ô ÷ Š7�1‰:Œ:ð 	ð ˜˜a˜a˜a ˜Ô&¨¨s°D¸!¸!¸!¨|Ô)<Ñ<×AÒAÑCÔCˆØ˜1”: ¤°Ô 2Ñ2°g¸a´jÑ@ˆØˆr:   c                 ó„   — | j                              |                      | j         j        ¬¦  «        ¦  «         i | _        dS rÐ   rÑ   rÅ   s    r9   rÄ   z!AttentionDownsample._init_buffersŸ  rÒ   r:   c                 ó.   — |                       ¦   «          dS rÔ   rÕ   rÅ   s    r9   rÖ   z/AttentionDownsample.init_non_persistent_buffers¦  r×   r:   r)   c                 óþ   — t           j                             ¦   «         s| j        r| j        d d …| j        f         S t          |¦  «        }|| j        vr| j        d d …| j        f         | j        |<   | j        |         S rK   rÙ   rÞ   s      r9   rà   z(AttentionDownsample.get_attention_biasesª  rá   r:   c                 óV  — | j         �r@|j        \  }}}}|dz
  | j        z  dz   |dz
  | j        z  dz   }}|                      |¦  «                             || j        d||z  ¦  «                             | j        | j        gd¬¦  «        \  }}	|  	                    |¦  «                             || j        | j        d¦  «        }
|
 
                    dd¦  «        |z  | j        z  |                      |j        ¦  «        z   }|                     d¬¦  «        }|	| 
                    dd¦  «        z                       || j        ||¦  «        }�nK|j        \  }}}|                      |¦  «                             ||| j        d¦  «                             | j        | j        gd¬¦  «        \  }}	|                     dddd¦  «        }|	                     dddd¦  «        }	|  	                    |¦  «                             |d| j        | j        ¦  «                             dddd¦  «        }
|
|z  | j        z  |                      |j        ¦  «        z   }|                     d¬¦  «        }||	z   
                    dd¦  «                             |d| j        ¦  «        }|                      |¦  «        }|S )Nr   rn   r=   rã   rä   rz   r   )r£   rB   r!   rû   rp   r¡   rå   r    r­   rê   ræ   r«   rà   r)   rç   r–   r®   r•   r±   )r6   rM   r—   r™   rè   ré   ÚHHÚWWrë   rì   rê   rí   r˜   s                r9   rN   zAttentionDownsample.forward³  sd  € ØŒ=ñ 	MØœ‰JˆAˆq�!�QØ˜!‘e ¤Ñ+¨aÑ/°!°a±%¸D¼KÑ1GÈ!Ñ1K�ˆBØ—7’7˜1‘:”:—?’? 1 d¤n°b¸!¸a¹%Ñ@Ô@×FÒFÈÌÐVZÔVbÐGcÐijÐFÑkÔk‰DˆAˆqØ—’�q‘	”	—’˜q $¤.°$´,ÀÑCÔCˆAà—K’K  BÑ'Ô'¨!Ñ+¨t¬zÑ9¸D×<UÒ<UÐVWÔV^Ñ<_Ô<_Ñ_ˆDØ—<’< B�<Ñ'Ô'ˆDà�T—^’^ B¨Ñ+Ô+Ñ+×4Ò4°Q¸Ô8IÈ2ÈrÑRÔRˆA‰Aà”g‰GˆAˆq�!Ø—7’7˜1‘:”:—?’? 1 a¨¬¸Ñ<Ô<×BÒBÀDÄLÐRVÔR^ÐC_ÐefÐBÑgÔg‰DˆAˆqØ—	’	˜!˜Q  1Ñ%Ô%ˆAØ—	’	˜!˜Q  1Ñ%Ô%ˆAØ—’�q‘	”	—’˜q " d¤n°d´lÑCÔC×KÒKÈAÈqÐRSÐUVÑWÔWˆAà�q‘5˜4œ:Ñ%¨×(AÒ(AÀ!Ä(Ñ(KÔ(KÑKˆDØ—<’< B�<Ñ'Ô'ˆDà˜‘×$Ò$ Q¨Ñ*Ô*×2Ò2°1°b¸$Ô:KÑLÔLˆAØ�IŠI�a‰LŒLˆØˆr:   rî   rï   rK   rð   rX   s   @r9   rõ   rõ   J  s­  ø€ € € € € € Ø˜s E¤LÐ0Ô1Ð1Ð1Ñ1ð Ø #ØØ68Ø"Ø"Ø)+¬ØØð7 ð 7 àð7 ð ð7 ð ð	7 ð
 ð7 ð ð7 ð ð7 ð ˜c 5¨¨c¨¤?Ð2Ô3ð7 ð ð7 ð ð7 ð ˜BœI”ð7 ð 7 ð 7 ð 7 ð 7 ð 7 ðr €U„]�_„_ð+ð +ð +ð +ð +ñ „_ð+ð
ð ð ð ð
ð ð ð ð'ð 'ð 'ð 'ðð ð ð ð9¨5¬<ð 9¸E¼Lð 9ð 9ð 9ð 9ðð ð ð ð ð ð r:   rõ   c                   óŠ   ‡ — e Zd ZdZdddej        dddfdedee         dee         ded	e	ej
                 d
efˆ fd„Zd„ Zˆ xZS )ÚLevitMlpzL MLP for Levit w/ normalization + ability to switch btw conv and linear
    NFrh   r[   Úhidden_featuresr\   r£   ru   rj   c	                 ó  •— ||dœ}	t          ¦   «                              ¦   «          |p|}|p|}|rt          nt          }
 |
||fi |	¤Ž| _         |¦   «         | _        t          j        |¦  «        | _         |
||fddi|	¤Ž| _	        d S )Nr(   r%   r   )
r,   r-   r   rZ   Úln1r¦   r.   rl   rj   Úln2)r6   r[   r  r\   r£   ru   rj   r)   r*   r7   r¸   r8   s              €r9   r-   zLevitMlp.__init__Ð  s§   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ#Ð2 {ˆØ)Ð8¨[ˆØ'Ð7•8�8­Zˆà�8˜K¨Ð?Ð?¸BÐ?Ð?ˆŒØ�9‘;”;ˆŒÝ”J˜tÑ$Ô$ˆŒ	Ø�8˜O¨\ÐRÐRÈ!ÐRÈrÐRÐRˆŒˆˆr:   c                 ó®   — |                       |¦  «        }|                      |¦  «        }|                      |¦  «        }|                      |¦  «        }|S rK   )r  r¦   rj   r  rL   s     r9   rN   zLevitMlp.forwardæ  sC   € Ø�HŠH�Q‰KŒKˆØ�HŠH�Q‰KŒKˆØ�IŠI�a‰LŒLˆØ�HŠH�Q‰KŒKˆØˆr:   )rP   rQ   rR   Ú__doc__r.   ró   rS   r   rr   r	   r…   rT   r-   rN   rW   rX   s   @r9   r  r  Í  sÉ   ø€ € € € € ðð ð
 .2Ø*.Ø"Ø)+¬ØØØðSð SàðSð & cœ]ðSð # 3œ-ð	Sð
 ðSð ˜BœI”ðSð ðSð Sð Sð Sð Sð Sð,ð ð ð ð ð ð r:   r  c                   óÐ   ‡ — e Zd Zdddej        dddddddfded	ed
ededededeej                 de	eej                          de
eeeef         f         dededefˆ fd„Zd„ Zˆ xZS )ÚLevitDownsamplerw   r�   rö   Nrž   Frh   r÷   rø   r    r¡   r¢   Ú	mlp_ratioru   Úattn_act_layerrŽ   r£   r�   Ú	drop_pathc                 ó6  •— ||dœ}t          ¦   «                              ¦   «          |p|}t          d|||||||	|
|dœ	|¤Ž| _        t	          |t          ||z  ¦  «        f|
|dœ|¤Ž| _        |dk    rt          |¦  «        nt          j	        ¦   «         | _
        d S )Nr(   )	r÷   rø   r    r¡   r¢   ru   rŽ   r£   r�   ©r£   ru   rh   © )r,   r-   rõ   Úattn_downsampler  rS   Úmlpr   r.   ÚIdentityr  )r6   r÷   rø   r    r¡   r¢   r  ru   r  rŽ   r£   r�   r  r)   r*   r7   r8   s                   €r9   r-   zLevitDownsample.__init__ï  sÝ   ø€ ð" ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ'Ð4¨9ˆå2ð  
ØØØØØ!Ø$Ø!ØØð 
ð  
ð ð 
ð  
ˆÔõ ØÝ�˜)Ñ#Ñ$Ô$ð
ð Øð	
ð 
ð
 ð
ð 
ˆŒð 1:¸B²°� )Ñ,Ô,Ð,ÅBÄKÁMÄMˆŒˆˆr:   c                 ó†   — |                       |¦  «        }||                      |                      |¦  «        ¦  «        z   }|S rK   )r  r  r  rL   s     r9   rN   zLevitDownsample.forward  s:   € Ø× Ò  Ñ#Ô#ˆØ�—’˜tŸxšx¨™{œ{Ñ+Ô+Ñ+ˆØˆr:   )rP   rQ   rR   r.   ró   rS   rT   r	   r…   r   r
   r   rr   r-   rN   rW   rX   s   @r9   r  r  î  s#  ø€ € € € € ð Ø "Ø!Ø)+¬Ø8<Ø68Ø"Ø"Ø!ØØð)Rð )Ràð)Rð ð)Rð ð	)Rð
 ð)Rð ð)Rð ð)Rð ˜BœI”ð)Rð % T¨"¬)¤_Ô5ð)Rð ˜c 5¨¨c¨¤?Ð2Ô3ð)Rð ð)Rð ð)Rð ð)Rð )Rð )Rð )Rð )Rð )RðVð ð ð ð ð ð r:   r  c                   óÆ   ‡ — e Zd Zdddddej        ddddf
ded	ed
edededeeeeef         f         de	de
ej                 dee
ej                          defˆ fd„Zd„ Zˆ xZS )Ú
LevitBlockrw   r�   rö   rž   FNrh   rŸ   r    r¡   r¢   r  rŽ   r£   ru   r  r  c                 óŒ  •— ||dœ}t          ¦   «                              ¦   «          |	p|}	t          d|||||||	dœ|¤Ž| _        |
dk    rt	          |
¦  «        nt          j        ¦   «         | _        t          |t          ||z  ¦  «        f||dœ|¤Ž| _
        |
dk    rt	          |
¦  «        nt          j        ¦   «         | _        d S )Nr(   )rŸ   r    r¡   r¢   rŽ   r£   ru   rh   r  r  )r,   r-   r›   rí   r   r.   r  Ú
drop_path1r  rS   r  Ú
drop_path2)r6   rŸ   r    r¡   r¢   r  rŽ   r£   ru   r  r  r)   r*   r7   r8   s                 €r9   r-   zLevitBlock.__init__!  s÷   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ'Ð4¨9ˆåð 	ØØØØ!Ø!ØØ$ð	ð 	ð ð	ð 	ˆŒ	ð 2;¸R²°�( 9Ñ-Ô-Ð-ÅRÄ[Á]Ä]ˆŒåØÝ��i‘Ñ Ô ð
ð Øð	
ð 
ð
 ð
ð 
ˆŒð 2;¸R²°�( 9Ñ-Ô-Ð-ÅRÄ[Á]Ä]ˆŒˆˆr:   c                 ó²   — ||                       |                      |¦  «        ¦  «        z   }||                      |                      |¦  «        ¦  «        z   }|S rK   )r"  rí   r#  r  rL   s     r9   rN   zLevitBlock.forwardI  sG   € Ø�—’ §	¢	¨!¡¤Ñ-Ô-Ñ-ˆØ�—’ §¢¨¡¤Ñ,Ô,Ñ,ˆØˆr:   )rP   rQ   rR   r.   ró   rS   rT   r
   r   rr   r	   r…   r   r-   rN   rW   rX   s   @r9   r   r      s
  ø€ € € € € ð
 Ø "Ø!Ø68Ø"Ø)+¬Ø8<Ø!ØØð&Sð &Sàð&Sð ð&Sð ð	&Sð
 ð&Sð ð&Sð ˜c 5¨¨c¨¤?Ð2Ô3ð&Sð ð&Sð ˜BœI”ð&Sð % T¨"¬)¤_Ô5ð&Sð ð&Sð &Sð &Sð &Sð &Sð &SðPð ð ð ð ð ð r:   r   c                   óÖ   ‡ — e Zd Zddddej        dddddddfd	ed
ededededededeej                 de	eej                          de
eeeef         f         dededefˆ fd„Zd„ Zˆ xZS )Ú
LevitStagery   rw   r�   Nrž   Ú Frh   r÷   rø   r    Údepthr¡   r¢   r  ru   r  rŽ   Ú
downsampler£   r  c                 ó’  •— ||dœ}t          ¦   «                              ¦   «          t          |
¦  «        }
|r-t          ||f|||z  dd||	|
||dœ	|¤Ž| _        d„ |
D ¦   «         }
n ||k    sJ ‚t          j        ¦   «         | _        g }t          |¦  «        D ]}|t          ||f|||||	|
||dœ|¤Žgz  }Œt          j	        |Ž | _
        d S )Nr(   r�   rö   )	r    r¡   r¢   r  ru   r  rŽ   r£   r  c                 ó$   — g | ]}|d z
  dz  d z   ‘ŒS )r   r=   r  )Ú.0Úrs     r9   ú
<listcomp>z'LevitStage.__init__.<locals>.<listcomp>u  s%   € Ð?Ð?Ð?¨q˜1˜q™5 Q™,¨Ñ*Ð?Ð?Ð?r:   )r¡   r¢   r  ru   r  rŽ   r£   r  )r,   r-   r   r  r)  r.   r  Úranger   r°   Úblocks)r6   r÷   rø   r    r(  r¡   r¢   r  ru   r  rŽ   r)  r£   r  r)   r*   r7   r0  Ú_r8   s                      €r9   r-   zLevitStage.__init__P  s?  ø€ ð$ ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐÝ˜zÑ*Ô*ˆ
àð 	,Ý-ØØðð  Ø  GÑ+ØØØ#Ø-Ø%Ø!Ø#ðð ð ðð ˆDŒOð @Ð?°JÐ?Ñ?Ô?ˆJˆJà˜WÒ$Ð$Ð$Ð$Ý œk™mœmˆDŒOàˆÝ�u‘”ð 	ð 	ˆAØ•zØØðð $Ø%Ø#Ø#Ø-Ø%Ø!Ø#ðð ð ðð ð ñ ˆFˆFõ ”m VÐ,ˆŒˆˆr:   c                 óZ   — |                       |¦  «        }|                      |¦  «        }|S rK   )r)  r0  rL   s     r9   rN   zLevitStage.forward‹  s'   € Ø�OŠO˜AÑÔˆØ�KŠK˜‰NŒNˆØˆr:   )rP   rQ   rR   r.   ró   rS   rT   r	   r…   r   r
   r   rÝ   rr   r-   rN   rW   rX   s   @r9   r&  r&  O  s  ø€ € € € € ð ØØ #Ø"Ø)+¬Ø8<Ø68Ø Ø"Ø!ØØð!9-ð 9-àð9-ð ð9-ð ð	9-ð
 ð9-ð ð9-ð ð9-ð ð9-ð ˜BœI”ð9-ð % T¨"¬)¤_Ô5ð9-ð ˜c 5¨¨c¨¤?Ð2Ô3ð9-ð ð9-ð ð9-ð ð9-ð 9-ð 9-ð 9-ð 9-ð 9-ðvð ð ð ð ð ð r:   r&  c            '       ó|  ‡ — e Zd ZdZ	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 dAdeeeeef         f         dededeedf         dedeedf         deeeedf         f         deeeedf         f         deeeedf         f         dee	j
                 dee         dededed ee         d!ed"ed#ed$ef&ˆ fd%„ZdBd'efd(„ZdBd)e	j
        d'ed*d
fd+„Zej        j        d,„ ¦   «         Zej        j        dCd-„¦   «         Zej        j        dBd.„¦   «         Zej        j        d*e	j
        fd/„¦   «         ZdDded"ee         fd0„Z	 	 	 	 	 dEd2ej        d3eeeee         f                  d4ed5ed6ed7ed*eeej                 eej        eej                 f         f         fd8„Z	 	 	 dFd3eeee         f         d:ed;efd<„Zd=„ ZdCd>efd?„Zd@„ Zˆ xZS )Gr   zß Vision Transformer with support for patch or hybrid CNN input stage

    NOTE: distillation is defaulted to True since pretrained weights use it, will cause problems
    w/ train scripts that don't take tuple outputs,
    éà   rz   éè  ©éÀ   é@   ©é   ©rz   rö   NÚs16Ú	subsampleÚ
hard_swishFÚavgrh   Úimg_sizeÚin_chansÚnum_classesÚ	embed_dim.r    r(  r¡   r¢   r  Ústem_backboneÚstem_strideÚ	stem_typeÚdown_opru   r  r£   Úglobal_poolÚ	drop_rateÚdrop_path_ratec                 ó~  •‡— t          ¦   «                              ¦   «          ||dœ}t          |¦  «        }t          |p|¦  «        }|| _        || _        || _        || _        |d         x| _        | _        || _	        || _
        d| _        g | _        t          |¦  «        }t          |¦  «        |k    sJ ‚ t          |¦  «        |¦  «        } t          |¦  «        |¦  «        } t          |¦  «        |	¦  «        }	|
�|dk    sJ ‚|
| _        |}nO|dv sJ ‚|dk    rt!          ||d         fd|i|¤Ž| _        nt#          ||d         fd|i|¤Ž| _        | j        j        }t'          d	„ t)          t+          |¦  «        t+          |¦  «        ¦  «        D ¦   «         ¦  «        }|d         }g }t-          |¦  «        D ]¢}|dk    rdnd
Š|t/          |||         |f||         ||         ||         |	|         ||||‰dk    r|nd|dœ
|¤Žgz  }|‰z  }t'          ˆfd„|D ¦   «         ¦  «        }| xj        t1          ||         |d|› �¬¦  «        gz  c_        ||         }Œ£t3          j        |Ž | _        |dk    rt9          |d         |fd|i|¤Žnt3          j        ¦   «         | _        |                      d¬¦  «         d S )Nr(   rn   Fr=   )r<  Ús8r<  r   ru   c                 ó   — g | ]
\  }}||z  ‘ŒS r  r  )r,  ÚiÚps      r9   r.  z"Levit.__init__.<locals>.<listcomp>Ï  s    € Ð[Ð[Ð[¡t q¨!˜A ™FÐ[Ð[Ð[r:   r   r'  )
r(  r¡   r¢   r  ru   r  rŽ   r£   r)  r  c                 ó&   •— g | ]}|d z
  ‰z  d z   ‘ŒS )r   r  )r,  r-  Ústage_strides     €r9   r.  z"Levit.__init__.<locals>.<listcomp>æ  s'   ø€ ÐPÐPÐPÀ  Q¡¨<Ñ 7¸!Ñ ;ÐPÐPÐPr:   zstages.)Únum_chsÚ	reductionÚmodulerj   ©Úneeds_reset) r,   r-   r   r£   rB  rA  rH  Únum_featuresÚhead_hidden_sizerC  rI  Úgrad_checkpointingÚfeature_infoÚlenr   Ústemr‡   rt   r!   ÚtupleÚzipr   r/  r&  Údictr.   r°   Ústagesrf   r  ÚheadÚinit_weights)r6   r@  rA  rB  rC  r    r(  r¡   r¢   r  rD  rE  rF  rG  ru   r  r£   rH  rI  rJ  r)   r*   r7   Ú
num_stagesr!   rŽ   r÷   r`  rN  rQ  r8   s                                @€r9   r-   zLevit.__init__˜  sS  øø€ õ0 	‰Œ×ÒÑÔÐØ¨Ð/Ð/ˆÝ! )Ñ,Ô,ˆ	Ý& ~Ð'B¸ÑCÔCˆØ ˆŒØ&ˆÔØ ˆŒØ&ˆÔØ4=¸b´MÐAˆÔ˜DÔ1Ø"ˆŒØ"ˆŒØ"'ˆÔØˆÔå˜‘^”^ˆ
Ý�5‰zŒz˜ZÒ'Ð'Ð'Ð'Ø)•I˜jÑ)Ô)¨)Ñ4Ô4ˆ	Ø*•Y˜zÑ*Ô*¨:Ñ6Ô6ˆ
Ø)•I˜jÑ)Ô)¨)Ñ4Ô4ˆ	àÐ$Ø !Ò#Ð#Ð#Ð#Ø%ˆDŒIØ ˆFˆFà Ð-Ð-Ð-Ð-Ø˜EÒ!Ð!Ý" 8¨Y°q¬\ÐUÐUÀYÐUÐRTÐUÐU�”	�	å! (¨I°a¬LÐTÐTÀIÐTÐQSÐTÐT�”	Ø”YÔ%ˆFÝÐ[Ð[­sµ9¸XÑ3FÔ3FÍ	ÐRXÑHYÔHYÑ/ZÔ/ZÐ[Ñ[Ô[Ñ\Ô\ˆ
à˜1”ˆØˆÝ�zÑ"Ô"ð 	"ð 	"ˆAØ ! A¢ ˜1˜1¨1ˆLØ•zØØ˜!”Øðð ˜A”hØ# Aœ,Ø% aœ=Ø# Aœ,Ø#Ø-Ø%Ø!Ø&2°aÒ&7Ð&7˜7˜7¸RØ(ðð ð ðð ð ñ ˆFð  �lÑ"ˆFÝÐPÐPÐPÐPÀZÐPÑPÔPÑQÔQˆJØÐÔ¥$¨y¸¬|ÀvÐVcÐ`aÐVcÐVcÐ"dÑ"dÔ"dÐ!eÑeÐÔØ˜q”\ˆFˆFÝ”m VÐ,ˆŒð U`ÐbcÒTcÐTc•J˜y¨œ}¨kÐPÐPÀ	ÐPÈRÐPÐPÐPÕikÔitÑivÔivˆŒ	ð 	×Ò eÐÑ,Ô,Ð,Ð,Ð,r:   TrV  c                 óX   — |                       t          | j        |¬¦  «        ¦  «         d S )NrU  )Úapplyr   Ú_init_weights)r6   rV  s     r9   rb  zLevit.init_weightsñ  s*   € Ø�
Š
•7˜4Ô-¸;ÐGÑGÔGÑHÔHÐHÐHÐHr:   rH   r¿   c                 óZ   — |r&t          |d¦  «        r|                     ¦   «          d S d S d S )Nr·   )Úhasattrr·   )r6   rH   rV  s      r9   rf  zLevit._init_weightsô  sH   € Øð 	!�7 1Ð&8Ñ9Ô9ð 	!Ø×ÒÑ Ô Ð Ð Ð ð	!ð 	!ð 	!ð 	!r:   c                 ób   — d„ |                       ¦   «                              ¦   «         D ¦   «         S )Nc                 ó   — h | ]}d |v ¯|’Œ	S )r´   r  )r,  rM   s     r9   ú	<setcomp>z(Levit.no_weight_decay.<locals>.<setcomp>ú  s#   € ÐOÐOÐO�aÐ7IÈQÐ7NÐ7N�Ð7NÐ7NÐ7Nr:   )Ú
state_dictÚkeysrÅ   s    r9   Úno_weight_decayzLevit.no_weight_decayø  s,   € àOÐO˜4Ÿ?š?Ñ,Ô,×1Ò1Ñ3Ô3ÐOÑOÔOÐOr:   c                 ó,   — t          dddg¬¦  «        }|S )Nz ^cls_token|pos_embed|patch_embed)z^blocks\.(\d+)N)z^norm)iŸ† )r\  r0  )r_  )r6   ÚcoarseÚmatchers      r9   Úgroup_matcherzLevit.group_matcherü  s)   € åØ4Ø-Ð/CÐDð
ñ 
ô 
ˆð ˆr:   c                 ó   — || _         d S rK   )rY  ©r6   Úenables     r9   Úset_grad_checkpointingzLevit.set_grad_checkpointing  ó   € à"(ˆÔÐÐr:   c                 ó   — | j         S rK   )ra  rÅ   s    r9   Úget_classifierzLevit.get_classifier  s
   € àŒyÐr:   c                 óò   — t          | ¦  «        }|| _        |�|| _        |dk    rt          | j        |fd| j        i|¤Žnt          j        ¦   «         | _        | j         	                    | j
        ¦  «         d S ©Nr   rj   )r   rB  rH  rf   rW  rI  r.   r  ra  r»   rÜ   ©r6   rB  rH  r7   s       r9   Úreset_classifierzLevit.reset_classifier  s—   € Ý˜dÑ#Ô#ˆØ&ˆÔØÐ"Ø*ˆDÔàJUÐXYÊ/È/õ ØÔ˜{ðGð GØ15´ðGØCEðGð Gð GÝ_aÔ_jÑ_lÔ_lð 	Œ	àŒ	�Š˜œÑ&Ô&Ð&Ð&Ð&r:   ÚNCHWrM   ÚindicesÚnormÚ
stop_earlyÚ
output_fmtÚintermediates_onlyc           	      ó.  — |dv s
J d¦   «         ‚g }t          t          | j        ¦  «        |¦  «        \  }}	|                      |¦  «        }|j        \  }
}}}| j        s)|                     d¦  «                             dd¦  «        }t          j	         
                    ¦   «         s|s| j        }n| j        d|	dz   …         }t          |¦  «        D ]¾\  }}| j        r/t          j	         
                    ¦   «         st          ||¦  «        }n ||¦  «        }||v r^| j        r|                     |¦  «         nA|                     |                     |
||d¦  «                             dddd¦  «        ¦  «         |dz   dz
  dz  }|dz   dz
  dz  }Œ¿|r|S ||fS )	aï   Forward features that returns intermediates.

        Args:
            x: Input image tensor
            indices: Take last n blocks if int, all if None, select matching indices if sequence
            norm: Apply norm layer to compatible intermediates
            stop_early: Stop iterating over blocks when last desired intermediate hit
            output_fmt: Shape of intermediate feature outputs
            intermediates_only: Only return intermediate features
        Returns:

        )r~  zOutput shape must be NCHW.r=   r   Nrn   r   rz   )r   r[  r`  r\  rB   r£   rc   ræ   rU   rÚ   Úis_scriptingÚ	enumeraterY  r   Úappendr–   r•   )r6   rM   r  r€  r�  r‚  rƒ  ÚintermediatesÚtake_indicesÚ	max_indexr—   r™   rè   ré   r`  Úfeat_idxÚstages                    r9   Úforward_intermediateszLevit.forward_intermediates  sÄ  € ð* ˜YÐ&Ð&Ð&Ð(DÑ&Ô&Ð&ØˆÝ"6µs¸4¼;Ñ7GÔ7GÈÑ"QÔ"QÑˆ�ið �IŠI�a‰LŒLˆØ”W‰
ˆˆ1ˆa�ØŒ}ð 	-Ø—	’	˜!‘”×&Ò& q¨!Ñ,Ô,ˆAåŒ9×!Ò!Ñ#Ô#ð 	1¨:ð 	1Ø”[ˆFˆFà”[  )¨a¡- Ô0ˆFÝ(¨Ñ0Ô0ð 	!ð 	!‰OˆH�eØÔ&ð ­u¬y×/EÒ/EÑ/GÔ/Gð Ý˜u aÑ(Ô(��à�E˜!‘H”H�Ø˜<Ð'Ð'Ø”=ð UØ!×(Ò(¨Ñ+Ô+Ð+Ð+à!×(Ò(¨¯ª°1°a¸¸BÑ)?Ô)?×)GÒ)GÈÈ1ÈaÐQRÑ)SÔ)SÑTÔTÐTØ�Q‘˜‘˜qÑ ˆAØ�Q‘˜‘˜qÑ ˆAˆAàð 	!Ø Ð à�-ÐÐr:   r   Ú
prune_normÚ
prune_headc                 ó®   — t          t          | j        ¦  «        |¦  «        \  }}| j        d|dz   …         | _        |r|                      dd¦  «         |S )z@ Prune layers not required for specified intermediates.
        Nr   r   r'  )r   r[  r`  r}  )r6   r  rŽ  r�  r‰  rŠ  s         r9   Úprune_intermediate_layerszLevit.prune_intermediate_layersJ  s\   € õ #7µs¸4¼;Ñ7GÔ7GÈÑ"QÔ"QÑˆ�iØ”k . 9¨q¡= .Ô1ˆŒØð 	)Ø×!Ò! ! RÑ(Ô(Ð(ØÐr:   c                 ó0  — |                       |¦  «        }| j        s)|                     d¦  «                             dd¦  «        }| j        r4t
          j                             ¦   «         st          | j	        |¦  «        }n|  	                    |¦  «        }|S )Nr=   r   )
r\  r£   rc   ræ   rY  rU   rÚ   r…  r   r`  rL   s     r9   Úforward_featureszLevit.forward_featuresX  s�   € Ø�IŠI�a‰LŒLˆØŒ}ð 	-Ø—	’	˜!‘”×&Ò& q¨!Ñ,Ô,ˆAØÔ"ð 	­5¬9×+AÒ+AÑ+CÔ+Cð 	Ý˜tœ{¨AÑ.Ô.ˆAˆAà—’˜A‘”ˆAØˆr:   Ú
pre_logitsc                 ó°   — | j         dk    r3| j        r|                     d¬¦  «        n|                     d¬¦  «        }|r|n|                      |¦  «        S )Nr?  ©rä   rn   rã   r   )rH  r£   Úmeanra  )r6   rM   r”  s      r9   Úforward_headzLevit.forward_headb  sT   € ØÔ˜uÒ$Ð$Ø(,¬ÐH�—’˜8�Ñ$Ô$Ð$¸1¿6º6Àa¸6¹=¼=ˆAØÐ0ˆqˆq D§I¢I¨a¡L¤LÐ0r:   c                 óZ   — |                       |¦  «        }|                      |¦  «        }|S rK   )r“  r˜  rL   s     r9   rN   zLevit.forwardg  s-   € Ø×!Ò! !Ñ$Ô$ˆØ×Ò˜aÑ Ô ˆØˆr:   )r4  rz   r5  r6  r8  r9  r;  rö   rö   NNr<  r=  r>  NFr?  rh   rh   NNrî   ©FrK   )NFFr~  F)r   FT) rP   rQ   rR   r  r
   rS   r   rT   r   r.   r…   rÝ   rr   r-   rb  rf  rU   rÚ   Úignorern  rr  rv  ry  r}  rñ   r   r�  r‘  r“  r˜  rN   rW   rX   s   @r9   r   r   ‘  s  ø€ € € € € ðð ð 58ØØ#Ø)/ØØ%*Ø59Ø:<Ø9;Ø15Ø)-Ø"Ø&Ø)Ø,0Ø"Ø$Ø!Ø$&ØØð-W-ð W-à˜C  s¨C x¤Ð0Ô1ðW-ð ðW-ð ð	W-ð
 ˜S #˜X”ðW-ð ðW-ð ˜˜c˜”?ðW-ð ˜S %¨¨S¨¤/Ð1Ô2ðW-ð ˜e U¨5°#¨:Ô%6Ð6Ô7ðW-ð ˜U E¨%°¨*Ô$5Ð5Ô6ðW-ð $ B¤IÔ.ðW-ð " #œðW-ð ðW-ð ðW-ð ðW-ð  % SœMð!W-ð" ð#W-ð$ ð%W-ð& ð'W-ð( "ð)W-ð W-ð W-ð W-ð W-ð W-ðrIð I¨ð Ið Ið Ið Ið!ð !˜rœyð !°tð !Àtð !ð !ð !ð !ð „YÔðPð Pñ ÔðPð „YÔðð ð ñ Ôðð „YÔð)ð )ð )ñ Ôð)ð „YÔð ¤	ð ð ð ñ Ôðð'ð '¨Cð '¸xÈ¼}ð 'ð 'ð 'ð 'ð 8<ØØ$Ø$Ø',ð3 ð 3 àŒ|ð3 ð ˜e C¨¨c¬ NÔ3Ô4ð3 ð ð	3 ð
 ð3 ð ð3 ð !%ð3 ð 
ˆt�E”LÔ! 5¨¬°t¸E¼LÔ7IÐ)IÔ#JÐJÔ	Kð3 ð 3 ð 3 ð 3 ðn ./Ø$Ø#ð	ð à˜3  S¤	˜>Ô*ðð ðð ð	ð ð ð ðð ð ð1ð 1¨$ð 1ð 1ð 1ð 1ð
ð ð ð ð ð ð r:   c                   ó°   ‡ — e Zd Zˆ fd„Zej        j        dej        fd„¦   «         Z	dde
dee         fd„Zej        j        dd	„¦   «         Zddefd„Zˆ xZS )ÚLevitDistilledc                 ó  •—  t          ¦   «         j        |i |¤Ž |                     dd ¦  «        |                     dd ¦  «        dœ}| j        dk    rt	          | j        | j        fi |¤Žnt          j        ¦   «         | _        d| _	        d S )Nr)   r*   r(   r   F)
r,   r-   ÚgetrB  rf   rW  r.   r  Ú	head_distÚdistilled_training)r6   ÚargsÚkwargsr7   r8   s       €r9   r-   zLevitDistilled.__init__n  s“   ø€ Ø�‰ŒÔ˜$Ð) &Ð)Ð)Ð)ØŸ
š
 8¨TÑ2Ô2¸V¿ZºZÈÐQUÑ=VÔ=VÐWÐWˆØRVÔRbÐefÒRfÐRf� DÔ$5°tÔ7GÐNÐNÈ2ÐNÐNÐNÕlnÔlwÑlyÔlyˆŒØ"'ˆÔÐÐr:   r¿   c                 ó   — | j         | j        fS rK   )ra  r   rÅ   s    r9   ry  zLevitDistilled.get_classifiert  s   € àŒy˜$œ.Ð(Ð(r:   NrB  rH  c                 ó’  — t          | ¦  «        }|| _        |�|| _        |dk    rt          | j        |fd| j        i|¤Žnt          j        ¦   «         | _        | j         	                    | j
        ¦  «         |dk    rt          | j        |fi |¤Žnt          j        ¦   «         | _        | j         	                    | j
        ¦  «         d S r{  )r   rB  rH  rf   rW  rI  r.   r  ra  r»   rÜ   r   r|  s       r9   r}  zLevitDistilled.reset_classifierx  sã   € Ý˜dÑ#Ô#ˆØ&ˆÔØÐ"Ø*ˆDÔàJUÐXYÊ/È/õ ØÔ˜{ðGð GØ15´ðGØCEðGð Gð GÝ_aÔ_jÑ_lÔ_lð 	Œ	àŒ	�Š˜œÑ&Ô&Ð&ØMXÐ[\Ê_È_� DÔ$5°{ÐIÐIÀbÐIÐIÐIÕbdÔbmÑboÔboˆŒØŒ×Ò˜Tœ]Ñ+Ô+Ð+Ð+Ð+r:   Tc                 ó   — || _         d S rK   )r¡  rt  s     r9   Úset_distilled_trainingz%LevitDistilled.set_distilled_trainingƒ  rw  r:   Fr”  c                 óJ  — | j         dk    r3| j        r|                     d¬¦  «        n|                     d¬¦  «        }|r|S |                      |¦  «        |                      |¦  «        }}| j        r)| j        r"t          j         	                    ¦   «         s||fS ||z   dz  S )Nr?  r–  rã   r   r=   )
rH  r£   r—  ra  r   r¡  rÜ   rU   rÚ   r…  )r6   rM   r”  Úx_dists       r9   r˜  zLevitDistilled.forward_head‡  s«   € ØÔ˜uÒ$Ð$Ø(,¬ÐH�—’˜8�Ñ$Ô$Ð$¸1¿6º6Àa¸6¹=¼=ˆAØð 	ØˆHØ—I’I˜a‘L”L $§.¢.°Ñ"3Ô"3ˆ6ˆØÔ"ð 	$ t¤}ð 	$½U¼Y×=SÒ=SÑ=UÔ=Uð 	$à�f�9Ðð ˜‘J !Ñ#Ð#r:   rK   rî   rš  )rP   rQ   rR   r-   rU   rÚ   r›  r.   r…   ry  rS   r   rÝ   r}  r§  rr   r˜  rW   rX   s   @r9   r�  r�  m  sØ   ø€ € € € € ð(ð (ð (ð (ð (ð „YÔð) ¤	ð )ð )ð )ñ Ôð)ð	,ð 	,¨Cð 	,¸hÀs¼mð 	,ð 	,ð 	,ð 	,ð „YÔð)ð )ð )ñ Ôð)ð$ð $¨$ð $ð $ð $ð $ð $ð $ð $ð $r:   r�  c                 óZ   — d| v r| d         } d„ |                       ¦   «         D ¦   «         } | S )NÚmodelc                 ó"   — i | ]\  }}d |v¯	||“ŒS )r¨   r  )r,  rë   rì   s      r9   ú
<dictcomp>z(checkpoint_filter_fn.<locals>.<dictcomp>š  s*   € ÐXÐXÐX™4˜1˜aÐ9NÐVWÐ9WÐ9W�!�QÐ9WÐ9WÐ9Wr:   )Úitems)rl  r«  s     r9   Úcheckpoint_filter_fnr¯  •  sA   € Ø�*ÐÐØ Ô(ˆ
ð YÐX :×#3Ò#3Ñ#5Ô#5ÐXÑXÔX€Jð Ðr:   )é€   é   é€  r‰   )ry   é   rw   )r=   rz   ry   )rC  r    r¡   r(  )ry   rw   r:  )ry   ry   ry   )r7  i   r²  é    )rz   é   r³  )r±  r²  é   )r²  r¶  é   )r³  é	   r:  ÚsilurL  )rC  r    r¡   r(  ru   rF  )r¶  é€  i€  r8  )rw   é
   rž   )r¶  r·  i   )rw   r:  r‰   )rC  r    r¡   r(  ru   )ry   rw   r³  )r¶  rº  r·  )rw   r»  r:  )
Ú
levit_128sÚ	levit_128Ú	levit_192Ú	levit_256Ú	levit_384Úlevit_384_s8Úlevit_512_s8Ú	levit_512Ú
levit_256dÚ
levit_512dFTc                 óz  — d| v }|                      dd¦  «        }|                     dd¦  «        r|s|                     dd¦  «         |€$| t          v r| }n|r|                      dd¦  «        }t          t          |         fi |¤Ž}t          |rt          nt          | |ft          t          d	|¬
¦  «        dœ|¤Ž}|S )NÚ_convÚout_indices)r   r   r=   Úfeatures_onlyFÚfeature_clsÚgetterr'  T)Úflatten_sequentialrÈ  )Úpretrained_filter_fnÚfeature_cfg)
ÚpoprŸ  Ú
setdefaultÚ
model_cfgsÚreplacer_  r   r�  r   r¯  )	ÚvariantÚcfg_variantÚ
pretrainedÚ	distilledr£  Úis_convrÈ  Ú	model_cfgr«  s	            r9   Úcreate_levitrÙ  Ê  sð   € Ø˜Ð €GØ—*’*˜]¨IÑ6Ô6€KØ‡z‚z�/ 5Ñ)Ô)ð 3°'ð 3Ø×Ò˜-¨Ñ2Ô2Ð2ØÐØ•jÐ Ð Ø!ˆKˆKØð 	7Ø!Ÿ/š/¨'°2Ñ6Ô6ˆKå•Z Ô,Ð7Ð7°Ð7Ð7€IÝ Ø#Ð.�ˆ­ØØðõ 2Ý¨D¸kÐJÑJÔJðð ð ðð €Eð €Lr:   r'  c                 ó8   — | ddd dddt           t          dddd	œ|¥S )
Nr5  )rz   r4  r4  gÍÌÌÌÌÌì?ÚbicubicTzstem.conv1.linear)úhead.linearzhead_dist.linearz
apache-2.0)ÚurlrB  Ú
input_sizeÚ	pool_sizeÚcrop_pctÚinterpolationÚfixed_input_sizer—  ri   Ú
first_convÚ
classifierÚlicense)r   r   )rÝ  r£  s     r9   Ú_cfgræ  á  s;   € àØ¨=ÀtØ¨ÈÝ%Õ.BØ)Ð9\Øðð ð ðð r:   zlevit_128s.fb_dist_in1kztimm/)Ú	hf_hub_idzlevit_128.fb_dist_in1kzlevit_192.fb_dist_in1kzlevit_256.fb_dist_in1kzlevit_384.fb_dist_in1kzlevit_conv_128s.fb_dist_in1k)ry   ry   )rç  rß  zlevit_conv_128.fb_dist_in1kzlevit_conv_192.fb_dist_in1kzlevit_conv_256.fb_dist_in1kzlevit_conv_384.fb_dist_in1kzlevit_384_s8.untrainedrÜ  )rä  zlevit_512_s8.untrainedzlevit_512.untrainedzlevit_256d.untrainedzlevit_512d.untrainedzlevit_conv_384_s8.untrainedzlevit_conv_512_s8.untrained)zlevit_conv_512.untrainedzlevit_conv_256d.untrainedzlevit_conv_512d.untrainedr¿   c                 ó   — t          dd| i|¤ŽS )Nr¼  rÕ  )r¼  ©rÙ  ©rÕ  r£  s     r9   r¼  r¼  #  s   € åÐFÐF°ÐF¸vÐFÐFÐFr:   c                 ó   — t          dd| i|¤ŽS )Nr½  rÕ  )r½  ré  rê  s     r9   r½  r½  (  ó   € åÐEÐE°
ÐE¸fÐEÐEÐEr:   c                 ó   — t          dd| i|¤ŽS )Nr¾  rÕ  )r¾  ré  rê  s     r9   r¾  r¾  -  rì  r:   c                 ó   — t          dd| i|¤ŽS )Nr¿  rÕ  )r¿  ré  rê  s     r9   r¿  r¿  2  rì  r:   c                 ó   — t          dd| i|¤ŽS )NrÀ  rÕ  )rÀ  ré  rê  s     r9   rÀ  rÀ  7  rì  r:   c                 ó   — t          dd| i|¤ŽS )NrÁ  rÕ  )rÁ  ré  rê  s     r9   rÁ  rÁ  <  s   € åÐHÐH°:ÐHÀÐHÐHÐHr:   c                 ó    — t          d| ddœ|¤ŽS )NrÂ  F©rÕ  rÖ  )rÂ  ré  rê  s     r9   rÂ  rÂ  A  s   € åÐY°:ÈÐYÐYÐRXÐYÐYÐYr:   c                 ó    — t          d| ddœ|¤ŽS )NrÃ  Frò  )rÃ  ré  rê  s     r9   rÃ  rÃ  F  s   € åÐV°
ÀeÐVÐVÈvÐVÐVÐVr:   c                 ó    — t          d| ddœ|¤ŽS )NrÄ  Frò  )rÄ  ré  rê  s     r9   rÄ  rÄ  K  ó   € åÐW°ÀuÐWÐWÐPVÐWÐWÐWr:   c                 ó    — t          d| ddœ|¤ŽS )NrÅ  Frò  )rÅ  ré  rê  s     r9   rÅ  rÅ  P  rõ  r:   c                 ó    — t          d| ddœ|¤ŽS )NÚlevit_conv_128sT©rÕ  r£   )rø  ré  rê  s     r9   rø  rø  U  s   € åÐZ°jÈ4ÐZÐZÐSYÐZÐZÐZr:   c                 ó    — t          d| ddœ|¤ŽS )NÚlevit_conv_128Trù  )rû  ré  rê  s     r9   rû  rû  Z  ó   € åÐY°ZÈ$ÐYÐYÐRXÐYÐYÐYr:   c                 ó    — t          d| ddœ|¤ŽS )NÚlevit_conv_192Trù  )rþ  ré  rê  s     r9   rþ  rþ  _  rü  r:   c                 ó    — t          d| ddœ|¤ŽS )NÚlevit_conv_256Trù  )r   ré  rê  s     r9   r   r   d  rü  r:   c                 ó    — t          d| ddœ|¤ŽS )NÚlevit_conv_384Trù  )r  ré  rê  s     r9   r  r  i  rü  r:   c                 ó    — t          d| ddœ|¤ŽS )NÚlevit_conv_384_s8Trù  )r  ré  rê  s     r9   r  r  n  s   € åÐ\¸
ÈTÐ\Ð\ÐU[Ð\Ð\Ð\r:   c                 ó"   — t          d| dddœ|¤ŽS )NÚlevit_conv_512_s8TF©rÕ  r£   rÖ  )r  ré  rê  s     r9   r  r  s  s!   € åÐm¸
ÈTÐ]bÐmÐmÐflÐmÐmÐmr:   c                 ó"   — t          d| dddœ|¤ŽS )NÚlevit_conv_512TFr  )r	  ré  rê  s     r9   r	  r	  x  s!   € åÐj°ZÈ$ÐZ_ÐjÐjÐciÐjÐjÐjr:   c                 ó"   — t          d| dddœ|¤ŽS )NÚlevit_conv_256dTFr  )r  ré  rê  s     r9   r  r  }  ó!   € åÐk°jÈ4Ð[`ÐkÐkÐdjÐkÐkÐkr:   c                 ó"   — t          d| dddœ|¤ŽS )NÚlevit_conv_512dTFr  )r  ré  rê  s     r9   r  r  ‚  r  r:   )NFT)r'  rš  )Or  Úcollectionsr   Ú	functoolsr   Útypingr   r   r   r   r	   r
   rU   Útorch.nnr.   Ú	timm.datar   r   Útimm.layersr   r   r   r   r   r   r   Ú_builderr   Ú	_featuresr   Ú_manipulater   r   Ú	_registryr   r   Ú__all__r…   r   rZ   rf   r°   rt   r‡   r�   r›   rõ   r  r  r   r&  r   r�  r¯  r_  rÑ  rÙ  ræ  Údefault_cfgsr¼  r½  r¾  r¿  rÀ  rÁ  rÂ  rÃ  rÄ  rÅ  rø  rû  rþ  r   r  r  r  r	  r  r  r  r:   r9   ú<module>r     sÄ  ððð ð2 $Ð #Ð #Ð #Ð #Ð #Ø Ð Ð Ð Ð Ð Ø ;Ð ;Ð ;Ð ;Ð ;Ð ;Ð ;Ð ;Ð ;Ð ;Ð ;Ð ;Ð ;Ð ;Ð ;Ð ;à €€€Ø Ð Ð Ð Ð Ð à AÐ AÐ AÐ AÐ AÐ AÐ AÐ AØ nÐ nÐ nÐ nÐ nÐ nÐ nÐ nÐ nÐ nÐ nÐ nÐ nÐ nÐ nÐ nÐ nÐ nØ *Ð *Ð *Ð *Ð *Ð *Ø +Ð +Ð +Ð +Ð +Ð +Ø 3Ð 3Ð 3Ð 3Ð 3Ð 3Ð 3Ð 3Ø <Ð <Ð <Ð <Ð <Ð <Ð <Ð <àˆ)€ð#'ð #'ð #'ð #'ð #'ˆrŒyñ #'ô #'ð #'ðL6ð 6ð 6ð 6ð 6�”ñ 6ô 6ð 6ð@%2ð %2ð %2ð %2ð %2�”ñ %2ô %2ð %2ðP`ð `ð `ð `ð `ˆBŒMñ `ô `ð `ð(`ð `ð `ð `ð `ˆRŒ]ñ `ô `ð `ð,#ð #ð #ð #ð #�”ñ #ô #ð #ð0lð lð lð lð l�”	ñ lô lð lð^@ð @ð @ð @ð @˜"œ)ñ @ô @ð @ðFð ð ð ð ˆrŒyñ ô ð ðB/ð /ð /ð /ð /�b”iñ /ô /ð /ðd,ð ,ð ,ð ,ð ,�”ñ ,ô ,ð ,ð^?ð ?ð ?ð ?ð ?�”ñ ?ô ?ð ?ðDYð Yð Yð Yð YˆBŒIñ Yô Yð Yðx%$ð %$ð %$ð %$ð %$�Uñ %$ô %$ð %$ðPð ð ð* ˆTØˆtØ!¨2¸È)ðUñ Uô UàˆdØ!¨2¸È9ðVñ Vô VàˆdØ!¨2¸È)ðUñ Uô UàˆdØ!¨2¸È)ðUñ Uô UàˆdØ!¨2¸È9ðVñ Vô Vð �Ø!¨2¸È9Ø Dð*ñ *ô *ð �Ø!¨2¸ÈIØ Dð*ñ *ô *ð
 ˆdØ"¨B¸+ÈYÐbhðjñ jô jð ˆtØ!¨2¸È)Ð_eðgñ gô gàˆtØ!¨2¸ÈIÐagðiñ iô ið7ñ ô €
ð@ð ð ð ð.	ð 	ð 	ð 	ð %Ð$ð 3&à˜t˜tØð ñ  ô  ð3&ð
 ˜d˜dØðñ ô ð3&ð ˜d˜dØðñ ô ð3&ð ˜d˜dØðñ ô ð3&ð ˜d˜dØðñ ô ð3&ð& # D DØØð%ñ %ô %ð'3&ð. " 4 4ØØð$ñ $ô $ð/3&ð6 " 4 4ØØð$ñ $ô $ð73&ð> " 4 4ØØð$ñ $ô $ð?3&ðF " 4 4ØØð$ñ $ô $ðG3&ðP ˜d˜d¨mÐ<Ñ<Ô<ðQ3&ðR ˜d˜d¨mÐ<Ñ<Ô<ðS3&ðT ˜4˜4¨=Ð9Ñ9Ô9ðU3&ðV ˜D˜D¨MÐ:Ñ:Ô:ðW3&ðX ˜D˜D¨MÐ:Ñ:Ô:ðY3&ð\ " 4 4°=Ð#AÑ#AÔ#Að]3&ð^ " 4 4°=Ð#AÑ#AÔ#Að_3&ð` !% °Ð >Ñ >Ô >Ø!% °Ð!?Ñ!?Ô!?Ø!% °Ð!?Ñ!?Ô!?ðe3&ð 3&ð 3&ñ 3ô 3€ðl ðGð G¨eð Gð Gð Gñ „ðGð ðFð F¨Uð Fð Fð Fñ „ðFð ðFð F¨Uð Fð Fð Fñ „ðFð ðFð F¨Uð Fð Fð Fñ „ðFð ðFð F¨Uð Fð Fð Fñ „ðFð ðIð I°ð Ið Ið Iñ „ðIð ðZð Z°ð Zð Zð Zñ „ðZð ðWð W¨Uð Wð Wð Wñ „ðWð ðXð X¨eð Xð Xð Xñ „ðXð ðXð X¨eð Xð Xð Xñ „ðXð ð[ð [°5ð [ð [ð [ñ „ð[ð ðZð Z°%ð Zð Zð Zñ „ðZð ðZð Z°%ð Zð Zð Zñ „ðZð ðZð Z°%ð Zð Zð Zñ „ðZð ðZð Z°%ð Zð Zð Zñ „ðZð ð]ð ]°Uð ]ð ]ð ]ñ „ð]ð ðnð n°Uð nð nð nñ „ðnð ðkð k°%ð kð kð kñ „ðkð ðlð l°5ð lð lð lñ „ðlð ðlð l°5ð lð lð lñ „ðlð lð lr:   