§
    ·¯¸j\e  ã                   ó  — d Z ddlmZ ddlmZmZmZmZmZ ddl	Z	ddl
mZ ddlmZmZ ddlmZmZmZmZmZmZ ddlmZ dd	lmZ dd
lmZmZ ddlmZ dgZ G d„ dej         ¦  «        Z! G d„ dej         ¦  «        Z" G d„ dej         ¦  «        Z# G d„ dej         ¦  «        Z$d„ Z%ed2dee&e&f         de'fd„¦   «         Z( G d„ dej         ¦  «        Z)d2d„Z*d3d„Z+ e e+d¬¦  «         e+dd ¬!¦  «         e+dd"d d#¬$¦  «         e+d¬¦  «         e+dd ¬!¦  «         e+dd"d d#¬$¦  «         e+d¬¦  «         e+dd ¬!¦  «         e+d¬¦  «         e+d¬¦  «         e+d¬¦  «        d%œ¦  «        Z,ed2d&e)fd'„¦   «         Z-ed2d&e)fd(„¦   «         Z.ed2d&e)fd)„¦   «         Z/ed2d&e)fd*„¦   «         Z0ed2d&e)fd+„¦   «         Z1ed2d&e)fd,„¦   «         Z2ed2d&e)fd-„¦   «         Z3ed2d&e)fd.„¦   «         Z4ed2d&e)fd/„¦   «         Z5ed2d&e)fd0„¦   «         Z6ed2d&e)fd1„¦   «         Z7dS )4aô   CrossViT Model

@inproceedings{
    chen2021crossvit,
    title={{CrossViT: Cross-Attention Multi-Scale Vision Transformer for Image Classification}},
    author={Chun-Fu (Richard) Chen and Quanfu Fan and Rameswar Panda},
    booktitle={International Conference on Computer Vision (ICCV)},
    year={2021}
}

Paper link: https://arxiv.org/abs/2103.14899
Original code: https://github.com/IBM/CrossViT/blob/main/models/crossvit.py

NOTE: model names have been renamed from originals to represent actual input res all *_224 -> *_240 and *_384 -> *_408

Modifications and additions for timm hacked together by / Copyright 2021, Ross Wightman
Modified from Timm. https://github.com/rwightman/pytorch-image-models/blob/master/timm/models/vision_transformer.py
é    )Úpartial)ÚListÚOptionalÚTupleÚTypeÚUnionN©ÚIMAGENET_DEFAULT_MEANÚIMAGENET_DEFAULT_STD)ÚDropPathÚcalculate_drop_path_ratesÚ	to_2tupleÚtrunc_normal_Ú_assertÚget_device_dtypeé   )Úbuild_model_with_cfg)Úregister_notrace_function)Úregister_modelÚgenerate_default_cfgs)ÚBlockÚCrossVitc                   ón   ‡ — e Zd ZdZ	 	 	 	 	 	 	 ddeeeeef         f         d	ed
ededef
ˆ fd„Zd„ Z	ˆ xZ
S )Ú
PatchEmbedz Image to Patch Embedding
    éà   é   é   é   FNÚimg_sizeÚ
patch_sizeÚin_chansÚ	embed_dimÚ
multi_convc                 ó®  •— ||dœ}t          ¦   «                              ¦   «          t          |¦  «        }t          |¦  «        }|d         |d         z  |d         |d         z  z  }	|| _        || _        |	| _        |�r:|d         dk    r�t          j        t          j        ||dz  fddddœ|¤Žt          j	        d	¬
¦  «        t          j        |dz  |dz  fddddœ|¤Žt          j	        d	¬
¦  «        t          j        |dz  |fddddœ|¤Ž¦  «        | _
        d S |d         dk    r�t          j        t          j        ||dz  fddddœ|¤Žt          j	        d	¬
¦  «        t          j        |dz  |dz  fddddœ|¤Žt          j	        d	¬
¦  «        t          j        |dz  |fddddœ|¤Ž¦  «        | _
        d S d S t          j        ||f||dœ|¤Ž| _
        d S )N©ÚdeviceÚdtyper   r   é   é   é   r   )Úkernel_sizeÚstrideÚpaddingT)Úinplaceé   r   )r+   r,   )ÚsuperÚ__init__r   r   r    Únum_patchesÚnnÚ
SequentialÚConv2dÚReLUÚproj)Úselfr   r    r!   r"   r#   r&   r'   Úddr2   Ú	__class__s             €úd/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/timm/models/crossvit.pyr1   zPatchEmbed.__init__+   s4  ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐÝ˜XÑ&Ô&ˆÝ˜zÑ*Ô*ˆ
Ø ”{ j°¤mÑ3¸À¼ÀzÐRSÄ}Ñ8TÑUˆØ ˆŒØ$ˆŒØ&ˆÔØñ 	hØ˜!Œ} Ò"Ð"ÝœMÝ”I˜h¨	°Q©ÐaÀAÈaÐYZÐaÐaÐ^`ÐaÐaÝ”G DÐ)Ñ)Ô)Ý”I˜i¨1™n¨i¸1©nÐgÈ!ÐTUÐ_`ÐgÐgÐdfÐgÐgÝ”G DÐ)Ñ)Ô)Ý”I˜i¨1™n¨iÐbÀQÈqÐZ[ÐbÐbÐ_aÐbÐbñô �”	�	�	ð ˜A” "Ò$Ð$ÝœMÝ”I˜h¨	°Q©ÐaÀAÈaÐYZÐaÐaÐ^`ÐaÐaÝ”G DÐ)Ñ)Ô)Ý”I˜i¨1™n¨i¸1©nÐgÈ!ÐTUÐ_`ÐgÐgÐdfÐgÐgÝ”G DÐ)Ñ)Ô)Ý”I˜i¨1™n¨iÐbÀQÈqÐZ[ÐbÐbÐ_aÐbÐbñô �”	�	�	ð %Ð$õ œ	 (¨IÐgÀ:ÐV`ÐgÐgÐdfÐgÐgˆDŒIˆIˆIó    c                 óž  — |j         \  }}}}t          || j        d         k    d|› d|› d| j        d         › d| j        d         › d�	¦  «         t          || j        d         k    d|› d|› d| j        d         › d| j        d         › d�	¦  «         |                      |¦  «                             d¦  «                             dd¦  «        }|S )Nr   zInput image size (Ú*z) doesn't match model (r   z).r/   )Úshaper   r   r7   ÚflattenÚ	transpose)r8   ÚxÚBÚCÚHÚWs         r;   ÚforwardzPatchEmbed.forwardQ   sù   € Ø”W‰
ˆˆ1ˆa�å��T”] 1Ô%Ò%Øj QÐjÐj¨ÐjÐjÀ4Ä=ÐQRÔCSÐjÐjÐVZÔVcÐdeÔVfÐjÐjÐjñ	lô 	lð 	lå��T”] 1Ô%Ò%Øj QÐjÐj¨ÐjÐjÀ4Ä=ÐQRÔCSÐjÐjÐVZÔVcÐdeÔVfÐjÐjÐjñ	lô 	lð 	là�IŠI�a‰LŒL× Ò  Ñ#Ô#×-Ò-¨a°Ñ3Ô3ˆØˆr<   )r   r   r   r   FNN)Ú__name__Ú
__module__Ú__qualname__Ú__doc__r   Úintr   Úboolr1   rG   Ú__classcell__©r:   s   @r;   r   r   '   sÁ   ø€ € € € € ðð ð
 58Ø ØØ Ø$ØØð$hð $hà˜C  s¨C x¤Ð0Ô1ð$hð ð$hð ð	$hð
 ð$hð ð$hð $hð $hð $hð $hð $hðLð ð ð ð ð ð r<   r   c                   óH   ‡ — e Zd Z	 	 	 	 	 	 ddedededed	ef
ˆ fd
„Zd„ Zˆ xZS )ÚCrossAttentioné   Fç        NÚdimÚ	num_headsÚqkv_biasÚ	attn_dropÚ	proj_dropc                 ó®  •— ||dœ}t          ¦   «                              ¦   «          || _        ||z  }	|	dz  | _        t	          j        ||fd|i|¤Ž| _        t	          j        ||fd|i|¤Ž| _        t	          j        ||fd|i|¤Ž| _        t	          j	        |¦  «        | _
        t	          j        ||fi |¤Ž| _        t	          j	        |¦  «        | _        d S )Nr%   g      à¿Úbias)r0   r1   rU   Úscaler3   ÚLinearÚwqÚwkÚwvÚDropoutrW   r7   rX   )r8   rT   rU   rV   rW   rX   r&   r'   r9   Úhead_dimr:   s             €r;   r1   zCrossAttention.__init__]   sæ   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ"ˆŒØ˜)Ñ#ˆà Ñ%ˆŒ
å”)˜C Ð:Ð:¨8Ð:°rÐ:Ð:ˆŒÝ”)˜C Ð:Ð:¨8Ð:°rÐ:Ð:ˆŒÝ”)˜C Ð:Ð:¨8Ð:°rÐ:Ð:ˆŒÝœ IÑ.Ô.ˆŒÝ”I˜c 3Ð-Ð-¨"Ð-Ð-ˆŒ	Ýœ IÑ.Ô.ˆŒˆˆr<   c                 óR  — |j         \  }}}|                      |d d …dd…df         ¦  «                             |d| j        || j        z  ¦  «                             dddd¦  «        }|                      |¦  «                             ||| j        || j        z  ¦  «                             dddd¦  «        }|                      |¦  «                             ||| j        || j        z  ¦  «                             dddd¦  «        }||                     dd¦  «        z  | j        z  }| 	                    d¬¦  «        }|  
                    |¦  «        }||z                       dd¦  «                             |d|¦  «        }|                      |¦  «        }|                      |¦  «        }|S )	Nr   r   .r/   r   éþÿÿÿéÿÿÿÿ©rT   )r?   r]   ÚreshaperU   Úpermuter^   r_   rA   r[   ÚsoftmaxrW   r7   rX   )	r8   rB   rC   ÚNrD   ÚqÚkÚvÚattns	            r;   rG   zCrossAttention.forwardu   s‚  € Ø”'‰ˆˆ1ˆaà�GŠG�A�a�a�a˜˜1˜˜c�k”NÑ#Ô#×+Ò+¨A¨q°$´.À!ÀtÄ~ÑBUÑVÔV×^Ò^Ð_`ÐbcÐefÐhiÑjÔjˆà�GŠG�A‰JŒJ×Ò˜q ! T¤^°Q¸$¼.Ñ5HÑIÔI×QÒQÐRSÐUVÐXYÐ[\Ñ]Ô]ˆà�GŠG�A‰JŒJ×Ò˜q ! T¤^°Q¸$¼.Ñ5HÑIÔI×QÒQÐRSÐUVÐXYÐ[\Ñ]Ô]ˆà�A—K’K  BÑ'Ô'Ñ'¨4¬:Ñ5ˆØ�|Š| ˆ|Ñ#Ô#ˆØ�~Š~˜dÑ#Ô#ˆà�A‰X× Ò   AÑ&Ô&×.Ò.¨q°!°QÑ7Ô7ˆØ�IŠI�a‰LŒLˆØ�NŠN˜1ÑÔˆØˆr<   )rR   FrS   rS   NN)	rH   rI   rJ   rL   rM   Úfloatr1   rG   rN   rO   s   @r;   rQ   rQ   \   s•   ø€ € € € € ð Ø"Ø!Ø!ØØð/ð /àð/ð ð/ð ð	/ð
 ð/ð ð/ð /ð /ð /ð /ð /ð0ð ð ð ð ð ð r<   rQ   c                   óž   ‡ — e Zd Zdddddej        ej        ddf	dedededed	ed
edede	ej
                 de	ej
                 fˆ fd„Zd„ Zˆ xZS )ÚCrossAttentionBlockç      @FrS   NrT   rU   Ú	mlp_ratiorV   rX   rW   Ú	drop_pathÚ	act_layerÚ
norm_layerc                 óö   •— |
|dœ}t          ¦   «                              ¦   «           |	|fi |¤Ž| _        t          |f||||dœ|¤Ž| _        |dk    rt          |¦  «        nt          j        ¦   «         | _        d S )Nr%   )rU   rV   rW   rX   rS   )	r0   r1   Únorm1rQ   rm   r   r3   ÚIdentityrs   )r8   rT   rU   rr   rV   rX   rW   rs   rt   ru   r&   r'   r9   r:   s                €r;   r1   zCrossAttentionBlock.__init__Š   s�   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ�Z Ð*Ð* rÐ*Ð*ˆŒ
Ý"Øð
àØØØð
ð 
ð ð
ð 
ˆŒ	ð 1:¸B²°� )Ñ,Ô,Ð,ÅBÄKÁMÄMˆŒˆˆr<   c                 óœ   — |d d …dd…df         |                       |                      |                      |¦  «        ¦  «        ¦  «        z   }|S )Nr   r   .)rs   rm   rw   )r8   rB   s     r;   rG   zCrossAttentionBlock.forward¦   sE   € Øˆaˆaˆa��1��cˆkŒN˜TŸ^š^¨D¯IªI°d·j²jÀ±m´mÑ,DÔ,DÑEÔEÑEˆØˆr<   )rH   rI   rJ   r3   ÚGELUÚ	LayerNormrL   rn   rM   r   ÚModuler1   rG   rN   rO   s   @r;   rp   rp   ˆ   sæ   ø€ € € € € ð  "Ø"Ø!Ø!Ø!Ø)+¬Ø*,¬,ØØðRð RàðRð ðRð ð	Rð
 ðRð ðRð ðRð ðRð ˜BœI”ðRð ˜RœYœðRð Rð Rð Rð Rð Rð8ð ð ð ð ð ð r<   rp   c                   óF  ‡ — e Zd Zddddej        ej        ddfdeedf         deedf         deedf         deedf         d	eedf         d
e	dedede
ee         ef         deej                 deej                 fˆ fd„Zdeej                 deej                 fd„Zˆ xZS )ÚMultiScaleBlockFrS   NrT   .ÚpatchesÚdepthrU   rr   rV   rX   rW   rs   rt   ru   c                 óÚ  •— ||dœ}t          ¦   «                              ¦   «          t          |¦  «        }|| _        t	          j        ¦   «         | _        t          |¦  «        D ]•}g }t          ||         ¦  «        D ]B}|                     t          d||         ||         ||         ||||	|         |dœ|¤Ž¦  «         ŒCt          |¦  «        dk    r&| j                             t	          j
        |Ž ¦  «         Œ–t          | j        ¦  «        dk    rd | _        t	          j        ¦   «         | _        t          |¦  «        D ]~}||         ||dz   |z           k    r	  |||         fi |¤Ž |
¦   «         t	          j        ||         ||dz   |z           fi |¤Žg}| j                             t	          j
        |Ž ¦  «         Œt	          j        ¦   «         | _        t          |¦  «        D ]Ø}|dz   |z  }||         }|d         dk    r@| j                             t          d||         |||         ||||	d         |dœ|¤Ž¦  «         Œ^g }t          |d         ¦  «        D ]<}|                     t          d||         |||         ||||	d         |dœ|¤Ž¦  «         Œ=| j                             t	          j
        |Ž ¦  «         ŒÙt	          j        ¦   «         | _        t          |¦  «        D ]„}||dz   |z           ||         k    r	  |||dz   |z           fi |¤Ž |
¦   «         t	          j        ||dz   |z           ||         fi |¤Žg}| j                             t	          j
        |Ž ¦  «         Œ…d S )Nr%   )rT   rU   rr   rV   rX   rW   rs   ru   r   r   Frd   © )r0   r1   ÚlenÚnum_branchesr3   Ú
ModuleListÚblocksÚrangeÚappendr   r4   Úprojsrx   r\   Úfusionrp   Úrevert_projs)r8   rT   r   r€   rU   rr   rV   rX   rW   rs   rt   ru   r&   r'   r9   r„   ÚdÚtmpÚiÚd_ÚnhÚ_r:   s                         €r;   r1   zMultiScaleBlock.__init__­   s  ø€ ð  ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐÝ˜3‘x”xˆØ(ˆÔå”m‘o”oˆŒÝ�|Ñ$Ô$ð 	8ð 	8ˆAØˆCÝ˜5 œ8‘_”_ð ð �Ø—
’
�5ð 
Ø˜AœØ'¨œlØ'¨œlØ%Ø'Ø'Ø'¨œlØ)ð
ð 
ð ð
ð 
ñ 
ô 
ð 
ð 
õ �3‰xŒx˜1Š}ˆ}Ø”×"Ò"¥2¤=°#Ð#6Ñ7Ô7Ð7øåˆtŒ{ÑÔ˜qÒ Ð ØˆDŒKå”]‘_”_ˆŒ
Ý�|Ñ$Ô$ð 	3ð 	3ˆAØ�1Œv˜˜a !™e |Ñ3Ô4Ò4Ð4Ð4ð "�z # a¤&Ð/Ð/¨BÐ/Ð/°°±´½b¼iÈÈAÌÐPSÐUVÐYZÑUZÐ^jÑTjÔPkÐ>rÐ>rÐoqÐ>rÐ>rÐs�ØŒJ×Ò�bœm¨SÐ1Ñ2Ô2Ð2Ð2å”m‘o”oˆŒÝ�|Ñ$Ô$ð 	8ð 	8ˆAØ�a‘%˜<Ñ'ˆBØ˜2”ˆBØ�RŒy˜AŠ~ˆ~Ø”×"Ò"Ý'ð 
Ø œGØ"$Ø"+¨A¤,Ø!)Ø"+Ø"+Ø"+¨B¤-Ø#-ð
ð 
ð ð
ð 
ñô ð ð ð �Ý˜u RœyÑ)Ô)ð ð �AØ—J’JÕ2ð 
 Ø œGØ"$Ø"+¨A¤,Ø!)Ø"+Ø"+Ø"+¨B¤-Ø#-ð
 ð 
 ð ð
 ð 
 ñ 
ô 
ð 
ð 
ð ”×"Ò"¥2¤=°#Ð#6Ñ7Ô7Ð7Ð7åœM™OœOˆÔÝ�|Ñ$Ô$ð 	:ð 	:ˆAØ�A˜‘E˜\Ñ)Ô*¨c°!¬fÒ4Ð4Ð4ð "�z # q¨1¡u°Ñ&<Ô"=ÐDÐDÀÐDÐDÀiÀiÁkÄkÝ”y  a¨!¡e¨|Ñ%;Ô!<¸cÀ!¼fÐKÐKÈÐKÐKðM�àÔ×$Ò$¥R¤]°CÐ%8Ñ9Ô9Ð9Ð9ð	:ð 	:r<   rB   Úreturnc           	      ó(  — g }t          | j        ¦  «        D ])\  }}|                      |||         ¦  «        ¦  «         Œ*t          j                             t          t          j                 g ¦  «        }t          | j        ¦  «        D ]6\  }}|                      |||         d d …dd…df         ¦  «        ¦  «         Œ7g }t          t          | j
        | j        ¦  «        ¦  «        D ]§\  }\  }}	t          j        ||         ||dz   | j        z           d d …dd …df         fd¬¦  «        }
 ||
¦  «        }
 |	|
d d …dd…df         ¦  «        }t          j        |||         d d …dd …df         fd¬¦  «        }
|                     |
¦  «         Œ¨|S )Nr   r   .re   )Ú	enumerater†   rˆ   ÚtorchÚjitÚannotater   ÚTensorr‰   ÚziprŠ   r‹   Úcatr„   )r8   rB   Úouts_brŽ   ÚblockÚproj_cls_tokenr7   ÚoutsrŠ   Úrevert_projr�   Úreverted_proj_cls_tokens               r;   rG   zMultiScaleBlock.forward	  sº  € àˆÝ! $¤+Ñ.Ô.ð 	'ð 	'‰HˆAˆuØ�MŠM˜%˜%  !¤™+œ+Ñ&Ô&Ð&Ð&õ œ×+Ò+­Dµ´Ô,>ÀÑCÔCˆÝ  ¤Ñ,Ô,ð 	@ð 	@‰GˆAˆtØ×!Ò! $ $ v¨a¤y°°°°A°a°C¸°Ô'=Ñ">Ô">Ñ?Ô?Ð?Ð?ð ˆÝ(1µ#°d´kÀ4ÔCTÑ2UÔ2UÑ(VÔ(Vð 	ð 	Ñ$ˆAÑ$�˜Ý”)˜^¨AÔ.°¸¸A¹ÀÔARÑ7RÔ0SÐTUÐTUÐTUÐWXÐWYÐWYÐ[^ÐT^Ô0_Ð`ÐfgÐhÑhÔhˆCØ�&˜‘+”+ˆCØ&1 k°#°a°a°a¸¸1¸¸c°kÔ2BÑ&CÔ&CÐ#Ý”)Ð4°f¸Q´iÀÀÀÀ1À2À2ÀsÀ
Ô6KÐLÐRSÐTÑTÔTˆCØ�KŠK˜ÑÔÐÐØˆr<   )rH   rI   rJ   r3   rz   r{   r   rL   rn   rM   r   r   r   r|   r1   r•   r˜   rG   rN   rO   s   @r;   r~   r~   «   sR  ø€ € € € € ð #Ø!Ø!Ø35Ø)+¬Ø*,¬,ØØðZ:ð Z:à�s˜C�x”ðZ:ð ˜3 ˜8”_ðZ:ð ˜˜c˜”?ð	Z:ð
 ˜S #˜X”ðZ:ð ˜U C˜ZÔ(ðZ:ð ðZ:ð ðZ:ð ðZ:ð ˜T %œ[¨%Ð/Ô0ðZ:ð ˜BœI”ðZ:ð ˜RœYœðZ:ð Z:ð Z:ð Z:ð Z:ð Z:ðx˜˜eœlÔ+ð °°U´\Ô0Bð ð ð ð ð ð ð ð r<   r~   c                 ó6   — d„ t          | |¦  «        D ¦   «         S )Nc                 óB   — g | ]\  }}|d          |z  |d         z  |z  ‘ŒS )r   r   r‚   )Ú.0rŽ   Úps      r;   ú
<listcomp>z(_compute_num_patches.<locals>.<listcomp>   s2   € ÐEÐEÐE¡d a¨ˆAˆaŒD�A‰I˜˜!œÑ Ñ!ÐEÐEÐEr<   )r™   )r   r   s     r;   Ú_compute_num_patchesr¦     s    € ØEÐE­c°(¸GÑ.DÔ.DÐEÑEÔEÐEr<   FÚssÚ
crop_scalec                 óÌ  — | j         dd…         \  }}||d         k    s||d         k    r¹|r�|d         |k    rƒ|d         |k    rwt          t          ||d         z
  dz  ¦  «        ¦  «        t          t          ||d         z
  dz  ¦  «        ¦  «        }}| dd…dd…|||d         z   …|||d         z   …f         } n(t          j        j                             | |dd¬¦  «        } | S )	a~  
    Pulled out of CrossViT.forward_features to bury conditional logic in a leaf node for FX tracing.
    Args:
        x (Tensor): input image
        ss (tuple[int, int]): height and width to scale to
        crop_scale (bool): whether to crop instead of interpolate to achieve the desired scale. Defaults to False
    Returns:
        Tensor: the "scaled" image batch tensor
    rc   Nr   r   ç       @ÚbicubicF)ÚsizeÚmodeÚalign_corners)r?   rL   Úroundr•   r3   Ú
functionalÚinterpolate)rB   r§   r¨   rE   rF   ÚcuÚcls          r;   Úscale_imager´   #  sð   € ð Œ7�2�3�3Œ<�D€A€qØˆBˆqŒE‚z€z�Q˜"˜Qœ%’Z�ZØð 	a˜"˜Qœ% 1š*˜*¨¨A¬°!ª¨Ý�  B q¤E¡	¨RÑ/Ñ0Ô0Ñ1Ô1µ3µu¸aÀ"ÀQÄ%¹iÈ2Ñ=MÑ7NÔ7NÑ3OÔ3O�ˆBØ�!�!�!�Q�Q�Q˜˜2  1¤™:˜ r¨"¨r°!¬u©* }Ð4Ô5ˆAˆAå”Ô#×/Ò/°¸ÀÐZ_Ð/Ñ`Ô`ˆAØ€Hr<   c            '       ó€  ‡ — e Zd ZdZdddddddd	d
dddddddd eej        d¬¦  «        dddfdedee	df         deedf         dededeedf         deeedf         df         deedf         dee	df         de
de
de
de	d e	d!e	d"e	d#e	d$eej                 d%ef&ˆ fd&„Zd'„ Zej        j        d(„ ¦   «         Zej        j        d3d)„¦   «         Zej        j        d4d*„¦   «         Zej        j        d+ej        fd,„¦   «         Zd5ded%ee         fd-„Zd+eej                 fd.„Zd3d/eej                 d0e
d+ej        fd1„Zd2„ Zˆ xZS )6r   zI Vision Transformer with support for patch or hybrid CNN input stage
    r   )ç      ð?r¶   )rR   r   r   éè  )éÀ   é€  )©r   r   r   rº   rº   )é   r(   )rª   rª   rq   FTrS   g�íµ ÷Æ°>)ÚepsÚtokenNr   Ú	img_scale.r    r!   Únum_classesr"   r€   rU   rr   r#   r¨   rV   Ú	drop_rateÚpos_drop_rateÚproj_drop_rateÚattn_drop_rateÚdrop_path_rateru   Úglobal_poolc                 óB  •‡ ‡‡‡‡#— t          ¦   «                              ¦   «          ||dœŠ#|dv sJ ‚‰‰ _        |‰ _        |‰ _        t          |¦  «        ‰ _        t          |¦  «        }ˆ fd„|D ¦   «         ‰ _        |‰ _        t          ‰ j        |¦  «        }t          |¦  «        ‰ _        ‰‰ _        t          ‰¦  «        x‰ _        ‰ _        t!          j        ¦   «         ‰ _        t'          ‰ j        ¦  «        D ]‡}t)          ‰ d|› �t!          j        t-          j        dd||         z   ‰|         fi ‰#¤Ž¦  «        ¦  «         t)          ‰ d|› �t!          j        t-          j        dd‰|         fi ‰#¤Ž¦  «        ¦  «         Œˆt1          ‰ j        |‰¦  «        D ]0\  }}}‰ j                             t5          d|||||
dœ‰#¤Ž¦  «         Œ1t!          j        |¬¦  «        ‰ _        t          d	„ |D ¦   «         ¦  «        }t;          ||¦  «        }d
}t!          j        ¦   «         ‰ _        t?          |¦  «        D ]h\  }}tA          |d d…         ¦  «        |d         z   } |||| z   …         }!tC          ‰||f||	||||!‰dœ‰#¤Ž}"|| z  }‰ j                             |"¦  «         Œit!          j        ˆ#ˆˆfd„t'          ‰ j        ¦  «        D ¦   «         ¦  «        ‰ _"        t!          j        |¦  «        ‰ _#        t!          j        ˆ#ˆˆfd„t'          ‰ j        ¦  «        D ¦   «         ¦  «        ‰ _$        t'          ‰ j        ¦  «        D ]F}tK          tM          ‰ d|› �¦  «        d¬¦  «         tK          tM          ‰ d|› �¦  «        d¬¦  «         ŒG‰  '                    ‰ j(        ¦  «         d S )Nr%   ©r½   Úavgc                 óR   •‡— g | ]"Št          ˆfd „‰j        D ¦   «         ¦  «        ‘Œ#S )c                 ó4   •— g | ]}t          |‰z  ¦  «        ‘ŒS r‚   )rL   )r£   ÚsjÚsis     €r;   r¥   z0CrossVit.__init__.<locals>.<listcomp>.<listcomp>]  s#   ø€ Ð&LÐ&LÐ&L¸¥s¨2°©7¡|¤|Ð&LÐ&LÐ&Lr<   )Útupler   )r£   rÌ   r8   s    @€r;   r¥   z%CrossVit.__init__.<locals>.<listcomp>]  s:   øø€ ÐbÐbÐbÐRT¥Ð&LÐ&LÐ&LÐ&L¸d¼mÐ&LÑ&LÔ&LÑ MÔ MÐbÐbÐbr<   Ú
pos_embed_r   Ú
cls_token_)r   r    r!   r"   r#   )r¤   c                 ó<   — g | ]}t          |d d…         ¦  «        ‘ŒS )rc   N)Úsum©r£   rB   s     r;   r¥   z%CrossVit.__init__.<locals>.<listcomp>w  s&   € Ð6Ð6Ð6¨1�3˜q   œv™;œ;Ð6Ð6Ð6r<   r   rd   )rU   rr   rV   rX   rW   rs   ru   c                 ó.   •— g | ]} ‰‰|         fi ‰¤Ž‘ŒS r‚   r‚   )r£   rŽ   r9   r"   ru   s     €€€r;   r¥   z%CrossVit.__init__.<locals>.<listcomp>Ž  s/   ø€ Ð"dÐ"dÐ"dÀa : :¨i¸¬lÐ#AÐ#A¸bÐ#AÐ#AÐ"dÐ"dÐ"dr<   c                 ót   •— g | ]4}‰d k    rt          j        ‰|         ‰fi ‰¤Žnt          j        ¦   «         ‘Œ5S ©r   )r3   r\   rx   )r£   rŽ   r9   r"   r¿   s     €€€r;   r¥   z%CrossVit.__init__.<locals>.<listcomp>�  sU   ø€ ð #/ð #/ð #/àð ;FÈº/¸/�BŒI�i ”l KÐ6Ð6°2Ð6Ð6Ð6ÍrÌ{É}Ì}ð#/ð #/ð #/r<   ç{®Gáz”?©Ústdr‚   ))r0   r1   r¿   r!   rÅ   r   r   Úimg_size_scaledr¨   r¦   rƒ   r„   r"   rÑ   Únum_featuresÚhead_hidden_sizer3   r…   Úpatch_embedr‡   ÚsetattrÚ	Parameterr•   Úzerosr™   rˆ   r   r`   Úpos_dropr   r†   r”   Úmaxr~   ÚnormÚ	head_dropÚheadr   ÚgetattrÚapplyÚ_init_weights)%r8   r   r¾   r    r!   r¿   r"   r€   rU   rr   r#   r¨   rV   rÀ   rÁ   rÂ   rÃ   rÄ   ru   rÅ   r&   r'   r2   rŽ   Úim_sr¤   rŒ   Útotal_depthÚdprÚdpr_ptrÚidxÚ	block_cfgÚ
curr_depthÚdpr_Úblkr9   r:   s%   `    ``           `                @€r;   r1   zCrossVit.__init__<  s+  øøøøøø€ õ0 	‰Œ×ÒÑÔÐØ¨Ð/Ð/ˆØÐ.Ð.Ð.Ð.Ð.à&ˆÔØ ˆŒØ&ˆÔÝ! (Ñ+Ô+ˆŒÝ˜iÑ(Ô(ˆ	ØbÐbÐbÐbÐXaÐbÑbÔbˆÔØ$ˆŒÝ*¨4Ô+?ÀÑLÔLˆÝ 
™OœOˆÔØ"ˆŒÝ47¸	±N´NÐBˆÔ˜DÔ1Ýœ=™?œ?ˆÔõ �tÔ(Ñ)Ô)ð 	að 	aˆAÝ�DÐ* qÐ*Ð*­B¬L½¼ÀQÈÈKÐXYÌNÑHZÐ\eÐfgÔ\hÐ9oÐ9oÐlnÐ9oÐ9oÑ,pÔ,pÑqÔqÐqÝ�DÐ* qÐ*Ð*­B¬L½¼ÀQÈÈ9ÐUVÌ<Ð9^Ð9^Ð[]Ð9^Ð9^Ñ,_Ô,_Ñ`Ô`Ð`Ð`å˜dÔ2°JÀ	ÑJÔJð 		ð 		‰JˆD�!�QØÔ×#Ò#Ýð Ø!Ø Ø%ØØ)ðð ð ðð ñô ð ð õ œ
 ]Ð3Ñ3Ô3ˆŒåÐ6Ð6°Ð6Ñ6Ô6Ñ7Ô7ˆÝ'¨¸ÑDÔDˆØˆÝ”m‘o”oˆŒÝ'¨Ñ.Ô.ð 	$ð 	$‰NˆC�Ý˜Y s¨ sœ^Ñ,Ô,¨y¸¬}Ñ<ˆJØ�w˜w¨Ñ3Ð3Ô4ˆDÝ!ØØØðð $Ø#Ø!Ø(Ø(ØØ%ðð ð ðð ˆCð �zÑ!ˆGØŒK×Ò˜sÑ#Ô#Ð#Ð#å”MÐ"dÐ"dÐ"dÐ"dÐ"dÐ"dÍ5ÐQUÔQbÑKcÔKcÐ"dÑ"dÔ"dÑeÔeˆŒ	Ýœ IÑ.Ô.ˆŒÝ”Mð #/ð #/ð #/ð #/ð #/ð #/å˜4Ô,Ñ-Ô-ð#/ñ #/ô #/ñ 0ô 0ˆŒ	õ �tÔ(Ñ)Ô)ð 	Dð 	DˆAÝ�' $Ð(8°QÐ(8Ð(8Ñ9Ô9¸sÐCÑCÔCÐCÝ�' $Ð(8°QÐ(8Ð(8Ñ9Ô9¸sÐCÑCÔCÐCÐCà�
Š
�4Ô%Ñ&Ô&Ð&Ð&Ð&r<   c                 óÊ  — t          |t          j        ¦  «        rbt          |j        d¬¦  «         t          |t          j        ¦  «        r.|j        �)t          j                             |j        d¦  «         d S d S d S t          |t          j        ¦  «        rLt          j                             |j        d¦  «         t          j                             |j        d¦  «         d S d S )NrÖ   r×   r   r¶   )	Ú
isinstancer3   r\   r   ÚweightrZ   ÚinitÚ	constant_r{   )r8   Úms     r;   rç   zCrossVit._init_weightsš  sÎ   € Ý�a�œÑ#Ô#ð 	-Ý˜!œ(¨Ð,Ñ,Ô,Ð,Ý˜!�RœYÑ'Ô'ð -¨A¬FÐ,>Ý”×!Ò! !¤&¨!Ñ,Ô,Ð,Ð,Ð,ð-ð -Ð,>Ð,>å˜�2œ<Ñ(Ô(ð 	-ÝŒG×Ò˜aœf aÑ(Ô(Ð(ÝŒG×Ò˜aœh¨Ñ,Ô,Ð,Ð,Ð,ð	-ð 	-r<   c                 óê   — t          ¦   «         }t          | j        ¦  «        D ]O}|                     d|› �¦  «         t	          | d|› �d ¦  «        }|�|j        r|                     d|› �¦  «         ŒP|S )NrÏ   rÎ   )Úsetr‡   r„   Úaddrå   Úrequires_grad)r8   ÚoutrŽ   Úpes       r;   Úno_weight_decayzCrossVit.no_weight_decay£  s‡   € å‰eŒeˆÝ�tÔ(Ñ)Ô)ð 	*ð 	*ˆAØ�GŠGÐ$ Ð$Ð$Ñ%Ô%Ð%Ý˜Ð/¨AÐ/Ð/°Ñ6Ô6ˆBØˆ~ "Ô"2ˆ~Ø—’Ð( QÐ(Ð(Ñ)Ô)Ð)øØˆ
r<   c                 ó(   — t          dddg¬¦  «        S )Nz ^cls_token|pos_embed|patch_embed)z^blocks\.(\d+)N)z^norm)iŸ† )Ústemr†   )Údict)r8   Úcoarses     r;   Úgroup_matcherzCrossVit.group_matcher­  s%   € åØ4Ø-Ð/CÐDð
ñ 
ô 
ð 	
r<   c                 ó   — |r
J d¦   «         ‚d S )Nz$gradient checkpointing not supportedr‚   )r8   Úenables     r;   Úset_grad_checkpointingzCrossVit.set_grad_checkpointing´  s   € àÐAÐAÐAÑAÔAˆzÐAÐAr<   r’   c                 ó   — | j         S ©N)rä   )r8   s    r;   Úget_classifierzCrossVit.get_classifier¸  s
   € àŒyÐr<   c                 ó  ‡ ‡‡— t          ‰ ¦  «        Š‰‰ _        |�|dv sJ ‚|‰ _        t          j        ˆˆˆ fd„t          ‰ j        ¦  «        D ¦   «         ¦  «        ‰ _        ‰ j                             ‰ j	        ¦  «         d S )NrÇ   c                 ó~   •— g | ]9}‰d k    rt          j        ‰j        |         ‰fi ‰¤Žnt          j        ¦   «         ‘Œ:S rÕ   )r3   r\   r"   rx   )r£   rŽ   r9   r¿   r8   s     €€€r;   r¥   z-CrossVit.reset_classifier.<locals>.<listcomp>Â  s]   ø€ ð #
ð #
ð #
àð @KÈQº¸�BŒI�d”n QÔ'¨Ð;Ð;¸Ð;Ð;Ð;ÕTVÔT_ÑTaÔTað#
ð #
ð #
r<   )
r   r¿   rÅ   r3   r…   r‡   r„   rä   ÚtrainÚtraining)r8   r¿   rÅ   r9   s   `` @r;   Úreset_classifierzCrossVit.reset_classifier¼  s¦   øøø€ Ý˜dÑ#Ô#ˆØ&ˆÔØÐ"ØÐ"2Ð2Ð2Ð2Ð2Ø*ˆDÔÝ”Mð #
ð #
ð #
ð #
ð #
ð #
å˜4Ô,Ñ-Ô-ð#
ñ #
ô #
ñ ô ˆŒ	ð 	Œ	�Š˜œÑ&Ô&Ð&Ð&Ð&r<   c                 óP  ‡
— |j         d         }g Š
t          | j        ¦  «        D ]»\  }}|}| j        |         }t	          ||| j        ¦  «        } ||¦  «        }|dk    r| j        n| j        }|                     |dd¦  «        }t          j
        ||fd¬¦  «        }|dk    r| j        n| j        }||z   }|                      |¦  «        }‰
                     |¦  «         Œ¼t          | j        ¦  «        D ]\  }}	 |	‰
¦  «        Š
Œˆ
fd„t          | j        ¦  «        D ¦   «         Š
‰
S )Nr   rd   r   re   c                 ó8   •— g | ]\  }} |‰|         ¦  «        ‘ŒS r‚   r‚   )r£   rŽ   râ   Úxss      €r;   r¥   z-CrossVit.forward_features.<locals>.<listcomp>Ü  s)   ø€ Ð>Ð>Ð>™g˜a ˆdˆd�2�a”5‰kŒkÐ>Ð>Ð>r<   )r?   r”   rÜ   rÙ   r´   r¨   Úcls_token_0Úcls_token_1Úexpandr•   rš   Úpos_embed_0Úpos_embed_1rà   rˆ   r†   râ   )r8   rB   rC   rŽ   rÜ   Úx_r§   Ú
cls_tokensÚ	pos_embedrð   r  s             @r;   Úforward_featureszCrossVit.forward_featuresÈ  sD  ø€ ØŒG�AŒJˆØˆÝ'¨Ô(8Ñ9Ô9ð 	ð 	‰NˆAˆ{ØˆBØÔ% aÔ(ˆBÝ˜R  T¤_Ñ5Ô5ˆBØ�˜R‘”ˆBØ-.°!ªV¨V˜Ô)Ð)¸Ô9IˆJØ#×*Ò*¨1¨b°"Ñ5Ô5ˆJÝ”˜J¨Ð+°Ð3Ñ3Ô3ˆBØ,-°ªF¨F˜Ô(Ð(¸Ô8HˆIØ�i‘ˆBØ—’˜rÑ"Ô"ˆBØ�IŠI�b‰MŒMˆMˆMå ¤Ñ,Ô,ð 	ð 	‰FˆAˆsØ��R‘”ˆBˆBð ?Ð>Ð>Ð>­°4´9Ñ)=Ô)=Ð>Ñ>Ô>ˆØˆ	r<   r  Ú
pre_logitsc                 ó†  ‡ ‡— ‰ j         dk    rd„ ‰D ¦   «         nd„ ‰D ¦   «         Šˆ fd„‰D ¦   «         Š|s%t          ‰ j        d         t          j        ¦  «        r t          j        d„ ‰D ¦   «         d¬¦  «        S t          j        t          j        ˆfd	„t          ‰ j        ¦  «        D ¦   «         d¬¦  «        d¬¦  «        S )
NrÈ   c                 óR   — g | ]$}|d d …dd …f                               d¬¦  «        ‘Œ%S )Nr   re   )ÚmeanrÒ   s     r;   r¥   z)CrossVit.forward_head.<locals>.<listcomp>à  s6   € Ð/Ð/Ð/ qˆa����1�2�2�Œh�mŠm ˆmÑ"Ô"Ð/Ð/Ð/r<   c                 ó&   — g | ]}|d d …df         ‘ŒS )Nr   r‚   rÒ   s     r;   r¥   z)CrossVit.forward_head.<locals>.<listcomp>à  s,   € ÐRgÐRgÐRgÐ_`ÐSTÐUVÐUVÐUVÐXYÐUYÔSZÐRgÐRgÐRgr<   c                 ó:   •— g | ]}‰                      |¦  «        ‘ŒS r‚   )rã   )r£   rB   r8   s     €r;   r¥   z)CrossVit.forward_head.<locals>.<listcomp>á  s%   ø€ Ð,Ð,Ð, Aˆd�nŠn˜QÑÔÐ,Ð,Ð,r<   r   c                 ó   — g | ]}|‘ŒS r‚   r‚   rÒ   s     r;   r¥   z)CrossVit.forward_head.<locals>.<listcomp>ã  s   € ˜_˜_˜_ A˜a˜_˜_˜_r<   r   re   c                 ó8   •— g | ]\  }} |‰|         ¦  «        ‘ŒS r‚   r‚   )r£   rŽ   rä   r  s      €r;   r¥   z)CrossVit.forward_head.<locals>.<listcomp>ä  s)   ø€ Ð&WÐ&WÐ&W±w°q¸$ t t¨B¨q¬E¡{¤{Ð&WÐ&WÐ&Wr<   )
rÅ   rò   rä   r3   rx   r•   rš   r  Ústackr”   )r8   r  r  s   `` r;   Úforward_headzCrossVit.forward_headß  sØ   øø€ Ø37Ô3CÀuÒ3LÐ3LÐ/Ð/¨BÐ/Ñ/Ô/Ð/ÐRgÐRgÐdfÐRgÑRgÔRgˆØ,Ð,Ð,Ð,¨Ð,Ñ,Ô,ˆØð 	5� D¤I¨a¤Lµ"´+Ñ>Ô>ð 	5Ý”9˜_˜_¨˜_™_œ_°!Ð4Ñ4Ô4Ð4ÝŒz�%œ+Ð&WÐ&WÐ&WÐ&WÅ)ÈDÌIÑBVÔBVÐ&WÑ&WÔ&WÐ]^Ð_Ñ_Ô_ÐefÐgÑgÔgÐgr<   c                 óZ   — |                       |¦  «        }|                      |¦  «        }|S r  )r  r#  )r8   rB   r  s      r;   rG   zCrossVit.forwardæ  s-   € Ø×"Ò" 1Ñ%Ô%ˆØ×Ò˜bÑ!Ô!ˆØˆr<   ©F)Tr  )rH   rI   rJ   rK   r   r3   r{   rL   r   rn   rM   r   r|   Ústrr1   rç   r•   r–   Úignorerý   r  r  r  r   r  r   r˜   r  r#  rG   rN   rO   s   @r;   r   r   8  s  ø€ € € € € ðð ð
  Ø+5Ø*1ØØ#Ø)3Ø1RØ)0Ø+7Ø$Ø$Ø!Ø!Ø#%Ø$&Ø$&Ø$&Ø*1¨'°"´,ÀDÐ*IÑ*IÔ*IØ&ØØð-\'ð \'àð\'ð ˜U C˜ZÔ(ð\'ð ˜c 3˜hœð	\'ð
 ð\'ð ð\'ð ˜S #˜X”ð\'ð ˜˜s C˜xœ¨#Ð-Ô.ð\'ð ˜S #˜X”ð\'ð ˜U C˜ZÔ(ð\'ð ð\'ð ð\'ð ð\'ð ð\'ð !ð\'ð  "ð!\'ð" "ð#\'ð$ "ð%\'ð& ˜RœYœð'\'ð( ð)\'ð \'ð \'ð \'ð \'ð \'ð|-ð -ð -ð „YÔðð ñ Ôðð „YÔð
ð 
ð 
ñ Ôð
ð „YÔðBð Bð Bñ ÔðBð „YÔð ¤	ð ð ð ñ Ôðð
'ð 
'¨Cð 
'¸hÀs¼mð 
'ð 
'ð 
'ð 
'ð T¨%¬,Ô%7ð ð ð ð ð.hð h˜t E¤LÔ1ð h¸tð hÐPUÔP\ð hð hð hð hðð ð ð ð ð ð r<   c                 ó~   — |                      dd ¦  «        rt          d¦  «        ‚d„ }t          t          | |fd|i|¤ŽS )NÚfeatures_onlyz<features_only not implemented for Vision Transformer models.c                 ó�   — i }|                       ¦   «         D ].}d|v sd|v r|                     dd¦  «        }n|}| |         ||<   Œ/|S )Nr  Ú	cls_tokenú.r‘   )ÚkeysÚreplace)Ú
state_dictÚnew_state_dictÚkeyÚnew_keys       r;   Úpretrained_filter_fnz._create_crossvit.<locals>.pretrained_filter_fnð  sf   € ØˆØ—?’?Ñ$Ô$ð 	6ð 	6ˆCØ˜cÐ!Ð! [°CÐ%7Ð%7ØŸ+š+ c¨3Ñ/Ô/��à�Ø&0°¤oˆN˜7Ñ#Ð#ØÐr<   r3  )ÚgetÚRuntimeErrorr   r   )ÚvariantÚ
pretrainedÚkwargsr3  s       r;   Ú_create_crossvitr9  ì  sm   € Ø‡z‚z�/ 4Ñ(Ô(ð [ÝÐYÑZÔZÐZðð ð õ  ÝØØðð ð 2ð	ð
 ðð ð r<   Ú c                 ó6   — | ddd dt           t          dddddœ|¥S )	Nr·   )r   éð   r<  g      ì?T)zpatch_embed.0.projzpatch_embed.1.proj)zhead.0zhead.1z
apache-2.0)Úurlr¿   Ú
input_sizeÚ	pool_sizeÚcrop_pctr  rØ   Úfixed_input_sizeÚ
first_convÚ
classifierÚlicenser	   )r=  r8  s     r;   Ú_cfgrE    s:   € àØ¨=ÀtÐY^Ý%Õ.BÐX\ØBØ*Øðð ð ðð r<   ztimm/)Ú	hf_hub_id)zpatch_embed.0.proj.0zpatch_embed.1.proj.0)rF  rB  )r   é˜  rG  r¶   )rF  r>  rB  r@  )zcrossvit_15_240.in1kzcrossvit_15_dagger_240.in1kzcrossvit_15_dagger_408.in1kzcrossvit_18_240.in1kzcrossvit_18_dagger_240.in1kzcrossvit_18_dagger_408.in1kzcrossvit_9_240.in1kzcrossvit_9_dagger_240.in1kzcrossvit_base_240.in1kzcrossvit_small_240.in1kzcrossvit_tiny_240.in1kr’   c           	      ó†   — t          dddgddgg d¢g d¢g d¢gddgg d¢¬	¦  «        }t          dd
| dœt          |fi |¤Ž¤Ž}|S )N©r¶   gÞÝÝÝÝÝí?r(   r   é`   r¸   ©r   r)   r   r   ©r)   r)   r   ©r¾   r    r"   r€   rU   rr   Úcrossvit_tiny_240©r6  r7  r‚   ©r   r9  ©r7  r8  Ú
model_argsÚmodels       r;   rN  rN  -  s…   € åØ ¨b°"¨XÀ"ÀcÀÐS\ÐS\ÐS\Ð^gÐ^gÐ^gÐirÐirÐirÐRsØ�a�& I I Ið/ñ /ô /€Jõ ÐnÐ%8ÀZÐnÐnÕSWÐXbÐSmÐSmÐflÐSmÐSmÐnÐn€EØ€Lr<   c           	      ó†   — t          dddgddgg d¢g d¢g d¢gddgg d¢¬	¦  «        }t          dd
| dœt          |fi |¤Ž¤Ž}|S )NrI  r(   r   r¸   r¹   rK  r»   rL  rM  Úcrossvit_small_240rO  r‚   rP  rQ  s       r;   rU  rU  6  s…   € åØ ¨b°"¨XÀ#ÀsÀÐT]ÐT]ÐT]Ð_hÐ_hÐ_hÐjsÐjsÐjsÐStØ�a�& I I Ið/ñ /ô /€Jõ ÐoÐ%9ÀjÐoÐoÕTXÐYcÐTnÐTnÐgmÐTnÐTnÐoÐo€EØ€Lr<   c           	      ó†   — t          dddgddgg d¢g d¢g d¢gddgg d¢¬¦  «        }t          dd	| d
œt          |fi |¤Ž¤Ž}|S )NrI  r(   r   r¹   r   rK  rL  rM  Úcrossvit_base_240rO  r‚   rP  rQ  s       r;   rW  rW  ?  s…   € åØ ¨b°"¨XÀ#ÀsÀÐT]ÐT]ÐT]Ð_hÐ_hÐ_hÐjsÐjsÐjsÐStØ�r�( i i ið1ñ 1ô 1€Jõ ÐnÐ%8ÀZÐnÐnÕSWÐXbÐSmÐSmÐflÐSmÐSmÐnÐn€EØ€Lr<   c           	      ó†   — t          dddgddgg d¢g d¢g d¢gddgg d¢¬	¦  «        }t          dd
| dœt          |fi |¤Ž¤Ž}|S )NrI  r(   r   é€   é   ©r   r   r   r)   ©r   r   r   rM  Úcrossvit_9_240rO  r‚   rP  rQ  s       r;   r]  r]  H  s…   € åØ ¨b°"¨XÀ#ÀsÀÐT]ÐT]ÐT]Ð_hÐ_hÐ_hÐjsÐjsÐjsÐStØ�a�& I I Ið/ñ /ô /€Jõ ÐkÐ%5À*ÐkÐkÕPTÐU_ÐPjÐPjÐciÐPjÐPjÐkÐk€EØ€Lr<   c           	      ó†   — t          dddgddgg d¢g d¢g d¢gddgg d¢¬	¦  «        }t          dd
| dœt          |fi |¤Ž¤Ž}|S )NrI  r(   r   r¸   r¹   ©r   é   r   r»   r\  rM  Úcrossvit_15_240rO  r‚   rP  rQ  s       r;   ra  ra  Q  s…   € åØ ¨b°"¨XÀ#ÀsÀÐT]ÐT]ÐT]Ð_hÐ_hÐ_hÐjsÐjsÐjsÐStØ�a�& I I Ið/ñ /ô /€Jõ ÐlÐ%6À:ÐlÐlÕQUÐV`ÐQkÐQkÐdjÐQkÐQkÐlÐl€EØ€Lr<   c           
      ó‚   — t          ddddgddgg d¢g d¢g d¢gddgg d¢d	œ|¤Ž}t          dd
| dœt          |fi |¤Ž¤Ž}|S )NrI  r(   r   r   éÀ  ©r   r»   r   r*   r\  rM  Úcrossvit_18_240rO  r‚   rP  rQ  s       r;   re  re  Z  s’   € åð 9Ø"°°B¨xÀCÈÀ:ÐV_ÐV_ÐV_ÐajÐajÐajÐluÐluÐluÐUvØ�a�& I I Ið9ð 9à17ð9ð 9€Jõ ÐlÐ%6À:ÐlÐlÕQUÐV`ÐQkÐQkÐdjÐQkÐQkÐlÐl€EØ€Lr<   c           	      óˆ   — t          dddgddgg d¢g d¢g d¢gddgg d¢d	¬
¦  «        }t          dd| dœt          |fi |¤Ž¤Ž}|S )NrI  r(   r   rY  rZ  r[  r)   r\  T©r¾   r    r"   r€   rU   rr   r#   Úcrossvit_9_dagger_240rO  r‚   rP  rQ  s       r;   rh  rh  c  sŠ   € åØ"°°B¨xÀCÈÀ:ÐV_ÐV_ÐV_ÐajÐajÐajÐluÐluÐluÐUvØ�a�& I I I¸$ð@ñ @ô @€Jõ ÐrÐ%<ÈÐrÐrÕW[Ð\fÐWqÐWqÐjpÐWqÐWqÐrÐr€EØ€Lr<   c           	      óˆ   — t          dddgddgg d¢g d¢g d¢gddgg d¢d	¬
¦  «        }t          dd| dœt          |fi |¤Ž¤Ž}|S )NrI  r(   r   r¸   r¹   r_  r»   r\  Trg  Úcrossvit_15_dagger_240rO  r‚   rP  rQ  s       r;   rj  rj  l  óŠ   € åØ ¨b°"¨XÀ#ÀsÀÐT]ÐT]ÐT]Ð_hÐ_hÐ_hÐjsÐjsÐjsÐStØ�a�& I I I¸$ð@ñ @ô @€Jõ ÐsÐ%=È*ÐsÐsÕX\Ð]gÐXrÐXrÐkqÐXrÐXrÐsÐs€EØ€Lr<   c           	      óˆ   — t          dddgddgg d¢g d¢g d¢gddgg d¢d	¬
¦  «        }t          dd| dœt          |fi |¤Ž¤Ž}|S )N©r¶   gî?r(   r   r¸   r¹   r_  r»   r\  Trg  Úcrossvit_15_dagger_408rO  r‚   rP  rQ  s       r;   rn  rn  u  rk  r<   c           	      óˆ   — t          dddgddgg d¢g d¢g d¢gddgg d¢d	¬
¦  «        }t          dd| dœt          |fi |¤Ž¤Ž}|S )NrI  r(   r   r   rc  rd  r*   r\  Trg  Úcrossvit_18_dagger_240rO  r‚   rP  rQ  s       r;   rp  rp  ~  rk  r<   c           	      óˆ   — t          dddgddgg d¢g d¢g d¢gddgg d¢d	¬
¦  «        }t          dd| dœt          |fi |¤Ž¤Ž}|S )Nrm  r(   r   r   rc  rd  r*   r\  Trg  Úcrossvit_18_dagger_408rO  r‚   rP  rQ  s       r;   rr  rr  ‡  rk  r<   r%  )r:  )8rK   Ú	functoolsr   Útypingr   r   r   r   r   r•   Útorch.nnr3   Ú	timm.datar
   r   Útimm.layersr   r   r   r   r   r   Ú_builderr   Ú_features_fxr   Ú	_registryr   r   Úvision_transformerr   Ú__all__r|   r   rQ   rp   r~   r¦   rL   rM   r´   r   r9  rE  Údefault_cfgsrN  rU  rW  r]  ra  re  rh  rj  rn  rp  rr  r‚   r<   r;   ú<module>r~     sp  ððð ð, Ð Ð Ð Ð Ð Ø 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5à €€€Ø Ð Ð Ð Ð Ð à AÐ AÐ AÐ AÐ AÐ AÐ AÐ AØ pÐ pÐ pÐ pÐ pÐ pÐ pÐ pÐ pÐ pÐ pÐ pÐ pÐ pÐ pÐ pØ *Ð *Ð *Ð *Ð *Ð *Ø 3Ð 3Ð 3Ð 3Ð 3Ð 3Ø <Ð <Ð <Ð <Ð <Ð <Ð <Ð <Ø %Ð %Ð %Ð %Ð %Ð %àˆ,€ð2ð 2ð 2ð 2ð 2�”ñ 2ô 2ð 2ðj)ð )ð )ð )ð )�R”Yñ )ô )ð )ðX ð  ð  ð  ð  ˜"œ)ñ  ô  ð  ðFqð qð qð qð q�b”iñ qô qð qðhFð Fð Fð ðð �u˜S #˜X”ð °Dð ð ð ñ Ôðð(qð qð qð qð qˆrŒyñ qô qð qðhð ð ð ð.	ð 	ð 	ð 	ð %Ð$Ø ˜D¨7Ð3Ñ3Ô3Ø#' 4ØØCð$ñ $ô $ð $( 4ØØ Ð-]Ðhkð$ñ $ô $ð !˜D¨7Ð3Ñ3Ô3Ø#' 4ØØCð$ñ $ô $ð $( 4ØØ Ð-]Ðhkð$ñ $ô $ð  ˜4¨'Ð2Ñ2Ô2Ø"& $ØØCð#ñ #ô #ð #˜d¨WÐ5Ñ5Ô5Ø#˜t¨gÐ6Ñ6Ô6Ø"˜d¨WÐ5Ñ5Ô5ð5&ð &ñ ô €ð< ðð °Xð ð ð ñ „ðð ðð °hð ð ð ñ „ðð ðð °Xð ð ð ñ „ðð ðð °(ð ð ð ñ „ðð ðð °8ð ð ð ñ „ðð ðð °8ð ð ð ñ „ðð ðð ¸ð ð ð ñ „ðð ðð ¸(ð ð ð ñ „ðð ðð ¸(ð ð ð ñ „ðð ðð ¸(ð ð ð ñ „ðð ðð ¸(ð ð ð ñ „ðð ð r<   