§
    ·¯¸jåZ  ã                   óÌ  — d Z ddlmZ ddlmZmZmZmZmZm	Z	 ddl
Z
ddlmZ ddlmZmZ ddlmZmZmZmZmZmZ ddlmZ dd	lmZ dd
lmZmZ ddlmZm Z  g d¢Z! G d„ dej"        ¦  «        Z# G d„ dej"        ¦  «        Z$ G d„ dej"        ¦  «        Z% G d„ dej"        ¦  «        Z& G d„ dej"        ¦  «        Z'd7d„Z(d8d„Z)d9d„Z* e  e*ddd¬¦  «         e*dd ¬!¦  «         e*dd"d¬¦  «         e*dd#¬!¦  «         e*dd$¬!¦  «         e*dd%d¬¦  «         e*dd&¬!¦  «         e*dd'¬!¦  «         e*dd(¬!¦  «         e*dd)d*¬¦  «        d+œ
¦  «        Z+ed8d,e'fd-„¦   «         Z,ed8d,e'fd.„¦   «         Z-ed8d,e'fd/„¦   «         Z.ed8d,e'fd0„¦   «         Z/ed8d,e'fd1„¦   «         Z0ed8d,e'fd2„¦   «         Z1ed8d,e'fd3„¦   «         Z2ed8d,e'fd4„¦   «         Z3ed8d,e'fd5„¦   «         Z4ed8d,e'fd6„¦   «         Z5dS ):a3   Class-Attention in Image Transformers (CaiT)

Paper: 'Going deeper with Image Transformers' - https://arxiv.org/abs/2103.17239

Original code and weights from https://github.com/facebookresearch/deit, copyright below

Modifications and additions for timm hacked together by / Copyright 2021, Ross Wightman
é    )Úpartial)ÚListÚOptionalÚTupleÚUnionÚTypeÚAnyN©ÚIMAGENET_DEFAULT_MEANÚIMAGENET_DEFAULT_STD)Ú
PatchEmbedÚMlpÚDropPathÚtrunc_normal_Úuse_fused_attnÚget_device_dtypeé   )Úbuild_model_with_cfg)Úfeature_take_indices)Ú
checkpointÚcheckpoint_seq)Úregister_modelÚgenerate_default_cfgs)ÚCaitÚ	ClassAttnÚLayerScaleBlockClassAttnÚLayerScaleBlockÚTalkingHeadAttnc                   ót   ‡ — e Zd ZU ej        j        e         ed<   	 	 	 	 	 	 ddededed	e	d
e	f
ˆ fd„Z
d„ Zˆ xZS )r   Ú
fused_attné   Fç        NÚdimÚ	num_headsÚqkv_biasÚ	attn_dropÚ	proj_dropc                 óÔ  •— t          ¦   «                              ¦   «          ||dœ}|| _        ||z  }	|	dz  | _        t	          ¦   «         | _        t          j        ||fd|i|¤Ž| _        t          j        ||fd|i|¤Ž| _	        t          j        ||fd|i|¤Ž| _
        t          j        |¦  «        | _        t          j        ||fi |¤Ž| _        t          j        |¦  «        | _        d S )N©ÚdeviceÚdtypeç      à¿Úbias)ÚsuperÚ__init__r$   Úscaler   r    ÚnnÚLinearÚqÚkÚvÚDropoutr&   Úprojr'   ©Úselfr#   r$   r%   r&   r'   r*   r+   ÚddÚhead_dimÚ	__class__s             €ú`/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/timm/models/cait.pyr/   zClassAttn.__init__    só   ø€ õ 	‰Œ×ÒÑÔÐØ¨Ð/Ð/ˆØ"ˆŒØ˜)Ñ#ˆØ Ñ%ˆŒ
Ý(Ñ*Ô*ˆŒå”˜3 Ð9Ð9¨(Ð9°bÐ9Ð9ˆŒÝ”˜3 Ð9Ð9¨(Ð9°bÐ9Ð9ˆŒÝ”˜3 Ð9Ð9¨(Ð9°bÐ9Ð9ˆŒÝœ IÑ.Ô.ˆŒÝ”I˜c 3Ð-Ð-¨"Ð-Ð-ˆŒ	Ýœ IÑ.Ô.ˆŒˆˆó    c                 ó   — |j         \  }}}|                      |d d …df         ¦  «                             d¦  «                             |d| j        || j        z  ¦  «                             dddd¦  «        }|                      |¦  «                             ||| j        || j        z  ¦  «                             dddd¦  «        }|                      |¦  «                             ||| j        || j        z  ¦  «                             dddd¦  «        }| j        r<t          j
        j                             |||| j        r| j        j        nd¬¦  «        }nS|| j        z  }||                     dd¦  «        z  }	|	                     d¬	¦  «        }	|                      |	¦  «        }	|	|z  }|                     dd¦  «                             |d|¦  «        }|                      |¦  «        }|                      |¦  «        }|S )
Nr   r   é   é   r"   )Ú	dropout_péþÿÿÿéÿÿÿÿ©r#   )Úshaper3   Ú	unsqueezeÚreshaper$   Úpermuter4   r5   r    Útorchr1   Ú
functionalÚscaled_dot_product_attentionÚtrainingr&   Úpr0   Ú	transposeÚsoftmaxr7   r'   )
r9   ÚxÚBÚNÚCr3   r4   r5   Úx_clsÚattns
             r=   ÚforwardzClassAttn.forward8   sÚ  € Ø”'‰ˆˆ1ˆaØ�FŠF�1�Q�Q�Q˜�T”7‰OŒO×%Ò% aÑ(Ô(×0Ò0°°A°t´~ÀqÈDÌNÑGZÑ[Ô[×cÒcÐdeÐghÐjkÐmnÑoÔoˆØ�FŠF�1‰IŒI×Ò˜a  D¤N°A¸¼Ñ4GÑHÔH×PÒPÐQRÐTUÐWXÐZ[Ñ\Ô\ˆØ�FŠF�1‰IŒI×Ò˜a  D¤N°A¸¼Ñ4GÑHÔH×PÒPÐQRÐTUÐWXÐZ[Ñ\Ô\ˆàŒ?ð 
	Ý”HÔ'×DÒDØ�1�aØ.2¬mÐC˜$œ.Ô*Ð*Àð Eñ ô ˆEˆEð
 �D”J‘ˆAØ�q—{’{ 2 rÑ*Ô*Ñ*ˆDØ—<’< B�<Ñ'Ô'ˆDØ—>’> $Ñ'Ô'ˆDØ˜1‘HˆEà—’  1Ñ%Ô%×-Ò-¨a°°AÑ6Ô6ˆØ—	’	˜%Ñ Ô ˆØ—’˜uÑ%Ô%ˆàˆr>   ©r!   Fr"   r"   NN)Ú__name__Ú
__module__Ú__qualname__rJ   ÚjitÚFinalÚboolÚ__annotations__ÚintÚfloatr/   rW   Ú__classcell__©r<   s   @r=   r   r      s®   ø€ € € € € € ð ”	” Ô%Ð%Ð%Ñ%ð
 Ø"Ø!Ø!ØØð/ð /àð/ð ð/ð ð	/ð
 ð/ð ð/ð /ð /ð /ð /ð /ð0ð ð ð ð ð ð r>   r   c                   óÜ   ‡ — e Zd Zdddddej        ej        eedddfdedede	d	e
d
e	de	de	deej                 deej                 deej                 deej                 de	fˆ fd„Zd„ Zˆ xZS )r   ç      @Fr"   ç-Cëâ6?Nr#   r$   Ú	mlp_ratior%   r'   r&   Ú	drop_pathÚ	act_layerÚ
norm_layerÚ
attn_blockÚ	mlp_blockÚinit_valuesc                 ó  •— t          ¦   «                              ¦   «          ||dœ} |	|fi |¤Ž| _         |
|f||||dœ|¤Ž| _        |dk    rt	          |¦  «        nt          j        ¦   «         | _         |	|fi |¤Ž| _        t          ||z  ¦  «        } |d||||dœ|¤Ž| _
        t          j        |t          j        |fi |¤Žz  ¦  «        | _        t          j        |t          j        |fi |¤Žz  ¦  «        | _        d S ©Nr)   )r$   r%   r&   r'   r"   )Úin_featuresÚhidden_featuresri   Údrop© ©r.   r/   Únorm1rV   r   r1   ÚIdentityrh   Únorm2r`   ÚmlpÚ	ParameterrJ   ÚonesÚgamma_1Úgamma_2©r9   r#   r$   rg   r%   r'   r&   rh   ri   rj   rk   rl   rm   r*   r+   r:   Úmlp_hidden_dimr<   s                    €r=   r/   z!LayerScaleBlockClassAttn.__init__T   óN  ø€ õ" 	‰Œ×ÒÑÔÐØ¨Ð/Ð/ˆØ�Z Ð*Ð* rÐ*Ð*ˆŒ
Ø�JØð
àØØØð
ð 
ð ð
ð 
ˆŒ	ð 1:¸B²°� )Ñ,Ô,Ð,ÅBÄKÁMÄMˆŒØ�Z Ð*Ð* rÐ*Ð*ˆŒ
Ý˜S 9™_Ñ-Ô-ˆØ�9ð 
ØØ*ØØð	
ð 
ð
 ð
ð 
ˆŒõ ”| Kµ%´*¸SÐ2GÐ2GÀBÐ2GÐ2GÑ$GÑHÔHˆŒÝ”| Kµ%´*¸SÐ2GÐ2GÀBÐ2GÐ2GÑ$GÑHÔHˆŒˆˆr>   c           	      óN  — t          j        ||fd¬¦  «        }||                      | j        |                      |                      |¦  «        ¦  «        z  ¦  «        z   }||                      | j        |                      |                      |¦  «        ¦  «        z  ¦  «        z   }|S )Nr   rE   )	rJ   Úcatrh   r{   rV   ru   r|   rx   rw   )r9   rQ   rU   Úus       r=   rW   z LayerScaleBlockClassAttn.forward}   s‡   € ÝŒI�u˜a�j aÐ(Ñ(Ô(ˆØ˜Ÿš t¤|°d·i²iÀÇ
Â
È1ÁÄÑ6NÔ6NÑ'NÑOÔOÑOˆØ˜Ÿš t¤|°d·h²h¸t¿zºzÈ%Ñ?PÔ?PÑ6QÔ6QÑ'QÑRÔRÑRˆØˆr>   )rY   rZ   r[   r1   ÚGELUÚ	LayerNormr   r   r`   ra   r^   r   ÚModuler/   rW   rb   rc   s   @r=   r   r   Q   s  ø€ € € € € ð  "Ø"Ø!Ø!Ø!Ø)+¬Ø*,¬,Ø*3Ø),Ø!%ØØð'Ið 'Iàð'Ið ð'Ið ð	'Ið
 ð'Ið ð'Ið ð'Ið ð'Ið ˜BœI”ð'Ið ˜RœYœð'Ið ˜RœYœð'Ið ˜BœI”ð'Ið ð'Ið 'Ið 'Ið 'Ið 'Ið 'IðRð ð ð ð ð ð r>   r   c                   óH   ‡ — e Zd Z	 	 	 	 	 	 ddedededed	ef
ˆ fd
„Zd„ Zˆ xZS )r   r!   Fr"   Nr#   r$   r%   r&   r'   c                 ó¬  •— t          ¦   «                              ¦   «          ||dœ}|| _        ||z  }	|	dz  | _        t	          j        ||dz  fd|i|¤Ž| _        t	          j        |¦  «        | _        t	          j        ||fi |¤Ž| _	        t	          j        ||fi |¤Ž| _
        t	          j        ||fi |¤Ž| _        t	          j        |¦  «        | _        d S )Nr)   r,   rA   r-   )r.   r/   r$   r0   r1   r2   Úqkvr6   r&   r7   Úproj_lÚproj_wr'   r8   s             €r=   r/   zTalkingHeadAttn.__init__‡   sà   ø€ õ 	‰Œ×ÒÑÔÐØ¨Ð/Ð/ˆà"ˆŒà˜)Ñ#ˆà Ñ%ˆŒ
å”9˜S #¨¡'Ð?Ð?°Ð?¸BÐ?Ð?ˆŒÝœ IÑ.Ô.ˆŒå”I˜c 3Ð-Ð-¨"Ð-Ð-ˆŒ	å”i 	¨9Ð;Ð;¸Ð;Ð;ˆŒÝ”i 	¨9Ð;Ð;¸Ð;Ð;ˆŒåœ IÑ.Ô.ˆŒˆˆr>   c                 ó8  — |j         \  }}}|                      |¦  «                             ||d| j        || j        z  ¦  «                             ddddd¦  «        }|d         | j        z  |d         |d         }}}||                     dd¦  «        z  }	|                      |	                     dddd¦  «        ¦  «                             dddd¦  «        }	|	                     d¬¦  «        }	|  	                    |	                     dddd¦  «        ¦  «                             dddd¦  «        }	|  
                    |	¦  «        }	|	|z                       dd¦  «                             |||¦  «        }|                      |¦  «        }|                      |¦  «        }|S )	NrA   r@   r   r   é   rC   rD   rE   )rF   rˆ   rH   r$   rI   r0   rO   r‰   rP   rŠ   r&   r7   r'   )
r9   rQ   rR   rS   rT   rˆ   r3   r4   r5   rV   s
             r=   rW   zTalkingHeadAttn.forward¤   sr  € Ø”'‰ˆˆ1ˆaØ�hŠh�q‰kŒk×!Ò! ! Q¨¨4¬>¸1ÀÄÑ;NÑOÔO×WÒWÐXYÐ[\Ð^_ÐabÐdeÑfÔfˆØ�a”&˜4œ:Ñ% s¨1¤v¨s°1¬vˆaˆ1ˆà�1—;’;˜r 2Ñ&Ô&Ñ&ˆà�{Š{˜4Ÿ<š<¨¨1¨a°Ñ3Ô3Ñ4Ô4×<Ò<¸QÀÀ1ÀaÑHÔHˆà�|Š| ˆ|Ñ#Ô#ˆà�{Š{˜4Ÿ<š<¨¨1¨a°Ñ3Ô3Ñ4Ô4×<Ò<¸QÀÀ1ÀaÑHÔHˆØ�~Š~˜dÑ#Ô#ˆà�A‰X× Ò   AÑ&Ô&×.Ò.¨q°!°QÑ7Ô7ˆØ�IŠI�a‰LŒLˆØ�NŠN˜1ÑÔˆØˆr>   rX   )	rY   rZ   r[   r`   r^   ra   r/   rW   rb   rc   s   @r=   r   r   „   s•   ø€ € € € € ð Ø"Ø!Ø!ØØð/ð /àð/ð ð/ð ð	/ð
 ð/ð ð/ð /ð /ð /ð /ð /ð:ð ð ð ð ð ð r>   r   c                   óÜ   ‡ — e Zd Zdddddej        ej        eedddfdedede	d	e
d
e	de	de	deej                 deej                 deej                 deej                 de	fˆ fd„Zd„ Zˆ xZS )r   re   Fr"   rf   Nr#   r$   rg   r%   r'   r&   rh   ri   rj   rk   rl   rm   c                 ó  •— t          ¦   «                              ¦   «          ||dœ} |	|fi |¤Ž| _         |
|f||||dœ|¤Ž| _        |dk    rt	          |¦  «        nt          j        ¦   «         | _         |	|fi |¤Ž| _        t          ||z  ¦  «        } |d||||dœ|¤Ž| _
        t          j        |t          j        |fi |¤Žz  ¦  «        | _        t          j        |t          j        |fi |¤Žz  ¦  «        | _        d S ro   rt   r}   s                    €r=   r/   zLayerScaleBlock.__init__»   r   r>   c           	      ó  — ||                       | j        |                      |                      |¦  «        ¦  «        z  ¦  «        z   }||                       | j        |                      |                      |¦  «        ¦  «        z  ¦  «        z   }|S ©N)rh   r{   rV   ru   r|   rx   rw   ©r9   rQ   s     r=   rW   zLayerScaleBlock.forwardä   sm   € Ø�—’˜tœ|¨d¯iªi¸¿
º
À1¹¼Ñ.FÔ.FÑFÑGÔGÑGˆØ�—’˜tœ|¨d¯hªh°t·z²zÀ!±}´}Ñ.EÔ.EÑEÑFÔFÑFˆØˆr>   )rY   rZ   r[   r1   rƒ   r„   r   r   r`   ra   r^   r   r…   r/   rW   rb   rc   s   @r=   r   r   ¸   s  ø€ € € € € ð  "Ø"Ø!Ø!Ø!Ø)+¬Ø*,¬,Ø*9Ø),Ø!%ØØð'Ið 'Iàð'Ið ð'Ið ð	'Ið
 ð'Ið ð'Ið ð'Ið ð'Ið ˜BœI”ð'Ið ˜RœYœð'Ið ˜RœYœð'Ið ˜BœI”ð'Ið ð'Ið 'Ið 'Ið 'Ið 'Ið 'IðRð ð ð ð ð ð r>   r   c            7       ó¢  ‡ — e Zd Zdddddddddd	d
d
d
d
d
eee eej        d¬¦  «        ej	        e
edeeddddfdedededededededededededededededeej                 d eej                 d!eej                 d"eej                 d#eej                 d$eej                 d%eej                 d&ed'eej                 d(eej                 d)ed*ef6ˆ fd+„Zd,„ Zej        j        d-„ ¦   «         Zej        j        dDd.„¦   «         Zej        j        dEd0„¦   «         Zej        j        d1ej        fd2„¦   «         ZdFdedee         fd3„Z	 	 	 	 	 dGd5ej        d6eeee e         f                  d7ed8ed9ed:ed1ee ej                 e!ej        e ej                 f         f         fd;„Z"	 	 	 dHd6eee e         f         d=ed>efd?„Z#d@„ Z$dEdAefdB„Z%dC„ Z&ˆ xZ'S )Ir   éà   é   rA   éè  Útokené   é   re   Tr"   ç�íµ ÷Æ°>)Úepsrf   r@   NÚimg_sizeÚ
patch_sizeÚin_chansÚnum_classesÚglobal_poolÚ	embed_dimÚdepthr$   rg   r%   Ú	drop_rateÚpos_drop_rateÚproj_drop_rateÚattn_drop_rateÚdrop_path_rateÚblock_layersÚblock_layers_tokenÚpatch_layerrj   ri   rk   rl   rm   Úattn_block_token_onlyÚmlp_block_token_onlyÚdepth_token_onlyÚmlp_ratio_token_onlyc                 ó  •‡‡‡	‡
‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡ ‡!— t          ¦   «                              ¦   «          ||dœŠ|dv sJ ‚|| _        || _        || _        ‰x| _        x| _        | _        d| _         |d|||‰dœ‰¤Ž| _	        | j	        j
        }t          | j	        d¦  «        r| j	                             ¦   «         n|Š!t          j        t          j        dd‰fi ‰¤Ž¦  «        | _        t          j        t          j        d|‰fi ‰¤Ž¦  «        | _        t          j        |¬¦  «        | _        ˆfd„t+          |¦  «        D ¦   «         Š t          j        ˆˆˆˆˆˆ ˆˆˆˆ	ˆˆˆˆ
fd	„t+          |¦  «        D ¦   «         Ž | _        ˆˆ!fd
„t+          |¦  «        D ¦   «         | _        t          j        ˆˆˆˆˆˆˆˆˆˆˆ
fd„t+          |¦  «        D ¦   «         ¦  «        | _         ‰‰fi ‰¤Ž| _        t          j        |¦  «        | _        |dk    rt          j        ‰|fi ‰¤Žnt          j        ¦   «         | _        tA          | j        d¬¦  «         tA          | j        d¬¦  «         |  !                    | j"        ¦  «         d S )Nr)   ©Ú r–   ÚavgF)r›   rœ   r�   r    Ú
feat_ratior   )rN   c                 ó   •— g | ]}‰‘ŒS rs   rs   )Ú.0Úir¦   s     €r=   ú
<listcomp>z!Cait.__init__.<locals>.<listcomp>%  s   ø€ Ð4Ð4Ð4 !ˆ~Ð4Ð4Ð4r>   c                 óF   •— g | ]} ‰d‰‰‰‰‰‰‰|         ‰‰‰‰
‰	d œ‰¤Ž‘ŒS ))r#   r$   rg   r%   r'   r&   rh   rj   ri   rk   rl   rm   rs   rs   )r´   rµ   ri   rk   r¥   r§   r:   Údprr    rm   rl   rg   rj   r$   r¤   r%   s     €€€€€€€€€€€€€€r=   r¶   z!Cait.__init__.<locals>.<listcomp>&  ss   ø€ ð &!ð &!ð &!ð ð '3 lð '
ØØØØØ$Ø$Ø˜!”fØ!ØØ!ØØ#ð'
ð '
ð ð'
ð '
ð &!ð &!ð &!r>   c                 ó:   •— g | ]}t          ‰‰d |› �¬¦  «        ‘ŒS )úblocks.)Únum_chsÚ	reductionÚmodule)Údict)r´   rµ   r    Úrs     €€r=   r¶   z!Cait.__init__.<locals>.<listcomp>5  s0   ø€ ÐnÐnÐnÐ\]�T¨)¸qÈÐSTÈÈÐWÑWÔWÐnÐnÐnr>   c                 ó4   •— g | ]} ‰d‰‰‰	‰‰
‰‰‰‰d œ	‰¤Ž‘ŒS ))	r#   r$   rg   r%   rj   ri   rk   rl   rm   rs   rs   )r´   Ú_ri   rª   r¨   r:   r    rm   r«   r­   rj   r$   r%   s     €€€€€€€€€€€r=   r¶   z!Cait.__init__.<locals>.<listcomp>7  sh   ø€ ð 0,ð 0,ð 0,ð ð 1CÐ0Bð 1
ØØØ*ØØ!ØØ,Ø*Ø#ð1
ð 1
ð ð1
ð 1
ð 0,ð 0,ð 0,r>   r   ç{®Gáz”?©Ústdrs   )#r.   r/   rž   r�   rŸ   Únum_featuresÚhead_hidden_sizer    Úgrad_checkpointingÚpatch_embedÚnum_patchesÚhasattrr²   r1   ry   rJ   ÚzerosÚ	cls_tokenÚ	pos_embedr6   Úpos_dropÚrangeÚ
SequentialÚblocksÚfeature_infoÚ
ModuleListÚblocks_token_onlyÚnormÚ	head_dropr2   rv   Úheadr   ÚapplyÚ_init_weights)#r9   r›   rœ   r�   rž   rŸ   r    r¡   r$   rg   r%   r¢   r£   r¤   r¥   r¦   r§   r¨   r©   rj   ri   rk   rl   rm   rª   r«   r¬   r­   r*   r+   rÉ   r:   r¸   r¿   r<   s#         ` ```  ````` ``````` `   @@@€r=   r/   zCait.__init__í   s6  øøøøøøøøøøøøøøøøøøøøø€ õ@ 	‰Œ×ÒÑÔÐØ¨Ð/Ð/ˆØÐ2Ð2Ð2Ð2Ð2à&ˆÔØ ˆŒØ&ˆÔØENÐNˆÔÐN˜DÔ1°D´NØ"'ˆÔà&˜;ð 
ØØ!ØØð	
ð 
ð
 ð
ð 
ˆÔð Ô&Ô2ˆÝ-4°TÔ5EÀ|Ñ-TÔ-TÐdˆDÔ×'Ò'Ñ)Ô)Ð)ÐZdˆåœ¥e¤k°!°Q¸	Ð&HÐ&HÀRÐ&HÐ&HÑIÔIˆŒÝœ¥e¤k°!°[À)Ð&RÐ&RÈrÐ&RÐ&RÑSÔSˆŒÝœ
 ]Ð3Ñ3Ô3ˆŒà4Ð4Ð4Ð4¥u¨U¡|¤|Ð4Ñ4Ô4ˆÝ”mð &!ð &!ð &!ð &!ð &!ð &!ð &!ð &!ð &!ð &!ð &!ð &!ð &!ð &!ð &!ð &!ð &!õ ˜‘<”<ð&!ñ &!ô &!ð "ˆŒð oÐnÐnÐnÐnÕafÐglÑamÔamÐnÑnÔnˆÔå!#¤ð 0,ð 0,ð 0,ð 0,ð 0,ð 0,ð 0,ð 0,ð 0,ð 0,ð 0,ð 0,ð 0,ð 0,õ Ð)Ñ*Ô*ð0,ñ 0,ô 0,ñ "-ô "-ˆÔð �J˜yÐ/Ð/¨BÐ/Ð/ˆŒ	åœ IÑ.Ô.ˆŒØ?JÈQº¸•B”I˜i¨Ð;Ð;¸Ð;Ð;Ð;ÕTVÔT_ÑTaÔTaˆŒ	å�d”n¨#Ð.Ñ.Ô.Ð.Ý�d”n¨#Ð.Ñ.Ô.Ð.Ø�
Š
�4Ô%Ñ&Ô&Ð&Ð&Ð&r>   c                 óÊ  — t          |t          j        ¦  «        rbt          |j        d¬¦  «         t          |t          j        ¦  «        r.|j        �)t          j                             |j        d¦  «         d S d S d S t          |t          j        ¦  «        rLt          j                             |j        d¦  «         t          j                             |j        d¦  «         d S d S )NrÂ   rÃ   r   ç      ð?)	Ú
isinstancer1   r2   r   Úweightr-   ÚinitÚ	constant_r„   )r9   Úms     r=   rÙ   zCait._init_weightsM  sÎ   € Ý�a�œÑ#Ô#ð 	-Ý˜!œ(¨Ð,Ñ,Ô,Ð,Ý˜!�RœYÑ'Ô'ð -¨A¬FÐ,>Ý”×!Ò! !¤&¨!Ñ,Ô,Ð,Ð,Ð,ð-ð -Ð,>Ð,>å˜�2œ<Ñ(Ô(ð 	-ÝŒG×Ò˜aœf aÑ(Ô(Ð(ÝŒG×Ò˜aœh¨Ñ,Ô,Ð,Ð,Ð,ð	-ð 	-r>   c                 ó
   — ddhS )NrÍ   rÌ   rs   ©r9   s    r=   Úno_weight_decayzCait.no_weight_decayV  s   € à˜[Ð)Ð)r>   c                 ó   — || _         d S r�   )rÇ   )r9   Úenables     r=   Úset_grad_checkpointingzCait.set_grad_checkpointingZ  s   € à"(ˆÔÐÐr>   Fc                 ó   ‡ — ˆ fd„}|S )Nc                 ó  •‡ — t          ˆ fd„dD ¦   «         ¦  «        rdS ‰                      d¦  «        r+t          ‰                      d¦  «        d         ¦  «        dz   S ‰                      d¦  «        rWt	          ‰j        ¦  «        t	          ‰j        ¦  «        z
  dz   }t          ‰                      d¦  «        d         ¦  «        |z   S ‰                      d¦  «        rt	          ‰j        ¦  «        S t          d	¦  «        S )
Nc                 ó:   •— g | ]}‰                      |¦  «        ‘ŒS rs   )Ú
startswith)r´   ÚnÚnames     €r=   r¶   z8Cait.group_matcher.<locals>._matcher.<locals>.<listcomp>a  s%   ø€ ÐZÐZÐZ¨1�D—O’O AÑ&Ô&ÐZÐZÐZr>   )rÌ   rÍ   rÈ   r   rº   ú.r   zblocks_token_only.znorm.Úinf)Úanyrê   r`   ÚsplitÚlenrÑ   rÔ   ra   )rì   Ú	to_offsetr9   s   ` €r=   Ú_matcherz$Cait.group_matcher.<locals>._matcher`  sð   øø€ ÝÐZÐZÐZÐZÐ0YÐZÑZÔZÑ[Ô[ð $Ø�qØ—’ Ñ+Ô+ð 	$Ý˜4Ÿ:š: c™?œ?¨1Ô-Ñ.Ô.°Ñ2Ð2Ø—’Ð!5Ñ6Ô6ð $å ¤Ñ,Ô,­s°4Ô3IÑ/JÔ/JÑJÈQÑN�	Ý˜4Ÿ:š: c™?œ?¨1Ô-Ñ.Ô.°Ñ:Ð:Ø—’ Ñ)Ô)ð $Ý˜4œ;Ñ'Ô'Ð'å˜U‘|”|Ð#r>   rs   )r9   Úcoarseró   s   `  r=   Úgroup_matcherzCait.group_matcher^  s#   ø€ ð	$ð 	$ð 	$ð 	$ð 	$ð ˆr>   Úreturnc                 ó   — | j         S r�   )r×   râ   s    r=   Úget_classifierzCait.get_classifiero  s
   € àŒyÐr>   c                 óú   — t          | ¦  «        }|| _        |�|dv sJ ‚|| _        |dk    rt          j        | j        |fi |¤Žnt          j        ¦   «         | _        | j                             | j	        ¦  «         d S )Nr¯   r   )
r   rž   rŸ   r1   r2   rÅ   rv   r×   ÚtrainrM   )r9   rž   rŸ   r:   s       r=   Úreset_classifierzCait.reset_classifiers  s‰   € Ý˜dÑ#Ô#ˆØ&ˆÔØÐ"ØÐ"6Ð6Ð6Ð6Ð6Ø*ˆDÔØGRÐUVÂÀ•B”I˜dÔ/°ÐCÐCÀÐCÐCÐCÕ\^Ô\gÑ\iÔ\iˆŒ	ØŒ	�Š˜œÑ&Ô&Ð&Ð&Ð&r>   ÚNCHWrQ   ÚindicesrÕ   Ú
stop_earlyÚ
output_fmtÚintermediates_onlyc                 óä  ‡‡‡— |dv s
J d¦   «         ‚|dk    }g }t          t          | j        ¦  «        |¦  «        \  }	}
|j        \  Š}}}|                      |¦  «        }|| j        z   }|                      |¦  «        }t          j         	                    ¦   «         s|s| j        }n| j        d|
dz   …         }t          |¦  «        D ]v\  }}| j        r/t          j         	                    ¦   «         st          ||¦  «        }n ||¦  «        }||	v r,|                     |r|                      |¦  «        n|¦  «         Œw|r/| j                             ||f¦  «        \  ŠŠˆˆˆfd„|D ¦   «         }|r|S | j                             |j        d         dd¦  «        }t          | j        ¦  «        D ]\  }} |||¦  «        }Œt          j        ||fd¬	¦  «        }|                      |¦  «        }||fS )
aÖ   Forward features that returns intermediates.

        Args:
            x: Input image tensor
            indices: Take last n blocks if int, all if None, select matching indices if sequence
            norm: Apply norm layer to all intermediates
            stop_early: Stop iterating over blocks when last desired intermediate hit
            output_fmt: Shape of intermediate feature outputs
            intermediates_only: Only return intermediate features
        )rü   ÚNLCz)Output format must be one of NCHW or NLC.rü   Nr   c                 ó�   •— g | ]B}|                      ‰‰‰d ¦  «                             dddd¦  «                             ¦   «         ‘ŒCS )rD   r   rA   r   r@   )rH   rI   Ú
contiguous)r´   ÚyrR   ÚHÚWs     €€€r=   r¶   z.Cait.forward_intermediates.<locals>.<listcomp>«  sL   ø€ ÐlÐlÐlÐYZ˜QŸYšY q¨!¨Q°Ñ3Ô3×;Ò;¸A¸qÀ!ÀQÑGÔG×RÒRÑTÔTÐlÐlÐlr>   r   rD   rE   )r   rñ   rÑ   rF   rÈ   rÍ   rÎ   rJ   r\   Úis_scriptingÚ	enumeraterÇ   r   ÚappendrÕ   Údynamic_feat_sizerÌ   ÚexpandrÔ   r�   )r9   rQ   rý   rÕ   rþ   rÿ   r   rH   ÚintermediatesÚtake_indicesÚ	max_indexrÁ   ÚheightÚwidthrÑ   rµ   ÚblkÚ
cls_tokensrR   r  r  s                     @@@r=   Úforward_intermediateszCait.forward_intermediates|  s3  øøø€ ð& ˜_Ð,Ð,Ð,Ð.YÑ,Ô,Ð,Ø Ò&ˆØˆÝ"6µs¸4¼;Ñ7GÔ7GÈÑ"QÔ"QÑˆ�ið  œgÑˆˆ1ˆf�eØ×Ò˜QÑÔˆØ�”ÑˆØ�MŠM˜!ÑÔˆåŒ9×!Ò!Ñ#Ô#ð 	1¨:ð 	1Ø”[ˆFˆFà”[  )¨a¡- Ô0ˆFÝ Ñ'Ô'ð 	Bð 	B‰FˆAˆsØÔ&ð ­u¬y×/EÒ/EÑ/GÔ/Gð Ý˜s AÑ&Ô&��à�C˜‘F”F�Ø�LÐ Ð à×$Ò$°TÐ%@ T§Y¢Y¨q¡\¤\ \¸qÑAÔAÐAøð ð 	màÔ#×5Ò5°v¸u°oÑFÔF‰DˆAˆqØlÐlÐlÐlÐlÐlÐ^kÐlÑlÔlˆMàð 	!Ø Ð ð ”^×*Ò*¨1¬7°1¬:°r¸2Ñ>Ô>ˆ
Ý Ô 6Ñ7Ô7ð 	,ð 	,‰FˆAˆsØ˜˜Q 
Ñ+Ô+ˆJˆJÝŒI�z 1�o¨1Ð-Ñ-Ô-ˆØ�IŠI�a‰LŒLˆà�-ÐÐr>   r   Ú
prune_normÚ
prune_headc                 ó  — t          t          | j        ¦  «        |¦  «        \  }}| j        d|dz   …         | _        |rt          j        ¦   «         | _        |r.t          j        ¦   «         | _        |                      dd¦  «         |S )z@ Prune layers not required for specified intermediates.
        Nr   r   r°   )	r   rñ   rÑ   r1   rv   rÕ   rÓ   rÔ   rû   )r9   rý   r  r  r  r  s         r=   Úprune_intermediate_layerszCait.prune_intermediate_layers¹  s   € õ #7µs¸4¼;Ñ7GÔ7GÈÑ"QÔ"QÑˆ�iØ”k . 9¨q¡= .Ô1ˆŒØð 	&Ýœ™œˆDŒIØð 	)Ý%'¤]¡_¤_ˆDÔ"Ø×!Ò! ! RÑ(Ô(Ð(ØÐr>   c                 ó  — |                       |¦  «        }|| j        z   }|                      |¦  «        }| j        r4t          j                             ¦   «         st          | j        |¦  «        }n|                      |¦  «        }| j	         
                    |j        d         dd¦  «        }t          | j        ¦  «        D ]\  }} |||¦  «        }Œt	          j        ||fd¬¦  «        }|                      |¦  «        }|S )Nr   rD   r   rE   )rÈ   rÍ   rÎ   rÇ   rJ   r\   r  r   rÑ   rÌ   r  rF   r	  rÔ   r�   rÕ   )r9   rQ   r  rµ   r  s        r=   Úforward_featureszCait.forward_featuresÊ  sð   € Ø×Ò˜QÑÔˆØ�”ÑˆØ�MŠM˜!ÑÔˆØÔ"ð 	­5¬9×+AÒ+AÑ+CÔ+Cð 	Ý˜tœ{¨AÑ.Ô.ˆAˆAà—’˜A‘”ˆAØ”^×*Ò*¨1¬7°1¬:°r¸2Ñ>Ô>ˆ
Ý Ô 6Ñ7Ô7ð 	,ð 	,‰FˆAˆsØ˜˜Q 
Ñ+Ô+ˆJˆJÝŒI�z 1�o¨1Ð-Ñ-Ô-ˆØ�IŠI�a‰LŒLˆØˆr>   Ú
pre_logitsc                 óÞ   — | j         r9| j         dk    r"|d d …dd …f                              d¬¦  «        n|d d …df         }|                      |¦  «        }|r|n|                      |¦  «        S )Nr±   r   rE   r   )rŸ   ÚmeanrÖ   r×   )r9   rQ   r  s      r=   Úforward_headzCait.forward_headÙ  sy   € ØÔð 	OØ(,Ô(8¸EÒ(AÐ(A��!�!�!�Q�R�R�%”—’ !�Ñ$Ô$Ð$ÀqÈÈÈÈAÈÄwˆAØ�NŠN˜1ÑÔˆØÐ0ˆqˆq D§I¢I¨a¡L¤LÐ0r>   c                 óZ   — |                       |¦  «        }|                      |¦  «        }|S r�   )r  r  r‘   s     r=   rW   zCait.forwardß  s-   € Ø×!Ò! !Ñ$Ô$ˆØ×Ò˜aÑ Ô ˆØˆr>   )T©Fr�   )NFFrü   F)r   FT)(rY   rZ   r[   r   r   r   r   r1   r„   rƒ   r   r   r   r`   Ústrra   r^   r   r…   r/   rÙ   rJ   r\   Úignorerã   ræ   rõ   rø   r   rû   ÚTensorr   r   r   r  r  r  r  rW   rb   rc   s   @r=   r   r   ê   s  ø€ € € € € ð
  Ø ØØ#Ø&Ø ØØØ!Ø!Ø!Ø#%Ø$&Ø$&Ø$&Ø,;Ø2JØ+5Ø*1¨'°"´,ÀDÐ*IÑ*IÔ*IØ)+¬Ø*9Ø),Ø!%Ø5>Ø47Ø$%Ø*-ØØð=^'ð ^'àð^'ð ð^'ð ð	^'ð
 ð^'ð ð^'ð ð^'ð ð^'ð ð^'ð ð^'ð ð^'ð ð^'ð !ð^'ð "ð^'ð "ð^'ð  "ð!^'ð" ˜rœyœ/ð#^'ð$ !% R¤Y¤ð%^'ð& ˜bœiœð'^'ð( ˜RœYœð)^'ð* ˜BœI”ð+^'ð, ˜RœYœð-^'ð. ˜BœI”ð/^'ð0 ð1^'ð2 $(¨¬	¤?ð3^'ð4 #' r¤y¤/ð5^'ð6 "ð7^'ð8 #(ð9^'ð ^'ð ^'ð ^'ð ^'ð ^'ð@-ð -ð -ð „YÔð*ð *ñ Ôð*ð „YÔð)ð )ð )ñ Ôð)ð „YÔðð ð ñ Ôðð  „YÔð ¤	ð ð ð ñ Ôðð'ð '¨Cð '¸hÀs¼mð 'ð 'ð 'ð 'ð 8<ØØ$Ø$Ø',ð; ð ; àŒ|ð; ð ˜e C¨¨c¬ NÔ3Ô4ð; ð ð	; ð
 ð; ð ð; ð !%ð; ð 
ˆt�E”LÔ! 5¨¬°t¸E¼LÔ7IÐ)IÔ#JÐJÔ	Kð; ð ; ð ; ð ; ð~ ./Ø$Ø#ð	ð à˜3  S¤	˜>Ô*ðð ðð ð	ð ð ð ð"ð ð ð1ð 1¨$ð 1ð 1ð 1ð 1ðð ð ð ð ð ð r>   r   c                 óˆ   — d| v r| d         } i }|                       ¦   «         D ]\  }}|||                     dd¦  «        <   Œ|S )NÚmodelzmodule.r°   )ÚitemsÚreplace)Ú
state_dictr%  Úcheckpoint_no_moduler4   r5   s        r=   Úcheckpoint_filter_fnr*  å  s^   € Ø�*ÐÐØ Ô(ˆ
ØÐØ× Ò Ñ"Ô"ð ;ð ;‰ˆˆ1Ø9:Ð˜QŸYšY y°"Ñ5Ô5Ñ6Ð6ØÐr>   Fc                 óˆ   — |                      dd¦  «        }t          t          | |ft          t	          |d¬¦  «        dœ|¤Ž}|S )NÚout_indicesrA   Úgetter)r,  Úfeature_cls)Úpretrained_filter_fnÚfeature_cfg)Úpopr   r   r*  r¾   )ÚvariantÚ
pretrainedÚkwargsr,  r%  s        r=   Ú_create_caitr5  î  s]   € Ø—*’*˜]¨AÑ.Ô.€KÝ ÝØØðõ 2Ý [¸hÐGÑGÔGðð ð ðð €Eð €Lr>   r°   c                 ó8   — | ddd dddt           t          dddd	œ|¥S )
Nr•   )rA   é€  r7  rÛ   ÚbicubicTzpatch_embed.projr×   z
apache-2.0)Úurlrž   Ú
input_sizeÚ	pool_sizeÚcrop_pctÚinterpolationÚfixed_input_sizer  rÄ   Ú
first_convÚ
classifierÚlicenser
   )r9  r4  s     r=   Ú_cfgrB  û  s:   € àØ¨=ÀtØ¨)ÈÝ%Õ.BØ(¸Øðð ð ðð r>   ztimm/z1https://dl.fbaipublicfiles.com/deit/XXS24_224.pth)rA   r“   r“   )Ú	hf_hub_idr9  r:  z1https://dl.fbaipublicfiles.com/deit/XXS24_384.pth)rC  r9  z1https://dl.fbaipublicfiles.com/deit/XXS36_224.pthz1https://dl.fbaipublicfiles.com/deit/XXS36_384.pthz0https://dl.fbaipublicfiles.com/deit/XS24_384.pthz/https://dl.fbaipublicfiles.com/deit/S24_224.pthz/https://dl.fbaipublicfiles.com/deit/S24_384.pthz/https://dl.fbaipublicfiles.com/deit/S36_384.pthz/https://dl.fbaipublicfiles.com/deit/M36_384.pthz/https://dl.fbaipublicfiles.com/deit/M48_448.pth)rA   éÀ  rD  )
zcait_xxs24_224.fb_dist_in1kzcait_xxs24_384.fb_dist_in1kzcait_xxs36_224.fb_dist_in1kzcait_xxs36_384.fb_dist_in1kzcait_xs24_384.fb_dist_in1kzcait_s24_224.fb_dist_in1kzcait_s24_384.fb_dist_in1kzcait_s36_384.fb_dist_in1kzcait_m36_384.fb_dist_in1kzcait_m48_448.fb_dist_in1krö   c           	      ó`   — t          ddddd¬¦  «        }t          d	d| it          |fi |¤Ž¤Ž}|S )
Nr”   éÀ   é   rŒ   çñhãˆµøä>©rœ   r    r¡   r$   rm   Úcait_xxs24_224r3  )rJ  ©r¾   r5  ©r3  r4  Ú
model_argsr%  s       r=   rJ  rJ  7  óI   € å ¨s¸"ÈÐW[Ð\Ñ\Ô\€JÝÐ_Ð_°jÐ_ÅDÈÐD^ÐD^ÐW]ÐD^ÐD^Ð_Ð_€EØ€Lr>   c           	      ó`   — t          ddddd¬¦  «        }t          d	d| it          |fi |¤Ž¤Ž}|S )
Nr”   rF  rG  rŒ   rH  rI  Úcait_xxs24_384r3  )rP  rK  rL  s       r=   rP  rP  >  rN  r>   c           	      ó`   — t          ddddd¬¦  «        }t          d	d| it          |fi |¤Ž¤Ž}|S )
Nr”   rF  é$   rŒ   rH  rI  Úcait_xxs36_224r3  )rS  rK  rL  s       r=   rS  rS  E  rN  r>   c           	      ó`   — t          ddddd¬¦  «        }t          d	d| it          |fi |¤Ž¤Ž}|S )
Nr”   rF  rR  rŒ   rH  rI  Úcait_xxs36_384r3  )rU  rK  rL  s       r=   rU  rU  L  rN  r>   c           	      ó`   — t          ddddd¬¦  «        }t          d	d| it          |fi |¤Ž¤Ž}|S )
Nr”   i   rG  é   rH  rI  Úcait_xs24_384r3  )rX  rK  rL  s       r=   rX  rX  S  sI   € å ¨s¸"ÈÐW[Ð\Ñ\Ô\€JÝÐ^Ð^°ZÐ^Å4È
ÐC]ÐC]ÐV\ÐC]ÐC]Ð^Ð^€EØ€Lr>   c           	      ó`   — t          ddddd¬¦  «        }t          d	d| it          |fi |¤Ž¤Ž}|S )
Nr”   r7  rG  r!   rH  rI  Úcait_s24_224r3  )rZ  rK  rL  s       r=   rZ  rZ  Z  óI   € å ¨s¸"ÈÐW[Ð\Ñ\Ô\€JÝÐ]Ð]°JÐ]Å$ÀzÐB\ÐB\ÐU[ÐB\ÐB\Ð]Ð]€EØ€Lr>   c           	      ó`   — t          ddddd¬¦  «        }t          d	d| it          |fi |¤Ž¤Ž}|S )
Nr”   r7  rG  r!   rH  rI  Úcait_s24_384r3  )r]  rK  rL  s       r=   r]  r]  a  r[  r>   c           	      ó`   — t          ddddd¬¦  «        }t          d	d| it          |fi |¤Ž¤Ž}|S )
Nr”   r7  rR  r!   r™   rI  Úcait_s36_384r3  )r_  rK  rL  s       r=   r_  r_  h  r[  r>   c           	      ó`   — t          ddddd¬¦  «        }t          dd| it          |fi |¤Ž¤Ž}|S )	Nr”   r—   rR  r™   rI  Úcait_m36_384r3  )ra  rK  rL  s       r=   ra  ra  o  óI   € å ¨s¸"ÈÐX\Ð]Ñ]Ô]€JÝÐ]Ð]°JÐ]Å$ÀzÐB\ÐB\ÐU[ÐB\ÐB\Ð]Ð]€EØ€Lr>   c           	      ó`   — t          ddddd¬¦  «        }t          dd| it          |fi |¤Ž¤Ž}|S )	Nr”   r—   é0   r™   rI  Úcait_m48_448r3  )re  rK  rL  s       r=   re  re  v  rb  r>   r�   r   )r°   )6Ú__doc__Ú	functoolsr   Útypingr   r   r   r   r   r	   rJ   Útorch.nnr1   Ú	timm.datar   r   Útimm.layersr   r   r   r   r   r   Ú_builderr   Ú	_featuresr   Ú_manipulater   r   Ú	_registryr   r   Ú__all__r…   r   r   r   r   r   r*  r5  rB  Údefault_cfgsrJ  rP  rS  rU  rX  rZ  r]  r_  ra  re  rs   r>   r=   ú<module>rr     s>  ððð ð Ð Ð Ð Ð Ð Ø :Ð :Ð :Ð :Ð :Ð :Ð :Ð :Ð :Ð :Ð :Ð :Ð :Ð :Ð :Ð :à €€€Ø Ð Ð Ð Ð Ð à AÐ AÐ AÐ AÐ AÐ AÐ AÐ AØ bÐ bÐ bÐ bÐ bÐ bÐ bÐ bÐ bÐ bÐ bÐ bÐ bÐ bÐ bÐ bØ *Ð *Ð *Ð *Ð *Ð *Ø +Ð +Ð +Ð +Ð +Ð +Ø 3Ð 3Ð 3Ð 3Ð 3Ð 3Ð 3Ð 3Ø <Ð <Ð <Ð <Ð <Ð <Ð <Ð <à
aÐ
aÐ
a€ð3ð 3ð 3ð 3ð 3�”	ñ 3ô 3ð 3ðl0ð 0ð 0ð 0ð 0˜rœyñ 0ô 0ð 0ðf1ð 1ð 1ð 1ð 1�b”iñ 1ô 1ð 1ðh/ð /ð /ð /ð /�b”iñ /ô /ð /ðdxð xð xð xð xˆ2Œ9ñ xô xð xðv ð  ð  ð  ð
ð 
ð 
ð 
ð	ð 	ð 	ð 	ð %Ð$Ø#' 4ØØ?Ø ð$ñ $ô $ð
 $( 4ØØ?ð$ñ $ô $ð $( 4ØØ?Ø ð$ñ $ô $ð
 $( 4ØØ?ð$ñ $ô $ð #' $ØØ>ð#ñ #ô #ð "& ØØ=Ø ð"ñ "ô "ð
 "& ØØ=ð"ñ "ô "ð "& ØØ=ð"ñ "ô "ð "& ØØ=ð"ñ "ô "ð "& ØØ=Ø ð"ñ "ô "ðQ-&ð -&ñ -ô -€ð` ðð °$ð ð ð ñ „ðð ðð °$ð ð ð ñ „ðð ðð °$ð ð ð ñ „ðð ðð °$ð ð ð ñ „ðð ðð °ð ð ð ñ „ðð ðð °ð ð ð ñ „ðð ðð °ð ð ð ñ „ðð ðð °ð ð ð ñ „ðð ðð °ð ð ð ñ „ðð ðð °ð ð ð ñ „ðð ð r>   