§
    ·¯¸jÛ¥  ã                   ó¸  — d Z ddgZddlmZmZmZmZmZ ddlm	Z	 ddl
Z
ddlmZ ddlmc mZ ddlmZmZ ddlmZmZmZmZ d	d
lmZ d	dlmZ d	dlmZ d	dlmZ d	dl m!Z!m"Z" dhde#pe$pe%fd„Z&dide#pe$pe%de'de'fd„Z(dee'ee'df         f         dee'ee'df         f         fd„Z) G d„ dej*        ¦  «        Z+ G d„ dej*        ¦  «        Z, G d„ dej*        ¦  «        Z- G d„ d ej*        ¦  «        Z. G d!„ d"ej*        ¦  «        Z/ G d#„ d$ej*        ¦  «        Z0 ee0¦  «          G d%„ d&ej*        ¦  «        Z1 G d'„ d(ej*        ¦  «        Z2	 	 	 	 djd+e'd,e'd-e'd.e3d/e4d0e4d1e5d2e4fd3„Z6 G d4„ d5ej7        ¦  «        Z8 G d6„ d7ej*        ¦  «        Z9 G d8„ d9ej*        ¦  «        Z: G d:„ d;ej*        ¦  «        Z; G d<„ dej*        ¦  «        Z< G d=„ dej*        ¦  «        Z=dkd?„Z> e"i d@ e>dA¬B¦  «        “dC e>dA¬B¦  «        “dD e>dAdEdFdG¬H¦  «        “dI e>dAdJdKdG¬H¦  «        “dL e>dA¬B¦  «        “dM e>dAdEdFdG¬H¦  «        “dN e>dAdJdKdG¬H¦  «        “dO e>dA¬B¦  «        “dP e>dAdEdFdG¬H¦  «        “dQ e>dAdJdKdG¬H¦  «        “dR e>dAdG¬S¦  «        “dT e>dAdG¬S¦  «        “dU e>dAdEdFdG¬H¦  «        “dV e>dAdJdKdG¬H¦  «        “dW e>dAdXdYdG¬H¦  «        “dZ e>dAdG¬S¦  «        “d[ e>dAdEdFdG¬H¦  «        “ e>dAd\d]dG¬H¦  «         e>dAdXdYdG¬H¦  «        d^œ¥¦  «        Z?dld_„Z@dld`„ZAe!dlda„¦   «         ZBe!dldb„¦   «         ZCe!dldc„¦   «         ZDe!dldd„¦   «         ZEe!dlde„¦   «         ZFe!dldf„¦   «         ZGe!dldg„¦   «         ZHdS )ma   EfficientViT (by MIT Song Han's Lab)

Paper: `Efficientvit: Enhanced linear attention for high-resolution low-computation visual recognition`
    - https://arxiv.org/abs/2205.14756

Adapted from official impl at https://github.com/mit-han-lab/efficientvit
ÚEfficientVitÚEfficientVitLargeé    )ÚListÚOptionalÚTupleÚTypeÚUnion)ÚpartialN©ÚIMAGENET_DEFAULT_MEANÚIMAGENET_DEFAULT_STD)ÚSelectAdaptivePool2dÚcreate_conv2dÚGELUTanhÚget_device_dtypeé   )Úbuild_model_with_cfg)Úfeature_take_indices)Úregister_notrace_module)Úcheckpoint_seq)Úregister_modelÚgenerate_default_cfgsÚxc                 ó�   ‡ — t          ‰ t          t          f¦  «        rt          ‰ ¦  «        S ˆ fd„t          |¦  «        D ¦   «         S )Nc                 ó   •— g | ]}‰‘ŒS © r   )Ú.0Ú_r   s     €úl/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/timm/models/efficientvit_mit.pyú
<listcomp>zval2list.<locals>.<listcomp>   s   ø€ Ð*Ð*Ð*�!ˆAÐ*Ð*Ð*ó    )Ú
isinstanceÚlistÚtupleÚrange)r   Úrepeat_times   ` r   Úval2listr'      sF   ø€ Ý�!•d�E�]Ñ#Ô#ð Ý�A‰wŒwˆØ*Ð*Ð*Ð*•u˜[Ñ)Ô)Ð*Ñ*Ô*Ð*r!   éÿÿÿÿÚmin_lenÚ
idx_repeatc                 óÊ   ‡ ‡— t          ‰ ¦  «        Š t          ‰ ¦  «        dk    r1ˆˆ fd„t          |t          ‰ ¦  «        z
  ¦  «        D ¦   «         ‰ ‰‰…<   t          ‰ ¦  «        S )Nr   c                 ó    •— g | ]
}‰‰         ‘ŒS r   r   )r   r   r*   r   s     €€r   r    zval2tuple.<locals>.<listcomp>$   s   ø€ Ð#SÐ#SÐ#S°a A j¤MÐ#SÐ#SÐ#Sr!   )r'   Úlenr%   r$   )r   r)   r*   s   ` `r   Ú	val2tupler.       sb   øø€ å�‰Œ€AÝ
ˆ1�v„v�‚z€zØ#SÐ#SÐ#SÐ#SÐ#S½5ÀÍ3ÈqÉ6Ì6ÑAQÑ;RÔ;RÐ#SÑ#SÔ#Sˆˆ*�ZÐ
Ñ å�‰8Œ8€Or!   Úkernel_size.Úreturnc                 óŽ   — t          | t          ¦  «        rt          d„ | D ¦   «         ¦  «        S | dz  dk    s
J d¦   «         ‚| dz  S )Nc                 ó,   — g | ]}t          |¦  «        ‘ŒS r   )Úget_same_padding)r   Úkss     r   r    z$get_same_padding.<locals>.<listcomp>+   s!   € ÐAÐAÐA¨rÕ& rÑ*Ô*ÐAÐAÐAr!   é   r   z kernel size should be odd number)r"   r$   )r/   s    r   r3   r3   )   sZ   € Ý�+�uÑ%Ô%ð  ÝÐAÐA°[ÐAÑAÔAÑBÔBÐBà˜Q‰ Ò"Ð"Ð"Ð$FÑ"Ô"Ð"Ø˜aÑÐr!   c                   óÜ   ‡ — e Zd Zddddddej        ej        ddf
dededeeeeef         f         d	ed
edede	de
deeej                          deeej                          fˆ fd„Zd„ Zˆ xZS )ÚConvNormActé   r   Fç        NÚin_channelsÚout_channelsr/   ÚstrideÚdilationÚgroupsÚbiasÚdropoutÚ
norm_layerÚ	act_layerc           	      óN  •— ||dœ}t          ¦   «                              ¦   «          t          j        |d¬¦  «        | _        t          ||f|||||dœ|¤Ž| _        |	r
 |	dd|i|¤Žnt          j        ¦   «         | _        |
� |
d¬¦  «        nt          j        ¦   «         | _	        d S )N©ÚdeviceÚdtypeF©Úinplace)r/   r<   r=   r>   r?   Únum_featuresTr   )
ÚsuperÚ__init__ÚnnÚDropoutr@   r   ÚconvÚIdentityÚnormÚact)Úselfr:   r;   r/   r<   r=   r>   r?   r@   rA   rB   rE   rF   ÚddÚ	__class__s                 €r   rK   zConvNormAct.__init__2   sÖ   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐÝ”z '°5Ð9Ñ9Ô9ˆŒÝ!ØØð	
ð $ØØØØð	
ð 	
ð ð	
ð 	
ˆŒ	ð DNÐ`�J�JÐ?Ð?¨LÐ?¸BÐ?Ð?Ð?ÕSUÔS^ÑS`ÔS`ˆŒ	Ø.7Ð.C�9�9 TÐ*Ñ*Ô*Ð*ÍÌÉÌˆŒˆˆr!   c                 ó®   — |                       |¦  «        }|                      |¦  «        }|                      |¦  «        }|                      |¦  «        }|S ©N)r@   rN   rP   rQ   ©rR   r   s     r   ÚforwardzConvNormAct.forwardQ   sC   € Ø�LŠL˜‰OŒOˆØ�IŠI�a‰LŒLˆØ�IŠI�a‰LŒLˆØ�HŠH�Q‰KŒKˆØˆr!   )Ú__name__Ú
__module__Ú__qualname__rL   ÚBatchNorm2dÚReLUÚintr	   r   ÚboolÚfloatr   r   ÚModulerK   rX   Ú__classcell__©rT   s   @r   r7   r7   1   s  ø€ € € € € ð
 89ØØØØØØ46´NØ35´7ØØðWð WàðWð ðWð ˜s E¨#¨s¨(¤OÐ3Ô4ð	Wð
 ðWð ðWð ðWð ðWð ðWð !  b¤i¤Ô1ðWð    R¤Y¤Ô0ðWð Wð Wð Wð Wð Wð>ð ð ð ð ð ð r!   r7   c                   ó:  ‡ — e Zd Zdddej        ej        dfddfdedededed	eee	eef         f         d
ee
ej                 e	ee
ej                          df         f         dee
ej                 e	ee
ej                          df         f         fˆ fd„Zd„ Zˆ xZS )ÚDSConvr8   r   FNr:   r;   r/   r<   Úuse_biasrA   .rB   c
                 ó^  •— ||	dœ}
t          ¦   «                              ¦   «          t          |d¦  «        }t          |d¦  «        }t          |d¦  «        }t          ||||f||d         |d         |d         dœ|
¤Ž| _        t          ||df|d         |d         |d         dœ|
¤Ž| _        d S )NrD   r5   r   )r>   rA   rB   r?   r   ©rA   rB   r?   )rJ   rK   r.   r7   Ú
depth_convÚ
point_conv)rR   r:   r;   r/   r<   rf   rA   rB   rE   rF   rS   rT   s              €r   rK   zDSConv.__init__Z   së   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐÝ˜X qÑ)Ô)ˆÝ˜z¨1Ñ-Ô-ˆ
Ý˜i¨Ñ+Ô+ˆ	å%ØØØØð	

ð
 Ø! !”}Ø ”lØ˜!”ð

ð 

ð ð

ð 

ˆŒõ &ØØØð
ð " !”}Ø ”lØ˜!”ð
ð 
ð ð
ð 
ˆŒˆˆr!   c                 óZ   — |                       |¦  «        }|                      |¦  «        }|S rV   )ri   rj   rW   s     r   rX   zDSConv.forward�   s)   € Ø�OŠO˜AÑÔˆØ�OŠO˜AÑÔˆØˆr!   )rY   rZ   r[   rL   r\   ÚReLU6r^   r	   r_   r   r   ra   r   rK   rX   rb   rc   s   @r   re   re   Y   s  ø€ € € € € ð
  !ØØ7<ØXZÔXfØXZÔX`ÐbfÐWgØØð%
ð %
àð%
ð ð%
ð ð	%
ð
 ð%
ð ˜D %¨¨d¨
Ô"3Ð3Ô4ð%
ð ˜d 2¤9œo¨u°X¸dÀ2Ä9¼oÔ5NÐPSÐ5SÔ/TÐTÔUð%
ð ˜T "¤)œ_¨e°H¸TÀ"Ä)¼_Ô4MÈsÐ4RÔ.SÐSÔTð%
ð %
ð %
ð %
ð %
ð %
ðNð ð ð ð ð ð r!   re   c                   óR  ‡ — e Zd Zdddddej        ej        dfddf	dedededed	ee         d
ede	e
ee
e
f         f         de	eej                 eeeej                          df         f         de	eej                 eeeej                          df         f         fˆ fd„Zd„ Zˆ xZS )Ú	ConvBlockr8   r   NFr:   r;   r/   r<   Úmid_channelsÚexpand_ratiorf   rA   .rB   c                 ó†  •— |
|dœ}t          ¦   «                              ¦   «          t          |d¦  «        }t          |d¦  «        }t          |	d¦  «        }	|pt          ||z  ¦  «        }t	          ||||f|d         |	d         |d         dœ|¤Ž| _        t	          |||df|d         |	d         |d         dœ|¤Ž| _        d S )NrD   r5   r   rh   r   )rJ   rK   r.   Úroundr7   Úconv1Úconv2©rR   r:   r;   r/   r<   ro   rp   rf   rA   rB   rE   rF   rS   rT   s                €r   rK   zConvBlock.__init__ˆ   s  ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐÝ˜X qÑ)Ô)ˆÝ˜z¨1Ñ-Ô-ˆ
Ý˜i¨Ñ+Ô+ˆ	Ø#ÐH¥u¨[¸<Ñ-GÑ'HÔ'Hˆå ØØØØð		
ð
 " !”}Ø ”lØ˜!”ð	
ð 	
ð ð	
ð 	
ˆŒ
õ !ØØØØð		
ð
 " !”}Ø ”lØ˜!”ð	
ð 	
ð ð	
ð 	
ˆŒ
ˆ
ˆ
r!   c                 óZ   — |                       |¦  «        }|                      |¦  «        }|S rV   )rs   rt   rW   s     r   rX   zConvBlock.forward²   s%   € Ø�JŠJ�q‰MŒMˆØ�JŠJ�q‰MŒMˆØˆr!   ©rY   rZ   r[   rL   r\   rl   r^   r   r`   r	   r_   r   r   ra   rK   rX   rb   rc   s   @r   rn   rn   ‡   s5  ø€ € € € € ð
  !ØØ*.Ø"#Ø7<ØXZÔXfØXZÔX`ÐbfÐWgØØð(
ð (
àð(
ð ð(
ð ð	(
ð
 ð(
ð # 3œ-ð(
ð  ð(
ð ˜D %¨¨d¨
Ô"3Ð3Ô4ð(
ð ˜d 2¤9œo¨u°X¸dÀ2Ä9¼oÔ5NÐPSÐ5SÔ/TÐTÔUð(
ð ˜T "¤)œ_¨e°H¸TÀ"Ä)¼_Ô4MÈsÐ4RÔ.SÐSÔTð(
ð (
ð (
ð (
ð (
ð (
ðTð ð ð ð ð ð r!   rn   c                   ó^  ‡ — e Zd Zdddddej        ej        ej        dfddf	dededed	ed
ee         dede	e
ee
df         f         de	eej                 eeeej                          df         f         de	eej                 eeeej                          df         f         fˆ fd„Zd„ Zˆ xZS )ÚMBConvr8   r   Né   Fr:   r;   r/   r<   ro   rp   rf   .rA   rB   c           	      óÜ  •— |
|dœ}t          ¦   «                              ¦   «          t          |d¦  «        }t          |d¦  «        }t          |	d¦  «        }	|pt          ||z  ¦  «        }t	          ||dfd|d         |	d         |d         dœ|¤Ž| _        t	          |||f|||d         |	d         |d         dœ|¤Ž| _        t	          ||df|d         |	d         |d         dœ|¤Ž| _        d S )	NrD   r8   r   r   )r<   rA   rB   r?   ©r<   r>   rA   rB   r?   r5   rh   )rJ   rK   r.   rr   r7   Úinverted_convri   rj   ru   s                €r   rK   zMBConv.__init__¹   sM  ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐÝ˜X qÑ)Ô)ˆÝ˜z¨1Ñ-Ô-ˆ
Ý˜i¨Ñ+Ô+ˆ	Ø#ÐH¥u¨[¸<Ñ-GÑ'HÔ'Hˆå(ØØØð	
ð Ø! !”}Ø ”lØ˜!”ð	
ð 	
ð ð	
ð 	
ˆÔõ &ØØØð

ð ØØ! !”}Ø ”lØ˜!”ð

ð 

ð ð

ð 

ˆŒõ &ØØØð
ð " !”}Ø ”lØ˜!”ð
ð 
ð ð
ð 
ˆŒˆˆr!   c                 ó„   — |                       |¦  «        }|                      |¦  «        }|                      |¦  «        }|S rV   )r}   ri   rj   rW   s     r   rX   zMBConv.forwardí   s<   € Ø×Ò˜qÑ!Ô!ˆØ�OŠO˜AÑÔˆØ�OŠO˜AÑÔˆØˆr!   rw   rc   s   @r   ry   ry   ¸   s;  ø€ € € € € ð
  !ØØ*.Ø"#Ø6;ØXZÔXfØXZÔX`ÐbdÔbjÐlpÐWqØØð2
ð 2
àð2
ð ð2
ð ð	2
ð
 ð2
ð # 3œ-ð2
ð  ð2
ð ˜D %¨¨c¨	Ô"2Ð2Ô3ð2
ð ˜d 2¤9œo¨u°X¸dÀ2Ä9¼oÔ5NÐPSÐ5SÔ/TÐTÔUð2
ð ˜T "¤)œ_¨e°H¸TÀ"Ä)¼_Ô4MÈsÐ4RÔ.SÐSÔTð2
ð 2
ð 2
ð 2
ð 2
ð 2
ðhð ð ð ð ð ð r!   ry   c                   óX  ‡ — e Zd Zddddddej        ej        dfddf
dededed	ed
ee         dedede	e
ee
df         f         de	eej                 eeeej                          df         f         de	eej                 eeeej                          df         f         fˆ fd„Zd„ Zˆ xZS )ÚFusedMBConvr8   r   Nrz   Fr:   r;   r/   r<   ro   rp   r>   rf   .rA   rB   c           	      ó†  •— ||dœ}t          ¦   «                              ¦   «          t          |d¦  «        }t          |	d¦  «        }	t          |
d¦  «        }
|pt          ||z  ¦  «        }t	          |||f|||	d         |
d         |d         dœ|¤Ž| _        t	          ||df|	d         |
d         |d         dœ|¤Ž| _        d S )NrD   r5   r   r|   r   rh   )rJ   rK   r.   rr   r7   Úspatial_convrj   )rR   r:   r;   r/   r<   ro   rp   r>   rf   rA   rB   rE   rF   rS   rT   s                 €r   rK   zFusedMBConv.__init__õ   s  ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐÝ˜X qÑ)Ô)ˆÝ˜z¨1Ñ-Ô-ˆ
Ý˜i¨Ñ+Ô+ˆ	Ø#ÐH¥u¨[¸<Ñ-GÑ'HÔ'Hˆå'ØØØð

ð ØØ! !”}Ø ”lØ˜!”ð

ð 

ð ð

ð 

ˆÔõ &ØØØð
ð " !”}Ø ”lØ˜!”ð
ð 
ð ð
ð 
ˆŒˆˆr!   c                 óZ   — |                       |¦  «        }|                      |¦  «        }|S rV   )r‚   rj   rW   s     r   rX   zFusedMBConv.forward   s+   € Ø×Ò˜aÑ Ô ˆØ�OŠO˜AÑÔˆØˆr!   rw   rc   s   @r   r€   r€   ô   sB  ø€ € € € € ð
  !ØØ*.Ø"#ØØ6;ØXZÔXfØXZÔX`ÐbfÐWgØØð)
ð )
àð)
ð ð)
ð ð	)
ð
 ð)
ð # 3œ-ð)
ð  ð)
ð ð)
ð ˜D %¨¨c¨	Ô"2Ð2Ô3ð)
ð ˜d 2¤9œo¨u°X¸dÀ2Ä9¼oÔ5NÐPSÐ5SÔ/TÐTÔUð)
ð ˜T "¤)œ_¨e°H¸TÀ"Ä)¼_Ô4MÈsÐ4RÔ.SÐSÔTð)
ð )
ð )
ð )
ð )
ð )
ðVð ð ð ð ð ð r!   r€   c                   óŽ  ‡ — e Zd ZdZdddddej        fdej        ddddfd	ed
edee         de	dede
eeedf         f         de
eej                 eeeej                          df         f         de
eej                 eeeej                          df         f         deej                 deedf         de	fˆ fd„Zd„ Zd„ Zˆ xZS )ÚLiteMLAz(Lightweight multi-scale linear attentionNç      ð?é   F©NN)é   çñhãˆµøä>r:   r;   ÚheadsÚheads_ratioÚdimrf   .rA   rB   Úkernel_funcÚscalesÚepsc                 óT  •‡‡‡‡— ||dœŠt          ¦   «                              ¦   «          || _        ‰pt          ||z  |z  ¦  «        Š‰|z  Št	          ‰d¦  «        Št	          |d¦  «        }t	          |d¦  «        }|| _        t          |d‰z  df‰d         |d         |d         dœ‰¤Ž| _        t          j	        ˆˆˆˆfd„|
D ¦   «         ¦  «        | _
         |	d¬	¦  «        | _        t          ‰dt          |
¦  «        z   z  |df‰d         |d         |d         dœ‰¤Ž| _        d S )
NrD   r5   r8   r   r   )r?   rA   rB   c                 óæ   •— g | ]m}t          j        t          j        d ‰z  d ‰z  |ft          |¦  «        d ‰z  ‰d         dœ‰¤Žt          j        d ‰z  d ‰z  dfd ‰z  ‰d         dœ‰¤Ž¦  «        ‘ŒnS )r8   r   )Úpaddingr>   r?   r   )r>   r?   )rL   Ú
SequentialÚConv2dr3   )r   ÚscalerS   r‹   Ú	total_dimrf   s     €€€€r   r    z$LiteMLA.__init__.<locals>.<listcomp>L  s¼   ø€ ð %
ð %
ð %
ð õ ŒMÝ”	Ø˜	‘MØ˜	‘MØðõ -¨UÑ3Ô3Ø˜y™=Ø! !œðð ð ðð õ ”	˜!˜i™-¨¨Y©¸ÐdÀ!ÀeÁ)ÐRZÐ[\ÔR]ÐdÐdÐacÐdÐdñô ð%
ð %
ð %
r!   FrG   )rJ   rK   r�   r^   r.   r�   r7   ÚqkvrL   Ú
ModuleListÚaggregrŽ   r-   Úproj)rR   r:   r;   r‹   rŒ   r�   rf   rA   rB   rŽ   r�   r�   rE   rF   rS   r—   rT   s      `  `       @@€r   rK   zLiteMLA.__init__)  s�  øøøøø€ ð  ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØˆŒØÐ>�˜[¨CÑ/°+Ñ=Ñ>Ô>ˆØ˜C‘Kˆ	Ý˜X qÑ)Ô)ˆÝ˜z¨1Ñ-Ô-ˆ
Ý˜i¨Ñ+Ô+ˆ	àˆŒÝØØ�	‰MØð
ð ˜!”Ø! !”}Ø ”lð
ð 
ð ð
ð 
ˆŒõ ”mð %
ð %
ð %
ð %
ð %
ð %
ð %
ð  ð%
ñ %
ô %
ñ ô ˆŒð '˜;¨uÐ5Ñ5Ô5ˆÔåØ˜�S ™[œ[™Ñ)ØØð
ð ˜!”Ø! !”}Ø ”lð
ð 
ð ð
ð 
ˆŒ	ˆ	ˆ	r!   c                 ó0  — |j         }|                     ¦   «         |                     ¦   «         |                     ¦   «         }}}|                     dd¦  «        |z  }||z  }|dd d…f         |ddd …f         | j        z   z  }|                     |¦  «        S )Nr(   éþÿÿÿ.)rF   r`   Ú	transposer�   Úto)rR   ÚqÚkÚvrF   ÚkvÚouts          r   Ú_attnzLiteMLA._attng  sˆ   € Ø”ˆØ—'’'‘)”)˜QŸWšW™YœY¨¯ª©	¬	ˆaˆ1ˆØ�[Š[˜˜RÑ Ô  1Ñ$ˆØ�"‰fˆØ�#�s˜�s�(Œm˜s 3¨¨¨ 8œ}¨t¬xÑ7Ñ8ˆØ�vŠv�e‰}Œ}Ðr!   c                 óž  — |j         \  }}}}|                      |¦  «        }|g}| j        D ] }|                      ||¦  «        ¦  «         Œ!t	          j        |d¬¦  «        }|                     |dd| j        z  ||z  ¦  «                             dd¦  «        }| 	                    dd¬¦  «        \  }	}
}|  
                    |	¦  «        }	|  
                    |
¦  «        }
t          j        |ddd¬	¦  «        }t          j                             ¦   «         s`|j        j        d
k    rPt	          j        |j        j        d¬¦  «        5  |                      |	|
|¦  «        }d d d ¦  «         n# 1 swxY w Y   n|                      |	|
|¦  «        }|                     dd¦  «                             |d||¦  «        }|                      |¦  «        }|S )Nr   )r�   r(   r8   r�   )r   r   Úconstantr†   )ÚmodeÚvalueÚmetaF)Údevice_typeÚenabled)Úshaper˜   rš   ÚappendÚtorchÚcatÚreshaper�   rž   ÚchunkrŽ   ÚFÚpadÚjitÚis_scriptingrE   ÚtypeÚautocastr¥   r›   )rR   r   ÚBr   ÚHÚWr˜   Úmulti_scale_qkvÚopr    r¡   r¢   r¤   s                r   rX   zLiteMLA.forwardo  sü  € Ø”W‰
ˆˆ1ˆa�ð �hŠh�q‰kŒkˆØ˜%ˆØ”+ð 	,ð 	,ˆBØ×"Ò" 2 2 c¡7¤7Ñ+Ô+Ð+Ð+Ýœ) O¸Ð;Ñ;Ô;ˆØ)×1Ò1°!°R¸¸T¼X¹ÀqÈ1ÁuÑMÔM×WÒWÐXZÐ\^Ñ_Ô_ˆØ!×'Ò'¨¨rÐ'Ñ2Ô2‰ˆˆ1ˆað ×Ò˜QÑÔˆØ×Ò˜QÑÔˆÝŒE�!�V *°CÐ8Ñ8Ô8ˆåŒy×%Ò%Ñ'Ô'ð 	&¨A¬H¬M¸VÒ,CÐ,CÝ”¨A¬H¬MÀ5ÐIÑIÔIð *ð *Ø—j’j  A qÑ)Ô)�ð*ð *ð *ñ *ô *ð *ð *ð *ð *ð *ð *øøøð *ð *ð *ð *øð —*’*˜Q  1Ñ%Ô%ˆCð �mŠm˜B Ñ#Ô#×+Ò+¨A¨r°1°aÑ8Ô8ˆØ�iŠi˜‰nŒnˆØˆ
s   ÅE)Å)E-Å0E-)rY   rZ   r[   Ú__doc__rL   r\   r]   r^   r   r`   r	   r_   r   r   ra   rK   r¥   rX   rb   rc   s   @r   r…   r…   &  sq  ø€ € € € € Ø2Ð2ð $(Ø!$ØØ6;ØY]Ð_aÔ_mÐXnØWcØ+-¬7Ø&*ØØØð<
ð <
àð<
ð ð<
ð ˜C”=ð	<
ð
 ð<
ð ð<
ð ˜D %¨¨c¨	Ô"2Ð2Ô3ð<
ð ˜d 2¤9œo¨u°X¸dÀ2Ä9¼oÔ5NÐPSÐ5SÔ/TÐTÔUð<
ð ˜T "¤)œ_¨e°H¸TÀ"Ä)¼_Ô4MÈsÐ4RÔ.SÐSÔTð<
ð ˜bœiœð<
ð ˜#˜s˜(”Oð<
ð ð<
ð <
ð <
ð <
ð <
ð <
ð|ð ð ðð ð ð ð ð ð r!   r…   c                   óŽ   ‡ — e Zd Zdddej        ej        ddfdedededed	eej	                 d
eej	                 fˆ fd„Z
d„ Zˆ xZS )ÚEfficientVitBlockr†   é    é   Nr:   rŒ   Úhead_dimrp   rA   rB   c	                 ó<  •— ||dœ}	t          ¦   «                              ¦   «          t          t          d||||d |fdœ|	¤Žt	          j        ¦   «         ¦  «        | _        t          t          d|||dd d |f||d fdœ|	¤Žt	          j        ¦   «         ¦  «        | _        d S )NrD   )r:   r;   rŒ   r�   rA   ©TTF)r:   r;   rp   rf   rA   rB   r   )	rJ   rK   ÚResidualBlockr…   rL   rO   Úcontext_modulery   Úlocal_module)rR   r:   rŒ   rÃ   rp   rA   rB   rE   rF   rS   rT   s             €r   rK   zEfficientVitBlock.__init__�  sà   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐÝ+Ýð Ø'Ø(Ø'ØØ  *Ð-ðð ð ðð õ ŒK‰MŒMñ

ô 

ˆÔõ *Ýð Ø'Ø(Ø)Ø,Ø  $¨
Ð3Ø$ i°Ð6ðð ð ðð õ ŒK‰MŒMñ
ô 
ˆÔÐÐr!   c                 óZ   — |                       |¦  «        }|                      |¦  «        }|S rV   )rÇ   rÈ   rW   s     r   rX   zEfficientVitBlock.forwardµ  s-   € Ø×Ò Ñ"Ô"ˆØ×Ò˜aÑ Ô ˆØˆr!   )rY   rZ   r[   rL   r\   Ú	Hardswishr^   r`   r   ra   rK   rX   rb   rc   s   @r   rÀ   rÀ   �  s³   ø€ € € € € ð "%ØØ"#Ø*,¬.Ø)+¬ØØð#
ð #
àð#
ð ð#
ð ð	#
ð
  ð#
ð ˜RœYœð#
ð ˜BœI”ð#
ð #
ð #
ð #
ð #
ð #
ðJð ð ð ð ð ð r!   rÀ   c                   óz   ‡ — e Zd Z	 	 ddeej                 deej                 deej                 fˆ fd„Zd„ Zˆ xZS )rÆ   NÚmainÚshortcutÚpre_normc                 óœ   •— t          ¦   «                              ¦   «          |�|nt          j        ¦   «         | _        || _        || _        d S rV   )rJ   rK   rL   rO   rÎ   rÌ   rÍ   )rR   rÌ   rÍ   rÎ   rT   s       €r   rK   zResidualBlock.__init__¼  sC   ø€ õ 	‰Œ×ÒÑÔÐØ$,Ð$8˜˜½b¼k¹m¼mˆŒØˆŒ	Ø ˆŒˆˆr!   c                 ó”   — |                       |                      |¦  «        ¦  «        }| j        �||                      |¦  «        z   }|S rV   )rÌ   rÎ   rÍ   )rR   r   Úress      r   rX   zResidualBlock.forwardÇ  sB   € Ø�iŠi˜Ÿš aÑ(Ô(Ñ)Ô)ˆØŒ=Ð$Ø˜Ÿš aÑ(Ô(Ñ(ˆCØˆ
r!   rˆ   )	rY   rZ   r[   r   rL   ra   rK   rX   rb   rc   s   @r   rÆ   rÆ   »  sŠ   ø€ € € € € ð -1Ø,0ð		!ð 	!à˜2œ9Ô%ð	!ð ˜rœyÔ)ð	!ð ˜rœyÔ)ð		!ð 	!ð 	!ð 	!ð 	!ð 	!ðð ð ð ð ð ð r!   rÆ   FÚdefaultr:   r;   r<   rp   rA   rB   Ú
fewer_normÚ
block_typec
                 óF  — ||	dœ}
|dv sJ ‚|dk    rF|dk    r t          d
| |||rdnd|rd |fn||d fdœ|
¤Ž}nit          d
| |||rdnd|rd |fn||d fdœ|
¤Ž}nI|dk    r#t          d
| ||||rdnd|rd d |fn|||d fd	œ|
¤Ž}n t          d
| ||||rdnd|rd |fn||d fd	œ|
¤Ž}|S )NrD   )rÒ   ÚlargeÚfusedr   rÒ   )TFF)r:   r;   r<   rf   rA   rB   rÅ   )r:   r;   r<   rp   rf   rA   rB   r   )re   rn   ry   r€   )r:   r;   r<   rp   rA   rB   rÓ   rÔ   rE   rF   rS   Úblocks               r   Úbuild_local_blockrÙ   Î  s«  € ð  UÐ	+Ð	+€BØÐ6Ð6Ð6Ð6Ð6Ø�qÒÐØ˜Ò"Ð"Ýð Ø'Ø)ØØ*4Ð?˜˜¸%Ø1;ÐK˜D *Ð-Ð-ÀØ$ dÐ+ðð ð ðð ˆEˆEõ ð Ø'Ø)ØØ*4Ð?˜˜¸%Ø1;ÐK˜D *Ð-Ð-ÀØ$ dÐ+ðð ð ðð ˆEˆEð ˜Ò"Ð"Ýð 	Ø'Ø)ØØ)Ø0:ÐEÐ,Ð,ÀØ7AÐQ˜D $¨
Ð3Ð3ÀzØ$ i°Ð6ð	ð 	ð ð	ð 	ˆEˆEõ  ð 	Ø'Ø)ØØ)Ø*4Ð?˜˜¸%Ø1;ÐK˜D *Ð-Ð-ÀØ$ dÐ+ð	ð 	ð ð	ð 	ˆEð €Lr!   c                   ól   ‡ — e Zd Z	 	 	 d
dedededeej                 deej                 defˆ fd	„Zˆ xZ	S )ÚStemrÒ   NÚin_chsÚout_chsÚdepthrA   rB   rÔ   c	                 ót  •— t          ¦   «                              ¦   «          ||dœ}	d| _        |                      dt	          ||fdd||dœ|	¤Ž¦  «         d}
t          |¦  «        D ]Q}|                      d|
› �t          t          d
||dd|||d	œ|	¤Žt          j	        ¦   «         ¦  «        ¦  «         |
dz  }
ŒRd S )NrD   r5   Úin_convr8   )r/   r<   rA   rB   r   rÑ   r   )r:   r;   r<   rp   rA   rB   rÔ   r   )
rJ   rK   r<   Ú
add_moduler7   r%   rÆ   rÙ   rL   rO   )rR   rÜ   rÝ   rÞ   rA   rB   rÔ   rE   rF   rS   Ú
stem_blockr   rT   s               €r   rK   zStem.__init__  s  ø€ õ 	‰Œ×ÒÑÔÐØ¨Ð/Ð/ˆØˆŒà�ŠØÝØØðð ØØ%Ø#ðð ð ðð ñ	
ô 	
ð 	
ð ˆ
Ý�u‘”ð 	ð 	ˆAØ�OŠOÐ. *Ð.Ð.µÝ!ð 	Ø 'Ø!(ØØ!"Ø)Ø'Ø)ð	ð 	ð ð	ð 	õ ”‘”ñ1ô 1ñ ô ð ð ˜!‰OˆJˆJð	ð 	r!   )rÒ   NN)
rY   rZ   r[   r^   r   rL   ra   ÚstrrK   rb   rc   s   @r   rÛ   rÛ     s“   ø€ € € € € ð (ØØð*ð *àð*ð ð*ð ð	*ð
 ˜RœYœð*ð ˜BœI”ð*ð ð*ð *ð *ð *ð *ð *ð *ð *ð *ð *r!   rÛ   c                   óz   ‡ — e Zd Z	 	 	 ddedededeej                 deej                 ded	ed
efˆ fd„Z	d„ Z
ˆ xZS )ÚEfficientVitStageFNrÜ   rÝ   rÞ   rA   rB   rp   rÃ   Ú	vit_stagec                 óæ  •— |	|
dœ}t          ¦   «                              ¦   «          t          t          d||d||||dœ|¤Žd ¦  «        g}|}|r8t	          |¦  «        D ]'}|                     t          d|||||dœ|¤Ž¦  «         Œ(nXt	          d|¦  «        D ]G}|                     t          t          d||d|||dœ|¤Žt          j        ¦   «         ¦  «        ¦  «         ŒHt          j	        |Ž | _
        d S )NrD   r5   )r:   r;   r<   rp   rA   rB   rÓ   ©r:   rÃ   rp   rA   rB   r   )r:   r;   r<   rp   rA   rB   r   ©rJ   rK   rÆ   rÙ   r%   r®   rÀ   rL   rO   r”   Úblocks)rR   rÜ   rÝ   rÞ   rA   rB   rp   rÃ   ræ   rE   rF   rS   rê   r   ÚirT   s                  €r   rK   zEfficientVitStage.__init__:  s}  ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐÝÝð 	Ø"Ø$ØØ)Ø%Ø#Ø$ð	ð 	ð ð	ð 	ð ñ
ô 
ð ˆð ˆàð 	å˜5‘\”\ð 
ð 
�Ø—’Ý%ð Ø$*Ø!)Ø%1Ø#-Ø"+ðð ð ðð ñ	ô 	ð 	ð 	ð
õ ˜1˜e‘_”_ð ð �Ø—’�mÝ%ð Ø$*Ø%,Ø Ø%1Ø#-Ø"+ðð ð ðð õ ”K‘M”Mñô ñ ô ð ð õ ”m VÐ,ˆŒˆˆr!   c                 ó,   — |                       |¦  «        S rV   ©rê   rW   s     r   rX   zEfficientVitStage.forwardw  ó   € Ø�{Š{˜1‰~Œ~Ðr!   )FNN)rY   rZ   r[   r^   r   rL   ra   r`   r_   rK   rX   rb   rc   s   @r   rå   rå   9  s·   ø€ € € € € ð $ØØð;-ð ;-àð;-ð ð;-ð ð	;-ð
 ˜RœYœð;-ð ˜BœI”ð;-ð  ð;-ð ð;-ð ð;-ð ;-ð ;-ð ;-ð ;-ð ;-ðzð ð ð ð ð ð r!   rå   c                   ó|   ‡ — e Zd Z	 	 	 	 ddedededeej                 deej                 ded	ed
efˆ fd„Zd„ Z	ˆ xZ
S )ÚEfficientVitLargeStageFNrÜ   rÝ   rÞ   rA   rB   rÃ   ræ   rÓ   c                 ó  •— |	|
dœ}t          ¦   «                              ¦   «          t          t          d||d|rdnd|||p||rdnddœ|¤Žd ¦  «        g}|}|r8t	          |¦  «        D ]'}|                     t          d||d||d	œ|¤Ž¦  «         Œ(n]t	          |¦  «        D ]M}|                     t          t          d||d
d||||rdnddœ|¤Žt          j        ¦   «         ¦  «        ¦  «         ŒNt          j	        |Ž | _
        d S )NrD   r5   é   é   rÒ   r×   )r:   r;   r<   rp   rA   rB   rÓ   rÔ   rz   rè   r   rÂ   r   ré   )rR   rÜ   rÝ   rÞ   rA   rB   rÃ   ræ   rÓ   rE   rF   rS   rê   r   rë   rT   s                  €r   rK   zEfficientVitLargeStage.__init__|  s¤  ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐÝÝð 
Ø"Ø$ØØ#,Ð4˜R˜R°"Ø%Ø#Ø$Ð2¨
Ø(2Ð?˜9˜9¸ð
ð 
ð ð
ð 
ð ñ
ô 
ð ˆð ˆàð 	å˜5‘\”\ð 
ð 
�Ø—’Ý%ð Ø$*Ø!)Ø%&Ø#-Ø"+ðð ð ðð ñ	ô 	ð 	ð 	ð
õ ˜5‘\”\ð ð �Ø—’�mÝ%ð 
Ø$*Ø%,Ø Ø%&Ø#-Ø"+Ø#-Ø0:Ð#G 9 9Àð
ð 
ð ð
ð 
õ ”K‘M”Mñô ñ ô ð ð õ ”m VÐ,ˆŒˆˆr!   c                 ó,   — |                       |¦  «        S rV   rí   rW   s     r   rX   zEfficientVitLargeStage.forward¼  rî   r!   )FFNN)rY   rZ   r[   r^   r   rL   ra   r_   rK   rX   rb   rc   s   @r   rð   rð   {  sº   ø€ € € € € ð $Ø$ØØð>-ð >-àð>-ð ð>-ð ð	>-ð
 ˜RœYœð>-ð ˜BœI”ð>-ð ð>-ð ð>-ð ð>-ð >-ð >-ð >-ð >-ð >-ð@ð ð ð ð ð ð r!   rð   c                   óÜ   ‡ — e Zd Zddej        ej        ddddfdedee         ded	ed
e	ej
                 dee	ej
                          dedefˆ fd„Z	 	 	 ddedee         fd„Zddefd„Zˆ xZS )ÚClassifierHeadéè  r9   ÚavgrŠ   Nr:   ÚwidthsÚnum_classesr@   rA   rB   Ú	pool_typeÚnorm_epsc                 ój  •— |	|
dœ}t          ¦   «                              ¦   «          || _        |d         | _        |s
J d¦   «         ‚t	          ||d         df||dœ|¤Ž| _        t          |d¬¦  «        | _        t          j	        t          j
        |d         |d         fd	d
i|¤Žt          j        |d         fd|i|¤Ž|� |d¬¦  «        nt          j        ¦   «         t          j        |d
¬¦  «        |dk    rt          j
        |d         |fd	di|¤Žnt          j        ¦   «         ¦  «        | _        d S )NrD   r(   úCannot disable poolingr   r   )rA   rB   T©rû   Úflattenr?   Fr�   rG   )rJ   rK   rù   rI   r7   rà   r   Úglobal_poolrL   r”   ÚLinearÚ	LayerNormrO   rM   Ú
classifier)rR   r:   rù   rú   r@   rA   rB   rû   rü   rE   rF   rS   rT   s               €r   rK   zClassifierHead.__init__Á  sO  ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØˆŒØ" 2œJˆÔàÐ2Ð2Ð2Ñ2Ô2ˆyÝ" ;°°q´	¸1ÐoÈÐ_hÐoÐoÐlnÐoÐoˆŒÝ/¸)ÈTÐRÑRÔRˆÔÝœ-ÝŒI�f˜Q”i ¨¤Ð=Ð=°Ð=¸"Ð=Ð=ÝŒL˜ œÐ7Ð7¨Ð7°BÐ7Ð7Ø'0Ð'<ˆIˆI˜dÐ#Ñ#Ô#Ð#Å"Ä+Á-Ä-ÝŒJ�w¨Ð.Ñ.Ô.ØBMÐPQÂ/À/�BŒI�f˜Q”i Ð>Ð>°4Ð>¸2Ð>Ð>Ð>ÕWYÔWbÑWdÔWdñ
ô 
ˆŒˆˆr!   c                 óâ  — t          | ||¬¦  «        }|�A|s
J d¦   «         ‚t          |d¬¦  «        | _        | j                             | j        ¦  «         |dk    rNt          j        | j        |fddi|¤Ž| j        d<   | j        d                              | j        j        ¦  «         d S t          j	        ¦   «         | j        d<   | j        d                              | j        j        ¦  «         d S )NrD   rþ   Trÿ   r   r?   r(   )
r   r   r  ÚtrainÚtrainingrL   r  rI   r  rO   )rR   rú   rû   rE   rF   rS   s         r   ÚresetzClassifierHead.resetÞ  sò   € õ ˜d¨6¸Ð?Ñ?Ô?ˆØÐ ØÐ6Ð6Ð6Ñ6Ô6�9Ý3¸iÐQUÐWÑWÔWˆDÔØÔ×"Ò" 4¤=Ñ1Ô1Ð1Ø˜Š?ˆ?Ý"$¤)¨DÔ,=¸{Ð"\Ð"\ÐQUÐ"\ÐY[Ð"\Ð"\ˆDŒO˜BÑØŒO˜BÔ×%Ò% d¤oÔ&>Ñ?Ô?Ð?Ð?Ð?å"$¤+¡-¤-ˆDŒO˜BÑØŒO˜BÔ×%Ò% d¤oÔ&>Ñ?Ô?Ð?Ð?Ð?r!   FÚ
pre_logitsc                 ó:  — |                       |¦  «        }|                      |¦  «        }|rY | j        d         |¦  «        } | j        d         |¦  «        } | j        d         |¦  «        } | j        d         |¦  «        }n|                      |¦  «        }|S )Nr   r   r5   r8   )rà   r  r  ©rR   r   r	  s      r   rX   zClassifierHead.forwardñ  sœ   € Ø�LŠL˜‰OŒOˆØ×Ò˜QÑÔˆØð 	#à"�” Ô" 1Ñ%Ô%ˆAØ"�” Ô" 1Ñ%Ô%ˆAØ"�” Ô" 1Ñ%Ô%ˆAØ"�” Ô" 1Ñ%Ô%ˆAˆAà—’ Ñ"Ô"ˆAØˆr!   )NNN©F)rY   rZ   r[   rL   r\   rÊ   r^   r   r`   r   ra   r   rã   rK   r  r_   rX   rb   rc   s   @r   rö   rö   À  s%  ø€ € € € € ð
  $ØØ*,¬.Ø35´<Ø"Ø"ØØð
ð 
àð
ð ˜”Ið
ð ð	
ð
 ð
ð ˜RœYœð
ð    R¤Y¤Ô0ð
ð ð
ð ð
ð 
ð 
ð 
ð 
ð 
ð@ (,ØØð@ð @àð@ð   ”}ð@ð @ð @ð @ð&ð  Tð ð ð ð ð ð ð ð r!   rö   c                   ó’  ‡ — e Zd Zdddddej        ej        ddddddfd	ed
eedf         deedf         dedede	ej
                 de	ej
                 dedeedf         dedefˆ fd„Zej        j        d-d„¦   «         Zej        j        d.d„¦   «         Zej        j        dej
        fd„¦   «         Zd/dedee         fd„Z	 	 	 	 	 d0dej        deeeee         f                  d ed!ed"ed#edeeej                 eej        eej                 f         f         fd$„Z	 	 	 d1deeee         f         d&ed'efd(„Zd)„ Zd-d*efd+„Zd,„ Zˆ xZS )2r   r8   r   rÁ   rÂ   rø   r9   r÷   NÚin_chansrù   .ÚdepthsrÃ   rp   rA   rB   r  Úhead_widthsÚ	drop_raterú   c                 óÊ  •— ||dœ}t          ¦   «                              ¦   «          d| _        || _        || _        || _        t          ||d         |d         ||fi |¤Ž| _        | j        j        }g | _	        t          j        ¦   «         | _        |d         }t          t          |dd …         |dd …         ¦  «        ¦  «        D ]d\  }\  }}| j                             t!          ||f||||||dk    dœ|¤Ž¦  «         |dz  }|}| xj	        t#          ||d|› �¬¦  «        gz  c_	        Œe|| _        t'          | j        f|	||
| j        d	œ|¤Ž| _        | j        j        | _        d S )
NrD   Fr   r   r5   )rÞ   rA   rB   rp   rÃ   ræ   ústages.©Únum_chsÚ	reductionÚmodule)rù   rú   r@   rû   )rJ   rK   Úgrad_checkpointingr  rú   r  rÛ   Ústemr<   Úfeature_inforL   r”   ÚstagesÚ	enumerateÚzipr®   rå   ÚdictrI   rö   ÚheadÚhead_hidden_size)rR   r  rù   r  rÃ   rp   rA   rB   r  r  r  rú   rE   rF   rS   r<   r:   rë   ÚwÚdrT   s                       €r   rK   zEfficientVit.__init__   sÉ  ø€ ð  ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ"'ˆÔØ&ˆÔØ&ˆÔØ ˆŒõ ˜ 6¨!¤9¨f°Q¬i¸ÀYÐUÐUÐRTÐUÐUˆŒ	Ø”Ô!ˆð ˆÔÝ”m‘o”oˆŒØ˜Q”iˆÝ"¥3 v¨a¨b¨b¤z°6¸!¸"¸"´:Ñ#>Ô#>Ñ?Ô?ð 	eð 	e‰IˆA‰v��1ØŒK×ÒÕ0ØØð
 ð Ø%Ø#Ø)Ø!Ø˜qš&ð
 ð 
 ð ð
 ð 
 ñ 
ô 
ð 
ð �a‰KˆFØˆKØÐÔ¥$¨{ÀfÐUbÐ_`ÐUbÐUbÐ"cÑ"cÔ"cÐ!dÑdÐÔÐà'ˆÔÝ"ØÔð
àØ#ØØÔ&ð
ð 
ð ð
ð 
ˆŒ	ð !%¤	Ô 6ˆÔÐÐr!   Fc                 ó4   — t          d|rdnddg¬¦  «        }|S ©Nz^stemz^stages\.(\d+))z^stages\.(\d+).downsample)r   )z^stages\.(\d+)\.\w+\.(\d+)N)r  rê   ©r  ©rR   ÚcoarseÚmatchers      r   Úgroup_matcherzEfficientVit.group_matcher:  ó9   € åØØ(.ð Ð$Ð$Ø4Ø5ð5ð
ñ 
ô 
ˆð ˆr!   Tc                 ó   — || _         d S rV   ©r  ©rR   Úenables     r   Úset_grad_checkpointingz#EfficientVit.set_grad_checkpointingE  ó   € à"(ˆÔÐÐr!   r0   c                 ó&   — | j         j        d         S ©Nr(   ©r  r  ©rR   s    r   Úget_classifierzEfficientVit.get_classifierI  ó   € àŒyÔ# BÔ'Ð'r!   c                 óZ   — t          | ¦  «        }|| _         | j        j        ||fi |¤Ž d S rV   ©r   rú   r  r  ©rR   rú   r  rS   s       r   Úreset_classifierzEfficientVit.reset_classifierM  ó;   € Ý˜dÑ#Ô#ˆØ&ˆÔØˆŒ	Œ˜ [Ð7Ð7°BÐ7Ð7Ð7Ð7Ð7r!   ÚNCHWr   ÚindicesrP   Ú
stop_earlyÚ
output_fmtÚintermediates_onlyc                 óø  — |dv s
J d¦   «         ‚g }t          t          | j        ¦  «        |¦  «        \  }}	|                      |¦  «        }t          j                             ¦   «         s|s| j        }
n| j        d|	dz   …         }
t          |
¦  «        D ]_\  }}| j        r/t          j                             ¦   «         st          |
|¦  «        }n ||¦  «        }||v r| 
                    |¦  «         Œ`|r|S ||fS ©aï   Forward features that returns intermediates.

        Args:
            x: Input image tensor
            indices: Take last n blocks if int, all if None, select matching indices if sequence
            norm: Apply norm layer to compatible intermediates
            stop_early: Stop iterating over blocks when last desired intermediate hit
            output_fmt: Shape of intermediate feature outputs
            intermediates_only: Only return intermediate features
        Returns:

        )r<  zOutput shape must be NCHW.Nr   ©r   r-   r  r  r¯   rµ   r¶   r  r  r   r®   ©rR   r   r=  rP   r>  r?  r@  ÚintermediatesÚtake_indicesÚ	max_indexr  Úfeat_idxÚstages                r   Úforward_intermediatesz"EfficientVit.forward_intermediatesR  ó  € ð* ˜YÐ&Ð&Ð&Ð(DÑ&Ô&Ð&ØˆÝ"6µs¸4¼;Ñ7GÔ7GÈÑ"QÔ"QÑˆ�ið �IŠI�a‰LŒLˆåŒ9×!Ò!Ñ#Ô#ð 	1¨:ð 	1Ø”[ˆFˆFà”[  )¨a¡- Ô0ˆFå(¨Ñ0Ô0ð 	(ð 	(‰OˆH�eØÔ&ð ­u¬y×/EÒ/EÑ/GÔ/Gð Ý" 6¨1Ñ-Ô-��à�E˜!‘H”H�Ø˜<Ð'Ð'Ø×$Ò$ QÑ'Ô'Ð'øàð 	!Ø Ð à�-ÐÐr!   r   Ú
prune_normÚ
prune_headc                 ó®   — t          t          | j        ¦  «        |¦  «        \  }}| j        d|dz   …         | _        |r|                      dd¦  «         |S ©z@ Prune layers not required for specified intermediates.
        Nr   r   Ú ©r   r-   r  r:  ©rR   r=  rL  rM  rF  rG  s         r   Úprune_intermediate_layersz&EfficientVit.prune_intermediate_layers€  ó\   € õ #7µs¸4¼;Ñ7GÔ7GÈÑ"QÔ"QÑˆ�iØ”k . 9¨q¡= .Ô1ˆŒØð 	)Ø×!Ò! ! RÑ(Ô(Ð(ØÐr!   c                 óÐ   — |                       |¦  «        }| j        r4t          j                             ¦   «         st          | j        |¦  «        }n|                      |¦  «        }|S rV   ©r  r  r¯   rµ   r¶   r   r  rW   s     r   Úforward_featureszEfficientVit.forward_featuresŽ  óX   € Ø�IŠI�a‰LŒLˆØÔ"ð 	­5¬9×+AÒ+AÑ+CÔ+Cð 	Ý˜tœ{¨AÑ.Ô.ˆAˆAà—’˜A‘”ˆAØˆr!   r	  c                 ó^   — |r|                       ||¬¦  «        n|                       |¦  «        S ©N)r	  ©r  r  s      r   Úforward_headzEfficientVit.forward_head–  ó-   € Ø6@ÐRˆt�yŠy˜ zˆyÑ2Ô2Ð2ÀdÇiÂiÐPQÁlÄlÐRr!   c                 óZ   — |                       |¦  «        }|                      |¦  «        }|S rV   ©rW  r\  rW   s     r   rX   zEfficientVit.forward™  ó-   € Ø×!Ò! !Ñ$Ô$ˆØ×Ò˜aÑ Ô ˆØˆr!   r  ©TrV   ©NFFr<  F©r   FT)rY   rZ   r[   rL   r\   rÊ   r^   r   r`   r   ra   rã   rK   r¯   rµ   Úignorer)  r/  r5  r   r:  ÚTensorr	   r   r_   rJ  rS  rW  r\  rX   rb   rc   s   @r   r   r   ÿ  sÞ  ø€ € € € € ð Ø&(Ø&(ØØ"#Ø*,¬.Ø)+¬Ø$Ø+-Ø"Ø#ØØð87ð 87àð87ð ˜#˜s˜(”Oð87ð ˜#˜s˜(”Oð	87ð
 ð87ð  ð87ð ˜RœYœð87ð ˜BœI”ð87ð ð87ð ˜s C˜xœð87ð ð87ð ð87ð 87ð 87ð 87ð 87ð 87ðt „YÔðð ð ñ Ôðð „YÔð)ð )ð )ñ Ôð)ð „YÔð( ¤	ð (ð (ð (ñ Ôð(ð8ð 8¨Cð 8¸hÀs¼mð 8ð 8ð 8ð 8ð 8<ØØ$Ø$Ø',ð, ð , àŒ|ð, ð ˜e C¨¨c¬ NÔ3Ô4ð, ð ð	, ð
 ð, ð ð, ð !%ð, ð 
ˆt�E”LÔ! 5¨¬°t¸E¼LÔ7IÐ)IÔ#JÐJÔ	Kð, ð , ð , ð , ð` ./Ø$Ø#ð	ð à˜3  S¤	˜>Ô*ðð ðð ð	ð ð ð ðð ð ðSð S¨$ð Sð Sð Sð Sðð ð ð ð ð ð r!   c                   óˆ  ‡ — e Zd Zddddej        edddddddfd	ed
eedf         deedf         dedeej	                 deej	                 de
deedf         dededefˆ fd„Zej        j        d-d„¦   «         Zej        j        d.d„¦   «         Zej        j        dej	        fd„¦   «         Zd/dedee
         fd„Z	 	 	 	 	 d0dej        deeeee         f                  d ed!ed"e
d#edeeej                 eej        eej                 f         f         fd$„Z	 	 	 d1deeee         f         d&ed'efd(„Zd)„ Zd-d*efd+„Zd,„ Zˆ xZS )2r   r8   r   rÁ   rø   r9   r÷   gH¯¼šò×z>Nr  rù   .r  rÃ   rA   rB   r  r  r  rú   rü   c                 ó  •— ||dœ}t          ¦   «                              ¦   «          d| _        || _        |
| _        || _        || _        t          || j        ¬¦  «        }t          ||d         |d         ||fddi|¤Ž| _	        | j	        j
        }g | _        t          j        ¦   «         | _        |d         }t          t!          |dd …         |dd …         ¦  «        ¦  «        D ]h\  }\  }}| j                             t%          ||f|||||dk    |d	k    d
œ|¤Ž¦  «         |d	z  }|}| xj        t'          ||d|› �¬¦  «        gz  c_        Œi|| _        t+          | j        f||
|	| j        || j        dœ|¤Ž| _        | j        j        | _        d S )NrD   F)r�   r   rÔ   rÖ   r   r8   r5   )rÞ   rA   rB   rÃ   ræ   rÓ   r  r  )rù   rú   r@   rû   rB   rü   )rJ   rK   r  r  rú   r  rü   r
   rÛ   r  r<   r  rL   r”   r  r  r  r®   rð   r  rI   rö   r  r   )rR   r  rù   r  rÃ   rA   rB   r  r  r  rú   rü   rE   rF   rS   r<   r:   rë   r!  r"  rT   s                       €r   rK   zEfficientVitLarge.__init__   sö  ø€ ð  ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ"'ˆÔØ&ˆÔØ&ˆÔØ ˆŒØ ˆŒÝ˜Z¨T¬]Ð;Ñ;Ô;ˆ
õ ˜ 6¨!¤9¨f°Q¬i¸ÀYÐiÐiÐ[bÐiÐfhÐiÐiˆŒ	Ø”Ô!ˆð ˆÔÝ”m‘o”oˆŒØ˜Q”iˆÝ"¥3 v¨a¨b¨b¤z°6¸!¸"¸"´:Ñ#>Ô#>Ñ?Ô?ð 	eð 	e‰IˆA‰v��1ØŒK×ÒÕ5ØØð
 ð Ø%Ø#Ø!Ø˜qš&Ø š6ð
 ð 
 ð ð
 ð 
 ñ 
ô 
ð 
ð �a‰KˆFØˆKØÐÔ¥$¨{ÀfÐUbÐ_`ÐUbÐUbÐ"cÑ"cÔ"cÐ!dÑdÐÔÐà'ˆÔÝ"ØÔð	
àØ#ØØÔ&ØØ”]ð	
ð 	
ð ð	
ð 	
ˆŒ	ð !%¤	Ô 6ˆÔÐÐr!   Fc                 ó4   — t          d|rdnddg¬¦  «        }|S r$  r%  r&  s      r   r)  zEfficientVitLarge.group_matcherÞ  r*  r!   Tc                 ó   — || _         d S rV   r,  r-  s     r   r/  z(EfficientVitLarge.set_grad_checkpointingé  r0  r!   r0   c                 ó&   — | j         j        d         S r2  r3  r4  s    r   r5  z EfficientVitLarge.get_classifierí  r6  r!   c                 óZ   — t          | ¦  «        }|| _         | j        j        ||fi |¤Ž d S rV   r8  r9  s       r   r:  z"EfficientVitLarge.reset_classifierñ  r;  r!   r<  r   r=  rP   r>  r?  r@  c                 óø  — |dv s
J d¦   «         ‚g }t          t          | j        ¦  «        |¦  «        \  }}	|                      |¦  «        }t          j                             ¦   «         s|s| j        }
n| j        d|	dz   …         }
t          |
¦  «        D ]_\  }}| j        r/t          j                             ¦   «         st          |
|¦  «        }n ||¦  «        }||v r| 
                    |¦  «         Œ`|r|S ||fS rB  rC  rD  s                r   rJ  z'EfficientVitLarge.forward_intermediatesö  rK  r!   r   rL  rM  c                 ó®   — t          t          | j        ¦  «        |¦  «        \  }}| j        d|dz   …         | _        |r|                      dd¦  «         |S rO  rQ  rR  s         r   rS  z+EfficientVitLarge.prune_intermediate_layers$  rT  r!   c                 óÐ   — |                       |¦  «        }| j        r4t          j                             ¦   «         st          | j        |¦  «        }n|                      |¦  «        }|S rV   rV  rW   s     r   rW  z"EfficientVitLarge.forward_features2  rX  r!   r	  c                 ó^   — |r|                       ||¬¦  «        n|                       |¦  «        S rZ  r[  r  s      r   r\  zEfficientVitLarge.forward_head:  r]  r!   c                 óZ   — |                       |¦  «        }|                      |¦  «        }|S rV   r_  rW   s     r   rX   zEfficientVitLarge.forward=  r`  r!   r  ra  rV   rb  rc  )rY   rZ   r[   rL   r\   r   r^   r   r   ra   rã   r`   rK   r¯   rµ   rd  r)  r/  r5  r   r:  re  r	   r   r_   rJ  rS  rW  r\  rX   rb   rc   s   @r   r   r   Ÿ  sÜ  ø€ € € € € ð Ø"$Ø"$ØØ&(¤nØ%-Ø Ø')ØØØØØð<7ð <7àð<7ð �c˜3�h”ð<7ð �c˜3�h”ð	<7ð
 ð<7ð ˜œ”Oð<7ð ˜œ	”?ð<7ð ð<7ð ˜3 ˜8”_ð<7ð ð<7ð ð<7ð ð<7ð <7ð <7ð <7ð <7ð <7ð| „YÔðð ð ñ Ôðð „YÔð)ð )ð )ñ Ôð)ð „YÔð( ¤	ð (ð (ð (ñ Ôð(ð8ð 8¨Cð 8¸hÀs¼mð 8ð 8ð 8ð 8ð 8<ØØ$Ø$Ø',ð, ð , àŒ|ð, ð ˜e C¨¨c¬ NÔ3Ô4ð, ð ð	, ð
 ð, ð ð, ð !%ð, ð 
ˆt�E”LÔ! 5¨¬°t¸E¼LÔ7IÐ)IÔ#JÐJÔ	Kð, ð , ð , ð , ð` ./Ø$Ø#ð	ð à˜3  S¤	˜>Ô*ðð ðð ð	ð ð ð ðð ð ðSð S¨$ð Sð Sð Sð Sðð ð ð ð ð ð r!   rP  c                 ó4   — | dt           t          dddddddœ
|¥S )	Nr÷   zstem.in_conv.convzhead.classifier.4gffffffî?z
apache-2.0)r8   éà   rr  )é   rs  )
Úurlrú   ÚmeanÚstdÚ
first_convr  Úcrop_pctÚlicenseÚ
input_sizeÚ	pool_sizer   )rt  Úkwargss     r   Ú_cfgr}  C  s9   € àØÝ%Ý#Ø)Ø)ØØØ#Øðð ð ðð r!   zefficientvit_b0.r224_in1kztimm/)Ú	hf_hub_idzefficientvit_b1.r224_in1kzefficientvit_b1.r256_in1k)r8   é   r  )r‡   r‡   r†   )r~  rz  r{  rx  zefficientvit_b1.r288_in1k)r8   é   r€  )é	   r�  zefficientvit_b2.r224_in1kzefficientvit_b2.r256_in1kzefficientvit_b2.r288_in1kzefficientvit_b3.r224_in1kzefficientvit_b3.r256_in1kzefficientvit_b3.r288_in1kzefficientvit_l1.r224_in1k)r~  rx  zefficientvit_l2.r224_in1kzefficientvit_l2.r256_in1kzefficientvit_l2.r288_in1kzefficientvit_l2.r384_in1k)r8   é€  r‚  )é   rƒ  zefficientvit_l3.r224_in1kzefficientvit_l3.r256_in1k)r8   é@  r„  )é
   r…  )zefficientvit_l3.r320_in1kzefficientvit_l3.r384_in1kc                 ó|   — |                      dd¦  «        }t          t          | |fdt          d|¬¦  «        i|¤Ž}|S ©NÚout_indices)r   r   r5   r8   Úfeature_cfgT)Úflatten_sequentialrˆ  )Úpopr   r   r  ©ÚvariantÚ
pretrainedr|  rˆ  Úmodels        r   Ú_create_efficientvitr�  ®  sZ   € Ø—*’*˜]¨LÑ9Ô9€KÝ ÝØØðð õ ¨D¸kÐJÑJÔJð	ð
 ðð €Eð €Lr!   c                 ó|   — |                      dd¦  «        }t          t          | |fdt          d|¬¦  «        i|¤Ž}|S r‡  )r‹  r   r   r  rŒ  s        r   Ú_create_efficientvit_larger’  º  sZ   € Ø—*’*˜]¨LÑ9Ô9€KÝ ÝØØðð õ ¨D¸kÐJÑJÔJð	ð
 ðð €Eð €Lr!   c           	      óZ   — t          dddd¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )	N)r‡   ró   rÁ   é@   é€   )r   r5   r5   r5   r5   ró   )é   i   ©rù   r  rÃ   r  Úefficientvit_b0rŽ  )r˜  ©r  r�  ©rŽ  r|  Ú
model_argss      r   r˜  r˜  Æ  sN   € åØ#¨OÀbÐVbðdñ dô d€JåÐgÐg¸jÐgÍDÐQ[ÐLfÐLfÐ_eÐLfÐLfÐgÐgÐgr!   c           	      óZ   — t          dddd¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )	N)ró   rÁ   r”  r•  r  )r   r5   r8   r8   rÂ   ró   )i   i@  r—  Úefficientvit_b1rŽ  )r�  r™  rš  s      r   r�  r�  Í  óN   € åØ%¨oÈÐXdðfñ fô f€JåÐgÐg¸jÐgÍDÐQ[ÐLfÐLfÐ_eÐLfÐLfÐgÐgÐgr!   c           	      óZ   — t          dddd¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )	N)rò   é0   é`   éÀ   r‚  )r   r8   rÂ   rÂ   rz   rÁ   ©i 	  i 
  r—  Úefficientvit_b2rŽ  )r¤  r™  rš  s      r   r¤  r¤  Ô  rž  r!   c           	      óZ   — t          dddd¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )	N©rÁ   r”  r•  r  é   )r   rÂ   rz   rz   r�  rÁ   r£  r—  Úefficientvit_b3rŽ  )r¨  r™  rš  s      r   r¨  r¨  Û  sN   € åØ&¨ÈÐYeðgñ gô g€JåÐgÐg¸jÐgÍDÐQ[ÐLfÐLfÐ_eÐLfÐLfÐgÐgÐgr!   c           	      óZ   — t          dddd¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )	Nr¦  )r   r   r   rz   rz   rÁ   ©i   i€  r—  Úefficientvit_l1rŽ  )r«  ©r  r’  rš  s      r   r«  r«  â  óO   € åØ&¨ÈÐYeðgñ gô g€Jå%ÐmÐmÀJÐmÕRVÐWaÐRlÐRlÐekÐRlÐRlÐmÐmÐmr!   c           	      óZ   — t          dddd¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )	Nr¦  ©r   r5   r5   r‡   r‡   rÁ   rª  r—  Úefficientvit_l2rŽ  )r°  r¬  rš  s      r   r°  r°  é  r­  r!   c           	      óZ   — t          dddd¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )	N)r”  r•  r  r§  r–  r¯  rÁ   )i   i   r—  Úefficientvit_l3rŽ  )r²  r¬  rš  s      r   r²  r²  ð  sO   € åØ(°È2Ð[gðiñ iô i€Jå%ÐmÐmÀJÐmÕRVÐWaÐRlÐRlÐekÐRlÐRlÐmÐmÐmr!   )r   )r   r(   )FrÒ   NN)rP  r  )Ir¾   Ú__all__Útypingr   r   r   r   r	   Ú	functoolsr
   r¯   Útorch.nnrL   Útorch.nn.functionalÚ
functionalr³   Ú	timm.datar   r   Útimm.layersr   r   r   r   Ú_builderr   Ú	_featuresr   Ú_features_fxr   Ú_manipulater   Ú	_registryr   r   r#   r$   Úanyr'   r^   r.   r3   ra   r7   re   rn   ry   r€   r…   rÀ   rÆ   r`   rã   r_   rÙ   r”   rÛ   rå   rð   rö   r   r   r}  Údefault_cfgsr�  r’  r˜  r�  r¤  r¨  r«  r°  r²  r   r!   r   ú<module>rÂ     s4	  ððð ð Ð.Ð
/€Ø 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5Ø Ð Ð Ð Ð Ð à €€€Ø Ð Ð Ð Ð Ð Ø Ð Ð Ð Ð Ð Ð Ð Ð à AÐ AÐ AÐ AÐ AÐ AÐ AÐ AØ WÐ WÐ WÐ WÐ WÐ WÐ WÐ WÐ WÐ WÐ WÐ WØ *Ð *Ð *Ð *Ð *Ð *Ø +Ð +Ð +Ð +Ð +Ð +Ø 1Ð 1Ð 1Ð 1Ð 1Ð 1Ø 'Ð 'Ð 'Ð 'Ð 'Ð 'Ø <Ð <Ð <Ð <Ð <Ð <Ð <Ð <ð+ð +�Ð$˜Ð$ ð +ð +ð +ð +ðð �Ð%˜Ð% #ð °ð ÀSð ð ð ð ð  %¨¨U°3¸°8¬_Ð(<Ô"=ð  À%ÈÈUÐSVÐX[ÐS[Ì_ÐH\ÔB]ð  ð  ð  ð  ð%ð %ð %ð %ð %�"”)ñ %ô %ð %ðP+ð +ð +ð +ð +ˆRŒYñ +ô +ð +ð\.ð .ð .ð .ð .�”	ñ .ô .ð .ðb9ð 9ð 9ð 9ð 9ˆRŒYñ 9ô 9ð 9ðx/ð /ð /ð /ð /�"”)ñ /ô /ð /ðdcð cð cð cð cˆbŒiñ cô cð cðL Ð ˜Ñ  Ô  Ð  ð)ð )ð )ð )ð )˜œ	ñ )ô )ð )ðXð ð ð ð �B”Iñ ô ð ð4 !Ø#ØØð:ð :Øð:àð:ð ð:ð ð	:ð
 ð:ð ð:ð ð:ð ð:ð :ð :ð :ðz+ð +ð +ð +ð +ˆ2Œ=ñ +ô +ð +ð\?ð ?ð ?ð ?ð ?˜œ	ñ ?ô ?ð ?ðDBð Bð Bð Bð B˜RœYñ Bô Bð BðJ<ð <ð <ð <ð <�R”Yñ <ô <ð <ð~]ð ]ð ]ð ]ð ]�2”9ñ ]ô ]ð ]ð@að að að að a˜œ	ñ aô að aðHð ð ð ð  %Ð$ð X&Ø  Øð"ñ "ô "ðX&ð    Øð"ñ "ô "ð	X&ð    ØØ ¨F¸Sð"ñ "ô "ðX&ð    ØØ ¨F¸Sð"ñ "ô "ðX&ð    Øð"ñ "ô "ðX&ð$    ØØ ¨F¸Sð"ñ "ô "ð%X&ð,    ØØ ¨F¸Sð"ñ "ô "ð-X&ð4    Øð"ñ "ô "ð5X&ð:    ØØ ¨F¸Sð"ñ "ô "ð;X&ðB    ØØ ¨F¸Sð"ñ "ô "ðCX&ðJ    ØØð"ñ "ô "ðKX&ðR    ØØð"ñ "ô "ðSX&ðZ    ØØ ¨F¸Sð"ñ "ô "ð[X&ðb    ØØ ¨F¸Sð"ñ "ô "ðcX&ðj    ØØ ¨H¸sð"ñ "ô "ðkX&ðr    ØØð"ñ "ô "ðsX&ðz    ØØ ¨F¸Sð"ñ "ô "ð{X&ðB "& ØØ ¨H¸sð"ñ "ô "ð "& ØØ ¨H¸sð"ñ "ô "ðKX&ð X&ð X&ñ Xô X€ðv	ð 	ð 	ð 	ð	ð 	ð 	ð 	ð ðhð hð hñ „ðhð ðhð hð hñ „ðhð ðhð hð hñ „ðhð ðhð hð hñ „ðhð ðnð nð nñ „ðnð ðnð nð nñ „ðnð ðnð nð nñ „ðnð nð nr!   