§
    ·¯¸jb5  ã            
       óz  — d Z ddlmZmZmZmZmZmZmZm	Z	 ddl
Z
ddlmZ ddlmc mZ ddlmZmZ ddlmZmZmZmZmZmZmZ ddlmZ ddlmZ dd	lm Z  dd
l!m"Z"m#Z# dgZ$ G d„ dej%        ¦  «        Z& G d„ dej'        ¦  «        Z( G d„ dej'        ¦  «        Z)dee*e
j+        f         dej'        dee*e
j+        f         fd„Z,d'de*dedee*ef         fd„Z- e# e-d¬¦  «         e-d¬¦  «         e-d¬¦  «         e-d¬¦  «         e-¦   «          e-¦   «          e-¦   «         dœ¦  «        Z.d(de*de/dede)fd„Z0e"d(de/dede)fd „¦   «         Z1e"d(de/dede)fd!„¦   «         Z2e"d(de/dede)fd"„¦   «         Z3e"d(de/dede)fd#„¦   «         Z4e"d(de/dede)fd$„¦   «         Z5e"d(de/dede)fd%„¦   «         Z6e"d(de/dede)fd&„¦   «         Z7dS ))al  
Implementation of Prof-of-Concept Network: StarNet.

We make StarNet as simple as possible [to show the key contribution of element-wise multiplication]:
    - like NO layer-scale in network design,
    - and NO EMA during training,
    - which would improve the performance further.

Created by: Xu Ma (Email: ma.xu1@northeastern.edu)
Modified Date: Mar/29/2024
é    )ÚAnyÚDictÚListÚOptionalÚSetÚTupleÚUnionÚTypeN©ÚIMAGENET_DEFAULT_MEANÚIMAGENET_DEFAULT_STD)ÚDropPathÚSelectAdaptivePool2dÚLinearÚ	LayerTypeÚtrunc_normal_Úcalculate_drop_path_ratesÚget_device_dtypeé   )Úbuild_model_with_cfg)Úfeature_take_indices)Úcheckpoint_seq)Úregister_modelÚgenerate_default_cfgsÚStarNetc                   óF   ‡ — e Zd Z	 	 	 	 	 	 ddedededed	ed
efˆ fd„Zˆ xZS )ÚConvBNr   r   TNÚin_channelsÚout_channelsÚkernel_sizeÚstrideÚpaddingÚwith_bnc	           	      ó¨  •— ||dœ}
t          ¦   «                              ¦   «          |                      dt          j        |||f||dœ|
¤|	¤Ž¦  «         |r||                      dt          j        |fi |
¤Ž¦  «         t          j                             | j        j	        d¦  «         t          j                             | j        j
        d¦  «         d S d S )N©ÚdeviceÚdtypeÚconv©r!   r"   Úbnr   r   )ÚsuperÚ__init__Ú
add_moduleÚnnÚConv2dÚBatchNorm2dÚinitÚ	constant_r*   ÚweightÚbias)Úselfr   r   r    r!   r"   r#   r&   r'   ÚkwargsÚddÚ	__class__s              €úc/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/timm/models/starnet.pyr,   zConvBN.__init__   só   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ�Š˜¥¤	Ø˜ {ð!dØ;AÈ7ð!dð !dØVXð!dØ\bð!dð !dñ 	eô 	eð 	eàð 	/Ø�OŠO˜D¥"¤.°Ð"DÐ"DÀÐ"DÐ"DÑEÔEÐEÝŒG×Ò˜dœgœn¨aÑ0Ô0Ð0ÝŒG×Ò˜dœgœl¨AÑ.Ô.Ð.Ð.Ð.ð	/ð 	/ó    )r   r   r   TNN)Ú__name__Ú
__module__Ú__qualname__ÚintÚboolr,   Ú__classcell__©r8   s   @r9   r   r      s�   ø€ € € € € ð
  !ØØØ ØØð/ð /àð/ð ð/ð ð	/ð
 ð/ð ð/ð ð/ð /ð /ð /ð /ð /ð /ð /ð /ð /r:   r   c            
       ó€   ‡ — e Zd Zddej        ddfdedededeej                 fˆ fd„Z	d	e
j        d
e
j        fd„Zˆ xZS )ÚBlocké   ç        NÚdimÚ	mlp_ratioÚ	drop_pathÚ	act_layerc                 óÄ  •— ||dœ}t          ¦   «                              ¦   «          t          ||dddf|ddœ|¤Ž| _        t          |||z  dfddi|¤Ž| _        t          |||z  dfddi|¤Ž| _        t          ||z  |dfddi|¤Ž| _        t          ||dddf|ddœ|¤Ž| _         |¦   «         | _        |d	k    rt          |¦  «        nt          j        ¦   «         | _        d S )
Nr%   é   r   rD   T)Úgroupsr#   r#   FrE   )r+   r,   r   ÚdwconvÚf1Úf2ÚgÚdwconv2Úactr   r.   ÚIdentityrH   )	r5   rF   rG   rH   rI   r&   r'   r7   r8   s	           €r9   r,   zBlock.__init__4   s  ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐÝ˜S # q¨!¨QÐO°sÀDÐOÐOÈBÐOÐOˆŒÝ˜˜i¨#™o¨qÐFÐF¸%ÐFÀ2ÐFÐFˆŒÝ˜˜i¨#™o¨qÐFÐF¸%ÐFÀ2ÐFÐFˆŒÝ˜	 C™¨¨aÐDÐD¸ÐDÀÐDÐDˆŒÝ˜c 3¨¨1¨aÐQ¸ÀUÐQÐQÈbÐQÐQˆŒØ�9‘;”;ˆŒØ09¸B²°� )Ñ,Ô,Ð,ÅBÄKÁMÄMˆŒˆˆr:   ÚxÚreturnc                 ó8  — |}|                       |¦  «        }|                      |¦  «        |                      |¦  «        }}|                      |¦  «        |z  }|                      |                      |¦  «        ¦  «        }||                      |¦  «        z   }|S ©N)rM   rN   rO   rR   rQ   rP   rH   )r5   rT   ÚresidualÚx1Úx2s        r9   ÚforwardzBlock.forwardG   s}   € ØˆØ�KŠK˜‰NŒNˆØ—’˜‘”˜TŸWšW Q™ZœZˆBˆØ�HŠH�R‰LŒL˜2ÑˆØ�LŠL˜Ÿš ™œÑ#Ô#ˆØ�t—~’~ aÑ(Ô(Ñ(ˆØˆr:   )r;   r<   r=   r.   ÚReLU6r>   Úfloatr
   ÚModuler,   ÚtorchÚTensorr[   r@   rA   s   @r9   rC   rC   3   s²   ø€ € € € € ð Ø!Ø)+¬ØØðRð RàðRð ðRð ð	Rð
 ˜BœI”ðRð Rð Rð Rð Rð Rð&˜œð ¨%¬,ð ð ð ð ð ð ð ð r:   rC   c                   óú  ‡ — e Zd Zdg d¢dddej        ddddddfd	ed
ee         dedededeej	                 dedede
defˆ fd„Zd„ Zej        j        defd„¦   «         Zej        j        d/dedee
ef         fd„¦   «         Zej        j        d0defd„¦   «         Zej        j        dej	        fd„¦   «         Zd1dedee
         fd„Z	 	 	 	 	 d2d ej        d!eeeee         f                  d"ed#ed$e
d%edeeej                 eej        eej                 f         f         fd&„Z	 	 	 d3d!eeee         f         d(ed)efd*„Zd ej        dej        fd+„Zd/d ej        d,edej        fd-„Z d ej        dej        fd.„Z!ˆ xZ"S )4r   é    ©rD   rD   é   é   é   rE   éè  rD   ÚavgNÚbase_dimÚdepthsrG   Ú	drop_rateÚdrop_path_raterI   Únum_classesÚin_chansÚglobal_poolÚoutput_stridec           	      ó€  •‡‡‡‡‡‡— ||dœŠt          ¦   «                              ¦   «          |
dk    sJ ‚|| _        || _        || _        d| _        g | _        d}t          j        t          ||fddddœ‰¤Ž ‰¦   «         ¦  «        | _
        |}t          |t          |¦  «        ¦  «        Šg }dŠt          t          |¦  «        ¦  «        D ]§}|d|z  z  Št          |‰dfddd	œ‰¤Ž}ˆˆˆˆˆˆfd
„t          ||         ¦  «        D ¦   «         }‰||         z  Š‰}|                     t          j        |g|¢R Ž ¦  «         | j                             t!          |d|dz   z  d|› �¬¦  «        ¦  «         Œ¨t          j        |Ž | _        |x| _        | _        t          j        | j        fi ‰¤Ž| _        t-          |	¬¦  «        | _        |	rt          j        d¦  «        nt          j        ¦   «         | _        |dk    rt7          | j        |fi ‰¤Žnt          j        ¦   «         | _        |                      | j        ¦  «         d S )Nr%   rb   FrD   é   r   )r    r!   r"   r   r)   c           	      óB   •— g | ]}t          ‰‰‰‰|z            ‰fi ‰¤Ž‘ŒS © )rC   )Ú.0ÚirI   Úcurr7   ÚdprÚ	embed_dimrG   s     €€€€€€r9   ú
<listcomp>z$StarNet.__init__.<locals>.<listcomp>z   s8   ø€ ÐqÐqÐqÐUV•e˜I y°#°c¸A±g´,À	ÐPÐPÈRÐPÐPÐqÐqÐqr:   zstages.)Únum_chsÚ	reductionÚmodule©Ú	pool_type)r+   r,   rm   rn   rk   Úgrad_checkpointingÚfeature_infor.   Ú
Sequentialr   Ústemr   ÚsumÚrangeÚlenÚappendÚdictÚstagesÚnum_featuresÚhead_hidden_sizer0   Únormr   ro   ÚFlattenrS   Úflattenr   ÚheadÚapplyÚ_init_weights)r5   ri   rj   rG   rk   rl   rI   rm   rn   ro   rp   r&   r'   r6   Ústem_chsÚprev_chsr‰   Úi_layerÚdown_samplerÚblocksrw   r7   rx   ry   r8   s      `  `             @@@@€r9   r,   zStarNet.__init__R   s–  øøøøøøø€ ð  ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ Ò"Ð"Ð"Ð"Ø&ˆÔØ ˆŒØ"ˆŒØ"'ˆÔØˆÔØˆõ ”MÝ�8˜XÐP°1¸QÈÐPÐPÈRÐPÐPØˆI‰KŒKñ
ô 
ˆŒ	ð ˆõ (¨½¸F¹¼ÑDÔDˆØˆØˆÝ�S ™[œ[Ñ)Ô)ð 	]ð 	]ˆGØ  1¨¡<Ñ/ˆIÝ! (¨I°qÐTÀÈAÐTÐTÐQSÐTÐTˆLØqÐqÐqÐqÐqÐqÐqÐqÐqÕZ_Ð`fÐgnÔ`oÑZpÔZpÐqÑqÔqˆFØ�6˜'”?Ñ"ˆCØ ˆHØ�MŠM�"œ-¨Ð>°vÐ>Ð>Ð>Ñ?Ô?Ð?ØÔ×$Ò$¥TØ$°°G¸A±I±ÐGZÐQXÐGZÐGZð&\ñ &\ô &\ñ ]ô ]ð ]ð ]å”m VÐ,ˆŒà4<Ð<ˆÔ˜DÔ1Ý”N 4Ô#4Ð;Ð;¸Ð;Ð;ˆŒ	Ý/¸+ÐFÑFÔFˆÔØ(3ÐF•r”z !‘}”}�}½¼¹¼ˆŒØDOÐRSÂOÀO•F˜4Ô,¨kÐ@Ð@¸RÐ@Ð@Ð@ÕY[ÔYdÑYfÔYfˆŒ	Ø�
Š
�4Ô%Ñ&Ô&Ð&Ð&Ð&r:   c                 óâ  — t          |t          j        t          j        f¦  «        rbt	          |j        d¬¦  «         t          |t          j        ¦  «        r.|j        �)t          j                             |j        d¦  «         d S d S d S t          |t          j	        ¦  «        rLt          j                             |j        d¦  «         t          j                             |j        d¦  «         d S d S )Ng{®Gáz”?)Ústdr   g      ð?)
Ú
isinstancer.   r   r/   r   r3   r4   r1   r2   r0   )r5   Úms     r9   r‘   zStarNet._init_weights‰   sÕ   € Ý�a�"œ)¥R¤YÐ/Ñ0Ô0ð 	-Ý˜!œ(¨Ð,Ñ,Ô,Ð,Ý˜!�RœYÑ'Ô'ð -¨A¬FÐ,>Ý”×!Ò! !¤&¨!Ñ,Ô,Ð,Ð,Ð,ð-ð -Ð,>Ð,>å˜�2œ>Ñ*Ô*ð 	-ÝŒG×Ò˜aœf aÑ(Ô(Ð(ÝŒG×Ò˜aœh¨Ñ,Ô,Ð,Ð,Ð,ð	-ð 	-r:   rU   c                 ó   — t          ¦   «         S rW   )Úset©r5   s    r9   Úno_weight_decayzStarNet.no_weight_decay’   s   € å‰uŒuˆr:   FÚcoarsec                 ó8   — t          d|rdndd fdg¬¦  «        }|S )Nz
^stem\.\d+z^stages\.(\d+)z^stages\.(\d+)\.(\d+))rŒ   )iŸ† )rƒ   r–   )rˆ   )r5   rŸ   Úmatchers      r9   Úgroup_matcherzStarNet.group_matcher–   s<   € åØà&,ÐJÐ"Ð"Ð2JÈDÐQØ#ðð
ñ 
ô 
ˆð ˆr:   TÚenablec                 ó   — || _         d S rW   )r€   )r5   r£   s     r9   Úset_grad_checkpointingzStarNet.set_grad_checkpointing¡   s   € à"(ˆÔÐÐr:   c                 ó   — | j         S rW   )r�   r�   s    r9   Úget_classifierzStarNet.get_classifier¥   s
   € àŒyÐr:   c                 óØ  — t          | ¦  «        }|| _        |��t          |¬¦  «        | _        | j                             | j        ¦  «         |rt          j        d¦  «        nt          j        ¦   «         | _	        | j	                             | j        ¦  «         |dk    rt          | j        |fi |¤Žnt          j        ¦   «         | _        | j                             | j        ¦  «         d S )Nr~   r   r   )r   rm   r   ro   ÚtrainÚtrainingr.   r�   rS   rŽ   r   r‹   r�   )r5   rm   ro   r7   s       r9   Úreset_classifierzStarNet.reset_classifier©   sã   € Ý˜dÑ#Ô#ˆØ&ˆÔØÐ"å3¸kÐJÑJÔJˆDÔØÔ×"Ò" 4¤=Ñ1Ô1Ð1Ø,7ÐJ�2œ: a™=œ=˜=½R¼[¹]¼]ˆDŒLØŒL×Ò˜tœ}Ñ-Ô-Ð-ð ˜1Š_ˆ_õ ØÔ! ;ð
ð 
àð
ð 
ð 
õ #%¤+¡-¤-ð 	Œ	ð 	Œ	�Š˜œÑ&Ô&Ð&Ð&Ð&r:   ÚNCHWrT   ÚindicesrŒ   Ú
stop_earlyÚ
output_fmtÚintermediates_onlyc                 óœ  — |dv s
J d¦   «         ‚g }t          t          | j        ¦  «        |¦  «        \  }}	t          | j        ¦  «        dz
  }
|                      |¦  «        }t          j                             ¦   «         s|s| j        }n| j        d|	dz   …         }t          |¦  «        D ]\  }}| j        r/t          j                             ¦   «         st          ||¦  «        }n ||¦  «        }||v r5|r||
k    r|  
                    |¦  «        }n|}|                     |¦  «         Œ€|r|S ||
k    r|  
                    |¦  «        }||fS )aï   Forward features that returns intermediates.

        Args:
            x: Input image tensor
            indices: Take last n blocks if int, all if None, select matching indices if sequence
            norm: Apply norm layer to compatible intermediates
            stop_early: Stop iterating over blocks when last desired intermediate hit
            output_fmt: Shape of intermediate feature outputs
            intermediates_only: Only return intermediate features
        Returns:

        )r¬   zOutput shape must be NCHW.r   N)r   r†   r‰   rƒ   r_   ÚjitÚis_scriptingÚ	enumerater€   r   rŒ   r‡   )r5   rT   r­   rŒ   r®   r¯   r°   ÚintermediatesÚtake_indicesÚ	max_indexÚlast_idxr‰   Úfeat_idxÚstageÚx_inters                  r9   Úforward_intermediateszStarNet.forward_intermediates¸   st  € ð* ˜YÐ&Ð&Ð&Ð(DÑ&Ô&Ð&ØˆÝ"6µs¸4¼;Ñ7GÔ7GÈÑ"QÔ"QÑˆ�iÝ�t”{Ñ#Ô# aÑ'ˆð �IŠI�a‰LŒLˆÝŒ9×!Ò!Ñ#Ô#ð 	1¨:ð 	1Ø”[ˆFˆFà”[  )¨a¡- Ô0ˆFå(¨Ñ0Ô0ð 
	.ð 
	.‰OˆH�eØÔ&ð ­u¬y×/EÒ/EÑ/GÔ/Gð Ý" 5¨!Ñ,Ô,��à�E˜!‘H”H�Ø˜<Ð'Ð'Øð  ˜H¨Ò0Ð0Ø"Ÿiši¨™lœl�G�Gà�GØ×$Ò$ WÑ-Ô-Ð-øàð 	!Ø Ð à�xÒÐØ—	’	˜!‘”ˆAà�-ÐÐr:   r   Ú
prune_normÚ
prune_headc                 óâ   — t          t          | j        ¦  «        |¦  «        \  }}| j        d|dz   …         | _        |rt          j        ¦   «         | _        |r|                      dd¦  «         |S )z@ Prune layers not required for specified intermediates.
        Nr   r   Ú )r   r†   r‰   r.   rS   rŒ   r«   )r5   r­   r½   r¾   r¶   r·   s         r9   Úprune_intermediate_layersz!StarNet.prune_intermediate_layersí   sq   € õ #7µs¸4¼;Ñ7GÔ7GÈÑ"QÔ"QÑˆ�iØ”k . 9¨q¡= .Ô1ˆŒØð 	&Ýœ™œˆDŒIØð 	)Ø×!Ò! ! RÑ(Ô(Ð(ØÐr:   c                 óú   — |                       |¦  «        }| j        r4t          j                             ¦   «         st          | j        |¦  «        }n|                      |¦  «        }|                      |¦  «        }|S rW   )rƒ   r€   r_   r²   r³   r   r‰   rŒ   ©r5   rT   s     r9   Úforward_featureszStarNet.forward_featuresý   sg   € Ø�IŠI�a‰LŒLˆØÔ"ð 	­5¬9×+AÒ+AÑ+CÔ+Cð 	Ý˜tœ{¨AÑ.Ô.ˆAˆAà—’˜A‘”ˆAØ�IŠI�a‰LŒLˆØˆr:   Ú
pre_logitsc                 óà   — |                       |¦  «        }|                      |¦  «        }| j        dk    r!t          j        || j        | j        ¬¦  «        }|r|n|                      |¦  «        S )NrE   )Úprª   )ro   rŽ   rk   ÚFÚdropoutrª   r�   )r5   rT   rÅ   s      r9   Úforward_headzStarNet.forward_head  sd   € Ø×Ò˜QÑÔˆØ�LŠL˜‰OŒOˆØŒ>˜BÒÐÝ”	˜!˜tœ~¸¼ÐFÑFÔFˆAØÐ0ˆqˆq D§I¢I¨a¡L¤LÐ0r:   c                 óZ   — |                       |¦  «        }|                      |¦  «        }|S rW   )rÄ   rÊ   rÃ   s     r9   r[   zStarNet.forward  s-   € Ø×!Ò! !Ñ$Ô$ˆØ×Ò˜aÑ Ô ˆØˆr:   ©F)TrW   )NFFr¬   F)r   FT)#r;   r<   r=   r.   r\   r>   r   r]   r
   r^   Ústrr,   r‘   r_   r²   Úignorer   rž   r?   r   r   r¢   r¥   r§   r   r«   r`   r	   r   r¼   rÁ   rÄ   rÊ   r[   r@   rA   s   @r9   r   r   Q   sV  ø€ € € € € ð Ø -  ØØ!Ø$&Ø)+¬Ø#ØØ$Ø!#ØØð5'ð 5'àð5'ð ˜”Ið5'ð ð	5'ð
 ð5'ð "ð5'ð ˜BœI”ð5'ð ð5'ð ð5'ð ð5'ð ð5'ð 5'ð 5'ð 5'ð 5'ð 5'ðn-ð -ð -ð „YÔð ð ð ð ñ Ôðð „YÔðð  Dð °T¸#¸s¸(´^ð ð ð ñ Ôðð „YÔð)ð )¨Tð )ð )ð )ñ Ôð)ð „YÔð ¤	ð ð ð ñ Ôðð'ð '¨Cð '¸hÀs¼mð 'ð 'ð 'ð 'ð$ 8<ØØ$Ø$Ø',ð3 ð 3 àŒ|ð3 ð ˜e C¨¨c¬ NÔ3Ô4ð3 ð ð	3 ð
 ð3 ð ð3 ð !%ð3 ð 
ˆt�E”LÔ! 5¨¬°t¸E¼LÔ7IÐ)IÔ#JÐJÔ	Kð3 ð 3 ð 3 ð 3 ðn ./Ø$Ø#ð	ð à˜3  S¤	˜>Ô*ðð ðð ð	ð ð ð ð  %¤,ð °5´<ð ð ð ð ð1ð 1˜eœlð 1¸ð 1ÈÌð 1ð 1ð 1ð 1ð˜œð ¨%¬,ð ð ð ð ð ð ð ð r:   Ú
state_dictÚmodelrU   c                 ó.   — |                       d| ¦  «        S )NrÏ   )Úget)rÏ   rÐ   s     r9   Úcheckpoint_filter_fnrÓ     s   € Ø�>Š>˜,¨
Ñ3Ô3Ð3r:   rÀ   Úurlr6   c                 ó<   — | dddddt           t          dddd	d
ddœ|¥S )Nrg   )rD   éà   rÖ   )rK   rK   g      ì?Úbicubiczstem.0.convr�   zarXiv:2403.19967zRewrite the Starsz*https://github.com/ma-xu/Rewrite-the-Starsz
apache-2.0)rÔ   rm   Ú
input_sizeÚ	pool_sizeÚcrop_pctÚinterpolationÚmeanr˜   Ú
first_convÚ
classifierÚ	paper_idsÚ
paper_nameÚ
origin_urlÚlicenser   )rÔ   r6   s     r9   Ú_cfgrã     s@   € à 4°}ÐSYØ¨IÝ%Õ.BØ#°6Ø'Ø)ØBÈ|ð	ð 	ð ð	ð 	r:   ztimm/)Ú	hf_hub_id)zstarnet_s1.in1kzstarnet_s2.in1kzstarnet_s3.in1kzstarnet_s4.in1kzstarnet_s050.untrainedzstarnet_s100.untrainedzstarnet_s150.untrainedFÚvariantÚ
pretrainedc                 ó\   — t          t          | |ft          t          dd¬¦  «        dœ|¤Ž}|S )N)r   r   rr   rD   T)Úout_indicesÚflatten_sequential)Úpretrained_filter_fnÚfeature_cfg)r   r   rÓ   rˆ   )rå   ræ   r6   rÐ   s       r9   Ú_create_starnetrì   ;  sF   € Ý Ý�˜*ðå1Ý \ÀdÐKÑKÔKðð ð ð	ð €Eð €Lr:   c           	      óZ   — t          dg d¢¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )Né   )rr   rr   é   rD   ©ri   rj   Ú
starnet_s1ræ   )rñ   ©rˆ   rì   ©ræ   r6   Ú
model_argss      r9   rñ   rñ   E  óB   € å˜r¨,¨,¨,Ð7Ñ7Ô7€JÝÐ]Ð]°JÐ]Å$ÀzÐB\ÐB\ÐU[ÐB\ÐB\Ð]Ð]Ð]r:   c           	      óZ   — t          dg d¢¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )Nrb   )r   rr   é   rr   rð   Ú
starnet_s2ræ   )rø   rò   ró   s      r9   rø   rø   K  rõ   r:   c           	      óZ   — t          dg d¢¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )Nrb   )rr   rr   rï   rf   rð   Ú
starnet_s3ræ   )rú   rò   ró   s      r9   rú   rú   Q  rõ   r:   c           	      óZ   — t          dg d¢¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )Nrb   rc   rð   Ú
starnet_s4ræ   )rü   rò   ró   s      r9   rü   rü   W  sB   € å˜r¨-¨-¨-Ð8Ñ8Ô8€JÝÐ]Ð]°JÐ]Å$ÀzÐB\ÐB\ÐU[ÐB\ÐB\Ð]Ð]Ð]r:   c           	      ó\   — t          dg d¢d¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )Né   )r   r   rD   r   rD   ©ri   rj   rG   Ústarnet_s050ræ   )r   rò   ró   s      r9   r   r   ^  óD   € å˜r¨,¨,¨,À!ÐDÑDÔD€JÝÐ_Ð_°jÐ_ÅDÈÐD^ÐD^ÐW]ÐD^ÐD^Ð_Ð_Ð_r:   c           	      ó\   — t          dg d¢d¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )Né   )r   rr   rf   r   rf   rÿ   Ústarnet_s100ræ   )r  rò   ró   s      r9   r  r  d  r  r:   c           	      ó\   — t          dg d¢d¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )Nrî   )r   rr   rf   rr   rD   rÿ   Ústarnet_s150ræ   )r  rò   ró   s      r9   r  r  j  r  r:   )rÀ   rÌ   )8Ú__doc__Útypingr   r   r   r   r   r   r	   r
   r_   Útorch.nnr.   Útorch.nn.functionalÚ
functionalrÈ   Ú	timm.datar   r   Útimm.layersr   r   r   r   r   r   r   Ú_builderr   Ú	_featuresr   Ú_manipulater   Ú	_registryr   r   Ú__all__r‚   r   r^   rC   r   rÍ   r`   rÓ   rã   Údefault_cfgsr?   rì   rñ   rø   rú   rü   r   r  r  rt   r:   r9   ú<module>r     s  ðð
ð 
ð FÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ Eà €€€Ø Ð Ð Ð Ð Ð Ø Ð Ð Ð Ð Ð Ð Ð Ð à AÐ AÐ AÐ AÐ AÐ AÐ AÐ Að Fð  Fð  Fð  Fð  Fð  Fð  Fð  Fð  Fð  Fð  Fð  Fð  Fð  Fð  Fð  Fð  Fð  FØ *Ð *Ð *Ð *Ð *Ð *Ø +Ð +Ð +Ð +Ð +Ð +Ø 'Ð 'Ð 'Ð 'Ð 'Ð 'Ø <Ð <Ð <Ð <Ð <Ð <Ð <Ð <àˆ+€ð/ð /ð /ð /ð /ˆRŒ]ñ /ô /ð /ð.ð ð ð ð ˆBŒIñ ô ð ð<ð ð ð ð ˆbŒiñ ô ð ðD4 T¨#¨u¬|Ð*;Ô%<ð 4ÀRÄYð 4ÐSWÐX[Ð]bÔ]iÐXiÔSjð 4ð 4ð 4ð 4ð
ð 
ˆcð 
 #ð 
¨$¨s°C¨x¬.ð 
ð 
ð 
ð 
ð %Ð$Ø�tØðñ ô ð �tØðñ ô ð �tØðñ ô ð �tØðñ ô ð #˜d™fœfØ"˜d™fœfØ"˜d™fœfð'&ð &ñ ô €ð.ð ˜Sð ¨dð Àcð Ègð ð ð ð ð ð^ð ^˜4ð ^°3ð ^¸7ð ^ð ^ð ^ñ „ð^ð
 ð^ð ^˜4ð ^°3ð ^¸7ð ^ð ^ð ^ñ „ð^ð
 ð^ð ^˜4ð ^°3ð ^¸7ð ^ð ^ð ^ñ „ð^ð
 ð^ð ^˜4ð ^°3ð ^¸7ð ^ð ^ð ^ñ „ð^ð ð`ð `˜Tð `°Sð `¸Wð `ð `ð `ñ „ð`ð
 ð`ð `˜Tð `°Sð `¸Wð `ð `ð `ñ „ð`ð
 ð`ð `˜Tð `°Sð `¸Wð `ð `ð `ñ „ð`ð `ð `r:   