§
    ·¯¸jèc  ã                   óH  — d Z ddlZddlmZ ddlmZmZmZmZm	Z	 ddl
Z
ddlmc mZ ddl
mZ ddlmZmZ ddlmZmZmZmZmZmZmZmZmZ dd	lmZ dd
lmZ ddl m!Z! ddl"m#Z#m$Z$ ddl%m&Z&m'Z' dgZ(e! G d„ dej)        ¦  «        ¦   «         Z* G d„ dej)        ¦  «        Z+ G d„ dej)        ¦  «        Z, G d„ dej)        ¦  «        Z- G d„ dej)        ¦  «        Z. G d„ dej)        ¦  «        Z/d.d„Z0d„ Z1d/d„Z2d0d „Z3 e' e3d!d"d¬#¦  «         e3d!d"d¬#¦  «         e3d!d$d%d¬&¦  «         e3d!d$d%d¬&¦  «         e3d!d$d%d¬&¦  «         e3d!d%d¬#¦  «        d'œ¦  «        Z4e&d/d(e/fd)„¦   «         Z5e&d/d(e/fd*„¦   «         Z6e&d/d(e/fd+„¦   «         Z7e&d/d(e/fd,„¦   «         Z8e&d/d(e/fd-„¦   «         Z9dS )1a#   EdgeNeXt

Paper: `EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture for Mobile Vision Applications`
 - https://arxiv.org/abs/2206.10589

Original code and weights from https://github.com/mmaaz60/EdgeNeXt

Modifications and additions for timm by / Copyright 2022, Ross Wightman
é    N)Úpartial)ÚListÚOptionalÚTupleÚTypeÚUnion)Únn©ÚIMAGENET_DEFAULT_MEANÚIMAGENET_DEFAULT_STD)	Úget_device_dtypeÚDropPathÚcalculate_drop_path_ratesÚLayerNorm2dÚMlpÚcreate_conv2dÚNormMlpClassifierHeadÚClassifierHeadÚtrunc_normal_tf_é   )Úbuild_model_with_cfg)Úfeature_take_indices)Úregister_notrace_module)Únamed_applyÚcheckpoint_seq)Úregister_modelÚgenerate_default_cfgsÚEdgeNeXtc                   óV   ‡ — e Zd Z	 	 	 	 	 ddededefˆ fd„Zd	eeeef         fd
„Zˆ xZS )ÚPositionalEncodingFourieré    é   ç     ˆÃ@NÚ
hidden_dimÚdimÚtemperaturec                 óÞ   •— ||dœ}t          ¦   «                              ¦   «          t          j        |dz  |fddi|¤Ž| _        dt
          j        z  | _        || _        || _	        || _
        d S )N©ÚdeviceÚdtypeé   Úkernel_sizer   )ÚsuperÚ__init__r	   ÚConv2dÚtoken_projectionÚmathÚpiÚscaler&   r$   r%   )Úselfr$   r%   r&   r)   r*   ÚddÚ	__class__s          €úd/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/timm/models/edgenext.pyr.   z"PositionalEncodingFourier.__init__*   su   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐÝ "¤	¨*°q©.¸#Ð SÐ SÈ1Ð SÐPRÐ SÐ SˆÔØ�œ‘[ˆŒ
Ø&ˆÔØ$ˆŒØˆŒˆˆó    Úshapec           
      ód  — | j         j        j        }| j         j        j        }t	          j        |¦  «                             |t          j        ¬¦  «         }|                     dt          j	        ¬¦  «        }|                     dt          j	        ¬¦  «        }d}||d d …dd …d d …f         |z   z  | j
        z  }||d d …d d …dd …f         |z   z  | j
        z  }t	          j        | j        t          j        |¬¦  «                             t          j	        ¦  «        }| j        dt	          j        |dd¬	¦  «        z  | j        z  z  }|d d …d d …d d …d f         |z  }	|d d …d d …d d …d f         |z  }
t	          j        |	d d …d d …d d …d
d d…f                              ¦   «         |	d d …d d …d d …dd d…f                              ¦   «         fd¬¦  «                             d¦  «        }	t	          j        |
d d …d d …d d …d
d d…f                              ¦   «         |
d d …d d …d d …dd d…f                              ¦   «         fd¬¦  «                             d¦  «        }
t	          j        |
|	fd¬¦  «                             d
ddd¦  «        }|                       |                     |¦  «        ¦  «        }|S )Nr(   r   )r*   r+   ç�íµ ÷Æ°>éÿÿÿÿ)r*   r)   Úfloor)Úrounding_moder   é   ©r%   é   )r0   Úweightr)   r*   ÚtorchÚzerosÚtoÚboolÚcumsumÚfloat32r3   Úaranger$   Úint64r&   ÚdivÚstackÚsinÚcosÚflattenÚcatÚpermute)r4   r9   r)   r*   Úinv_maskÚy_embedÚx_embedÚepsÚdim_tÚpos_xÚpos_yÚposs               r7   Úforwardz!PositionalEncodingFourier.forward:   sÒ  € ØÔ&Ô-Ô4ˆØÔ%Ô,Ô2ˆÝ”K Ñ&Ô&×)Ò)°½u¼zÐ)ÑJÔJÐJˆØ—/’/ !­5¬=�/Ñ9Ô9ˆØ—/’/ !­5¬=�/Ñ9Ô9ˆØˆØ˜W Q Q Q¨¨¨¨Q¨Q¨Q YÔ/°#Ñ5Ñ6¸¼ÑCˆØ˜W Q Q Q¨¨¨¨2¨3¨3 YÔ/°#Ñ5Ñ6¸¼ÑCˆå”˜Tœ_µE´KÈÐOÑOÔO×RÒRÕSXÔS`ÑaÔaˆØÔ  Q­¬°5¸!È7Ð)SÑ)SÔ)SÑ%SÐVZÔVeÑ%eÑfˆà˜˜˜˜1˜1˜1˜a˜a˜a ˜Ô&¨Ñ.ˆØ˜˜˜˜1˜1˜1˜a˜a˜a ˜Ô&¨Ñ.ˆÝ”Ø�1�1�1�a�a�a˜˜˜˜A˜D˜q˜D�=Ô!×%Ò%Ñ'Ô'Ø�1�1�1�a�a�a˜˜˜˜A˜D˜q˜D�=Ô!×%Ò%Ñ'Ô'ð)Ø./ð1ñ 1ô 1ç18²¸±´ð 	õ ”Ø�1�1�1�a�a�a˜˜˜˜A˜D˜q˜D�=Ô!×%Ò%Ñ'Ô'Ø�1�1�1�a�a�a˜˜˜˜A˜D˜q˜D�=Ô!×%Ò%Ñ'Ô'ð)Ø./ð1ñ 1ô 1ç18²¸±´ð 	õ Œi˜ ˜¨AÐ.Ñ.Ô.×6Ò6°q¸!¸QÀÑBÔBˆØ×#Ò# C§F¢F¨5¡M¤MÑ2Ô2ˆàˆ
r8   )r!   r"   r#   NN)	Ú__name__Ú
__module__Ú__qualname__ÚintÚfloatr.   r   rZ   Ú__classcell__©r6   s   @r7   r    r    (   s•   ø€ € € € € ð !ØØ!'ØØðð àðð ðð ð	ð ð ð ð ð ð ˜U 3¨¨S =Ô1ð ð ð ð ð ð ð ð r8   r    c                   óÈ   ‡ — e Zd Zdddddd eej        d¬¦  «        ej        dddfd	ed
ee         dedede	de
de
deej                 deej                 de
fˆ fd„Zd„ Zˆ xZS )Ú	ConvBlockNé   r   Tr?   r;   ©rU   ç        r%   Údim_outr,   ÚstrideÚ	conv_biasÚexpand_ratioÚls_init_valueÚ
norm_layerÚ	act_layerÚ	drop_pathc                 óÔ  •— ||dœ}t          ¦   «                              ¦   «          |p|}|dk    p||k    | _        t          ||f||d|dœ|¤Ž| _         ||fi |¤Ž| _        t          |t          ||z  ¦  «        fd|	i|¤Ž| _        |dk    r't          j
        |t          j        |fi |¤Žz  ¦  «        nd | _        |
dk    rt          |
¦  «        nt          j        ¦   «         | _        d S )Nr(   r   T)r,   rh   Ú	depthwiseÚbiasrm   r   rf   )r-   r.   Úshortcut_after_dwr   Úconv_dwÚnormr   r^   Úmlpr	   Ú	ParameterrC   ÚonesÚgammar   ÚIdentityrn   )r4   r%   rg   r,   rh   ri   rj   rk   rl   rm   rn   r)   r*   r5   r6   s                 €r7   r.   zConvBlock.__init__V   s:  ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ�.˜SˆØ!'¨!¢Ð!=¨s°gª~ˆÔå$ØØð
ð $ØØØð
ð 
ð ð
ð 
ˆŒð �J˜wÐ-Ð-¨"Ð-Ð-ˆŒ	ÝØÝ�˜wÑ&Ñ'Ô'ð
ð 
ð  ð
ð ð	
ð 
ˆŒð Q^Ð`aÒPaÐPa•R”\ -µ%´*¸WÐ2KÐ2KÈÐ2KÐ2KÑ"KÑLÔLÐLÐgkˆŒ
Ø09¸B²°� )Ñ,Ô,Ð,ÅBÄKÁMÄMˆŒˆˆr8   c                 óL  — |}|                       |¦  «        }| j        r|}|                     dddd¦  «        }|                      |¦  «        }|                      |¦  «        }| j        �
| j        |z  }|                     dddd¦  «        }||                      |¦  «        z   }|S )Nr   r+   rA   r   )rs   rr   rQ   rt   ru   rx   rn   )r4   ÚxÚshortcuts      r7   rZ   zConvBlock.forward}   s    € ØˆØ�LŠL˜‰OŒOˆØÔ!ð 	ØˆHà�IŠI�a˜˜A˜qÑ!Ô!ˆØ�IŠI�a‰LŒLˆØ�HŠH�Q‰KŒKˆØŒ:Ð!Ø”
˜Q‘ˆAØ�IŠI�a˜˜A˜qÑ!Ô!ˆà�t—~’~ aÑ(Ô(Ñ(ˆØˆr8   )r[   r\   r]   r   r	   Ú	LayerNormÚGELUr^   r   rF   r_   r   ÚModuler.   rZ   r`   ra   s   @r7   rc   rc   U   s  ø€ € € € € ð &*Ø ØØ"Ø"#Ø#'Ø*1¨'°"´,ÀDÐ*IÑ*IÔ*IØ)+¬Ø!ØØð%Rð %Ràð%Rð ˜c”]ð%Rð ð	%Rð
 ð%Rð ð%Rð  ð%Rð !ð%Rð ˜RœYœð%Rð ˜BœI”ð%Rð ð%Rð %Rð %Rð %Rð %Rð %RðNð ð ð ð ð ð r8   rc   c                   ór   ‡ — e Zd Z	 	 	 	 	 	 ddedededed	ef
ˆ fd
„Zd„ Zej	        j
        d„ ¦   «         Zˆ xZS )ÚCrossCovarianceAttné   Frf   Nr%   Ú	num_headsÚqkv_biasÚ	attn_dropÚ	proj_dropc                 ó„  •— ||dœ}t          ¦   «                              ¦   «          || _        t          j        t          j        |ddfi |¤Ž¦  «        | _        t          j        ||dz  fd|i|¤Ž| _	        t          j
        |¦  «        | _        t          j        ||fi |¤Ž| _        t          j
        |¦  «        | _        d S )Nr(   r   rA   rq   )r-   r.   rƒ   r	   rv   rC   rw   r&   ÚLinearÚqkvÚDropoutr…   Úprojr†   )
r4   r%   rƒ   r„   r…   r†   r)   r*   r5   r6   s
            €r7   r.   zCrossCovarianceAttn.__init__�   s¼   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ"ˆŒÝœ<­¬
°9¸aÀÐ(IÐ(IÀbÐ(IÐ(IÑJÔJˆÔå”9˜S #¨¡'Ð?Ð?°Ð?¸BÐ?Ð?ˆŒÝœ IÑ.Ô.ˆŒÝ”I˜c 3Ð-Ð-¨"Ð-Ð-ˆŒ	Ýœ IÑ.Ô.ˆŒˆˆr8   c                 ó~  — |j         \  }}}|                      |¦  «                             ||d| j        d¦  «                             ddddd¦  «        }|                     d¦  «        \  }}}t          j        |d¬¦  «        t          j        |d¬¦  «                             dd¦  «        z  | j	        z  }	|	 
                    d¬¦  «        }	|                      |	¦  «        }	|	|z  }|                     dddd¦  «                             |||¦  «        }|                      |¦  «        }|                      |¦  «        }|S )	NrA   r<   r+   r   r?   r   r@   éþÿÿÿ)r9   r‰   Úreshaperƒ   rQ   ÚunbindÚFÚ	normalizeÚ	transposer&   Úsoftmaxr…   r‹   r†   )
r4   r{   ÚBÚNÚCr‰   ÚqÚkÚvÚattns
             r7   rZ   zCrossCovarianceAttn.forward£   s!  € Ø”'‰ˆˆ1ˆaØ�hŠh�q‰kŒk×!Ò! ! Q¨¨4¬>¸2Ñ>Ô>×FÒFÀqÈ!ÈQÐPQÐSTÑUÔUˆØ—*’*˜Q‘-”-‰ˆˆ1ˆaõ ”˜A 2Ð&Ñ&Ô&­¬°Q¸BÐ)?Ñ)?Ô)?×)IÒ)IÈ"ÈbÑ)QÔ)QÑQÐUYÔUeÑeˆØ�|Š| ˆ|Ñ#Ô#ˆØ�~Š~˜dÑ#Ô#ˆØ�A‰Xˆà�IŠI�a˜˜A˜qÑ!Ô!×)Ò)¨!¨Q°Ñ2Ô2ˆØ�IŠI�a‰LŒLˆØ�NŠN˜1ÑÔˆØˆr8   c                 ó   — dhS )Nr&   © ©r4   s    r7   Úno_weight_decayz#CrossCovarianceAttn.no_weight_decay³   s
   € àˆÐr8   )r‚   Frf   rf   NN)r[   r\   r]   r^   rF   r_   r.   rZ   rC   ÚjitÚignorerž   r`   ra   s   @r7   r�   r�   Ž   s¶   ø€ € € € € ð Ø"Ø!Ø!ØØð/ð /àð/ð ð/ð ð	/ð
 ð/ð ð/ð /ð /ð /ð /ð /ð(ð ð ð  „YÔðð ñ Ôðð ð ð ð r8   r�   c                   óÎ   ‡ — e Zd Zddddddd eej        d¬¦  «        ej        dddddfd	ed
ededede	de	de	dede
ej                 de
ej                 dededefˆ fd„Zd„ Zˆ xZS )ÚSplitTransposeBlockr   r‚   r?   Tr;   re   rf   Nr%   Ú
num_scalesrƒ   rj   Úuse_pos_embri   r„   rk   rl   rm   rn   r…   r†   c           
      óü  •— ||dœ}t          ¦   «                              ¦   «          t          t          t	          j        ||z  ¦  «        ¦  «        t          t	          j        ||z  ¦  «        ¦  «        ¦  «        }|| _        t          d|dz
  ¦  «        | _        g }t          | j        ¦  «        D ]'}| 
                    t          ||fdd|dœ|¤Ž¦  «         Œ(t          j        |¦  «        | _        d | _        |rt!          dd|i|¤Ž| _         |	|fi |¤Ž| _        |dk    r't          j        |t'          j        |fi |¤Žz  ¦  «        nd | _        t-          |f||||dœ|¤Ž| _         |	|fd	d
i|¤Ž| _        t3          |t          ||z  ¦  «        fd|
i|¤Ž| _        |dk    r't          j        |t'          j        |fi |¤Žz  ¦  «        nd | _        |dk    rt9          |¦  «        nt          j        ¦   «         | _        d S )Nr(   r   rA   T)r,   rp   rq   r%   r   )rƒ   r„   r…   r†   rU   r;   rm   rf   rœ   )r-   r.   Úmaxr^   r1   Úceilr=   Úwidthr£   ÚrangeÚappendr   r	   Ú
ModuleListÚconvsÚpos_embdr    Únorm_xcarv   rC   rw   Ú	gamma_xcar�   Úxcart   r   ru   rx   r   ry   rn   )r4   r%   r£   rƒ   rj   r¤   ri   r„   rk   rl   rm   rn   r…   r†   r)   r*   r5   r¨   r¬   Úir6   s                       €r7   r.   zSplitTransposeBlock.__init__¹   sT  ø€ ð$ ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐÝ•C�œ	 #¨
Ñ"2Ñ3Ô3Ñ4Ô4µc½$¼*ÀSÈJÑEVÑ:WÔ:WÑ6XÔ6XÑYÔYˆØˆŒ
Ý˜a ¨a¡Ñ0Ô0ˆŒàˆÝ�t”Ñ'Ô'ð 	kð 	kˆAØ�LŠL� u¨eÐiÀÈdÐYbÐiÐiÐfhÐiÐiÑjÔjÐjÐjÝ”] 5Ñ)Ô)ˆŒ
àˆŒØð 	EÝ5ÐDÐD¸#ÐDÀÐDÐDˆDŒMØ"˜
 3Ð-Ð-¨"Ð-Ð-ˆŒØP]Ð`aÒPaÐPa�œ mµe´jÀÐ6KÐ6KÈÐ6KÐ6KÑ&KÑLÔLÐLÐgkˆŒÝ&Øð
àØØØð
ð 
ð ð
ð 
ˆŒð �J˜sÐ3Ð3¨Ð3°Ð3Ð3ˆŒ	ÝØÝ�˜sÑ"Ñ#Ô#ð
ð 
ð  ð
ð ð	
ð 
ˆŒð MZÐ\]ÒL]ÐL]•R”\ -µ%´*¸SÐ2GÐ2GÀBÐ2GÐ2GÑ"GÑHÔHÐHÐcgˆŒ
Ø09¸B²°� )Ñ,Ô,Ð,ÅBÄKÁMÄMˆŒˆˆr8   c           	      ó&  — |}|                      t          | j        ¦  «        dz   d¬¦  «        }g }|d         }t          | j        ¦  «        D ]6\  }}|dk    r|||         z   } ||¦  «        }|                     |¦  «         Œ7|                     |d         ¦  «         t          j        |d¦  «        }|j        \  }}	}
}|                     ||	|
|z  ¦  «         	                    ddd¦  «        }| j
        �R|  
                    ||
|f¦  «                             |d|j        d         ¦  «         	                    ddd¦  «        }||z   }||                      | j        |                      |                      |¦  «        ¦  «        z  ¦  «        z   }|                     ||
||	¦  «        }|                      |¦  «        }|                      |¦  «        }| j        �
| j        |z  }| 	                    dddd¦  «        }||                      |¦  «        z   }|S )Nr   r@   r   r<   r+   rA   )ÚchunkÚlenr¬   Ú	enumeraterª   rC   rP   r9   rŽ   rQ   r­   rn   r¯   r°   r®   rt   ru   rx   )r4   r{   r|   ÚspxÚspoÚspr±   Úconvr”   r–   ÚHÚWÚpos_encodings                r7   rZ   zSplitTransposeBlock.forwardî   sô  € Øˆð �gŠg•c˜$œ*‘o”o¨Ñ)¨qˆgÑ1Ô1ˆØˆØ�ŒVˆÝ  ¤Ñ,Ô,ð 	ð 	‰GˆAˆtØ�1ŠuˆuØ˜#˜aœ&‘[�Ø��b‘”ˆBØ�JŠJ�r‰NŒNˆNˆNØ�
Š
�3�r”7ÑÔÐÝŒI�c˜1ÑÔˆð ”W‰
ˆˆ1ˆa�Ø�IŠI�a˜˜A ™EÑ"Ô"×*Ò*¨1¨a°Ñ3Ô3ˆØŒ=Ð$ØŸ=š=¨!¨Q°¨Ñ3Ô3×;Ò;¸A¸rÀ1Ä7È1Ä:ÑNÔN×VÒVÐWXÐZ[Ð]^Ñ_Ô_ˆLØ�LÑ ˆAØ�—’˜tœ~°·²¸¿ºÀqÑ9IÔ9IÑ0JÔ0JÑJÑKÔKÑKˆØ�IŠI�a˜˜A˜qÑ!Ô!ˆð �IŠI�a‰LŒLˆØ�HŠH�Q‰KŒKˆØŒ:Ð!Ø”
˜Q‘ˆAØ�IŠI�a˜˜A˜qÑ!Ô!ˆà�t—~’~ aÑ(Ô(Ñ(ˆØˆr8   )r[   r\   r]   r   r	   r}   r~   r^   r_   rF   r   r   r.   rZ   r`   ra   s   @r7   r¢   r¢   ¸   s1  ø€ € € € € ð  ØØ"#Ø $Ø"Ø!Ø#'Ø*1¨'°"´,ÀDÐ*IÑ*IÔ*IØ)+¬Ø!Ø!Ø!ØØð!3Rð 3Ràð3Rð ð3Rð ð	3Rð
  ð3Rð ð3Rð ð3Rð ð3Rð !ð3Rð ˜RœYœð3Rð ˜BœI”ð3Rð ð3Rð ð3Rð ð3Rð 3Rð 3Rð 3Rð 3Rð 3Rðj!ð !ð !ð !ð !ð !ð !r8   r¢   c            $       ó  ‡ — e Zd Zdddddddddddde eej        d	¬
¦  «        ej        ddfdedededededededede	de
de
de	de	deee	                  deej                 deej                 deej                 f"ˆ fd„Zd„ Zˆ xZS )ÚEdgeNeXtStager+   r   r?   rd   FTç      ð?Nr;   re   Úin_chsÚout_chsrh   ÚdepthÚnum_global_blocksrƒ   Úscalesr,   rj   r¤   Údownsample_blockri   rk   Údrop_path_ratesrl   Únorm_layer_clrm   c                 óL  •— ||dœ}t          ¦   «                              ¦   «          d| _        |s|dk    rt          j        ¦   «         | _        n8t          j         ||fi |¤Žt          j        ||fdd|dœ|¤Ž¦  «        | _        |}g }t          |¦  «        D ]x}|||z
  k     r;| 	                    t          d	|||r|dk    r|nd|||	|||         ||dœ
|¤Ž¦  «         n0| 	                    t          d	||||	|
||||         ||dœ
|¤Ž¦  «         |}Œyt          j        |Ž | _        d S )
Nr(   Fr   r+   ©r,   rh   rq   r   )
r%   rg   rh   ri   r,   rj   rk   rn   rl   rm   )
r%   r£   rƒ   rj   r¤   ri   rk   rn   rl   rm   rœ   )r-   r.   Úgrad_checkpointingr	   ry   Ú
downsampleÚ
Sequentialr/   r©   rª   rc   r¢   Úblocks)r4   rÀ   rÁ   rh   rÂ   rÃ   rƒ   rÄ   r,   rj   r¤   rÅ   ri   rk   rÆ   rl   rÇ   rm   r)   r*   r5   Ústage_blocksr±   r6   s                          €r7   r.   zEdgeNeXtStage.__init__  sµ  ø€ ð, ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ"'ˆÔàð 	˜v¨š{˜{Ý œk™mœmˆDŒOˆOå œmØ�
˜6Ð(Ð( RÐ(Ð(Ý”	˜& 'ÐY°qÀÈÐYÐYÐVXÐYÐYñô ˆDŒOð ˆFàˆÝ�u‘”ð !	ð !	ˆAØ�5Ð,Ñ,Ò,Ð,Ø×#Ò#Ýð Ø"Ø 'Ø)9ÐK¸aÀ1ºf¸f˜v˜vÈ!Ø"+Ø$/Ø%1Ø&3Ø"1°!Ô"4Ø#0Ø"+ðð ð ðð ñô ð ð ð  ×#Ò#Ý'ð Ø"Ø#)Ø"+Ø%1Ø$/Ø"+Ø&3Ø"1°!Ô"4Ø#0Ø"+ðð ð ðð ñô ð ð ˆFˆFÝ”m \Ð2ˆŒˆˆr8   c                 óÐ   — |                       |¦  «        }| j        r4t          j                             ¦   «         st          | j        |¦  «        }n|                      |¦  «        }|S ©N)rË   rÊ   rC   rŸ   Úis_scriptingr   rÍ   ©r4   r{   s     r7   rZ   zEdgeNeXtStage.forward[  sZ   € Ø�OŠO˜AÑÔˆØÔ"ð 	­5¬9×+AÒ+AÑ+CÔ+Cð 	Ý˜tœ{¨AÑ.Ô.ˆAˆAà—’˜A‘”ˆAØˆr8   )r[   r\   r]   r   r   r	   r}   r~   r^   r_   rF   r   r   r   r   r.   rZ   r`   ra   s   @r7   r¾   r¾     su  ø€ € € € € ð
 ØØ%&ØØØ Ø"#Ø %Ø%*Ø#Ø#&Ø59Ø*5Ø-4¨W°R´\ÀtÐ-LÑ-LÔ-LØ)+¬ØØð)F3ð F3àðF3ð ðF3ð ð	F3ð
 ðF3ð  #ðF3ð ðF3ð ðF3ð ðF3ð  ðF3ð ðF3ð #ðF3ð ðF3ð !ðF3ð & d¨5¤kÔ2ðF3ð  ˜RœYœð!F3ð"   ¤	œ?ð#F3ð$ ˜BœI”ð%F3ð F3ð F3ð F3ð F3ð F3ðPð ð ð ð ð ð r8   r¾   c            )       óè  ‡ — e Zd Zddddddddd	d
dddddddej        ddddfdedededeedf         deedf         deedf         deedf         deedf         deedf         deedf         de	de	d e	d!ed"ed#ed$ed%e
ej                 d&e	d'e	f(ˆ fd(„Zej        j        d>d)„¦   «         Zej        j        d?d*„¦   «         Zej        j        d+ej        fd,„¦   «         Zd@dedee         fd-„Z	 	 	 	 	 dAd/ej        d0eeeee         f                  d1ed2ed3ed4ed+eeej                 eej        eej                 f         f         fd5„Z	 	 	 dBd0eeee         f         d7ed8efd9„Zd:„ Zd>d;efd<„Zd=„ Zˆ xZS )Cr   rA   éè  Úavg©é   é0   éX   é¨   ©rA   rA   é	   rA   )r   r   r   r   )rA   é   rd   rÜ   )r‚   r‚   r‚   r‚   )r+   r+   rA   r?   )FTFFr;   r¿   r?   FTÚpatchrf   NÚin_chansÚnum_classesÚglobal_poolÚdims.ÚdepthsÚglobal_block_countsÚkernel_sizesÚheadsÚ	d2_scalesr¤   rk   Úhead_init_scalerj   rÅ   ri   Ú	stem_typeÚhead_norm_firstrm   Údrop_path_rateÚ	drop_ratec           
      óx  •— t          ¦   «                              ¦   «          ||dœ}|| _        || _        || _        || _        t          t          d¬¦  «        }t          t          j	        d¬¦  «        }g | _
        |dv sJ ‚|dk    rCt          j        t          j        ||d         fdd|dœ|¤Ž ||d         fi |¤Ž¦  «        | _        nCt          j        t          j        ||d         fd	dd|d
œ|¤Ž ||d         fi |¤Ž¦  «        | _        d}g }t          ||d¬¦  «        }|d         }t          d¦  «        D ]Å}|dk    s|dk    rdnd}||z  }|                     t#          d&i d|“d||         “d|“d||         “d||         “d||         “d||         “d|	|         “d|“d||         “d|
|         “d|“d|“d|“d|“d|“d|“|¤Ž¦  «         ||         }| xj
        t%          ||d |› �¬!¦  «        gz  c_
        ŒÆt          j        |Ž | _        |d"         x| _        | _        |r4 || j        fi |¤Ž| _        t/          | j        |f|| j        d#œ|¤Ž| _        n9t          j        ¦   «         | _        t5          | j        |f|| j        |d$œ|¤Ž| _        t7          t          t8          |¬%¦  «        | ¦  «         d S )'Nr(   r;   re   )rÞ   ÚoverlaprÞ   r   r?   rÉ   rÜ   )r,   rh   Úpaddingrq   T)Ú	stagewiser+   r   rÀ   rÁ   rh   rÂ   rÃ   rƒ   rÆ   rÄ   rj   r,   r¤   rk   rÅ   ri   rl   rÇ   rm   zstages.)Únum_chsÚ	reductionÚmoduler<   )Ú	pool_typerì   )rô   rì   rl   )rè   rœ   )r-   r.   rà   rß   rá   rì   r   r   r	   r}   Úfeature_inforÌ   r/   Ústemr   r©   rª   r¾   ÚdictÚstagesÚnum_featuresÚhead_hidden_sizeÚnorm_prer   Úheadry   r   r   Ú_init_weights)!r4   rß   rà   rá   râ   rã   rä   rå   ræ   rç   r¤   rk   rè   rj   rÅ   ri   ré   rê   rm   rë   rì   r)   r*   r5   rl   rÇ   Úcurr_striderø   Údp_ratesrÀ   r±   rh   r6   s!                                   €r7   r.   zEdgeNeXt.__init__e  sæ  ø€ õ2 	‰Œ×ÒÑÔÐØ¨Ð/Ð/ˆØ&ˆÔØ ˆŒØ&ˆÔØ"ˆŒÝ�[¨dÐ3Ñ3Ô3ˆ
Ý¥¤°$Ð7Ñ7Ô7ˆØˆÔàÐ0Ð0Ð0Ð0Ð0Ø˜ÒÐÝœÝ”	˜( D¨¤GÐ\¸À1È9Ð\Ð\ÐXZÐ\Ð\Ø�
˜4 œ7Ð)Ð) bÐ)Ð)ñô ˆDŒIˆIõ
 œÝ”	˜( D¨¤GÐk¸À1ÈfÐ[dÐkÐkÐhjÐkÐkØ�
˜4 œ7Ð)Ð) bÐ)Ð)ñô ˆDŒIð
 ˆØˆÝ,¨^¸VÈtÐTÑTÔTˆØ�a”ˆÝ�q‘”ð 	eð 	eˆAØ%¨Ò*Ð*¨a°!ªe¨e�Q�Q¸ˆFà˜6Ñ!ˆKØ�MŠM�-ð ð ð Ø�vðà˜Qœ˜ðð �vðð ˜Q”i�ið	ð
 #6°aÔ"8Ð"8ðð   œ(˜(ðð !)¨¤ ðð ! ”|�|ðð *˜\ðð )¨œO˜Oðð (¨œN˜Nðð ,˜mðð "2Ð!1ðð $˜)ðð &˜:ðð  ,˜mð!ð" $˜)Øð%ð ñ ô ð ð* ˜!”WˆFØÐÔ¥$¨vÀÐUbÐ_`ÐUbÐUbÐ"cÑ"cÔ"cÐ!dÑdÐÔÐå”m VÐ,ˆŒà48¸´HÐ<ˆÔ˜DÔ1Øð 	Ø&˜J tÔ'8Ð?Ð?¸BÐ?Ð?ˆDŒMÝ&ØÔ!Øðð &Øœ.ð	ð ð
 ðð ˆDŒIˆIõ œK™MœMˆDŒMÝ-ØÔ!Øðð &Øœ.Ø%ðð ð ðð ˆDŒIõ 	•G�M¸?ÐKÑKÔKÈTÑRÔRÐRÐRÐRr8   c                 ó0   — t          d|rdng d¢¬¦  «        S )Nz^stemz^stages\.(\d+)))z^stages\.(\d+)\.downsample)r   )z^stages\.(\d+)\.blocks\.(\d+)N)z	^norm_pre)iŸ† )rö   rÍ   )r÷   )r4   Úcoarses     r7   Úgroup_matcherzEdgeNeXt.group_matcherÍ  s9   € åØØ(.ð Ð$Ð$ð 5ð 5ð 5ð
ñ 
ô 
ð 	
r8   c                 ó(   — | j         D ]	}||_        Œ
d S rÐ   )rø   rÊ   )r4   ÚenableÚss      r7   Úset_grad_checkpointingzEdgeNeXt.set_grad_checkpointingØ  s(   € à”ð 	*ð 	*ˆAØ#)ˆAÔ Ð ð	*ð 	*r8   Úreturnc                 ó   — | j         j        S rÐ   )rü   Úfcr�   s    r7   Úget_classifierzEdgeNeXt.get_classifierÝ  s   € àŒyŒ|Ðr8   c                 óZ   — t          | ¦  «        }|| _         | j        j        ||fi |¤Ž d S rÐ   )r   rà   rü   Úreset)r4   rà   rá   r5   s       r7   Úreset_classifierzEdgeNeXt.reset_classifierá  s;   € Ý˜dÑ#Ô#ˆØ&ˆÔØˆŒ	Œ˜ [Ð7Ð7°BÐ7Ð7Ð7Ð7Ð7r8   ÚNCHWr{   Úindicesrt   Ú
stop_earlyÚ
output_fmtÚintermediates_onlyc                 ó0  — |dv s
J d¦   «         ‚g }t          t          | j        ¦  «        |¦  «        \  }}	|                      |¦  «        }t          | j        ¦  «        dz
  }
t          j                             ¦   «         s|s| j        }n| j        d|	dz   …         }t          |¦  «        D ]I\  }} ||¦  «        }||v r5|r||
k    r|                      |¦  «        }n|}| 	                    |¦  «         ŒJ|r|S ||
k    r|                      |¦  «        }||fS )aï   Forward features that returns intermediates.

        Args:
            x: Input image tensor
            indices: Take last n blocks if int, all if None, select matching indices if sequence
            norm: Apply norm layer to compatible intermediates
            stop_early: Stop iterating over blocks when last desired intermediate hit
            output_fmt: Shape of intermediate feature outputs
            intermediates_only: Only return intermediate features
        Returns:

        )r  zOutput shape must be NCHW.r   N)
r   r´   rø   rö   rC   rŸ   rÑ   rµ   rû   rª   )r4   r{   r  rt   r  r  r  ÚintermediatesÚtake_indicesÚ	max_indexÚlast_idxrø   Úfeat_idxÚstageÚx_inters                  r7   Úforward_intermediateszEdgeNeXt.forward_intermediatesæ  sG  € ð* ˜YÐ&Ð&Ð&Ð(DÑ&Ô&Ð&ØˆÝ"6µs¸4¼;Ñ7GÔ7GÈÑ"QÔ"QÑˆ�ið �IŠI�a‰LŒLˆÝ�t”{Ñ#Ô# aÑ'ˆÝŒ9×!Ò!Ñ#Ô#ð 	1¨:ð 	1Ø”[ˆFˆFà”[  )¨a¡- Ô0ˆFå(¨Ñ0Ô0ð 	.ð 	.‰OˆH�eØ��a‘”ˆAØ˜<Ð'Ð'Øð  ˜H¨Ò0Ð0Ø"Ÿmšm¨AÑ.Ô.�G�Gà�GØ×$Ò$ WÑ-Ô-Ð-øàð 	!Ø Ð à�xÒÐØ—’˜aÑ Ô ˆAà�-ÐÐr8   r   Ú
prune_normÚ
prune_headc                 óâ   — t          t          | j        ¦  «        |¦  «        \  }}| j        d|dz   …         | _        |rt          j        ¦   «         | _        |r|                      dd¦  «         |S )z@ Prune layers not required for specified intermediates.
        Nr   r   Ú )r   r´   rø   r	   ry   rû   r  )r4   r  r  r  r  r  s         r7   Úprune_intermediate_layersz"EdgeNeXt.prune_intermediate_layers  sq   € õ #7µs¸4¼;Ñ7GÔ7GÈÑ"QÔ"QÑˆ�iØ”k . 9¨q¡= .Ô1ˆŒØð 	*ÝœK™MœMˆDŒMØð 	)Ø×!Ò! ! RÑ(Ô(Ð(ØÐr8   c                 ó„   — |                       |¦  «        }|                      |¦  «        }|                      |¦  «        }|S rÐ   )rö   rø   rû   rÒ   s     r7   Úforward_featureszEdgeNeXt.forward_features(  s6   € Ø�IŠI�a‰LŒLˆØ�KŠK˜‰NŒNˆØ�MŠM˜!ÑÔˆØˆr8   Ú
pre_logitsc                 ó^   — |r|                       |d¬¦  «        n|                       |¦  «        S )NT)r#  )rü   )r4   r{   r#  s      r7   Úforward_headzEdgeNeXt.forward_head.  s,   € Ø0:ÐLˆt�yŠy˜ tˆyÑ,Ô,Ð,ÀÇ	Â	È!ÁÄÐLr8   c                 óZ   — |                       |¦  «        }|                      |¦  «        }|S rÐ   )r"  r%  rÒ   s     r7   rZ   zEdgeNeXt.forward1  s-   € Ø×!Ò! !Ñ$Ô$ˆØ×Ò˜aÑ Ô ˆØˆr8   ©F)TrÐ   )NFFr  F)r   FT)r[   r\   r]   r	   r~   r^   Ústrr   rF   r_   r   r   r.   rC   rŸ   r    r  r  r
  r   r  ÚTensorr   r   r  r   r"  r%  rZ   r`   ra   s   @r7   r   r   d  s¢  ø€ € € € € ð Ø#Ø$Ø$5Ø&2Ø3?Ø,8Ø%1Ø)5Ø,GØ#'Ø%'Ø"#Ø%*Ø"Ø$Ø$)Ø)+¬Ø$&Ø!ØØð/fSð fSàðfSð ðfSð ð	fSð
 ˜˜S˜”/ðfSð ˜#˜s˜(”OðfSð "' s¨C x¤ðfSð    S œ/ðfSð ˜˜c˜”?ðfSð ˜S #˜X”ðfSð ˜t S˜yÔ)ðfSð !ðfSð #ðfSð  ðfSð #ðfSð  ð!fSð" ð#fSð$ "ð%fSð& ˜BœI”ð'fSð( "ð)fSð* ð+fSð fSð fSð fSð fSð fSðP „YÔð
ð 
ð 
ñ Ôð
ð „YÔð*ð *ð *ñ Ôð*ð „YÔð ¤	ð ð ð ñ Ôðð8ð 8¨Cð 8¸hÀs¼mð 8ð 8ð 8ð 8ð 8<ØØ$Ø$Ø',ð0 ð 0 àŒ|ð0 ð ˜e C¨¨c¬ NÔ3Ô4ð0 ð ð	0 ð
 ð0 ð ð0 ð !%ð0 ð 
ˆt�E”LÔ! 5¨¬°t¸E¼LÔ7IÐ)IÔ#JÐJÔ	Kð0 ð 0 ð 0 ð 0 ðh ./Ø$Ø#ð	ð à˜3  S¤	˜>Ô*ðð ðð ð	ð ð ð ð ð ð ðMð M¨$ð Mð Mð Mð Mðð ð ð ð ð ð r8   r¿   c                 ó   — t          | t          j        ¦  «        rEt          | j        d¬¦  «         | j        �&t          j                             | j        ¦  «         d S d S t          | t          j        ¦  «        r€t          | j        d¬¦  «         t          j                             | j        ¦  «         |rFd|v rD| j        j	         
                    |¦  «         | j        j	         
                    |¦  «         d S d S d S d S )Ng{®Gáz”?)Ústdúhead.)Ú
isinstancer	   r/   r   rB   rq   ÚinitÚzeros_rˆ   ÚdataÚmul_)ró   Únamerè   s      r7   rý   rý   7  sö   € Ý�&�"œ)Ñ$Ô$ð 	3Ý˜œ¨CÐ0Ñ0Ô0Ð0ØŒ;Ð"ÝŒG�NŠN˜6œ;Ñ'Ô'Ð'Ð'Ð'ð #Ð"å	�F�BœIÑ	&Ô	&ð 3Ý˜œ¨CÐ0Ñ0Ô0Ð0Ý
Œ�Š�v”{Ñ#Ô#Ð#Øð 	3�G˜t�O�OØŒMÔ×#Ò# OÑ4Ô4Ð4ØŒKÔ×!Ò! /Ñ2Ô2Ð2Ð2Ð2ð3ð 3ð	3ð 	3�O�Or8   c                 ó˜  — d| v sd| v r| S d| v r	| d         } nd| v r	| d         } nd| v r| d         } i }ddl }|                      ¦   «         D ]þ\  }}|                     dd	¦  «        }|                     d
d|¦  «        }|                     dd|¦  «        }|                     dd¦  «        }|                     dd¦  «        }|                     dd¦  «        }|                     d¦  «        r|                     dd¦  «        }|j        dk    r8d|vr4|                     ¦   «         |         j        }|                     |¦  «        }|||<   Œÿ|S )z Remap FB checkpoints -> timm zhead.norm.weightznorm_pre.weightÚ	model_emaÚmodelÚ
state_dictr   Nzdownsample_layers.0.zstem.zstages.([0-9]+).([0-9]+)zstages.\1.blocks.\2z#downsample_layers.([0-9]+).([0-9]+)zstages.\1.downsample.\2Údwconvrs   Úpwconvzmlp.fcr,  zhead.fc.znorm.rt   z	head.normr+   rü   )	ÚreÚitemsÚreplaceÚsubÚ
startswithÚndimr6  r9   rŽ   )r6  r5  Úout_dictr9  r˜   r™   Úmodel_shapes          r7   Úcheckpoint_filter_fnrA  D  s€  € à˜ZÐ'Ð'Ð+<À
Ð+JÐ+JØÐð �jÐ Ð Ø Ô,ˆ
ˆ
Ø	�JÐ	Ð	Ø Ô(ˆ
ˆ
Ø	˜Ð	#Ð	#Ø Ô-ˆ
à€HØ€I€I€IØ× Ò Ñ"Ô"ð ð ‰ˆˆ1Ø�IŠIÐ,¨gÑ6Ô6ˆØ�FŠFÐ.Ð0FÈÑJÔJˆØ�FŠFÐ9Ð;UÐWXÑYÔYˆØ�IŠI�h 	Ñ*Ô*ˆØ�IŠI�h Ñ)Ô)ˆØ�IŠI�g˜zÑ*Ô*ˆØ�<Š<˜Ñ Ô ð 	/Ø—	’	˜& +Ñ.Ô.ˆAØŒ6�QŠ;ˆ;˜6¨˜?˜?Ø×*Ò*Ñ,Ô,¨QÔ/Ô5ˆKØ—	’	˜+Ñ&Ô&ˆAØˆ�‰ˆØ€Or8   Fc                 ó\   — t          t          | |ft          t          dd¬¦  «        dœ|¤Ž}|S )N)r   r   r+   rA   T)Úout_indicesÚflatten_sequential)Úpretrained_filter_fnÚfeature_cfg)r   r   rA  r÷   )ÚvariantÚ
pretrainedÚkwargsr5  s       r7   Ú_create_edgenextrJ  c  sF   € Ý Ý�'˜:ðå1Ý \ÀdÐKÑKÔKðð ð ð	ð €Eð
 €Lr8   r  c                 ó6   — | dddddt           t          dddd	œ|¥S )
NrÔ   )rA   é   rL  )r‚   r‚   gÍÌÌÌÌÌì?Úbicubiczstem.0zhead.fcÚmit)Úurlrà   Ú
input_sizeÚ	pool_sizeÚcrop_pctÚinterpolationÚmeanr+  Ú
first_convÚ
classifierÚlicenser
   )rO  rI  s     r7   Ú_cfgrX  l  s8   € àØ¨=ÀvØ¨)Ý%Õ.BØ¨iØðð ð ðð r8   ztimm/)rA   é   rY  )Ú	hf_hub_idÚtest_input_sizeÚtest_crop_pctgffffffî?)rA   é@  r]  )rZ  rR  r[  r\  )zedgenext_xx_small.in1kzedgenext_x_small.in1kzedgenext_small.usi_in1kzedgenext_base.usi_in1kzedgenext_base.in21k_ft_in1kzedgenext_small_rw.sw_in1kr  c           	      óX   — t          ddd¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )N)r+   r+   é   r+   rÖ   ©r?   r?   r?   r?   ©rã   râ   ræ   Úedgenext_xx_smallrH  )rb  ©r÷   rJ  ©rH  rI  Ú
model_argss      r7   rb  rb  ’  sC   € õ ˜\Ð0AÈÐVÑVÔV€JÝÐeÐe¸JÐeÍ$ÈzÐJdÐJdÐ]cÐJdÐJdÐeÐeÐer8   c           	      óX   — t          ddd¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )NrÛ   )r!   é@   éd   éÀ   r`  ra  Úedgenext_x_smallrH  )rj  rc  rd  s      r7   rj  rj  �  sC   € õ ˜\Ð0BÈ,ÐWÑWÔW€JÝÐdÐd¸:ÐdÍÈjÐIcÐIcÐ\bÐIcÐIcÐdÐdÐdr8   c           	      óV   — t          dd¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )NrÛ   )rØ   é`   é    i0  ©rã   râ   Úedgenext_smallrH  )ro  rc  rd  s      r7   ro  ro  ¨  sA   € õ ˜\Ð0BÐCÑCÔC€JÝÐbÐb¸ÐbÅtÈJÐGaÐGaÐZ`ÐGaÐGaÐbÐbÐbr8   c           	      ó^   — t          g d¢g d¢¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )NrÛ   )éP   rm  rY  iH  rn  Úedgenext_baserH  )rr  rc  rd  s      r7   rr  rr  ³  sK   € õ ˜\˜\˜\Ð0CÐ0CÐ0CÐDÑDÔD€JÝÐaÐa¸
ÐaÅdÈ:ÐF`ÐF`ÐY_ÐF`ÐF`ÐaÐaÐar8   c           	      ó\   — t          ddddd¬¦  «        }t          d	d| it          |fi |¤Ž¤ŽS )
NrÛ   )rØ   rl  ri  i€  TFrî   )rã   râ   rÅ   ri   ré   Úedgenext_small_rwrH  )rt  rc  rd  s      r7   rt  rt  ¾  sR   € åØÐ"4Ø¨¸)ðEñ Eô E€Jõ ÐeÐe¸JÐeÍ$ÈzÐJdÐJdÐ]cÐJdÐJdÐeÐeÐer8   )Nr¿   r'  )r  ):Ú__doc__r1   Ú	functoolsr   Útypingr   r   r   r   r   rC   Útorch.nn.functionalr	   Ú
functionalr�   Ú	timm.datar   r   Útimm.layersr   r   r   r   r   r   r   r   r   Ú_builderr   Ú	_featuresr   Ú_features_fxr   Ú_manipulater   r   Ú	_registryr   r   Ú__all__r   r    rc   r�   r¢   r¾   r   rý   rA  rJ  rX  Údefault_cfgsrb  rj  ro  rr  rt  rœ   r8   r7   ú<module>rƒ     sÛ  ððð ð €€€Ø Ð Ð Ð Ð Ð Ø 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5Ð 5à €€€Ø Ð Ð Ð Ð Ð Ð Ð Ð Ø Ð Ð Ð Ð Ð à AÐ AÐ AÐ AÐ AÐ AÐ AÐ Að
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð +Ð *Ð *Ð *Ð *Ð *Ø +Ð +Ð +Ð +Ð +Ð +Ø 1Ð 1Ð 1Ð 1Ð 1Ð 1Ø 4Ð 4Ð 4Ð 4Ð 4Ð 4Ð 4Ð 4Ø <Ð <Ð <Ð <Ð <Ð <Ð <Ð <àˆ,€ð ð)ð )ð )ð )ð ) ¤	ñ )ô )ñ Ôð)ðX6ð 6ð 6ð 6ð 6�”	ñ 6ô 6ð 6ðr'ð 'ð 'ð 'ð '˜"œ)ñ 'ô 'ð 'ðTWð Wð Wð Wð W˜"œ)ñ Wô Wð WðtOð Oð Oð Oð O�B”Iñ Oô Oð OðdPð Pð Pð Pð PˆrŒyñ Pô Pð Pðf
3ð 
3ð 
3ð 
3ðð ð ð>ð ð ð ð	ð 	ð 	ð 	ð %Ð$Ø"˜dØØ%°Sð:ñ :ô :ð "˜TØØ%°Sð:ñ :ô :ð  $˜tØØ }ÀCð ñ  ô  ð #˜dØØ }ÀCðñ ô ð $( 4ØØ }ÀCð$ñ $ô $ð "& ØØ%°Sð"ñ "ô "ð'&ð &ñ ô €ð4 ðfð f°Xð fð fð fñ „ðfð ðeð e°Hð eð eð eñ „ðeð ðcð c°(ð cð cð cñ „ðcð ðbð b°ð bð bð bñ „ðbð ðfð f°Xð fð fð fñ „ðfð fð fr8   