§
    ·¯¸j|\  ã            
       óF  — d Z ddlZddlmZ ddlmZmZmZmZm	Z	m
Z
 ddlZddlmZ ddlmc mZ ddlmZmZ ddlmZmZmZmZmZmZmZ ddlmZ dd	lmZ dd
l m!Z! ddl"m#Z#m$Z$ ddl%m&Z& dgZ'ee(e(f         Z)e! G d„ dej*        ¦  «        ¦   «         Z+ G d„ dej*        ¦  «        Z, G d„ dej*        ¦  «        Z- G d„ dej*        ¦  «        Z. G d„ dej*        ¦  «        Z/ G d„ dej*        ¦  «        Z0d'd„Z1d(d„Z2 e$ e2d¬¦  «         e2d¬¦  «         e2d¬¦  «         e2d¬¦  «         e2d¬¦  «         e2d¬¦  «        dœ¦  «        Z3e#d'd e0fd!„¦   «         Z4e#d'd e0fd"„¦   «         Z5e#d'd e0fd#„¦   «         Z6e#d'd e0fd$„¦   «         Z7e#d'd e0fd%„¦   «         Z8e#d'd e0fd&„¦   «         Z9dS ))zô Twins
A PyTorch impl of : `Twins: Revisiting the Design of Spatial Attention in Vision Transformers`
    - https://arxiv.org/pdf/2104.13840.pdf

Code/weights from https://github.com/Meituan-AutoML/Twins, original copyright/license info below

é    N)Úpartial)ÚListÚOptionalÚTupleÚUnionÚTypeÚAny©ÚIMAGENET_DEFAULT_MEANÚIMAGENET_DEFAULT_STD)ÚMlpÚDropPathÚ	to_2tupleÚtrunc_normal_Úuse_fused_attnÚcalculate_drop_path_ratesÚget_device_dtypeé   )Úbuild_model_with_cfg)Úfeature_take_indices)Úregister_notrace_module)Úregister_modelÚgenerate_default_cfgs)Ú	AttentionÚTwinsc                   ó~   ‡ — e Zd ZU dZej        j        e         ed<   	 	 	 	 	 	 dde	de	d	e
d
e
de	f
ˆ fd„Zdefd„Zˆ xZS )ÚLocallyGroupedAttnz( LSA: self attention within a group
    Ú
fused_attné   ç        r   NÚdimÚ	num_headsÚ	attn_dropÚ	proj_dropÚwsc                 óÒ  •— ||dœ}|dk    sJ ‚t          ¦   «                              ¦   «          ||z  dk    sJ d|› d|› d�¦   «         ‚|| _        || _        ||z  }	|	dz  | _        t          ¦   «         | _        t          j        ||dz  fd	d
i|¤Ž| _	        t          j
        |¦  «        | _        t          j        ||fi |¤Ž| _        t          j
        |¦  «        | _        || _        d S )N©ÚdeviceÚdtyper   r   údim ú  should be divided by num_heads ú.ç      à¿é   ÚbiasT)ÚsuperÚ__init__r!   r"   Úscaler   r   ÚnnÚLinearÚqkvÚDropoutr#   Úprojr$   r%   )Úselfr!   r"   r#   r$   r%   r(   r)   ÚddÚhead_dimÚ	__class__s             €úa/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/timm/models/twins.pyr1   zLocallyGroupedAttn.__init__)   s  ø€ ð ¨Ð/Ð/ˆØ�QŠwˆwˆwˆwÝ‰Œ×ÒÑÔÐØ�Y‰ !Ò#Ð#Ð#Ð%]¨CÐ%]Ð%]ÐQZÐ%]Ð%]Ð%]Ñ#Ô#Ð#àˆŒØ"ˆŒØ˜)Ñ#ˆØ Ñ%ˆŒ
Ý(Ñ*Ô*ˆŒå”9˜S #¨¡'Ð;Ð;°Ð;¸Ð;Ð;ˆŒÝœ IÑ.Ô.ˆŒÝ”I˜c 3Ð-Ð-¨"Ð-Ð-ˆŒ	Ýœ IÑ.Ô.ˆŒØˆŒˆˆó    Úsizec           	      ó|  — |j         \  }}}|\  }}|                     ||||¦  «        }dx}}	| j        || j        z  z
  | j        z  }
| j        || j        z  z
  | j        z  }t          j        |dd||
|	|f¦  «        }|j         \  }}}}|| j        z  || j        z  }}|                     ||| j        || j        |¦  «                             dd¦  «        }|                      |¦  «                             |||z  | j        | j        z  d| j        || j        z  ¦  «         	                    dddddd¦  «        }| 
                    d¦  «        \  }}}| j        r,t          j        |||| j        r| j        j        nd¬¦  «        }nS|| j        z  }||                     d	d
¦  «        z  }|                     d
¬¦  «        }|                      |¦  «        }||z  }|                     dd¦  «                             |||| j        | j        |¦  «        }|                     dd¦  «                             ||| j        z  || j        z  |¦  «        }|
dk    s|dk    r&|d d …d |…d |…d d …f                              ¦   «         }|                     |||¦  «        }|                      |¦  «        }|                      |¦  «        }|S )Nr   é   r.   r   é   é   r    ©Ú	dropout_péþÿÿÿéÿÿÿÿ©r!   )ÚshapeÚviewr%   ÚFÚpadÚreshapeÚ	transposer5   r"   ÚpermuteÚunbindr   Úscaled_dot_product_attentionÚtrainingr#   Úpr2   ÚsoftmaxÚ
contiguousr7   r$   )r8   Úxr>   ÚBÚNÚCÚHÚWÚpad_lÚpad_tÚpad_rÚpad_bÚ_ÚHpÚWpÚ_hÚ_wr5   ÚqÚkÚvÚattns                         r<   ÚforwardzLocallyGroupedAttn.forwardD   sÂ  € ð ”'‰ˆˆ1ˆaØ‰ˆˆ1Ø�FŠF�1�a˜˜AÑÔˆØÐˆ�Ø”˜1˜tœw™;Ñ&¨$¬'Ñ1ˆØ”˜1˜tœw™;Ñ&¨$¬'Ñ1ˆÝŒE�!�a˜˜E 5¨%°Ð7Ñ8Ô8ˆØ”w‰ˆˆ2ˆr�1Ø�t”w‘  d¤g¡ˆBˆØ�IŠI�a˜˜TœW b¨$¬'°1Ñ5Ô5×?Ò?ÀÀ1ÑEÔEˆØ�hŠh�q‰kŒk×!Ò!Øˆr�B‰w˜œ $¤'Ñ)¨1¨d¬n¸aÀ4Ä>Ñ>QñSô SßSZÒSZÐ[\Ð^_ÐabÐdeÐghÐjkÑSlÔSlð 	à—*’*˜Q‘-”-‰ˆˆ1ˆaàŒ?ð 
	ÝÔ.Ø�1�aØ.2¬mÐC˜$œ.Ô*Ð*Àðñ ô ˆAˆAð
 �D”J‘ˆAØ�q—{’{ 2 rÑ*Ô*Ñ*ˆDØ—<’< B�<Ñ'Ô'ˆDØ—>’> $Ñ'Ô'ˆDØ�q‘ˆAà�KŠK˜˜1ÑÔ×%Ò% a¨¨R°´¸$¼'À1ÑEÔEˆØ�KŠK˜˜1ÑÔ×%Ò% a¨¨d¬g©°r¸D¼G±|ÀQÑGÔGˆØ�1Š9ˆ9˜ š	˜	Ø�!�!�!�R�a�R˜˜!˜˜Q˜Q˜Q�,”×*Ò*Ñ,Ô,ˆAØ�IŠI�a˜˜AÑÔˆØ�IŠI�a‰LŒLˆØ�NŠN˜1ÑÔˆØˆr=   ©r   r    r    r   NN©Ú__name__Ú
__module__Ú__qualname__Ú__doc__ÚtorchÚjitÚFinalÚboolÚ__annotations__ÚintÚfloatr1   ÚSize_rh   Ú__classcell__©r;   s   @r<   r   r   #   sÂ   ø€ € € € € € ðð à”	” Ô%Ð%Ð%Ñ%ð
 Ø!Ø!ØØØðð àðð ðð ð	ð
 ðð ðð ð ð ð ð ð6%˜uð %ð %ð %ð %ð %ð %ð %ð %r=   r   c                   ó~   ‡ — e Zd ZU dZej        j        e         ed<   	 	 	 	 	 	 dde	de	d	e
d
e
de	f
ˆ fd„Zdefd„Zˆ xZS )ÚGlobalSubSampleAttnzQ GSA: using a  key to summarize the information for a group to be efficient.
    r   r   r    r   Nr!   r"   r#   r$   Úsr_ratioc                 ó†  •— ||dœ}t          ¦   «                              ¦   «          ||z  dk    sJ d|› d|› d�¦   «         ‚|| _        || _        ||z  }	|	dz  | _        t          ¦   «         | _        t          j        ||fddi|¤Ž| _	        t          j        ||d	z  fddi|¤Ž| _
        t          j        |¦  «        | _        t          j        ||fi |¤Ž| _        t          j        |¦  «        | _        || _        |d
k    r4t          j        ||f||dœ|¤Ž| _        t          j        |fi |¤Ž| _        d S d | _        d | _        d S )Nr'   r   r*   r+   r,   r-   r/   Tr@   r   ©Úkernel_sizeÚstride)r0   r1   r!   r"   r2   r   r   r3   r4   rd   Úkvr6   r#   r7   r$   r{   ÚConv2dÚsrÚ	LayerNormÚnorm)r8   r!   r"   r#   r$   r{   r(   r)   r9   r:   r;   s             €r<   r1   zGlobalSubSampleAttn.__init__”   sn  ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ�Y‰ !Ò#Ð#Ð#Ð%]¨CÐ%]Ð%]ÐQZÐ%]Ð%]Ð%]Ñ#Ô#Ð#àˆŒØ"ˆŒØ˜)Ñ#ˆØ Ñ%ˆŒ
Ý(Ñ*Ô*ˆŒå”˜3 Ð5Ð5¨$Ð5°"Ð5Ð5ˆŒÝ”)˜C  q¡Ð:Ð:¨tÐ:°rÐ:Ð:ˆŒÝœ IÑ.Ô.ˆŒÝ”I˜c 3Ð-Ð-¨"Ð-Ð-ˆŒ	Ýœ IÑ.Ô.ˆŒà ˆŒØ�aŠ<ˆ<Ý”i  SÐV°hÀxÐVÐVÐSUÐVÐVˆDŒGÝœ SÐ/Ð/¨BÐ/Ð/ˆDŒIˆIˆIàˆDŒGØˆDŒIˆIˆIr=   r>   c                 ó\  — |j         \  }}}|                      |¦  «                             ||| j        || j        z  ¦  «                             dddd¦  «        }| j        �x |                     ddd¦  «        j        ||g|¢R Ž }|                      |¦  «                             ||d¦  «                             ddd¦  «        }|                      |¦  «        }|                      |¦  «                             |dd| j        || j        z  ¦  «                             ddddd¦  «        }|                     d¦  «        \  }}	| j	        r<t          j        j                             |||	| j        r| j        j        nd¬¦  «        }nS|| j        z  }||                     d	d¦  «        z  }
|
                     d¬
¦  «        }
|                      |
¦  «        }
|
|	z  }|                     dd¦  «                             |||¦  «        }|                      |¦  «        }|                      |¦  «        }|S )Nr   r@   r   r.   rF   rA   r    rC   rE   rG   )rH   rd   rL   r"   rN   r‚   r„   r€   rO   r   ro   r3   Ú
functionalrP   rQ   r#   rR   r2   rM   rS   r7   r$   )r8   rU   r>   rV   rW   rX   rd   r€   re   rf   rg   s              r<   rh   zGlobalSubSampleAttn.forward¶   s  € Ø”'‰ˆˆ1ˆaØ�FŠF�1‰IŒI×Ò˜a  D¤N°A¸¼Ñ4GÑHÔH×PÒPÐQRÐTUÐWXÐZ[Ñ\Ô\ˆàŒ7ÐØ*�—	’	˜!˜Q Ñ"Ô"Ô*¨1¨aÐ7°$Ð7Ð7Ð7ˆAØ—’˜‘
”
×"Ò" 1 a¨Ñ,Ô,×4Ò4°Q¸¸1Ñ=Ô=ˆAØ—	’	˜!‘”ˆAØ�WŠW�Q‰ZŒZ×Ò  2 q¨$¬.¸!¸t¼~Ñ:MÑNÔN×VÒVÐWXÐZ[Ð]^Ð`aÐcdÑeÔeˆØ�yŠy˜‰|Œ|‰ˆˆ1àŒ?ð 
	Ý”Ô#×@Ò@Ø�1�aØ.2¬mÐC˜$œ.Ô*Ð*Àð Añ ô ˆAˆAð
 �D”J‘ˆAØ�q—{’{ 2 rÑ*Ô*Ñ*ˆDØ—<’< B�<Ñ'Ô'ˆDØ—>’> $Ñ'Ô'ˆDØ�q‘ˆAà�KŠK˜˜1ÑÔ×%Ò% a¨¨AÑ.Ô.ˆØ�IŠI�a‰LŒLˆØ�NŠN˜1ÑÔˆàˆr=   ri   rj   rx   s   @r<   rz   rz   �   sÃ   ø€ € € € € € ðð à”	” Ô%Ð%Ð%Ñ%ð
 Ø!Ø!ØØØð ð  àð ð ð ð ð	 ð
 ð ð ð ð  ð  ð  ð  ð  ðD˜uð ð ð ð ð ð ð ð r=   rz   c                   ó¶   ‡ — e Zd Zddddej        ej        ddddf
dedededed	ed
edeej	                 deej	                 dede
e         fˆ fd„Zdefd„Zˆ xZS )ÚBlockg      @r    r   Nr!   r"   Ú	mlp_ratior$   r#   Ú	drop_pathÚ	act_layerÚ
norm_layerr{   r%   c                 ó$  •— t          ¦   «                              ¦   «          ||dœ} ||fi |¤Ž| _        |
€t          ||dd ||fi |¤Ž| _        n3|
dk    rt          |||||	fi |¤Ž| _        nt          |||||
fi |¤Ž| _        |dk    rt          |¦  «        nt          j	        ¦   «         | _
         ||fi |¤Ž| _        t          d|t          ||z  ¦  «        ||dœ|¤Ž| _        |dk    rt          |¦  «        nt          j	        ¦   «         | _        d S )Nr'   Fr   r    )Úin_featuresÚhidden_featuresr‹   Údrop© )r0   r1   Únorm1r   rg   rz   r   r   r3   ÚIdentityÚ
drop_path1Únorm2r   rt   ÚmlpÚ
drop_path2)r8   r!   r"   r‰   r$   r#   rŠ   r‹   rŒ   r{   r%   r(   r)   r9   r;   s                 €r<   r1   zBlock.__init__Ö   sW  ø€ õ 	‰Œ×ÒÑÔÐØ¨Ð/Ð/ˆØ�Z Ð*Ð* rÐ*Ð*ˆŒ
Øˆ:Ý! # y°%¸¸yÈ)ÐZÐZÐWYÐZÐZˆDŒIˆIØ�1ŠWˆWÝ+¨C°¸IÀyÐRZÐaÐaÐ^`ÐaÐaˆDŒIˆIå*¨3°	¸9ÀiÐQSÐZÐZÐWYÐZÐZˆDŒIØ1:¸R²°�( 9Ñ-Ô-Ð-ÅRÄ[Á]Ä]ˆŒà�Z Ð*Ð* rÐ*Ð*ˆŒ
Ýð 
ØÝ  i¡Ñ0Ô0ØØð	
ð 
ð
 ð
ð 
ˆŒð 2;¸R²°�( 9Ñ-Ô-Ð-ÅRÄ[Á]Ä]ˆŒˆˆr=   r>   c                 ó   — ||                       |                      |                      |¦  «        |¦  «        ¦  «        z   }||                      |                      |                      |¦  «        ¦  «        ¦  «        z   }|S ©N)r”   rg   r’   r—   r–   r•   )r8   rU   r>   s      r<   rh   zBlock.forwardú   sa   € Ø�—’ §	¢	¨$¯*ª*°Q©-¬-¸Ñ >Ô >Ñ?Ô?Ñ?ˆØ�—’ §¢¨¯ª°A©¬Ñ 7Ô 7Ñ8Ô8Ñ8ˆØˆr=   )rk   rl   rm   r3   ÚGELUrƒ   rt   ru   r   ÚModuler   r1   rv   rh   rw   rx   s   @r<   rˆ   rˆ   Ô   s  ø€ € € € € ð  "Ø!Ø!Ø!Ø)+¬Ø*,¬,ØØ $ØØð"Sð "Sàð"Sð ð"Sð ð	"Sð
 ð"Sð ð"Sð ð"Sð ˜BœI”ð"Sð ˜RœYœð"Sð ð"Sð ˜”ð"Sð "Sð "Sð "Sð "Sð "SðH˜uð ð ð ð ð ð ð ð r=   rˆ   c                   óH   ‡ — e Zd Z	 	 	 	 ddededefˆ fd„Zdefd	„Zd
„ Zˆ xZS )ÚPosConvé   r   NÚin_chansÚ	embed_dimr   c           	      óÀ   •— ||dœ}t          ¦   «                              ¦   «          t          j        t          j        ||d|dfd|dœ|¤Ž¦  «        | _        || _        d S )Nr'   r.   r   T)r/   Úgroups)r0   r1   r3   Ú
Sequentialr�   r7   r   )r8   rŸ   r    r   r(   r)   r9   r;   s          €r<   r1   zPosConv.__init__  sm   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐÝ”MÝŒI�h 	¨1¨f°aÐ[¸dÈ9Ð[Ð[ÐXZÐ[Ð[ñ
ô 
ˆŒ	ð ˆŒˆˆr=   r>   c                 óþ   — |j         \  }}} |                     dd¦  «        j        ||g|¢R Ž }|                      |¦  «        }| j        dk    r||z  }|                     d¦  «                             dd¦  «        }|S )Nr   r@   )rH   rM   rI   r7   r   Úflatten)r8   rU   r>   rV   rW   rX   Úcnn_feat_tokens          r<   rh   zPosConv.forward  s…   € Ø”'‰ˆˆ1ˆaØ/˜Ÿš Q¨Ñ*Ô*Ô/°°1Ð<°tÐ<Ð<Ð<ˆØ�IŠI�nÑ%Ô%ˆØŒ;˜!ÒÐØ�ÑˆAØ�IŠI�a‰LŒL×"Ò" 1 aÑ(Ô(ˆØˆr=   c                 ó4   — d„ t          d¦  «        D ¦   «         S )Nc                 ó   — g | ]}d |z  ‘ŒS )zproj.%d.weightr‘   )Ú.0Úis     r<   ú
<listcomp>z+PosConv.no_weight_decay.<locals>.<listcomp>  s   € Ð7Ð7Ð7¨Ð  1Ñ$Ð7Ð7Ð7r=   rA   )Úrange©r8   s    r<   Úno_weight_decayzPosConv.no_weight_decay  s   € Ø7Ð7­e°A©h¬hÐ7Ñ7Ô7Ð7r=   )rž   r   NN)	rk   rl   rm   rt   r1   rv   rh   r®   rw   rx   s   @r<   r�   r�      s–   ø€ € € € € ð
 !ØØØðð àðð ðð ð	ð ð ð ð ð ð˜uð ð ð ð ð8ð 8ð 8ð 8ð 8ð 8ð 8r=   r�   c            	       ó¨   ‡ — e Zd ZdZ	 	 	 	 	 	 ddeeeeef         f         deeeeef         f         d	ed
efˆ fd„Zdeej	        e
f         fd„Zˆ xZS )Ú
PatchEmbedz Image to Patch Embedding
    éà   é   r.   rž   NÚimg_sizeÚ
patch_sizerŸ   r    c                 ó  •— ||dœ}t          ¦   «                              ¦   «          t          |¦  «        }t          |¦  «        }|| _        || _        |d         |d         z  dk    r|d         |d         z  dk    sJ d|› d|› d�¦   «         ‚|d         |d         z  |d         |d         z  c| _        | _        | j        | j        z  | _        t          j	        ||f||dœ|¤Ž| _
        t          j        |fi |¤Ž| _        d S )Nr'   r   r   z	img_size z! should be divided by patch_size r,   r}   )r0   r1   r   r³   r´   rY   rZ   Únum_patchesr3   r�   r7   rƒ   r„   )	r8   r³   r´   rŸ   r    r(   r)   r9   r;   s	           €r<   r1   zPatchEmbed.__init__"  s   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐÝ˜XÑ&Ô&ˆÝ˜zÑ*Ô*ˆ
à ˆŒØ$ˆŒØ˜Œ{˜Z¨œ]Ñ*¨aÒ/Ð/°H¸Q´KÀ*ÈQÄ-Ñ4OÐSTÒ4TÐ4TÐ4TØP˜ÐPÐPÀ:ÐPÐPÐPñ 5UÔ4TÐTà! !œ¨
°1¬Ñ5°xÀ´{ÀjÐQRÄmÑ7SˆˆŒ�”Øœ6 D¤F™?ˆÔÝ”I˜h¨	Ðc¸zÐR\ÐcÐcÐ`bÐcÐcˆŒ	Ý”L Ð1Ð1¨bÐ1Ð1ˆŒ	ˆ	ˆ	r=   Úreturnc                 ó  — |j         \  }}}}|                      |¦  «                             d¦  «                             dd¦  «        }|                      |¦  «        }|| j        d         z  || j        d         z  f}||fS )Nr@   r   r   )rH   r7   r¥   rM   r„   r´   )r8   rU   rV   rX   rY   rZ   Úout_sizes          r<   rh   zPatchEmbed.forward9  sy   € Ø”W‰
ˆˆ1ˆa�à�IŠI�a‰LŒL× Ò  Ñ#Ô#×-Ò-¨a°Ñ3Ô3ˆØ�IŠI�a‰LŒLˆØ˜œ¨Ô+Ñ+¨Q°$´/À!Ô2DÑ-DÐEˆà�(ˆ{Ðr=   )r±   r²   r.   rž   NN)rk   rl   rm   rn   r   rt   r   r1   ro   ÚTensorrv   rh   rw   rx   s   @r<   r°   r°     sÑ   ø€ € € € € ðð ð
 58Ø68ØØ ØØð2ð 2à˜C  s¨C x¤Ð0Ô1ð2ð ˜c 5¨¨c¨¤?Ð2Ô3ð2ð ð	2ð
 ð2ð 2ð 2ð 2ð 2ð 2ð.˜E %¤,°Ð"5Ô6ð ð ð ð ð ð ð ð r=   r°   c            %       óB  ‡ — e Zd ZdZdddddddd	d
ddddddd eej        d¬¦  «        eddfdee	e
e	e	f         f         de	de	de	dede
e	df         de
e	df         de
edf         de
e	df         de
e	df         dee
e	df                  dedededed ed!eej                 d"ef$ˆ fd#„Zej        j        d$„ ¦   «         Zej        j        d=d&„¦   «         Zej        j        d>d(„¦   «         Zej        j        d)ej        fd*„¦   «         Zd?de	dee         fd+„Zd,„ Z	 	 	 	 	 d@d.ej        d/eee	ee	         f                  d0ed1ed2ed3ed)eeej                 e
ej        eej                 f         f         fd4„Z	 	 	 dAd/ee	ee	         f         d6ed7efd8„Zd9„ Z d=d:efd;„Z!d<„ Z"ˆ xZ#S )Br   zš Twins Vision Transformer (Revisiting Spatial Attention)

    Adapted from PVT (PyramidVisionTransformer) class at https://github.com/whai362/PVT.git
    r±   rA   r.   éè  Úavg©é@   é€   é   é   )r   r@   rA   r   ©rA   rA   rA   rA   ©r.   rA   é   r.   ©r   rA   r@   r   Nr    g�íµ ÷Æ°>)Úepsr³   r´   rŸ   Únum_classesÚglobal_poolÚ
embed_dims.r"   Ú
mlp_ratiosÚdepthsÚ	sr_ratiosÚwssÚ	drop_rateÚpos_drop_rateÚproj_drop_rateÚattn_drop_rateÚdrop_path_raterŒ   Ú	block_clsc                 óÎ  •‡‡‡‡‡
‡‡‡‡‡‡‡‡‡— t          ¦   «                              ¦   «          ||dœŠ|| _        || _        || _        |	| _        ‰| _        ‰d         x| _        | _        d| _	        t          |¦  «        }|}t          j        ¦   «         | _        t          j        ¦   «         | _        t          t!          |	¦  «        ¦  «        D ]‚}| j                             t%          |‰|‰|         fi ‰¤Ž¦  «         | j                             t          j        |¬¦  «        ¦  «         ‰|         }t)          ˆfd„|D ¦   «         ¦  «        }dŠŒƒt          j        ¦   «         | _        g | _        t/          |t1          |	¦  «        ¦  «        ŠdŠt          t!          |	¦  «        ¦  «        D ]–Št          j        ˆˆˆˆˆˆˆˆˆˆˆˆ
ˆfd„t          |	‰         ¦  «        D ¦   «         ¦  «        }| j                             |¦  «         | xj        t3          d	‰› �‰‰         dd‰z   z  ¬
¦  «        gz  c_        ‰|	‰         z  ŠŒ—t          j        ˆfd„‰D ¦   «         ¦  «        | _         ‰| j        fi ‰¤Ž| _        t          j        |¦  «        | _        |dk    rt          j        | j        |fi ‰¤Žnt          j        ¦   «         | _        |                       | j!        ¦  «         d S )Nr'   rF   F)rR   c              3   ó"   •K  — | ]	}|‰z  V — Œ
d S r™   r‘   )r©   Útr´   s     €r<   ú	<genexpr>z!Twins.__init__.<locals>.<genexpr>q  s'   øè è € Ð?Ð?°˜Q *™_Ð?Ð?Ð?Ð?Ð?Ð?r=   r@   r   c                 óœ   •— g | ]H} ‰d‰‰         ‰‰         ‰	‰         ‰‰‰‰|z            ‰
‰‰         ‰�	|dz  dk    rdn‰‰         dœ	‰¤Ž‘ŒIS )Nr@   r   )	r!   r"   r‰   r$   r#   rŠ   rŒ   r{   r%   r‘   r‘   )r©   rª   rÒ   rÔ   Úcurr9   ÚdprrÊ   re   rË   rŒ   r"   rÑ   rÍ   rÎ   s     €€€€€€€€€€€€€r<   r«   z"Twins.__init__.<locals>.<listcomp>y  s–   ø€ ð $)ð $)ð $)ð ð %. Ið %Ø˜q”MØ# Aœ,Ø$ Qœ-Ø(Ø(Ø˜c A™gœ,Ø%Ø" 1œØ˜ q¨1¡u°¢z z�1�1°s¸1´vð%ð %ð ð%ð %ð $)ð $)ð $)r=   zblock.)ÚmoduleÚnum_chsÚ	reductionc                 ó,   •— g | ]}t          ||fi ‰¤Ž‘ŒS r‘   )r�   )r©   r    r9   s     €r<   r«   z"Twins.__init__.<locals>.<listcomp>‰  s,   ø€ Ð'hÐ'hÐ'hÐPY­°	¸9Ð(KÐ(KÈÐ(KÐ(KÐ'hÐ'hÐ'hr=   )"r0   r1   rÈ   rŸ   rÉ   rÌ   rÊ   Únum_featuresÚhead_hidden_sizeÚgrad_checkpointingr   r3   Ú
ModuleListÚpatch_embedsÚ	pos_dropsr¬   ÚlenÚappendr°   r6   ÚtupleÚblocksÚfeature_infor   ÚsumÚdictÚ	pos_blockr„   Ú	head_dropr4   r“   ÚheadÚapplyÚ_init_weights)r8   r³   r´   rŸ   rÈ   rÉ   rÊ   r"   rË   rÌ   rÍ   rÎ   rÏ   rÐ   rÑ   rÒ   rÓ   rŒ   rÔ   r(   r)   Úprev_chsrª   Ú_blockrÚ   r9   rÛ   re   r;   s     `   ``` ``  `` ``     @@@@€r<   r1   zTwins.__init__H  s&  øøøøøøøøøøøøøøø€ õ. 	‰Œ×ÒÑÔÐØ¨Ð/Ð/ˆØ&ˆÔØ ˆŒØ&ˆÔØˆŒØ$ˆŒØ4>¸r´NÐBˆÔ˜DÔ1Ø"'ˆÔå˜XÑ&Ô&ˆØˆÝœM™OœOˆÔÝœ™œˆŒÝ•s˜6‘{”{Ñ#Ô#ð 	ð 	ˆAØÔ×$Ò$¥Z°¸*ÀhÐPZÐ[\ÔP]Ð%dÐ%dÐacÐ%dÐ%dÑeÔeÐeØŒN×!Ò!¥"¤*¨}Ð"=Ñ"=Ô"=Ñ>Ô>Ð>Ø! !”}ˆHÝÐ?Ð?Ð?Ð?°hÐ?Ñ?Ô?Ñ?Ô?ˆHØˆJˆJå”m‘o”oˆŒØˆÔÝ'¨½¸F¹¼ÑDÔDˆØˆÝ•s˜6‘{”{Ñ#Ô#ð 	ð 	ˆAÝ”]ð $)ð $)ð $)ð $)ð $)ð $)ð $)ð $)ð $)ð $)ð $)ð $)ð $)ð $)ð $)ð $)õ ˜V AœYÑ'Ô'ð$)ñ $)ô $)ñ *ô *ˆFð ŒK×Ò˜vÑ&Ô&Ð&ØÐÔ¥$¨l°q¨l¨lÀJÈqÄMÐ]^ÐabÐcdÑadÑ]eÐ"fÑ"fÔ"fÐ!gÑgÐÔØ�6˜!”9ÑˆCˆCåœÐ'hÐ'hÐ'hÐ'hÐ]gÐ'hÑ'hÔ'hÑiÔiˆŒà�J˜tÔ0Ð7Ð7°BÐ7Ð7ˆŒ	õ œ IÑ.Ô.ˆŒØGRÐUVÂÀ•B”I˜dÔ/°ÐCÐCÀÐCÐCÐCÕ\^Ô\gÑ\iÔ\iˆŒ	ð 	�
Š
�4Ô%Ñ&Ô&Ð&Ð&Ð&r=   c                 ób   — t          d„ | j                             ¦   «         D ¦   «         ¦  «        S )Nc                 ó   — g | ]
\  }}d |z   ‘ŒS )z
pos_block.r‘   )r©   ÚnrR   s      r<   r«   z)Twins.no_weight_decay.<locals>.<listcomp>–  s!   € ÐSÐSÐS©¨¨A�L 1Ñ$ÐSÐSÐSr=   )Úsetrí   Únamed_parametersr­   s    r<   r®   zTwins.no_weight_decay”  s-   € åÐSÐS°´×1PÒ1PÑ1RÔ1RÐSÑSÔSÑTÔTÐTr=   Fc                 ó8   — t          d|rddgng d¢¬¦  «        }|S )Nz^patch_embeds.0)z)^(?:blocks|patch_embeds|pos_block)\.(\d+)N©z^norm)iŸ† ))z^blocks\.(\d+)\.(\d+)N)z"^(?:patch_embeds|pos_block)\.(\d+))r   rú   )Ústemré   )rì   )r8   ÚcoarseÚmatchers      r<   Úgroup_matcherzTwins.group_matcher˜  sI   € åØ#ð ðØDØ#ðð ðð ð ð

ñ 

ô 

ˆð ˆr=   Tc                 ó   — |r
J d¦   «         ‚d S )Nz$gradient checkpointing not supportedr‘   )r8   Úenables     r<   Úset_grad_checkpointingzTwins.set_grad_checkpointing§  s   € àÐAÐAÐAÑAÔAˆzÐAÐAr=   r·   c                 ó   — | j         S r™   )rï   r­   s    r<   Úget_classifierzTwins.get_classifier«  s
   € àŒyÐr=   c                 óú   — t          | ¦  «        }|| _        |�|dv sJ ‚|| _        |dk    rt          j        | j        |fi |¤Žnt          j        ¦   «         | _        | j                             | j	        ¦  «         d S )N)Ú r½   r   )
r   rÈ   rÉ   r3   r4   rà   r“   rï   ÚtrainrQ   )r8   rÈ   rÉ   r9   s       r<   Úreset_classifierzTwins.reset_classifier¯  sˆ   € Ý˜dÑ#Ô#ˆØ&ˆÔØÐ"Ø +Ð-Ð-Ð-Ð-Ø*ˆDÔØGRÐUVÂÀ•B”I˜dÔ/°ÐCÐCÀÐCÐCÐCÕ\^Ô\gÑ\iÔ\iˆŒ	ØŒ	�Š˜œÑ&Ô&Ð&Ð&Ð&r=   c                 ó  — t          |t          j        ¦  «        rbt          |j        d¬¦  «         t          |t          j        ¦  «        r.|j        �)t          j                             |j        d¦  «         d S d S d S t          |t          j        ¦  «        rLt          j                             |j        d¦  «         t          j                             |j        d¦  «         d S t          |t          j	        ¦  «        r‰|j
        d         |j
        d         z  |j        z  }||j        z  }|j        j                             dt          j        d|z  ¦  «        ¦  «         |j        �"|j        j                             ¦   «          d S d S d S )Ng{®Gáz”?)Ústdr   g      ð?r   g       @)Ú
isinstancer3   r4   r   Úweightr/   ÚinitÚ	constant_rƒ   r�   r~   Úout_channelsr¢   ÚdataÚnormal_ÚmathÚsqrtÚzero_)r8   ÚmÚfan_outs      r<   rñ   zTwins._init_weights¸  sa  € Ý�a�œÑ#Ô#ð 	$Ý˜!œ(¨Ð,Ñ,Ô,Ð,Ý˜!�RœYÑ'Ô'ð -¨A¬FÐ,>Ý”×!Ò! !¤&¨!Ñ,Ô,Ð,Ð,Ð,ð-ð -Ð,>Ð,>å˜�2œ<Ñ(Ô(ð 	$ÝŒG×Ò˜aœf aÑ(Ô(Ð(ÝŒG×Ò˜aœh¨Ñ,Ô,Ð,Ð,Ð,Ý˜�2œ9Ñ%Ô%ð 	$Ø”m AÔ&¨¬°qÔ)9Ñ9¸A¼NÑJˆGØ˜œÑ ˆGØŒHŒM×!Ò! !¥T¤Y¨s°W©}Ñ%=Ô%=Ñ>Ô>Ð>ØŒvÐ!Ø””×!Ò!Ñ#Ô#Ð#Ð#Ð#ð	$ð 	$ð "Ð!r=   ÚNCHWrU   Úindicesr„   Ú
stop_earlyÚ
output_fmtÚintermediates_onlyc           	      ó„  — |dk    s
J d¦   «         ‚g }t          t          | j        ¦  «        |¦  «        \  }}	|j        \  }
}}}t	          t          | j        | j        | j        | j        ¦  «        ¦  «        D �],\  }\  }}}} ||¦  «        \  }} ||¦  «        }t	          |¦  «        D ]#\  }} |||¦  «        }|dk    r |||¦  «        }Œ$|t          | j	        ¦  «        dz
  k     rR |j
        |
g|¢d‘R Ž                      dddd¦  «                             ¦   «         }||v r|                     |¦  «         ŒÄ||v rd|r|                      |¦  «        n|}|                      |j
        |
g|¢d‘R Ž                      dddd¦  «                             ¦   «         ¦  «         �Œ.|r|S |                      |¦  «        }||fS )aç   Forward features that returns intermediates.
        Args:
            x: Input image tensor
            indices: Take last n blocks if int, all if None, select matching indices if sequence
            norm: Apply norm layer to all intermediates
            stop_early: Stop iterating over blocks when last desired intermediate hit
            output_fmt: Shape of intermediate feature outputs
            intermediates_only: Only return intermediate features
        Returns:

        r  z$Output shape for Twins must be NCHW.r   r   rF   r.   r@   )r   ræ   ré   rH   Ú	enumerateÚziprä   rå   rí   rÌ   rL   rN   rT   rç   r„   )r8   rU   r  r„   r  r  r  ÚintermediatesÚtake_indicesÚ	max_indexrV   r_   ÚheightÚwidthrª   Úembedr�   ré   Úpos_blkr>   ÚjÚblkÚx_feats                          r<   Úforward_intermediateszTwins.forward_intermediatesÇ  s  € ð( ˜VÒ#Ð#Ð#Ð%KÑ#Ô#Ð#ØˆÝ"6µs¸4¼;Ñ7GÔ7GÈÑ"QÔ"QÑˆ�ið
  œgÑˆˆ1ˆf�eÝ1:½3ØÔ! 4¤>°4´;ÀÄñ<Pô <Pñ 2
ô 2
ð 	hñ 	hÑ-ˆAÑ-��t˜V Wð �e˜A‘h”h‰GˆAˆtØ��Q‘”ˆAÝ# FÑ+Ô+ð )ð )‘��3Ø�C˜˜4‘L”L�Ø˜’6�6Ø˜  4Ñ(Ô(�Aøà•3�t”{Ñ#Ô# aÑ'Ò'Ð'Ø�A”I˜aÐ+ $Ð+¨Ð+Ð+Ð+×3Ò3°A°q¸!¸QÑ?Ô?×JÒJÑLÔL�Ø˜Ð$Ð$Ø!×(Ò(¨Ñ+Ô+Ð+øà˜Ð$Ð$à-1Ð8˜TŸYšY q™\œ\˜\°q�FØ!×(Ò(¨¨¬¸Ð)E¸DÐ)EÀ"Ð)EÐ)EÐ)E×)MÒ)MÈaÐQRÐTUÐWXÑ)YÔ)Y×)dÒ)dÑ)fÔ)fÑgÔgÐgùàð 	!Ø Ð à�IŠI�a‰LŒLˆà�-ÐÐr=   r   Ú
prune_normÚ
prune_headc                 ó´   — t          t          | j        ¦  «        |¦  «        \  }}|rt          j        ¦   «         | _        |r|                      dd¦  «         |S )z@ Prune layers not required for specified intermediates.
        r   r  )r   ræ   ré   r3   r“   r„   r  )r8   r  r)  r*  r  r   s         r<   Úprune_intermediate_layerszTwins.prune_intermediate_layersþ  s[   € õ #7µs¸4¼;Ñ7GÔ7GÈÑ"QÔ"QÑˆ�iàð 	&Ýœ™œˆDŒIØð 	)Ø×!Ò! ! RÑ(Ô(Ð(ØÐr=   c                 ó  — |j         d         }t          t          | j        | j        | j        | j        ¦  «        ¦  «        D ]©\  }\  }}}} ||¦  «        \  }} ||¦  «        }t          |¦  «        D ]#\  }	}
 |
||¦  «        }|	dk    r |||¦  «        }Œ$|t          | j        ¦  «        dz
  k     r8 |j	        |g|¢d‘R Ž  
                    dddd¦  «                             ¦   «         }Œª|                      |¦  «        }|S )Nr   r   rF   r.   r@   )rH   r  r  rä   rå   ré   rí   ræ   rÌ   rL   rN   rT   r„   )r8   rU   rV   rª   r#  r�   ré   r$  r>   r%  r&  s              r<   Úforward_featureszTwins.forward_features  s"  € ØŒG�AŒJˆÝ1:Ý�DÔ% t¤~°t´{ÀDÄNÑSÔSñ2Uô 2Uð 		Mð 		MÑ-ˆAÑ-��t˜V Wà�e˜A‘h”h‰GˆAˆtØ��Q‘”ˆAÝ# FÑ+Ô+ð )ð )‘��3Ø�C˜˜4‘L”L�Ø˜’6�6Ø˜  4Ñ(Ô(�AøØ•3�t”{Ñ#Ô# aÑ'Ò'Ð'Ø�A”I˜aÐ+ $Ð+¨Ð+Ð+Ð+×3Ò3°A°q¸!¸QÑ?Ô?×JÒJÑLÔL�øØ�IŠI�a‰LŒLˆØˆr=   Ú
pre_logitsc                 ó    — | j         dk    r|                     d¬¦  «        }|                      |¦  «        }|r|n|                      |¦  «        S )Nr½   r   rG   )rÉ   Úmeanrî   rï   )r8   rU   r/  s      r<   Úforward_headzTwins.forward_head  sK   € ØÔ˜uÒ$Ð$Ø—’˜1�‘”ˆAØ�NŠN˜1ÑÔˆØÐ0ˆqˆq D§I¢I¨a¡L¤LÐ0r=   c                 óZ   — |                       |¦  «        }|                      |¦  «        }|S r™   )r.  r2  )r8   rU   s     r<   rh   zTwins.forward#  s-   € Ø×!Ò! !Ñ$Ô$ˆØ×Ò˜aÑ Ô ˆØˆr=   ©F)Tr™   )NFFr  F)r   FT)$rk   rl   rm   rn   r   r3   rƒ   rˆ   r   rt   r   Ústrru   r   r   r›   r	   r1   ro   rp   Úignorer®   rþ   r  r  r  rñ   rº   r   rr   r(  r,  r.  r2  rh   rw   rx   s   @r<   r   r   C  sÄ  ø€ € € € € ðð ð 58ØØØ#Ø$Ø*=Ø)5Ø,8Ø&2Ø)5Ø-1Ø!Ø#%Ø$&Ø$&Ø$&Ø*1¨'°"´,ÀDÐ*IÑ*IÔ*IØ"ØØð+J'ð J'à˜C  s¨C x¤Ð0Ô1ðJ'ð ðJ'ð ð	J'ð
 ðJ'ð ðJ'ð ˜c 3˜hœðJ'ð ˜S #˜X”ðJ'ð ˜e S˜jÔ)ðJ'ð ˜#˜s˜(”OðJ'ð ˜S #˜X”ðJ'ð ˜%  S œ/Ô*ðJ'ð ðJ'ð !ðJ'ð "ðJ'ð  "ð!J'ð" "ð#J'ð$ ˜RœYœð%J'ð& ð'J'ð J'ð J'ð J'ð J'ð J'ðX „YÔðUð Uñ ÔðUð „YÔðð ð ñ Ôðð „YÔðBð Bð Bñ ÔðBð „YÔð ¤	ð ð ð ñ Ôðð'ð '¨Cð '¸hÀs¼mð 'ð 'ð 'ð 'ð$ð $ð $ð$ 8<ØØ$Ø$Ø',ð5 ð 5 àŒ|ð5 ð ˜e C¨¨c¬ NÔ3Ô4ð5 ð ð	5 ð
 ð5 ð ð5 ð !%ð5 ð 
ˆt�E”LÔ! 5¨¬°t¸E¼LÔ7IÐ)IÔ#JÐJÔ	Kð5 ð 5 ð 5 ð 5 ðr ./Ø$Ø#ð	ð à˜3  S¤	˜>Ô*ðð ðð ð	ð ð ð ð ð ð ð1ð 1¨$ð 1ð 1ð 1ð 1ðð ð ð ð ð ð r=   Fc                 ó|   — |                      dd¦  «        }t          t          | |fdt          |d¬¦  «        i|¤Ž}|S )NÚout_indicesrA   Úfeature_cfgÚgetter)r8  Úfeature_cls)Úpopr   r   rì   )ÚvariantÚ
pretrainedÚkwargsr8  Úmodels        r<   Ú_create_twinsrA  )  sV   € Ø—*’*˜]¨AÑ.Ô.€KÝ Ýˆw˜
ðð å [¸hÐGÑGÔGðð ðð €Eð
 €Lr=   r  c                 ó8   — | ddd dddt           t          dddd	œ|¥S )
Nr¼   )r.   r±   r±   gÍÌÌÌÌÌì?ÚbicubicTzpatch_embeds.0.projrï   z
apache-2.0)ÚurlrÈ   Ú
input_sizeÚ	pool_sizeÚcrop_pctÚinterpolationÚfixed_input_sizer1  r	  Ú
first_convÚ
classifierÚlicenser
   )rD  r?  s     r<   Ú_cfgrM  3  s:   € àØ¨=ÀtØ¨ÈÝ%Õ.BØ+¸6Øðð ð ðð r=   ztimm/)Ú	hf_hub_id)ztwins_pcpvt_small.in1kztwins_pcpvt_base.in1kztwins_pcpvt_large.in1kztwins_svt_small.in1kztwins_svt_base.in1kztwins_svt_large.in1kr·   c           	      ór   — t          dg d¢g d¢g d¢g d¢g d¢¬¦  «        }t          d
d	| it          |fi |¤Ž¤ŽS )NrA   ©r¿   rÀ   i@  rÂ   ©r   r@   rB   r   ©r   r   rA   rA   rÄ   rÆ   ©r´   rÊ   r"   rË   rÌ   rÍ   Útwins_pcpvt_smallr>  )rT  ©rì   rA  ©r>  r?  Ú
model_argss      r<   rT  rT  I  sj   € åØÐ!4Ð!4Ð!4ÀÀÀÐYeÐYeÐYeØˆ|ˆ| | | |ð5ñ 5ô 5€Jõ ÐbÐb¸ÐbÅtÈJÐGaÐGaÐZ`ÐGaÐGaÐbÐbÐbr=   c           	      ór   — t          dg d¢g d¢g d¢g d¢g d¢¬¦  «        }t          d
d	| it          |fi |¤Ž¤ŽS )NrA   rP  rQ  rR  )r.   rA   é   r.   rÆ   rS  Útwins_pcpvt_baser>  )rZ  rU  rV  s      r<   rZ  rZ  Q  sj   € åØÐ!4Ð!4Ð!4ÀÀÀÐYeÐYeÐYeØˆ}ˆ}¨¨¨ð6ñ 6ô 6€Jõ ÐaÐa¸
ÐaÅdÈ:ÐF`ÐF`ÐY_ÐF`ÐF`ÐaÐaÐar=   c           	      ór   — t          dg d¢g d¢g d¢g d¢g d¢¬¦  «        }t          d
d	| it          |fi |¤Ž¤ŽS )NrA   rP  rQ  rR  )r.   r   é   r.   rÆ   rS  Útwins_pcpvt_larger>  )r]  rU  rV  s      r<   r]  r]  Y  sj   € åØÐ!4Ð!4Ð!4ÀÀÀÐYeÐYeÐYeØˆ}ˆ}¨¨¨ð6ñ 6ô 6€Jõ ÐbÐb¸ÐbÅtÈJÐGaÐGaÐZ`ÐGaÐGaÐbÐbÐbr=   c           
      óx   — t          dg d¢g d¢g d¢g d¢g d¢g d¢¬¦  «        }t          dd
| it          |fi |¤Ž¤ŽS )NrA   r¾   )r@   rA   r   r²   rÃ   )r@   r@   é
   rA   ©é   ra  ra  ra  rÆ   ©r´   rÊ   r"   rË   rÌ   rÎ   rÍ   Útwins_svt_smallr>  )rc  rU  rV  s      r<   rc  rc  a  ss   € åØÐ!4Ð!4Ð!4ÀÀÀÐZfÐZfÐZfØˆ}ˆ} , , ,¸,¸,¸,ðHñ Hô H€Jõ Ð`Ð`°zÐ`ÅTÈ*ÐE_ÐE_ÐX^ÐE_ÐE_Ð`Ð`Ð`r=   c           
      óx   — t          dg d¢g d¢g d¢g d¢g d¢g d¢¬¦  «        }t          dd
| it          |fi |¤Ž¤ŽS )NrA   )é`   éÀ   i€  rž   )r.   rÅ   é   é   rÃ   ©r@   r@   rY  r@   r`  rÆ   rb  Útwins_svt_baser>  )rj  rU  rV  s      r<   rj  rj  i  ss   € åØÐ!4Ð!4Ð!4ÀÀÀÐ[gÐ[gÐ[gØˆ}ˆ} , , ,¸,¸,¸,ðHñ Hô H€Jõ Ð_Ð_°jÐ_ÅDÈÐD^ÐD^ÐW]ÐD^ÐD^Ð_Ð_Ð_r=   c           
      óx   — t          dg d¢g d¢g d¢g d¢g d¢g d¢¬¦  «        }t          dd
| it          |fi |¤Ž¤ŽS )NrA   )rÀ   rÁ   rÂ   i   )rA   r   r²   é    rÃ   ri  r`  rÆ   rb  Útwins_svt_larger>  )rm  rU  rV  s      r<   rm  rm  q  ss   € åØÐ!6Ð!6Ð!6À.À.À.Ð]iÐ]iÐ]iØˆ}ˆ} , , ,¸,¸,¸,ðHñ Hô H€Jõ Ð`Ð`°zÐ`ÅTÈ*ÐE_ÐE_ÐX^ÐE_ÐE_Ð`Ð`Ð`r=   r4  )r  ):rn   r  Ú	functoolsr   Útypingr   r   r   r   r   r	   ro   Útorch.nnr3   Útorch.nn.functionalr†   rJ   Ú	timm.datar   r   Útimm.layersr   r   r   r   r   r   r   Ú_builderr   Ú	_featuresr   Ú_features_fxr   Ú	_registryr   r   Úvision_transformerr   Ú__all__rt   rv   r›   r   rz   rˆ   r�   r°   r   rA  rM  Údefault_cfgsrT  rZ  r]  rc  rj  rm  r‘   r=   r<   ú<module>r{     sd  ððð ð €€€Ø Ð Ð Ð Ð Ð Ø :Ð :Ð :Ð :Ð :Ð :Ð :Ð :Ð :Ð :Ð :Ð :Ð :Ð :Ð :Ð :à €€€Ø Ð Ð Ð Ð Ð Ø Ð Ð Ð Ð Ð Ð Ð Ð à AÐ AÐ AÐ AÐ AÐ AÐ AÐ AØ |Ð |Ð |Ð |Ð |Ð |Ð |Ð |Ð |Ð |Ð |Ð |Ð |Ð |Ð |Ð |Ð |Ð |Ø *Ð *Ð *Ð *Ð *Ð *Ø +Ð +Ð +Ð +Ð +Ð +Ø 1Ð 1Ð 1Ð 1Ð 1Ð 1Ø <Ð <Ð <Ð <Ð <Ð <Ð <Ð <Ø )Ð )Ð )Ð )Ð )Ð )àˆ)€àˆc�3ˆhŒ€ð ðEð Eð Eð Eð E˜œñ Eô Eñ ÔðEðVBð Bð Bð Bð B˜"œ)ñ Bô Bð BðJ)ð )ð )ð )ð )ˆBŒIñ )ô )ð )ðX8ð 8ð 8ð 8ð 8ˆbŒiñ 8ô 8ð 8ð<"ð "ð "ð "ð "�”ñ "ô "ð "ðJcð cð cð cð cˆBŒIñ cô cð cðLð ð ð ð	ð 	ð 	ð 	ð %Ð$Ø"˜d¨WÐ5Ñ5Ô5Ø!˜T¨GÐ4Ñ4Ô4Ø"˜d¨WÐ5Ñ5Ô5Ø ˜D¨7Ð3Ñ3Ô3Ø˜4¨'Ð2Ñ2Ô2Ø ˜D¨7Ð3Ñ3Ô3ð&ð &ñ ô €ð ðcð c°Uð cð cð cñ „ðcð ðbð b°Eð bð bð bñ „ðbð ðcð c°Uð cð cð cñ „ðcð ðað a°5ð að að añ „ðað ð`ð `°%ð `ð `ð `ñ „ð`ð ðað a°5ð að að añ „ðað að ar=   