§
    ·¯¸jR  ã                   óÖ   — d Z ddlZddlmZ ddlmZ ddlmZmZ ddl	m
Z
mZmZmZ ddlmZmZ dd	lmZ dd
lmZ ddlmZ ddlmZ ddlmZmZ ddlmZ ddlmZ ddl m!Z!m"Z" d„ Z#d„ Z$dS )zF Attention Factory

Hacked together by / Copyright 2021 Ross Wightman
é    N)Úpartialé   )ÚBottleneckAttn)Ú
CbamModuleÚLightCbamModule)Ú	CoordAttnÚEfficientLocalAttnÚ	StripAttnÚSimpleCoordAttn)Ú	EcaModuleÚ
CecaModule)ÚGatherExcite)ÚGlobalContext)ÚHaloAttn)ÚLambdaLayer)ÚNonLocalAttnÚBatNonLocalAttn)ÚSelectiveKernel)Ú	SplitAttn)ÚSEModuleÚEffectiveSEModulec                 ó’  — t          | t          j        j        ¦  «        r| S d }| �r t          | t          ¦  «        �ri|                      ¦   «         } | dk    r	t          }�ng| dk    r	t          }�nX| dk    r	t          }�nI| dk    rt          t          d¬¦  «        }�n+| dk    r	t          }�n| dk    r	t          }�n| d	k    rt          }nÿ| d
k    rt          t          dd¬¦  «        }ná| dk    rt          }nÓ| dk    rt          }nÅ| dk    rt          }n·| dk    rt           }n©| dk    rt"          }n›| dk    rt$          }n�| dk    rt&          }n| dk    rt(          }nq| dk    rt*          S | dk    rt,          S | dk    rt.          S | dk    rt0          }n<| dk    rt2          }n.J d| z  ¦   «         ‚t          | t4          ¦  «        r
| rt          }n| }|S )NÚseÚeseÚecaÚecamT)Úuse_mlpÚcecaÚgeÚgcÚgcaF)Úfuse_addÚ
fuse_scaleÚcbamÚlcbamÚcoordÚscoordÚelaÚstripÚskÚsplatÚlambdaÚ
bottleneckÚhaloÚnlÚbatzInvalid attn module (%s))Ú
isinstanceÚtorchÚnnÚModuleÚstrÚlowerr   r   r   r   r   r   r   r   r   r   r   r	   r
   r   r   r   r   r   r   r   Úbool)Ú	attn_typeÚ
module_clss     úg/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/timm/layers/create_attn.pyÚget_attnr;      s%  € Ý�)�UœXœ_Ñ-Ô-ð ØÐØ€JØñ ?#Ý�i¥Ñ%Ô%ñ >	#Ø!ŸšÑ)Ô)ˆIð ˜DÒ Ð Ý%�
‘
Ø˜eÒ#Ð#Ý.�
‘
Ø˜eÒ#Ð#Ý&�
‘
Ø˜fÒ$Ð$Ý$¥Y¸Ð=Ñ=Ô=�
‘
Ø˜fÒ$Ð$Ý'�
‘
Ø˜dÒ"Ð"Ý)�
‘
Ø˜dÒ"Ð"Ý*�
�
Ø˜eÒ#Ð#Ý$¥]¸TÈeÐTÑTÔT�
�
Ø˜fÒ$Ð$Ý'�
�
Ø˜gÒ%Ð%Ý,�
�
Ø˜gÒ%Ð%Ý&�
�
Ø˜hÒ&Ð&Ý,�
�
Ø˜eÒ#Ð#Ý/�
�
Ø˜gÒ%Ð%Ý&�
�
ð
 ˜dÒ"Ð"Ý,�
�
Ø˜gÒ%Ð%Ý&�
�
ð
 ˜hÒ&Ð&Ý"Ð"Ø˜lÒ*Ð*Ý%Ð%Ø˜fÒ$Ð$Ý�Ø˜dÒ"Ð"Ý)�
�
Ø˜eÒ#Ð#Ý,�
�
ð EÐ8¸9ÑDÑDÔD�uÝ˜	¥4Ñ(Ô(ð 	#Øð &Ý%�
øà"ˆJØÐó    c                 ó:   — t          | ¦  «        }|�	 ||fi |¤ŽS d S )N)r;   )r8   ÚchannelsÚkwargsr9   s       r:   Úcreate_attnr@   ]   s2   € Ý˜)Ñ$Ô$€JØÐàˆz˜(Ð-Ð- fÐ-Ð-Ð-Øˆ4r<   )%Ú__doc__r2   Ú	functoolsr   Úbottleneck_attnr   r$   r   r   Ú
coord_attnr   r	   r
   r   r   r   r   Úgather_exciter   Úglobal_contextr   Ú	halo_attnr   Úlambda_layerr   Únon_local_attnr   r   Úselective_kernelr   Ú
split_attnr   Úsqueeze_exciter   r   r;   r@   © r<   r:   ú<module>rN      sZ  ððð ð €€€Ø Ð Ð Ð Ð Ð à +Ð +Ð +Ð +Ð +Ð +Ø -Ð -Ð -Ð -Ð -Ð -Ð -Ð -Ø QÐ QÐ QÐ QÐ QÐ QÐ QÐ QÐ QÐ QÐ QÐ QØ &Ð &Ð &Ð &Ð &Ð &Ð &Ð &Ø 'Ð 'Ð 'Ð 'Ð 'Ð 'Ø )Ð )Ð )Ð )Ð )Ð )Ø Ð Ð Ð Ð Ð Ø %Ð %Ð %Ð %Ð %Ð %Ø 9Ð 9Ð 9Ð 9Ð 9Ð 9Ð 9Ð 9Ø -Ð -Ð -Ð -Ð -Ð -Ø !Ð !Ð !Ð !Ð !Ð !Ø 7Ð 7Ð 7Ð 7Ð 7Ð 7Ð 7Ð 7ðDð Dð DðNð ð ð ð r<   