§
    ·¯¸jœ?  ã            	       ó2  — d Z ddlmZmZmZmZ ddlZddlmZ ddl	mc m
Z ddlmZ ddlmZ d(defd	„Zd(defd
„Zd(defd„Zd)deeee         f         defd„Zd*dededefd„Zd+dedededefd„Zd,dedefd„Z G d„ dej        ¦  «        Z G d„ dej        ¦  «        Z G d„ dej        ¦  «        Z G d„ dej        ¦  «        Z G d„ de¦  «        Z G d „ d!ej        ¦  «        Z  G d"„ d#e ¦  «        Z! G d$„ d%ej        ¦  «        Z" G d&„ d'e"¦  «        Z#dS )-a7   EvoNorm in PyTorch

Based on `Evolving Normalization-Activation Layers` - https://arxiv.org/abs/2004.02967
@inproceedings{NEURIPS2020,
 author = {Liu, Hanxiao and Brock, Andy and Simonyan, Karen and Le, Quoc},
 booktitle = {Advances in Neural Information Processing Systems},
 editor = {H. Larochelle and M. Ranzato and R. Hadsell and M. F. Balcan and H. Lin},
 pages = {13539--13550},
 publisher = {Curran Associates, Inc.},
 title = {Evolving Normalization-Activation Layers},
 url = {https://proceedings.neurips.cc/paper/2020/file/9d4c03631b8b0c85ae08bf05eda37d0f-Paper.pdf},
 volume = {33},
 year = {2020}
}

An attempt at getting decent performing EvoNorms running in PyTorch.
While faster than other PyTorch impl, still quite a ways off the built-in BatchNorm
in terms of memory usage and throughput on GPUs.

I'm testing these modules on TPU w/ PyTorch XLA. Promising start but
currently working around some issues with builtin torch/tensor.var/std. Unlike
GPU, similar train speeds for EvoNormS variants and BatchNorm.

Hacked together by / Copyright 2020 Ross Wightman
é    )ÚOptionalÚSequenceÚTypeÚUnionNé   )Úcreate_act_layer)Ú_assertçñhãˆµøä>Úepsc                 ó  — |                       ¦   «                              ddd¬¦  «                             |¦  «                             ¦   «                              | j        ¦  «        }|                     | j        ¦  «        S )N©é   é   FT©ÚdimÚunbiasedÚkeepdim)ÚfloatÚvarÚaddÚsqrtÚtoÚdtypeÚexpandÚshape©Úxr   Ústds      úd/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/timm/layers/evo_norm.pyÚinstance_stdr    $   sa   € Ø
�'Š'‰)Œ)�-Š-˜F¨U¸Dˆ-Ñ
AÔ
A×
EÒ
EÀcÑ
JÔ
J×
OÒ
OÑ
QÔ
Q×
TÒ
TÐUVÔU\Ñ
]Ô
]€CØ�:Š:�a”gÑÔÐó    c                 ó¢   — t          | d¬¦  «                             |¦  «                             ¦   «         }|                     | j        ¦  «        S )Nr   )r   )Ú
manual_varr   r   r   r   r   s      r   Úinstance_std_tpur$   )   sB   € Ý
�Q˜FÐ
#Ñ
#Ô
#×
'Ò
'¨Ñ
,Ô
,×
1Ò
1Ñ
3Ô
3€CØ�:Š:�a”gÑÔÐr!   c                 ó&  — |                       ¦   «                              ¦   «                              dd¬¦  «                             |¦  «                             ¦   «                              | j        ¦  «        }|                     | j        ¦  «        S )Nr   T©r   r   )	r   ÚsquareÚmeanr   r   r   r   r   r   )r   r   Úrmss      r   Úinstance_rmsr*   /   sl   € Ø
�'Š'‰)Œ)×
Ò
Ñ
Ô
×
!Ò
! f°dÐ
!Ñ
;Ô
;×
?Ò
?ÀÑ
DÔ
D×
IÒ
IÑ
KÔ
K×
NÒ
NÈqÌwÑ
WÔ
W€CØ�:Š:�a”gÑÔÐr!   Fr   Údiff_sqmc                 óà   — |                       |d¬¦  «        }|r4| | z                        |d¬¦  «        ||z  z
                       d¦  «        }n | |z
  | |z
  z                        |d¬¦  «        }|S )NTr&   r   )r(   Úclamp)r   r   r+   Úxmr   s        r   r#   r#   4   s|   € Ø	
�Š�C ˆÑ	&Ô	&€BØð @à�A‘�|Š| ¨Tˆ|Ñ2Ô2°b¸2±gÑ>×EÒEÀaÑHÔHˆˆà�B‘˜1˜r™6Ñ"×(Ò(¨S¸$Ð(Ñ?Ô?ˆØ€Jr!   é    ÚgroupsÚflattenc                 óª  — | j         \  }}}}| j        }t          ||z  dk    d¦  «         |rz|                      ||d¦  «        } |                      ¦   «                              ddd¬¦  «                             |¦  «                             ¦   «                              |¦  «        }	n~|                      ||||z  ||¦  «        } |                      ¦   «                              ddd¬¦  «                             |¦  «                             ¦   «                              |¦  «        }	|	 	                    | j         ¦  «                             ||||¦  «        S )	Nr   Ú éÿÿÿÿr   FTr   ©r   r   é   )
r   r   r	   Úreshaper   r   r   r   r   r   )
r   r0   r   r1   ÚBÚCÚHÚWÚx_dtyper   s
             r   Ú	group_stdr=   >   s%  € Ø”�J€A€qˆ!ˆQØŒg€GÝˆA�‰J˜!ŠO˜RÑ Ô Ð Øð eØ�IŠI�a˜ Ñ$Ô$ˆØ�gŠg‰iŒi�mŠm ¨E¸4ˆmÑ@Ô@×DÒDÀSÑIÔI×NÒNÑPÔP×SÒSÐT[Ñ\Ô\ˆˆà�IŠI�a˜  f¡¨a°Ñ3Ô3ˆØ�gŠg‰iŒi�mŠm 	°EÀ4ˆmÑHÔH×LÒLÈSÑQÔQ×VÒVÑXÔX×[Ò[Ð\cÑdÔdˆØ�:Š:�a”gÑÔ×&Ò& q¨!¨Q°Ñ2Ô2Ð2r!   c                 ó¦  — | j         \  }}}}t          ||z  dk    d¦  «         |r*|                      ||d¦  «        } t          | d|¬¦  «        }	n.|                      ||||z  ||¦  «        } t          | d|¬¦  «        }	|	                     |¦  «                             ¦   «                              | j         ¦  «                             ||||¦  «        S )Nr   r3   r4   )r   r+   r5   )r   r	   r7   r#   r   r   r   )
r   r0   r   r+   r1   r8   r9   r:   r;   r   s
             r   Úgroup_std_tpur?   K   sÏ   € ð ”�J€A€qˆ!ˆQÝˆA�‰J˜!ŠO˜RÑ Ô Ð Øð >Ø�IŠI�a˜ Ñ$Ô$ˆÝ˜ ¨XÐ6Ñ6Ô6ˆˆà�IŠI�a˜  f¡¨a°Ñ3Ô3ˆÝ˜ 	°HÐ=Ñ=Ô=ˆØ�7Š7�3‰<Œ<×ÒÑÔ×%Ò% a¤gÑ.Ô.×6Ò6°q¸!¸QÀÑBÔBÐBr!   c                 óÔ  — | j         \  }}}}t          ||z  dk    d¦  «         | j        }|                      ||||z  ||¦  «        } |                      ¦   «                              ¦   «                              dd¬¦  «                             |¦  «                             ¦   «          	                    |¦  «        }| 
                    | j         ¦  «                             ||||¦  «        S )Nr   r3   r5   Tr&   )r   r	   r   r7   r   r'   r(   r   Úsqrt_r   r   )	r   r0   r   r8   r9   r:   r;   r<   r)   s	            r   Ú	group_rmsrB   Z   sÊ   € Ø”�J€A€qˆ!ˆQÝˆA�‰J˜!ŠO˜RÑ Ô Ð ØŒg€GØ	�	Š	�!�V˜Q &™[¨!¨QÑ/Ô/€AØ
�'Š'‰)Œ)×
Ò
Ñ
Ô
×
!Ò
! i¸Ð
!Ñ
>Ô
>×
BÒ
BÀ3Ñ
GÔ
G×
MÒ
MÑ
OÔ
O×
RÒ
RÐSZÑ
[Ô
[€CØ�:Š:�a”gÑÔ×&Ò& q¨!¨Q°Ñ2Ô2Ð2r!   c            	       óH   ‡ — e Zd Z	 	 	 	 	 ddedededefˆ fd	„Zd
„ Zd„ Zˆ xZ	S )ÚEvoNorm2dB0Tçš™™™™™¹?çü©ñÒMbP?NÚnum_featuresÚ	apply_actÚmomentumr   c                 óî  •— ||dœ}t          ¦   «                              ¦   «          || _        || _        || _        t          j        t          j        |fi |¤Ž¦  «        | _	        t          j        t          j        |fi |¤Ž¦  «        | _
        |r$t          j        t          j        |fi |¤Ž¦  «        nd | _        |                      dt          j        |fi |¤Ž¦  «         |                      ¦   «          d S ©N©Údevicer   Úrunning_var)ÚsuperÚ__init__rH   rI   r   ÚnnÚ	ParameterÚtorchÚemptyÚweightÚbiasÚvÚregister_bufferÚonesÚreset_parameters©
ÚselfrG   rH   rI   r   rM   r   Ú_ÚddÚ	__class__s
            €r   rP   zEvoNorm2dB0.__init__d   sñ   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ"ˆŒØ ˆŒØˆŒÝ”l¥5¤;¨|Ð#BÐ#B¸rÐ#BÐ#BÑCÔCˆŒÝ”L¥¤¨\Ð!@Ð!@¸RÐ!@Ð!@ÑAÔAˆŒ	ØBKÐU•”�eœk¨,Ð=Ð=¸"Ð=Ð=Ñ>Ô>Ð>ÐQUˆŒØ×Ò˜]­E¬J°|Ð,JÐ,JÀrÐ,JÐ,JÑKÔKÐKà×ÒÑÔÐÐÐr!   c                 óð   — t           j                             | j        ¦  «         t           j                             | j        ¦  «         | j        �&t           j                             | j        ¦  «         d S d S ©N©rQ   ÚinitÚones_rU   Úzeros_rV   rW   ©r\   s    r   rZ   zEvoNorm2dB0.reset_parametersz   óZ   € Ý
Œ�Š�d”kÑ"Ô"Ð"Ý
Œ�Š�t”yÑ!Ô!Ð!ØŒ6ÐÝŒG�MŠM˜$œ&Ñ!Ô!Ð!Ð!Ð!ð Ðr!   c                 ó
  — t          |                     ¦   «         dk    d¦  «         |j        }d}| j        ��o| j        rœ|                     ¦   «                              dd¬¦  «        }|                     ¦   «         |j        d         z  }| j	         
                    | j	        d| j        z
  z  |                     ¦   «         | j        z  ||dz
  z  z  z   ¦  «         n| j	        }|                     | j        ¦  «                             ¦   «                              |¦  «                             |¦  «                             |¦  «        }| j                             |¦  «                             |¦  «        }||z  t'          || j        ¦  «        z   }||                     |¦  «        z  }|| j                             |¦  «                             |¦  «        z  | j                             |¦  «                             |¦  «        z   S ©Nr6   úexpected 4D input©r   r4   r   r   )r   r   r   F)r   r   r   )r	   r   r   rW   Útrainingr   r   Únumelr   rN   Úcopy_rI   Údetachr   r   rA   r   ÚviewÚ	expand_asr    ÚmaxrU   rV   )	r\   r   r<   Úv_shaper   ÚnÚleftrW   Úrights	            r   ÚforwardzEvoNorm2dB0.forward€   s¹  € Ý�—’‘”˜1’Ð1Ñ2Ô2Ð2Ø”'ˆØˆØŒ6ÑØŒ}ð 'Ø—g’g‘i”i—m’m¨	¸E�mÑBÔB�à—G’G‘I”I ¤¨¤
Ñ*�ØÔ ×&Ò&ØÔ$¨¨D¬MÑ(9Ñ:Ø—J’J‘L”L 4¤=Ñ0°A¸¸Q¹±KÑ@ñAñBô Bð Bð Bð Ô&�Ø—7’7˜4œ8Ñ$Ô$×*Ò*Ñ,Ô,×/Ò/°Ñ8Ô8×=Ò=¸gÑFÔF×PÒPÐQRÑSÔSˆDØ”—	’	˜'Ñ"Ô"×'Ò'¨Ñ0Ô0ˆAØ˜‘E�L¨¨D¬HÑ5Ô5Ñ5ˆEØ�D—H’H˜U‘O”OÑ#ˆAØ�4”;—>’> 'Ñ*Ô*×/Ò/°Ñ8Ô8Ñ8¸4¼9¿<º<ÈÑ;PÔ;P×;UÒ;UÐV]Ñ;^Ô;^Ñ^Ð^r!   )TrE   rF   NN©
Ú__name__Ú
__module__Ú__qualname__ÚintÚboolr   rP   rZ   rw   Ú__classcell__©r_   s   @r   rD   rD   c   sž   ø€ € € € € ð #Ø!ØØØð ð  àð ð ð ð ð	 ð
 ð ð  ð  ð  ð  ð  ð,"ð "ð "ð_ð _ð _ð _ð _ð _ð _r!   rD   c            	       óH   ‡ — e Zd Z	 	 	 	 	 ddedededefˆ fd	„Zd
„ Zd„ Zˆ xZ	S )ÚEvoNorm2dB1TrE   r
   NrG   rH   rI   r   c                 ó”  •— ||dœ}t          ¦   «                              ¦   «          || _        || _        || _        t          j        t          j        |fi |¤Ž¦  «        | _	        t          j        t          j        |fi |¤Ž¦  «        | _
        |                      dt          j        |fi |¤Ž¦  «         |                      ¦   «          d S rK   ©rO   rP   rH   rI   r   rQ   rR   rS   rT   rU   rV   rX   rY   rZ   r[   s
            €r   rP   zEvoNorm2dB1.__init__–   óÃ   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ"ˆŒØ ˆŒØˆŒÝ”l¥5¤;¨|Ð#BÐ#B¸rÐ#BÐ#BÑCÔCˆŒÝ”L¥¤¨\Ð!@Ð!@¸RÐ!@Ð!@ÑAÔAˆŒ	Ø×Ò˜]­E¬J°|Ð,JÐ,JÀrÐ,JÐ,JÑKÔKÐKà×ÒÑÔÐÐÐr!   c                 ó–   — t           j                             | j        ¦  «         t           j                             | j        ¦  «         d S ra   ©rQ   rc   rd   rU   re   rV   rf   s    r   rZ   zEvoNorm2dB1.reset_parameters«   ó4   € Ý
Œ�Š�d”kÑ"Ô"Ð"Ý
Œ�Š�t”yÑ!Ô!Ð!Ð!Ð!r!   c                 óÈ  — t          |                     ¦   «         dk    d¦  «         |j        }d}| j        �rN| j        r¹|                     ¦   «                              dd¬¦  «        }|                     ¦   «         |j        d         z  }| j	         
                    | j	        d| j        z
  z  |                     ¦   «                              | j	        j        ¦  «        | j        z  ||dz
  z  z  z   ¦  «         n| j	        }|                     |¦  «                             |¦  «        }|                     | j        ¦  «                             ¦   «         }|dz   t%          || j        ¦  «        z  }||                     |¦  «        z  }|| j                             |¦  «                             |¦  «        z  | j                             |¦  «                             |¦  «        z   S ri   ©r	   r   r   rH   rl   r   r   rm   r   rN   rn   rI   ro   r   rp   r   r   rA   r*   rr   rU   rV   ©r\   r   r<   rs   r   rt   ru   rv   s           r   rw   zEvoNorm2dB1.forward¯   s£  € Ý�—’‘”˜1’Ð1Ñ2Ô2Ð2Ø”'ˆØˆØŒ>ñ 	$ØŒ}ð 'Ø—g’g‘i”i—m’m¨	¸E�mÑBÔB�Ø—G’G‘I”I ¤¨¤
Ñ*�ØÔ ×&Ò&ØÔ$¨¨D¬MÑ(9Ñ:Ø—J’J‘L”L—O’O DÔ$4Ô$:Ñ;Ô;¸d¼mÑKÈqÐTUÐXYÑTYÉ{Ñ[ñ\ñ]ô ]ð ]ð ]ð Ô&�Ø—&’&˜‘/”/×&Ò& wÑ/Ô/ˆCØ—7’7˜4œ8Ñ$Ô$×*Ò*Ñ,Ô,ˆDØ˜‘U�l¨1¨d¬hÑ7Ô7Ñ7ˆEØ�D—H’H˜U‘O”OÑ#ˆAØ�4”;×#Ò# GÑ,Ô,×/Ò/°Ñ8Ô8Ñ8¸4¼9¿>º>È'Ñ;RÔ;R×;UÒ;UÐV]Ñ;^Ô;^Ñ^Ð^r!   ©TrE   r
   NNrx   r   s   @r   r�   r�   •   óž   ø€ € € € € ð #Ø!ØØØð ð  àð ð ð ð ð	 ð
 ð ð  ð  ð  ð  ð  ð*"ð "ð "ð_ð _ð _ð _ð _ð _ð _r!   r�   c            	       óH   ‡ — e Zd Z	 	 	 	 	 ddedededefˆ fd	„Zd
„ Zd„ Zˆ xZ	S )ÚEvoNorm2dB2TrE   r
   NrG   rH   rI   r   c                 ó”  •— ||dœ}t          ¦   «                              ¦   «          || _        || _        || _        t          j        t          j        |fi |¤Ž¦  «        | _	        t          j        t          j        |fi |¤Ž¦  «        | _
        |                      dt          j        |fi |¤Ž¦  «         |                      ¦   «          d S rK   rƒ   r[   s
            €r   rP   zEvoNorm2dB2.__init__Ä   r„   r!   c                 ó–   — t           j                             | j        ¦  «         t           j                             | j        ¦  «         d S ra   r†   rf   s    r   rZ   zEvoNorm2dB2.reset_parametersÙ   r‡   r!   c                 óÂ  — t          |                     ¦   «         dk    d¦  «         |j        }d}| j        �rK| j        r¹|                     ¦   «                              dd¬¦  «        }|                     ¦   «         |j        d         z  }| j	         
                    | j	        d| j        z
  z  |                     ¦   «                              | j	        j        ¦  «        | j        z  ||dz
  z  z  z   ¦  «         n| j	        }|                     |¦  «                             |¦  «        }|                     | j        ¦  «                             ¦   «         }t%          || j        ¦  «        |z
  }||                     |¦  «        z  }|| j                             |¦  «                             |¦  «        z  | j                             |¦  «                             |¦  «        z   S ri   r‰   rŠ   s           r   rw   zEvoNorm2dB2.forwardÝ   sŸ  € Ý�—’‘”˜1’Ð1Ñ2Ô2Ð2Ø”'ˆØˆØŒ>ñ 	$ØŒ}ð 'Ø—g’g‘i”i—m’m¨	¸E�mÑBÔB�Ø—G’G‘I”I ¤¨¤
Ñ*�ØÔ ×&Ò&ØÔ$¨¨D¬MÑ(9Ñ:Ø—J’J‘L”L—O’O DÔ$4Ô$:Ñ;Ô;¸d¼mÑKÈqÐTUÐXYÑTYÉ{Ñ[ñ\ñ]ô ]ð ]ð ]ð Ô&�Ø—&’&˜‘/”/×&Ò& wÑ/Ô/ˆCØ—7’7˜4œ8Ñ$Ô$×*Ò*Ñ,Ô,ˆDÝ   D¤HÑ-Ô-°Ñ1ˆEØ�D—H’H˜U‘O”OÑ#ˆAØ�4”;×#Ò# GÑ,Ô,×/Ò/°Ñ8Ô8Ñ8¸4¼9¿>º>È'Ñ;RÔ;R×;UÒ;UÐV]Ñ;^Ô;^Ñ^Ð^r!   r‹   rx   r   s   @r   rŽ   rŽ   Ã   rŒ   r!   rŽ   c                   óZ   ‡ — e Zd Z	 	 	 	 	 	 ddededee         ded	ef
ˆ fd
„Zd„ Zd„ Z	ˆ xZ
S )ÚEvoNorm2dS0r/   NTr
   rG   r0   Ú
group_sizerH   r   c                 óÒ  •— ||dœ}	t          ¦   «                              ¦   «          || _        |r||z  dk    sJ ‚||z  | _        n|| _        || _        t          j        t          j        |fi |	¤Ž¦  «        | _	        t          j        t          j        |fi |	¤Ž¦  «        | _
        |r$t          j        t          j        |fi |	¤Ž¦  «        nd | _        |                      ¦   «          d S ©NrL   r   )rO   rP   rH   r0   r   rQ   rR   rS   rT   rU   rV   rW   rZ   )r\   rG   r0   r”   rH   r   rM   r   r]   r^   r_   s             €r   rP   zEvoNorm2dS0.__init__ò   sõ   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ"ˆŒØð 	!Ø *Ñ,°Ò1Ð1Ð1Ð1Ø&¨*Ñ4ˆDŒKˆKà ˆDŒKØˆŒÝ”l¥5¤;¨|Ð#BÐ#B¸rÐ#BÐ#BÑCÔCˆŒÝ”L¥¤¨\Ð!@Ð!@¸RÐ!@Ð!@ÑAÔAˆŒ	ØBKÐU•”�eœk¨,Ð=Ð=¸"Ð=Ð=Ñ>Ô>Ð>ÐQUˆŒà×ÒÑÔÐÐÐr!   c                 óð   — t           j                             | j        ¦  «         t           j                             | j        ¦  «         | j        �&t           j                             | j        ¦  «         d S d S ra   rb   rf   s    r   rZ   zEvoNorm2dS0.reset_parameters  rg   r!   c                 óð  — t          |                     ¦   «         dk    d¦  «         |j        }d}| j        �c| j                             |¦  «                             |¦  «        }|||z                       ¦   «         z  t          || j        | j	        ¦  «        z  }|| j
                             |¦  «                             |¦  «        z  | j                             |¦  «                             |¦  «        z   S ©Nr6   rj   rk   )r	   r   r   rW   rp   r   Úsigmoidr=   r0   r   rU   rV   )r\   r   r<   rs   rW   s        r   rw   zEvoNorm2dS0.forward  sÌ   € Ý�—’‘”˜1’Ð1Ñ2Ô2Ð2Ø”'ˆØˆØŒ6ÐØ”—’˜GÑ$Ô$×'Ò'¨Ñ0Ô0ˆAØ�Q˜‘U—O’OÑ%Ô%Ñ%­	°!°T´[À$Ä(Ñ(KÔ(KÑKˆAØ�4”;×#Ò# GÑ,Ô,×/Ò/°Ñ8Ô8Ñ8¸4¼9¿>º>È'Ñ;RÔ;R×;UÒ;UÐV]Ñ;^Ô;^Ñ^Ð^r!   )r/   NTr
   NN)ry   rz   r{   r|   r   r}   r   rP   rZ   rw   r~   r   s   @r   r“   r“   ñ   s¯   ø€ € € € € ð Ø(,Ø"ØØØð ð  àð ð ð ð ! œð	 ð
 ð ð ð ð  ð  ð  ð  ð  ð4"ð "ð "ð_ð _ð _ð _ð _ð _ð _r!   r“   c                   óT   ‡ — e Zd Z	 	 	 	 	 	 ddededee         ded	ef
ˆ fd
„Zd„ Zˆ xZ	S )ÚEvoNorm2dS0ar/   NTrF   rG   r0   r”   rH   r   c           	      óX   •— t          ¦   «                              |||||||¬¦  «         d S )N)r0   r”   rH   r   rM   r   ©rO   rP   )
r\   rG   r0   r”   rH   r   rM   r   r]   r_   s
            €r   rP   zEvoNorm2dS0a.__init__  sE   ø€ õ 	‰Œ×ÒØØØ!ØØØØð 	ñ 	
ô 	
ð 	
ð 	
ð 	
r!   c                 óø  — t          |                     ¦   «         dk    d¦  «         |j        }d}t          || j        | j        ¦  «        }| j        �G| j                             |¦  «                             |¦  «        }|||z   	                    ¦   «         z  }||z  }|| j
                             |¦  «                             |¦  «        z  | j                             |¦  «                             |¦  «        z   S r™   )r	   r   r   r=   r0   r   rW   rp   r   rš   rU   rV   )r\   r   r<   rs   ÚdrW   s         r   rw   zEvoNorm2dS0a.forward2  sÕ   € Ý�—’‘”˜1’Ð1Ñ2Ô2Ð2Ø”'ˆØˆÝ�a˜œ d¤hÑ/Ô/ˆØŒ6ÐØ”—’˜GÑ$Ô$×'Ò'¨Ñ0Ô0ˆAØ�Q˜‘U—O’OÑ%Ô%Ñ%ˆAØ�‰EˆØ�4”;×#Ò# GÑ,Ô,×/Ò/°Ñ8Ô8Ñ8¸4¼9¿>º>È'Ñ;RÔ;R×;UÒ;UÐV]Ñ;^Ô;^Ñ^Ð^r!   )r/   NTrF   NN)
ry   rz   r{   r|   r   r}   r   rP   rw   r~   r   s   @r   rœ   rœ     s    ø€ € € € € ð Ø(,Ø"ØØØð
ð 
àð
ð ð
ð ! œð	
ð
 ð
ð ð
ð 
ð 
ð 
ð 
ð 
ð*	_ð 	_ð 	_ð 	_ð 	_ð 	_ð 	_r!   rœ   c                   ó‚   ‡ — e Zd Z	 	 	 	 	 	 	 ddededee         ded	eeej                          d
e	fˆ fd„Z
d„ Zd„ Zˆ xZS )ÚEvoNorm2dS1r/   NTr
   rG   r0   r”   rH   Ú	act_layerr   c	                 ó  •— ||dœ}
t          ¦   «                              ¦   «          |pt          j        }|| _        |�|rt          |¦  «        | _        nt          j        ¦   «         | _        |r||z  dk    sJ ‚||z  | _        n|| _        || _	        d| _
        t          j        t          j        |fi |
¤Ž¦  «        | _        t          j        t          j        |fi |
¤Ž¦  «        | _        |                      ¦   «          d S )NrL   r   F)rO   rP   rQ   ÚSiLUrH   r   ÚactÚIdentityr0   r   Úpre_act_normrR   rS   rT   rU   rV   rZ   ©r\   rG   r0   r”   rH   r£   r   rM   r   r]   r^   r_   s              €r   rP   zEvoNorm2dS1.__init__?  s  ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØÐ(¥¤ˆ	Ø"ˆŒØÐ  YÐ Ý'¨	Ñ2Ô2ˆDŒHˆHå”{‘}”}ˆDŒHØð 	!Ø *Ñ,°Ò1Ð1Ð1Ð1Ø&¨*Ñ4ˆDŒKˆKà ˆDŒKØˆŒØ!ˆÔÝ”l¥5¤;¨|Ð#BÐ#B¸rÐ#BÐ#BÑCÔCˆŒÝ”L¥¤¨\Ð!@Ð!@¸RÐ!@Ð!@ÑAÔAˆŒ	à×ÒÑÔÐÐÐr!   c                 ó–   — t           j                             | j        ¦  «         t           j                             | j        ¦  «         d S ra   r†   rf   s    r   rZ   zEvoNorm2dS1.reset_parameters_  r‡   r!   c                 óŒ  — t          |                     ¦   «         dk    d¦  «         |j        }d}| j        r1|                      |¦  «        t          || j        | j        ¦  «        z  }|| j         	                    |¦  «         
                    |¦  «        z  | j         	                    |¦  «         
                    |¦  «        z   S r™   )r	   r   r   rH   r¦   r=   r0   r   rU   rp   r   rV   ©r\   r   r<   rs   s       r   rw   zEvoNorm2dS1.forwardc  ó¥   € Ý�—’‘”˜1’Ð1Ñ2Ô2Ð2Ø”'ˆØˆØŒ>ð 	BØ—’˜‘”�i¨¨4¬;¸¼ÑAÔAÑAˆAØ�4”;×#Ò# GÑ,Ô,×/Ò/°Ñ8Ô8Ñ8¸4¼9¿>º>È'Ñ;RÔ;R×;UÒ;UÐV]Ñ;^Ô;^Ñ^Ð^r!   ©r/   NTNr
   NN©ry   rz   r{   r|   r   r}   r   rQ   ÚModuler   rP   rZ   rw   r~   r   s   @r   r¢   r¢   >  sÈ   ø€ € € € € ð Ø(,Ø"Ø37ØØØð ð  àð ð ð ð ! œð	 ð
 ð ð    R¤Y¤Ô0ð ð ð ð  ð  ð  ð  ð  ð@"ð "ð "ð_ð _ð _ð _ð _ð _ð _r!   r¢   c                   ó|   ‡ — e Zd Z	 	 	 	 	 	 	 ddededee         ded	eeej                          d
e	fˆ fd„Z
d„ Zˆ xZS )ÚEvoNorm2dS1ar/   NTrF   rG   r0   r”   rH   r£   r   c	           
      óZ   •— t          ¦   «                              ||||||||¬¦  «         d S ©N)r0   r”   rH   r£   r   rM   r   rž   ©r\   rG   r0   r”   rH   r£   r   rM   r   r]   r_   s             €r   rP   zEvoNorm2dS1a.__init__m  óH   ø€ õ 	‰Œ×ÒØØØ!ØØØØØð 	ñ 		
ô 		
ð 		
ð 		
ð 		
r!   c                 ó~  — t          |                     ¦   «         dk    d¦  «         |j        }d}|                      |¦  «        t	          || j        | j        ¦  «        z  }|| j                             |¦  «         	                    |¦  «        z  | j
                             |¦  «         	                    |¦  «        z   S r™   )r	   r   r   r¦   r=   r0   r   rU   rp   r   rV   r¬   s       r   rw   zEvoNorm2dS1a.forward„  óš   € Ý�—’‘”˜1’Ð1Ñ2Ô2Ð2Ø”'ˆØˆØ�HŠH�Q‰KŒK�) A t¤{°D´HÑ=Ô=Ñ=ˆØ�4”;×#Ò# GÑ,Ô,×/Ò/°Ñ8Ô8Ñ8¸4¼9¿>º>È'Ñ;RÔ;R×;UÒ;UÐV]Ñ;^Ô;^Ñ^Ð^r!   ©r/   NTNrF   NN©ry   rz   r{   r|   r   r}   r   rQ   r°   r   rP   rw   r~   r   s   @r   r²   r²   l  ó¸   ø€ € € € € ð Ø(,Ø"Ø37ØØØð
ð 
àð
ð ð
ð ! œð	
ð
 ð
ð    R¤Y¤Ô0ð
ð ð
ð 
ð 
ð 
ð 
ð 
ð._ð _ð _ð _ð _ð _ð _r!   r²   c                   ó‚   ‡ — e Zd Z	 	 	 	 	 	 	 ddededee         ded	eeej                          d
e	fˆ fd„Z
d„ Zd„ Zˆ xZS )ÚEvoNorm2dS2r/   NTr
   rG   r0   r”   rH   r£   r   c	                 óö  •— ||dœ}
t          ¦   «                              ¦   «          |pt          j        }|| _        |�|rt          |¦  «        | _        nt          j        ¦   «         | _        |r||z  dk    sJ ‚||z  | _        n|| _        || _	        t          j
        t          j        |fi |
¤Ž¦  «        | _        t          j
        t          j        |fi |
¤Ž¦  «        | _        |                      ¦   «          d S r–   )rO   rP   rQ   r¥   rH   r   r¦   r§   r0   r   rR   rS   rT   rU   rV   rZ   r©   s              €r   rP   zEvoNorm2dS2.__init__�  sü   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØÐ(¥¤ˆ	Ø"ˆŒØÐ  YÐ Ý'¨	Ñ2Ô2ˆDŒHˆHå”{‘}”}ˆDŒHØð 	!Ø *Ñ,°Ò1Ð1Ð1Ð1Ø&¨*Ñ4ˆDŒKˆKà ˆDŒKØˆŒÝ”l¥5¤;¨|Ð#BÐ#B¸rÐ#BÐ#BÑCÔCˆŒÝ”L¥¤¨\Ð!@Ð!@¸RÐ!@Ð!@ÑAÔAˆŒ	à×ÒÑÔÐÐÐr!   c                 ó–   — t           j                             | j        ¦  «         t           j                             | j        ¦  «         d S ra   r†   rf   s    r   rZ   zEvoNorm2dS2.reset_parameters¬  r‡   r!   c                 óŒ  — t          |                     ¦   «         dk    d¦  «         |j        }d}| j        r1|                      |¦  «        t          || j        | j        ¦  «        z  }|| j         	                    |¦  «         
                    |¦  «        z  | j         	                    |¦  «         
                    |¦  «        z   S r™   )r	   r   r   rH   r¦   rB   r0   r   rU   rp   r   rV   r¬   s       r   rw   zEvoNorm2dS2.forward°  r­   r!   r®   r¯   r   s   @r   r½   r½   Œ  sÇ   ø€ € € € € ð Ø(,Ø"Ø37ØØØð ð  àð ð ð ð ! œð	 ð
 ð ð    R¤Y¤Ô0ð ð ð ð  ð  ð  ð  ð  ð>"ð "ð "ð_ð _ð _ð _ð _ð _ð _r!   r½   c                   ó|   ‡ — e Zd Z	 	 	 	 	 	 	 ddededee         ded	eeej                          d
e	fˆ fd„Z
d„ Zˆ xZS )ÚEvoNorm2dS2ar/   NTrF   rG   r0   r”   rH   r£   r   c	           
      óZ   •— t          ¦   «                              ||||||||¬¦  «         d S r´   rž   rµ   s             €r   rP   zEvoNorm2dS2a.__init__º  r¶   r!   c                 ó~  — t          |                     ¦   «         dk    d¦  «         |j        }d}|                      |¦  «        t	          || j        | j        ¦  «        z  }|| j                             |¦  «         	                    |¦  «        z  | j
                             |¦  «         	                    |¦  «        z   S r™   )r	   r   r   r¦   rB   r0   r   rU   rp   r   rV   r¬   s       r   rw   zEvoNorm2dS2a.forwardÑ  r¸   r!   r¹   rº   r   s   @r   rÂ   rÂ   ¹  r»   r!   rÂ   )r
   )F)r/   r
   F)r/   r
   FF)r/   r
   )$Ú__doc__Útypingr   r   r   r   rS   Útorch.nnrQ   Útorch.nn.functionalÚ
functionalÚFÚ
create_actr   Útrace_utilsr	   r   r    r$   r*   r|   r}   r#   r=   r?   rB   r°   rD   r�   rŽ   r“   rœ   r¢   r²   r½   rÂ   © r!   r   ú<module>rÎ      sš  ððð ð2 3Ð 2Ð 2Ð 2Ð 2Ð 2Ð 2Ð 2Ð 2Ð 2Ð 2Ð 2à €€€Ø Ð Ð Ð Ð Ð Ø Ð Ð Ð Ð Ð Ð Ð Ð à (Ð (Ð (Ð (Ð (Ð (Ø  Ð  Ð  Ð  Ð  Ð  ðð ˜ð ð ð ð ð
ð ˜Uð ð ð ð ðð ˜ð ð ð ð ð
ð �u˜S (¨3¤-Ð/Ô0ð ¸Dð ð ð ð ð
3ð 
3˜ð 
3¨ð 
3¸tð 
3ð 
3ð 
3ð 
3ðCð C˜Sð C¨Eð CÀDð CÐ[_ð Cð Cð Cð Cð3ð 3˜ð 3¨ð 3ð 3ð 3ð 3ð/_ð /_ð /_ð /_ð /_�"”)ñ /_ô /_ð /_ðd+_ð +_ð +_ð +_ð +_�"”)ñ +_ô +_ð +_ð\+_ð +_ð +_ð +_ð +_�"”)ñ +_ô +_ð +_ð\(_ð (_ð (_ð (_ð (_�"”)ñ (_ô (_ð (_ðV_ð _ð _ð _ð _�;ñ _ô _ð _ðD+_ð +_ð +_ð +_ð +_�"”)ñ +_ô +_ð +_ð\_ð _ð _ð _ð _�;ñ _ô _ð _ð@*_ð *_ð *_ð *_ð *_�"”)ñ *_ô *_ð *_ðZ_ð _ð _ð _ð _�;ñ _ô _ð _ð _ð _r!   