§
    ·¯¸j„  ã                   ó¬  — d Z ddlZddlmZ ddlmZ d)defd„Z G d„ d	ej        ¦  «        Z	d)defd
„Z
 G d„ dej        ¦  «        Zd)defd„Z G d„ dej        ¦  «        Zd)defd„Z G d„ dej        ¦  «        Zd)defd„Z G d„ dej        ¦  «        Zd)defd„Z G d„ dej        ¦  «        Zd)defd„Z G d„ dej        ¦  «        Z G d„ dej        ¦  «        Zd)dej        dedej        fd „Z G d!„ d"ej        ¦  «        Zd)dej        dedej        fd#„Z G d$„ d%ej        ¦  «        Zd)dej        dedej        fd&„Z G d'„ d(ej        ¦  «        ZdS )*zÔ Activations

A collection of activations fn and modules with a common interface so that they can
easily be swapped. All have an `inplace` arg even if not used.

Hacked together by / Copyright 2020 Ross Wightman
é    N)Únn)Ú
functionalFÚinplacec                 ó¢   — |r'|                       |                      ¦   «         ¦  «        n&|                      |                      ¦   «         ¦  «        S )z;Swish - Described in: https://arxiv.org/abs/1710.05941
    )Úmul_ÚsigmoidÚmul©Úxr   s     úg/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/timm/layers/activations.pyÚswishr      s<   € ð #*ÐAˆ1�6Š6�!—)’)‘+”+ÑÔÐ¨q¯uªu°Q·Y²Y±[´[Ñ/AÔ/AÐAó    c                   ó,   ‡ — e Zd Zddefˆ fd„Zd„ Zˆ xZS )ÚSwishFr   c                 óV   •— t          ¦   «                              ¦   «          || _        d S ©N©ÚsuperÚ__init__r   ©Úselfr   Ú	__class__s     €r   r   zSwish.__init__   ó$   ø€ Ý‰Œ×ÒÑÔÐØˆŒˆˆr   c                 ó,   — t          || j        ¦  «        S r   )r   r   ©r   r   s     r   ÚforwardzSwish.forward   s   € Ý�Q˜œÑ%Ô%Ð%r   ©F©Ú__name__Ú
__module__Ú__qualname__Úboolr   r   Ú__classcell__©r   s   @r   r   r      sX   ø€ € € € € ðð  ð ð ð ð ð ð ð&ð &ð &ð &ð &ð &ð &r   r   c                 ót   — |                       t          j        | ¦  «                             ¦   «         ¦  «        S )zšMish: A Self Regularized Non-Monotonic Neural Activation Function - https://arxiv.org/abs/1908.08681
    NOTE: I don't have a working inplace variant
    )r	   ÚFÚsoftplusÚtanhr
   s     r   Úmishr)      s*   € ð �5Š5•”˜A‘”×#Ò#Ñ%Ô%Ñ&Ô&Ð&r   c                   ó0   ‡ — e Zd ZdZddefˆ fd„Zd„ Zˆ xZS )ÚMishziMish: A Self Regularized Non-Monotonic Neural Activation Function - https://arxiv.org/abs/1908.08681
    Fr   c                 óH   •— t          ¦   «                              ¦   «          d S r   ©r   r   r   s     €r   r   zMish.__init__'   ó   ø€ Ý‰Œ×ÒÑÔÐÐÐr   c                 ó    — t          |¦  «        S r   )r)   r   s     r   r   zMish.forward*   s   € Ý�A‰wŒwˆr   r   )r   r    r!   Ú__doc__r"   r   r   r#   r$   s   @r   r+   r+   $   sb   ø€ € € € € ðð ðð  ð ð ð ð ð ð ðð ð ð ð ð ð r   r+   c                 óV   — |r|                       ¦   «         n|                      ¦   «         S r   )Úsigmoid_r   r
   s     r   r   r   .   s!   € Ø"Ð3ˆ1�:Š:‰<Œ<ˆ<¨¯	ª	©¬Ð3r   c                   ó,   ‡ — e Zd Zddefˆ fd„Zd„ Zˆ xZS )ÚSigmoidFr   c                 óV   •— t          ¦   «                              ¦   «          || _        d S r   r   r   s     €r   r   zSigmoid.__init__4   r   r   c                 ó`   — | j         r|                     ¦   «         n|                     ¦   «         S r   )r   r2   r   r   s     r   r   zSigmoid.forward8   s#   € Ø#œ|Ð<ˆq�zŠz‰|Œ|ˆ|°·²±´Ð<r   r   r   r$   s   @r   r4   r4   3   sX   ø€ € € € € ðð  ð ð ð ð ð ð ð=ð =ð =ð =ð =ð =ð =r   r4   c                 óV   — |r|                       ¦   «         n|                      ¦   «         S r   )Útanh_r(   r
   s     r   r(   r(   <   s!   € ØÐ-ˆ1�7Š7‰9Œ9ˆ9 Q§V¢V¡X¤XÐ-r   c                   ó,   ‡ — e Zd Zddefˆ fd„Zd„ Zˆ xZS )ÚTanhFr   c                 óV   •— t          ¦   «                              ¦   «          || _        d S r   r   r   s     €r   r   zTanh.__init__B   r   r   c                 ó`   — | j         r|                     ¦   «         n|                     ¦   «         S r   )r   r8   r(   r   s     r   r   zTanh.forwardF   s#   € Ø œLÐ6ˆq�wŠw‰yŒyˆy¨a¯fªf©h¬hÐ6r   r   r   r$   s   @r   r:   r:   A   sX   ø€ € € € € ðð  ð ð ð ð ð ð ð7ð 7ð 7ð 7ð 7ð 7ð 7r   r:   c                 ó®   — t          j        | dz   ¦  «                             d¦  «        }|r|                      |¦  «        n|                      |¦  «        S )Nç      @ç      @)r&   Úrelu6Údiv_r   r	   )r   r   Úinners      r   Ú
hard_swishrC   J   sD   € ÝŒG�A˜‘F‰OŒO× Ò  Ñ$Ô$€EØ#Ð5ˆ1�6Š6�%‰=Œ=ˆ=¨¯ª¨u©¬Ð5r   c                   ó,   ‡ — e Zd Zddefˆ fd„Zd„ Zˆ xZS )Ú	HardSwishFr   c                 óV   •— t          ¦   «                              ¦   «          || _        d S r   r   r   s     €r   r   zHardSwish.__init__P   r   r   c                 ó,   — t          || j        ¦  «        S r   )rC   r   r   s     r   r   zHardSwish.forwardT   s   € Ý˜!˜Tœ\Ñ*Ô*Ð*r   r   r   r$   s   @r   rE   rE   O   sX   ø€ € € € € ðð  ð ð ð ð ð ð ð+ð +ð +ð +ð +ð +ð +r   rE   c                 ó²   — |r<|                       d¦  «                             dd¦  «                             d¦  «        S t          j        | dz   ¦  «        dz  S )Nr>   g        r?   )Úadd_Úclamp_rA   r&   r@   r
   s     r   Úhard_sigmoidrK   X   sO   € Øð $Ø�vŠv�b‰zŒz× Ò   RÑ(Ô(×-Ò-¨bÑ1Ô1Ð1åŒw�q˜2‘v‰Œ Ñ#Ð#r   c                   ó,   ‡ — e Zd Zddefˆ fd„Zd„ Zˆ xZS )ÚHardSigmoidFr   c                 óV   •— t          ¦   «                              ¦   «          || _        d S r   r   r   s     €r   r   zHardSigmoid.__init__`   r   r   c                 ó,   — t          || j        ¦  «        S r   )rK   r   r   s     r   r   zHardSigmoid.forwardd   s   € Ý˜A˜tœ|Ñ,Ô,Ð,r   r   r   r$   s   @r   rM   rM   _   sX   ø€ € € € € ðð  ð ð ð ð ð ð ð-ð -ð -ð -ð -ð -ð -r   rM   c                 ó¦   — |r0|                       d| dz                        dd¬¦  «        z  ¦  «        S d| z  | dz                        dd¬¦  «        z  S )z· Hard Mish
    Experimental, based on notes by Mish author Diganta Misra at
      https://github.com/digantamisra98/H-Mish/blob/0da20d4bc58e696b6803f2523c58d3c8a82782d0/README.md
    g      à?é   r   )ÚminÚmax)r   Úclampr
   s     r   Ú	hard_mishrU   h   sZ   € ð
 ð 5Ø�vŠv�c˜Q ™UŸMšM¨a°Q˜MÑ7Ô7Ñ7Ñ8Ô8Ð8à�Q‰w˜!˜a™%Ÿš¨1°!˜Ñ4Ô4Ñ4Ð4r   c                   ó,   ‡ — e Zd Zddefˆ fd„Zd„ Zˆ xZS )ÚHardMishFr   c                 óV   •— t          ¦   «                              ¦   «          || _        d S r   r   r   s     €r   r   zHardMish.__init__t   r   r   c                 ó,   — t          || j        ¦  «        S r   )rU   r   r   s     r   r   zHardMish.forwardx   s   € Ý˜˜DœLÑ)Ô)Ð)r   r   r   r$   s   @r   rW   rW   s   sX   ø€ € € € € ðð  ð ð ð ð ð ð ð*ð *ð *ð *ð *ð *ð *r   rW   c            	       óZ   ‡ — e Zd ZdZddedededd	fˆ fd
„Zdej	        dej	        fd„Z
ˆ xZS )ÚPReLUz)Applies PReLU (w/ dummy inplace arg)
    é   ç      Ð?FÚnum_parametersÚinitr   ÚreturnNc                 óN   •— t          ¦   «                              ||¬¦  «         d S )N)r^   r_   r-   )r   r^   r_   r   r   s       €r   r   zPReLU.__init__   s&   ø€ Ý‰Œ×Ò¨¸TÐÑBÔBÐBÐBÐBr   Úinputc                 ó6   — t          j        || j        ¦  «        S r   )r&   ÚpreluÚweight©r   rb   s     r   r   zPReLU.forward‚   s   € ÝŒw�u˜dœkÑ*Ô*Ð*r   )r\   r]   F)r   r    r!   r0   ÚintÚfloatr"   r   ÚtorchÚTensorr   r#   r$   s   @r   r[   r[   |   sš   ø€ € € € € ðð ðCð C sð C°eð CÈTð CÐ^bð Cð Cð Cð Cð Cð Cð+˜Uœ\ð +¨e¬lð +ð +ð +ð +ð +ð +ð +ð +r   r[   r   r`   c                 ó*   — t          j        | ¦  «        S r   ©r&   Úgelur
   s     r   rm   rm   †   s   € ÝŒ6�!‰9Œ9Ðr   c                   óN   ‡ — e Zd ZdZddefˆ fd„Zdej        dej        fd„Zˆ xZ	S )	ÚGELUúLApplies the Gaussian Error Linear Units function (w/ dummy inplace arg)
    Fr   c                 óH   •— t          ¦   «                              ¦   «          d S r   r-   r   s     €r   r   zGELU.__init__�   r.   r   rb   r`   c                 ó*   — t          j        |¦  «        S r   rl   rf   s     r   r   zGELU.forward�   s   € ÝŒv�e‰}Œ}Ðr   r   ©
r   r    r!   r0   r"   r   ri   rj   r   r#   r$   s   @r   ro   ro   Š   sy   ø€ € € € € ðð ðð  ð ð ð ð ð ð ð˜Uœ\ð ¨e¬lð ð ð ð ð ð ð ð r   ro   c                 ó.   — t          j        | d¬¦  «        S ©Nr(   )Úapproximaterl   r
   s     r   Ú	gelu_tanhrw   ”   s   € ÝŒ6�! Ð(Ñ(Ô(Ð(r   c                   óN   ‡ — e Zd ZdZddefˆ fd„Zdej        dej        fd„Zˆ xZ	S )	ÚGELUTanhrp   Fr   c                 óH   •— t          ¦   «                              ¦   «          d S r   r-   r   s     €r   r   zGELUTanh.__init__›   r.   r   rb   r`   c                 ó.   — t          j        |d¬¦  «        S ru   rl   rf   s     r   r   zGELUTanh.forwardž   s   € ÝŒv�e¨Ð0Ñ0Ô0Ð0r   r   rs   r$   s   @r   ry   ry   ˜   sy   ø€ € € € € ðð ðð  ð ð ð ð ð ð ð1˜Uœ\ð 1¨e¬lð 1ð 1ð 1ð 1ð 1ð 1ð 1ð 1r   ry   c                 ó6   — | t          j        d| z  ¦  «        z  S )Ng¬Zd;û?)ri   r   r
   s     r   Ú
quick_gelur}   ¢   s   € Ø�uŒ}˜U Q™YÑ'Ô'Ñ'Ð'r   c                   óN   ‡ — e Zd ZdZddefˆ fd„Zdej        dej        fd„Zˆ xZ	S )	Ú	QuickGELUrp   Fr   c                 óH   •— t          ¦   «                              ¦   «          d S r   r-   r   s     €r   r   zQuickGELU.__init__©   r.   r   rb   r`   c                 ó    — t          |¦  «        S r   )r}   rf   s     r   r   zQuickGELU.forward¬   s   € Ý˜%Ñ Ô Ð r   r   rs   r$   s   @r   r   r   ¦   sy   ø€ € € € € ðð ðð  ð ð ð ð ð ð ð!˜Uœ\ð !¨e¬lð !ð !ð !ð !ð !ð !ð !ð !r   r   r   )r0   ri   r   Útorch.nnr   r&   r"   r   ÚModuler   r)   r+   r   r4   r(   r:   rC   rE   rK   rM   rU   rW   r[   rj   rm   ro   rw   ry   r}   r   © r   r   ú<module>r…      s¨  ððð ð €€€Ø Ð Ð Ð Ð Ð Ø $Ð $Ð $Ð $Ð $Ð $ðBð B�dð Bð Bð Bð Bð&ð &ð &ð &ð &ˆBŒIñ &ô &ð &ð'ð '�Tð 'ð 'ð 'ð 'ðð ð ð ð ˆ2Œ9ñ ô ð ð4ð 4˜ð 4ð 4ð 4ð 4ð
=ð =ð =ð =ð =ˆbŒiñ =ô =ð =ð.ð .�Tð .ð .ð .ð .ð
7ð 7ð 7ð 7ð 7ˆ2Œ9ñ 7ô 7ð 7ð6ð 6˜4ð 6ð 6ð 6ð 6ð
+ð +ð +ð +ð +�”	ñ +ô +ð +ð$ð $˜Tð $ð $ð $ð $ð-ð -ð -ð -ð -�"”)ñ -ô -ð -ð5ð 5˜$ð 5ð 5ð 5ð 5ð*ð *ð *ð *ð *ˆrŒyñ *ô *ð *ð+ð +ð +ð +ð +ˆBŒHñ +ô +ð +ðð ˆEŒLð  4ð °E´Lð ð ð ð ðð ð ð ð ˆ2Œ9ñ ô ð ð)ð )�”ð )¨ð )¸¼ð )ð )ð )ð )ð1ð 1ð 1ð 1ð 1ˆrŒyñ 1ô 1ð 1ð(ð (�%”,ð (¨ð (¸%¼,ð (ð (ð (ð (ð!ð !ð !ð !ð !�”	ñ !ô !ð !ð !ð !r   