§
    ·¯¸j3  ã                   óP  — d Z ddlZddlmZ ddlmZ d„ Zd„ Z G d„ dej        j	        ¦  «        Z
d*d
„Z G d„ dej        ¦  «        Zd„ Zd„ Z G d„ dej        j	        ¦  «        Zd*d„Z G d„ dej        ¦  «        Zd*defd„Zd„ Z G d„ dej        j	        ¦  «        Zd*defd„Z G d„ dej        ¦  «        Zd„ Zd„ Z G d„ dej        j	        ¦  «        Zd*d „Z G d!„ d"ej        ¦  «        Zd#„ Zd$„ Z G d%„ d&ej        j	        ¦  «        Z d*defd'„Z! G d(„ d)ej        ¦  «        Z"dS )+a~   Activations (memory-efficient w/ custom autograd)

A collection of activations fn and modules with a common interface so that they can
easily be swapped. All have an `inplace` arg even if not used.

These activations are not compatible with jit scripting or ONNX export of the model, please use
basic versions of the activations.

Hacked together by / Copyright 2020 Ross Wightman
é    N)Únn)Ú
functionalc                 óP   — |                       t          j        | ¦  «        ¦  «        S ©N)ÚmulÚtorchÚsigmoid©Úxs    új/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/timm/layers/activations_me.pyÚ	swish_fwdr      s   € Ø�5Š5•”˜qÑ!Ô!Ñ"Ô"Ð"ó    c                 óL   — t          j        | ¦  «        }||d| d|z
  z  z   z  z  S ©Né   )r   r	   )r   Úgrad_outputÚ	x_sigmoids      r   Ú	swish_bwdr      s/   € Ý”˜aÑ Ô €IØ˜) q¨1°°I±Ñ+>Ñ'>Ñ?Ñ@Ð@r   c                   óT   — e Zd ZdZed„ ¦   «         Zed„ ¦   «         Zed„ ¦   «         ZdS )ÚSwishAutoFnz² optimised Swish w/ memory-efficient checkpoint
    Inspired by conversation btw Jeremy Howard & Adam Pazske
    https://twitter.com/jeremyphoward/status/1188251041835315200
    c                 óX   — |                       d||                       d|¦  «        ¦  «        S )NÚMulÚSigmoid)Úop)Úgr   s     r   ÚsymboliczSwishAutoFn.symbolic   s&   € à�tŠt�E˜1˜aŸdšd 9¨aÑ0Ô0Ñ1Ô1Ð1r   c                 óJ   — |                       |¦  «         t          |¦  «        S r   )Úsave_for_backwardr   ©Úctxr   s     r   ÚforwardzSwishAutoFn.forward#   s"   € à×Ò˜aÑ Ô Ð Ý˜‰|Œ|Ðr   c                 ó<   — | j         d         }t          ||¦  «        S ©Nr   )Úsaved_tensorsr   ©r    r   r   s      r   ÚbackwardzSwishAutoFn.backward(   s   € àÔ˜aÔ ˆÝ˜˜KÑ(Ô(Ð(r   N)Ú__name__Ú
__module__Ú__qualname__Ú__doc__Ústaticmethodr   r!   r&   © r   r   r   r      so   € € € € € ðð ð ð2ð 2ñ „\ð2ð ðð ñ „\ðð ð)ð )ñ „\ð)ð )ð )r   r   Fc                 ó6   — t                                | ¦  «        S r   ©r   Úapply©r   Úinplaces     r   Úswish_mer2   .   s   € Ý×Ò˜QÑÔÐr   c                   ó,   ‡ — e Zd Zddefˆ fd„Zd„ Zˆ xZS )ÚSwishMeFr1   c                 óH   •— t          ¦   «                              ¦   «          d S r   ©ÚsuperÚ__init__©Úselfr1   Ú	__class__s     €r   r8   zSwishMe.__init__3   ó   ø€ Ý‰Œ×ÒÑÔÐÐÐr   c                 ó6   — t                                |¦  «        S r   r.   ©r:   r   s     r   r!   zSwishMe.forward6   s   € Ý× Ò  Ñ#Ô#Ð#r   ©F©r'   r(   r)   Úboolr8   r!   Ú__classcell__©r;   s   @r   r4   r4   2   sX   ø€ € € € € ðð  ð ð ð ð ð ð ð$ð $ð $ð $ð $ð $ð $r   r4   c                 ót   — |                       t          j        t          j        | ¦  «        ¦  «        ¦  «        S r   )r   r   ÚtanhÚFÚsoftplusr
   s    r   Úmish_fwdrH   :   s&   € Ø�5Š5•”�AœJ q™MœMÑ*Ô*Ñ+Ô+Ð+r   c                 ó¾   — t          j        | ¦  «        }t          j        | ¦  «                             ¦   «         }|                     || |z  d||z  z
  z  z   ¦  «        S r   )r   r	   rF   rG   rE   r   )r   r   r   Ú	x_tanh_sps       r   Úmish_bwdrK   >   sT   € Ý”˜aÑ Ô €IÝ”
˜1‘”×"Ò"Ñ$Ô$€IØ�?Š?˜9 q¨9¡}¸¸IÈ	Ñ<QÑ8QÑ'RÑRÑSÔSÐSr   c                   ó>   — e Zd ZdZed„ ¦   «         Zed„ ¦   «         ZdS )Ú
MishAutoFnz‘ Mish: A Self Regularized Non-Monotonic Neural Activation Function - https://arxiv.org/abs/1908.08681
    A memory efficient variant of Mish
    c                 óJ   — |                       |¦  «         t          |¦  «        S r   )r   rH   r   s     r   r!   zMishAutoFn.forwardH   s"   € à×Ò˜aÑ Ô Ð Ý˜‰{Œ{Ðr   c                 ó<   — | j         d         }t          ||¦  «        S r#   )r$   rK   r%   s      r   r&   zMishAutoFn.backwardM   s   € àÔ˜aÔ ˆÝ˜˜;Ñ'Ô'Ð'r   N©r'   r(   r)   r*   r+   r!   r&   r,   r   r   rM   rM   D   sT   € € € € € ðð ð ðð ñ „\ðð ð(ð (ñ „\ð(ð (ð (r   rM   c                 ó6   — t                                | ¦  «        S r   ©rM   r/   r0   s     r   Úmish_merS   S   s   € Ý×Ò˜AÑÔÐr   c                   ó,   ‡ — e Zd Zddefˆ fd„Zd„ Zˆ xZS )ÚMishMeFr1   c                 óH   •— t          ¦   «                              ¦   «          d S r   r6   r9   s     €r   r8   zMishMe.__init__X   r<   r   c                 ó6   — t                                |¦  «        S r   rR   r>   s     r   r!   zMishMe.forward[   s   € Ý×Ò Ñ"Ô"Ð"r   r?   r@   rC   s   @r   rU   rU   W   sX   ø€ € € € € ðð  ð ð ð ð ð ð ð#ð #ð #ð #ð #ð #ð #r   rU   r1   c                 ó\   — | dz                         dd¬¦  «                             d¦  «        S ©Né   r   é   ©ÚminÚmaxç      @©ÚclampÚdivr0   s     r   Úhard_sigmoid_fwdrc   _   s*   € Ø�‰E�=Š=˜Q Aˆ=Ñ&Ô&×*Ò*¨2Ñ.Ô.Ð.r   c                 óV   — t          j        | ¦  «        | dk    | dk    z  z  dz  }||z  S )Nç      Àç      @r_   )r   Ú	ones_like©r   r   Úms      r   Úhard_sigmoid_bwdrj   c   s2   € ÝŒ˜ÑÔ˜q Cšx¨A°ªGÑ4Ñ5¸Ñ:€AØ˜‰?Ðr   c                   ó:   — e Zd Zed„ ¦   «         Zed„ ¦   «         ZdS )ÚHardSigmoidAutoFnc                 óJ   — |                       |¦  «         t          |¦  «        S r   )r   rc   r   s     r   r!   zHardSigmoidAutoFn.forwardi   s$   € à×Ò˜aÑ Ô Ð Ý Ñ"Ô"Ð"r   c                 ó<   — | j         d         }t          ||¦  «        S r#   )r$   rj   r%   s      r   r&   zHardSigmoidAutoFn.backwardn   s   € àÔ˜aÔ ˆÝ  ;Ñ/Ô/Ð/r   N)r'   r(   r)   r+   r!   r&   r,   r   r   rl   rl   h   sH   € € € € € Øð#ð #ñ „\ð#ð ð0ð 0ñ „\ð0ð 0ð 0r   rl   c                 ó6   — t                                | ¦  «        S r   ©rl   r/   r0   s     r   Úhard_sigmoid_merq   t   s   € Ý×"Ò" 1Ñ%Ô%Ð%r   c                   ó,   ‡ — e Zd Zddefˆ fd„Zd„ Zˆ xZS )ÚHardSigmoidMeFr1   c                 óH   •— t          ¦   «                              ¦   «          d S r   r6   r9   s     €r   r8   zHardSigmoidMe.__init__y   r<   r   c                 ó6   — t                                |¦  «        S r   rp   r>   s     r   r!   zHardSigmoidMe.forward|   s   € Ý ×&Ò& qÑ)Ô)Ð)r   r?   r@   rC   s   @r   rs   rs   x   sX   ø€ € € € € ðð  ð ð ð ð ð ð ð*ð *ð *ð *ð *ð *ð *r   rs   c                 ób   — | | dz                         dd¬¦  «                             d¦  «        z  S rY   r`   r
   s    r   Úhard_swish_fwdrw   €   s/   € Ø��A‘�}Š} ¨ˆ}Ñ*Ô*×.Ò.¨rÑ2Ô2Ñ2Ð2r   c                 ó�   — t          j        | ¦  «        | dk    z  }t          j        | dk    | dk    z  | dz  dz   |¦  «        }||z  S )Nrf   re   ç      à?©r   rg   Úwhererh   s      r   Úhard_swish_bwdr|   „   sL   € ÝŒ˜ÑÔ˜a 2šgÑ&€AÝŒ�Q˜#’X ! r¢'Ñ*¨Q°©V°b©[¸!Ñ<Ô<€AØ˜‰?Ðr   c                   óT   — e Zd ZdZed„ ¦   «         Zed„ ¦   «         Zed„ ¦   «         ZdS )ÚHardSwishAutoFnz'A memory efficient HardSwish activationc                 óJ   — |                       |¦  «         t          |¦  «        S r   )r   rw   r   s     r   r!   zHardSwishAutoFn.forwardŒ   s$   € à×Ò˜aÑ Ô Ð Ý˜aÑ Ô Ð r   c                 ó<   — | j         d         }t          ||¦  «        S r#   )r$   r|   r%   s      r   r&   zHardSwishAutoFn.backward‘   s   € àÔ˜aÔ ˆÝ˜a Ñ-Ô-Ð-r   c                 óT  — |                       d||                       dt          j        dt          j        ¬¦  «        ¬¦  «        ¦  «        }|                       d||                       dt          j        dt          j        ¬¦  «        ¬¦  «        |                       dt          j        dt          j        ¬¦  «        ¬¦  «        ¦  «        }|                       d	||                       dt          j        dt          j        ¬¦  «        ¬¦  «        ¦  «        }|                       d
||¦  «        S )NÚAddÚConstantrZ   )Údtype)Úvalue_tÚClipr   r[   ÚDivr   )r   r   ÚtensorÚfloat)r   r:   ÚinputÚ	hardtanh_s       r   r   zHardSwishAutoFn.symbolic–   s  € à—’�U˜D !§$¢$ z½5¼<ÈÕQVÔQ\Ð;]Ñ;]Ô;] $Ñ"^Ô"^Ñ_Ô_ˆØ—D’D˜ ¨¯ª¨ZÅÄÈaÕW\ÔWbÐAcÑAcÔAc¨Ñ(dÔ(dÐfg×fjÒfjÐkuõ  @Eô  @Lð  MNõ  V[ô  Vað  @bñ  @bô  @bÐfjñ  gcô  gcñ  dô  dˆ	Ø—D’D˜ 	¨1¯4ª4°
ÅEÄLÐQRÕZ_ÔZeÐDfÑDfÔDf¨4Ñ+gÔ+gÑhÔhˆ	Ø�tŠt�E˜4 Ñ+Ô+Ð+r   N)r'   r(   r)   r*   r+   r!   r&   r   r,   r   r   r~   r~   Š   si   € € € € € Ø1Ð1Øð!ð !ñ „\ð!ð ð.ð .ñ „\ð.ð ð,ð ,ñ „\ð,ð ,ð ,r   r~   c                 ó6   — t                                | ¦  «        S r   ©r~   r/   r0   s     r   Úhard_swish_merŽ   ž   s   € Ý× Ò  Ñ#Ô#Ð#r   c                   ó,   ‡ — e Zd Zddefˆ fd„Zd„ Zˆ xZS )ÚHardSwishMeFr1   c                 óH   •— t          ¦   «                              ¦   «          d S r   r6   r9   s     €r   r8   zHardSwishMe.__init__£   r<   r   c                 ó6   — t                                |¦  «        S r   r�   r>   s     r   r!   zHardSwishMe.forward¦   s   € Ý×$Ò$ QÑ'Ô'Ð'r   r?   r@   rC   s   @r   r�   r�   ¢   sX   ø€ € € € € ðð  ð ð ð ð ð ð ð(ð (ð (ð (ð (ð (ð (r   r�   c                 óB   — d| z  | dz                         dd¬¦  «        z  S )Nry   é   r   r\   )ra   r
   s    r   Úhard_mish_fwdr•   ª   s%   € Ø�‰7�a˜!‘e—]’] q¨a�]Ñ0Ô0Ñ0Ð0r   c                 óŠ   — t          j        | ¦  «        | dk    z  }t          j        | dk    | dk    z  | dz   |¦  «        }||z  S )Ng       Àg        g      ð?rz   rh   s      r   Úhard_mish_bwdr—   ®   sH   € ÝŒ˜ÑÔ˜a 3šhÑ'€AÝŒ�Q˜#’X ! r¢'Ñ*¨A°©F°AÑ6Ô6€AØ˜‰?Ðr   c                   ó>   — e Zd ZdZed„ ¦   «         Zed„ ¦   «         ZdS )ÚHardMishAutoFnzÕ A memory efficient variant of Hard Mish
    Experimental, based on notes by Mish author Diganta Misra at
      https://github.com/digantamisra98/H-Mish/blob/0da20d4bc58e696b6803f2523c58d3c8a82782d0/README.md
    c                 óJ   — |                       |¦  «         t          |¦  «        S r   )r   r•   r   s     r   r!   zHardMishAutoFn.forward¹   s$   € à×Ò˜aÑ Ô Ð Ý˜QÑÔÐr   c                 ó<   — | j         d         }t          ||¦  «        S r#   )r$   r—   r%   s      r   r&   zHardMishAutoFn.backward¾   s   € àÔ˜aÔ ˆÝ˜Q Ñ,Ô,Ð,r   NrP   r,   r   r   r™   r™   ´   sT   € € € € € ðð ð ð ð  ñ „\ð ð ð-ð -ñ „\ð-ð -ð -r   r™   c                 ó6   — t                                | ¦  «        S r   ©r™   r/   r0   s     r   Úhard_mish_merž   Ä   s   € Ý×Ò Ñ"Ô"Ð"r   c                   ó,   ‡ — e Zd Zddefˆ fd„Zd„ Zˆ xZS )Ú
HardMishMeFr1   c                 óH   •— t          ¦   «                              ¦   «          d S r   r6   r9   s     €r   r8   zHardMishMe.__init__É   r<   r   c                 ó6   — t                                |¦  «        S r   r�   r>   s     r   r!   zHardMishMe.forwardÌ   s   € Ý×#Ò# AÑ&Ô&Ð&r   r?   r@   rC   s   @r   r    r    È   sX   ø€ € € € € ðð  ð ð ð ð ð ð ð'ð 'ð 'ð 'ð 'ð 'ð 'r   r    r?   )#r*   r   r   Útorch.nnr   rF   r   r   ÚautogradÚFunctionr   r2   ÚModuler4   rH   rK   rM   rS   rU   rA   rc   rj   rl   rq   rs   rw   r|   r~   rŽ   r�   r•   r—   r™   rž   r    r,   r   r   ú<module>r§      s8  ðð	ð 	ð €€€Ø Ð Ð Ð Ð Ð Ø $Ð $Ð $Ð $Ð $Ð $ð#ð #ð #ðAð Að Að
)ð )ð )ð )ð )�%”.Ô)ñ )ô )ð )ð( ð  ð  ð  ð$ð $ð $ð $ð $ˆbŒiñ $ô $ð $ð,ð ,ð ,ðTð Tð Tð(ð (ð (ð (ð (�”Ô(ñ (ô (ð (ðð ð ð ð#ð #ð #ð #ð #ˆRŒYñ #ô #ð #ð/ð / ð /ð /ð /ð /ðð ð ð
	0ð 	0ð 	0ð 	0ð 	0˜œÔ/ñ 	0ô 	0ð 	0ð&ð & ð &ð &ð &ð &ð*ð *ð *ð *ð *�B”Iñ *ô *ð *ð3ð 3ð 3ðð ð ð,ð ,ð ,ð ,ð ,�e”nÔ-ñ ,ô ,ð ,ð($ð $ð $ð $ð(ð (ð (ð (ð (�"”)ñ (ô (ð (ð1ð 1ð 1ðð ð ð-ð -ð -ð -ð -�U”^Ô,ñ -ô -ð -ð #ð #˜Tð #ð #ð #ð #ð'ð 'ð 'ð 'ð '�”ñ 'ô 'ð 'ð 'ð 'r   