§
    ·¯¸j!  ã                   ó–  — d Z ddlmZmZ ddlZddlmZ 	 ddlm	Z	 dZ
n# e$ r dZ
Y nw xY w	 ddlmZmZ dZn# e$ r dZY nw xY w eed	¦  «        Zdad defd„Zd defd„Zd„ Zd!d„Z	 	 	 d"dej        dedeej                 deej                 dedej        fd„Z	 	 	 d"dej        dee         deej                 deej                 dedej        fd„Z	 	 d#dej        dee         deej                 defd„Z	 	 d#dej        dee         deej                 dedej        f
d„Z	 	 d#dej        dee         deej                 defd„Z	 	 d#dej        dee         deej                 dedej        f
d„Z	 	 d#dej        dee         deej                 defd„Z 	 	 d#dej        dee         deej                 dedej        f
d„Z!dS )$a   'Fast' Normalization Functions

For GroupNorm and LayerNorm these functions bypass typical AMP upcast to float32.

Additionally, for LayerNorm, the APEX fused LN is used if available (which also does not upcast)

Hacked together by / Copyright 2022 Ross Wightman
é    )ÚListÚOptionalN)Ú
functional)Úfused_layer_norm_affineTF)Úfused_rms_norm_affineÚfused_rms_normÚrms_normÚcudaÚdevicec                 óÆ   — 	 t          j        | ¦  «        S # t          t          f$ r9 | dk    rt          j        ¦   «         cY S | dk    sJ ‚t          j        ¦   «         cY S w xY w©NÚcpur
   )ÚtorchÚget_autocast_dtypeÚAttributeErrorÚ	TypeErrorÚget_autocast_cpu_dtypeÚget_autocast_gpu_dtype©r   s    úe/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/timm/layers/fast_norm.pyr   r   !   s|   € ð2ÝÔ'¨Ñ/Ô/Ð/øÝ�IÐ&ð 2ð 2ð 2à�UŠ?ˆ?ÝÔ/Ñ1Ô1Ð1Ð1Ð1à˜VÒ#Ð#Ð#Ð#ÝÔ/Ñ1Ô1Ð1Ð1Ð1ð2øøøs   ‚ –*A ÁA ÁA c                 ó¸   — 	 t          j        | ¦  «        S # t          $ r9 | dk    rt          j        ¦   «         cY S | dk    sJ ‚t          j        ¦   «         cY S w xY wr   )r   Úis_autocast_enabledr   Úis_autocast_cpu_enabledr   s    r   r   r   -   sw   € ð/ÝÔ(¨Ñ0Ô0Ð0øÝð /ð /ð /à�UŠ?ˆ?ÝÔ0Ñ2Ô2Ð2Ð2Ð2à˜VÒ#Ð#Ð#Ð#ÝÔ,Ñ.Ô.Ð.Ð.Ð.ð/øøøs   ‚ –#A»AÁAc                  ó   — t           S ©N©Ú_USE_FAST_NORM© ó    r   Úis_fast_normr    9   s   € ÝÐr   c                 ó
   — | a d S r   r   )Úenables    r   Úset_fast_normr#   =   s   € à€N€N€Nr   çñhãˆµøä>ÚxÚ
num_groupsÚweightÚbiasÚepsÚreturnc                 ó  — t           j                             ¦   «         rt          j        | ||||¦  «        S t          | j        j        ¦  «        r`t          | j        j        ¦  «        }|  	                    |¦  «        |�| 	                    |¦  «        nd |�| 	                    |¦  «        nd }}} t           j
                             | j        j        d¬¦  «        5  t          j        | ||||¦  «        cd d d ¦  «         S # 1 swxY w Y   d S ©NF©Údevice_typeÚenabled)r   ÚjitÚis_scriptingÚFÚ
group_normr   r   Útyper   ÚtoÚampÚautocast)r%   r&   r'   r(   r)   Údts         r   Úfast_group_normr9   B   s5  € õ „y×ÒÑÔð >åŒ|˜A˜z¨6°4¸Ñ=Ô=Ð=å˜1œ8œ=Ñ)Ô)ð 
õ   ¤¤Ñ.Ô.ˆà�DŠD�‰HŒHØ#Ð/ˆF�IŠI�b‰MŒMˆM°TØÐ+ˆD�GŠG�B‰KŒKˆK°ð ˆ6ˆõ 
Œ×	Ò	¨¬¬¸uÐ	Ñ	EÔ	Eð >ð >ÝŒ|˜A˜z¨6°4¸Ñ=Ô=ð>ð >ð >ð >ñ >ô >ð >ð >ð >ð >ð >ð >øøøð >ð >ð >ð >ð >ð >s   ÃD Ä DÄDÚnormalized_shapec                 óN  — t           j                             ¦   «         rt          j        | ||||¦  «        S t
          rt          | ||||¦  «        S t          | j        j	        ¦  «        r`t          | j        j	        ¦  «        }|                      |¦  «        |�|                     |¦  «        nd |�|                     |¦  «        nd }}} t           j                             | j        j	        d¬¦  «        5  t          j        | ||||¦  «        cd d d ¦  «         S # 1 swxY w Y   d S r,   )r   r0   r1   r2   Ú
layer_normÚhas_apexr   r   r   r4   r   r5   r6   r7   )r%   r:   r'   r(   r)   r8   s         r   Úfast_layer_normr>   [   sl  € õ „y×ÒÑÔð DåŒ|˜AÐ/°¸¸sÑCÔCÐCåð OÝ& q¨&°$Ð8HÈ#ÑNÔNÐNå˜1œ8œ=Ñ)Ô)ð 
õ   ¤¤Ñ.Ô.ˆà�DŠD�‰HŒHØ#Ð/ˆF�IŠI�b‰MŒMˆM°TØÐ+ˆD�GŠG�B‰KŒKˆK°ð ˆ6ˆõ 
Œ×	Ò	¨¬¬¸uÐ	Ñ	EÔ	Eð Dð DÝŒ|˜AÐ/°¸¸sÑCÔCðDð Dð Dð Dñ Dô Dð Dð Dð Dð Dð Dð Døøøð Dð Dð Dð Dð Dð Ds   Ã5DÄDÄ!Dc                 ó¢  — t          |¦  «        }|                      d¦  «        }t          j                             ¦   «         r2|dk    sJ ‚t          j        |d¬¦  «                             d¦  «        }n9t          t          d| dz
  d¦  «        ¦  «        }t          j        ||d¬¦  «        }| t          j	        ||z   ¦  «        z  } |�| |z  } | S )Né   é   éÿÿÿÿ©ÚdimT©rD   Úkeepdim)
ÚlenÚpowr   r0   r1   ÚmeanÚ	unsqueezeÚtupleÚrangeÚrsqrt©r%   r:   r'   r)   Ú	norm_ndimÚvÚdimss          r   r	   r	   w   sË   € õ Ð$Ñ%Ô%€IØ	�Šˆa‰Œ€AÝ„y×ÒÑÔð 2ð ˜AŠ~ˆ~ˆ~ˆ~ÝŒJ�q˜bÐ!Ñ!Ô!×+Ò+¨BÑ/Ô/ˆˆå•U˜2 	˜z¨A™~¨rÑ2Ô2Ñ3Ô3ˆÝŒJ�q˜d¨DÐ1Ñ1Ô1ˆØ	�EŒK˜˜C™Ñ Ô Ñ €AØÐØ�‰JˆØ€Hr   c                 óf  — t           j                             ¦   «         rt          | |||¦  «        S t          r%|€t          | ||¦  «        S t          | |||¦  «        S t          | j        j	        ¦  «        rGt          | j        j	        ¦  «        }|                      |¦  «        |�|                     |¦  «        nd }} t           j                             | j        j	        d¬¦  «        5  t          rt          j        | |||¦  «        } nt          | |||¦  «        } d d d ¦  «         n# 1 swxY w Y   | S r,   )r   r0   r1   r	   Úhas_apex_rmsnormr   r   r   r   r4   r   r5   r6   r7   Úhas_torch_rms_normr2   ©r%   r:   r'   r)   r8   s        r   Úfast_rms_normrV   Ž   sb  € õ „y×ÒÑÔð :å˜Ð+¨V°SÑ9Ô9Ð9åð KØˆ>Ý! !Ð%5°sÑ;Ô;Ð;å(¨¨FÐ4DÀcÑJÔJÐJå˜1œ8œ=Ñ)Ô)ð Lõ   ¤¤Ñ.Ô.ˆØ—D’D˜‘H”H¨vÐ/A˜fŸiši¨™mœm˜mÀtˆ6ˆå	Œ×	Ò	¨¬¬¸uÐ	Ñ	EÔ	Eð ;ð ;Ýð 	;Ý”
˜1Ð.°¸Ñ<Ô<ˆAˆAå˜Ð,¨f°cÑ:Ô:ˆAð	;ð ;ð ;ñ ;ô ;ð ;ð ;ð ;ð ;ð ;ð ;øøøð ;ð ;ð ;ð ;ð €Hs   Ã(2D&Ä&D*Ä-D*c                 óö   — t          |¦  «        dk    sJ ‚|                      d¦  «        }t          j        |dd¬¦  «        }| t          j        ||z   ¦  «        z  } |�| |                     dddd¦  «        z  } | S )NrA   r@   TrE   rB   )rG   rH   r   rI   rM   Úreshape)r%   r:   r'   r)   rP   s        r   Ú
rms_norm2drY   ­   s‚   € õ ÐÑ Ô  AÒ%Ð%Ð%Ð%Ø	�Šˆa‰Œ€AÝŒ
�1˜! TÐ*Ñ*Ô*€AØ	�EŒK˜˜C™Ñ Ô Ñ €AØÐØ�—’˜q " a¨Ñ+Ô+Ñ+ˆØ€Hr   c                 óŽ  — t           j                             ¦   «         rt          | |||¦  «        S t          rX|                      dddd¦  «        } |€t          | ||¦  «        } nt          | |||¦  «        } |                      dddd¦  «        } | S t          | j	        j
        ¦  «        rGt          | j	        j
        ¦  «        }|                      |¦  «        |�|                     |¦  «        nd }} t           j                             | j	        j
        d¬¦  «        5  t          | |||¦  «        } d d d ¦  «         n# 1 swxY w Y   | S )Nr   r@   é   rA   Fr-   )r   r0   r1   rY   rS   Úpermuter   r   r   r   r4   r   r5   r6   r7   rU   s        r   Úfast_rms_norm2dr]   ¼   st  € õ „y×ÒÑÔð <å˜!Ð-¨v°sÑ;Ô;Ð;åð Ø�IŠI�a˜˜A˜qÑ!Ô!ˆØˆ>Ý˜qÐ"2°CÑ8Ô8ˆAˆAå% a¨Ð1AÀ3ÑGÔGˆAØ�IŠI�a˜˜A˜qÑ!Ô!ˆØˆå˜1œ8œ=Ñ)Ô)ð Lõ   ¤¤Ñ.Ô.ˆØ—D’D˜‘H”H¨vÐ/A˜fŸiši¨™mœm˜mÀtˆ6ˆå	Œ×	Ò	¨¬¬¸uÐ	Ñ	EÔ	Eð 9ð 9Ý�qÐ*¨F°CÑ8Ô8ˆð9ð 9ð 9ñ 9ô 9ð 9ð 9ð 9ð 9ð 9ð 9øøøð 9ð 9ð 9ð 9ð €Hs   ÄD:Ä:D>ÅD>c                 óx  — t          |¦  «        }t          j                             ¦   «         r2|dk    sJ ‚t          j        | d¬¦  «                             d¦  «        }n9t          t          d| dz
  d¦  «        ¦  «        }t          j        | |d¬¦  «        }| t          j        ||z   ¦  «        z  } |�| |z  } | S )NrA   rB   rC   TrE   )	rG   r   r0   r1   ÚvarrJ   rK   rL   rM   rN   s          r   Úsimple_normr`   Û   s¼   € õ Ð$Ñ%Ô%€IÝ„y×ÒÑÔð 1ð ˜AŠ~ˆ~ˆ~ˆ~ÝŒI�a˜RÐ Ñ Ô ×*Ò*¨2Ñ.Ô.ˆˆå•U˜2 	˜z¨A™~¨rÑ2Ô2Ñ3Ô3ˆÝŒI�a˜T¨4Ð0Ñ0Ô0ˆØ	�EŒK˜˜C™Ñ Ô Ñ €AØÐØ�‰JˆØ€Hr   c                 óÐ  — t           j                             ¦   «         rt          | |||¦  «        S t	          | j        j        ¦  «        rGt          | j        j        ¦  «        }|                      |¦  «        |�|                     |¦  «        nd }} t           j	         
                    | j        j        d¬¦  «        5  t          | |||¦  «        } d d d ¦  «         n# 1 swxY w Y   | S r,   )r   r0   r1   r`   r   r   r4   r   r5   r6   r7   rU   s        r   Úfast_simple_normrb   ñ   s
  € õ „y×ÒÑÔð =å˜1Ð.°¸Ñ<Ô<Ð<å˜1œ8œ=Ñ)Ô)ð Lõ   ¤¤Ñ.Ô.ˆØ—D’D˜‘H”H¨vÐ/A˜fŸiši¨™mœm˜mÀtˆ6ˆå	Œ×	Ò	¨¬¬¸uÐ	Ñ	EÔ	Eð :ð :Ý˜Ð+¨V°SÑ9Ô9ˆð:ð :ð :ñ :ô :ð :ð :ð :ð :ð :ð :øøøð :ð :ð :ð :à€Hs   Â<CÃCÃ"C)r
   )T)NNr$   )Nr$   )"Ú__doc__Útypingr   r   r   Útorch.nnr   r2   Ú#apex.normalization.fused_layer_normr   r=   ÚImportErrorr   r   rS   ÚhasattrrT   r   Ústrr   r   r    r#   ÚTensorÚintÚfloatr9   r>   r	   rV   rY   r]   r`   rb   r   r   r   ú<module>rm      sX  ððð ð "Ð !Ð !Ð !Ð !Ð !Ð !Ð !à €€€Ø $Ð $Ð $Ð $Ð $Ð $ðØKÐKÐKÐKÐKÐKØ€H€HøØð ð ð Ø€H€H€HðøøøðØYÐYÐYÐYÐYÐYÐYÐYØÐÐøØð ð ð ØÐÐÐðøøøð �W˜Q 
Ñ+Ô+Ð ð €ð	2ð 	2˜sð 	2ð 	2ð 	2ð 	2ð	/ð 	/ ð 	/ð 	/ð 	/ð 	/ðð ð ðð ð ð ð &*Ø#'Øð>ð >Ø„|ð>àð>ð �U”\Ô"ð>ð �5”<Ô
 ð	>ð
 
ð>ð „\ð>ð >ð >ð >ð8 &*Ø#'ØðDð DØ„|ðDà˜3”iðDð �U”\Ô"ðDð �5”<Ô
 ð	Dð
 
ðDð „\ðDð Dð Dð Dð> &*Øð	ð Ø„|ðà˜3”iðð �U”\Ô"ðð 
ð	ð ð ð ð4 &*Øð	ð Ø„|ðà˜3”iðð �U”\Ô"ðð 
ð	ð
 „\ðð ð ð ðD &*Øð	ð Ø„|ðà˜3”iðð �U”\Ô"ðð 
ð	ð ð ð ð$ &*Øð	ð Ø„|ðà˜3”iðð �U”\Ô"ðð 
ð	ð
 „\ðð ð ð ðD &*Øð	ð Ø„|ðà˜3”iðð �U”\Ô"ðð 
ð	ð ð ð ð2 &*Øð	ð Ø„|ðà˜3”iðð �U”\Ô"ðð 
ð	ð
 „\ðð ð ð ð ð s   – Ÿ)¨)­
8 ¸AÁA