§
    ·¯¸jøM  ã                   ó^  — d Z ddlZddlmZ ddlZddlmZ ddlmc mZ	 ddl
mZmZmZmZmZmZmZmZ 	 ddlmZ n# e$ r	 ddl
mZ Y nw xY w G d„ dej        ¦  «        Z G d	„ d
ej        ¦  «        Z G d„ dej        ¦  «        Z G d„ dej        ¦  «        Z G d„ dej        ¦  «        Z G d„ dej        ¦  «        Zdej        defd„Zdej        dej        dej        defd„Zdej        dej        dej        defd„Z  G d„ dej        ¦  «        Z! G d„ dej"        ¦  «        Z# G d „ d!ej"        ¦  «        Z$ G d"„ d#ej"        ¦  «        Z% G d$„ d%ej"        ¦  «        Z& G d&„ d'ej"        ¦  «        Z' G d(„ d)ej"        ¦  «        Z( G d*„ d+ej"        ¦  «        Z) G d,„ d-ej"        ¦  «        Z*dS ).zº Normalization layers and wrappers

Norm layer definitions that support fast norm and consistent channel arg order (always first arg).

Hacked together by / Copyright 2022 Ross Wightman
é    N)ÚTupleé   )Úis_fast_normÚfast_group_normÚfast_layer_normÚfast_rms_normÚ
rms_norm2dÚfast_rms_norm2dÚfast_simple_normÚsimple_norm)Úrms_normc            	       ój   ‡ — e Zd ZU ej        j        e         ed<   	 	 	 ddedede	defˆ fd	„Z
d
„ Zˆ xZS )Ú	GroupNormÚ
_fast_normé    çñhãˆµøä>TÚnum_channelsÚ
num_groupsÚepsÚaffinec                 ój   •—  t          ¦   «         j        ||f||dœ|¤Ž t          ¦   «         | _        d S )N)r   r   ©ÚsuperÚ__init__r   r   )Úselfr   r   r   r   ÚkwargsÚ	__class__s         €ú`/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/timm/layers/norm.pyr   zGroupNorm.__init__"   s<   ø€ ð 	�‰ŒÔ˜ \ÐT°sÀ6ÐTÐTÈVÐTÐTÐTÝ&™.œ.ˆŒˆˆó    c                 ó¶   — | j         r't          || j        | j        | j        | j        ¦  «        S t          j        || j        | j        | j        | j        ¦  «        S ©N©r   r   r   ÚweightÚbiasr   ÚFÚ
group_norm©r   Úxs     r   ÚforwardzGroupNorm.forward.   óK   € ØŒ?ð 	VÝ" 1 d¤o°t´{ÀDÄIÈtÌxÑXÔXÐXå”<  4¤?°D´KÀÄÈDÌHÑUÔUÐUr   )r   r   T)Ú__name__Ú
__module__Ú__qualname__ÚtorchÚjitÚFinalÚboolÚ__annotations__ÚintÚfloatr   r)   Ú__classcell__©r   s   @r   r   r      s    ø€ € € € € € Ø”	” Ô%Ð%Ð%Ñ%ð
 !ØØð
)ð 
)àð
)ð ð
)ð ð	
)ð
 ð
)ð 
)ð 
)ð 
)ð 
)ð 
)ðVð Vð Vð Vð Vð Vð Vr   r   c                   óx   ‡ — e Zd ZU dZej        j        e         ed<   de	fˆ fd„Z
dej        dej        fd„Zˆ xZS )Ú
GroupNorm1zL Group Normalization with 1 group.
    Input: tensor in shape [B, C, *]
    r   r   c                 ód   •—  t          ¦   «         j        d|fi |¤Ž t          ¦   «         | _        d S )Nr   r   )r   r   r   r   s      €r   r   zGroupNorm1.__init__;   s3   ø€ Ø�‰ŒÔ˜˜LÐ3Ð3¨FÐ3Ð3Ð3Ý&™.œ.ˆŒˆˆr   r(   Úreturnc                 ó¶   — | j         r't          || j        | j        | j        | j        ¦  «        S t          j        || j        | j        | j        | j        ¦  «        S r!   r"   r'   s     r   r)   zGroupNorm1.forward?   r*   r   )r+   r,   r-   Ú__doc__r.   r/   r0   r1   r2   r3   r   ÚTensorr)   r5   r6   s   @r   r8   r8   5   s—   ø€ € € € € € ðð ð ”	” Ô%Ð%Ð%Ñ%ð) Sð )ð )ð )ð )ð )ð )ðV˜œð V¨%¬,ð Vð Vð Vð Vð Vð Vð Vð Vr   r8   c                   ó†   ‡ — e Zd ZU dZej        j        e         ed<   	 	 dde	de
defˆ fd„Zd	ej        d
ej        fd„Zˆ xZS )Ú	LayerNormz# LayerNorm w/ fast norm option
    r   ç�íµ ÷Æ°>Tr   r   r   c                 óh   •—  t          ¦   «         j        |f||dœ|¤Ž t          ¦   «         | _        d S ©N)r   Úelementwise_affiner   ©r   r   r   r   r   r   s        €r   r   zLayerNorm.__init__K   ó:   ø€ ð 	�‰ŒÔ˜ÐT¨3À6ÐTÐTÈVÐTÐTÐTÝ&™.œ.ˆŒˆˆr   r(   r:   c                 ó¼   — | j         r(t          || j        | j        | j        | j        ¦  «        }n,t          j        || j        | j        | j        | j        ¦  «        }|S r!   )r   r   Únormalized_shaper#   r$   r   r%   Ú
layer_normr'   s     r   r)   zLayerNorm.forwardU   sT   € ØŒ?ð 	YÝ  4Ô#8¸$¼+ÀtÄyÐRVÔRZÑ[Ô[ˆAˆAå”˜Q Ô 5°t´{ÀDÄIÈtÌxÑXÔXˆAØˆr   ©r@   T©r+   r,   r-   r<   r.   r/   r0   r1   r2   r3   r4   r   r=   r)   r5   r6   s   @r   r?   r?   F   s­   ø€ € € € € € ðð à”	” Ô%Ð%Ð%Ñ%ð
 Øð	)ð )àð)ð ð)ð ð	)ð )ð )ð )ð )ð )ð˜œð ¨%¬,ð ð ð ð ð ð ð ð r   r?   c                   óZ   ‡ — e Zd ZdZ	 	 ddededefˆ fd„Zdej	        d	ej	        fd
„Z
ˆ xZS )ÚLayerNormFp32z LayerNorm
    r@   Tr   r   r   c                 óB   •—  t          ¦   «         j        |f||dœ|¤Ž d S rB   ©r   r   rD   s        €r   r   zLayerNormFp32.__init__a   ó1   ø€ ð 	�‰ŒÔ˜ÐT¨3À6ÐTÐTÈVÐTÐTÐTÐTÐTr   r(   r:   c                 ó&  — | j         �| j                              ¦   «         nd }| j        �| j                             ¦   «         nd }t          j        |                     ¦   «         | j        ||| j        ¦  «                             |j        ¦  «        }|S r!   )	r#   r4   r$   r%   rH   rG   r   ÚtoÚdtype©r   r(   r#   r$   s       r   r)   zLayerNormFp32.forwardj   sy   € Ø(,¬Ð(?�”×"Ò"Ñ$Ô$Ð$ÀTˆØ$(¤IÐ$9ˆtŒy�ŠÑ Ô Ð ¸tˆÝŒL˜Ÿš™œ DÔ$9¸6À4ÈÌÑRÔR×UÒUÐVWÔV]Ñ^Ô^ˆØˆr   rI   ©r+   r,   r-   r<   r3   r4   r1   r   r.   r=   r)   r5   r6   s   @r   rL   rL   ]   s    ø€ € € € € ðð ð Øð	Uð UàðUð ðUð ð	Uð Uð Uð Uð Uð Uð˜œð ¨%¬,ð ð ð ð ð ð ð ð r   rL   c                   ó†   ‡ — e Zd ZU dZej        j        e         ed<   	 	 dde	de
defˆ fd„Zd	ej        d
ej        fd„Zˆ xZS )ÚLayerNorm2dú5 LayerNorm for channels of '2D' spatial NCHW tensors r   r@   Tr   r   r   c                 óh   •—  t          ¦   «         j        |f||dœ|¤Ž t          ¦   «         | _        d S rB   r   rD   s        €r   r   zLayerNorm2d.__init__u   rE   r   r(   r:   c                 ó  — |                      dddd¦  «        }| j        r(t          || j        | j        | j        | j        ¦  «        }n,t          j        || j        | j        | j        | j        ¦  «        }|                      dddd¦  «        }|S ©Nr   é   é   r   )	Úpermuter   r   rG   r#   r$   r   r%   rH   r'   s     r   r)   zLayerNorm2d.forward   s‚   € Ø�IŠI�a˜˜A˜qÑ!Ô!ˆØŒ?ð 	YÝ  4Ô#8¸$¼+ÀtÄyÐRVÔRZÑ[Ô[ˆAˆAå”˜Q Ô 5°t´{ÀDÄIÈtÌxÑXÔXˆAØ�IŠI�a˜˜A˜qÑ!Ô!ˆØˆr   rI   rJ   r6   s   @r   rV   rV   q   s©   ø€ € € € € € Ø?Ð?Ø”	” Ô%Ð%Ð%Ñ%ð
 Øð	)ð )àð)ð ð)ð ð	)ð )ð )ð )ð )ð )ð˜œð ¨%¬,ð ð ð ð ð ð ð ð r   rV   c                   óZ   ‡ — e Zd ZdZ	 	 ddededefˆ fd„Zdej	        d	ej	        fd
„Z
ˆ xZS )ÚLayerNorm2dFp32rW   r@   Tr   r   r   c                 óB   •—  t          ¦   «         j        |f||dœ|¤Ž d S rB   rN   rD   s        €r   r   zLayerNorm2dFp32.__init__Œ   rO   r   r(   r:   c                 ó†  — |                      dddd¦  «        }| j        �| j                             ¦   «         nd }| j        �| j                             ¦   «         nd }t	          j        |                     ¦   «         | j        ||| j        ¦  «                             |j	        ¦  «        }|                      dddd¦  «        }|S rZ   )
r]   r#   r4   r$   r%   rH   rG   r   rQ   rR   rS   s       r   r)   zLayerNorm2dFp32.forward•   s§   € Ø�IŠI�a˜˜A˜qÑ!Ô!ˆØ(,¬Ð(?�”×"Ò"Ñ$Ô$Ð$ÀTˆØ$(¤IÐ$9ˆtŒy�ŠÑ Ô Ð ¸tˆÝŒL˜Ÿš™œ DÔ$9¸6À4ÈÌÑRÔR×UÒUÐVWÔV]Ñ^Ô^ˆØ�IŠI�a˜˜A˜qÑ!Ô!ˆØˆr   rI   rT   r6   s   @r   r_   r_   ‰   sœ   ø€ € € € € Ø?Ð?ð
 Øð	Uð UàðUð ðUð ð	Uð Uð Uð Uð Uð Uð˜œð ¨%¬,ð ð ð ð ð ð ð ð r   r_   Útensorr:   c                 ó¦   — t           j                             ¦   «         r|                      ¦   «         S |                      t           j        ¬¦  «        S )N)Úmemory_format)r.   r/   Úis_scriptingÚis_contiguousÚcontiguous_format)rb   s    r   Ú_is_contiguousrh   ž   sE   € å„y×ÒÑÔð KØ×#Ò#Ñ%Ô%Ð%à×#Ò#µ%Ô2IÐ#ÑJÔJÐJr   r(   r#   r$   r   c                 ó²   — t          j        | ddd¬¦  «        \  }}| |z
  t          j        ||z   ¦  «        z  } | |d d …d d f         z  |d d …d d f         z   } | S )Nr   FT)ÚdimÚunbiasedÚkeepdim)r.   Úvar_meanÚrsqrt)r(   r#   r$   r   ÚsÚus         r   Ú_layer_norm_cfrq   ¦   sl   € ÝŒ>˜! ¨U¸DÐAÑAÔA�D€A€qØ	
ˆQ‰•%”+˜a #™gÑ&Ô&Ñ&€AØ	ˆF�1�1�1�d˜D�=Ô!Ñ! D¨¨¨¨D°$¨Ô$7Ñ7€AØ€Hr   c                 ó<  — |                       dd¬¦  «        }| | z                        dd¬¦  «        ||z  z
                       d¦  «        }| |z
  t          j        ||z   ¦  «        z  } | |                     dddd¦  «        z  |                     dddd¦  «        z   } | S )Nr   T)rj   rl   r   éÿÿÿÿ)ÚmeanÚclampr.   rn   Úview)r(   r#   r$   r   rp   ro   s         r   Ú_layer_norm_cf_sqmrw   ­   s›   € Ø	�Š�1˜dˆÑ#Ô#€AØ
ˆa‰%�Š˜! TˆÑ	*Ô	*¨a°!©eÑ	4×;Ò;¸AÑ>Ô>€AØ	
ˆQ‰•%”+˜a #™gÑ&Ô&Ñ&€AØ	ˆF�KŠK˜˜2˜q !Ñ$Ô$Ñ$ t§y¢y°°B¸¸1Ñ'=Ô'=Ñ=€AØ€Hr   c                   óD   ‡ — e Zd ZdZddedefˆ fd„Zdej        fd„Z	ˆ xZ
S )	ÚLayerNormExp2da_   LayerNorm for channels_first tensors with 2d spatial dimensions (ie N, C, H, W).

    Experimental implementation w/ manual norm for tensors non-contiguous tensors.

    This improves throughput in some scenarios (tested on Ampere GPU), esp w/ channels_last
    layout. However, benefits are not always clear and can perform worse on other GPUs.
    r@   r   r   c                 óN   •— t          ¦   «                              ||¬¦  «         d S )N)r   rN   )r   r   r   r   s      €r   r   zLayerNormExp2d.__init__¾   s&   ø€ Ý‰Œ×Ò˜¨3ÐÑ/Ô/Ð/Ð/Ð/r   r:   c                 ó  — t          |¦  «        rYt          j        |                     dddd¦  «        | j        | j        | j        | j        ¦  «                             dddd¦  «        }n!t          || j        | j        | j        ¦  «        }|S rZ   )	rh   r%   rH   r]   rG   r#   r$   r   rq   r'   s     r   r)   zLayerNormExp2d.forwardÁ   s‹   € Ý˜!ÑÔð 	DÝ”Ø—	’	˜!˜Q  1Ñ%Ô% tÔ'<¸d¼kÈ4Ì9ÐVZÔV^ñ`ô `ß`gÒ`gÐhiÐklÐnoÐqrÑ`sÔ`sð ˆAõ ˜q $¤+¨t¬y¸$¼(ÑCÔCˆAØˆr   )r@   )r+   r,   r-   r<   r3   r4   r   r.   r=   r)   r5   r6   s   @r   ry   ry   µ   sw   ø€ € € € € ðð ð0ð 0 Sð 0¨uð 0ð 0ð 0ð 0ð 0ð 0ð˜EœLð ð ð ð ð ð ð ð r   ry   c            	       ó¬   ‡ — e Zd ZU dZg d¢Zeedf         ed<   eed<   e	ed<   e	ed<   	 	 	 	 ddedede	dd
fˆ fd„Z
dd„Zdej        dej        fd„Zˆ xZS )ÚRmsNormú. RmsNorm w/ fast (apex) norm if available
    ©rG   r   rC   r   .rG   r   rC   r   r@   TNÚchannelsr   r:   c                 óº  •— ||dœ}t          ¦   «                              ¦   «          |}t          |t          j        ¦  «        r|f}t          |¦  «        | _        || _        || _        t          ¦   «         | _
        | j        r/t          j        t          j        | j        fi |¤Ž¦  «        | _        n|                      dd ¦  «         |                      ¦   «          d S ©N)ÚdevicerR   r#   ©r   r   Ú
isinstanceÚnumbersÚIntegralÚtuplerG   r   rC   r   r   ÚnnÚ	Parameterr.   Úemptyr#   Úregister_parameterÚreset_parameters©	r   r€   r   r   rƒ   rR   ÚddrG   r   s	           €r   r   zRmsNorm.__init__Ó   óÙ   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ#ÐÝÐ&­Ô(8Ñ9Ô9ð 	3à 0Ð2ÐÝ %Ð&6Ñ 7Ô 7ˆÔØˆŒØ"(ˆÔÝ&™.œ.ˆŒàÔ"ð 	4Ýœ,¥u¤{°4Ô3HÐ'OÐ'OÈBÐ'OÐ'OÑPÔPˆDŒKˆKà×#Ò# H¨dÑ3Ô3Ð3à×ÒÑÔÐÐÐr   c                 ó`   — | j         r&t          j                             | j        ¦  «         d S d S r!   ©rC   r‰   ÚinitÚones_r#   ©r   s    r   r�   zRmsNorm.reset_parametersí   ó3   € ØÔ"ð 	'ÝŒG�MŠM˜$œ+Ñ&Ô&Ð&Ð&Ð&ð	'ð 	'r   r(   c                 óš   — | j         r"t          || j        | j        | j        ¦  «        }n!t          || j        | j        | j        ¦  «        }|S r!   )r   r   rG   r#   r   r   r'   s     r   r)   zRmsNorm.forwardñ   sJ   € ð Œ?ð 	JÝ˜a Ô!6¸¼ÀTÄXÑNÔNˆAˆAå˜˜DÔ1°4´;ÀÄÑIÔIˆAØˆr   ©r@   TNN©r:   N©r+   r,   r-   r<   Ú__constants__r   r3   r2   r4   r1   r   r�   r.   r=   r)   r5   r6   s   @r   r}   r}   Ê   óü   ø€ € € € € € ðð àSÐSÐS€MØ˜C ˜H”oÐ%Ð%Ñ%Ø	€J€J�JØÐÐÑØÐÐÑð
 ØØØð ð  àð ð ð ð ð	 ð 
ð ð  ð  ð  ð  ð  ð4'ð 'ð 'ð 'ð˜œð ¨%¬,ð ð ð ð ð ð ð ð r   r}   c            	       ó¢   ‡ — e Zd ZU dZg d¢Zeedf         ed<   eed<   e	ed<   	 	 	 	 dd
edede	dd	fˆ fd„Z
dd„Zdej        dej        fd„Zˆ xZS )ÚRmsNormFp32r~   ©rG   r   rC   .rG   r   rC   r@   TNr€   r   r:   c                 ó”  •— ||dœ}t          ¦   «                              ¦   «          |}t          |t          j        ¦  «        r|f}t          |¦  «        | _        || _        || _        | j        r/t          j
        t          j        | j        fi |¤Ž¦  «        | _        n|                      dd ¦  «         |                      ¦   «          d S r‚   ©r   r   r…   r†   r‡   rˆ   rG   r   rC   r‰   rŠ   r.   r‹   r#   rŒ   r�   rŽ   s	           €r   r   zRmsNormFp32.__init__  óÎ   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ#ÐÝÐ&­Ô(8Ñ9Ô9ð 	3à 0Ð2ÐÝ %Ð&6Ñ 7Ô 7ˆÔØˆŒØ"(ˆÔàÔ"ð 	4Ýœ,¥u¤{°4Ô3HÐ'OÐ'OÈBÐ'OÐ'OÑPÔPˆDŒKˆKà×#Ò# H¨dÑ3Ô3Ð3à×ÒÑÔÐÐÐr   c                 ó`   — | j         r&t          j                             | j        ¦  «         d S d S r!   r’   r•   s    r   r�   zRmsNormFp32.reset_parameters  r–   r   r(   c                 óÖ   — | j         �| j                              ¦   «         nd }t          |                     ¦   «         | j        || j        ¦  «                             |j        ¦  «        }|S r!   )r#   r4   r   rG   r   rQ   rR   ©r   r(   r#   s      r   r)   zRmsNormFp32.forward   sV   € Ø(,¬Ð(?�”×"Ò"Ñ$Ô$Ð$ÀTˆÝ�Q—W’W‘Y”Y Ô 5°v¸t¼xÑHÔH×KÒKÈAÌGÑTÔTˆØˆr   r˜   r™   rš   r6   s   @r   rž   rž   û   óð   ø€ € € € € € ðð àEÐEÐE€MØ˜C ˜H”oÐ%Ð%Ñ%Ø	€J€J�JØÐÐÑð
 ØØØð ð  àð ð ð ð ð	 ð 
ð ð  ð  ð  ð  ð  ð2'ð 'ð 'ð 'ð˜œð ¨%¬,ð ð ð ð ð ð ð ð r   rž   c            	       ó¬   ‡ — e Zd ZU dZg d¢Zeedf         ed<   eed<   e	ed<   e	ed<   	 	 	 	 ddedede	dd
fˆ fd„Z
dd„Zdej        dej        fd„Zˆ xZS )Ú	RmsNorm2dáB   RmsNorm2D for NCHW tensors, w/ fast apex or cast norm if available

    NOTE: It's currently (2025-05-10) faster to use an eager 2d kernel that does reduction
    on dim=1 than to permute and use internal PyTorch F.rms_norm, this may change if something
    like https://github.com/pytorch/pytorch/pull/150576 lands.
    r   .rG   r   rC   r   r@   TNr€   r   r:   c                 óº  •— ||dœ}t          ¦   «                              ¦   «          |}t          |t          j        ¦  «        r|f}t          |¦  «        | _        || _        || _        t          ¦   «         | _
        | j        r/t          j        t          j        | j        fi |¤Ž¦  «        | _        n|                      dd ¦  «         |                      ¦   «          d S r‚   r„   rŽ   s	           €r   r   zRmsNorm2d.__init__3  r�   r   c                 ó`   — | j         r&t          j                             | j        ¦  «         d S d S r!   r’   r•   s    r   r�   zRmsNorm2d.reset_parametersM  r–   r   r(   c                 óš   — | j         r"t          || j        | j        | j        ¦  «        }n!t          || j        | j        | j        ¦  «        }|S r!   )r   r
   rG   r#   r   r	   r'   s     r   r)   zRmsNorm2d.forwardQ  sJ   € ð Œ?ð 	LÝ  4Ô#8¸$¼+ÀtÄxÑPÔPˆAˆAå˜1˜dÔ3°T´[À$Ä(ÑKÔKˆAØˆr   r˜   r™   rš   r6   s   @r   r¨   r¨   &  sÿ   ø€ € € € € € ðð ð TÐSÐS€MØ˜C ˜H”oÐ%Ð%Ñ%Ø	€J€J�JØÐÐÑØÐÐÑð
 ØØØð ð  àð ð ð ð ð	 ð 
ð ð  ð  ð  ð  ð  ð4'ð 'ð 'ð 'ð˜œð ¨%¬,ð ð ð ð ð ð ð ð r   r¨   c            	       ó¢   ‡ — e Zd ZU dZg d¢Zeedf         ed<   eed<   e	ed<   	 	 	 	 dd
edede	dd	fˆ fd„Z
dd„Zdej        dej        fd„Zˆ xZS )ÚRmsNorm2dFp32r©   rŸ   .rG   r   rC   r@   TNr€   r   r:   c                 ó”  •— ||dœ}t          ¦   «                              ¦   «          |}t          |t          j        ¦  «        r|f}t          |¦  «        | _        || _        || _        | j        r/t          j
        t          j        | j        fi |¤Ž¦  «        | _        n|                      dd ¦  «         |                      ¦   «          d S r‚   r¡   rŽ   s	           €r   r   zRmsNorm2dFp32.__init__g  r¢   r   c                 ó`   — | j         r&t          j                             | j        ¦  «         d S d S r!   r’   r•   s    r   r�   zRmsNorm2dFp32.reset_parameters€  r–   r   r(   c                 óÖ   — | j         �| j                              ¦   «         nd }t          |                     ¦   «         | j        || j        ¦  «                             |j        ¦  «        }|S r!   )r#   r4   r	   rG   r   rQ   rR   r¥   s      r   r)   zRmsNorm2dFp32.forward„  sV   € Ø(,¬Ð(?�”×"Ò"Ñ$Ô$Ð$ÀTˆÝ�q—w’w‘y”y $Ô"7¸ÀÄÑJÔJ×MÒMÈaÌgÑVÔVˆØˆr   r˜   r™   rš   r6   s   @r   r®   r®   [  só   ø€ € € € € € ðð ð FÐEÐE€MØ˜C ˜H”oÐ%Ð%Ñ%Ø	€J€J�JØÐÐÑð
 ØØØð ð  àð ð ð ð ð	 ð 
ð ð  ð  ð  ð  ð  ð2'ð 'ð 'ð 'ð˜œð ¨%¬,ð ð ð ð ð ð ð ð r   r®   c            	       ó¬   ‡ — e Zd ZU dZg d¢Zeedf         ed<   eed<   e	ed<   e	ed<   	 	 	 	 ddedede	dd
fˆ fd„Z
dd„Zdej        dej        fd„Zˆ xZS )Ú
SimpleNormú SimpleNorm (x / std(x))
    r   .rG   r   rC   r   r@   TNr€   r   r:   c                 óº  •— ||dœ}t          ¦   «                              ¦   «          |}t          |t          j        ¦  «        r|f}t          |¦  «        | _        || _        || _        t          ¦   «         | _
        | j        r/t          j        t          j        | j        fi |¤Ž¦  «        | _        n|                      dd ¦  «         |                      ¦   «          d S r‚   r„   rŽ   s	           €r   r   zSimpleNorm.__init__“  r�   r   c                 ó`   — | j         r&t          j                             | j        ¦  «         d S d S r!   r’   r•   s    r   r�   zSimpleNorm.reset_parameters­  r–   r   r(   c                 óš   — | j         r"t          || j        | j        | j        ¦  «        }n!t          || j        | j        | j        ¦  «        }|S r!   )r   r   rG   r#   r   r   r'   s     r   r)   zSimpleNorm.forward±  sH   € ØŒ?ð 	MÝ   DÔ$9¸4¼;ÈÌÑQÔQˆAˆAå˜A˜tÔ4°d´kÀ4Ä8ÑLÔLˆAØˆr   r˜   r™   rš   r6   s   @r   r³   r³   Š  sü   ø€ € € € € € ðð àSÐSÐS€MØ˜C ˜H”oÐ%Ð%Ñ%Ø	€J€J�JØÐÐÑØÐÐÑð
 ØØØð ð  àð ð ð ð ð	 ð 
ð ð  ð  ð  ð  ð  ð4'ð 'ð 'ð 'ð˜œð ¨%¬,ð ð ð ð ð ð ð ð r   r³   c            	       ó¢   ‡ — e Zd ZU dZg d¢Zeedf         ed<   eed<   e	ed<   	 	 	 	 dd
edede	dd	fˆ fd„Z
dd„Zdej        dej        fd„Zˆ xZS )ÚSimpleNormFp32r´   rŸ   .rG   r   rC   r@   TNr€   r   r:   c                 ó”  •— ||dœ}t          ¦   «                              ¦   «          |}t          |t          j        ¦  «        r|f}t          |¦  «        | _        || _        || _        | j        r/t          j
        t          j        | j        fi |¤Ž¦  «        | _        n|                      dd ¦  «         |                      ¦   «          d S r‚   r¡   rŽ   s	           €r   r   zSimpleNormFp32.__init__Á  r¢   r   c                 ó`   — | j         r&t          j                             | j        ¦  «         d S d S r!   r’   r•   s    r   r�   zSimpleNormFp32.reset_parametersÚ  r–   r   r(   c                 óÖ   — | j         �| j                              ¦   «         nd }t          |                     ¦   «         | j        || j        ¦  «                             |j        ¦  «        }|S r!   )r#   r4   r   rG   r   rQ   rR   r¥   s      r   r)   zSimpleNormFp32.forwardÞ  sV   € Ø(,¬Ð(?�”×"Ò"Ñ$Ô$Ð$ÀTˆÝ˜Ÿš™	œ	 4Ô#8¸&À$Ä(ÑKÔK×NÒNÈqÌwÑWÔWˆØˆr   r˜   r™   rš   r6   s   @r   r¹   r¹   ¹  r¦   r   r¹   c            	       ó¬   ‡ — e Zd ZU dZg d¢Zeedf         ed<   eed<   e	ed<   e	ed<   	 	 	 	 ddedede	dd
fˆ fd„Z
dd„Zdej        dej        fd„Zˆ xZS )ÚSimpleNorm2dú! SimpleNorm for NCHW tensors
    r   .rG   r   rC   r   r@   TNr€   r   r:   c                 óº  •— ||dœ}t          ¦   «                              ¦   «          |}t          |t          j        ¦  «        r|f}t          |¦  «        | _        || _        || _        t          ¦   «         | _
        | j        r/t          j        t          j        | j        fi |¤Ž¦  «        | _        n|                      dd ¦  «         |                      ¦   «          d S r‚   r„   rŽ   s	           €r   r   zSimpleNorm2d.__init__í  r�   r   c                 ó`   — | j         r&t          j                             | j        ¦  «         d S d S r!   r’   r•   s    r   r�   zSimpleNorm2d.reset_parameters  r–   r   r(   c                 óú   — |                      dddd¦  «        }| j        r"t          || j        | j        | j        ¦  «        }n!t          || j        | j        | j        ¦  «        }|                      dddd¦  «        }|S rZ   )r]   r   r   rG   r#   r   r   r'   s     r   r)   zSimpleNorm2d.forward  sv   € Ø�IŠI�a˜˜A˜qÑ!Ô!ˆØŒ?ð 	MÝ   DÔ$9¸4¼;ÈÌÑQÔQˆAˆAå˜A˜tÔ4°d´kÀ4Ä8ÑLÔLˆAØ�IŠI�a˜˜A˜qÑ!Ô!ˆØˆr   r˜   r™   rš   r6   s   @r   r¾   r¾   ä  rœ   r   r¾   c            	       ó¢   ‡ — e Zd ZU dZg d¢Zeedf         ed<   eed<   e	ed<   	 	 	 	 dd
edede	dd	fˆ fd„Z
dd„Zdej        dej        fd„Zˆ xZS )ÚSimpleNorm2dFp32r¿   rŸ   .rG   r   rC   r@   TNr€   r   r:   c                 ó”  •— ||dœ}t          ¦   «                              ¦   «          |}t          |t          j        ¦  «        r|f}t          |¦  «        | _        || _        || _        | j        r/t          j
        t          j        | j        fi |¤Ž¦  «        | _        n|                      dd ¦  «         |                      ¦   «          d S r‚   r¡   rŽ   s	           €r   r   zSimpleNorm2dFp32.__init__  r¢   r   c                 ó`   — | j         r&t          j                             | j        ¦  «         d S d S r!   r’   r•   s    r   r�   z!SimpleNorm2dFp32.reset_parameters6  r–   r   r(   c                 ó6  — |                      dddd¦  «        }| j        �| j                             ¦   «         nd }t          |                     ¦   «         | j        || j        ¦  «                             |j        ¦  «        }|                      dddd¦  «        }|S rZ   )r]   r#   r4   r   rG   r   rQ   rR   r¥   s      r   r)   zSimpleNorm2dFp32.forward:  s„   € Ø�IŠI�a˜˜A˜qÑ!Ô!ˆØ(,¬Ð(?�”×"Ò"Ñ$Ô$Ð$ÀTˆÝ˜Ÿš™	œ	 4Ô#8¸&À$Ä(ÑKÔK×NÒNÈqÌwÑWÔWˆØ�IŠI�a˜˜A˜qÑ!Ô!ˆØˆr   r˜   r™   rš   r6   s   @r   rÄ   rÄ     sð   ø€ € € € € € ðð àEÐEÐE€MØ˜C ˜H”oÐ%Ð%Ñ%Ø	€J€J�JØÐÐÑð
 ØØØð ð  àð ð ð ð ð	 ð 
ð ð  ð  ð  ð  ð  ð2'ð 'ð 'ð 'ð˜œð ¨%¬,ð ð ð ð ð ð ð ð r   rÄ   )+r<   r†   Útypingr   r.   Útorch.nnr‰   Útorch.nn.functionalÚ
functionalr%   Ú	fast_normr   r   r   r   r	   r
   r   r   r   ÚImportErrorr   r8   r?   rL   rV   r_   r=   r1   rh   r4   rq   rw   ry   ÚModuler}   rž   r¨   r®   r³   r¹   r¾   rÄ   © r   r   ú<module>rÐ      s`  ððð ð €€€Ø Ð Ð Ð Ð Ð à €€€Ø Ð Ð Ð Ð Ð Ø Ð Ð Ð Ð Ð Ð Ð Ð ð	ð 	ð 	ð 	ð 	ð 	ð 	ð 	ð 	ð 	ð 	ð 	ð 	ð 	ð 	ð 	ð 	ð 	ð 	ð 	ð$Ø,Ð,Ð,Ð,Ð,Ð,Ð,øØð $ð $ð $Ø#Ð#Ð#Ð#Ð#Ð#Ð#Ð#ð$øøøðVð Vð Vð Vð V�”ñ Vô Vð Vð,Vð Vð Vð Vð V�”ñ Vô Vð Vð"ð ð ð ð �”ñ ô ð ð.ð ð ð ð �B”Lñ ô ð ð(ð ð ð ð �"”,ñ ô ð ð0ð ð ð ð �b”lñ ô ð ð*K˜5œ<ð K¨Dð Kð Kð Kð Kð�e”lð ¨E¬Lð ÀÄð ÐSXð ð ð ð ð˜%œ,ð °´ð ÀEÄLð ÐW\ð ð ð ð ðð ð ð ð �R”\ñ ô ð ð*.ð .ð .ð .ð .ˆbŒiñ .ô .ð .ðb(ð (ð (ð (ð (�"”)ñ (ô (ð (ðV2ð 2ð 2ð 2ð 2�”	ñ 2ô 2ð 2ðj,ð ,ð ,ð ,ð ,�B”Iñ ,ô ,ð ,ð^,ð ,ð ,ð ,ð ,�”ñ ,ô ,ð ,ð^(ð (ð (ð (ð (�R”Yñ (ô (ð (ðV.ð .ð .ð .ð .�2”9ñ .ô .ð .ðb*ð *ð *ð *ð *�r”yñ *ô *ð *ð *ð *s   µ< ¼A
Á	A
