§
    ·¯¸j$  ã            	       óš   — d Z ddlZddlmc mZ ddlmZ ddlZdej	        fd„Z
dej	        fd„Zdded	ed
edefd„Z G d„ de¦  «        ZdS )aá  
AdamP Optimizer Implementation copied from https://github.com/clovaai/AdamP/blob/master/adamp/adamp.py

Paper: `Slowing Down the Weight Norm Increase in Momentum-based Optimizers` - https://arxiv.org/abs/2006.08217
Code: https://github.com/clovaai/AdamP


References for added functionality:
    Cautious Optimizers: https://arxiv.org/abs/2411.16085
    Spherical Cautious Optimizers: https://openreview.net/forum?id=OyT2CJ4fh7 
Copyright (c) 2020-present NAVER Corp.
MIT license
é    N)Ú	OptimizerÚreturnc                 óT   — |                       |                      d¦  «        d¦  «        S )Nr   éÿÿÿÿ)ÚreshapeÚsize©Úxs    ú`/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/timm/optim/adamp.pyÚ_channel_viewr      s    € Ø�9Š9�Q—V’V˜A‘Y”Y Ñ#Ô#Ð#ó    c                 ó.   — |                       dd¦  «        S )Né   r   )r   r	   s    r   Ú_layer_viewr      s   € Ø�9Š9�Q˜ÑÔÐr   FÚdeltaÚwd_ratioÚepsÚcautionc                 ó2  — d}ddt          | j        ¦  «        dz
  z  z   }t          t          fD �]ò}	 |	| ¦  «        }
 |	|¦  «        }t	          j        ||
d|¬¦  «                             ¦   «         }|                     ¦   «         |t          j	        |
 
                    d¦  «        ¦  «        z  k     �rn| |
                     dd¬¦  «                             |¦  «                             |¦  «        z  }|| |	||z  ¦  «                             d¬¦  «                             |¦  «        z  z  }|ré| |	||z  ¦  «                             d¬¦  «                             |¦  «        z  }||z
  }||z  d	k                         |j        ¦  «        }|                     |                     ¦   «                              d
¬¦  «        ¦  «         |                     |¦  «         || |	||z  ¦  «                             d¬¦  «                             |¦  «        z  z  }|}||fc S �Œô|rq||z  d	k                         |j        ¦  «        }|                     |                     ¦   «                              d
¬¦  «        ¦  «         |                     |¦  «         ||fS )Nç      ð?)r   )r   r   )Údimr   é   )Úpr   )r   r   çü©ñÒMbP?©Úmin)ÚlenÚshaper   r   ÚFÚcosine_similarityÚabs_ÚmaxÚmathÚsqrtr   ÚnormÚadd_r   ÚsumÚtoÚdtypeÚdiv_ÚmeanÚclamp_Úmul_)r   ÚgradÚperturbr   r   r   r   ÚwdÚexpand_sizeÚ	view_funcÚ
param_viewÚ	grad_viewÚ
cosine_simÚp_nÚgrad_radialÚ	grad_perpÚmasks                    r   Ú
projectionr:      s†  € Ø	€BØ˜$¥# a¤g¡,¤,°Ñ"2Ñ3Ñ3€KÝ#¥[Ð1ð ñ ˆ	Ø�Y˜q‘\”\ˆ
Ø�I˜d‘O”Oˆ	ÝÔ(¨°JÀAÈ3ÐOÑOÔO×TÒTÑVÔVˆ
ð �>Š>ÑÔ˜e¥d¤i°
·²ÀÑ0BÔ0BÑ&CÔ&CÑCÒCÑCØ�j—o’o¨¨q�oÑ1Ô1×6Ò6°sÑ;Ô;×CÒCÀKÑPÔPÑPˆCØ�s˜Y˜Y s¨W¡}Ñ5Ô5×9Ò9¸aÐ9Ñ@Ô@×HÒHÈÑUÔUÑUÑUˆGàð 	Zà! I I¨c°D©jÑ$9Ô$9×$=Ò$=À!Ð$=Ñ$DÔ$D×$LÒ$LÈ[Ñ$YÔ$YÑY�Ø  ;Ñ.�	à )Ñ+¨aÒ/×3Ò3°D´JÑ?Ô?�Ø—	’	˜$Ÿ)š)™+œ+×,Ò,°Ð,Ñ6Ô6Ñ7Ô7Ð7Ø—’˜TÑ"Ô"Ð"à˜3  ¨3°©=Ñ!9Ô!9×!=Ò!=À!Ð!=Ñ!DÔ!D×!LÒ!LÈ[Ñ!YÔ!YÑYÑY�ØˆBØ˜B�;ÐÐÐñ Dð" ð à˜$‘ Ò"×&Ò& t¤zÑ2Ô2ˆØ�	Š	�$—)’)‘+”+×$Ò$¨Ð$Ñ.Ô.Ñ/Ô/Ð/Ø�Š�TÑÔÐà�Bˆ;Ðr   c                   ób   ‡ — e Zd Z	 	 	 	 	 	 	 	 d
ˆ fd„	Z ej        ¦   «         dd	„¦   «         Zˆ xZS )ÚAdamPr   ©gÍÌÌÌÌÌì?g+‡ÙÎ÷ï?ç:Œ0âŽyE>r   çš™™™™™¹?Fc
           
      óˆ   •— t          ||||||||	¬¦  «        }
t          t          | ¦  «                             ||
¦  «         d S )N)ÚlrÚbetasr   Úweight_decayr   r   Únesterovr   )ÚdictÚsuperr<   Ú__init__)ÚselfÚparamsrA   rB   r   rC   r   r   rD   r   ÚdefaultsÚ	__class__s              €r   rG   zAdamP.__init__A   sY   ø€ õ ØØØØ%ØØØØð	
ñ 	
ô 	
ˆõ 	�e�TÑÔ×#Ò# F¨HÑ5Ô5Ð5Ð5Ð5r   Nc                 óÆ  — d }|�5t          j        ¦   «         5   |¦   «         }d d d ¦  «         n# 1 swxY w Y   | j        D �]ž}|d         D �]‘}|j        €Œ|j        }|d         \  }}|d         }|                     dd¦  «        }	| j        |         }
t          |
¦  «        dk    r3d|
d<   t          j        |¦  «        |
d<   t          j        |¦  «        |
d	<   |
d         |
d	         }}|
dxx         d
z  cc<   d
||
d         z  z
  }d
||
d         z  z
  }|                     |¦  «         	                    |d
|z
  ¬¦  «         |                     |¦  «         
                    ||d
|z
  ¬¦  «         |                     ¦   «         t          j        |¦  «        z   	                    |d         ¦  «        }|d         |z  }|r||z  d
|z
  |z  z   |z  }n||z  }d}t          |j        ¦  «        d
k    r+t          ||||d         |d         |d         |	¦  «        \  }}ns|	rq||z  dk                         |j        ¦  «        }|                     |                     ¦   «                              d¬¦  «        ¦  «         |                     |¦  «         |d         dk    r*|                     d|d         |d         z  |z  z
  ¦  «         | 	                    || ¬¦  «         �Œ“�Œ |S )NrI   rB   rD   r   Fr   ÚstepÚexp_avgÚ
exp_avg_sqr   )Úalpha)Úvaluer   rA   r   r   r   r   r   rC   )ÚtorchÚenable_gradÚparam_groupsr.   ÚgetÚstater   Ú
zeros_liker-   r&   Úaddcmul_r$   r#   r   r:   r(   r)   r*   r+   r,   )rH   ÚclosureÚlossÚgroupr   r.   Úbeta1Úbeta2rD   r   rV   rN   rO   Úbias_correction1Úbias_correction2ÚdenomÚ	step_sizer/   r   r9   s                       r   rM   z
AdamP.stepY   s^  € àˆØÐÝÔ"Ñ$Ô$ð !ð !Ø�w‘y”y�ð!ð !ð !ñ !ô !ð !ð !ð !ð !ð !ð !øøøð !ð !ð !ð !ð Ô&ð 5	2ñ 5	2ˆEØ˜8”_ð 42ñ 42�Ø”6�>Øà”v�Ø$ Wœ~‘��uØ  Ô,�ØŸ)š) I¨uÑ5Ô5�àœ
 1œ�õ �u‘:”: ’?�?Ø$%�E˜&‘MÝ',Ô'7¸Ñ':Ô':�E˜)Ñ$Ý*/Ô*:¸1Ñ*=Ô*=�E˜,Ñ'ð ',¨IÔ&6¸¸lÔ8K˜�à�f��” Ñ"��‘Ø#$ u°°f´Ñ'=Ñ#=Ð Ø#$ u°°f´Ñ'=Ñ#=Ð à—’˜UÑ#Ô#×(Ò(¨°Q¸±YÐ(Ñ?Ô?Ð?Ø—’ Ñ&Ô&×/Ò/°°dÀ!ÀeÁ)Ð/ÑLÔLÐLà#ŸšÑ*Ô*­T¬YÐ7GÑ-HÔ-HÑH×NÒNÈuÐUZÌ|Ñ\Ô\�Ø! $œKÐ*:Ñ:�	àð .Ø$ w™°!°e±)¸tÑ1CÑCÀuÑL�G�Gà%¨™o�Gð �Ý�q”w‘<”< !Ò#Ð#Ý(2Ø˜4 ¨%°¬.¸%À
Ô:KÈUÐSXÌ\Ð[bñ)ô )Ñ%�G˜X˜Xð ð 'à# d™N¨QÒ.×2Ò2°4´:Ñ>Ô>�DØ—I’I˜dŸiši™kœk×0Ò0°TÐ0Ñ:Ô:Ñ;Ô;Ð;Ø—L’L Ñ&Ô&Ð&ð ˜Ô(¨1Ò,Ð,Ø—F’F˜2  d¤¨e°NÔ.CÑ CÀhÑ NÑNÑOÔOÐOð —’�w y j�Ñ1Ô1Ð1Ñ1ñi42ðl ˆs   ˜/¯3¶3)r   r=   r>   r   r?   r?   FF)N)Ú__name__Ú
__module__Ú__qualname__rG   rR   Úno_gradrM   Ú__classcell__)rK   s   @r   r<   r<   @   s   ø€ € € € € ð ØØØØØØØð6ð 6ð 6ð 6ð 6ð 6ð0 €U„]�_„_ð=ð =ð =ñ „_ð=ð =ð =ð =ð =r   r<   )F)Ú__doc__rR   Útorch.nn.functionalÚnnÚ
functionalr   Útorch.optim.optimizerr   r#   ÚTensorr   r   ÚfloatÚboolr:   r<   © r   r   ú<module>rp      sÿ   ððð ð €€€Ø Ð Ð Ð Ð Ð Ð Ð Ð Ø +Ð +Ð +Ð +Ð +Ð +Ø €€€ð$˜œð $ð $ð $ð $ð�e”lð ð ð ð ð ð  ¨ð  ¸ð  ÀUð  ÐUYð  ð  ð  ð  ðFWð Wð Wð Wð WˆIñ Wô Wð Wð Wð Wr   