§
    ·¯¸jÇ.  ã                   ój  — d Z ddlmZ ddlmZ ddlmZmZmZ ddl	Z	ddl
mZ ddl
mZ ddlmZ dd	lmZ dd
lmZ ddlmZ 	 	 	 ddededededee         f
d„Zdd„Z	 	 	 	 	 	 d dedededededee         fd„Z G d„ dej        ¦  «        Z G d„ dej        ¦  «        Z G d„ dej        ¦  «        Z dS )!zV Classifier head and layer factory

Hacked together by / Copyright 2020 Ross Wightman
é    )ÚOrderedDict)Úpartial)ÚOptionalÚUnionÚCallableN)Ú
functionalé   )ÚSelectAdaptivePool2d)Úget_act_layer)Úget_norm_layer)Úget_device_dtypeÚavgFÚnum_featuresÚnum_classesÚ	pool_typeÚuse_convÚ	input_fmtc                 ój   — | }|sd}t          |||¬¦  «        }| |                     ¦   «         z  }||fS )NF)r   Úflattenr   )r
   Ú	feat_mult)r   r   r   r   r   Úflatten_in_poolÚglobal_poolÚnum_pooled_featuress           úf/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/timm/layers/classifier.pyÚ_create_poolr      sZ   € ð #�l€OØð  ØˆÝ&ØØØðñ ô €Kð
 '¨×)>Ò)>Ñ)@Ô)@Ñ@ÐØÐ+Ð+Ð+ó    c                 ó¦   — |dk    rt          j        ¦   «         }n6|rt          j        | |dd||¬¦  «        }nt          j        | |d||¬¦  «        }|S )Nr   r	   T)ÚbiasÚdeviceÚdtype)ÚnnÚIdentityÚConv2dÚLinear)r   r   r   r   r    Úfcs         r   Ú
_create_fcr&   &   sb   € Ø�aÒÐÝŒ[‰]Œ]ˆˆØ	ð YÝŒY�| [°!¸$ÀvÐUZÐ[Ñ[Ô[ˆˆåŒY�| [°tÀFÐRWÐXÑXÔXˆØ€Ir   ÚNCHWÚ	drop_ratec                 ó–   — t          | ||||¬¦  «        \  }}	t          |	||||¬¦  «        }
|�t          j        |¦  «        }|||
fS ||
fS )N)r   r   )r   r   r    )r   r&   r!   ÚDropout)r   r   r   r   r   r(   r   r    r   r   r%   Údropouts               r   Úcreate_classifierr,   0   s€   € õ (4ØØØØØð(ñ (ô (Ñ$€KÐ$õ 
ØØØØØð
ñ 
ô 
€Bð ÐÝ”*˜YÑ'Ô'ˆØ˜G RÐ'Ð'Ø˜ˆ?Ðr   c                   ó|   ‡ — e Zd ZdZ	 	 	 	 	 	 ddeded	ed
ededefˆ fd„Z	 	 	 dded	e	e         fd„Z
ddefd„Zˆ xZS )ÚClassifierHeadz;Classifier head w/ configurable global pooling and dropout.r   ç        Fr'   NÚin_featuresr   r   r(   r   r   c	           	      óR  •— t          ¦   «                              ¦   «          || _        || _        || _        t          |||||||¬¦  «        \  }	}
|	| _        t          j        |¦  «        | _	        |
| _
        |r|rt          j        d¦  «        nt          j        ¦   «         | _        dS )a.  
        Args:
            in_features: The number of input features.
            num_classes:  The number of classes for the final classifier layer (output).
            pool_type: Global pooling type, pooling disabled if empty string ('').
            drop_rate: Pre-classifier dropout rate.
        )r   r   r   r    r	   N)ÚsuperÚ__init__r0   r   r   r,   r   r!   r*   Údropr%   ÚFlattenr"   r   )Úselfr0   r   r   r(   r   r   r   r    r   r%   Ú	__class__s              €r   r3   zClassifierHead.__init__Q   s§   ø€ õ$ 	‰Œ×ÒÑÔÐØ&ˆÔØ ˆŒØ"ˆŒå+ØØØØØØØð
ñ 
ô 
‰ˆ�Rð 'ˆÔÝ”J˜yÑ)Ô)ˆŒ	ØˆŒØ(0ÐQ°YÐQ•r”z !‘}”}�}ÅBÄKÁMÄMˆŒˆˆr   c                 ó†  — t          | ||¬¦  «        }|�Ò|| j        j        k    rÂt          | j        |f|| j        | j        dœ|¤Ž\  | _        | _        | j                             | j	        ¦  «         | j                             | j	        ¦  «         | j        r|rt          j        d¦  «        nt          j        ¦   «         | _        | j                             | j	        ¦  «         d S | j        | j                             ¦   «         z  }t          ||fd| j        i|¤Ž| _        | j                             | j	        ¦  «         d S )N©r   r    )r   r   r   r	   r   )r   r   r   r,   r0   r   r   r%   ÚtrainÚtrainingr!   r5   r"   r   r   r&   )r6   r   r   r   r    Úddr   s          r   ÚresetzClassifierHead.resetv   sT  € õ ˜d¨6¸Ð?Ñ?Ô?ˆØÐ  Y°$Ô2BÔ2LÒ%LÐ%LÝ(9ØÔ Øð)ð $ØœØœ.ð)ð )ð ð)ð )Ñ%ˆDÔ˜dœgð Ô×"Ò" 4¤=Ñ1Ô1Ð1ØŒG�MŠM˜$œ-Ñ(Ô(Ð(Ø,0¬MÐZ¸iÐZ�2œ: a™=œ=˜=ÍRÌ[É]Ì]ˆDŒLØŒL×Ò˜tœ}Ñ-Ô-Ð-Ð-Ð-à"&Ô"2°TÔ5E×5OÒ5OÑ5QÔ5QÑ"QÐÝ Ø#Øðð ð œðð ð	ð ˆDŒGð ŒG�MŠM˜$œ-Ñ(Ô(Ð(Ð(Ð(r   Ú
pre_logitsc                 óØ   — |                       |¦  «        }|                      |¦  «        }|r|                      |¦  «        S |                      |¦  «        }|                      |¦  «        S ©N)r   r4   r   r%   ©r6   Úxr>   s      r   ÚforwardzClassifierHead.forward•   s[   € Ø×Ò˜QÑÔˆØ�IŠI�a‰LŒLˆØð 	#Ø—<’< ‘?”?Ð"Ø�GŠG�A‰JŒJˆØ�|Š|˜A‰ŒÐr   )r   r/   Fr'   NN©NNN©F)Ú__name__Ú
__module__Ú__qualname__Ú__doc__ÚintÚstrÚfloatÚboolr3   r   r=   rC   Ú__classcell__©r7   s   @r   r.   r.   N   sþ   ø€ € € € € ØEÐEð #Ø!Ø"Ø#ØØð#Rð #Ràð#Rð ð#Rð ð	#Rð
 ð#Rð ð#Rð ð#Rð #Rð #Rð #Rð #Rð #RðP (,ØØð)ð )àð)ð   ”}ð)ð )ð )ð )ð>ð  Tð ð ð ð ð ð ð ð r   r.   c                   ó®   ‡ — e Zd ZdZ	 	 	 	 	 	 	 ddeded	ee         d
ededeee	f         deee	f         fˆ fd„Z
	 	 	 dded
ee         fd„Zddefd„Zˆ xZS )ÚNormMlpClassifierHeadzA A Pool -> Norm -> Mlp Classifier Head for '2D' NCHW tensors
    Nr   r/   Úlayernorm2dÚtanhr0   r   Úhidden_sizer   r(   Ú
norm_layerÚ	act_layerc
           
      ó  •— ||	dœ}
t          ¦   «                              ¦   «          || _        || _        || _        | | _        t          |¦  «        }t          |¦  «        }| j        rt          t          j
        d¬¦  «        nt          j        }t          |¬¦  «        | _         ||fi |
¤Ž| _        |rt          j        d¦  «        nt          j        ¦   «         | _        |rDt          j        t'          d |||fi |
¤Žfd |¦   «         fg¦  «        ¦  «        | _        || _        nt          j        ¦   «         | _        t          j        |¦  «        | _        |dk    r || j        |fi |
¤Žnt          j        ¦   «         | _        dS )	á  
        Args:
            in_features: The number of input features.
            num_classes:  The number of classes for the final classifier layer (output).
            hidden_size: The hidden size of the MLP (pre-logits FC layer) if not None.
            pool_type: Global pooling type, pooling disabled if empty string ('').
            drop_rate: Pre-classifier dropout rate.
            norm_layer: Normalization layer type.
            act_layer: MLP activation layer type (only used if hidden_size is not None).
        r9   r	   ©Úkernel_size©r   r%   Úactr   N)r2   r3   r0   rT   r   r   r   r   r   r!   r#   r$   r
   r   Únormr5   r"   r   Ú
Sequentialr   r>   r*   r4   r%   )r6   r0   r   rT   r   r(   rU   rV   r   r    r<   Úlinear_layerr7   s               €r   r3   zNormMlpClassifierHead.__init__¡   sŠ  ø€ ð, ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ&ˆÔØ&ˆÔØ'ˆÔØ%˜ˆŒÝ# JÑ/Ô/ˆ
Ý! )Ñ,Ô,ˆ	Ø<@¼MÐX•w�rœy°aÐ8Ñ8Ô8Ð8ÍrÌyˆå/¸)ÐDÑDÔDˆÔØ�J˜{Ð1Ð1¨bÐ1Ð1ˆŒ	Ø(1ÐD•r”z !‘}”}�}µr´{±}´}ˆŒØð 	,Ý œm­KØ�|�| K°ÐCÐCÀÐCÐCÐDØ˜	˜	™œÐ$ð9ñ -ô -ñ ô ˆDŒOð !,ˆDÔÐå œk™mœmˆDŒOÝ”J˜yÑ)Ô)ˆŒ	ØHSÐVWÊÈ�,�,˜tÔ0°+ÐDÐDÀÐDÐDÐDÕ]_Ô]hÑ]jÔ]jˆŒˆˆr   c                 óâ  — t          | ||¬¦  «        }|��t          |¬¦  «        | _        | j                             | j        ¦  «         |rt          j        d¦  «        nt          j        ¦   «         | _        | j                             | j        ¦  «         | j         	                    ¦   «         | _
        | j
        rt          t
          j        d¬¦  «        nt
          j        }| j        �r9t          | j        j        t
          j        ¦  «        r| j
        r+t          | j        j        t
          j        ¦  «        rê| j
        rãt%          j        ¦   «         5   || j        | j        fi |¤Ž}|j                             | j        j        j                             |j        j        ¦  «        ¦  «         |j                             | j        j        j        ¦  «         || j        _        | j        j                             | j        j        ¦  «         d d d ¦  «         n# 1 swxY w Y   |dk    r || j        |fi |¤Žnt          j        ¦   «         | _        | j                             | j        ¦  «         d S )Nr9   r[   r	   rY   r   )r   r
   r   r:   r;   r!   r5   r"   r   Úis_identityr   r   r#   r$   rT   Ú
isinstancer>   r%   ÚtorchÚno_gradr0   ÚweightÚcopy_ÚreshapeÚshaper   r   )r6   r   r   r   r    r<   r_   Únew_fcs           r   r=   zNormMlpClassifierHead.resetÏ   sl  € õ ˜d¨6¸Ð?Ñ?Ô?ˆØÐ Ý3¸iÐHÑHÔHˆDÔØÔ×"Ò" 4¤=Ñ1Ô1Ð1Ø,5ÐH�2œ: a™=œ=˜=½2¼;¹=¼=ˆDŒLØŒL×Ò˜tœ}Ñ-Ô-Ð-ØÔ(×4Ò4Ñ6Ô6ˆŒØ<@¼MÐX•w�rœy°aÐ8Ñ8Ô8Ð8ÍrÌyˆØÔñ 	GÝ˜DœOÔ.µ´	Ñ:Ô:ð GÀ4Ä=ð GÝ ¤Ô 2µB´IÑ>Ô>ðGØCGÄ=ðGå”]‘_”_ð Gð GØ)˜\¨$Ô*:¸DÔ<LÐSÐSÐPRÐSÐS�FØ”M×'Ò'¨¬Ô(:Ô(A×(IÒ(IÈ&Ì-ÔJ]Ñ(^Ô(^Ñ_Ô_Ð_Ø”K×%Ò% d¤oÔ&8Ô&=Ñ>Ô>Ð>Ø)/�D”OÔ&Ø”OÔ&×,Ò,¨T¬_Ô-EÑFÔFÐFðGð Gð Gñ Gô Gð Gð Gð Gð Gð Gð Gøøøð Gð Gð Gð Gð ITÐVWÊÈ�,�,˜tÔ0°+ÐDÐDÀÐDÐDÐDÕ]_Ô]hÑ]jÔ]jˆŒØŒ�Š�d”mÑ$Ô$Ð$Ð$Ð$s   ÅB9HÈHÈHFr>   c                 ó
  — |                       |¦  «        }|                      |¦  «        }|                      |¦  «        }|                      |¦  «        }|                      |¦  «        }|r|S |                      |¦  «        }|S r@   )r   r]   r   r>   r4   r%   rA   s      r   rC   zNormMlpClassifierHead.forwardê   st   € Ø×Ò˜QÑÔˆØ�IŠI�a‰LŒLˆØ�LŠL˜‰OŒOˆØ�OŠO˜AÑÔˆØ�IŠI�a‰LŒLˆØð 	ØˆHØ�GŠG�A‰JŒJˆØˆr   )Nr   r/   rR   rS   NNrD   rE   )rF   rG   rH   rI   rJ   r   rK   rL   r   r   r3   r=   rM   rC   rN   rO   s   @r   rQ   rQ   ž   s&  ø€ € € € € ðð ð *.Ø"Ø!Ø/<Ø.4ØØð,kð ,kàð,kð ð,kð " #œð	,kð
 ð,kð ð,kð ˜c 8˜mÔ,ð,kð ˜S (˜]Ô+ð,kð ,kð ,kð ,kð ,kð ,kðb (,ØØð%ð %àð%ð   ”}ð%ð %ð %ð %ð6	ð 	 Tð 	ð 	ð 	ð 	ð 	ð 	ð 	ð 	r   rQ   c                   óÀ   ‡ — e Zd ZdZ	 	 	 	 	 	 	 	 dded	ed
ee         dededeee	f         deee	f         defˆ fd„Z
	 	 	 	 dd	edee         defd„Zd„ Zddefd„Zˆ xZS )ÚClNormMlpClassifierHeadz@ A Pool -> Norm -> Mlp Classifier Head for n-D NxxC tensors
    Nr   r/   Ú	layernormÚgeluÚNHWCr0   r   rT   r   r(   rU   rV   r   c           
      ó„  •— |	|
dœ}t          ¦   «                              ¦   «          || _        || _        || _        |dv sJ ‚|| _        |dv sJ ‚|dk    rdnd| _        t          |¦  «        }t          |¦  «        } ||fi |¤Ž| _	        |rMt          j        t          dt          j        ||fi |¤Žfd |¦   «         fg¦  «        ¦  «        | _        || _        nt          j        ¦   «         | _        t          j        |¦  «        | _        |d	k    rt          j        | j        |fi |¤Žnt          j        ¦   «         | _        d
S )rX   r9   )Ú r   ÚmaxÚavgmax)ro   ÚNLCrt   r	   )r	   é   r%   r\   r   N)r2   r3   r0   rT   r   r   Úpool_dimr   r   r]   r!   r^   r   r$   r>   r"   r*   r4   r%   )r6   r0   r   rT   r   r(   rU   rV   r   r   r    r<   r7   s               €r   r3   z ClNormMlpClassifierHead.__init__ù   sm  ø€ ð. ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ&ˆÔØ&ˆÔØ'ˆÔØÐ8Ð8Ð8Ð8Ð8Ø"ˆŒØ˜OÐ+Ð+Ð+Ð+Ø&¨%Ò/Ð/˜˜°VˆŒÝ# JÑ/Ô/ˆ
Ý! )Ñ,Ô,ˆ	à�J˜{Ð1Ð1¨bÐ1Ð1ˆŒ	Øð 	,Ý œm­KØ•r”y ¨kÐ@Ð@¸RÐ@Ð@ÐAØ˜	˜	™œÐ$ð9ñ -ô -ñ ô ˆDŒOð !,ˆDÔÐå œk™mœmˆDŒOÝ”J˜yÑ)Ô)ˆŒ	ØEPÐSTÂ_À_•"”)˜DÔ-¨{ÐAÐA¸bÐAÐAÐAÕZ\ÔZeÑZgÔZgˆŒˆˆr   FÚreset_otherc                 óÆ  — t          | ||¬¦  «        }|�|| _        |rnt          j        ¦   «         | _        | j                             | j        ¦  «         t          j        ¦   «         | _        | j                             | j        ¦  «         |dk    rt          j        | j	        |fi |¤Žnt          j        ¦   «         | _
        | j
                             | j        ¦  «         d S )Nr9   r   )r   r   r!   r"   r>   r:   r;   r]   r$   r   r%   )r6   r   r   rw   r   r    r<   s          r   r=   zClNormMlpClassifierHead.reset(  sÇ   € õ ˜d¨6¸Ð?Ñ?Ô?ˆØÐ Ø&ˆDŒNØð 	+Ý œk™mœmˆDŒOØŒO×!Ò! $¤-Ñ0Ô0Ð0Ýœ™œˆDŒIØŒI�OŠO˜DœMÑ*Ô*Ð*ØEPÐSTÂ_À_•"”)˜DÔ-¨{ÐAÐA¸bÐAÐAÐAÕZ\ÔZeÑZgÔZgˆŒØŒ�Š�d”mÑ$Ô$Ð$Ð$Ð$r   c                 ó:  — | j         r“| j         dk    r|                     | j        ¬¦  «        }nl| j         dk    r|                     | j        ¬¦  «        }nE| j         dk    r:d|                     | j        ¬¦  «        |                     | j        ¬¦  «        z   z  }|S )Nr   )Údimrr   rs   g      à?)r   Úmeanrv   Úamax)r6   rB   s     r   Ú_global_poolz$ClNormMlpClassifierHead._global_pool;  s–   € ØŒ>ð 	RØŒ~ Ò&Ð&Ø—F’F˜tœ}�FÑ-Ô-��Ø” 5Ò(Ð(Ø—F’F˜tœ}�FÑ-Ô-��Ø” 8Ò+Ð+Ø˜1Ÿ6š6 d¤m˜6Ñ4Ô4°q·v²vÀ$Ä-°vÑ7PÔ7PÑPÑQ�Øˆr   r>   c                 óà   — |                       |¦  «        }|                      |¦  «        }|                      |¦  «        }|                      |¦  «        }|r|S |                      |¦  «        }|S r@   )r}   r]   r>   r4   r%   rA   s      r   rC   zClNormMlpClassifierHead.forwardE  se   € Ø×Ò˜aÑ Ô ˆØ�IŠI�a‰LŒLˆØ�OŠO˜AÑÔˆØ�IŠI�a‰LŒLˆØð 	ØˆHØ�GŠG�A‰JŒJˆØˆr   )Nr   r/   rm   rn   ro   NN)NFNNrE   )rF   rG   rH   rI   rJ   r   rK   rL   r   r   r3   rM   r=   r}   rC   rN   rO   s   @r   rl   rl   ö   sP  ø€ € € € € ðð ð *.Ø"Ø!Ø/:Ø.4Ø#ØØð-hð -hàð-hð ð-hð " #œð	-hð
 ð-hð ð-hð ˜c 8˜mÔ,ð-hð ˜S (˜]Ô+ð-hð ð-hð -hð -hð -hð -hð -hðd (,Ø %ØØð%ð %àð%ð   ”}ð%ð ð	%ð %ð %ð %ð&ð ð ðð  Tð ð ð ð ð ð ð ð r   rl   )r   FN)FNN)r   Fr'   NNN)!rI   Úcollectionsr   Ú	functoolsr   Útypingr   r   r   rc   Útorch.nnr!   r   ÚFÚadaptive_avgmax_poolr
   Ú
create_actr   Úcreate_normr   Úhelpersr   rJ   rK   rM   r   r&   rL   r,   ÚModuler.   rQ   rl   © r   r   ú<module>rŠ      sE  ððð ð $Ð #Ð #Ð #Ð #Ð #Ø Ð Ð Ð Ð Ð Ø ,Ð ,Ð ,Ð ,Ð ,Ð ,Ð ,Ð ,Ð ,Ð ,à €€€Ø Ð Ð Ð Ð Ð Ø $Ð $Ð $Ð $Ð $Ð $à 6Ð 6Ð 6Ð 6Ð 6Ð 6Ø %Ð %Ð %Ð %Ð %Ð %Ø 'Ð 'Ð 'Ð 'Ð 'Ð 'Ø %Ð %Ð %Ð %Ð %Ð %ð ØØ#'ð,ð ,Øð,àð,ð ð,ð ð	,ð
 ˜C”=ð,ð ,ð ,ð ,ð&ð ð ð ð ØØØ%)ØØðð Øðàðð ðð ð	ð
 ðð ˜E”?ðð ð ð ð<Mð Mð Mð Mð M�R”Yñ Mô Mð Mð`Uð Uð Uð Uð U˜BœIñ Uô Uð UðpWð Wð Wð Wð W˜bœiñ Wô Wð Wð Wð Wr   