§
    ·¯¸j¾b  ã                   óª  — d dl Z d dlmZ d dlmZ d dlmZmZmZm	Z	m
Z
mZ d dlZd dlmZ d dlmc mZ d dlmZmZ d dlmZmZmZmZmZmZmZmZmZmZm Z m!Z!m"Z" ddl#m$Z$ dd	l%m&Z& dd
l'm(Z(m)Z) ddl*m+Z+m,Z, de	e-e-f         fd„Z.dej/        de	e-e-f         de	e-e-f         fd„Z0de-de-de	e-e-f         de	e-e-e-e-f         fd„Z1 G d„ dej2        ¦  «        Z3 G d„ dej2        ¦  «        Z4 G d„ dej2        ¦  «        Z5 G d„ dej2        ¦  «        Z6d3d„Z7 e+ e7d¬ ¦  «         e7d¬ ¦  «         e7d¬ ¦  «         e7d¬ ¦  «         e7d¬ ¦  «         e7d¬ ¦  «         e7dd!d"d#¬$¦  «         e7dd!d"d#¬$¦  «         e7d%d!d&¬'¦  «        d(œ	¦  «        Z8d4d)„Z9d5d+e:d,e;de6fd-„Z<e,d5d.„¦   «         Z=e,d5d/„¦   «         Z>e,d5d0„¦   «         Z?e,d5d1„¦   «         Z@e,d5d2„¦   «         ZAdS )6é    N)Údeepcopy)Úpartial)ÚDictÚListÚOptionalÚTupleÚTypeÚUnion©ÚIMAGENET_DEFAULT_MEANÚIMAGENET_DEFAULT_STD)Úget_device_dtypeÚ
PatchEmbedÚMlpÚDropPathÚcalculate_drop_path_ratesÚClNormMlpClassifierHeadÚ
LayerScaleÚget_norm_layerÚget_act_layerÚinit_weight_jaxÚinit_weight_vitÚ	to_2tupleÚuse_fused_attné   )Úbuild_model_with_cfg)Úfeature_take_indices)Únamed_applyÚ
checkpoint)Úgenerate_default_cfgsÚregister_modelÚwindow_sizec                 ó*  — | j         \  }}}}|                      |||d         z  |d         ||d         z  |d         |¦  «        } |                      dddddd¦  «                             ¦   «                              d|d         |d         |¦  «        }|S )aT  
    Partition into non-overlapping windows with padding if needed.
    Args:
        x (tensor): input tokens with [B, H, W, C].
        window_size (int): window size.
    Returns:
        windows: windows after partition with [B * num_windows, window_size, window_size, C].
        (Hp, Wp): padded height and width before partition
    r   r   é   é   é   é   éÿÿÿÿ©ÚshapeÚviewÚpermuteÚ
contiguous)Úxr"   ÚBÚHÚWÚCÚwindowss          úi/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/timm/models/hieradet_sam2.pyÚwindow_partitionr5   !   s–   € ð ”�J€A€qˆ!ˆQØ	�Šˆq�!�{ 1”~Ñ% {°1¤~°q¸KÈ¼NÑ7JÈKÐXYÌNÐ\]Ñ^Ô^€AØ�iŠi˜˜1˜a  A qÑ)Ô)×4Ò4Ñ6Ô6×;Ò;¸BÀÈAÄÐP[Ð\]ÔP^Ð`aÑbÔb€GØ€Nó    r3   Úhwc                 óN  — |\  }}| j         d         ||z  |d         z  |d         z  z  }|                      |||d         z  ||d         z  |d         |d         d¦  «        }|                     dddddd¦  «                             ¦   «                              |||d¦  «        }|S )aZ  
    Window unpartition into original sequences and removing padding.
    Args:
        x (tensor): input tokens with [B * num_windows, window_size, window_size, C].
        window_size (int): window size.
        hw (Tuple): original height and width (H, W) before padding.
    Returns:
        x: unpartitioned sequences with [B, H, W, C].
    r   r   r(   r$   r%   r&   r'   r)   )r3   r"   r7   r0   r1   r/   r.   s          r4   Úwindow_unpartitionr9   1   s­   € ð �D€A€qØŒ�aÔ˜Q ™U k°!¤nÑ4¸ÀA¼ÑFÑG€AØ�Š�Q˜˜[¨œ^Ñ+¨Q°+¸a´.Ñ-@À+ÈaÄ.ÐR]Ð^_ÔR`ÐbdÑeÔe€AØ	�	Š	�!�Q˜˜1˜a Ñ#Ô#×.Ò.Ñ0Ô0×5Ò5°a¸¸A¸rÑBÔB€AØ€Hr6   r0   r1   Úreturnc                 ó–   — |d         | |d         z  z
  |d         z  }|d         ||d         z  z
  |d         z  }| |z   ||z   }}||||fS )Nr   r   © )r0   r1   r"   Úpad_hÚpad_wÚHpÚWps          r4   Ú	_calc_padrA   B   sb   € Ø˜Œ^˜a +¨a¤.Ñ0Ñ0°KÀ´NÑB€EØ˜Œ^˜a +¨a¤.Ñ0Ñ0°KÀ´NÑB€EØ�‰Y˜˜E™	ˆ€BØˆr�5˜%ÐÐr6   c            	       ó’   ‡ — e Zd ZU ej        j        e         ed<   	 	 	 ddededede	j
        fˆ fd„Zdej        d	ej        fd
„Zˆ xZS )ÚMultiScaleAttentionÚ
fused_attnNÚdimÚdim_outÚ	num_headsÚq_poolc                 ó4  •— ||dœ}t          ¦   «                              ¦   «          || _        || _        || _        ||z  }|dz  | _        t          ¦   «         | _        || _        t          j
        ||dz  fi |¤Ž| _        t          j
        ||fi |¤Ž| _        d S )N©ÚdeviceÚdtypeg      à¿r$   )ÚsuperÚ__init__rE   rF   rG   Úscaler   rD   rH   ÚnnÚLinearÚqkvÚproj)
ÚselfrE   rF   rG   rH   rK   rL   ÚddÚhead_dimÚ	__class__s
            €r4   rN   zMultiScaleAttention.__init__L   s¥   ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØˆŒØˆŒØ"ˆŒØ˜iÑ'ˆØ Ñ%ˆŒ
Ý(Ñ*Ô*ˆŒàˆŒÝ”9˜S '¨A¡+Ð4Ð4°Ð4Ð4ˆŒÝ”I˜g wÐ5Ð5°"Ð5Ð5ˆŒ	ˆ	ˆ	r6   r.   r:   c                 óš  — |j         \  }}}}|                      |¦  «                             |||z  d| j        d¦  «        }t	          j        |d¦  «        \  }}}	| j        �‹|                     |||d¦  «                             dddd¦  «        }|                      |¦  «                             dddd¦  «        }|j         dd…         \  }}|                     |||z  | j        d¦  «        }|                     dd¦  «        }|                     dd¦  «        }|	                     dd¦  «        }	| j	        rt          j        |||	¦  «        }n>|| j        z  }||                     dd¦  «        z  }
|
                     d¬¦  «        }
|
|	z  }|                     dd¦  «                             |||d¦  «        }|                      |¦  «        }|S )Nr$   r(   r%   r   r   éþÿÿÿ)rE   )r*   rR   ÚreshaperG   ÚtorchÚunbindrH   r,   Ú	transposerD   ÚFÚscaled_dot_product_attentionrO   ÚsoftmaxrS   )rT   r.   r/   r0   r1   Ú_rR   ÚqÚkÚvÚattns              r4   ÚforwardzMultiScaleAttention.forwardb   s¶  € Ø”W‰
ˆˆ1ˆa�ð �hŠh�q‰kŒk×!Ò! ! Q¨¡U¨A¨t¬~¸rÑBÔBˆõ ”,˜s AÑ&Ô&‰ˆˆ1ˆað Œ;Ð"Ø—	’	˜!˜Q  2Ñ&Ô&×.Ò.¨q°!°Q¸Ñ:Ô:ˆAØ—’˜A‘”×&Ò& q¨!¨Q°Ñ2Ô2ˆAØ”7˜1˜Q˜3”<‰DˆAˆqØ—	’	˜!˜Q ™U D¤N°BÑ7Ô7ˆAð �KŠK˜˜1ÑÔˆØ�KŠK˜˜1ÑÔˆØ�KŠK˜˜1ÑÔˆØŒ?ð 	ÝÔ.¨q°!°QÑ7Ô7ˆAˆAà�D”J‘ˆAØ�q—{’{ 2 rÑ*Ô*Ñ*ˆDØ—<’< B�<Ñ'Ô'ˆDØ�q‘ˆAð �KŠK˜˜1ÑÔ×%Ò% a¨¨A¨rÑ2Ô2ˆà�IŠI�a‰LŒLˆØˆr6   )NNN)Ú__name__Ú
__module__Ú__qualname__r[   ÚjitÚFinalÚboolÚ__annotations__ÚintrP   ÚModulerN   ÚTensorrf   Ú__classcell__©rW   s   @r4   rC   rC   I   s²   ø€ € € € € € Ø”	” Ô%Ð%Ð%Ñ%ð !%ØØð6ð 6àð6ð ð6ð ð	6ð
 ”Ið6ð 6ð 6ð 6ð 6ð 6ð, ˜œð  ¨%¬,ð  ð  ð  ð  ð  ð  ð  ð  r6   rC   c                   óô   ‡ — e Zd Z	 	 	 	 	 	 	 	 	 ddeded	ed
edeeeef                  deee	j
                 ef         deee	j
                 ef         dedee         defˆ fd„Zdej        dej        fd„Zˆ xZS )ÚMultiScaleBlockç      @NÚ	LayerNormÚGELUr   ç        rE   rF   rG   Ú	mlp_ratioÚq_strideÚ
norm_layerÚ	act_layerr"   Úinit_valuesÚ	drop_pathc                 óú  •— ||dœ}t          ¦   «                              ¦   «          t          |¦  «        }t          |¦  «        }t	          |¦  «        | _        t          | j        ¦  «        | _        || _        || _	        || _
        ||k    rt          j        ||fi |¤Ž| _        nt          j        ¦   «         | _        d | _        | j
        rt          j        ||d¬¦  «        | _         ||fi |¤Ž| _        t%          ||f|t'          | j        ¦  «        dœ|¤Ž| _        |	�t+          ||	fi |¤Žnt          j        ¦   «         | _        |
dk    rt/          |
¦  «        nt          j        ¦   «         | _         ||fi |¤Ž| _        t5          |t7          ||z  ¦  «        fd|i|¤Ž| _        |	�t+          ||	fi |¤Žnt          j        ¦   «         | _        |
dk    rt/          |
¦  «        nt          j        ¦   «         | _        d S )NrJ   F)Úkernel_sizeÚstrideÚ	ceil_mode)rG   rH   rx   r|   )rM   rN   r   r   r   r"   ÚanyÚis_windowedrE   rF   rz   rP   rQ   rS   ÚIdentityÚpoolÚ	MaxPool2dÚnorm1rC   r   re   r   Úls1r   Ú
drop_path1Únorm2r   rn   ÚmlpÚls2Ú
drop_path2)rT   rE   rF   rG   ry   rz   r{   r|   r"   r}   r~   rK   rL   rU   rW   s                 €r4   rN   zMultiScaleBlock.__init__†   s5  ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐÝ# JÑ/Ô/ˆ
Ý! )Ñ,Ô,ˆ	Ý$ [Ñ1Ô1ˆÔÝ˜tÔ/Ñ0Ô0ˆÔØˆŒØˆŒØ ˆŒà�'Š>ˆ>Ýœ	 # wÐ5Ð5°"Ð5Ð5ˆDŒIˆIåœ™œˆDŒIØˆŒ	ØŒ=ð 	åœØ$ØØðñ ô ˆDŒIð  �Z Ð*Ð* rÐ*Ð*ˆŒ
Ý'ØØð
ð  Ý˜DœIÑ&Ô&ð	
ð 
ð
 ð
ð 
ˆŒ	ð >IÐ=T•:˜g {Ð9Ð9°bÐ9Ð9Ð9ÕZ\ÔZeÑZgÔZgˆŒØ1:¸S²°�( 9Ñ-Ô-Ð-ÅbÄkÁmÄmˆŒà�Z Ð.Ð.¨2Ð.Ð.ˆŒ
ÝØÝ�˜)Ñ#Ñ$Ô$ð
ð 
ð  ð
ð ð	
ð 
ˆŒð >IÐ=T•:˜g {Ð9Ð9°bÐ9Ð9Ð9ÕZ\ÔZeÑZgÔZgˆŒØ1:¸S²°�( 9Ñ-Ô-Ð-ÅbÄkÁmÄmˆŒˆˆr6   r.   r:   c           
      óH  — |}|                       |¦  «        }| j        | j        k    r_|                      |¦  «        }| j        �C|                     dddd¦  «        }|                      |¦  «                             dddd¦  «        }| j        }|j        dd…         \  }}||}}| j        rAt          |||¦  «        \  }}}}	t          j        |ddd|	d|f¦  «        }t          ||¦  «        }|                      |¦  «        }| j        �^| j        d         | j        d         z  | j        d         | j        d         z  f}|j        dd…         \  }}t          |||¦  «        \  }}}}	| j        r9t          ||||f¦  «        }|d d …d |…d |…d d …f                              ¦   «         }||                      |                      |¦  «        ¦  «        z   }||                      |                      |                      |                      |¦  «        ¦  «        ¦  «        ¦  «        z   }|S )Nr   r$   r   r%   )rˆ   rE   rF   rS   r†   r,   r"   r*   r„   rA   r^   Úpadr5   re   rz   r9   r-   rŠ   r‰   rŽ   r�   rŒ   r‹   )
rT   r.   Úshortcutr"   r0   r1   r?   r@   r=   r>   s
             r4   rf   zMultiScaleBlock.forwardÁ   s  € ØˆØ�JŠJ�q‰MŒMˆð Œ8�t”|Ò#Ð#Ø—y’y ‘|”|ˆHØŒyÐ$Ø#×+Ò+¨A¨q°!°QÑ7Ô7�ØŸ9š9 XÑ.Ô.×6Ò6°q¸!¸QÀÑBÔB�ð Ô&ˆØŒw�q˜�sŒ|‰ˆˆ1Ø�AˆBˆØÔð 	1Ý#,¨Q°°;Ñ#?Ô#?Ñ ˆB��E˜5Ý”�a˜!˜Q  5¨!¨UÐ3Ñ4Ô4ˆAÝ   KÑ0Ô0ˆAð �IŠI�a‰LŒLˆØŒ=Ð$àÔ+¨AÔ.°$´-ÀÔ2BÑBÀDÔDTÐUVÔDWÐ[_Ô[hÐijÔ[kÑDkÐlˆKØ”> ! A #Ô&‰DˆAˆqÝ#,¨Q°°;Ñ#?Ô#?Ñ ˆB��E˜5ð Ôð 	-Ý" 1 k°B¸°8Ñ<Ô<ˆAØ�!�!�!�R�a�R˜˜!˜˜Q˜Q˜Q�,”×*Ò*Ñ,Ô,ˆAà�t—’ t§x¢x°¡{¤{Ñ3Ô3Ñ3ˆØ�—’ §¢¨¯ª°$·*²*¸Q±-´-Ñ)@Ô)@Ñ AÔ AÑBÔBÑBˆØˆr6   )	ru   Nrv   rw   r   Nrx   NN)rg   rh   ri   rn   Úfloatr   r   r
   r	   rP   ro   ÚstrrN   r[   rp   rf   rq   rr   s   @r4   rt   rt   …   s*  ø€ € € € € ð  #Ø26Ø6AØ5;Ø Ø+/Ø"ØØð9Tð 9Tàð9Tð ð9Tð ð	9Tð
 ð9Tð ˜u S¨# XœÔ/ð9Tð ˜d 2¤9œo¨sÐ2Ô3ð9Tð ˜T "¤)œ_¨cÐ1Ô2ð9Tð ð9Tð " %œð9Tð ð9Tð 9Tð 9Tð 9Tð 9Tð 9Tðv#˜œð #¨%¬,ð #ð #ð #ð #ð #ð #ð #ð #r6   rt   c                   óÎ   ‡ — e Zd ZdZ	 	 	 	 	 	 	 ddeeeeef         f         d	eeeeef         f         d
eeeeeef         f         dedef
ˆ fd„Zde	j
        de	j
        fd„Zˆ xZS )ÚHieraPatchEmbedz#
    Image to Patch Embedding.
    ©é   r—   ©r&   r&   ©r$   r$   r$   é   Nr€   r�   ÚpaddingÚin_chansÚ	embed_dimc                 óŠ   •— t          ¦   «                              ¦   «          ||dœ}t          j        ||f|||dœ|¤Ž| _        dS )a,  
        Args:
            kernel_size: kernel size of the projection layer.
            stride: stride of the projection layer.
            padding: padding size of the projection layer.
            in_chans: Number of input image channels.
            embed_dim: Patch embedding dimension.
        rJ   )r€   r�   r›   N)rM   rN   rP   ÚConv2drS   )
rT   r€   r�   r›   rœ   r�   rK   rL   rU   rW   s
            €r4   rN   zHieraPatchEmbed.__init__ì   sd   ø€ õ$ 	‰Œ×ÒÑÔÐØ¨Ð/Ð/ˆÝ”IØØð
ð $ØØð
ð 
ð ð
ð 
ˆŒ	ˆ	ˆ	r6   r.   r:   c                 ó`   — |                       |¦  «        }|                     dddd¦  «        }|S )Nr   r%   r$   r   )rS   r,   ©rT   r.   s     r4   rf   zHieraPatchEmbed.forward	  s-   € Ø�IŠI�a‰LŒLˆà�IŠI�a˜˜A˜qÑ!Ô!ˆØˆr6   )r–   r˜   r™   r$   rš   NN)rg   rh   ri   Ú__doc__r
   rn   r   r“   rN   r[   rp   rf   rq   rr   s   @r4   r•   r•   ç   sñ   ø€ € € € € ðð ð 4:Ø.4Ø4:ØØØØð
ð 
à˜3  c¨3 h¤Ð/Ô0ð
ð �c˜5  c œ?Ð*Ô+ð
ð �s˜C  s¨C x¤Ð0Ô1ð	
ð
 ð
ð ð
ð 
ð 
ð 
ð 
ð 
ð:˜œð ¨%¬,ð ð ð ð ð ð ð ð r6   r•   c            5       ó   ‡ — e Zd ZdZ	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 dLdedededededeeef         deeef         deeef         deeeef                  ded eeef         d!eed"f         d#ed$ed%eeef         d&eed"f         d'eed"f         d(ee         d)ed*e	d+ed,ed-ed.e
eej                 ef         d/e
eej                 ef         f2ˆ fd0„Zd1ej        d2ej        fd3„Zd4„ Zej        j        d5„ ¦   «         Zej        j        dMd7e	d2efd8„¦   «         Zej        j        dNd9e	d2d
fd:„¦   «         Zej        j        d;„ ¦   «         ZdOdedee         d<e	fd=„Z	 	 	 	 	 	 dPd1ej        d?ee
eee         f                  d@e	dAe	dBedCe	d7e	d2e
eej                 eej        eej                 f         f         fdD„Z	 	 	 	 dQd?e
eee         f         dEe	dFe	d7e	fdG„Zd1ej        d2ej        fdH„ZdMdIe	d2ej        fdJ„Zd1ej        d2ej        fdK„Z ˆ xZ!S )RÚHieraDetz5
    Reference: https://arxiv.org/abs/2306.00989
    r$   éè  Úavgé`   r   r–   r˜   r™   N©r%   r%   ©r%   r$   é   r$   ç       @©é   r&   é   r—   ©é   rª   é   Ú Tçü©ñÒMbP?rx   rv   rw   rœ   Únum_classesÚglobal_poolr�   rG   Úpatch_kernelÚpatch_strideÚpatch_paddingÚ
patch_sizerH   rz   Ústages.Údim_mulÚhead_mulÚglobal_pos_sizeÚwindow_specÚglobal_att_blocksr}   Úweight_initÚfix_initÚhead_init_scaleÚ	drop_rateÚdrop_path_rater{   r|   c                 ó¼  •‡— t          ¦   «                              ¦   «          ||dœ}t          |¦  «        }t          |¦  «        }t	          ‰¦  «        t	          |¦  «        k    sJ ‚d| _        || _        || _        || _        d| _	        t          ‰¦  «        }|| _        ˆfd„t          dt	          ‰¦  «        dz   ¦  «        D ¦   «         | _        d|
cxk    r t	          | j        d d…         ¦  «        k    sn J ‚d„ | j        d d…         D ¦   «         d |
…         | _        |	�t          dd |	||dd	d
œ|¤Ž| _        nt#          d|||||dœ|¤Ž| _        || _        || _        t)          j        t-          j        d|g| j        ¢R i |¤Ž¦  «        | _        t)          j        t-          j        d|| j        d         | j        d         fi |¤Ž¦  «        | _        t5          ||¦  «        }d}t)          j        ¦   «         | _        g | _        t          |¦  «        D ]à} |}!| j        |         }"| j        �| | j        v rdn|"}"| dz
  | j        v r)t=          ||z  ¦  «        }!t=          ||z  ¦  «        }|dz  }t?          d||!|||          | | j        v r| j        nd |"|||dœ	|¤Ž}#|!}| j                              |#¦  «         | | j        v r5| xj        tC          |!d|dz   z  d| j        |         › �¬¦  «        gz  c_        Œá|x| _"        | _#        tI          ||f|||dœ|¤Ž| _%        | j        �&t(          j&         '                    | j        d¬¦  «         | j        �&t(          j&         '                    | j        d¬¦  «         |dk    r5|dk    rtP          ntR          }$tU          |$d¬¦  «        }$tW          |$| ¦  «         |r|  ,                    ¦   «          t[          | j%        tH          ¦  «        rxt[          | j%        j.        t(          j/        ¦  «        rV| j%        j.        j0        j1         2                    |¦  «         | j%        j.        j3        j1         2                    |¦  «         d S d S d S )NrJ   FÚNHWCc                 óD   •— g | ]}t          ‰d |…         ¦  «        dz
  ‘ŒS )Nr   )Úsum)Ú.0Úirº   s     €r4   ú
<listcomp>z%HieraDet.__init__.<locals>.<listcomp>K  s,   ø€ ÐRÐRÐR°1�3˜v b q bœz™?œ?¨QÑ.ÐRÐRÐRr6   r   r   r(   c                 ó   — g | ]}|d z   ‘ŒS )r   r<   )rÉ   r.   s     r4   rË   z%HieraDet.__init__.<locals>.<listcomp>M  s   € ÐBÐBÐB¨˜a !™eÐBÐBÐBr6   T)Úimg_sizer¹   rœ   r�   Ú
output_fmtÚdynamic_img_pad)r€   r�   r›   rœ   r�   )	rE   rF   rG   r~   rz   r"   r{   r|   r}   r%   zblocks.)Únum_chsÚ	reductionÚmodule)Ú	pool_typerÃ   r{   g{®Gáz”?)ÚstdÚskipÚjaxúhead.fc)Úclassifier_namer<   )4rM   rN   r   r   ÚlenÚgrad_checkpointingr´   rœ   r¾   rÎ   rÈ   rz   ÚrangeÚ
stage_endsÚq_pool_blocksr   Úpatch_embedr•   r¿   r½   rP   Ú	Parameterr[   ÚzerosÚ	pos_embedÚpos_embed_windowr   Ú
SequentialÚblocksÚfeature_inforn   rt   ÚappendÚdictÚnum_featuresÚhead_hidden_sizer   ÚheadÚinitÚtrunc_normal_r   r   r   r   Úfix_init_weightÚ
isinstanceÚfcrQ   ÚweightÚdataÚmul_Úbias)&rT   rœ   r´   rµ   r�   rG   r¶   r·   r¸   r¹   rH   rz   rº   r»   r¼   r½   r¾   r¿   r}   rÀ   rÁ   rÂ   rÃ   rÄ   r{   r|   rK   rL   rU   ÚdepthÚdprÚ	cur_stagerÊ   rF   r"   ÚblockÚinit_fnrW   s&               `                        €r4   rN   zHieraDet.__init__  s  øø€ õR 	‰Œ×ÒÑÔÐØ¨Ð/Ð/ˆÝ# JÑ/Ô/ˆ
Ý! )Ñ,Ô,ˆ	Ý�6‰{Œ{�c +Ñ.Ô.Ò.Ð.Ð.Ð.Ø"'ˆÔØ&ˆÔØ ˆŒØ&ˆÔØ ˆŒå�F‘”ˆØ ˆŒØRÐRÐRÐR½¸aÅÀVÁÄÈqÁÑ8QÔ8QÐRÑRÔRˆŒØ�FÐ7Ð7Ò7Ð7�c $¤/°#°2°#Ô"6Ñ7Ô7Ò7Ð7Ð7Ð7Ð7Ð7ØBÐB¨T¬_¸S¸b¸SÔ-AÐBÑBÔBÀ7ÀFÀ7ÔKˆÔàÐ!å)ð  ØØ%Ø!Ø#Ø!Ø $ð ð  ð ð ð  ˆDÔÐõ  /ð  Ø(Ø#Ø%Ø!Ø#ð ð  ð ð ð  ˆDÔð "3ˆÔð  /ˆÔÝœ¥e¤k°!°YÐ&\ÀÔAUÐ&\Ð&\Ð&\ÐY[Ð&\Ð&\Ñ]Ô]ˆŒÝ "¤­U¬[¸¸IÀtÔGWÐXYÔGZÐ\`Ô\lÐmnÔ\oÐ-vÐ-vÐsuÐ-vÐ-vÑ wÔ wˆÔå'¨¸Ñ>Ô>ˆØˆ	Ý”m‘o”oˆŒØˆÔÝ�u‘”ð  	vð  	vˆAØˆGð Ô*¨9Ô5ˆKàÔ%Ð1Ø#$¨Ô(>Ð#>Ð#>˜a˜aÀK�à�1‰u˜œÐ'Ð'Ý˜i¨'Ñ1Ñ2Ô2�Ý 	¨HÑ 4Ñ5Ô5�	Ø˜Q‘�	å#ð ØØØ#Ø˜aœ&Ø*+¨tÔ/AÐ*AÐ*A˜œ˜ÀtØ'Ø%Ø#Ø'ðð ð ðð ˆEð  ˆIØŒK×Ò˜uÑ%Ô%Ð%Ø�D”OÐ#Ð#ØÐ!Ô!Ý °A¸	À!¹Ñ4DÐMsÐW[ÔWfÐgpÔWqÐMsÐMsÐtÑtÔtð&vñ vÐ!Ô!øð 5>Ð=ˆÔ˜DÔ1Ý+ØØð
ð "ØØ!ð
ð 
ð ð
ð 
ˆŒ	ð Œ>Ð%ÝŒG×!Ò! $¤.°dÐ!Ñ;Ô;Ð;àÔ Ð,ÝŒG×!Ò! $Ô"7¸TÐ!ÑBÔBÐBà˜&Ò Ð Ø)4¸Ò)=Ð)=•o�oÅ?ˆGÝ˜g°yÐAÑAÔAˆGÝ˜ Ñ&Ô&Ð&àð 	#Ø× Ò Ñ"Ô"Ð"å�d”iÕ!8Ñ9Ô9ð 	9½jÈÌÌÕWYÔW`Ñ>aÔ>að 	9ØŒIŒLÔÔ$×)Ò)¨/Ñ:Ô:Ð:ØŒIŒLÔÔ"×'Ò'¨Ñ8Ô8Ð8Ð8Ð8ð	9ð 	9ð 	9ð 	9r6   r.   r:   c                 óJ  — |j         dd…         \  }}| j        }t          j        | j        ||fd¬¦  «        }|j         d         |j         d         z  }|j         d         |j         d         z  }||                     ||f¦  «        z   }|                     dddd¦  «        }||z   S )	Nr   r$   Úbicubic)ÚsizeÚmoderY   r(   r   r%   )r*   râ   r^   Úinterpolaterá   Útiler,   )rT   r.   ÚhÚwÚwindow_embedrá   Útile_hÚtile_ws           r4   Ú
_pos_embedzHieraDet._pos_embed®  s«   € ØŒw�q˜�sŒ|‰ˆˆ1ØÔ,ˆÝ”M $¤.¸¸1°vÀIÐNÑNÔNˆ	Ø” Ô$¨Ô(:¸2Ô(>Ñ>ˆØ” Ô$¨Ô(:¸2Ô(>Ñ>ˆØ × 1Ò 1°6¸6Ð2BÑ CÔ CÑCˆ	Ø×%Ò% a¨¨A¨qÑ1Ô1ˆ	Ø�9‰}Ðr6   c                 óÌ   — d„ }t          | j        ¦  «        D ]K\  }} ||j        j        j        j        |dz   ¦  «          ||j        j        j        j        |dz   ¦  «         ŒLd S )Nc                 óZ   — |                       t          j        d|z  ¦  «        ¦  «         d S )Nr«   )Údiv_ÚmathÚsqrt)ÚparamÚ	_layer_ids     r4   Úrescalez)HieraDet.fix_init_weight.<locals>.rescale¹  s(   € Ø�JŠJ•t”y  y¡Ñ1Ô1Ñ2Ô2Ð2Ð2Ð2r6   r   )Ú	enumeraterä   re   rS   rð   rñ   rŒ   Úfc2)rT   r  Úlayer_idÚlayers       r4   rí   zHieraDet.fix_init_weight¸  s}   € ð	3ð 	3ð 	3õ  )¨¬Ñ5Ô5ð 	=ð 	=‰OˆH�eØˆG�E”J”OÔ*Ô/°¸A±Ñ>Ô>Ð>ØˆG�E”I”MÔ(Ô-¨x¸!©|Ñ<Ô<Ð<Ð<ð	=ð 	=r6   c                 ó
   — ddgS )Nrá   râ   r<   ©rT   s    r4   Úno_weight_decayzHieraDet.no_weight_decayÀ  s   € àÐ/Ð0Ð0r6   FÚcoarsec                 ó&   — t          ddg¬¦  «        S )Nz'^pos_embed|pos_embed_window|patch_embed)z^blocks\.(\d+)N)Ústemrä   )rç   )rT   r  s     r4   Úgroup_matcherzHieraDet.group_matcherÄ  s"   € åØ;Ø-Ð.ð
ñ 
ô 
ð 	
r6   Úenablec                 ó   — || _         d S ©N)rÚ   )rT   r  s     r4   Úset_grad_checkpointingzHieraDet.set_grad_checkpointingË  s   € à"(ˆÔÐÐr6   c                 ó   — | j         j        S r  )rê   rï   r  s    r4   Úget_classifierzHieraDet.get_classifierÏ  s   € àŒyŒ|Ðr6   Úreset_otherc                 ó^   — t          | ¦  «        }|| _         | j        j        |f||dœ|¤Ž d S )N)rÓ   r  )r   r´   rê   Úreset)rT   r´   rµ   r  rU   s        r4   Úreset_classifierzHieraDet.reset_classifierÓ  sA   € Ý˜dÑ#Ô#ˆØ&ˆÔØˆŒ	Œ˜ÐZ¨{ÈÐZÐZÐWYÐZÐZÐZÐZÐZr6   ÚNCHWÚindicesÚnormÚ
stop_earlyrÎ   Úintermediates_onlyc                 ó  ‡ — |r
J d¦   «         ‚|dv s
J d¦   «         ‚|rAt          t          ‰ j        ¦  «        |¦  «        \  }}	ˆ fd„|D ¦   «         }‰ j        |	         }	n%t          t          ‰ j        ¦  «        |¦  «        \  }}	‰                      |¦  «        }‰                      |¦  «        }g }
t          j                             ¦   «         s|s‰ j        }n‰ j        d|	dz   …         }t          |¦  «        D ]\  }}‰ j
        r/t          j                             ¦   «         st          ||¦  «        }n ||¦  «        }||v r5|dk    r|                     dd	dd
¦  «        n|}|
                     |¦  «         Œ€|r|
S ||
fS )aE   Forward features that returns intermediates.

        Args:
            x: Input image tensor
            indices: Take last n blocks if int, all if None, select matching indices if sequence
            norm: Apply norm layer to all intermediates
            stop_early: Stop iterating over blocks when last desired intermediate hit
            output_fmt: Shape of intermediate feature outputs
            intermediates_only: Only return intermediate features
            coarse: Take coarse features (stage ends) if true, otherwise all block featrures
        Returns:

        z'normalization of features not supported)r"  rÆ   z(Output format must be one of NCHW, NHWC.c                 ó*   •— g | ]}‰j         |         ‘ŒS r<   )rÜ   )rÉ   rÊ   rT   s     €r4   rË   z2HieraDet.forward_intermediates.<locals>.<listcomp>ó  s    ø€ ÐEÐEÐE°1˜DœO¨AÔ.ÐEÐEÐEr6   Nr   r"  r   r$   r%   )r   rÙ   rÜ   rä   rÞ   r  r[   rj   Úis_scriptingr  rÚ   r   r,   ræ   )rT   r.   r#  r$  r%  rÎ   r&  r  Útake_indicesÚ	max_indexÚintermediatesrä   rÊ   ÚblkÚx_outs   `              r4   Úforward_intermediateszHieraDet.forward_intermediatesØ  s¼  ø€ ð. ÐBÐBÐBÑBÔBˆxØÐ-Ð-Ð-Ð-Ð/YÑ-Ô-Ð-Øð 	VÝ&:½3¸t¼Ñ;OÔ;OÐQXÑ&YÔ&YÑ#ˆL˜)ØEÐEÐEÐE¸ÐEÑEÔEˆLØœ¨	Ô2ˆIˆIå&:½3¸t¼{Ñ;KÔ;KÈWÑ&UÔ&UÑ#ˆL˜)à×Ò˜QÑÔˆØ�OŠO˜AÑÔˆàˆÝŒ9×!Ò!Ñ#Ô#ð 	1¨:ð 	1Ø”[ˆFˆFà”[  )¨a¡- Ô0ˆFÝ Ñ'Ô'ð 	,ð 	,‰FˆAˆsØÔ&ð ­u¬y×/EÒ/EÑ/GÔ/Gð Ý˜s AÑ&Ô&��à�C˜‘F”F�Ø�LÐ Ð Ø1;¸vÒ1EÐ1E˜Ÿ	š	 ! Q¨¨1Ñ-Ô-Ð-È1�Ø×$Ò$ UÑ+Ô+Ð+øàð 	!Ø Ð à�-ÐÐr6   Ú
prune_normÚ
prune_headc                 ó$  — |r3t          t          | j        ¦  «        |¦  «        \  }}| j        |         }n%t          t          | j        ¦  «        |¦  «        \  }}| j        d|dz   …         | _        |r| j                             d|¬¦  «         |S )z@ Prune layers not required for specified intermediates.
        Nr   r   )r  )r   rÙ   rÜ   rä   rê   r   )rT   r#  r0  r1  r  r*  r+  s          r4   Úprune_intermediate_layersz"HieraDet.prune_intermediate_layers  s”   € ð ð 	VÝ&:½3¸t¼Ñ;OÔ;OÐQXÑ&YÔ&YÑ#ˆL˜)Øœ¨	Ô2ˆIˆIå&:½3¸t¼{Ñ;KÔ;KÈWÑ&UÔ&UÑ#ˆL˜)Ø”k . 9¨q¡= .Ô1ˆŒØð 	7ØŒI�OŠO˜A¨:ˆOÑ6Ô6Ð6ØÐr6   c                 óð   — |                       |¦  «        }|                      |¦  «        }| j        D ]C}| j        r/t          j                             ¦   «         st          ||¦  «        }Œ8 ||¦  «        }ŒD|S r  )rÞ   r  rä   rÚ   r[   rj   r)  r   )rT   r.   r-  s      r4   Úforward_featureszHieraDet.forward_features!  s|   € Ø×Ò˜QÑÔˆØ�OŠO˜AÑÔˆØ”;ð 	ð 	ˆCØÔ&ð ­u¬y×/EÒ/EÑ/GÔ/Gð Ý˜s AÑ&Ô&��à�C˜‘F”F��Øˆr6   Ú
pre_logitsc                 ób   — |r|                       ||¬¦  «        n|                       |¦  «        }|S )N)r6  )rê   )rT   r.   r6  s      r4   Úforward_headzHieraDet.forward_head+  s0   € Ø3=ÐOˆD�IŠI�a JˆIÑ/Ô/Ð/À4Ç9Â9ÈQÁ<Ä<ˆØˆr6   c                 óZ   — |                       |¦  «        }|                      |¦  «        }|S r  )r5  r8  r¡   s     r4   rf   zHieraDet.forward/  s-   € Ø×!Ò! !Ñ$Ô$ˆØ×Ò˜aÑ Ô ˆØˆr6   )r$   r¥   r¦   r§   r   r–   r˜   r™   Nr$   r¨   r©   r«   r«   r–   r¬   r¯   Nr²   Tr³   rx   rx   rv   rw   NN©F)T)NF)NFTr"  FT)r   FTT)"rg   rh   ri   r¢   rn   r“   r   r   r’   rl   r
   r	   rP   ro   rN   r[   rp   r  rí   rj   Úignorer  r   r  r  r  r!  r   r/  r3  r5  r8  rf   rq   rr   s   @r4   r¤   r¤     sã  ø€ € € € € ðð ð Ø#Ø$ØØØ,2Ø,2Ø-3Ø48ØØ(.Ø&3Ø Ø!Ø/5ð,ð2ð
 ,0Ø!Ø!Ø%*Ø"Ø$'Ø6AØ5;ØØðOW9ð W9àðW9ð ðW9ð ð	W9ð
 ðW9ð ðW9ð    S œ/ðW9ð    S œ/ðW9ð !  c œ?ðW9ð !  s¨C x¤Ô1ðW9ð ðW9ð ˜C ˜H”oðW9ð ˜#˜s˜(”OðW9ð ðW9ð ðW9ð  # 3¨ 8œ_ð!W9ð$ ˜s C˜xœð%W9ð2  % S¨# Xœð3W9ð< " %œð=W9ð> ð?W9ð@ ðAW9ðB #ðCW9ðD ðEW9ðF "ðGW9ðH ˜d 2¤9œo¨sÐ2Ô3ðIW9ðJ ˜T "¤)œ_¨cÐ1Ô2ðKW9ð W9ð W9ð W9ð W9ð W9ðr˜EœLð ¨U¬\ð ð ð ð ð=ð =ð =ð „YÔð1ð 1ñ Ôð1ð „YÔð
ð 
 Dð 
°Tð 
ð 
ð 
ñ Ôð
ð „YÔð)ð )¨Tð )¸Tð )ð )ð )ñ Ôð)ð „YÔðð ñ Ôðð[ð [¨Cð [¸hÀs¼mð [Ðaeð [ð [ð [ð [ð 8<ØØ#Ø$Ø',Øð4 ð 4 àŒ|ð4 ð ˜e C¨¨c¬ NÔ3Ô4ð4 ð ð	4 ð
 ð4 ð ð4 ð !%ð4 ð ð4 ð 
ˆt�E”LÔ! 5¨¬°t¸E¼LÔ7IÐ)IÔ#JÐJÔ	Kð4 ð 4 ð 4 ð 4 ðp ./Ø$Ø#Øðð à˜3  S¤	˜>Ô*ðð ðð ð	ð
 ðð ð ð ð& %¤,ð °5´<ð ð ð ð ðð ¨$ð ¸5¼<ð ð ð ð ð˜œð ¨%¬,ð ð ð ð ð ð ð ð r6   r¤   r²   c                 ó8   — | ddddddt           t          ddd	d
œ|¥S )Nr   )r$   é€  r=  )é   r>  g      ð?rú   )r$   éà   r?  zpatch_embed.projr×   z
apache-2.0)Úurlr´   Ú
input_sizeÚ	pool_sizeÚcrop_pctÚinterpolationÚmin_input_sizeÚmeanrÔ   Ú
first_convÚ
classifierÚlicenser   )r@  Úkwargss     r4   Ú_cfgrK  6  s:   € àØ¨ÀHØ¨)À}Ý%Õ.BØ(¸	Øðð ð ðð r6   ztimm/)Ú	hf_hub_id)r$   é   rM  )r$   é   rN  )é    rO  )rL  rE  rA  rB  r¥   )r­   r­   )r´   rA  rB  )	zsam2_hiera_tiny.fb_r896zsam2_hiera_tiny.fb_r896_2pt1zsam2_hiera_small.fb_r896zsam2_hiera_small.fb_r896_2pt1zsam2_hiera_base_plus.fb_r896z!sam2_hiera_base_plus.fb_r896_2pt1zsam2_hiera_large.fb_r1024zsam2_hiera_large.fb_r1024_2pt1zhieradet_small.untrainedc                 ó&  — |                       d| ¦  «        } i }|                      ¦   «         D ]c\  }}|                     |¦  «        r|                     |d¦  «        }nŒ2|                     dd¦  «        }|                     dd¦  «        }|||<   Œd|S )NÚmodelr²   zmlp.layers.0zmlp.fc1zmlp.layers.1zmlp.fc2)ÚgetÚitemsÚ
startswithÚreplace)Ú
state_dictrQ  ÚprefixÚoutputrc   rd   s         r4   Úcheckpoint_filter_fnrY  v  s›   € Ø—’ ¨Ñ4Ô4€Jà€FØ× Ò Ñ"Ô"ð ð ‰ˆˆ1Ø�<Š<˜ÑÔð 	Ø—	’	˜& "Ñ%Ô%ˆAˆAàØ�IŠI�n iÑ0Ô0ˆØ�IŠI�n iÑ0Ô0ˆØˆˆq‰	ˆ	Ø€Mr6   FÚvariantÚ
pretrainedc                 ó¦   — |                      dd¦  «        }d}t          t          | |ft          t          |¬¦  «        t          |d¬¦  «        dœ|¤ŽS )NÚout_indicesr&   r²   )rW  Úgetter)r]  Úfeature_cls)Úpretrained_filter_fnÚfeature_cfg)Úpopr   r¤   r   rY  rç   )rZ  r[  rJ  r]  Úcheckpoint_prefixs        r4   Ú_create_hiera_detrd  …  sp   € Ø—*’*˜]¨AÑ.Ô.€KØÐõ  ÝØØðõ %Õ%9ÐBSÐTÑTÔTÝ [¸hÐGÑGÔGðð ð ðð ð r6   c           	      óV   — t          dd¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )N)r   r%   r—   r%   )r'   r—   é	   ©rº   r¿   Úsam2_hiera_tinyr[  )rh  ©rç   rd  ©r[  rJ  Ú
model_argss      r4   rh  rh  —  s>   € å˜\¸YÐGÑGÔG€JÝÐdÐd¸:ÐdÍÈjÐIcÐIcÐ\bÐIcÐIcÐdÐdÐdr6   c           	      óV   — t          dd¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )N©r   r%   é   r%   ©r—   é
   é   rg  Úsam2_hiera_smallr[  )rr  ri  rj  s      r4   rr  rr  �  s>   € å˜]¸kÐJÑJÔJ€JÝÐeÐe¸JÐeÍ$ÈzÐJdÐJdÐ]cÐJdÐJdÐeÐeÐer6   c           	      óX   — t          ddd¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )Nép   r%   )r®   r®   )r�   rG   r½   Úsam2_hiera_base_plusr[  )ru  ri  rj  s      r4   ru  ru  £  sA   € å ¨qÀ(ÐKÑKÔK€JÝÐiÐiÀ
ÐiÍdÐS]ÐNhÐNhÐagÐNhÐNhÐiÐiÐir6   c           	      ó\   — t          ddddd¬¦  «        }t          d	d| it          |fi |¤Ž¤ŽS )
Né�   r%   )r%   é   é$   r&   )é   é!   é+   ©r­   r&   rª   r­   )r�   rG   rº   r¿   r¾   Úsam2_hiera_larger[  )r~  ri  rj  s      r4   r~  r~  ©  sQ   € åØØØØ&Ø!ðñ ô €Jõ ÐeÐe¸JÐeÍ$ÈzÐJdÐJdÐ]cÐJdÐJdÐeÐeÐer6   c           	      óZ   — t          dddd¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )	Nrm  ro  r}  gñhãˆµøä>)rº   r¿   r¾   r}   Úhieradet_smallr[  )r€  ri  rj  s      r4   r€  r€  µ  sD   € å˜]¸kÐWdÐrvÐwÑwÔw€JÝÐcÐc¸*ÐcÍÈZÐHbÐHbÐ[aÐHbÐHbÐcÐcÐcr6   )r²   )Nr²   r:  )Br  Úcopyr   Ú	functoolsr   Útypingr   r   r   r   r	   r
   r[   Útorch.nnrP   Útorch.nn.functionalÚ
functionalr^   Ú	timm.datar   r   Útimm.layersr   r   r   r   r   r   r   r   r   r   r   r   r   Ú_builderr   Ú	_featuresr   Ú_manipulater   r   Ú	_registryr    r!   rn   r5   rp   r9   rA   ro   rC   rt   r•   r¤   rK  Údefault_cfgsrY  r“   rl   rd  rh  rr  ru  r~  r€  r<   r6   r4   ú<module>rŽ     sD  ðØ €€€Ø Ð Ð Ð Ð Ð Ø Ð Ð Ð Ð Ð Ø ;Ð ;Ð ;Ð ;Ð ;Ð ;Ð ;Ð ;Ð ;Ð ;Ð ;Ð ;Ð ;Ð ;Ð ;Ð ;à €€€Ø Ð Ð Ð Ð Ð Ø Ð Ð Ð Ð Ð Ð Ð Ð à AÐ AÐ AÐ AÐ AÐ AÐ AÐ Aðð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð  +Ð *Ð *Ð *Ð *Ð *Ø +Ð +Ð +Ð +Ð +Ð +Ø 0Ð 0Ð 0Ð 0Ð 0Ð 0Ð 0Ð 0Ø <Ð <Ð <Ð <Ð <Ð <Ð <Ð <ð U¨3°¨8¤_ð ð ð ð ð  ¤ð ¸5ÀÀcÀ¼?ð ÐPUÐVYÐ[^ÐV^ÔP_ð ð ð ð ð" �ð  ˜ð  ¨5°°c°¬?ð  ¸uÀSÈ#ÈsÐTWÐEWÔ?Xð  ð  ð  ð  ð9ð 9ð 9ð 9ð 9˜"œ)ñ 9ô 9ð 9ðx_ð _ð _ð _ð _�b”iñ _ô _ð _ðD&ð &ð &ð &ð &�b”iñ &ô &ð &ðRbð bð bð bð bˆrŒyñ bô bð bðL		ð 	ð 	ð 	ð %Ð$Ø#˜tð ð ñ  ô  ð
 %) Dð ð%ñ %ô %ð
 !% ð ð!ñ !ô !ð
 &* Tð ð&ñ &ô &ð
 %) Dð ð%ñ %ô %ð
 *.¨ð ð*ñ *ô *ð
 "& ð Ø$Ø"¨hð"ñ "ô "ð '+ dð Ø$Ø"¨hð'ñ 'ô 'ð !% ØØ ¨Fð!ñ !ô !ð[1&ð 1&ñ 1ô 1€ðhð ð ð ðð ˜sð °ð È8ð ð ð ð ð$ ðeð eð eñ „ðeð
 ðfð fð fñ „ðfð
 ðjð jð jñ „ðjð
 ðfð fð fñ „ðfð ðdð dð dñ „ðdð dð dr6   