§
    ·¯¸júQ  ã                   óL  — d Z ddlZddlmZmZmZmZmZmZm	Z	 ddl
Z
ddlmZ ddlmc mZ ddlmZmZ ddlmZmZmZmZmZmZmZmZ ddlmZ ddlmZ dd	l m!Z! dd
l"m#Z#m$Z$ dgZ% G d„ dej&        ¦  «        Z' G d„ dej&        ¦  «        Z( G d„ dej&        ¦  «        Z) G d„ dej&        ¦  «        Z* G d„ dej&        ¦  «        Z+ G d„ dej&        ¦  «        Z,d„ Z-d'd„Z.d(d„Z/ e$ e/d¬¦  «         e/d¬¦  «         e/d¬¦  «         e/d¬¦  «         e/d¬¦  «         e/d¬¦  «         e/d¬¦  «        dœ¦  «        Z0e#d'de,fd „¦   «         Z1e#d'de,fd!„¦   «         Z2e#d'de,fd"„¦   «         Z3e#d'de,fd#„¦   «         Z4e#d'de,fd$„¦   «         Z5e#d'de,fd%„¦   «         Z6e#d'de,fd&„¦   «         Z7dS ))a   Pyramid Vision Transformer v2

@misc{wang2021pvtv2,
      title={PVTv2: Improved Baselines with Pyramid Vision Transformer},
      author={Wenhai Wang and Enze Xie and Xiang Li and Deng-Ping Fan and Kaitao Song and Ding Liang and
        Tong Lu and Ping Luo and Ling Shao},
      year={2021},
      eprint={2106.13797},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Based on Apache 2.0 licensed code at https://github.com/whai362/PVT

Modifications and timm support by / Copyright 2022, Ross Wightman
é    N)ÚCallableÚListÚOptionalÚTupleÚUnionÚTypeÚAny©ÚIMAGENET_DEFAULT_MEANÚIMAGENET_DEFAULT_STD)ÚDropPathÚcalculate_drop_path_ratesÚ	to_2tupleÚ	to_ntupleÚtrunc_normal_Ú	LayerNormÚuse_fused_attnÚget_device_dtypeé   )Úbuild_model_with_cfg)Úfeature_take_indices)Ú
checkpoint)Úregister_modelÚgenerate_default_cfgsÚPyramidVisionTransformerV2c                   ó˜   ‡ — e Zd Zddej        ddddfdedee         dee         deej                 de	d	e
fˆ fd
„Zdee         fd„Zˆ xZS )ÚMlpWithDepthwiseConvNç        FÚin_featuresÚhidden_featuresÚout_featuresÚ	act_layerÚdropÚ
extra_reluc	                 ó¨  •— t          ¦   «                              ¦   «          ||dœ}	|p|}|p|}t          j        ||fi |	¤Ž| _        |rt          j        ¦   «         nt          j        ¦   «         | _        t          j        ||dddfd|dœ|	¤Ž| _	         |¦   «         | _
        t          j        ||fi |	¤Ž| _        t          j        |¦  «        | _        d S )N©ÚdeviceÚdtypeé   r   T)ÚbiasÚgroups)ÚsuperÚ__init__ÚnnÚLinearÚfc1ÚReLUÚIdentityÚreluÚConv2dÚdwconvÚactÚfc2ÚDropoutr#   )Úselfr   r    r!   r"   r#   r$   r'   r(   ÚddÚ	__class__s             €úb/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/timm/models/pvt_v2.pyr-   zMlpWithDepthwiseConv.__init__$   sÛ   ø€ õ 	‰Œ×ÒÑÔÐØ¨Ð/Ð/ˆØ#Ð2 {ˆØ)Ð8¨[ˆÝ”9˜[¨/Ð@Ð@¸RÐ@Ð@ˆŒØ!+Ð>•B”G‘I”I�Iµ´±´ˆŒ	Ý”i °À!ÀQÈÐsÐPTÐ]lÐsÐsÐprÐsÐsˆŒØ�9‘;”;ˆŒÝ”9˜_¨lÐAÐA¸bÐAÐAˆŒÝ”J˜tÑ$Ô$ˆŒ	ˆ	ˆ	ó    Ú	feat_sizec                 ó  — |                       |¦  «        }|j        \  }}}|                     dd¦  «                             |||d         |d         ¦  «        }|                      |¦  «        }|                      |¦  «        }|                     d¦  «                             dd¦  «        }|                      |¦  «        }|                      |¦  «        }|  	                    |¦  «        }|                      |¦  «        }|S )Nr   é   r   )
r0   ÚshapeÚ	transposeÚviewr3   r5   Úflattenr6   r#   r7   )r9   Úxr>   ÚBÚNÚCs         r<   ÚforwardzMlpWithDepthwiseConv.forward:   sË   € Ø�HŠH�Q‰KŒKˆØ”'‰ˆˆ1ˆaØ�KŠK˜˜1ÑÔ×"Ò" 1 a¨°1¬°yÀ´|ÑDÔDˆØ�IŠI�a‰LŒLˆØ�KŠK˜‰NŒNˆØ�IŠI�a‰LŒL×"Ò" 1 aÑ(Ô(ˆØ�HŠH�Q‰KŒKˆØ�IŠI�a‰LŒLˆØ�HŠH�Q‰KŒKˆØ�IŠI�a‰LŒLˆØˆr=   )Ú__name__Ú
__module__Ú__qualname__r.   ÚGELUÚintr   r   ÚModuleÚfloatÚboolr-   r   rI   Ú__classcell__©r;   s   @r<   r   r   #   sÂ   ø€ € € € € ð .2Ø*.Ø)+¬ØØ$ØØð%ð %àð%ð & cœ]ð%ð # 3œ-ð	%ð
 ˜BœI”ð%ð ð%ð ð%ð %ð %ð %ð %ð %ð, D¨¤Ið ð ð ð ð ð ð ð r=   r   c                   ó’   ‡ — e Zd ZU ej        j        e         ed<   	 	 	 	 	 	 	 	 dded	ed
ededede	de	fˆ fd„Z
dee         fd„Zˆ xZS )Ú	AttentionÚ
fused_attné   r   FTr   NÚdimÚ	num_headsÚsr_ratioÚlinear_attnÚqkv_biasÚ	attn_dropÚ	proj_dropc
                 ót  •— t          ¦   «                              ¦   «          ||	dœ}
||z  dk    sJ d|› d|› d�¦   «         ‚|| _        || _        ||z  | _        | j        dz  | _        t          ¦   «         | _        t          j	        ||fd|i|
¤Ž| _
        t          j	        ||dz  fd|i|
¤Ž| _        t          j        |¦  «        | _        t          j	        ||fi |
¤Ž| _        t          j        |¦  «        | _        |sWd | _        |d	k    r3t          j        ||f||d
œ|
¤Ž| _        t          j        |fi |
¤Ž| _        nd | _        d | _        d | _        d S t          j        d¦  «        | _        t          j        ||fd	d	d
œ|
¤Ž| _        t          j        |fi |
¤Ž| _        t          j        ¦   «         | _        d S )Nr&   r   zdim z  should be divided by num_heads ú.g      à¿r*   r@   r   )Úkernel_sizeÚstrideé   )r,   r-   rX   rY   Úhead_dimÚscaler   rV   r.   r/   ÚqÚkvr8   r]   Úprojr^   Úpoolr4   Úsrr   Únormr6   ÚAdaptiveAvgPool2drM   )r9   rX   rY   rZ   r[   r\   r]   r^   r'   r(   r:   r;   s              €r<   r-   zAttention.__init__K   sÝ  ø€ õ 	‰Œ×ÒÑÔÐØ¨Ð/Ð/ˆØ�Y‰ !Ò#Ð#Ð#Ð%]¨CÐ%]Ð%]ÐQZÐ%]Ð%]Ð%]Ñ#Ô#Ð#àˆŒØ"ˆŒØ˜yÑ(ˆŒØ”] dÑ*ˆŒ
Ý(Ñ*Ô*ˆŒå”˜3 Ð9Ð9¨(Ð9°bÐ9Ð9ˆŒÝ”)˜C  q¡Ð>Ð>¨xÐ>¸2Ð>Ð>ˆŒÝœ IÑ.Ô.ˆŒÝ”I˜c 3Ð-Ð-¨"Ð-Ð-ˆŒ	Ýœ IÑ.Ô.ˆŒàð 	!ØˆDŒIØ˜!Š|ˆ|Ýœ) C¨ÐZ¸(È8ÐZÐZÐWYÐZÐZ�”ÝœL¨Ð3Ð3°Ð3Ð3�”	�	à�”Ø �”	ØˆDŒHˆHˆHåÔ,¨QÑ/Ô/ˆDŒIÝ”i  SÐH°aÀÐHÐHÀRÐHÐHˆDŒGÝœ SÐ/Ð/¨BÐ/Ð/ˆDŒIÝ”w‘y”yˆDŒHˆHˆHr=   r>   c                 óÜ  — |j         \  }}}|\  }}|                      |¦  «                             ||| j        d¦  «                             dddd¦  «        }| j        �ø|                     ddd¦  «                             ||||¦  «        }|                      |                      |¦  «        ¦  «                             ||d¦  «                             ddd¦  «        }|                      |¦  «        }|                      |¦  «        }|  	                    |¦  «                             |dd| j        | j
        ¦  «                             ddddd¦  «        }	�n#| j        �Ï|                     ddd¦  «                             ||||¦  «        }|                      |¦  «                             ||d¦  «                             ddd¦  «        }|                      |¦  «        }|  	                    |¦  «                             |dd| j        | j
        ¦  «                             ddddd¦  «        }	nM|  	                    |¦  «                             |dd| j        | j
        ¦  «                             ddddd¦  «        }	|	                     d¦  «        \  }
}| j        r,t          j        ||
|| j        r| j        j        nd¬¦  «        }nS|| j        z  }||
                     d	d¦  «        z  }|                     d¬
¦  «        }|                      |¦  «        }||z  }|                     dd¦  «                             |||¦  «        }|                      |¦  «        }|                      |¦  «        }|S )Néÿÿÿÿr   r@   r   r)   é   r   )Ú	dropout_péþÿÿÿ©rX   )rA   rf   ÚreshaperY   Úpermuteri   rj   rk   r6   rg   rd   ÚunbindrV   ÚFÚscaled_dot_product_attentionÚtrainingr]   Úpre   rB   Úsoftmaxrh   r^   )r9   rE   r>   rF   rG   rH   ÚHÚWrf   rg   ÚkÚvÚattns                r<   rI   zAttention.forwardv   s  € Ø”'‰ˆˆ1ˆaØ‰ˆˆ1Ø�FŠF�1‰IŒI×Ò˜a  D¤N°BÑ7Ô7×?Ò?ÀÀ1ÀaÈÑKÔKˆàŒ9Ð Ø—	’	˜!˜Q Ñ"Ô"×*Ò*¨1¨a°°AÑ6Ô6ˆAØ—’˜Ÿ	š	 !™œÑ%Ô%×-Ò-¨a°°BÑ7Ô7×?Ò?ÀÀ1ÀaÑHÔHˆAØ—	’	˜!‘”ˆAØ—’˜‘”ˆAØ—’˜‘”×#Ò# A r¨1¨d¬n¸d¼mÑLÔL×TÒTÐUVÐXYÐ[\Ð^_ÐabÑcÔcˆB‰BàŒwÐ"Ø—I’I˜a  AÑ&Ô&×.Ò.¨q°!°Q¸Ñ:Ô:�Ø—G’G˜A‘J”J×&Ò& q¨!¨RÑ0Ô0×8Ò8¸¸A¸qÑAÔA�Ø—I’I˜a‘L”L�Ø—W’W˜Q‘Z”Z×'Ò'¨¨2¨q°$´.À$Ä-ÑPÔP×XÒXÐYZÐ\]Ð_`ÐbcÐefÑgÔg��à—W’W˜Q‘Z”Z×'Ò'¨¨2¨q°$´.À$Ä-ÑPÔP×XÒXÐYZÐ\]Ð_`ÐbcÐefÑgÔg�Ø�yŠy˜‰|Œ|‰ˆˆ1àŒ?ð 	ÝÔ.¨q°!°QÐVZÔVcÐBkÀ$Ä.ÔBRÐBRÐikÐlÑlÔlˆAˆAà�D”J‘ˆAØ�q—{’{ 2 rÑ*Ô*Ñ*ˆDØ—<’< B�<Ñ'Ô'ˆDØ—>’> $Ñ'Ô'ˆDØ�q‘ˆAà�KŠK˜˜1ÑÔ×%Ò% a¨¨AÑ.Ô.ˆØ�IŠI�a‰LŒLˆØ�NŠN˜1ÑÔˆØˆr=   )rW   r   FTr   r   NN)rJ   rK   rL   ÚtorchÚjitÚFinalrQ   Ú__annotations__rN   rP   r-   r   rI   rR   rS   s   @r<   rU   rU   H   s×   ø€ € € € € € Ø”	” Ô%Ð%Ð%Ñ%ð
 ØØ %Ø!Ø!Ø!ØØð)!ð )!àð)!ð ð)!ð ð	)!ð
 ð)!ð ð)!ð ð)!ð ð)!ð )!ð )!ð )!ð )!ð )!ðV! D¨¤Ið !ð !ð !ð !ð !ð !ð !ð !r=   rU   c                   ó²   ‡ — e Zd Zdddddddej        eddfdededed	ed
ededededede	ej
                 de	ej
                 fˆ fd„Zdee         fd„Zˆ xZS )ÚBlockç      @r   Fr   NrX   rY   Ú	mlp_ratiorZ   r[   r\   r^   r]   Ú	drop_pathr"   Ú
norm_layerc           
      ó¾  •— t          ¦   «                              ¦   «          ||dœ} ||fi |¤Ž| _        t          |f||||||dœ|¤Ž| _        |	dk    rt          |	¦  «        nt          j        ¦   «         | _         ||fi |¤Ž| _	        t          d|t          ||z  ¦  «        |
||dœ|¤Ž| _        |	dk    rt          |	¦  «        nt          j        ¦   «         | _        d S )Nr&   )rY   rZ   r[   r\   r]   r^   r   )r   r    r"   r#   r$   © )r,   r-   Únorm1rU   r   r   r.   r2   Ú
drop_path1Únorm2r   rN   ÚmlpÚ
drop_path2)r9   rX   rY   r‡   rZ   r[   r\   r^   r]   rˆ   r"   r‰   r'   r(   r:   r;   s                  €r<   r-   zBlock.__init__œ   s   ø€ õ  	‰Œ×ÒÑÔÐØ¨Ð/Ð/ˆØ�Z Ð*Ð* rÐ*Ð*ˆŒ
ÝØð	
àØØ#ØØØð	
ð 	
ð ð	
ð 	
ˆŒ	ð 2;¸R²°�( 9Ñ-Ô-Ð-ÅRÄ[Á]Ä]ˆŒà�Z Ð*Ð* rÐ*Ð*ˆŒ
Ý'ð 
ØÝ  i¡Ñ0Ô0ØØØ"ð
ð 
ð ð
ð 
ˆŒð 2;¸R²°�( 9Ñ-Ô-Ð-ÅRÄ[Á]Ä]ˆŒˆˆr=   r>   c                 ó  — ||                       |                      |                      |¦  «        |¦  «        ¦  «        z   }||                      |                      |                      |¦  «        |¦  «        ¦  «        z   }|S ©N)r�   r   rŒ   r�   r�   rŽ   )r9   rE   r>   s      r<   rI   zBlock.forwardÆ   sc   € Ø�—’ §	¢	¨$¯*ª*°Q©-¬-¸Ñ CÔ CÑDÔDÑDˆØ�—’ §¢¨¯ª°A©¬¸	Ñ BÔ BÑCÔCÑCˆàˆr=   )rJ   rK   rL   r.   rM   r   rN   rP   rQ   r   rO   r-   r   rI   rR   rS   s   @r<   r…   r…   š   s  ø€ € € € € ð  "ØØ %Ø"Ø!Ø!Ø!Ø)+¬Ø*3ØØð(Sð (Sàð(Sð ð(Sð ð	(Sð
 ð(Sð ð(Sð ð(Sð ð(Sð ð(Sð ð(Sð ˜BœI”ð(Sð ˜RœYœð(Sð (Sð (Sð (Sð (Sð (SðT D¨¤Ið ð ð ð ð ð ð ð r=   r…   c            	       óh   ‡ — e Zd ZdZ	 	 	 	 	 	 ddeeeeef         f         ded	ed
efˆ fd„Zd„ Zˆ xZ	S )ÚOverlapPatchEmbedz Image to Patch Embedding
    rc   ro   r)   é   NÚ
patch_sizerb   Úin_chansÚ	embed_dimc                 óF  •— t          ¦   «                              ¦   «          ||dœ}t          |¦  «        }t          |¦  «        |k    s
J d¦   «         ‚|| _        t          j        |||f||d         dz  |d         dz  fdœ|¤Ž| _        t          j        |fi |¤Ž| _	        d S )Nr&   z!Set larger patch_size than strider   r@   r   )rb   Úpadding)
r,   r-   r   Úmaxr–   r.   r4   rh   r   rk   )	r9   r–   rb   r—   r˜   r'   r(   r:   r;   s	           €r<   r-   zOverlapPatchEmbed.__init__Ð   sÈ   ø€ õ 	‰Œ×ÒÑÔÐØ¨Ð/Ð/ˆÝ˜zÑ*Ô*ˆ
Ý�:‰Œ Ò'Ð'Ð'Ð)LÑ'Ô'Ð'Ø$ˆŒÝ”IØ�i ðSà J¨q¤M°QÑ$6¸
À1¼ÈÑ8JÐ#KðSð SàOQðSð SˆŒ	õ ”L Ð1Ð1¨bÐ1Ð1ˆŒ	ˆ	ˆ	r=   c                 óŠ   — |                       |¦  «        }|                     dddd¦  «        }|                      |¦  «        }|S )Nr   r@   r)   r   )rh   rt   rk   ©r9   rE   s     r<   rI   zOverlapPatchEmbed.forwardã   s<   € Ø�IŠI�a‰LŒLˆØ�IŠI�a˜˜A˜qÑ!Ô!ˆØ�IŠI�a‰LŒLˆØˆr=   )rc   ro   r)   r•   NN)
rJ   rK   rL   Ú__doc__r   rN   r   r-   rI   rR   rS   s   @r<   r”   r”   Í   s§   ø€ € € € € ðð ð 78ØØØ ØØð2ð 2à˜c 5¨¨c¨¤?Ð2Ô3ð2ð ð2ð ð	2ð
 ð2ð 2ð 2ð 2ð 2ð 2ð&ð ð ð ð ð ð r=   r”   c                   ó�   ‡ — e Zd Zdddddddddeddfded	ed
edededededededededeee         ef         de	fˆ fd„Z
d„ Zˆ xZS )ÚPyramidVisionTransformerStageTrW   r   Fr†   r   NrX   Údim_outÚdepthÚ
downsamplerY   rZ   r[   r‡   r\   r^   r]   rˆ   r‰   c                 óZ  •‡‡‡‡‡‡	‡
‡‡‡‡— t          ¦   «                              ¦   «          ||dœŠd| _        |rt          ddd|‰dœ‰¤Ž| _        n|‰k    sJ ‚d | _        t          j        ˆˆˆˆˆˆˆˆˆ
ˆ	ˆfd„t          |¦  «        D ¦   «         ¦  «        | _         ‰‰fi ‰¤Ž| _	        d S )Nr&   Fr)   r@   ©r–   rb   r—   r˜   c                 óx   •— g | ]6}t          d‰‰	‰‰‰‰‰
‰t          ‰t          ¦  «        r‰|         n‰‰d œ
‰¤Ž‘Œ7S ))
rX   rY   rZ   r[   r‡   r\   r^   r]   rˆ   r‰   r‹   )r…   Ú
isinstanceÚlist)Ú.0Úir]   r:   r¡   rˆ   r[   r‡   r‰   rY   r^   r\   rZ   s     €€€€€€€€€€€r<   ú
<listcomp>z:PyramidVisionTransformerStage.__init__.<locals>.<listcomp>  s~   ø€ ð %!ð %!ð %!ð õ &+ð &
ØØØØ#ØØØØÝ&0°½DÑ&AÔ&AÐP�i ”l�lÀyØ!ð&
ð &
ð ð&
ð &
ð %!ð %!ð %!r=   r‹   )
r,   r-   Úgrad_checkpointingr”   r£   r.   Ú
ModuleListÚrangeÚblocksrk   )r9   rX   r¡   r¢   r£   rY   rZ   r[   r‡   r\   r^   r]   rˆ   r‰   r'   r(   r:   r;   s     `  `````````  @€r<   r-   z&PyramidVisionTransformerStage.__init__ë   s  øøøøøøøøøøøø€ õ$ 	‰Œ×ÒÑÔÐØ¨Ð/Ð/ˆØ"'ˆÔàð 
	#Ý/ð ØØØØ!ð	ð ð
 ðð ˆDŒOˆOð ˜'’>�>�>�>Ø"ˆDŒOå”mð %!ð %!ð %!ð %!ð %!ð %!ð %!ð %!ð %!ð %!ð %!ð %!ð %!ð %!õ ˜‘<”<ð%!ñ %!ô %!ñ "ô "ˆŒð �J˜wÐ-Ð-¨"Ð-Ð-ˆŒ	ˆ	ˆ	r=   c                 óè  — | j         �|                       |¦  «        }|j        \  }}}}||f}|                     |d|¦  «        }| j        D ]E}| j        r0t
          j                             ¦   «         st          |||¦  «        }Œ9 |||¦  «        }ŒF|  	                    |¦  «        }|                     ||d         |d         d¦  «         
                    dddd¦  «                             ¦   «         }|S )Nrn   r   r   r)   r@   )r£   rA   rs   r¯   r¬   r€   r�   Úis_scriptingr   rk   rt   Ú
contiguous)r9   rE   rF   r{   r|   rH   r>   Úblks           r<   rI   z%PyramidVisionTransformerStage.forward  sò   € àŒ?Ð&à—’ Ñ"Ô"ˆAØ”W‰
ˆˆ1ˆa�Ø˜�Fˆ	Ø�IŠI�a˜˜QÑÔˆØ”;ð 	&ð 	&ˆCØÔ&ð &­u¬y×/EÒ/EÑ/GÔ/Gð &Ý˜s A yÑ1Ô1��à�C˜˜9Ñ%Ô%��Ø�IŠI�a‰LŒLˆØ�IŠI�a˜ 1œ y°¤|°RÑ8Ô8×@Ò@ÀÀAÀqÈ!ÑLÔL×WÒWÑYÔYˆØˆr=   )rJ   rK   rL   r   rN   rQ   rP   r   r   r   r-   rI   rR   rS   s   @r<   r    r    ê   s  ø€ € € € € ð  $ØØØ %Ø"Ø!Ø!Ø!Ø36Ø#,ØØð!0.ð 0.àð0.ð ð0.ð ð	0.ð
 ð0.ð ð0.ð ð0.ð ð0.ð ð0.ð ð0.ð ð0.ð ð0.ð ˜T %œ[¨%Ð/Ô0ð0.ð !ð0.ð 0.ð 0.ð 0.ð 0.ð 0.ðdð ð ð ð ð ð r=   r    c                    ó²  ‡ — e Zd Zddddddddd	d
ddddeddfdedededeedf         deedf         deedf         deedf         deedf         dedededededede	e
j                 fˆ fd„Zd„ Zd„ Zej        j        d „ ¦   «         Zej        j        d6d!„¦   «         Zej        j        d7d"„¦   «         Zd#e
j        fd$„Zd8dedee         fd%„Z	 	 	 	 	 d9d'ej        d(eeeee         f                  d)ed*ed+ed,ed#eeej                 eej        eej                 f         f         fd-„Z	 	 	 d:d(eeee         f         d/ed0efd1„Zd2„ Zd6d3efd4„Zd5„ Zˆ xZ S );r   r)   éè  Úavg©r)   ro   é   r)   )é@   é€   é   é   )r   r@   ro   rW   )rW   ro   r@   r   )ç       @r½   r†   r†   TFr   Nr—   Únum_classesÚglobal_poolÚdepths.Ú
embed_dimsrY   Ú	sr_ratiosÚ
mlp_ratiosr\   ÚlinearÚ	drop_rateÚproj_drop_rateÚattn_drop_rateÚdrop_path_rater‰   c                 ó<  •— t          ¦   «                              ¦   «          ||dœ}|| _        || _        |dv sJ ‚|| _        || _        t          |¦  «        } t          |¦  «        |¦  «        } t          |¦  «        |¦  «        } t          |¦  «        |¦  «        }t          |¦  «        |k    sJ ‚g | _        t          ddd||d         dœ|¤Ž| _
        t          ||d¬¦  «        }d}|d         }g }t          |¦  «        D ]…}|t          d|||         ||         |dk    ||         ||         ||         |
|	||||         |d	œ|¤Žgz  }||         }|||         z  }| xj        t          |dd
|z  z  d|› �¬¦  «        gz  c_        Œ†t          j        |Ž | _        |d         x| _        | _        t          j        |¦  «        | _        |dk    rt          j        |d         |fi |¤Žnt          j        ¦   «         | _        |                      | j        ¦  «         d S )Nr&   ©r¶   Ú rc   ro   r   r¥   T)Ú	stagewise)rX   r¡   r¢   r£   rY   rZ   r‡   r[   r\   r^   r]   rˆ   r‰   r@   ústages.)Únum_chsÚ	reductionÚmodulern   r‹   )r,   r-   r¾   r—   r¿   rÀ   Úlenr   Úfeature_infor”   Úpatch_embedr   r®   r    Údictr.   Ú
SequentialÚstagesÚnum_featuresÚhead_hidden_sizer8   Ú	head_dropr/   r2   ÚheadÚapplyÚ_init_weights)r9   r—   r¾   r¿   rÀ   rÁ   rY   rÂ   rÃ   r\   rÄ   rÅ   rÆ   rÇ   rÈ   r‰   r'   r(   r:   Ú
num_stagesÚdprÚcurÚprev_dimrÖ   rª   r;   s                            €r<   r-   z#PyramidVisionTransformerV2.__init__0  sŒ  ø€ õ( 	‰Œ×ÒÑÔÐØ¨Ð/Ð/ˆØ&ˆÔØ ˆŒØ˜kÐ)Ð)Ð)Ð)Ø&ˆÔØˆŒÝ˜‘[”[ˆ
Ø*•Y˜zÑ*Ô*¨:Ñ6Ô6ˆ
Ø)•I˜jÑ)Ô)¨)Ñ4Ô4ˆ	Ø)•I˜jÑ)Ô)¨)Ñ4Ô4ˆ	Ý�:‰Œ :Ò-Ð-Ð-Ð-ØˆÔå,ð 
ØØØØ  ”mð	
ð 
ð
 ð
ð 
ˆÔõ (¨¸È$ÐOÑOÔOˆØˆØ˜a”=ˆØˆÝ�zÑ"Ô"ð 	dð 	dˆAØÕ4ð ØØ" 1œØ˜Q”iØ˜qš5Ø# Aœ,Ø" 1œØ$ Qœ-Ø"Ø!Ø(Ø(Ø˜aœ&Ø%ðð ð ðð ð ñ ˆFð  " !”}ˆHØ�6˜!”9ÑˆCØÐÔ¥$¨xÀ1ÀqÈ!ÁtÁ8ÐTaÐ^_ÐTaÐTaÐ"bÑ"bÔ"bÐ!cÑcÐÔÐÝ”m VÐ,ˆŒð 5?¸r´NÐBˆÔ˜DÔ1Ýœ IÑ.Ô.ˆŒØDOÐRSÂOÀO•B”I˜j¨œn¨kÐ@Ð@¸RÐ@Ð@Ð@ÕY[ÔYdÑYfÔYfˆŒ	à�
Š
�4Ô%Ñ&Ô&Ð&Ð&Ð&r=   c                 óH  — t          |t          j        ¦  «        rbt          |j        d¬¦  «         t          |t          j        ¦  «        r.|j        �)t          j                             |j        d¦  «         d S d S d S t          |t          j        ¦  «        r‰|j	        d         |j	        d         z  |j
        z  }||j        z  }|j        j                             dt          j        d|z  ¦  «        ¦  «         |j        �"|j        j                             ¦   «          d S d S d S )Ng{®Gáz”?)Ústdr   r   g       @)r§   r.   r/   r   Úweightr*   ÚinitÚ	constant_r4   ra   Úout_channelsr+   ÚdataÚnormal_ÚmathÚsqrtÚzero_)r9   ÚmÚfan_outs      r<   rÜ   z(PyramidVisionTransformerV2._init_weights{  s  € Ý�a�œÑ#Ô#ð 		$Ý˜!œ(¨Ð,Ñ,Ô,Ð,Ý˜!�RœYÑ'Ô'ð -¨A¬FÐ,>Ý”×!Ò! !¤&¨!Ñ,Ô,Ð,Ð,Ð,ð-ð -Ð,>Ð,>å˜�2œ9Ñ%Ô%ð 	$Ø”m AÔ&¨¬°qÔ)9Ñ9¸A¼NÑJˆGØ˜œÑ ˆGØŒHŒM×!Ò! !¥T¤Y¨s°W©}Ñ%=Ô%=Ñ>Ô>Ð>ØŒvÐ!Ø””×!Ò!Ñ#Ô#Ð#Ð#Ð#ð	$ð 	$ð "Ð!r=   c                 ó   — d| j         _        d S )NF)rÓ   Úrequires_grad©r9   s    r<   Úfreeze_patch_embz+PyramidVisionTransformerV2.freeze_patch_emb‡  s   € Ø).ˆÔÔ&Ð&Ð&r=   c                 ó   — i S r’   r‹   rð   s    r<   Úno_weight_decayz*PyramidVisionTransformerV2.no_weight_decayŠ  s   € àˆ	r=   c                 ó(   — t          dd¬¦  «        }|S )Nz^patch_embedz^stages\.(\d+))Ústemr¯   )rÔ   )r9   ÚcoarseÚmatchers      r<   Úgroup_matcherz(PyramidVisionTransformerV2.group_matcherŽ  s#   € åØ Ø$ð
ñ 
ô 
ˆð ˆr=   c                 ó(   — | j         D ]	}||_        Œ
d S r’   )rÖ   r¬   )r9   ÚenableÚss      r<   Úset_grad_checkpointingz1PyramidVisionTransformerV2.set_grad_checkpointing–  s(   € à”ð 	*ð 	*ˆAØ#)ˆAÔ Ð ð	*ð 	*r=   Úreturnc                 ó   — | j         S r’   )rÚ   rð   s    r<   Úget_classifierz)PyramidVisionTransformerV2.get_classifier›  s
   € ØŒyÐr=   c                 óú   — t          | ¦  «        }|| _        |�|dv sJ ‚|| _        |dk    rt          j        | j        |fi |¤Žnt          j        ¦   «         | _        | j                             | j	        ¦  «         d S )NrÊ   r   )
r   r¾   r¿   r.   r/   r×   r2   rÚ   Útrainrx   )r9   r¾   r¿   r:   s       r<   Úreset_classifierz+PyramidVisionTransformerV2.reset_classifierž  sˆ   € Ý˜dÑ#Ô#ˆØ&ˆÔØÐ"Ø +Ð-Ð-Ð-Ð-Ø*ˆDÔØGRÐUVÂÀ•B”I˜dÔ/°ÐCÐCÀÐCÐCÐCÕ\^Ô\gÑ\iÔ\iˆŒ	ØŒ	�Š˜œÑ&Ô&Ð&Ð&Ð&r=   ÚNCHWrE   Úindicesrk   Ú
stop_earlyÚ
output_fmtÚintermediates_onlyc                 óŒ  — |dv s
J d¦   «         ‚g }t          t          | j        ¦  «        |¦  «        \  }}	|                      |¦  «        }t          j                             ¦   «         s|s| j        }
n| j        d|	dz   …         }
t          |
¦  «        D ])\  }} ||¦  «        }||v r|                     |¦  «         Œ*|r|S ||fS )aï   Forward features that returns intermediates.

        Args:
            x: Input image tensor
            indices: Take last n blocks if int, all if None, select matching indices if sequence
            norm: Apply norm layer to compatible intermediates
            stop_early: Stop iterating over blocks when last desired intermediate hit
            output_fmt: Shape of intermediate feature outputs
            intermediates_only: Only return intermediate features
        Returns:

        )r  zOutput shape must be NCHW.Nr   )	r   rÑ   rÖ   rÓ   r€   r�   r±   Ú	enumerateÚappend)r9   rE   r  rk   r  r  r  ÚintermediatesÚtake_indicesÚ	max_indexrÖ   Úfeat_idxÚstages                r<   Úforward_intermediatesz0PyramidVisionTransformerV2.forward_intermediates§  sñ   € ð* ˜YÐ&Ð&Ð&Ð(DÑ&Ô&Ð&ØˆÝ"6µs¸4¼;Ñ7GÔ7GÈÑ"QÔ"QÑˆ�ið ×Ò˜QÑÔˆÝŒ9×!Ò!Ñ#Ô#ð 	1¨:ð 	1Ø”[ˆFˆFà”[  )¨a¡- Ô0ˆFå(¨Ñ0Ô0ð 	(ð 	(‰OˆH�eØ��a‘”ˆAØ˜<Ð'Ð'Ø×$Ò$ QÑ'Ô'Ð'øàð 	!Ø Ð à�-ÐÐr=   r   Ú
prune_normÚ
prune_headc                 ó®   — t          t          | j        ¦  «        |¦  «        \  }}| j        d|dz   …         | _        |r|                      dd¦  «         |S )z@ Prune layers not required for specified intermediates.
        Nr   r   rË   )r   rÑ   rÖ   r  )r9   r  r  r  r  r  s         r<   Úprune_intermediate_layersz4PyramidVisionTransformerV2.prune_intermediate_layersÑ  s\   € õ #7µs¸4¼;Ñ7GÔ7GÈÑ"QÔ"QÑˆ�iØ”k . 9¨q¡= .Ô1ˆŒØð 	)Ø×!Ò! ! RÑ(Ô(Ð(ØÐr=   c                 óZ   — |                       |¦  «        }|                      |¦  «        }|S r’   )rÓ   rÖ   r�   s     r<   Úforward_featuresz+PyramidVisionTransformerV2.forward_featuresß  s)   € Ø×Ò˜QÑÔˆØ�KŠK˜‰NŒNˆØˆr=   Ú
pre_logitsc                 ó˜   — | j         r|                     d¬¦  «        }|                      |¦  «        }|r|n|                      |¦  «        S )N)rn   rq   rr   )r¿   ÚmeanrÙ   rÚ   )r9   rE   r  s      r<   Úforward_headz'PyramidVisionTransformerV2.forward_headä  sJ   € ØÔð 	%Ø—’˜8�Ñ$Ô$ˆAØ�NŠN˜1ÑÔˆØÐ0ˆqˆq D§I¢I¨a¡L¤LÐ0r=   c                 óZ   — |                       |¦  «        }|                      |¦  «        }|S r’   )r  r  r�   s     r<   rI   z"PyramidVisionTransformerV2.forwardê  s-   € Ø×!Ò! !Ñ$Ô$ˆØ×Ò˜aÑ Ô ˆØˆr=   ©F)Tr’   )NFFr  F)r   FT)!rJ   rK   rL   r   rN   Ústrr   rP   rQ   r   r.   rO   r-   rÜ   rñ   r€   r�   Úignoreró   rø   rü   rÿ   r   r  ÚTensorr   r   r  r  r  r  rI   rR   rS   s   @r<   r   r   /  sV  ø€ € € € € ð Ø#Ø$Ø&2Ø*=Ø)5Ø)5Ø,<Ø!Ø Ø!Ø$&Ø$&Ø$&Ø*3ØØð%I'ð I'àðI'ð ðI'ð ð	I'ð
 ˜#˜s˜(”OðI'ð ˜c 3˜hœðI'ð ˜S #˜X”ðI'ð ˜S #˜X”ðI'ð ˜e S˜jÔ)ðI'ð ðI'ð ðI'ð ðI'ð "ðI'ð "ðI'ð "ðI'ð  ˜RœYœð!I'ð I'ð I'ð I'ð I'ð I'ðV
$ð 
$ð 
$ð/ð /ð /ð „YÔðð ñ Ôðð „YÔðð ð ñ Ôðð „YÔð*ð *ð *ñ Ôð*ð ¤	ð ð ð ð ð'ð '¨Cð '¸hÀs¼mð 'ð 'ð 'ð 'ð 8<ØØ$Ø$Ø',ð( ð ( àŒ|ð( ð ˜e C¨¨c¬ NÔ3Ô4ð( ð ð	( ð
 ð( ð ð( ð !%ð( ð 
ˆt�E”LÔ! 5¨¬°t¸E¼LÔ7IÐ)IÔ#JÐJÔ	Kð( ð ( ð ( ð ( ðX ./Ø$Ø#ð	ð à˜3  S¤	˜>Ô*ðð ðð ð	ð ð ð ðð ð ð
1ð 1¨$ð 1ð 1ð 1ð 1ðð ð ð ð ð ð r=   c                 óÂ  — d| v r| S i }ddl }|                      ¦   «         D ]½\  }}|                     d¦  «        rX|                     dd¦  «        }|                     dd¦  «        }|                     dd	¦  «        }|                     d
d¦  «        }|                     dd¦  «        }|                     dd„ |¦  «        }|                     dd„ |¦  «        }|||<   Œ¾|S )z$ Remap original checkpoints -> timm zpatch_embed.proj.weightr   NrÓ   Úpatch_embed1Úpatch_embed2zstages.1.downsampleÚpatch_embed3zstages.2.downsampleÚpatch_embed4zstages.3.downsamplezdwconv.dwconvr5   zblock(\d+).(\d+)c                 ó~   — dt          |                      d¦  «        ¦  «        dz
  › d|                      d¦  «        › �S )NrÍ   r   z.blocks.r@   ©rN   Úgroup©rE   s    r<   ú<lambda>z&checkpoint_filter_fn.<locals>.<lambda>þ  s<   € Ð2e½CÀÇÂÈÁ
Ä
¹O¼OÈaÑ<OÐ2eÐ2eÐYZ×Y`ÒY`ÐabÑYcÔYcÐ2eÐ2e€ r=   z
^norm(\d+)c                 óT   — dt          |                      d¦  «        ¦  «        dz
  › d�S )NrÍ   r   z.normr&  r(  s    r<   r)  z&checkpoint_filter_fn.<locals>.<lambda>ÿ  s'   € Ð,Pµc¸!¿'º'À!¹*¼*±o´oÈÑ6IÐ,PÐ,PÐ,P€ r=   )ÚreÚitemsÚ
startswithÚreplaceÚsub)Ú
state_dictÚmodelÚout_dictr+  r}   r~   s         r<   Úcheckpoint_filter_fnr3  ð  sü   € à  JÐ.Ð.ØÐà€HØ€I€I€IØ× Ò Ñ"Ô"ð 	ð 	‰ˆˆ1Ø�<Š<˜Ñ&Ô&ð 	AØ—	’	˜.¨-Ñ8Ô8ˆAØ—	’	˜.Ð*?Ñ@Ô@ˆAØ—	’	˜.Ð*?Ñ@Ô@ˆAØ—	’	˜.Ð*?Ñ@Ô@ˆAØ�IŠI�o xÑ0Ô0ˆØ�FŠFÐ&Ð(eÐ(eÐghÑiÔiˆØ�FŠF�=Ð"PÐ"PÐRSÑTÔTˆØˆ�‰ˆØ€Or=   Fc                 óÀ   — t          t          d¦  «        ¦  «        }|                     d|¦  «        }t          t          | |ft
          t          d|¬¦  «        dœ|¤Ž}|S )Nro   Úout_indicesT)Úflatten_sequentialr5  )Úpretrained_filter_fnÚfeature_cfg)Útupler®   Úpopr   r   r3  rÔ   )ÚvariantÚ
pretrainedÚkwargsÚdefault_out_indicesr5  r1  s         r<   Ú_create_pvt2r?    sp   € Ý¥ a¡¤™/œ/ÐØ—*’*˜]Ð,?Ñ@Ô@€KÝ Ý"ØØðõ 2Ý¨D¸kÐJÑJÔJðð ð ðð €Eð €Lr=   rË   c                 ó8   — | dddddt           t          dddd	d
œ|¥S )Nrµ   )r)   éà   rA  )rc   rc   gÍÌÌÌÌÌì?Úbicubiczpatch_embed.projrÚ   Fz
apache-2.0)Úurlr¾   Ú
input_sizeÚ	pool_sizeÚcrop_pctÚinterpolationr  râ   Ú
first_convÚ
classifierÚfixed_input_sizeÚlicenser
   )rC  r=  s     r<   Ú_cfgrL    s;   € à 4°}ÐSYØ¨)Ý%Õ.BØ(¸ÐTYØðð ð ðð r=   ztimm/)Ú	hf_hub_id)zpvt_v2_b0.in1kzpvt_v2_b1.in1kzpvt_v2_b2.in1kzpvt_v2_b3.in1kzpvt_v2_b4.in1kzpvt_v2_b5.in1kzpvt_v2_b2_li.in1krý   c           	      óX   — t          ddd¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )N©r@   r@   r@   r@   )é    r¹   é    r»   ©r   r@   é   rW   ©rÀ   rÁ   rY   Ú	pvt_v2_b0r<  )rU  ©rÔ   r?  ©r<  r=  Ú
model_argss      r<   rU  rU  (  sB   € å˜\Ð6HÐT`ÐaÑaÔa€JÝÐYÐY°
ÐY½dÀ:Ð>XÐ>XÐQWÐ>XÐ>XÐYÐYÐYr=   c           	      óX   — t          ddd¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )NrO  ©r¹   rº   i@  r¼   rR  rT  Ú	pvt_v2_b1r<  )r[  rV  rW  s      r<   r[  r[  .  óB   € å˜\Ð6IÐUaÐbÑbÔb€JÝÐYÐY°
ÐY½dÀ:Ð>XÐ>XÐQWÐ>XÐ>XÐYÐYÐYr=   c           	      óX   — t          ddd¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )Nr·   rZ  rR  rT  Ú	pvt_v2_b2r<  )r^  rV  rW  s      r<   r^  r^  4  r\  r=   c           	      óX   — t          ddd¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )N)r)   ro   é   r)   rZ  rR  rT  Ú	pvt_v2_b3r<  )ra  rV  rW  s      r<   ra  ra  :  óB   € å˜]Ð7JÐVbÐcÑcÔc€JÝÐYÐY°
ÐY½dÀ:Ð>XÐ>XÐQWÐ>XÐ>XÐYÐYÐYr=   c           	      óX   — t          ddd¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )N)r)   rW   é   r)   rZ  rR  rT  Ú	pvt_v2_b4r<  )re  rV  rW  s      r<   re  re  @  rb  r=   c           	      óZ   — t          dddd¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )	N)r)   r¸   é(   r)   rZ  rR  )ro   ro   ro   ro   )rÀ   rÁ   rY   rÃ   Ú	pvt_v2_b5r<  )rh  rV  rW  s      r<   rh  rh  F  sN   € åØÐ)<ÈÐamðoñ oô o€JåÐYÐY°
ÐY½dÀ:Ð>XÐ>XÐQWÐ>XÐ>XÐYÐYÐYr=   c           	      óZ   — t          dddd¬¦  «        }t          dd| it          |fi |¤Ž¤ŽS )	Nr·   rZ  rR  T)rÀ   rÁ   rY   rÄ   Úpvt_v2_b2_lir<  )rj  rV  rW  s      r<   rj  rj  M  sN   € åØÐ(;À|Ð\`ðbñ bô b€JåÐ\Ð\°:Ð\ÅÀjÐA[ÐA[ÐTZÐA[ÐA[Ð\Ð\Ð\r=   r  )rË   )8rž   ré   Útypingr   r   r   r   r   r   r	   r€   Útorch.nnr.   Útorch.nn.functionalÚ
functionalrv   Ú	timm.datar   r   Útimm.layersr   r   r   r   r   r   r   r   Ú_builderr   Ú	_featuresr   Ú_manipulater   Ú	_registryr   r   Ú__all__rO   r   rU   r…   r”   r    r   r3  r?  rL  Údefault_cfgsrU  r[  r^  ra  re  rh  rj  r‹   r=   r<   ú<module>rw     sÇ  ððð ð" €€€Ø DÐ DÐ DÐ DÐ DÐ DÐ DÐ DÐ DÐ DÐ DÐ DÐ DÐ DÐ DÐ DÐ DÐ Dà €€€Ø Ð Ð Ð Ð Ð Ø Ð Ð Ð Ð Ð Ð Ð Ð à AÐ AÐ AÐ AÐ AÐ AÐ AÐ Að Nð  Nð  Nð  Nð  Nð  Nð  Nð  Nð  Nð  Nð  Nð  Nð  Nð  Nð  Nð  Nð  Nð  Nð  Nð  NØ *Ð *Ð *Ð *Ð *Ð *Ø +Ð +Ð +Ð +Ð +Ð +Ø #Ð #Ð #Ð #Ð #Ð #Ø <Ð <Ð <Ð <Ð <Ð <Ð <Ð <à'Ð
(€ð"ð "ð "ð "ð "˜2œ9ñ "ô "ð "ðJOð Oð Oð Oð O�”	ñ Oô Oð Oðd0ð 0ð 0ð 0ð 0ˆBŒIñ 0ô 0ð 0ðfð ð ð ð ˜œ	ñ ô ð ð:Bð Bð Bð Bð B B¤Iñ Bô Bð BðJ~ð ~ð ~ð ~ð ~ ¤ñ ~ô ~ð ~ðBð ð ð(ð ð ð ðð ð ð ð %Ð$Ø�d WÐ-Ñ-Ô-Ø�d WÐ-Ñ-Ô-Ø�d WÐ-Ñ-Ô-Ø�d WÐ-Ñ-Ô-Ø�d WÐ-Ñ-Ô-Ø�d WÐ-Ñ-Ô-Ø˜¨Ð0Ñ0Ô0ð&ð &ñ ô €ð ðZð ZÐ-Gð Zð Zð Zñ „ðZð
 ðZð ZÐ-Gð Zð Zð Zñ „ðZð
 ðZð ZÐ-Gð Zð Zð Zñ „ðZð
 ðZð ZÐ-Gð Zð Zð Zñ „ðZð
 ðZð ZÐ-Gð Zð Zð Zñ „ðZð
 ðZð ZÐ-Gð Zð Zð Zñ „ðZð ð]ð ]Ð0Jð ]ð ]ð ]ñ „ð]ð ]ð ]r=   