§
    ·¯¸jg�  ã                   ó¤  — d Z ddlZddlmZ ddlmZmZmZmZm	Z	m
Z
mZmZ ddlZddlmZ ddlmc mZ ddlmZmZ ddlmZmZmZmZ ddlmZ dd	lmZ dd
lm Z m!Z! ddl"m#Z# ddl$m%Z% ddl&m'Z'm(Z( dgZ) ee d eed¬¦  «        ¬¦  «        Z* G d„ dej+        ¦  «        Z, G d„ dej+        ¦  «        Z- G d„ dej+        ¦  «        Z. G d„ dej+        ¦  «        Z/ G d„ dej+        ¦  «        Z0 G d„ dej+        ¦  «        Z1dee2ej3        f         dej+        d ee2ej3        f         fd!„Z4d8d$e2d%e5d&e6d'ed e1f
d(„Z7d9d*„Z8 e( e8¦   «          e8d+¬,¦  «         e8¦   «          e8d+¬,¦  «         e8d+¬,¦  «         e8d+¬,¦  «         e8¦   «          e8d+¬,¦  «         e8¦   «          e8¦   «         d-œ
¦  «        Z9e'd:d e1fd.„¦   «         Z:e'd:d e1fd/„¦   «         Z;e'd:d e1fd0„¦   «         Z<e'd:d e1fd1„¦   «         Z=e'd:d e1fd2„¦   «         Z>e'd:d e1fd3„¦   «         Z?e'd:d&e6d'ed e1fd4„¦   «         Z@e'd:d&e6d'ed e1fd5„¦   «         ZAe'd:d&e6d'ed e1fd6„¦   «         ZBe'd:d&e6d'ed e1fd7„¦   «         ZCdS );a  
An implementation of GhostNet & GhostNetV2 Models as defined in:
GhostNet: More Features from Cheap Operations. https://arxiv.org/abs/1911.11907
GhostNetV2: Enhance Cheap Operation with Long-Range Attention. https://proceedings.neurips.cc/paper_files/paper/2022/file/40b60852a4abdaa696b5a1a78da34635-Paper-Conference.pdf
GhostNetV3: Exploring the Training Strategies for Compact Models. https://arxiv.org/abs/2404.11202

The train script & code of models at:
Original model: https://github.com/huawei-noah/CV-backbones/tree/master/ghostnet_pytorch
Original model: https://github.com/huawei-noah/Efficient-AI-Backbones/blob/master/ghostnetv2_pytorch/model/ghostnetv2_torch.py
Original model: https://github.com/huawei-noah/Efficient-AI-Backbones/blob/master/ghostnetv3_pytorch/ghostnetv3.py
é    N)Úpartial)ÚAnyÚDictÚListÚSetÚOptionalÚTupleÚUnionÚType©ÚIMAGENET_DEFAULT_MEANÚIMAGENET_DEFAULT_STD)ÚSelectAdaptivePool2dÚLinearÚmake_divisibleÚget_device_dtype©Úreparameterize_modelé   )Úbuild_model_with_cfg)ÚSqueezeExciteÚ	ConvBnAct)Úfeature_take_indices)Úcheckpoint_seq)Úregister_modelÚgenerate_default_cfgsÚGhostNetÚhard_sigmoidé   )Údivisor)Ú
gate_layerÚrd_round_fnc                   ó�   ‡ — e Zd Zddddej        ddfdedededed	ed
edeej                 fˆ fd„Zde	j
        de	j
        fd„Zˆ xZS )ÚGhostModuler   é   é   NÚin_chsÚout_chsÚkernel_sizeÚratioÚdw_sizeÚstrideÚ	act_layerc
           
      óØ  •— ||	dœ}
t          ¦   «                              ¦   «          || _        t          j        ||z  ¦  «        }||dz
  z  }t          j        t          j        |||||dz  fddi|
¤Žt          j        |fi |
¤Ž |d¬¦  «        ¦  «        | _	        t          j        t          j        |||d|dz  f|ddœ|
¤Žt          j        |fi |
¤Ž |d¬¦  «        ¦  «        | _
        d S )	N©ÚdeviceÚdtyper   r%   ÚbiasFT©Úinplace©Úgroupsr2   )ÚsuperÚ__init__r(   ÚmathÚceilÚnnÚ
SequentialÚConv2dÚBatchNorm2dÚprimary_convÚcheap_operation©Úselfr'   r(   r)   r*   r+   r,   r-   r0   r1   ÚddÚinit_chsÚnew_chsÚ	__class__s                €úd/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/timm/models/ghostnet.pyr8   zGhostModule.__init__%   s  ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØˆŒÝ”9˜W u™_Ñ-Ô-ˆØ˜e a™iÑ(ˆåœMÝŒI�f˜h¨°V¸[ÈAÑ=MÐ`Ð`ÐTYÐ`Ð]_Ð`Ð`ÝŒN˜8Ð*Ð* rÐ*Ð*ØˆI˜dÐ#Ñ#Ô#ñ
ô 
ˆÔõ  "œ}ÝŒI�h ¨°!°W¸a±ZÐcÈÐW\ÐcÐcÐ`bÐcÐcÝŒN˜7Ð)Ð) bÐ)Ð)ØˆI˜dÐ#Ñ#Ô#ñ 
ô  
ˆÔÐÐó    ÚxÚreturnc                 ó¸   — |                       |¦  «        }|                      |¦  «        }t          j        ||gd¬¦  «        }|d d …d | j        …d d …d d …f         S )Nr   ©Údim)r?   r@   ÚtorchÚcatr(   )rB   rI   Úx1Úx2Úouts        rG   ÚforwardzGhostModule.forwardC   sf   € Ø×Ò˜qÑ!Ô!ˆØ×!Ò! "Ñ%Ô%ˆÝŒi˜˜R˜ aÐ(Ñ(Ô(ˆØ�1�1�1�m�t”|�m Q Q Q¨¨¨Ð)Ô*Ð*rH   ©Ú__name__Ú
__module__Ú__qualname__r;   ÚReLUÚintr   ÚModuler8   rN   ÚTensorrS   Ú__classcell__©rF   s   @rG   r$   r$   $   sË   ø€ € € € € ð
  !ØØØØ)+¬ØØð
ð 
àð
ð ð
ð ð	
ð
 ð
ð ð
ð ð
ð ˜BœI”ð
ð 
ð 
ð 
ð 
ð 
ð<+˜œð +¨%¬,ð +ð +ð +ð +ð +ð +ð +ð +rH   r$   c                   ó�   ‡ — e Zd Zddddej        ddfdedededed	ed
edeej                 fˆ fd„Zde	j
        de	j
        fd„Zˆ xZS )ÚGhostModuleV2r   r%   r&   Nr'   r(   r)   r*   r+   r,   r-   c
                 ó2  •— ||	dœ}
t          ¦   «                              ¦   «          t          j        ¦   «         | _        || _        t          j        ||z  ¦  «        }||dz
  z  }t          j        t          j	        |||||dz  fddi|
¤Žt          j
        |fi |
¤Ž |d¬¦  «        ¦  «        | _        t          j        t          j	        |||d|dz  f|ddœ|
¤Žt          j
        |fi |
¤Ž |d¬¦  «        ¦  «        | _        t          j        t          j	        |||||dz  fddi|
¤Žt          j
        |fi |
¤Žt          j	        ||fd	dd
|ddœ|
¤Žt          j
        |fi |
¤Žt          j	        ||fddd|ddœ|
¤Žt          j
        |fi |
¤Ž¦  «        | _        d S )Nr/   r   r%   r2   FTr3   r5   ©r   é   ©r   r%   ©r)   r,   Úpaddingr6   r2   ©rb   r   ©r%   r   )r7   r8   r;   ÚSigmoidÚgate_fnr(   r9   r:   r<   r=   r>   r?   r@   Ú
short_convrA   s                €rG   r8   zGhostModuleV2.__init__K   só  ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐÝ”z‘|”|ˆŒØˆŒÝ”9˜W u™_Ñ-Ô-ˆØ˜e a™iÑ(ˆÝœMÝŒI�f˜h¨°V¸[ÈAÑ=MÐ`Ð`ÐTYÐ`Ð]_Ð`Ð`ÝŒN˜8Ð*Ð* rÐ*Ð*ØˆI˜dÐ#Ñ#Ô#ñ
ô 
ˆÔõ
  "œ}ÝŒI�h ¨°!°WÀ±\ÐeÈ(ÐY^ÐeÐeÐbdÐeÐeÝŒN˜7Ð)Ð) bÐ)Ð)ØˆI˜dÐ#Ñ#Ô#ñ 
ô  
ˆÔõ
 œ-ÝŒI�f˜g {°F¸KÈ1Ñ<LÐ_Ð_ÐSXÐ_Ð\^Ð_Ð_ÝŒN˜7Ð)Ð) bÐ)Ð)ÝŒI�g˜wÐw°FÀ1ÈfÐ]dÐkpÐwÐwÐtvÐwÐwÝŒN˜7Ð)Ð) bÐ)Ð)ÝŒI�g˜wÐw°FÀ1ÈfÐ]dÐkpÐwÐwÐtvÐwÐwÝŒN˜7Ð)Ð) bÐ)Ð)ñ
ô 
ˆŒˆˆrH   rI   rJ   c                 ó’  — |                       t          j        |dd¬¦  «        ¦  «        }|                      |¦  «        }|                      |¦  «        }t          j        ||gd¬¦  «        }|d d …d | j        …d d …d d …f         t          j        |  	                    |¦  «        |j
        d         |j
        d         fd¬¦  «        z  S )	Nr%   ©r)   r,   r   rL   éþÿÿÿéÿÿÿÿÚnearest©ÚsizeÚmode)rj   ÚFÚ
avg_pool2dr?   r@   rN   rO   r(   Úinterpolateri   Úshape)rB   rI   ÚresrP   rQ   rR   s         rG   rS   zGhostModuleV2.forwardp   sË   € Ø�oŠo�aœl¨1¸!ÀAÐFÑFÔFÑGÔGˆØ×Ò˜qÑ!Ô!ˆØ×!Ò! "Ñ%Ô%ˆÝŒi˜˜R˜ aÐ(Ñ(Ô(ˆØ�1�1�1�m�t”|�m Q Q Q¨¨¨Ð)Ô*­Q¬]Ø�LŠL˜ÑÔ S¤Y¨r¤]°C´I¸b´MÐ$BÈð.Tñ .Tô .Tñ Tð 	TrH   rT   r]   s   @rG   r_   r_   J   sÖ   ø€ € € € € ð
  !ØØØØ)+¬ØØð#
ð #
àð#
ð ð#
ð ð	#
ð
 ð#
ð ð#
ð ð#
ð ˜BœI”ð#
ð #
ð #
ð #
ð #
ð #
ðJT˜œð T¨%¬,ð Tð Tð Tð Tð Tð Tð Tð TrH   r_   c                   ó–   ‡ — e Zd Zddddej        dddfdededed	ed
ededeej                 defˆ fd„Z	d„ Z
d„ Zd„ Zd„ Zd„ Zd„ Zˆ xZS )ÚGhostModuleV3r   r%   r&   ÚoriginalNr'   r(   r)   r*   r+   r,   r-   rr   c                 óª  •‡‡‡‡‡‡‡— |	|
dœŠt          ¦   «                              ¦   «          t          j        ¦   «         | _        || _        t          j        ||z  ¦  «        Š‰|dz
  z  Š|| _        d| _	        d| _
        | j
        s0t          j        ¦   «         | _        t          j        ¦   «         | _        d | _        d | _        t          j        ˆˆˆˆˆfd„t#          | j	        ¦  «        D ¦   «         ¦  «        | _         |d¬¦  «        | _        t          j        ‰fi ‰¤Ž| _        t          j        ˆˆˆˆfd„t#          | j	        ¦  «        D ¦   «         ¦  «        | _        t/          ‰‰ddfd	dd d
œ‰¤Ž| _         |d¬¦  «        | _        | j        dv r�t          j        t          j        ‰|‰‰‰dz  fddi‰¤Žt          j        |fi ‰¤Žt          j        ||fddd|ddœ‰¤Žt          j        |fi ‰¤Žt          j        ||fddd|ddœ‰¤Žt          j        |fi ‰¤Ž¦  «        nt          j        ¦   «         | _        ‰| _        ‰| _        ‰| _        d S )Nr/   r   r&   Fc                 ó<   •— g | ]}t          ‰‰‰‰f‰d z  ddœ‰¤Ž‘ŒS )r%   N)Úpad_typer-   ©r   )Ú.0Ú_rC   r'   rD   r)   r,   s     €€€€€rG   ú
<listcomp>z*GhostModuleV3.__init__.<locals>.<listcomp>–   sb   ø€ ð 
/
ð 
/
ð 
/
ð õ ØØØØð	ð
 %¨Ñ)Øðð ð ðð ð
/
ð 
/
ð 
/
rH   Tr3   c           	      ó>   •— g | ]}t          ‰‰‰d f‰dz  d ddœ‰¤Ž‘ŒS ©r   r%   N©r}   Ú
group_sizer-   r~   )r   r€   rC   r+   rD   rE   s     €€€€rG   r�   z*GhostModuleV3.__init__.<locals>.<listcomp>¤   sd   ø€ ð -
ð -
ð -
ð õ ØØØØð		ð
 ! A™ØØð	ð 	ð ð	ð 	ð-
ð -
ð -
rH   r   r„   ©Úshortcutr%   r2   ra   rc   rd   rf   rg   ) r7   r8   r;   rh   ri   r(   r9   r:   rr   Únum_conv_branchesÚ
infer_modeÚIdentityr?   r@   Úprimary_rpr_skipÚprimary_rpr_scaleÚ
ModuleListÚrangeÚprimary_rpr_convÚprimary_activationr>   Úcheap_rpr_skipÚcheap_rpr_convr   Úcheap_rpr_scaleÚcheap_activationr<   r=   rj   Úin_channelsr6   r)   )rB   r'   r(   r)   r*   r+   r,   r-   rr   r0   r1   rC   rD   rE   rF   s    ` ` ``    @@@€rG   r8   zGhostModuleV3.__init__z   sÞ  øøøøøøøø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐÝ”z‘|”|ˆŒØˆŒÝ”9˜W u™_Ñ-Ô-ˆØ˜e a™iÑ(ˆØˆŒ	Ø!"ˆÔØˆŒØŒð 	1Ý "¤¡¤ˆDÔÝ#%¤;¡=¤=ˆDÔ à $ˆÔØ!%ˆÔÝ "¤ð 
/
ð 
/
ð 
/
ð 
/
ð 
/
ð 
/
ð 
/
ð 
/
õ ˜TÔ3Ñ4Ô4ð
/
ñ 
/
ô 
/
ñ 
!ô 
!ˆÔð #, )°DÐ"9Ñ"9Ô"9ˆÔÝ œn¨XÐ<Ð<¸Ð<Ð<ˆÔÝ œmð -
ð -
ð -
ð -
ð -
ð -
ð -
õ ˜TÔ3Ñ4Ô4ð-
ñ -
ô -
ñ ô ˆÔõ  )¨°7¸A¸qÐqÈ1ÐYZÐfjÐqÐqÐnpÐqÐqˆÔØ ) 	°$Ð 7Ñ 7Ô 7ˆÔð ŒY˜,Ð&Ð&õ œ-ÝŒI�f˜g {°F¸KÈ¹NÐ]Ð]ÐQVÐ]ÐZ\Ð]Ð]ÝŒN˜7Ð)Ð) bÐ)Ð)ÝŒI�g˜wÐu°EÀ!ÈUÐ[bÐinÐuÐuÐrtÐuÐuÝŒN˜7Ð)Ð) bÐ)Ð)ÝŒI�g˜wÐu°EÀ!ÈUÐ[bÐinÐuÐuÐrtÐuÐuÝŒN˜7Ð)Ð) bÐ)Ð)ñ
ô 
ð 
õ -/¬K©M¬Mð 	Œð $ˆÔØˆŒØ"ˆÔÐÐrH   c                 óÆ  — | j         r+|                      |¦  «        }|                      |¦  «        }n‡d}| j        D ]}| ||¦  «        z  }Œ|                      |¦  «        }|                      |¦  «        |                      |¦  «        z   }| j        D ]}| ||¦  «        z  }Œ|                      |¦  «        }t          j
        ||gd¬¦  «        }| j        dvr|S |                      t          j        |dd¬¦  «        ¦  «        }|d d …d | j        …d d …d d …f         t          j        |                      |¦  «        |j        d         |j        d         fd	¬
¦  «        z  S )Nr   r   rL   r†   r%   rl   rm   rn   ro   rp   )r‰   r?   r@   r�   r�   r“   r‘   r’   r”   rN   rO   rr   rj   rs   rt   r(   ru   ri   rv   )rB   rI   rP   rQ   r�   r’   rR   rw   s           rG   rS   zGhostModuleV3.forwardÁ   s�  € ØŒ?ð 	+Ø×"Ò" 1Ñ%Ô%ˆBØ×%Ò% bÑ)Ô)ˆBˆBàˆBØ$(Ô$9ð *ð *Ð ØÐ&Ð& qÑ)Ô)Ñ)��Ø×(Ò(¨Ñ,Ô,ˆBà×%Ò% bÑ)Ô)¨D×,?Ò,?ÀÑ,CÔ,CÑCˆBØ"&Ô"5ð )ð )�Ø�n�n RÑ(Ô(Ñ(��Ø×&Ò& rÑ*Ô*ˆBåŒi˜˜B˜ QÐ'Ñ'Ô'ˆØŒ9˜LÐ(Ð(ØˆJà—/’/¥!¤,¨q¸aÈÐ"JÑ"JÔ"JÑKÔKˆCØ�q�q�q˜˜$œ,˜ q q q¨¨¨Ð*Ô+­a¬mØ—’˜SÑ!Ô!¨¬°2¬¸¼	À"¼Ð(FÈYð/Xñ /Xô /Xñ Xð XrH   c                 ó   — d}d}| j         �@|                      | j         ¦  «        \  }}| j        dz  }t          j        |||||g¦  «        }d}d}| j        �|                      | j        ¦  «        \  }}d}d}t          | j        ¦  «        D ]/}|                      | j        |         ¦  «        \  }	}
||	z  }||
z  }Œ0||z   |z   }||z   |z   }||fS ©Nr   r%   )	rŒ   Ú_fuse_bn_tensorr)   rs   Úpadr‹   rŽ   rˆ   r�   ©rB   Úkernel_scaleÚ
bias_scalerš   Úkernel_identityÚbias_identityÚkernel_convÚ	bias_convÚixÚ_kernelÚ_biasÚkernel_finalÚ
bias_finals                rG   Ú_get_kernel_bias_primaryz&GhostModuleV3._get_kernel_bias_primaryØ   s  € ØˆØˆ
ØÔ!Ð-Ø'+×';Ò';¸DÔ<RÑ'SÔ'SÑ$ˆL˜*ØÔ" aÑ'ˆCÝœ5 °°S¸#¸sÐ/CÑDÔDˆLàˆØˆØÔ Ð,Ø-1×-AÒ-AÀ$ÔBWÑ-XÔ-XÑ*ˆO˜]àˆØˆ	Ý˜Ô.Ñ/Ô/ð 	ð 	ˆBØ!×1Ò1°$Ô2GÈÔ2KÑLÔL‰NˆG�UØ˜7Ñ"ˆKØ˜ÑˆIˆIà" \Ñ1°OÑCˆØ Ñ+¨mÑ;ˆ
Ø˜ZÐ'Ð'rH   c                 ó   — d}d}| j         �@|                      | j         ¦  «        \  }}| j        dz  }t          j        |||||g¦  «        }d}d}| j        �|                      | j        ¦  «        \  }}d}d}t          | j        ¦  «        D ]/}|                      | j        |         ¦  «        \  }	}
||	z  }||
z  }Œ0||z   |z   }||z   |z   }||fS r˜   )	r“   r™   r)   rs   rš   r‘   rŽ   rˆ   r’   r›   s                rG   Ú_get_kernel_bias_cheapz$GhostModuleV3._get_kernel_bias_cheapð   s  € ØˆØˆ
ØÔÐ+Ø'+×';Ò';¸DÔ<PÑ'QÔ'QÑ$ˆL˜*ØÔ" aÑ'ˆCÝœ5 °°S¸#¸sÐ/CÑDÔDˆLàˆØˆØÔÐ*Ø-1×-AÒ-AÀ$ÔBUÑ-VÔ-VÑ*ˆO˜]àˆØˆ	Ý˜Ô.Ñ/Ô/ð 	ð 	ˆBØ!×1Ò1°$Ô2EÀbÔ2IÑJÔJ‰NˆG�UØ˜7Ñ"ˆKØ˜ÑˆIˆIà" \Ñ1°OÑCˆØ Ñ+¨mÑ;ˆ
Ø˜ZÐ'Ð'rH   c                 óü  — t          |t          ¦  «        rI|j        j        }|j        j        }|j        j        }|j        j        }|j        j        }|j        j        }nÝt          |t          j
        ¦  «        sJ ‚t          | d¦  «        s‡| j        | j        z  }t          j        | j        || j        | j        f|j        j        |j        j        ¬¦  «        }	t'          | j        ¦  «        D ]}
d|	|
|
|z  | j        dz  | j        dz  f<   Œ|	| _        | j        }|j        }|j        }|j        }|j        }|j        }||z                        ¦   «         }||z                       dddd¦  «        }||z  |||z  |z  z
  fS ©NÚ	id_tensor)r1   r0   r   r%   rn   ©Ú
isinstancer   ÚconvÚweightÚbn1Úrunning_meanÚrunning_varr2   Úepsr;   r>   Úhasattrr•   r6   rN   Úzerosr)   r1   r0   rŽ   r¬   ÚsqrtÚreshape©rB   ÚbranchÚkernelr²   r³   ÚgammaÚbetar´   Ú	input_dimÚkernel_valueÚiÚstdÚts                rG   r™   zGhostModuleV3._fuse_bn_tensor  ó‘  € Ý�f�iÑ(Ô(ð 	Ø”[Ô'ˆFØ!œ:Ô2ˆLØ œ*Ô0ˆKØ”JÔ%ˆEØ”:”?ˆDØ”*”.ˆCˆCå˜f¥b¤nÑ5Ô5Ð5Ð5Ð5Ý˜4 Ñ-Ô-ð 	.Ø Ô,°´Ñ;�	Ý$œ{ØÔ% y°$Ô2BÀDÔDTÐUØ œ-Ô-Ø!œ=Ô/ð ñ  ô  �õ
 ˜tÔ/Ñ0Ô0ð eð e�AØcd�L  A¨	¡M°4Ô3CÀqÑ3HÈ$ÔJZÐ^_ÑJ_Ð!_Ñ`Ð`Ø!-�”Ø”^ˆFØ!Ô.ˆLØ Ô,ˆKØ”MˆEØ”;ˆDØ”*ˆCØ˜SÑ ×&Ò&Ñ(Ô(ˆØ�S‰[×!Ò! " a¨¨AÑ.Ô.ˆØ˜‰z˜4 ,°Ñ"6¸Ñ"<Ñ<Ð<Ð<rH   c           
      óä  — | j         rd S |                      ¦   «         \  }}t          j        | j        d         j        j        | j        d         j        j        | j        d         j        j        | j        d         j        j	        | j        d         j        j
        | j        d         j        j        | j        d         j        j        d¬¦  «        | _        || j        j        _        || j        j        _        t          j        | j        | j        �| j        nt          j        ¦   «         ¦  «        | _        |                      ¦   «         \  }}t          j        | j        d         j        j        | j        d         j        j        | j        d         j        j        | j        d         j        j	        | j        d         j        j
        | j        d         j        j        | j        d         j        j        d¬¦  «        | _        || j        j        _        || j        j        _        t          j        | j        | j        �| j        nt          j        ¦   «         ¦  «        | _        |                      ¦   «         D ]}|                     ¦   «          Œt3          | d¦  «        r|                      d¦  «         t3          | d¦  «        r|                      d¦  «         t3          | d¦  «        r|                      d¦  «         t3          | d¦  «        r|                      d¦  «         t3          | d¦  «        r|                      d¦  «         t3          | d	¦  «        r|                      d	¦  «         d| _         d S )
Nr   T©r•   Úout_channelsr)   r,   re   Údilationr6   r2   r�   rŒ   r‹   r’   r“   r‘   )r‰   r§   r;   r=   r�   r¯   r•   rÆ   r)   r,   re   rÇ   r6   r?   r°   Údatar2   r<   r�   r©   r’   r@   r”   Ú
parametersÚdetach_rµ   Ú__delattr__)rB   Úprimary_kernelÚprimary_biasÚcheap_kernelÚ
cheap_biasÚparas         rG   Úswitch_to_deployzGhostModuleV3.switch_to_deploy&  s0  € ØŒ?ð 	ØˆFØ'+×'DÒ'DÑ'FÔ'FÑ$ˆ˜ÝœIØÔ-¨aÔ0Ô5ÔAØÔ.¨qÔ1Ô6ÔCØÔ-¨aÔ0Ô5ÔAØÔ(¨Ô+Ô0Ô7ØÔ)¨!Ô,Ô1Ô9ØÔ*¨1Ô-Ô2Ô;ØÔ(¨Ô+Ô0Ô7Øð	
ñ 	
ô 	
ˆÔð )7ˆÔÔ Ô%Ø&2ˆÔÔÔ#ÝœMØÔØ'+Ô'>Ð'JˆDÔ#Ð#ÕPRÔP]ÑP_ÔP_ñ
ô 
ˆÔð
 $(×#>Ò#>Ñ#@Ô#@Ñ ˆ�jÝ!œyØÔ+¨AÔ.Ô3Ô?ØÔ,¨QÔ/Ô4ÔAØÔ+¨AÔ.Ô3Ô?ØÔ& qÔ)Ô.Ô5ØÔ'¨Ô*Ô/Ô7ØÔ(¨Ô+Ô0Ô9ØÔ& qÔ)Ô.Ô5Øð	 
ñ 	 
ô 	 
ˆÔð ,8ˆÔÔ#Ô(Ø)3ˆÔÔ!Ô&å!œ}ØÔ Ø%)Ô%:Ð%FˆDÔ!Ð!ÍBÌMÉOÌOñ 
ô  
ˆÔð —O’OÑ%Ô%ð 	ð 	ˆDØ�LŠL‰NŒNˆNˆNÝ�4Ð+Ñ,Ô,ð 	1Ø×ÒÐ/Ñ0Ô0Ð0Ý�4Ð,Ñ-Ô-ð 	2Ø×ÒÐ0Ñ1Ô1Ð1Ý�4Ð+Ñ,Ô,ð 	1Ø×ÒÐ/Ñ0Ô0Ð0å�4Ð)Ñ*Ô*ð 	/Ø×ÒÐ-Ñ.Ô.Ð.Ý�4Ð*Ñ+Ô+ð 	0Ø×ÒÐ.Ñ/Ô/Ð/Ý�4Ð)Ñ*Ô*ð 	/Ø×ÒÐ-Ñ.Ô.Ð.àˆŒˆˆrH   c                 ó.   — |                       ¦   «          d S ©N©rÑ   ©rB   s    rG   ÚreparameterizezGhostModuleV3.reparameterizea  ó   € Ø×ÒÑÔÐÐÐrH   )rU   rV   rW   r;   rX   rY   r   rZ   Ústrr8   rS   r§   r©   r™   rÑ   rÖ   r\   r]   s   @rG   ry   ry   y   s   ø€ € € € € ð
  !ØØØØ)+¬Ø"ØØðE#ð E#àðE#ð ðE#ð ð	E#ð
 ðE#ð ðE#ð ðE#ð ˜BœI”ðE#ð ðE#ð E#ð E#ð E#ð E#ð E#ðNXð Xð Xð.(ð (ð (ð0(ð (ð (ð0=ð =ð =ð<9ð 9ð 9ðv ð  ð  ð  ð  ð  ð  rH   ry   c                   ó˜   ‡ — e Zd ZdZddej        ddddfdeded	ed
ededeej                 de	de
fˆ fd„Zdej        dej        fd„Zˆ xZS )ÚGhostBottleneckz% GhostV1/V2 bottleneck w/ optional SEr&   r   ç        rz   Nr'   Úmid_chsr(   Údw_kernel_sizer,   r-   Úse_ratiorr   c                 ó"  •— |	|
dœ}t          ¦   «                              ¦   «          |d uo|dk    }|| _        |dk    rt          ||fd|i|¤Ž| _        nt          ||fd|i|¤Ž| _        | j        dk    r<t          j        |||f||dz
  dz  |ddœ|¤Ž| _        t          j	        |fi |¤Ž| _
        nd | _        d | _
        |rt          |fd	|i|¤Žnd | _        t          ||fdt          j        i|¤Ž| _        ||k    r%| j        dk    rt          j        ¦   «         | _        d S t          j        t          j        |||f||dz
  dz  |ddœ|¤Žt          j	        |fi |¤Žt          j        ||dfdd
ddœ|¤Žt          j	        |fi |¤Ž¦  «        | _        d S )Nr/   rÛ   rz   r-   r   r%   F©r,   re   r6   r2   Úrd_ratior   ©r,   re   r2   )r7   r8   r,   r$   Úghost1r_   r;   r=   Úconv_dwr>   Úbn_dwÚ	_SE_LAYERÚserŠ   Úghost2r<   r‡   )rB   r'   rÜ   r(   rÝ   r,   r-   rÞ   rr   r0   r1   rC   Úhas_serF   s                €rG   r8   zGhostBottleneck.__init__h  s.  ø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ Ð%Ð7¨(°Rª-ˆØˆŒð �:ÒÐÝ% f¨gÐQÐQÀÐQÈbÐQÐQˆDŒKˆKå'¨°ÐSÐSÀ9ÐSÐPRÐSÐSˆDŒKð Œ;˜Š?ˆ?Ýœ9ØØØð	ð Ø'¨Ñ)¨AÑ-ØØð	ð 	ð ð	ð 	ˆDŒLõ œ¨Ð6Ð6°2Ð6Ð6ˆDŒJˆJàˆDŒLØˆDŒJð BHÐQ•)˜GÐ=Ð=¨hÐ=¸"Ð=Ð=Ð=ÈTˆŒõ " '¨7ÐPÐP½b¼kÐPÈRÐPÐPˆŒð �WÒÐ ¤°Ò!1Ð!1ÝœM™OœOˆDŒMˆMˆMåœMÝ”	ØØØ"ð	ð "Ø+¨AÑ-°Ñ1Ø!Øð	ð 	ð ð	ð 	õ ”˜vÐ,Ð,¨Ð,Ð,Ý”	˜& '¨1ÐT°QÀÈÐTÐTÐQSÐTÐTÝ”˜wÐ-Ð-¨"Ð-Ð-ñô ˆDŒMˆMˆMrH   rI   rJ   c                 ó(  — |}|                       |¦  «        }| j        �*|                      |¦  «        }|                      |¦  «        }| j        �|                      |¦  «        }|                      |¦  «        }||                      |¦  «        z  }|S rÓ   )rã   rä   rå   rç   rè   r‡   )rB   rI   r‡   s      rG   rS   zGhostBottleneck.forward«  s…   € Øˆð �KŠK˜‰NŒNˆð Œ<Ð#Ø—’˜Q‘”ˆAØ—
’
˜1‘”ˆAð Œ7ÐØ—’˜‘
”
ˆAð �KŠK˜‰NŒNˆà	ˆT�]Š]˜8Ñ$Ô$Ñ$ˆØˆrH   )rU   rV   rW   Ú__doc__r;   rX   rY   r   rZ   ÚfloatrØ   r8   rN   r[   rS   r\   r]   s   @rG   rÚ   rÚ   e  së   ø€ € € € € Ø/Ð/ð #$ØØ)+¬Ø Ø"ØØðAð AàðAð ðAð ð	Að
  ðAð ðAð ˜BœI”ðAð ðAð ðAð Að Að Að Að AðF˜œð ¨%¬,ð ð ð ð ð ð ð ð rH   rÚ   c                   ó°   ‡ — e Zd ZdZddej        ddddfdeded	ed
ededeej                 de	de
fˆ fd„Zdej        dej        fd„Zd„ Zd„ Zd„ Zd„ Zˆ xZS )ÚGhostBottleneckV3z" GhostV3 bottleneck w/ optional SEr&   r   rÛ   rz   Nr'   rÜ   r(   rÝ   r,   r-   rÞ   rr   c                 ó@  •‡‡‡‡— |	|
dœŠt          ¦   «                              ¦   «          |d uo|dk    }‰| _        d| _        d| _        | j        s0t          j        ¦   «         | _        t          j        ¦   «         | _        t          |‰f||dœ‰¤Ž| _
        | j        dk    rbt          j        ˆˆˆˆfd„t          | j        ¦  «        D ¦   «         ¦  «        | _        t          ‰‰ddfd	dd d
œ‰¤Ž| _        ‰| _        ‰| _        n0t          j        ¦   «         | _        t          j        ¦   «         | _        d | _        |rt'          ‰fd|i‰¤Žnt          j        ¦   «         | _        t          ‰|ft
          j        ddœ‰¤Ž| _        ||k    r%| j        dk    rt          j        ¦   «         | _        d S t          j        t          j        ||‰f‰‰dz
  dz  |ddœ‰¤Žt          j        |fi ‰¤Žt          j        ||dfdd	ddœ‰¤Žt          j        |fi ‰¤Ž¦  «        | _        d S )Nr/   rÛ   r&   F)r-   rr   r   c           	      óD   •— g | ]}t          ‰‰‰‰f‰d z
  dz  d ddœ‰¤Ž‘ŒS rƒ   r~   )r   r€   rC   rÝ   rÜ   r,   s     €€€€rG   r�   z.GhostBottleneckV3.__init__.<locals>.<listcomp>á  sj   ø€ ð 
.ð 
.ð 
.ð õ /8ØØØØð		/ð
 )¨1Ñ,°Ñ2ØØð	/ð 	/ð ð	/ð 	/ð 
.ð 
.ð 
.rH   r%   r   r„   rá   rz   rà   râ   )r7   r8   r,   rˆ   r‰   r;   rŠ   rä   rå   ry   rã   r�   rŽ   Údw_rpr_convr   Údw_rpr_scaler)   r•   Údw_rpr_skipræ   rç   rè   r‡   r<   r=   r>   )rB   r'   rÜ   r(   rÝ   r,   r-   rÞ   rr   r0   r1   ré   rC   rF   s     ` ``      @€rG   r8   zGhostBottleneckV3.__init__Ä  sŒ  øøøøø€ ð ¨Ð/Ð/ˆÝ‰Œ×ÒÑÔÐØ Ð%Ð7¨(°Rª-ˆØˆŒà!"ˆÔØˆŒØŒð 	'Ýœ;™=œ=ˆDŒLÝœ™œˆDŒJõ $ F¨GÐZ¸yÈtÐZÐZÐWYÐZÐZˆŒð Œ;˜Š?ˆ?Ý!œ}ð 
.ð 
.ð 
.ð 
.ð 
.ð 
.ð 
.õ ˜TÔ3Ñ4Ô4ð
.ñ 
.ô 
.ñ 
 ô 
 ˆDÔõ !*¨'°7¸A¸qÐ qÈ1ÐYZÐfjÐ qÐ qÐnpÐ qÐ qˆDÔØ-ˆDÔØ&ˆDÔÐå!œ}™œˆDÔÝ "¤¡¤ˆDÔØˆÔð BHÐZ•)˜GÐ=Ð=¨hÐ=¸"Ð=Ð=Ð=ÍRÌ[É]Ì]ˆŒõ $ G¨WÐcÅÄÐR\ÐcÐcÐ`bÐcÐcˆŒð �WÒÐ ¤°Ò!1Ð!1ÝœK™MœMˆDŒMˆMˆMåœMÝ”	ØØØ"ð	ð "Ø+¨AÑ-°Ñ1Ø!Øð	ð 	ð ð	ð 	õ ”˜vÐ,Ð,¨Ð,Ð,Ý”	˜& '¨1ÐT°QÀÈÐTÐTÐQSÐTÐTÝ”˜wÐ-Ð-¨"Ð-Ð-ñô ˆDŒMˆMˆMrH   rI   rJ   c                 ó�  — |}|                       |¦  «        }| j        dk    ra| j        r+|                      |¦  «        }|                      |¦  «        }n/|                      |¦  «        }| j        D ]}| ||¦  «        z  }Œ|}|                      |¦  «        }|                      |¦  «        }||  	                    |¦  «        z  }|S )Nr   )
rã   r,   r‰   rä   rå   rò   rñ   rç   rè   r‡   )rB   rI   r‡   rP   rñ   s        rG   rS   zGhostBottleneckV3.forward  sÊ   € Øˆð �KŠK˜‰NŒNˆð Œ;˜Š?ˆ?ØŒð Ø—L’L ‘O”O�Ø—J’J˜q‘M”M��à×&Ò& qÑ)Ô)�Ø#'Ô#3ð )ð )�KØ˜+˜+ a™.œ.Ñ(�B�BØ�ð �GŠG�A‰JŒJˆð �KŠK˜‰NŒNˆà	ˆT�]Š]˜8Ñ$Ô$Ñ$ˆØˆrH   c                 ó   — d}d}| j         �@|                      | j         ¦  «        \  }}| j        dz  }t          j        |||||g¦  «        }d}d}| j        �|                      | j        ¦  «        \  }}d}d}t          | j        ¦  «        D ]/}|                      | j        |         ¦  «        \  }	}
||	z  }||
z  }Œ0||z   |z   }||z   |z   }||fS r˜   )	rò   r™   r)   rs   rš   ró   rŽ   rˆ   rñ   r›   s                rG   Ú_get_kernel_bias_dwz%GhostBottleneckV3._get_kernel_bias_dw)  s  € ØˆØˆ
ØÔÐ(Ø'+×';Ò';¸DÔ<MÑ'NÔ'NÑ$ˆL˜*ØÔ" aÑ'ˆCÝœ5 °°S¸#¸sÐ/CÑDÔDˆLàˆØˆØÔÐ'Ø-1×-AÒ-AÀ$ÔBRÑ-SÔ-SÑ*ˆO˜]àˆØˆ	Ý˜Ô.Ñ/Ô/ð 	ð 	ˆBØ!×1Ò1°$Ô2BÀ2Ô2FÑGÔG‰NˆG�UØ˜7Ñ"ˆKØ˜ÑˆIˆIà" \Ñ1°OÑCˆØ Ñ+¨mÑ;ˆ
Ø˜ZÐ'Ð'rH   c                 óü  — t          |t          ¦  «        rI|j        j        }|j        j        }|j        j        }|j        j        }|j        j        }|j        j        }nÝt          |t          j
        ¦  «        sJ ‚t          | d¦  «        s‡| j        | j        z  }t          j        | j        || j        | j        f|j        j        |j        j        ¬¦  «        }	t'          | j        ¦  «        D ]}
d|	|
|
|z  | j        dz  | j        dz  f<   Œ|	| _        | j        }|j        }|j        }|j        }|j        }|j        }||z                        ¦   «         }||z                       dddd¦  «        }||z  |||z  |z  z
  fS r«   r­   r¹   s                rG   r™   z!GhostBottleneckV3._fuse_bn_tensorA  rÃ   rH   c           
      óz  — | j         s| j        dk    rd S |                      ¦   «         \  }}t          j        | j        d         j        j        | j        d         j        j        | j        d         j        j	        | j        d         j        j        | j        d         j        j
        | j        d         j        j        | j        d         j        j        d¬¦  «        | _        || j        j        _        || j        j        _        t          j        ¦   «         | _        |                      ¦   «         D ]}|                     ¦   «          Œt+          | d¦  «        r|                      d¦  «         t+          | d¦  «        r|                      d¦  «         t+          | d¦  «        r|                      d¦  «         d| _         d S )Nr   r   TrÅ   rñ   rò   ró   )r‰   r,   rö   r;   r=   rñ   r¯   r•   rÆ   r)   re   rÇ   r6   rä   r°   rÈ   r2   rŠ   rå   rÉ   rÊ   rµ   rË   )rB   Ú	dw_kernelÚdw_biasrÐ   s       rG   rÑ   z"GhostBottleneckV3.switch_to_deploy_  s•  € ØŒ?ð 	˜dœk¨QÒ.Ð.ØˆFØ!×5Ò5Ñ7Ô7Ñˆ	�7Ý”yØÔ(¨Ô+Ô0Ô<ØÔ)¨!Ô,Ô1Ô>ØÔ(¨Ô+Ô0Ô<ØÔ# AÔ&Ô+Ô2ØÔ$ QÔ'Ô,Ô4ØÔ% aÔ(Ô-Ô6ØÔ# AÔ&Ô+Ô2Øð	
ñ 	
ô 	
ˆŒð $-ˆŒÔÔ Ø!(ˆŒÔÔÝ”[‘]”]ˆŒ
ð —O’OÑ%Ô%ð 	ð 	ˆDØ�LŠL‰NŒNˆNˆNÝ�4˜Ñ'Ô'ð 	,Ø×Ò˜]Ñ+Ô+Ð+Ý�4˜Ñ(Ô(ð 	-Ø×Ò˜^Ñ,Ô,Ð,Ý�4˜Ñ'Ô'ð 	,Ø×Ò˜]Ñ+Ô+Ð+àˆŒˆˆrH   c                 ó.   — |                       ¦   «          d S rÓ   rÔ   rÕ   s    rG   rÖ   z GhostBottleneckV3.reparameterize}  r×   rH   )rU   rV   rW   rë   r;   rX   rY   r   rZ   rì   rØ   r8   rN   r[   rS   rö   r™   rÑ   rÖ   r\   r]   s   @rG   rî   rî   Á  s'  ø€ € € € € Ø,Ð,ð #$ØØ)+¬Ø Ø"ØØðIð IàðIð ðIð ð	Ið
  ðIð ðIð ˜BœI”ðIð ðIð ðIð Ið Ið Ið Ið IðV˜œð ¨%¬,ð ð ð ð ð4(ð (ð (ð0=ð =ð =ð<ð ð ð< ð  ð  ð  ð  ð  ð  rH   rî   c                   óä  ‡ — e Zd Z	 	 	 	 	 	 	 	 	 d-d	eeeeeef                                    d
ededededededefˆ fd„Ze	j
        j        defd„¦   «         Ze	j
        j        d.dedeeef         fd„¦   «         Ze	j
        j        d/defd„¦   «         Ze	j
        j        dej        fd„¦   «         Zd0d
edefd„Z	 	 	 	 	 d1de	j        deeeee         f                  ded ed!ed"edeee	j                 ee	j        ee	j                 f         f         fd#„Z	 	 	 d2deeee         f         d%ed&efd'„Zde	j        de	j        fd(„Zd.de	j        d)ede	j        fd*„Zde	j        de	j        fd+„Zd,„ Zˆ xZ S )3r   éè  ç      ð?r&   é    Úavgçš™™™™™É?Úv1NÚcfgsÚnum_classesÚwidthÚin_chansÚoutput_strideÚglobal_poolÚ	drop_rateÚversionc                 óV  •— t          ¦   «                              ¦   «          |	|
dœ}|dk    s
J d¦   «         ‚|| _        || _        || _        || _        d| _        g | _        |dk    rt          nt          }t          d|z  d¦  «        }t          j        ||dd	d
fddi|¤Ž| _        | j                             t          |d	d¬¦  «        ¦  «         t          j        |fi |¤Ž| _        t          j        d¬¦  «        | _        |}t          j        g ¦  «        }d}d}d	}| j        D ]ì}g }d
}|D ]…\  }}}}}t          ||z  d¦  «        }t          ||z  d¦  «        }t          di |¤Ž}|dk    r|d
k    rd|d<   |dk    r|d
k    rd|d<   |                      ||||||fd|i|¤Ž¦  «         |}|d
z  }Œ†|d
k    r2|d	z  }| j                             t          ||d|› �¬¦  «        ¦  «         |                     t          j        |Ž ¦  «         |d
z  }Œít          ||z  d¦  «        }|                     t          j        t-          ||d
fi |¤Ž¦  «        ¦  «         |x| _        }t          j        |Ž | _        || _        dx| _        }t7          |¬¦  «        | _        t          j        ||d
d
dfddi|¤Ž| _        t          j        d¬¦  «        | _        |rt          j        d
¦  «        nt          j         ¦   «         | _!        |dk    rtE          ||fi |¤Žnt          j         ¦   «         | _#        d S )Nr/   rÿ   z7only output_stride==32 is valid, dilation not supportedFÚv3é   r   r&   r%   r   r2   Ú	conv_stem)Únum_chsÚ	reductionÚmoduleTr3   r   Úv2Úattnrr   r‡   rÞ   zblocks.i   ©Ú	pool_type© )$r7   r8   r  r  r  r	  Úgrad_checkpointingÚfeature_inforî   rÚ   r   r;   r=   r  ÚappendÚdictr>   r±   rX   Úact1r�   r<   r   Úpool_dimÚblocksÚnum_featuresÚhead_hidden_sizer   r  Ú	conv_headÚact2ÚFlattenrŠ   Úflattenr   Ú
classifier)rB   r  r  r  r  r  r  r	  r
  r0   r1   rC   Ú
BottleneckÚstem_chsÚprev_chsÚstagesÚ	stage_idxÚ	layer_idxÚ
net_strideÚcfgÚlayersÚsÚkÚexp_sizeÚcrÞ   r(   rÜ   Úlayer_kwargsrF   s                                €rG   r8   zGhostNet.__init__‚  s¥  ø€ õ 	‰Œ×ÒÑÔÐØ¨Ð/Ð/ˆà Ò"Ð"Ð"Ð$]Ñ"Ô"Ð"ØˆŒ	Ø&ˆÔØ ˆŒØ"ˆŒØ"'ˆÔØˆÔØ*1°Tª/¨/Õ&Ð&½ˆ
õ " " u¡*¨aÑ0Ô0ˆÝœ 8¨X°q¸!¸QÐQÐQÀUÐQÈbÐQÐQˆŒØÔ× Ò ¥¨hÀ!ÈLÐ!YÑ!YÔ!YÑZÔZÐZÝ”> (Ð1Ð1¨bÐ1Ð1ˆŒÝ”G DÐ)Ñ)Ô)ˆŒ	Øˆõ ”˜rÑ"Ô"ˆØˆ	Øˆ	Øˆ
Ø”9ð 	ð 	ˆCØˆFØˆAØ/2ð 
ð 
Ñ+��8˜Q ¨!Ý(¨¨U©°AÑ6Ô6�Ý(¨°EÑ)9¸1Ñ=Ô=�Ý#˜z˜z b˜z˜z�Ø˜d’?�? y°1¢} }Ø+1�L Ñ(Ø˜d’?�? y°1¢} }Ø+5�L Ñ(Ø—’˜j˜j¨°7¸GÀQÈÐmÐmÐT\ÐmÐ`lÐmÐmÑnÔnÐnØ"�Ø˜Q‘�	�	Ø�1ŠuˆuØ˜a‘�
ØÔ!×(Ò(­Ø$°
ÐCXÈYÐCXÐCXð*Zñ *Zô *Zñ [ô [ð [à�MŠM�"œ-¨Ð0Ñ1Ô1Ð1Ø˜‰NˆIˆIå  ¨EÑ!1°1Ñ5Ô5ˆØ�Š•b”m¥I¨h¸ÀÐ$IÐ$IÀbÐ$IÐ$IÑJÔJÑKÔKÐKØ#*Ð*ˆŒ˜å”m VÐ,ˆŒð %ˆÔØ*.Ð.ˆÔ Ý/¸+ÐFÑFÔFˆÔÝœ 8¨W°a¸¸AÐOÐOÀDÐOÈBÐOÐOˆŒÝ”G DÐ)Ñ)Ô)ˆŒ	Ø(3ÐF•r”z !‘}”}�}½¼¹¼ˆŒØ@KÈaÂÀ�& ¨+Ð<Ð<¸Ð<Ð<Ð<ÕUWÔU`ÑUbÔUbˆŒˆˆrH   rJ   c                 ó   — t          ¦   «         S rÓ   )ÚsetrÕ   s    rG   Úno_weight_decayzGhostNet.no_weight_decayÎ  s   € å‰uŒuˆrH   FÚcoarsec                 ó8   — t          d|rdndd fdg¬¦  «        }|S )Nz^conv_stem|bn1z^blocks\.(\d+)z^blocks\.(\d+)\.(\d+))r   )iŸ† )Ústemr  )r  )rB   r6  Úmatchers      rG   Úgroup_matcherzGhostNet.group_matcherÒ  s<   € åØ"à&,ÐJÐ"Ð"Ð2JÈDÐQØ(ðð
ñ 
ô 
ˆð ˆrH   TÚenablec                 ó   — || _         d S rÓ   )r  )rB   r;  s     rG   Úset_grad_checkpointingzGhostNet.set_grad_checkpointingÝ  s   € à"(ˆÔÐÐrH   c                 ó   — | j         S rÓ   )r$  rÕ   s    rG   Úget_classifierzGhostNet.get_classifierá  s
   € àŒÐrH   c                 óÔ  — t          | ¦  «        }|| _        t          |¬¦  «        | _        | j                             | j        ¦  «         |rt          j        d¦  «        nt          j        ¦   «         | _	        | j	                             | j        ¦  «         |dk    rt          | j        |fi |¤Žnt          j        ¦   «         | _        | j                             | j        ¦  «         d S )Nr  r   r   )r   r  r   r  ÚtrainÚtrainingr;   r"  rŠ   r#  r   r  r$  )rB   r  r  rC   s       rG   Úreset_classifierzGhostNet.reset_classifierå  sß   € Ý˜dÑ#Ô#ˆØ&ˆÔå/¸+ÐFÑFÔFˆÔØÔ×Ò˜tœ}Ñ-Ô-Ð-Ø(3ÐF•r”z !‘}”}�}½¼¹¼ˆŒØŒ×Ò˜4œ=Ñ)Ô)Ð)ð ˜1Š_ˆ_õ !ØÔ! ;ð
ð 
àð
ð 
ð 
õ #%¤+¡-¤-ð 	Œð 	Œ×Ò˜dœmÑ,Ô,Ð,Ð,Ð,rH   ÚNCHWrI   ÚindicesÚnormÚ
stop_earlyÚ
output_fmtÚintermediates_onlyc                 óä  ‡— |dv s
J d¦   «         ‚g }dgd„ | j         dd…         D ¦   «         z   Št          t          ‰¦  «        |¦  «        \  }}	ˆfd„|D ¦   «         }‰|	         }	d}
|                      |¦  «        }|
|v r|                     |¦  «         |                      |¦  «        }|                      |¦  «        }t          j         	                    ¦   «         s|s| j
        }n| j
        d|	dz   …         }t          |d¬	¦  «        D ]_\  }
}| j        r/t          j         	                    ¦   «         st          ||¦  «        }n ||¦  «        }|
|v r|                     |¦  «         Œ`|r|S ||fS )
aï   Forward features that returns intermediates.

        Args:
            x: Input image tensor
            indices: Take last n blocks if int, all if None, select matching indices if sequence
            norm: Apply norm layer to compatible intermediates
            stop_early: Stop iterating over blocks when last desired intermediate hit
            output_fmt: Shape of intermediate feature outputs
            intermediates_only: Only return intermediate features
        Returns:

        )rD  zOutput shape must be NCHW.rn   c                 ój   — g | ]0}t          |d                               d¦  «        d         ¦  «        ‘Œ1S ©r  ú.rn   ©rY   Úsplit©r   Úinfos     rG   r�   z2GhostNet.forward_intermediates.<locals>.<listcomp>
  ó7   € ÐbÐbÐbÀD�S  h¤×!5Ò!5°cÑ!:Ô!:¸2Ô!>Ñ?Ô?ÐbÐbÐbrH   r   Nc                 ó&   •— g | ]}‰|         d z   ‘ŒS )r   r  )r   rÀ   Ú
stage_endss     €rG   r�   z2GhostNet.forward_intermediates.<locals>.<listcomp>  s!   ø€ Ð>Ð>Ð>¨A˜
 1œ a™Ð>Ð>Ð>rH   r   )Ústart)r  r   Úlenr  r  r±   r  rN   ÚjitÚis_scriptingr  Ú	enumerater  r   )rB   rI   rE  rF  rG  rH  rI  ÚintermediatesÚtake_indicesÚ	max_indexÚfeat_idxr(  ÚstagerT  s                @rG   Úforward_intermediateszGhostNet.forward_intermediatesó  s±  ø€ ð* ˜YÐ&Ð&Ð&Ð(DÑ&Ô&Ð&ØˆØ�TÐbÐbÈDÔL]Ð^_Ð^`Ð^`ÔLaÐbÑbÔbÑbˆ
Ý"6µs¸:±´ÈÑ"PÔ"PÑˆ�iØ>Ð>Ð>Ð>°Ð>Ñ>Ô>ˆØ˜yÔ)ˆ	ð ˆØ�NŠN˜1ÑÔˆØ�|Ð#Ð#Ø× Ò  Ñ#Ô#Ð#Ø�HŠH�Q‰KŒKˆØ�IŠI�a‰LŒLˆÝŒ9×!Ò!Ñ#Ô#ð 	1¨:ð 	1Ø”[ˆFˆFà”[  )¨a¡- Ô0ˆFå(¨°qÐ9Ñ9Ô9ð 	(ð 	(‰OˆH�eØÔ&ð ­u¬y×/EÒ/EÑ/GÔ/Gð Ý" 5¨!Ñ,Ô,��à�E˜!‘H”H�Ø˜<Ð'Ð'Ø×$Ò$ QÑ'Ô'Ð'øàð 	!Ø Ð à�-ÐÐrH   r   Ú
prune_normÚ
prune_headc                 óî   — dgd„ | j         dd…         D ¦   «         z   }t          t          |¦  «        |¦  «        \  }}||         }| j        d|dz   …         | _        |r|                      dd¦  «         |S )z@ Prune layers not required for specified intermediates.
        rn   c                 ój   — g | ]0}t          |d                               d¦  «        d         ¦  «        ‘Œ1S rL  rN  rP  s     rG   r�   z6GhostNet.prune_intermediate_layers.<locals>.<listcomp>0  rR  rH   r   Nr   Ú )r  r   rV  r  rC  )rB   rE  r`  ra  rT  r[  r\  s          rG   Úprune_intermediate_layersz"GhostNet.prune_intermediate_layers(  sŒ   € ð �TÐbÐbÈDÔL]Ð^_Ð^`Ð^`ÔLaÐbÑbÔbÑbˆ
Ý"6µs¸:±´ÈÑ"PÔ"PÑˆ�iØ˜yÔ)ˆ	Ø”k . 9¨q¡= .Ô1ˆŒØð 	)Ø×!Ò! ! RÑ(Ô(Ð(ØÐrH   c                 ó(  — |                       |¦  «        }|                      |¦  «        }|                      |¦  «        }| j        r6t          j                             ¦   «         st          | j        |d¬¦  «        }n|                      |¦  «        }|S )NT)r#  )	r  r±   r  r  rN   rW  rX  r   r  ©rB   rI   s     rG   Úforward_featureszGhostNet.forward_features8  s}   € Ø�NŠN˜1ÑÔˆØ�HŠH�Q‰KŒKˆØ�IŠI�a‰LŒLˆØÔ"ð 	­5¬9×+AÒ+AÑ+CÔ+Cð 	Ý˜tœ{¨A°tÐ<Ñ<Ô<ˆAˆAà—’˜A‘”ˆAØˆrH   Ú
pre_logitsc                 ó4  — |                       |¦  «        }|                      |¦  «        }|                      |¦  «        }|                      |¦  «        }| j        dk    r!t          j        || j        | j        ¬¦  «        }|r|n|                      |¦  «        S )NrÛ   )ÚprB  )	r  r   r!  r#  r	  rs   ÚdropoutrB  r$  )rB   rI   ri  s      rG   Úforward_headzGhostNet.forward_headB  s†   € Ø×Ò˜QÑÔˆØ�NŠN˜1ÑÔˆØ�IŠI�a‰LŒLˆØ�LŠL˜‰OŒOˆØŒ>˜BÒÐÝ”	˜!˜tœ~¸¼ÐFÑFÔFˆAØÐ6ˆqˆq D§O¢O°AÑ$6Ô$6Ð6rH   c                 óZ   — |                       |¦  «        }|                      |¦  «        }|S rÓ   )rh  rm  rg  s     rG   rS   zGhostNet.forwardK  s-   € Ø×!Ò! !Ñ$Ô$ˆØ×Ò˜aÑ Ô ˆØˆrH   c                 ó(   — t          | d¬¦  «         d S )NFr3   r   rÕ   s    rG   Úconvert_to_deployzGhostNet.convert_to_deployP  s   € Ý˜T¨5Ð1Ñ1Ô1Ð1Ð1Ð1rH   )	rý   rþ   r&   rÿ   r   r  r  NN©F)T)r   )NFFrD  F)r   FT)!rU   rV   rW   r   r
   rY   rì   rØ   r8   rN   rW  Úignorer   r5  Úboolr   r   r:  r=  r;   rZ   r?  rC  r[   r   r	   r_  re  rh  rm  rS   rp  r\   r]   s   @rG   r   r   �  s[  ø€ € € € € ð  $ØØØ!#Ø$Ø"ØØØðHcð Hcà�t˜D  s¨E zÔ!2Ô3Ô4Ô5ðHcð ðHcð ð	Hcð
 ðHcð ðHcð ðHcð ðHcð ðHcð Hcð Hcð Hcð Hcð HcðX „YÔð ð ð ð ñ Ôðð „YÔðð  Dð °T¸#¸s¸(´^ð ð ð ñ Ôðð „YÔð)ð )¨Tð )ð )ð )ñ Ôð)ð „YÔð ¤	ð ð ð ñ Ôðð-ð -¨Cð -¸cð -ð -ð -ð -ð" 8<ØØ$Ø$Ø',ð3 ð 3 àŒ|ð3 ð ˜e C¨¨c¬ NÔ3Ô4ð3 ð ð	3 ð
 ð3 ð ð3 ð !%ð3 ð 
ˆt�E”LÔ! 5¨¬°t¸E¼LÔ7IÐ)IÔ#JÐJÔ	Kð3 ð 3 ð 3 ð 3 ðn ./Ø$Ø#ð	ð à˜3  S¤	˜>Ô*ðð ðð ð	ð ð ð ð  %¤,ð °5´<ð ð ð ð ð7ð 7˜eœlð 7¸ð 7ÈÌð 7ð 7ð 7ð 7ð˜œð ¨%¬,ð ð ð ð ð
2ð 2ð 2ð 2ð 2ð 2ð 2rH   Ú
state_dictÚmodelrJ   c                 óâ   — d| v r| d         } i }|                       ¦   «         D ]K\  }}d|v rd|v r|                     dd¦  «        }d|v rd|v r|                     dd¦  «        }d|v rŒF|||<   ŒL|S )Nrt  zbn.z.ghostzbn1.z.dw_rpr_Útotal)ÚitemsÚreplace)rt  ru  Úout_dictr/  Úvs        rG   Úcheckpoint_filter_fnr|  T  sŸ   € Ø�zÐ!Ð!Ø Ô-ˆ
à€HØ× Ò Ñ"Ô"ð ð ‰ˆˆ1Ø�Aˆ:ˆ:˜( a˜-˜-Ø—	’	˜% Ñ(Ô(ˆAØ�Aˆ:ˆ:˜*¨˜/˜/Ø—	’	˜% Ñ(Ô(ˆAØ�aˆ<ˆ<ØØˆ�‰ˆØ€OrH   rþ   FÚvariantr  Ú
pretrainedÚkwargsc                 óê   — g d¢gg d¢gg d¢gg d¢gg d¢gg d¢gg d¢g d¢g d¢g d	¢g d
¢gg d¢gg d¢g d¢g d¢g d¢gg	}t          d||dœ|¤Ž}t          t          | |ft          t          d¬¦  «        dœ|¤ŽS )z%
    Constructs a GhostNet model
    )r&   r  r  r   r   )r&   é0   é   r   r%   )r&   éH   r‚  r   r   )rb   rƒ  é(   ç      Ð?r%   )rb   éx   r„  r…  r   )r&   éð   éP   r   r%   )r&   éÈ   rˆ  r   r   )r&   é¸   rˆ  r   r   )r&   ià  ép   r…  r   )r&   é   r‹  r…  r   )rb   rŒ  é    r…  r%   )rb   éÀ  r�  r   r   )rb   rŽ  r�  r…  r   )r  r  T)Úflatten_sequential)Úpretrained_filter_fnÚfeature_cfgr  )r  r   r   r|  )r}  r  r~  r  r  Úmodel_kwargss         rG   Ú_create_ghostnetr“  d  s+  € ð 
Ð	Ð	Ðà	Ð	Ð	ÐØ	Ð	Ð	Ðà	Ð	Ð	Ð Ø	Ð	Ð	Ð à	Ð	Ð	ÐØ	Ð	Ð	Ø	Ð	Ð	Ø	Ð	Ð	Ø	Ð	Ð	Ø	Ð	Ð	ð		
ð 
 Ð	Ð	Ð Ø	Ð	Ð	Ø	Ð	Ð	Ø	Ð	Ð	Ø	Ð	Ð	ð	
ð)€Dõ4 ð ØØðð ð ðð €Lõ
  ÝØØðõ 2Ý¨DÐ1Ñ1Ô1ðð ð ðð ð rH   rd  c                 ó6   — | dddddt           t          dddd	œ|¥S )
Nrý   )r&   éà   r•  )é   r–  g      ì?Úbicubicr  r$  z
apache-2.0)Úurlr  Ú
input_sizeÚ	pool_sizeÚcrop_pctÚinterpolationÚmeanrÁ   Ú
first_convr$  Úlicenser   )r˜  r  s     rG   Ú_cfgr   ‘  s8   € à 4°}ÐSYØ¨IÝ%Õ.BØ!°Øðð ð ðð rH   ztimm/)Ú	hf_hub_id)
zghostnet_050.untrainedzghostnet_100.in1kzghostnet_130.untrainedzghostnetv2_100.in1kzghostnetv2_130.in1kzghostnetv2_160.in1kzghostnetv3_050.untrainedzghostnetv3_100.in1kzghostnetv3_130.untrainedzghostnetv3_160.untrainedc                 ó$   — t          dd| dœ|¤Ž}|S )z GhostNet-0.5x Úghostnet_050ç      à?©r  r~  )r£  ©r“  ©r~  r  ru  s      rG   r£  r£  ¹  ó$   € õ ÐX°3À:ÐXÐXÐQWÐXÐX€EØ€LrH   c                 ó$   — t          dd| dœ|¤Ž}|S )z GhostNet-1.0x Úghostnet_100rþ   r¥  )rª  r¦  r§  s      rG   rª  rª  À  r¨  rH   c                 ó$   — t          dd| dœ|¤Ž}|S )z GhostNet-1.3x Úghostnet_130çÍÌÌÌÌÌô?r¥  )r¬  r¦  r§  s      rG   r¬  r¬  Ç  r¨  rH   c                 ó&   — t          dd| ddœ|¤Ž}|S )z GhostNetV2-1.0x Úghostnetv2_100rþ   r  ©r  r~  r
  )r¯  r¦  r§  s      rG   r¯  r¯  Î  ó'   € õ Ðh°SÀZÐY]ÐhÐhÐagÐhÐh€EØ€LrH   c                 ó&   — t          dd| ddœ|¤Ž}|S )z GhostNetV2-1.3x Úghostnetv2_130r­  r  r°  )r³  r¦  r§  s      rG   r³  r³  Õ  r±  rH   c                 ó&   — t          dd| ddœ|¤Ž}|S )z GhostNetV2-1.6x Úghostnetv2_160çš™™™™™ù?r  r°  )rµ  r¦  r§  s      rG   rµ  rµ  Ü  r±  rH   c                 ó&   — t          dd| ddœ|¤Ž}|S )z GhostNetV3-0.5x Úghostnetv3_050r¤  r  r°  )r¸  r¦  r§  s      rG   r¸  r¸  ã  r±  rH   c                 ó&   — t          dd| ddœ|¤Ž}|S )z GhostNetV3-1.0x Úghostnetv3_100rþ   r  r°  )rº  r¦  r§  s      rG   rº  rº  ê  r±  rH   c                 ó&   — t          dd| ddœ|¤Ž}|S )z GhostNetV3-1.3x Úghostnetv3_130r­  r  r°  )r¼  r¦  r§  s      rG   r¼  r¼  ñ  r±  rH   c                 ó&   — t          dd| ddœ|¤Ž}|S )z GhostNetV3-1.6x Úghostnetv3_160r¶  r  r°  )r¾  r¦  r§  s      rG   r¾  r¾  ø  r±  rH   )rþ   F)rd  rq  )Drë   r9   Ú	functoolsr   Útypingr   r   r   r   r   r	   r
   r   rN   Útorch.nnr;   Útorch.nn.functionalÚ
functionalrs   Ú	timm.datar   r   Útimm.layersr   r   r   r   Útimm.utils.modelr   Ú_builderr   Ú_efficientnet_blocksr   r   Ú	_featuresr   Ú_manipulater   Ú	_registryr   r   Ú__all__ræ   rZ   r$   r_   ry   rÚ   rî   r   rØ   r[   r|  rì   rs  r“  r   Údefault_cfgsr£  rª  r¬  r¯  r³  rµ  r¸  rº  r¼  r¾  r  rH   rG   ú<module>rÎ     s  ðð
ð 
ð €€€Ø Ð Ð Ð Ð Ð Ø EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ Eà €€€Ø Ð Ð Ð Ð Ð Ø Ð Ð Ð Ð Ð Ð Ð Ð à AÐ AÐ AÐ AÐ AÐ AÐ AÐ AØ VÐ VÐ VÐ VÐ VÐ VÐ VÐ VÐ VÐ VÐ VÐ VØ 1Ð 1Ð 1Ð 1Ð 1Ð 1à *Ð *Ð *Ð *Ð *Ð *Ø :Ð :Ð :Ð :Ð :Ð :Ð :Ð :Ø +Ð +Ð +Ð +Ð +Ð +Ø 'Ð 'Ð 'Ð 'Ð 'Ð 'Ø <Ð <Ð <Ð <Ð <Ð <Ð <Ð <àˆ,€ð ˆG�M¨nÈ'È'ÐR`ÐjkÐJlÑJlÔJlÐmÑmÔm€	ð#+ð #+ð #+ð #+ð #+�"”)ñ #+ô #+ð #+ðL,Tð ,Tð ,Tð ,Tð ,T�B”Iñ ,Tô ,Tð ,Tð^i ð i ð i ð i ð i �B”Iñ i ô i ð i ðXYð Yð Yð Yð Y�b”iñ Yô Yð Yðx} ð } ð } ð } ð } ˜œ	ñ } ô } ð } ð@P2ð P2ð P2ð P2ð P2ˆrŒyñ P2ô P2ð P2ðf T¨#¨u¬|Ð*;Ô%<ð ÀRÄYð ÐSWÐX[Ð]bÔ]iÐXiÔSjð ð ð ð ð *ð *˜cð *¨%ð *À4ð *Ð[^ð *Ðckð *ð *ð *ð *ðZð ð ð ð %Ð$Ø"˜d™fœfØ˜Øðñ ô ð #˜d™fœfØ˜4Øðñ ô ð  ˜4Øðñ ô ð  ˜4Øðñ ô ð !% ¡¤Ø˜4Øðñ ô ð !% ¡¤Ø $ ¡¤ð3&ð &ñ ô €ð: ðð °ð ð ð ñ „ðð ðð °ð ð ð ñ „ðð ðð °ð ð ð ñ „ðð ðð °(ð ð ð ñ „ðð ðð °(ð ð ð ñ „ðð ðð °(ð ð ð ñ „ðð ðð ˜tð °sð ¸xð ð ð ñ „ðð ðð ˜tð °sð ¸xð ð ð ñ „ðð ðð ˜tð °sð ¸xð ð ð ñ „ðð ðð ˜tð °sð ¸xð ð ð ñ „ðð ð rH   