§
    “©ºjO2  ã                   óZ  — d dl Z d dlZd dlZd dlmZ d dlmZmZmZm	Z	 d dl
mZ d dlZd dlmZ d dlmZmZ d dlmZ d dlmZ d d	lmZ d d
lmZ d dlmZ d dlmZ d dlm Z m!Z!  e j"        e#¦  «        Z$dddedededef
d„Z%ddde&ddfd„Z'd)d„Z(d)d„Z)d)d„Z*ddœddde+deded         dedefd„Z,ddde+dededef
d„Z-dd œddde+ded!ee.         deddfd"„Z/ddde0e+e0f         fd#„Z1ddd$e0e+ef         ddfd%„Z2ddd$e0e+ef         ddfd&„Z3ddd$e0e+ef         ddfd'„Z4ddde+dededef
d(„Z5dS )*é    N)Údeepcopy)ÚAnyÚCallableÚOptionalÚUnion)ÚVersion)Ú_DeviceDtypeModuleMixin)Ú
CheckpointÚEarlyStopping)ÚWandbLogger)Ú_SubprocessScriptLauncher)Ú_get_sigkill_signal)ÚTrainerStatus)Ú_TunerExitException)Úis_overridden)Úrank_zero_infoÚrank_zero_warnÚtrainerú
pl.TrainerÚ
trainer_fnÚargsÚkwargsÚreturnc                 ó  — 	 | j         j        � | j         j        j        |g|¢R d| i|¤ŽS  ||i |¤ŽS # t          $ rI t	          | ¦  «         |                      ¦   «          t          j        | j        _	        d| j        _
        Y dS t          $ r½}t          d¦  «         t          j        t          j        t          j        ¦  «         t!          | |¦  «         |                      ¦   «          | j         j        }t#          |t$          ¦  «        r!|                     t)          ¦   «         ¦  «         t+          j        d¦  «         Y d}~dS d}~wt.          $ r6}t!          | |¦  «         |                      ¦   «          d| j        _
        ‚ d}~ww xY w)am  Error handling, intended to be used only for main trainer function entry points (fit, validate, test, predict)
    as all errors should funnel through them.

    Args:
        trainer_fn: one of (fit, validate, test, predict)
        *args: positional arguments to be passed to the `trainer_fn`
        **kwargs: keyword arguments to be passed to `trainer_fn`

    Nr   z=
Detected KeyboardInterrupt, attempting graceful shutdown ...é   )ÚstrategyÚlauncherÚlaunchr   Ú_call_teardown_hookÚ	_teardownr   ÚFINISHEDÚstateÚstatusÚstageÚKeyboardInterruptr   ÚsignalÚSIGINTÚSIG_IGNÚ
_interruptÚ
isinstancer   Úkillr   ÚsysÚexitÚBaseException)r   r   r   r   Ú	exceptionr   s         ún/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/pytorch_lightning/trainer/call.pyÚ_call_and_handle_interruptr1   $   s¤  € ðØÔÔ$Ð0Ø3�7Ô#Ô,Ô3°JÐaÀÐaÐaÐaÈwÐaÐZ`ÐaÐaÐaØˆz˜4Ð* 6Ð*Ð*Ð*øåð #ð #ð #Ý˜GÑ$Ô$Ð$Ø×ÒÑÔÐÝ,Ô5ˆŒÔØ"ˆŒÔÐÐÐåð 	ð 	ð 	ÝÐWÑXÔXÐXåŒ•f”m¥V¤^Ñ4Ô4Ð4Ý�7˜IÑ&Ô&Ð&Ø×ÒÑÔÐØÔ#Ô,ˆÝ�hÕ 9Ñ:Ô:ð 	1Ø�MŠMÕ-Ñ/Ô/Ñ0Ô0Ð0ÝŒ�‰Œˆˆˆˆˆˆˆøøøøåð ð ð Ý�7˜IÑ&Ô&Ð&Ø×ÒÑÔÐà"ˆŒÔØøøøøðøøøs-   ‚(3 «3 ³AF	Â	F	ÂB2EÅF	Å1FÆF	r/   c                 óö   — t           j        | j        _        t	          | d|¦  «         | j        �t          | d|¦  «         | j                             |¦  «         | j	        D ]}| 
                    d¦  «         Œd S )NÚon_exceptionÚfailed)r   ÚINTERRUPTEDr"   r#   Ú_call_callback_hooksÚ
datamoduleÚ_call_lightning_datamodule_hookr   r3   ÚloggersÚfinalize)r   r/   Úloggers      r0   r)   r)   L   sƒ   € Ý(Ô4€G„MÔÝ˜ .°)Ñ<Ô<Ð<ØÔÐ%Ý'¨°ÀÑKÔKÐKØÔ×!Ò! )Ñ,Ô,Ð,Ø”/ð "ð "ˆØ�Š˜Ñ!Ô!Ð!Ð!ð"ð "ó    c                 ó  — | j         j        €J ‚| j         j        }| j                             ¦   «         D ](}t	          |t
          ¦  «        r| j        j        |_        Œ)t          | j
        d„ ¬¦  «        }|D ]}t          |d¦  «        r|j        }Œ| j                             d¦  «         | j        �t          | d|¬¦  «         t!          | d|¬¦  «         t#          | d|¬¦  «         | j                             d¦  «         d S )Nc                 ó.   — t          | t          ¦  «         S )N)r*   r   )r;   s    r0   ú<lambda>z"_call_setup_hook.<locals>.<lambda>b   s   € ½ZÈÕP[Ñ=\Ô=\Ð9\€ r<   )ÚkeyÚ
experimentÚ	pre_setupÚsetup©r$   Ú
post_setup)r"   ÚfnÚlightning_moduleÚmodulesr*   r	   r   Úroot_deviceÚ_deviceÚsortedr9   ÚhasattrrA   Úbarrierr7   r8   r6   Ú_call_lightning_module_hook)r   rF   Úmoduler9   r;   Ú_s         r0   Ú_call_setup_hookrQ   V   s   € ØŒ=ÔÐ'Ð'Ð'Ø	ŒÔ	€Bð Ô*×2Ò2Ñ4Ô4ð :ð :ˆÝ�fÕ5Ñ6Ô6ð 	:Ø$Ô-Ô9ˆFŒNøõ �W”_Ð*\Ð*\Ð]Ñ]Ô]€Gð ð "ð "ˆÝ�6˜<Ñ(Ô(ð 	"ØÔ!ˆAøàÔ×Ò˜[Ñ)Ô)Ð)àÔÐ%Ý'¨°ÀÐCÑCÔCÐCÝ˜ '°Ð4Ñ4Ô4Ð4Ý ¨¸Ð;Ñ;Ô;Ð;àÔ×Ò˜\Ñ*Ô*Ð*Ð*Ð*r<   c                 ó(  — t          d| j        ¦  «        rA| j                             ¦   «         5  t	          | d¦  «         d d d ¦  «         n# 1 swxY w Y   t          d| j        ¦  «        r¦| j                             ¦   «         5  | j                             ¦   «         5  | j                             ¦   «         5  t	          | d¦  «         d d d ¦  «         n# 1 swxY w Y   d d d ¦  «         n# 1 swxY w Y   d d d ¦  «         d S # 1 swxY w Y   d S d S )NÚconfigure_sharded_modelÚconfigure_model)r   rG   r   Úmodel_sharded_contextrN   Útensor_init_contextÚprecision_pluginÚmodule_init_context)r   s    r0   Ú_call_configure_modelrY   s   sb  € åÐ.°Ô0HÑIÔIð LØÔ×3Ò3Ñ5Ô5ð 	Lð 	LÝ'¨Ð1JÑKÔKÐKð	Lð 	Lð 	Lñ 	Lô 	Lð 	Lð 	Lð 	Lð 	Lð 	Lð 	Løøøð 	Lð 	Lð 	Lð 	Lõ
 Ð&¨Ô(@ÑAÔAð DàÔ×0Ò0Ñ2Ô2ð	Dð 	DàÔ×2Ò2Ñ4Ô4ð	Dð 	Dð Ô$×8Ò8Ñ:Ô:ð	Dð 	Dõ
 (¨Ð1BÑCÔCÐCð	Dð 	Dð 	Dñ 	Dô 	Dð 	Dð 	Dð 	Dð 	Dð 	Dð 	Døøøð 	Dð 	Dð 	Dð 	Dð 	Dð 	Dð 	Dñ 	Dô 	Dð 	Dð 	Dð 	Dð 	Dð 	Dð 	Døøøð 	Dð 	Dð 	Dð 	Dð 	Dð 	Dð 	Dñ 	Dô 	Dð 	Dð 	Dð 	Dð 	Dð 	Dð 	Dð 	Døøøð 	Dð 	Dð 	Dð 	Dð 	Dð 	DðDð Dsk   ¯AÁAÁAÂDÂC-Â9CÃ
C-ÃCÃC-ÃCÃC-Ã!DÃ-C1	Ã1DÃ4C1	Ã5DÄD	ÄD	c                 óT  — | j         j        €J ‚| j         j        }| j        �t          | d|¬¦  «         t	          | d|¬¦  «         t          | d|¬¦  «         d | j        _        d | j        _        | j	        D ]}| 
                    d¦  «         Œ| j                             ¦   «          d S )NÚteardownrD   Úsuccess)r"   rF   r7   r8   r6   rN   rG   Ú_current_fx_nameÚ_metric_attributesr9   r:   ÚprofilerÚdescribe)r   rF   r;   s      r0   r   r   „   sÀ   € ØŒ=ÔÐ'Ð'Ð'Ø	ŒÔ	€BàÔÐ%Ý'¨°À2ÐFÑFÔFÐFå˜ *°BÐ7Ñ7Ô7Ð7Ý ¨¸2Ð>Ñ>Ô>Ð>à04€GÔÔ-à26€GÔÔ/ð ”/ð #ð #ˆØ�Š˜	Ñ"Ô"Ð"Ð"ð Ô×ÒÑÔÐÐÐr<   )Ú	pl_moduleÚ	hook_namera   zpl.LightningModulec                óŒ  — t                                | j        j        › d|› �¦  «         |p| j        }|€t          d¦  «        ‚t          ||¦  «        }t          |¦  «        sd S |j        }||_        | j	         
                    d|j        j        › d|› �¦  «        5   ||i |¤Ž}d d d ¦  «         n# 1 swxY w Y   ||_        |S )Nz!: calling lightning module hook: z3No `LightningModule` is available to call hooks on.z[LightningModule]ú.)ÚlogÚdebugÚ	__class__Ú__name__rG   Ú	TypeErrorÚgetattrÚcallabler]   r_   Úprofile)r   rb   ra   r   r   rF   Úprev_fx_nameÚoutputs           r0   rN   rN   ›   s%  € õ ‡I‚I�Ô"Ô+ÐYÐYÈiÐYÐYÑZÔZÐZàÐ5˜WÔ5€IàÐÝÐMÑNÔNÐNå	�˜IÑ	&Ô	&€BÝ�B‰<Œ<ð ØˆtàÔ-€LØ!*€IÔà	Ô	×	!Ò	!Ð"`°iÔ6IÔ6RÐ"`Ð"`ÐU^Ð"`Ð"`Ñ	aÔ	að %ð %Ø��TÐ$˜VÐ$Ð$ˆð%ð %ð %ñ %ô %ð %ð %ð %ð %ð %ð %øøøð %ð %ð %ð %ð ".€IÔà€Ms   Â	B2Â2B6Â9B6c                 ój  — t                                | j        j        › d|› �¦  «         | j        €t          d¦  «        ‚t          | j        |¦  «        }t          |¦  «        rO| j         	                    d| j        j        j        › d|› �¦  «        5   ||i |¤Žcd d d ¦  «         S # 1 swxY w Y   d S )Nz%: calling lightning datamodule hook: z7No `LightningDataModule` is available to call hooks on.z[LightningDataModule]rd   )
re   rf   rg   rh   r7   ri   rj   rk   r_   rl   )r   rb   r   r   rF   s        r0   r8   r8   ¹   s  € õ ‡I‚I�Ô"Ô+Ð]Ð]ÐR[Ð]Ð]Ñ^Ô^Ð^àÔÐ!ÝÐQÑRÔRÐRå	�Ô# YÑ	/Ô	/€BÝ��|„|ð 'ØÔ×%Ò%Ð&q¸gÔ>PÔ>ZÔ>cÐ&qÐ&qÐfoÐ&qÐ&qÑrÔrð 	'ð 	'Ø�2�tÐ&˜vÐ&Ð&ð	'ð 	'ð 	'ð 	'ñ 	'ô 	'ð 	'ð 	'ð 	'ð 	'ð 	'ð 	'øøøð 	'ð 	'ð 	'ð 	'àˆ4s   ÂB(Â(B,Â/B,)Úmonitoring_callbacksrp   c                óÒ  — t                                | j        j        › d|› �¦  «         | j        }|r|j        }||_        | j        }|du rd„ |D ¦   «         }n|du rd„ |D ¦   «         }|D ]p}t          ||¦  «        }	t          |	¦  «        rO| j	         
                    d|j        › d|› �¦  «        5   |	| | j        g|¢R i |¤Ž d d d ¦  «         n# 1 swxY w Y   Œq|r	||_        d S d S )Nz: calling callback hook: Tc                 óJ   — g | ] }t          |t          t          f¦  «        ¯|‘Œ!S © ©r*   r   r
   ©Ú.0Úcbs     r0   ú
<listcomp>z(_call_callback_hooks.<locals>.<listcomp>Ü   s,   € Ð[Ð[Ð[˜B­z¸"½}ÍjÐ>YÑ/ZÔ/ZÐ[�RÐ[Ð[Ð[r<   Fc                 óJ   — g | ] }t          |t          t          f¦  «        °|‘Œ!S rs   rt   ru   s     r0   rx   z(_call_callback_hooks.<locals>.<listcomp>Þ   s-   € Ð_Ð_Ð_˜Bµ:¸bÅ=ÕR\ÐB]Ñ3^Ô3^Ð_�RÐ_Ð_Ð_r<   ú
[Callback]rd   )re   rf   rg   rh   rG   r]   Ú	callbacksrj   rk   r_   rl   Ú	state_key)
r   rb   rp   r   r   ra   rm   r{   ÚcallbackrF   s
             r0   r6   r6   Ë   s˜  € õ ‡I‚I�Ô"Ô+ÐQÐQÀiÐQÐQÑRÔRÐRàÔ(€IØð /Ø Ô1ˆØ%.ˆ	Ô"àÔ!€IØ˜tÐ#Ð#à[Ð[ )Ð[Ñ[Ô[ˆ	ˆ	Ø	 Ð	&Ð	&Ø_Ð_ )Ð_Ñ_Ô_ˆ	àð Gð GˆÝ�X˜yÑ)Ô)ˆÝ�B‰<Œ<ð 	GØÔ!×)Ò)Ð*W°xÔ7IÐ*WÐ*WÈIÐ*WÐ*WÑXÔXð Gð GØ��7˜GÔ4ÐF°tÐFÐFÐF¸vÐFÐFÐFðGð Gð Gñ Gô Gð Gð Gð Gð Gð Gð Gøøøð Gð Gð Gð Gøð ð 2à%1ˆ	Ô"Ð"Ð"ð2ð 2s   Â1CÃC	ÃC	c                 ó^   — i }| j         D ]"}|                     ¦   «         }|r
|||j        <   Œ#|S )zzCalled when saving a model checkpoint, calls and returns every callback's `state_dict`, keyed by
    `Callback.state_key`.)r{   Ú
state_dictr|   )r   Úcallback_state_dictsr}   r   s       r0   Ú_call_callbacks_state_dictr�   ë   sM   € ð ÐØÔ%ð Bð BˆØ×(Ò(Ñ*Ô*ˆ
Øð 	BØ7AÐ  Ô!3Ñ4øØÐr<   Ú
checkpointc                 ó  — | j         }|r|j        }d|_        | j        D ]Y}| j                             d|j        › d�¦  «        5  |                     | | j         |¦  «         ddd¦  «         n# 1 swxY w Y   ŒZ|r	||_        dS dS )zXCalled when saving a model checkpoint, calls every callback's `on_save_checkpoint` hook.Úon_save_checkpointrz   z.on_save_checkpointN)rG   r]   r{   r_   rl   r|   r„   )r   r‚   ra   rm   r}   s        r0   Ú"_call_callbacks_on_save_checkpointr…   ö   s   € àÔ(€IØð :Ø Ô1ˆØ%9ˆ	Ô"àÔ%ð Wð WˆØÔ×%Ò%Ð&Z°8Ô3EÐ&ZÐ&ZÐ&ZÑ[Ô[ð 	Wð 	WØ×'Ò'¨°Ô1IÈ:ÑVÔVÐVð	Wð 	Wð 	Wñ 	Wô 	Wð 	Wð 	Wð 	Wð 	Wð 	Wð 	Wøøøð 	Wð 	Wð 	Wð 	Wøð ð 2à%1ˆ	Ô"Ð"Ð"ð2ð 2s   ÁA-Á-A1	Á4A1	c                 ó$  ‡— | j         }|r|j        }d|_        |                     d¦  «        }|€dS t          |d         ¦  «        t          d¦  «        k     Šˆfd„| j        D ¦   «         }|                     ¦   «         |z
  }|r t          dt          |¦  «        › d�¦  «         | j        D ]Y}| j         	                    d	|j
        › d
�¦  «        5  |                     | | j         |¦  «         ddd¦  «         n# 1 swxY w Y   ŒZ|r	||_        dS dS )zòCalled when loading a model checkpoint.

    Calls every callback's `on_load_checkpoint` hook. We have a dedicated function for this rather than using
    `_call_callback_hooks` because we have special logic for getting callback_states.

    Úon_load_checkpointr{   Nzpytorch-lightning_versionz1.5.0devc                 ó0   •— h | ]}‰r|j         n|j        ’ŒS rs   )Ú_legacy_state_keyr|   )rv   rw   Úis_legacy_ckpts     €r0   ú	<setcomp>z5_call_callbacks_on_load_checkpoint.<locals>.<setcomp>  s)   ø€ ÐsÐsÐsÐ[]°nÐV˜bÔ2Ð2È"Ì,ÐsÐsÐsr<   z¦Be aware that when using `ckpt_path`, callbacks used to create the checkpoint need to be provided during `Trainer` instantiation. Please add the following callbacks: rd   rz   z.on_load_checkpoint)rG   r]   Úgetr   r{   Úkeysr   Úlistr_   rl   r|   r‡   )	r   r‚   ra   rm   Úcallback_statesÚcurrent_callbacks_keysÚ
differencer}   rŠ   s	           @r0   Ú"_call_callbacks_on_load_checkpointr’     s´  ø€ ð Ô(€IØð :Ø Ô1ˆØ%9ˆ	Ô"à>H¿nºnÈ[Ñ>YÔ>Y€OàÐØˆå˜ZÐ(CÔDÑEÔEÍÐPZÑH[ÔH[Ò[€NØsÐsÐsÐsÐahÔarÐsÑsÔsÐØ ×%Ò%Ñ'Ô'Ð*@Ñ@€JØð 
ÝðHå48¸Ñ4DÔ4DðHð Hð Hñ	
ô 	
ð 	
ð Ô%ð Wð WˆØÔ×%Ò%Ð&Z°8Ô3EÐ&ZÐ&ZÐ&ZÑ[Ô[ð 	Wð 	WØ×'Ò'¨°Ô1IÈ:ÑVÔVÐVð	Wð 	Wð 	Wñ 	Wô 	Wð 	Wð 	Wð 	Wð 	Wð 	Wð 	Wøøøð 	Wð 	Wð 	Wð 	Wøð ð 2à%1ˆ	Ô"Ð"Ð"ð2ð 2s   ÃC9Ã9C=	Ä C=	c                 óþ   — |                      d¦  «        }|€dS | j        D ][}|                      |j        |                      |j        ¦  «        ¦  «        }|r$t	          |¦  «        }|                     |¦  «         Œ\dS )zQCalled when loading a model checkpoint, calls every callback's `load_state_dict`.r{   N)rŒ   r{   r|   r‰   r   Úload_state_dict)r   r‚   r�   r}   r"   s        r0   Ú_call_callbacks_load_state_dictr•   *  s‹   € à>H¿nºnÈ[Ñ>YÔ>Y€OàÐØˆàÔ%ð ,ð ,ˆØ×#Ò# HÔ$6¸×8KÒ8KÈHÔLfÑ8gÔ8gÑhÔhˆØð 	,Ý˜U‘O”OˆEØ×$Ò$ UÑ+Ô+Ð+øð	,ð ,r<   c                 óz  — t                                | j        j        › d|› �¦  «         | j        }|j        }||_        t          | j        |¦  «        }t          |¦  «        sd S | j	         
                    d| j        j        j        › d|› �¦  «        5   ||i |¤Ž}d d d ¦  «         n# 1 swxY w Y   ||_        |S )Nz: calling strategy hook: z
[Strategy]rd   )re   rf   rg   rh   rG   r]   rj   r   rk   r_   rl   )r   rb   r   r   ra   rm   rF   rn   s           r0   Ú_call_strategy_hookr—   8  s  € õ ‡I‚I�Ô"Ô+ÐQÐQÀiÐQÐQÑRÔRÐRàÔ(€IØÔ-€LØ!*€IÔå	�Ô! 9Ñ	-Ô	-€BÝ�B‰<Œ<ð Øˆtà	Ô	×	!Ò	!Ð"`¨wÔ/?Ô/IÔ/RÐ"`Ð"`ÐU^Ð"`Ð"`Ñ	aÔ	að %ð %Ø��TÐ$˜VÐ$Ð$ˆð%ð %ð %ñ %ô %ð %ð %ð %ð %ð %ð %øøøð %ð %ð %ð %ð ".€IÔà€Ms   Â	B)Â)B-Â0B-)r   r   r   N)6Úloggingr&   r,   Úcopyr   Útypingr   r   r   r   Úpackaging.versionr   Úpytorch_lightningÚplÚ-lightning_fabric.utilities.device_dtype_mixinr	   Úpytorch_lightning.callbacksr
   r   Úpytorch_lightning.loggersr   Ú&pytorch_lightning.strategies.launchersr   Ú5pytorch_lightning.trainer.connectors.signal_connectorr   Ú pytorch_lightning.trainer.statesr   Ú&pytorch_lightning.utilities.exceptionsr   Ú)pytorch_lightning.utilities.model_helpersr   Ú%pytorch_lightning.utilities.rank_zeror   r   Ú	getLoggerrh   re   r1   r.   r)   rQ   rY   r   ÚstrrN   r8   Úboolr6   Údictr�   r…   r’   r•   r—   rs   r<   r0   ú<module>r«      sí  ðð €€€Ø €€€Ø 
€
€
€
Ø Ð Ð Ð Ð Ð Ø 1Ð 1Ð 1Ð 1Ð 1Ð 1Ð 1Ð 1Ð 1Ð 1Ð 1Ð 1à %Ð %Ð %Ð %Ð %Ð %à Ð Ð Ð Ø QÐ QÐ QÐ QÐ QÐ QØ AÐ AÐ AÐ AÐ AÐ AÐ AÐ AØ 1Ð 1Ð 1Ð 1Ð 1Ð 1Ø LÐ LÐ LÐ LÐ LÐ LØ UÐ UÐ UÐ UÐ UÐ UØ :Ð :Ð :Ð :Ð :Ð :Ø FÐ FÐ FÐ FÐ FÐ FØ CÐ CÐ CÐ CÐ CÐ CØ PÐ PÐ PÐ PÐ PÐ PÐ PÐ Pà€gÔ˜Ñ!Ô!€ð%¨ð %À(ð %ÐSVð %Ðbeð %Ðjmð %ð %ð %ð %ðP"˜ð "°ð "À4ð "ð "ð "ð "ð+ð +ð +ð +ð:Dð Dð Dð Dð" ð  ð  ð  ð6 15ð	ð ð Øðàðð ðð Ð,Ô-ð	ð
 ðð 	ðð ð ð ð<Øðàðð ðð ð	ð
 	ðð ð ð ð, ,0ð	2ð 2ð 2Øð2àð2ð ð2ð # 4œ.ð	2ð
 ð2ð 
ð2ð 2ð 2ð 2ð@ ¨ð  ¸¸cÀ4¸i¼ð  ð  ð  ð  ð2°ð 2È$ÈsÐTWÈxÌ.ð 2Ð]að 2ð 2ð 2ð 2ð !2°ð !2È$ÈsÐTWÈxÌ.ð !2Ð]að !2ð !2ð !2ð !2ðH,¨\ð ,ÀtÈCÐQTÈHÄ~ð ,ÐZ^ð ,ð ,ð ,ð ,ðØðàðð ðð ð	ð
 	ðð ð ð ð ð r<   