§
    >³¸j¤  ã                  óÀ   — d Z ddlmZ ddlZddlZddlZddlmZ ddlZddl	Z	ddl
mZ ddlmZ ddlmZmZmZmZ ddlmZmZ dd	lmZ d
„ Zedk    r e¦   «          dS dS )zHOne guarded optimization step on independently reviewed training frames.é    )ÚannotationsN)ÚPath)Ú
DataLoader)Ú
load_jsonl)Úcanonical_recordsÚfit_normalizationÚscan_datasetÚunify_duplicate_groups)ÚPalletDatasetÚcollate_pallet)ÚPalletDetectorc                 ó	  ‡‡— t          j        ¦   «         } |                      dd¬¦  «         |                      dd¬¦  «         |                      dd¬¦  «         |                      dd	¬¦  «         |                      d
d¬¦  «         |                      dd¬¦  «         |                      ¦   «         Št	          t          ‰j        ¦  «        ¦  «        }t          ‰j        ¦  «         	                    ¦   «         rFt          |t          j        t          ‰j        ¦  «                             ¦   «         ¦  «        ¦  «        }t          ‰j        ¦  «        Šˆfd„|D ¦   «         }t!          |¦  «        dk     rt#          d¦  «        ‚|d d…         }t%          |¦  «        }t'          t)          |‰|d¬¦  «        dt*          ¬¦  «        }t-          t/          |¦  «        ¦  «        }t1          d‰j        ¬¦  «                             ¦   «                              ‰j        ¦  «        }t:          j                             |                      ¦   «         d¬¦  «        }t:          j!         "                    t;          j        ‰j        ¦  «        ¦  «         tG          j$        ¦   «         }	| %                    ˆfd„| &                    ¦   «         D ¦   «         ¦  «        \  }
}|
 '                    ¦   «          (                    ¦   «          | )                    ¦   «          t:          j!         *                    t;          j        ‰j        ¦  «        ¦  «         tG          j$        ¦   «         |	z
  }dd„ |D ¦   «         |
 +                    ¦   «          ,                    ¦   «          -                    ¦   «         |t:          j!         .                    t;          j        ‰j        ¦  «        ¦  «        dz  |j/        ta          j1        t          ‰j        ¦  «         2                    ¦   «         ¦  «         3                    ¦   «         dœ}t          ‰j4        ¦  «         5                    t          j6        |d¬¦  «        d¬¦  «         to          t          j6        |d ¬!¦  «        ¦  «         d S )"Nz--rootz/root/private/data/pallet)Údefaultz--annotationszoutputs/annotations_pilot.jsonlz--indexzoutputs/content_hashes.jsonz--pretrainedz
yolo26s.ptz--outputzoutputs/pilot_gpu_smoke.jsonz--devicezcuda:0c                óì   •— g | ]p}|j         ‰j        v r`‰j        |j                  j        d k    rE‰j        |j                  j        dk    r*t	          ‰j        |j                  j        ¦  «        dk    ¯n|‘ŒqS )ÚtrainÚposé   )Úframe_idÚframesÚsplitÚstatusÚlenÚreviews)Ú.0ÚrowÚlabelss     €ú=/root/private/project/pallet_detection_v2/pallet/pilot_gpu.pyú
<listcomp>zmain.<locals>.<listcomp>!   s   ø€ ð ?ð ?ð ?�C c¤l°f´mÐ&CÐ&CØ”˜cœlÔ+Ô1°WÒ<Ð<Ø”˜cœlÔ+Ô2°eÒ;Ð;Ý�F”M #¤,Ô/Ô7Ñ8Ô8¸AÒ=Ð=ð ð >Ð=Ð=ó    r   zBat least two independently reviewed training examples are requiredi@  )Úsize)Ú
batch_sizeÚ
collate_fné   )Ú
pretrainedgü©ñÒMbP?)Úlrc                óX   •— i | ]&\  }}|d k    ¯||                      ‰j        ¦  «        “Œ'S )Úmeta)ÚtoÚdevice)r   ÚkeyÚvalueÚargss      €r   ú
<dictcomp>zmain.<locals>.<dictcomp>0   s9   ø€ ÐfÐfÐf¹¸¸eÐX[Ð_eÒXeÐXe˜#˜uŸxšx¨¬Ñ4Ô4ÐXeÐXeÐXer   z0one-step smoke, not a trained/evaluated detectorc                ó   — g | ]	}|j         ‘Œ
S © )r   )r   r   s     r   r   zmain.<locals>.<listcomp>6   s   € Ð9Ð9Ð9¨3˜#œ,Ð9Ð9Ð9r   i   )r   r   Úloss_componentsÚsecondsÚpeak_gpu_mibÚnormalizationÚweights_sha256)Úindentzutf-8)ÚencodingF)Úensure_ascii)8ÚargparseÚArgumentParserÚadd_argumentÚ
parse_argsr   r	   Úrootr   ÚindexÚexistsr
   ÚjsonÚloadsÚ	read_textr   r   r   Ú
ValueErrorr   r   r   r   ÚnextÚiterr   r$   r   r(   r)   ÚtorchÚoptimÚAdamWÚ
parametersÚcudaÚreset_peak_memory_statsÚtimeÚperf_counterÚlossÚitemsÚsumÚbackwardÚstepÚsynchronizeÚdetachÚcpuÚtolistÚmax_memory_allocatedÚ__dict__ÚhashlibÚsha256Ú
read_bytesÚ	hexdigestÚoutputÚ
write_textÚdumpsÚprint)ÚparserÚrecordsÚrowsÚchosenr3   ÚloaderÚbatchÚmodelÚ	optimizerÚstartrM   Ú_ÚelapsedÚpayloadr,   r   s                 @@r   Úmainrl      sâ  øø€ ÝÔ$Ñ&Ô&€FØ
×Ò˜Ð*EÐÑFÔFÐFØ
×Ò˜Ð1RÐÑSÔSÐSØ
×Ò˜	Ð+HÐÑIÔIÐIØ
×Ò˜°ÐÑ=Ô=Ð=Ø
×Ò˜
Ð,JÐÑKÔKÐKØ
×Ò˜
¨HÐÑ5Ô5Ð5Ø×ÒÑÔ€DÝ¥¨T¬YÑ 7Ô 7Ñ8Ô8€GÝˆDŒJÑÔ×ÒÑ Ô ð \Ý(¨µ$´*½TÀ$Ä*Ñ=MÔ=M×=WÒ=WÑ=YÔ=YÑ2ZÔ2ZÑ[Ô[ˆÝ˜Ô(Ñ)Ô)€Fð?ð ?ð ?ð ?˜7ð ?ñ ?ô ?€Dõ ˆ4�y„y�1‚}€}ÝÐ]Ñ^Ô^Ð^Ø�"�1�"ŒX€FÝ% fÑ-Ô-€MÝ� f¨f°mÈ#ÐNÑNÔNÐ[\Ý#1ð3ñ 3ô 3€Få•�f‘”ÑÔ€EÝ˜1¨¬Ð9Ñ9Ô9×?Ò?ÑAÔA×DÒDÀTÄ[ÑQÔQ€EÝ”×!Ò! %×"2Ò"2Ñ"4Ô"4¸Ð!Ñ?Ô?€IÝ	„J×&Ò&¥u¤|°D´KÑ'@Ô'@ÑAÔAÐAÝÔÑÔ€EØ�jŠjÐfÐfÐfÐfÀuÇ{Â{Á}Ä}ÐfÑfÔfÑgÔg�G€Dˆ!Ø‡H‚H�J„J×ÒÑÔÐØ‡N‚NÑÔÐÝ	„J×Ò�5œ<¨¬Ñ4Ô4Ñ5Ô5Ð5ÝÔÑ!Ô! EÑ)€GØKØ9Ð9°&Ð9Ñ9Ô9ÈdÏkÊkÉmÌm×N_ÒN_ÑNaÔNa×NhÒNhÑNjÔNjØ!Ý$œz×>Ò>½u¼|ÈDÌKÑ?XÔ?XÑYÔYÐ\aÑaØ -Ô 6Ý!(¤µ°T´_Ñ0EÔ0E×0PÒ0PÑ0RÔ0RÑ!SÔ!S×!]Ò!]Ñ!_Ô!_ðað a€Gõ 	ˆŒÑÔ× Ò ¥¤¨G¸AÐ!>Ñ!>Ô!>ÈÐ ÑQÔQÐQÝ	�$Œ*�W¨5Ð
1Ñ
1Ô
1Ñ2Ô2Ð2Ð2Ð2r   Ú__main__)Ú__doc__Ú
__future__r   r8   rX   r?   Úpathlibr   rK   rE   Útorch.utils.datar   Úpallet.annotationr   Úpallet.datar   r   r	   r
   Úpallet.experiments.datasetr   r   Úpallet.modelsr   rl   Ú__name__r/   r   r   ú<module>rw      s  ðØ NÐ Nà "Ð "Ð "Ð "Ð "Ð "à €€€Ø €€€Ø €€€Ø Ð Ð Ð Ð Ð Ø €€€à €€€Ø 'Ð 'Ð 'Ð 'Ð 'Ð 'à (Ð (Ð (Ð (Ð (Ð (Ø bÐ bÐ bÐ bÐ bÐ bÐ bÐ bÐ bÐ bÐ bÐ bØ DÐ DÐ DÐ DÐ DÐ DÐ DÐ DØ (Ð (Ð (Ð (Ð (Ð (ð(3ð (3ð (3ðV ˆzÒÐØ€D�F„F€F€F€Fð Ðr   