§
    l¬¸j+  ã                  óš   — d dl mZ d dlmZmZ d dlmZ d dlZd dl	Z	d dl
mZmZmZ d dlmZmZmZ d dlmZ dd	lmZ  G d
„ de¦  «        ZdS )é    )Úannotations)ÚOrderedDictÚ
namedtuple)ÚPathN)Ú	IS_JETSONÚLOGGERÚPYTHON_VERSION)Úcheck_requirementsÚcheck_tensorrtÚcheck_version)Ú
TORCH_1_10é   )ÚBaseBackendc                  ó"   — e Zd ZdZdd„Zdd
„ZdS )ÚTensorRTBackenda  NVIDIA TensorRT inference backend for GPU-accelerated deployment.

    Loads and runs inference with NVIDIA TensorRT serialized engines (.engine files). Supports both TensorRT 7-9 and
    TensorRT 10/11 APIs, dynamic input shapes, FP16 precision, and DLA core offloading.
    Úweightú
str | PathÚreturnÚNonec                ó¾  — t          j        d|› d�¦  «         t          r$t          t          d¦  «        rt          d¦  «         	 ddl}n"# t          $ r t          ¦   «          ddl}Y nw xY wt          |j	        dd¬	¦  «         t          |j	        d
d¬¦  «         | j
        j        dk    rt          j
        d¦  «        | _
        ddlm} t          dd¦  «        } |¦   «         }|                      |¦  «        \  }}t#          |d¦  «        5 }t          j         
                    | j
        ¦  «        5  |                     |¦  «        }	|                     |¦  «         |                     d¦  «        x}
�t-          |
¦  «        |	_        |	                     |                     ¦   «         ¦  «        }|                      |¦  «         	 |                     ¦   «         | _        n## t:          $ r t          j        d¦  «         ‚ w xY w	 ddd¦  «         n# 1 swxY w Y   ddd¦  «         n# 1 swxY w Y   t?          ¦   «         | _         g | _!        d| _"        d| _#        tI          |d¦  «         | _%        | j%        rtM          |j'        ¦  «        ntM          |j(        ¦  «        }|D �]ƒ}| j%        r°| )                    |¦  «        }| *                    | +                    |¦  «        ¦  «        }| ,                    |¦  «        |j-        j.        k    }t_          | 0                    |¦  «        ¦  «        }|r)t_          | 1                    |d¦  «        d         ¦  «        nd}n¡| 2                    |¦  «        }| *                    | 3                    |¦  «        ¦  «        }| 4                    |¦  «        }t_          | 5                    |¦  «        ¦  «        }|r)t_          | 6                    d|¦  «        d         ¦  «        nd}|rad|v rEd| _#        | j%        r| j         7                    ||¦  «         n| j         8                    ||¦  «         |tr          j:        k    rd| _"        n| j!         ;                    |¦  «         | j%        r't_          | j         0                    |¦  «        ¦  «        n&t_          | j         5                    |¦  «        ¦  «        }t          j<        ts          j=        ||¬¦  «        ¦  «         >                    | j
        ¦  «        } |||||¦  «        | j         |<   �Œ…|
dup)|                     di ¦  «                             dd¦  «        }d| _?        t€          �rv| j%        �rn| j#        �sf|�sc| j          A                    ¦   «         D ]7\  }}| j         B                    ||jC         D                    ¦   «         ¦  «         Œ8t          j         E                    | j
        ¦  «        t          j         F                    ¦   «         }}t          j         G                    |¦  «        5  | j         H                    |jI        ¦  «        }| J                    ¦   «          t          j         ?                    ||¬¦  «        5  || j         H                    |jI        ¦  «        z  }ddd¦  «         n# 1 swxY w Y   ddd¦  «         n# 1 swxY w Y   |r|nd| _?        || _K        dS )z±Load an NVIDIA TensorRT engine from a serialized .engine file.

        Args:
            weight (str | Path): Path to the .engine file with optional embedded metadata.
        zLoading z for TensorRT inference...z<=3.8.10znumpy==1.23.5r   Nz>=7.0.0T)Úhardz!=10.2.0z5https://github.com/ultralytics/ultralytics/pull/24367)ÚmsgÚcpuzcuda:0)Úget_tensorrt_loggerÚBinding)ÚnameÚdtypeÚshapeÚdataÚrbÚdlaz?TensorRT model exported with a different version than expected
FÚnum_bindingsé   r   éÿÿÿÿ)r   ÚargsÚnms)Ústream)Lr   Úinfor   r   r	   r
   ÚtensorrtÚImportErrorr   Ú__version__ÚdeviceÚtypeÚtorchÚultralytics.utils.export.enginer   r   Úengine_headerÚopenÚcudaÚRuntimeÚseekÚgetÚintÚDLA_coreÚdeserialize_cuda_engineÚreadÚapply_metadataÚcreate_execution_contextÚcontextÚ	ExceptionÚerrorr   ÚbindingsÚoutput_namesÚfp16ÚdynamicÚhasattrÚis_trt10ÚrangeÚnum_io_tensorsr"   Úget_tensor_nameÚnptypeÚget_tensor_dtypeÚget_tensor_modeÚTensorIOModeÚINPUTÚtupleÚget_tensor_shapeÚget_tensor_profile_shapeÚget_binding_nameÚget_binding_dtypeÚbinding_is_inputÚget_binding_shapeÚget_profile_shapeÚset_input_shapeÚset_binding_shapeÚnpÚfloat16ÚappendÚ
from_numpyÚemptyÚtoÚgraphr   ÚitemsÚset_tensor_addressr   Údata_ptrÚStreamÚ	CUDAGraphr'   Úexecute_async_v3Úcuda_streamÚsynchronizeÚmodel)Úselfr   Útrtr   r   ÚloggerÚoffsetÚmetadataÚfÚruntimer!   ÚengineÚnumÚir   r   Úis_inputr   Úprofile_shapeÚimÚhostÚbindingr'   r]   Úoks                            úp/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/ultralytics/nn/backends/tensorrt.pyÚ
load_modelzTensorRTBackend.load_model   s¨  € õ 	ŒÐA˜vÐAÐAÐAÑBÔBÐBåð 	0�¥~°zÑBÔBð 	0Ý˜Ñ/Ô/Ð/ð	#Ø"Ð"Ð"Ð"Ð"øÝð 	#ð 	#ð 	#ÝÑÔÐØ"Ð"Ð"Ð"Ð"Ð"ð	#øøøõ 	�c”o y°tÐ<Ñ<Ô<Ð<Ý�c”o zÐ7nÐoÑoÔoÐoàŒ;Ô˜uÒ$Ð$Ýœ, xÑ0Ô0ˆDŒKàGÐGÐGÐGÐGÐGå˜YÐ(JÑKÔKˆØ$Ð$Ñ&Ô&ˆð  ×-Ò-¨fÑ5Ô5Ñˆ�Ý�&˜$ÑÔð 	 1¥e¤j×&7Ò&7¸¼Ñ&DÔ&Dð 	ð 	Ø—k’k &Ñ)Ô)ˆGØ�FŠF�6‰NŒNˆNØ—|’| EÑ*Ô*Ð*�Ð7Ý#& s¡8¤8�Ô Ø×4Ò4°Q·V²V±X´XÑ>Ô>ˆFØ×Ò Ñ)Ô)Ð)ðØ%×>Ò>Ñ@Ô@�”�øÝð ð ð Ý”Ð_Ñ`Ô`Ð`Øðøøøð ð	ð 	ð 	ñ 	ô 	ð 	ð 	ð 	ð 	ð 	ð 	øøøð 	ð 	ð 	ð 	ð 	ð 	ð 	ñ 	ô 	ð 	ð 	ð 	ð 	ð 	ð 	øøøð 	ð 	ð 	ð 	õ $™œˆŒØˆÔØˆŒ	ØˆŒå# F¨NÑ;Ô;Ð;ˆŒØ.2¬mÐ[�e�FÔ)Ñ*Ô*Ð*ÅÀvÔGZÑA[ÔA[ˆàð  	Bñ  	BˆAØŒ}ð _Ø×-Ò-¨aÑ0Ô0�ØŸ
š
 6×#:Ò#:¸4Ñ#@Ô#@ÑAÔA�Ø!×1Ò1°$Ñ7Ô7¸3Ô;KÔ;QÒQ�Ý˜f×5Ò5°dÑ;Ô;Ñ<Ô<�ØV^Ð h¥ f×&EÒ&EÀdÈAÑ&NÔ&NÈqÔ&QÑ RÔ RÐ RÐdh��à×.Ò.¨qÑ1Ô1�ØŸ
š
 6×#;Ò#;¸AÑ#>Ô#>Ñ?Ô?�Ø!×2Ò2°1Ñ5Ô5�Ý˜f×6Ò6°qÑ9Ô9Ñ:Ô:�ØLTÐ ^¥ f×&>Ò&>¸qÀ!Ñ&DÔ&DÀQÔ&GÑ HÔ HÐ HÐZ^�àð 
/Ø˜�;�;Ø#'�D”LØ”}ð IØœ×4Ò4°T¸=ÑIÔIÐIÐIàœ×6Ò6°q¸-ÑHÔHÐHØ�BœJÒ&Ð&Ø $�D”IøàÔ!×(Ò(¨Ñ.Ô.Ð.ð ”=ð>•�d”l×3Ò3°DÑ9Ô9Ñ:Ô:Ð:å˜4œ<×9Ò9¸!Ñ<Ô<Ñ=Ô=ð õ
 Ô!¥"¤(¨5¸Ð">Ñ">Ô">Ñ?Ô?×BÒBÀ4Ä;ÑOÔOˆBØ") '¨$°°u¸bÑ"AÔ"AˆDŒM˜$ÑÑð
 ˜$ˆÐL (§,¢,¨v°rÑ":Ô":×">Ò">¸uÀeÑ"LÔ"LˆØˆŒ
Ýñ 		/˜$œ-ñ 		/°´ñ 		/ÀTñ 		/Ø!%¤×!4Ò!4Ñ!6Ô!6ð Oð O‘��gØ”×/Ò/°°g´l×6KÒ6KÑ6MÔ6MÑNÔNÐNÐNÝ!œJ×-Ò-¨d¬kÑ:Ô:½E¼J×<PÒ<PÑ<RÔ<R�EˆFÝ”×"Ò" 6Ñ*Ô*ð Lð LØ”\×2Ò2°6Ô3EÑFÔF�Ø×"Ò"Ñ$Ô$Ð$Ý”Z×%Ò% e°FÐ%Ñ;Ô;ð Lð LØ˜$œ,×7Ò7¸Ô8JÑKÔKÑK�BðLð Lð Lñ Lô Lð Lð Lð Lð Lð Lð Løøøð Lð Lð Lð LðLð Lð Lñ Lô Lð Lð Lð Lð Lð Lð Løøøð Lð Lð Lð Lð
 #%Ð.˜˜¨$ˆDŒJàˆŒ
ˆ
ˆ
s˜   ÁA
 Á
A)Á(A)Ä%H$Ä0BHÇGÇHÇ G=Ç=HÈH$ÈH	ÈH$ÈH	ÈH$È$H(È+H(Ø%A[ Ù:#Z)Ú[ Ú)Z-	Ú-[ Ú0Z-	Ú1[ Û [Û[rs   útorch.Tensorúlist[torch.Tensor]c                ó  ‡ — ‰ j         �r`|j        ‰ j        d         j        k    �rD‰ j        r!‰ j                             d|j        ¦  «        }n8‰ j                             ‰ j                             d¦  «        |j        ¦  «        }|s%t          dt          |j        ¦  «        › d�¦  «        ‚‰ j        d                              |j        ¬¦  «        ‰ j        d<   ‰ j        D ]‡}‰ j        r‰ j                             |¦  «        n1‰ j                             ‰ j                             |¦  «        ¦  «        }‰ j        |         j                             t          |¦  «        ¦  «         Œˆ‰ j        d         j        }|j        |k    s!J d|j        › d‰ j         rdnd› d|› �¦   «         ‚‰ j        €t‰ j        d                              |¬
¦  «        ‰ j        d<   ‰ j                             d„ ‰ j                             ¦   «         D ¦   «         ¦  «        st)          d¦  «        ‚n>‰ j        d         j                             |¦  «         ‰ j                             ¦   «          ˆ fd„t/          ‰ j        ¦  «        D ¦   «         S )a  Run NVIDIA TensorRT inference with dynamic shape handling.

        Args:
            im (torch.Tensor): Input image tensor in BCHW format on the CUDA device.

        Returns:
            (list[torch.Tensor]): Model predictions as a list of tensors on the CUDA device.
        Úimageszinput size z- is outside the TensorRT optimization profile)r   ú ú>znot equal toz max model size N)r   c                ó@   — g | ]}|j                              ¦   «         ‘ŒS © )r   r`   )Ú.0ru   s     rw   ú
<listcomp>z+TensorRTBackend.forward.<locals>.<listcomp>Ÿ   s&   € Ð+jÐ+jÐ+jÈ¨G¬L×,AÒ,AÑ,CÔ,CÐ+jÐ+jÐ+jó    z#TensorRT inference execution failedc                ó4   •— g | ]}‰j         |         j        ‘ŒS r€   )r?   r   )r�   Úxrg   s     €rw   r‚   z+TensorRTBackend.forward.<locals>.<listcomp>¤   s#   ø€ ÐIÐIÐI¨!�”˜aÔ Ô%ÐIÐIÐIrƒ   )rB   r   r?   rD   r<   rU   rV   rf   Úget_binding_indexÚ
ValueErrorrM   Ú_replacer@   rN   rS   r   Úresize_r]   Ú
execute_v2ÚvaluesÚRuntimeErrorÚcopy_ÚreplayÚsorted)rg   rs   rv   r   r   Úss   `     rw   ÚforwardzTensorRTBackend.forward�   sl  ø€ ð Œ<ñ 	?˜BœH¨¬°hÔ(?Ô(EÒEÑEØŒ}ð fØ”\×1Ò1°(¸B¼HÑEÔE��à”\×3Ò3°D´J×4PÒ4PÐQYÑ4ZÔ4ZÐ\^Ô\dÑeÔe�Øð oÝ Ð!m­u°R´X©¬Ð!mÐ!mÐ!mÑnÔnÐnØ&*¤m°HÔ&=×&FÒ&FÈRÌXÐ&FÑ&VÔ&VˆDŒM˜(Ñ#ØÔ)ð ?ð ?�ð ”}ð\�D”L×1Ò1°$Ñ7Ô7Ð7àœ×7Ò7¸¼
×8TÒ8TÐUYÑ8ZÔ8ZÑ[Ô[ð ð
 ”˜dÔ#Ô(×0Ò0µ°u±´Ñ>Ô>Ð>Ð>àŒM˜(Ô#Ô)ˆØŒx˜1Š}ˆ}ˆ}Ðs¨B¬HÐsÐs¸d¼lÐ7^°s°sÐP^ÐsÐsÐpqÐsÐs‰}Œ}ˆ}àŒ:ÐØ&*¤m°HÔ&=×&FÒ&FÈBÐ&FÑ&OÔ&OˆDŒM˜(Ñ#Ø”<×*Ò*Ð+jÐ+jÐSWÔS`×SgÒSgÑSiÔSiÐ+jÑ+jÔ+jÑkÔkð JÝ"Ð#HÑIÔIÐIðJð ŒM˜(Ô#Ô(×.Ò.¨rÑ2Ô2Ð2ØŒJ×ÒÑÔÐØIÐIÐIÐI­v°dÔ6GÑ/HÔ/HÐIÑIÔIÐIrƒ   N)r   r   r   r   )rs   ry   r   rz   )Ú__name__Ú
__module__Ú__qualname__Ú__doc__rx   r‘   r€   rƒ   rw   r   r      sQ   € € € € € ðð ðfð fð fð fðP#Jð #Jð #Jð #Jð #Jð #Jrƒ   r   )Ú
__future__r   Úcollectionsr   r   Úpathlibr   ÚnumpyrW   r.   Úultralytics.utilsr   r   r	   Úultralytics.utils.checksr
   r   r   Úultralytics.utils.torch_utilsr   Úbaser   r   r€   rƒ   rw   ú<module>rž      s   ðð #Ð "Ð "Ð "Ð "Ð "à /Ð /Ð /Ð /Ð /Ð /Ð /Ð /Ø Ð Ð Ð Ð Ð à Ð Ð Ð Ø €€€à ?Ð ?Ð ?Ð ?Ð ?Ð ?Ð ?Ð ?Ð ?Ð ?Ø VÐ VÐ VÐ VÐ VÐ VÐ VÐ VÐ VÐ VØ 4Ð 4Ð 4Ð 4Ð 4Ð 4à Ð Ð Ð Ð Ð ðRJð RJð RJð RJð RJ�kñ RJô RJð RJð RJð RJrƒ   