§
    ­¸j}°  ã                  ó  — U d Z ddlmZ ddlZddlZddlZddlmZ ddlm	Z	 ddl
mZ ddlmZ ddlmZ dd	lmZmZmZmZ ddlZddlZdd
lmZmZ ddlmZ ddlmZmZmZ ddl m!Z! ddl"m#Z#  ed¦  «        Z$ G d„ de¦  «        Z% G d„ de¦  «        Z& G d„ de¦  «        Z' G d„ de¦  «        Z( G d„ de¦  «        Z)de*d<   de*d<   	 ddl+Z,ddl+m-Z.  ee%e,¦  «        Z+ ee&e.¦  «        Z-n# e/$ r dZ+dZ-Y nw xY w	 ddl0Z1ddl2m3Z3 n# e/$ r dZ1dZ3Y nw xY w	 dd l4m5Z5 n# e/$ r dZ5Y nw xY w e#¦   «         Z6d=d%„Z7d>d*„Z8d?d,„Z9	 d@dAd4„Z: G d5„ d6¦  «        Z; ed7d7¬8¦  «         G d9„ d:e¦  «        ¦   «         Z< G d;„ d<ee<         ¦  «        Z=dS )Bz/ONNX export, simplification, and OnnxOptimizer.é    )ÚannotationsN)ÚOrderedDict)ÚSequence)Údeepcopy)Ú	dataclass)ÚPathLike)ÚAnyÚProtocolÚTypeVarÚcast)Úappend_backbone_markerÚresolve_export_stem)ÚCustomOpSymbolicRegistry)ÚExportConfigÚExporterÚshared_settings)ÚExportGraph)Ú
get_loggerÚ_DependencyTc                  ó"   — e Zd ZdZdd„Zdd„ZdS )Ú_OnnxModulez4Minimal ONNX module interface used by this exporter.Ú
model_pathÚstrÚargsr	   ÚkwargsÚreturnc                ó   — dS )zLoad an ONNX model from disk.N© )Úselfr   r   r   s       úl/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/rfdetr/export/_onnx/exporter.pyÚloadz_OnnxModule.load&   ó   € àˆó    ÚmodelÚNonec                ó   — dS )zSave an ONNX model to disk.Nr   )r   r$   r   r   r   s        r    Úsavez_OnnxModule.save*   r"   r#   N)r   r   r   r	   r   r	   r   r	   )
r$   r	   r   r   r   r	   r   r	   r   r%   )Ú__name__Ú
__module__Ú__qualname__Ú__doc__r!   r'   r   r#   r    r   r   #   sB   € € € € € Ø>Ð>ðð ð ð ðð ð ð ð ð r#   r   c                  ó   — e Zd ZdZd	d„ZdS )
Ú_ShapeInferenceModulez=Minimal ONNX shape inference interface used by this exporter.r$   r	   r   r   r   c                ó   — dS )zInfer ONNX graph shapes.Nr   ©r   r$   r   r   s       r    Úinfer_shapesz"_ShapeInferenceModule.infer_shapes2   r"   r#   N©r$   r	   r   r	   r   r	   r   r	   )r(   r)   r*   r+   r0   r   r#   r    r-   r-   /   s.   € € € € € ØGÐGðð ð ð ð ð r#   r-   c                  ó"   — e Zd ZdZd	d„Zd
d„ZdS )Ú_GraphSurgeonModulezAMinimal ONNX GraphSurgeon module interface used by the optimizer.r$   r	   r   c                ó   — dS )z/Import an ONNX model into a GraphSurgeon graph.Nr   )r   r$   s     r    Úimport_onnxz_GraphSurgeonModule.import_onnx:   r"   r#   Úgraphc                ó   — dS )z/Export a GraphSurgeon graph into an ONNX model.Nr   )r   r6   s     r    Úexport_onnxz_GraphSurgeonModule.export_onnx>   r"   r#   N)r$   r	   r   r	   )r6   r	   r   r	   )r(   r)   r*   r+   r5   r8   r   r#   r    r3   r3   7   sB   € € € € € ØKÐKðð ð ð ðð ð ð ð ð r#   r3   c                  ó8   — e Zd ZU dZded<   ded<   dd	„Zdd
„ZdS )Ú_GraphSurgeonLoggerz<Minimal GraphSurgeon logger interface used by the optimizer.r	   ÚINFOÚseverityÚmessager   r   r%   c                ó   — dS )zLog an informational message.Nr   ©r   r=   s     r    Úinfoz_GraphSurgeonLogger.infoI   r"   r#   c                ó   — dS )zLog a verbose message.Nr   r?   s     r    Úverbosez_GraphSurgeonLogger.verboseM   r"   r#   N)r=   r   r   r%   )r(   r)   r*   r+   Ú__annotations__r@   rB   r   r#   r    r:   r:   C   sV   € € € € € € ØFÐFà€I€I�IØ€M€M�Mðð ð ð ðð ð ð ð ð r#   r:   c                  ó   — e Zd ZdZd	d„ZdS )
Ú_FoldConstantszECallable Polygraphy constant-folding interface used by the optimizer.r$   r	   r   r   r   c                ó   — dS )z Fold constants in an ONNX model.Nr   r/   s       r    Ú__call__z_FoldConstants.__call__U   r"   r#   Nr1   )r(   r)   r*   r+   rG   r   r#   r    rE   rE   R   s.   € € € € € ØOÐOðð ð ð ð ð r#   rE   z_OnnxModule | NoneÚonnxz_ShapeInferenceModule | NoneÚshape_inference)rI   )ÚG_LOGGER)Úfold_constantsÚmissing_depsúSequence[str]r   ÚImportErrorc                óR   — d                      | ¦  «        }t          d|› d�¦  «        S )z0Build the shared ONNX optional-dependency error.z, z&ONNX export dependencies are missing (z)). Install with: pip install rfdetr[onnx])ÚjoinrN   )rL   Úmissing_strs     r    Ú_onnx_dependency_errorrR   u   s-   € à—)’)˜LÑ)Ô)€KÝÐvÀÐvÐvÐvÑwÔwÐwr#   Ú
dependencyú_DependencyT | NoneÚnamer   c                ó*   — | €t          |g¦  «        ‚| S )z:Return a dependency after narrowing it away from ``None``.)rR   )rS   rU   s     r    Ú_require_dependencyrW   {   s   € àÐÝ$ d VÑ,Ô,Ð,ØÐr#   úctuple[_OnnxModule, _ShapeInferenceModule, _GraphSurgeonModule, _GraphSurgeonLogger, _FoldConstants]c                 óT  — t          t          dz  t          ¦  «        } t          t          dz  t          ¦  «        }t          t
          dz  t          ¦  «        }g }t          €|                     d¦  «         t          €|                     d¦  «         | �|€|                     d¦  «         |€|                     d¦  «         |rt          |¦  «        ‚t          t          d¦  «        t          t          d¦  «        t          | d¦  «        t          |d¦  «        t          |d¦  «        fS )zKResolve optional ONNX optimizer dependencies as non-optional typed handles.NrH   zonnx.shape_inferenceÚonnx_graphsurgeonz-polygraphy.backend.onnx.loader.fold_constants)r   r3   Úgsr:   rJ   rE   rK   rH   ÚappendrI   rR   rW   )ÚgraphsurgeonÚgraphsurgeon_loggerÚconstant_folderrL   s       r    Ú$_require_onnx_optimizer_dependenciesr`   ‚   s  € õ Õ+¨dÑ2µBÑ7Ô7€LÝÕ2°TÑ9½8ÑDÔDÐÝ�>¨DÑ0µ.ÑAÔA€OØ€LÝ€|Ø×Ò˜FÑ#Ô#Ð#ÝÐØ×ÒÐ2Ñ3Ô3Ð3ØÐÐ2Ð:Ø×ÒÐ/Ñ0Ô0Ð0ØÐØ×ÒÐKÑLÔLÐLØð 3Ý$ \Ñ2Ô2Ð2å�D &Ñ)Ô)Ý�OÐ-CÑDÔDÝ˜LÐ*=Ñ>Ô>ÝÐ/Ð1DÑEÔEÝ˜OÐ-\Ñ]Ô]ðð r#   FÚonnx_dirÚinput_namesÚinput_tensorsú%torch.Tensor | Sequence[torch.Tensor]ÚforceÚboolc                ó¶  — ddl }ddl}|                      dd¦  «        }t          j                             |¦  «        r|s|S t          |t          j        ¦  «        r|g}t           
                    d| › �¦  «         t          | ¦  «        }| 
                    d¦  «         |                     ¦   «          | 
                    d¦  «         |                     |¦  «         d„ t          ||¦  «        D ¦   «         }|                     |d	|d
¬¦  «        \  }	}
|
r|                     |	|¦  «         nt#          d¦  «        ‚t           
                    d|› �¦  «         |S )ad  Optimize and simplify an ONNX graph.

    Args:
        onnx_dir: Path to the source ONNX model.
        input_names: Input names matching the exported graph.
        input_tensors: Input tensor sample(s) used by the simplifier.
        force: Whether to overwrite an existing simplified model.

    Returns:
        Path to the simplified ONNX model.
    r   Nú.onnxz	.sim.onnxzstart simplify ONNX model: zModel: originalzModel: optimizedc                ó†   — i | ]>\  }}||                      ¦   «                              ¦   «                              ¦   «         “Œ?S r   )ÚdetachÚcpuÚnumpy)Ú.0rU   Útensors      r    ú
<dictcomp>z!onnx_simplify.<locals>.<dictcomp>Â   s>   € ÐjÐjÐj¹,¸$À�$˜Ÿš™œ×+Ò+Ñ-Ô-×3Ò3Ñ5Ô5ÐjÐjÐjr#   é   F)Úcheck_nÚ
input_dataÚdynamic_input_shapezFailed to simplify ONNX model.z$Successfully simplified ONNX model: )rH   ÚonnxsimÚreplaceÚosÚpathÚisfileÚ
isinstanceÚtorchÚTensorÚloggerr@   ÚOnnxOptimizerÚ
common_optÚ	save_onnxÚzipÚsimplifyr'   ÚRuntimeError)ra   rb   rc   re   rH   rt   Úsim_onnx_dirÚoptÚ
input_dictÚ	model_optÚcheck_oks              r    Úonnx_simplifyrˆ   ¡   sh  € ð" €K€K€KØ€N€N€Nà×#Ò# G¨[Ñ9Ô9€LÝ	„w‡~‚~�lÑ#Ô#ð ¨Eð ØÐå�-¥¤Ñ.Ô.ð (Ø&˜ˆå
‡K‚KÐ8¨hÐ8Ð8Ñ9Ô9Ð9Ý
˜Ñ
!Ô
!€CØ‡H‚HÐÑÔÐØ‡N‚NÑÔÐØ‡H‚HÐÑ Ô Ð Ø‡M‚M�,ÑÔÐØjÐjÍ#ÈkÐ[hÑJiÔJiÐjÑjÔj€JØ!×*Ò*¨<ÀÈzÐotÐ*ÑuÔuÑ€IˆxØð =Ø�	Š	�)˜\Ñ*Ô*Ð*Ð*åÐ;Ñ<Ô<Ð<Ý
‡K‚KÐE°|ÐEÐEÑFÔFÐFØÐr#   c                  óè   — e Zd ZdFdGd„ZdHd	„ZdId„ZdJd„ZdKdLd„ZdMdNd„ZdFdOd„Z	dPdQd"„Z
dPdQd#„ZdMdNd$„ZdRd%„ZdRd&„ZdRd'„ZdRd(„ZdRd)„ZdSdTd0„Z	 dSdUd5„Z	 dSdVd7„ZdSdWd:„ZdXd=„ZdYd@„ZdZdB„Zd[dD„Zd\dE„ZdS )]r}   NÚinputÚobjectr<   úobject | Noner   r%   c                ón  — t          ¦   «         \  }}}}}|| _        || _        || _        || _        || _        |€| j        j        }t          |t          t          f¦  «        r|  
                    |¦  «        }n|}| j                             |¦  «        | _        || _        |                      |¦  «         d S ©N)r`   Ú_gsÚ_onnx_loggerÚ_fold_constantsÚ_shape_inferenceÚ_onnxr;   ry   r   r   Ú	load_onnxr5   r6   r<   Úset_severity)	r   rŠ   r<   Úonnx_moduleÚshape_inference_moduler]   r^   r_   Ú
onnx_graphs	            r    Ú__init__zOnnxOptimizer.__init__Ò   s½   € å0Ñ2Ô2ñ 	`ˆÐ+¨\Ð;NÐP_ð  ˆŒØ/ˆÔØ.ˆÔØ 6ˆÔØ ˆŒ
ØÐØÔ(Ô-ˆHÝ�e�c¥8˜_Ñ-Ô-ð 	ØŸš¨Ñ.Ô.ˆJˆJàˆJØ”X×)Ò)¨*Ñ5Ô5ˆŒ
Ø ˆŒØ×Ò˜(Ñ#Ô#Ð#Ð#Ð#r#   c                ó   — || j         _        d S rŽ   )r�   r<   )r   r<   s     r    r•   zOnnxOptimizer.set_severityå   s   € Ø%-ˆÔÔ"Ð"Ð"r#   Ú	onnx_pathústr | PathLike[str]r	   c                óô   — t          j        |¦  «        }t           j                             |¦  «        sJ d|› �¦   «         ‚| j                             |¦  «        }| j                             d|› �¦  «         |S )zLoad onnx from file.znot found onnx file: zload onnx file: )rv   Úfspathrw   rx   r“   r!   r�   r@   )r   r›   rw   r˜   s       r    r”   zOnnxOptimizer.load_onnxè   su   € åŒy˜Ñ#Ô#ˆÝŒw�~Š~˜dÑ#Ô#ÐCÐCÐ%C¸TÐ%CÐ%CÑCÔCÐ#Ø”Z—_’_ TÑ*Ô*ˆ
ØÔ×ÒÐ8°$Ð8Ð8Ñ9Ô9Ð9ØÐr#   r   c                ó´   — | j                              | j        ¦  «        }| j                             d|› �¦  «         | j                             ||¦  «         d S )Nzsave onnx file: )r�   r8   r6   r�   r@   r“   r'   )r   r›   r˜   s      r    r   zOnnxOptimizer.save_onnxð   sU   € Ø”X×)Ò)¨$¬*Ñ5Ô5ˆ
ØÔ×ÒÐ=°)Ð=Ð=Ñ>Ô>Ð>ØŒ
�Š˜
 IÑ.Ô.Ð.Ð.Ð.r#   Ú Úprefixc                óN  — | j                              |› dt          | j        j        ¦  «        › dt          | j                             ¦   «                              ¦   «         ¦  «        › dt          | j        j        ¦  «        › dt          | j        j        ¦  «        › d�
¦  «         d S )Nz .. z nodes, z
 tensors, z	 inputs, z outputs)	r�   rB   Úlenr6   ÚnodesÚtensorsÚkeysÚinputsÚoutputs)r   r¡   s     r    r@   zOnnxOptimizer.infoõ   sÀ   € ØÔ×!Ò!Øð Rð R�3˜tœzÔ/Ñ0Ô0ð Rð RÝ�4”:×%Ò%Ñ'Ô'×,Ò,Ñ.Ô.Ñ/Ô/ðRð Rå�4”:Ô$Ñ%Ô%ðRð Rå03°D´JÔ4FÑ0GÔ0GðRð Rð Rñ	
ô 	
ð 	
ð 	
ð 	
r#   FÚreturn_onnxrf   ú
Any | Nonec                óž   — | j                              ¦   «                              ¦   «          |r| j                             | j         ¦  «        S d S rŽ   )r6   ÚcleanupÚtoposortr�   r8   )r   r©   s     r    r¬   zOnnxOptimizer.cleanupü   sG   € ØŒ
×ÒÑÔ×%Ò%Ñ'Ô'Ð'Øð 	4Ø”8×'Ò'¨¬
Ñ3Ô3Ð3Øˆtr#   ÚkeepúSequence[int]ÚnamesúSequence[str] | Nonec                ó˜   ‡ — ˆ fd„|D ¦   «         ‰ j         _        |r,t          |¦  «        D ]\  }}|‰ j         j        |         _        Œd S d S )Nc                ó4   •— g | ]}‰j         j        |         ‘ŒS r   )r6   r¨   )rm   Úor   s     €r    ú
<listcomp>z0OnnxOptimizer.select_outputs.<locals>.<listcomp>  s#   ø€ ÐBÐBÐB¸˜dœjÔ0°Ô3ÐBÐBÐBr#   )r6   r¨   Ú	enumeraterU   )r   r®   r°   ÚirU   s   `    r    Úselect_outputszOnnxOptimizer.select_outputs  sm   ø€ ØBÐBÐBÐB¸TÐBÑBÔBˆŒ
ÔØð 	2Ý$ UÑ+Ô+ð 2ð 2‘��4Ø-1�”
Ô" 1Ô%Ô*Ð*ð	2ð 	2ð2ð 2r#   ÚnoderU   ú
str | NoneÚvalueÚintc                óÆ   — d}t          |j        ¦  «        D ]-\  }}t          |t          ¦  «        r|j        |k    s||k    r|}Œ.|dk     rt          d|› d|› d�¦  «        ‚|S )Néÿÿÿÿr   ú
not found ú(z) in node.inputs)r¶   r§   ry   r   rU   Ú
ValueError©r   r¹   rU   r»   Úindexr·   Úinps          r    Úfind_node_inputzOnnxOptimizer.find_node_input  s€   € ØˆÝ ¤Ñ,Ô,ð 	ð 	‰FˆAˆsÝ˜$¥Ñ$Ô$ð ¨¬°TÒ)9Ð)9¸SÀEº\¸\Ø�øØ�1Š9ˆ9ÝÐH¨$ÐHÐH°ÐHÐHÐHÑIÔIÐIØˆr#   c                óÆ   — d}t          |j        ¦  «        D ]-\  }}t          |t          ¦  «        r|j        |k    s||k    r|}Œ.|dk     rt          d|› d|› d�¦  «        ‚|S )Nr¾   r   r¿   rÀ   z) in node.outputs)r¶   r¨   ry   r   rU   rÁ   rÂ   s          r    Úfind_node_outputzOnnxOptimizer.find_node_output  s€   € ØˆÝ ¤Ñ-Ô-ð 	ð 	‰FˆAˆsÝ˜$¥Ñ$Ô$ð ¨¬°TÒ)9Ð)9¸SÀEº\¸\Ø�øØ�1Š9ˆ9ÝÐI¨$ÐIÐI°ÐIÐIÐIÑJÔJÐJØˆr#   c                óº  — t           j        D ]!} || ¦  «         |                      ¦   «          Œ"|                      | j                             | j        ¦  «        d¬¦  «        }|                     ¦   «         dk    rt          d¦  «        ‚| j	         
                    |¦  «        }| j                             |¦  «        | _        |                      ¦   «          |r|S d S )NF)Ú!allow_onnxruntime_shape_inferencel        z-ERROR: model size exceeds supported 2GB limit)r   Ú
_OPTIMIZERr¬   r‘   r�   r8   r6   ÚByteSizeÚ	TypeErrorr’   r0   r5   )r   r©   Úfnr˜   s       r    r~   zOnnxOptimizer.common_opt  sÎ   € Ý*Ô5ð 	ð 	ˆBØˆBˆt‰HŒHˆHØ�LŠL‰NŒNˆNˆNØ×)Ò)¨$¬(×*>Ò*>¸t¼zÑ*JÔ*JÐnsÐ)ÑtÔtˆ
Ø×ÒÑ Ô  :Ò-Ð-ÝÐKÑLÔLÐLàÔ.×;Ò;¸JÑGÔGˆJØ”X×)Ò)¨*Ñ5Ô5ˆŒ
Ø�Š‰ŒˆØð 	ØÐØˆtr#   c           
     ó”  — d}| j         j        D �]#}|j        dk    �rt          |j        ¦  «        dk    �rû|j        dz   }|                     ¦   «                              ¦   «                              d¦  «        }|                     ¦   «         }t          j	        |dz   t          j        dg¬¦  «        }t          j        d	|d
z   |j        d         g|g¬¦  «        }t          j        |dz   t          j        dgt          j        ¬¦  «        ¬¦  «        }t          j        |dz   t          j        dgt          j        ¬¦  «        ¬¦  «        }	t          j        |dz   t          j        dgt          j        ¬¦  «        ¬¦  «        }
t          j	        |dz   t          j        dg¬¦  «        }t          j        d|dz   ||	|
|g|g¬¦  «        }t          j	        |dz   t          j        dg¬¦  «        }t          j        d	|dz   |j        d         g|g¬¦  «        }t          j	        |dz   t          j        dg¬¦  «        }t          j        d|dz   |||	|g|g¬¦  «        }t          j	        |dz   t          j        dg¬¦  «        }t          j        d|dz   ddi||g|g¬¦  «        }t          j	                             ¦   «         }t          j        d|dz   |j        |j        d         |||g|j        d         g¬¦  «        }| j         j                             ||||||g¦  «         g |_        g |_        |dz  }�Œ%|                      ¦   «          |S )a   This function loops through the graph looking for Resize nodes that uses scales for resize (has 3 inputs).

        It substitutes found Resize with Resize that takes the size of the output tensor instead of scales. It adds
        Shape->Slice->Concat         Shape->Slice----^     subgraph to the graph to extract the shape of the output
        tensor. This fix is required for the dynamic shape support.
        r   ÚResizerp   ú/é   Úshape_hw_outé   )rU   ÚdtypeÚshapeÚShapeÚshape_hw©ÚoprU   r§   r¨   Ú
const_zero©rÔ   ©rU   ÚvaluesÚ	const_twoé   Ú
const_fourÚslice_hw_outÚSliceÚslice_hwÚshape_bc_outÚshape_bcÚslice_bc_outÚslice_bcÚconcat_bchw_outÚConcatÚconcat_bchwÚaxis©rÙ   rU   Úattrsr§   r¨   Úresize_bchw)r6   r¤   rÙ   r£   r§   rU   r´   r·   r[   ÚVariableÚnpÚint64ÚNoder¨   ÚConstantÚarrayÚemptyrí   Úextendr¬   )r   Úresized_node_countr¹   rU   Úadd_nodeÚdiv_noderÒ   r×   rÚ   rÞ   rà   rá   rã   rä   rå   ræ   rç   rè   rê   Únone_varrî   s                        r    Ú
resize_fixzOnnxOptimizer.resize_fix)  sj  € ð ÐØ”JÔ$ð =	(ñ =	(ˆDØŒw˜(Ò"Ñ"¥s¨4¬;Ñ'7Ô'7¸1Ò'<Ñ'<Ø”y 3‘�àŸ6š6™8œ8Ÿ:š:™<œ<Ÿ>š>¨!Ñ,Ô,�ØŸ6š6™8œ8�å!œ{°°~Ñ0EÍRÌXÐ^_Ð]`ÐaÑaÔa�Ýœ7Ø T¨JÑ%6ÀÔ@PÐQRÔ@SÐ?TÐ_kÐ^lðñ ô �õ  œ[¨d°\Ñ.AÍ"Ì(ÐTUÐSVÕ^`Ô^fÐJgÑJgÔJgÐhÑhÔh�
ÝœK¨T°KÑ-?ÍÌÐRSÐQTÕ\^Ô\dÐHeÑHeÔHeÐfÑfÔf�	Ýœ[¨d°\Ñ.AÍ"Ì(ÐTUÐSVÕ^`Ô^fÐJgÑJgÔJgÐhÑhÔh�
å!œ{°°~Ñ0EÍRÌXÐ^_Ð]`ÐaÑaÔa�Ýœ7ØØ 
Ñ*Ø(¨)°ZÀÐLØ)˜Nð	ñ ô �õ  "œ{°°~Ñ0EÍRÌXÐ^_Ð]`ÐaÑaÔa�Ýœ7Ø T¨JÑ%6ÀÔ@PÐQRÔ@SÐ?TÐ_kÐ^lðñ ô �õ  "œ{°°~Ñ0EÍRÌXÐ^_Ð]`ÐaÑaÔa�Ýœ7ØØ 
Ñ*Ø(¨*°iÀÐLØ)˜Nð	ñ ô �õ #%¤+°4Ð:KÑ3KÕSUÔS[ÐdeÐcfÐ"gÑ"gÔ"g�Ý œgØØ Ñ-Ø! 1˜+Ø(¨,Ð7Ø,Ð-ðñ ô �õ œ;×,Ò,Ñ.Ô.�å œgØØ Ñ-Øœ*Ø œK¨œN¨H°hÀÐPØ!œ\¨!œ_Ð-ðñ ô �ð ”
Ô ×'Ò'¨°8¸XÀxÐQ\Ð^iÐ(jÑkÔkÐkà �”Ø!�”à" aÑ'Ð"ùà�Š‰ŒˆØ!Ð!r#   c                ó  — d}| j         j        D ]b}|j        dv rWt          |j        d         t
          j        j        j        ¦  «        r(|j        d         }|j        d         }||g|_        |dz  }Œc|  	                    ¦   «          |S )Nr   )ÚAddrÑ   )
r6   r¤   rÙ   ry   r§   r[   Úirrn   ró   r¬   )r   Úadjusted_add_node_countr¹   rn   Úbiass        r    ÚadjustAddNodezOnnxOptimizer.adjustAddNodes  s…   € Ø"#ÐØ”JÔ$ð 	-ð 	-ˆDàŒw˜'Ð!Ð!¥j°´¸Q´ÅÄÄÔAVÑ&WÔ&WÐ!Øœ Qœ�Ø”{ 1”~�Ø% t˜n�”Ø'¨1Ñ,Ð'øà�Š‰ŒˆØ&Ð&r#   c                óœ  — d}| j         j        D �]§}|j        dk    �r˜|j        dz   }|j        d         }|j        d         }t          j        |dz   ¬¦  «        }t          j        d|dz   dd	gi|g|g¬
¦  «        }t          j        |dz   ¬¦  «        }t          j        d|dz   i ||g|g¬
¦  «        }	t          j        |dz   ¬¦  «        }
t          j	        |dz   t          j        dgt          j        ¬¦  «        ¬¦  «        }t          j        d|dz   i ||g|
g¬
¦  «        }t          j        |dz   ¬¦  «        }t          j        d|dz   dd	gi|
g|g¬
¦  «        }t          j        |dz   ¬¦  «        }t          j	        |dz   t          j        |j        d         gt          j        ¬¦  «        ¬¦  «        }t          j        d|dz   i ||g|g¬
¦  «        }t          j        |dz   ¬¦  «        }t          j        d|dz   i |g|g¬
¦  «        }t          j        |dz   ¬¦  «        }t          j        d |d!z   i ||g|g¬
¦  «        }t          j	        d"t          |¦  «        z   t          j        |j        d#         j        d         j        d$         j                             d#d%d#¦  «        ¦  «        ¦  «        }t          j	        d&t          |¦  «        z   t          j        |j        d'         j        d         j        d$         j                             d#d%d#¦  «        ¦  «        ¦  «        }t          j        |d(z   ¬¦  «        }t          j        d)|d*z   i ||g|g¬
¦  «        }t          j        d|d+z   i ||g|g¬
¦  «        }| j         j                             ||	|||||||g	¦  «         g |_        g |_        |d#z  }�Œ©|                      ¦   «          |S ),Nr   ÚInstanceNormalizationrÐ   Úmean_out)rU   Ú
ReduceMeanÚ	mean_nodeÚaxesr¾   rì   Úsub_outÚSubÚsub_nodeÚpow_outÚ	pow_constg       @rÛ   rÜ   ÚPowÚpow_nodeÚ	mean2_outÚ
mean2_nodeÚepsilon_outÚepsilon_constÚepsilonrý   Úepsilon_nodeÚsqrt_outÚSqrtÚ	sqrt_nodeÚdiv_outÚDivrù   zInstanceNormScaleV-rÑ   r»   é    zInstanceBiasV-rß   Úmul_outÚMulÚmul_noderø   )r6   r¤   rÙ   rU   r§   r¨   r[   rï   rò   ró   rð   rô   Úfloat32rí   r   ÚascontiguousarrayrÝ   Úreshaperö   r¬   )r   Úremoved_instance_norm_countr¹   rU   Úinput_tensorÚoutput_tensorr  r  r  r
  r  r  r  r  r  r  r  r  r  r  r  rù   Úconstant_scaleÚconstant_biasr  r  rø   s                              r    Údecompose_instancenormsz%OnnxOptimizer.decompose_instancenorms€  s`  € Ø&'Ð#Ø”JÔ$ð E	1ñ E	1ˆDØŒwÐ1Ò1Ñ1Ø”y 3‘�Ø#œ{¨1œ~�Ø $¤¨Q¤�Ýœ;¨D°:Ñ,=Ð>Ñ>Ô>�ÝœGØ#Ø Ñ+Ø! B 4˜.Ø(˜>Ø%˜Jðñ ô �	õ œ+¨4°)Ñ+;Ð<Ñ<Ô<�Ýœ7Ø 4¨*Ñ#4¸BÈÐV^ÐG_ÐjqÐirðñ ô �õ œ+¨4°)Ñ+;Ð<Ñ<Ô<�ÝœK¨T°KÑ-?ÍÌÐRUÐQVÕ^`Ô^hÐHiÑHiÔHiÐjÑjÔj�	Ýœ7Ø 4¨*Ñ#4¸BÈÐQZÐG[ÐfmÐenðñ ô �õ œK¨T°KÑ-?Ð@Ñ@Ô@�	ÝœWØ#Ø Ñ,Ø! B 4˜.Ø#˜9Ø&˜Kðñ ô �
õ !œk¨t°mÑ/CÐDÑDÔD�Ý "¤Ø Ñ/½¼À$Ä*ÈYÔBWÐAXÕ`bÔ`jÐ8kÑ8kÔ8kð!ñ !ô !�õ  "œwØØ Ñ.ØØ% }Ð5Ø(˜Mð ñ  ô  �õ œ;¨D°:Ñ,=Ð>Ñ>Ô>�ÝœGØ D¨;Ñ$6¸bÈ+ÈÐaiÐ`jðñ ô �	õ œ+¨4°)Ñ+;Ð<Ñ<Ô<�Ýœ7Ø 4¨*Ñ#4¸BÈÐQYÐGZÐelÐdmðñ ô �õ "$¤Ø)­CÐ0KÑ,LÔ,LÑLÝÔ(¨¬°Q¬Ô)>¸qÔ)AÔ)GÈÔ)PÔ)W×)_Ò)_Ð`aÐceÐghÑ)iÔ)iÑjÔjñ"ô "�õ !#¤Ø$¥sÐ+FÑ'GÔ'GÑGÝÔ(¨¬°Q¬Ô)>¸qÔ)AÔ)GÈÔ)PÔ)W×)_Ò)_Ð`aÐceÐghÑ)iÔ)iÑjÔjñ!ô !�õ œ+¨4°)Ñ+;Ð<Ñ<Ô<�Ýœ7Ø 4¨*Ñ#4¸BÈÐQ_ÐG`ÐkrÐjsðñ ô �õ œ7Ø 4¨*Ñ#4¸BÈÐQ^ÐG_ÐjwÐixðñ ô �ð ”
Ô ×'Ò'Ø ¨(°JÀÈiÐYaÐckÐmuÐvñô ð ð !�”Ø!�”Ø+¨qÑ0Ð+ùà�Š‰ŒˆØ*Ð*r#   c                óP  — d}| j         j        D �]�}|j        dk    �rr|j        g k    �rf|                     ¦   «         j        dk    �rH|                     d¦  «        j        dk    �r)|                     ¦   «                              ¦   «         |                     d¦  «        k    �rë|                     ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «         j        dk    �r|                     ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «         j        dk    �r5t          |                     ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «         j        d         j        j        ¦  «        dk    �r||j        d         }|                     ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «         }d	„ |j        D ¦   «          	                    d
¦  «        }t          j        t          |j        |         j                             ¦   «         ¦  «        t          j        ¬¦  «        }t          j        dt#          |¦  «        z   t          j        |                     d¦  «        ¦  «        ¦  «        }|                     ¦   «         }d„ |j        D ¦   «          	                    d
¦  «        }t          j        t          |j        |         j                             ¦   «         ¦  «        t          j        ¬¦  «        }	t          j        dt#          |¦  «        z   t          j        |	                     d¦  «        ¦  «        ¦  «        }
|                     ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «         j        d         j                             ¦   «         d         }|                     ¦   «         j        dk    r)d
}|                     ¦   «                              ¦   «         }nd}|}|                     ¦   «         j        dk    r|                     ¦   «         }|||
g}t          j        dt#          |¦  «        z   t          j        t          j        ¦  «        |j        ¦  «        }t          j        ddt#          |¦  «        z   ||gt1          d|fdt3          |¦  «        fg¦  «        ¬¦  «        }| j         j                             |¦  «         | j         j        D ]E}|j        d         |j        v r/|j         	                    |j        d         ¦  «        }||j        |<   ŒFg |_        g |_        |dz  }�Œƒ|                      ¦   «          |S )Nr   ÚReshaper  rÑ   r	  r  rý   rp   c                óV   — g | ]&}t          |t          j        j        j        ¦  «        ‘Œ'S r   ©ry   r[   rþ   rn   ró   ©rm   rÄ   s     r    rµ   z9OnnxOptimizer.insert_groupnorm_plugin.<locals>.<listcomp>Þ  ó)   € Ð]Ð]Ð]ÀC� C­¬¬Ô)>Ñ?Ô?Ð]Ð]Ð]r#   TrÛ   zgroupNormGamma-r¾   c                óV   — g | ]&}t          |t          j        j        j        ¦  «        ‘Œ'S r   r*  r+  s     r    rµ   z9OnnxOptimizer.insert_groupnorm_plugin.<locals>.<listcomp>å  ó)   € Ð\Ð\Ð\ÀC� C­¬¬Ô)>Ñ?Ô?Ð\Ð\Ð\r#   zgroupNormBeta-ÚSigmoidFÚCastzGroupNormV-Ú	GroupNormzGroupNormN-r  ÚbSwish)r§   r¨   rí   )r6   r¤   rÙ   r¨   r´   r£   r§   rÝ   rÕ   rÃ   rð   rô   r   Útolistr  r[   ró   r   r  r   rï   rÔ   Úfloat16rò   r   r¼   r\   r¬   )r   Úgroup_norm_plugin_countr¹   r"  Ú
gamma_noderÃ   ÚgammaÚconstant_gammaÚ	beta_nodeÚbetaÚconstant_betar  Ú	use_swishÚ	last_nodeÚ
input_listÚgroup_norm_vÚgroup_norm_nr
  s                     r    Úinsert_groupnorm_pluginz%OnnxOptimizer.insert_groupnorm_pluginÌ  sÔ  € Ø"#ÐØ”JÔ$ð ;	-ñ ;	-ˆDà”˜9Ò$Ñ$Ø”L BÒ&Ñ&Ø—F’F‘H”H”K <Ò/Ñ/Ø—F’F˜1‘I”I”L EÒ)Ñ)Ø—F’F‘H”H—J’J‘L”L D§F¢F¨1¡I¤IÒ-Ñ-Ø—F’F‘H”H—J’J‘L”L—N’NÑ$Ô$×&Ò&Ñ(Ô(×*Ò*Ñ,Ô,×.Ò.Ñ0Ô0×2Ò2Ñ4Ô4×6Ò6Ñ8Ô8×:Ò:Ñ<Ô<×>Ò>Ñ@Ô@×BÒBÑDÔDÔGÈ5ÒPÑPØ—F’F‘H”H—J’J‘L”L—N’NÑ$Ô$×&Ò&Ñ(Ô(×*Ò*Ñ,Ô,×.Ò.Ñ0Ô0×2Ò2Ñ4Ô4×6Ò6Ñ8Ô8×:Ò:Ñ<Ô<×>Ò>Ñ@Ô@×BÒBÑDÔD×FÒFÑHÔHÔKÈuÒTÑTÝ˜Ÿš™œŸ
š
™œŸšÑ(Ô(×*Ò*Ñ,Ô,×.Ò.Ñ0Ô0×2Ò2Ñ4Ô4×6Ò6Ñ8Ô8×:Ò:Ñ<Ô<ÔCÀAÔFÔMÔSÑTÔTÐXYÒYÑYð  $œ{¨1œ~�à!ŸVšV™XœXŸZšZ™\œ\Ÿ^š^Ñ-Ô-×/Ò/Ñ1Ô1×3Ò3Ñ5Ô5×7Ò7Ñ9Ô9×;Ò;Ñ=Ô=×?Ò?ÑAÔA×CÒCÑEÔE×GÒGÑIÔI×KÒKÑMÔM�
Ø]Ð]È:ÔK\Ð]Ñ]Ô]×cÒcÐdhÑiÔi�Ýœ¥¨*Ô*;¸EÔ*BÔ*I×*PÒ*PÑ*RÔ*RÑ!SÔ!SÕ[]Ô[eÐfÑfÔf�Ý!#¤Ø%­Ð,CÑ(DÔ(DÑDÅbÔFZÐ[`×[hÒ[hÐikÑ[lÔ[lÑFmÔFmñ"ô "�ð 'ŸLšL™NœN�	Ø\Ð\È9ÔK[Ð\Ñ\Ô\×bÒbÐcgÑhÔh�Ý”x¥¨Ô)9¸%Ô)@Ô)G×)NÒ)NÑ)PÔ)PÑ QÔ QÕY[ÔYcÐdÑdÔd�Ý "¤Ø$¥sÐ+BÑ'CÔ'CÑCÅRÔEYÐZ^×ZfÒZfÐgiÑZjÔZjÑEkÔEkñ!ô !�ð Ÿ&š&™(œ(Ÿ*š*™,œ,Ÿ.š.Ñ*Ô*×,Ò,Ñ.Ô.×0Ò0Ñ2Ô2Ô9¸!Ô<ÔC×JÒJÑLÔLÈQÔO�à—;’;‘=”=Ô# yÒ0Ð0Ø $�IØ )§¢¡¤§¢Ñ 1Ô 1�I�Ià %�IØ )�Ià—;’;‘=”=Ô# vÒ-Ð-Ø )§¢¡¤�IØ*¨N¸MÐJ�
Ý!œ{Ø!¥CÐ(?Ñ$@Ô$@Ñ@Å"Ä(Í2Ì:ÑBVÔBVÐXdÔXjñ ô  �õ  "œwØØ!¥CÐ(?Ñ$@Ô$@Ñ@Ø%Ø)˜NÝ%¨	°7Ð';¸hÍÈIÉÌÐ=WÐ&XÑYÔYð ñ  ô  �ð ”
Ô ×'Ò'¨Ñ5Ô5Ð5à $¤
Ô 0ð >ð >�HØ Ô(¨Ô+¨x¬Ð>Ð>Ø (¤× 5Ò 5°iÔ6GÈÔ6JÑ KÔ K˜Ø1=˜œ¨Ñ.øØ �”Ø$&�	Ô!Ø'¨1Ñ,Ð'ùà�Š‰ŒˆØ&Ð&r#   c           	     óN  — d}| j         j        D �]€}|j        dk    �rq|                     ¦   «         j        dk    �rS|                     ¦   «         j        d         |j        d         k    �r$|                     ¦   «                              d¦  «        j        dk    �ró|                     ¦   «                              d¦  «        j        dk    �rÂ|                     ¦   «                              d¦  «                             ¦   «         j        dk    �r|                     ¦   «                              d¦  «                             ¦   «                              ¦   «         j        dk    �r*|                     ¦   «                              d¦  «                             ¦   «                              ¦   «                              ¦   «         j        dk    �rÃ|                     ¦   «                              d¦  «                             ¦   «                              ¦   «                              ¦   «                              ¦   «         j        dk    �rJ|                     ¦   «                              d¦  «                             ¦   «                              ¦   «                              ¦   «                              ¦   «         |                     ¦   «                              d¦  «        k    �r±|                     ¦   «                              d¦  «                             ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «         j        d	k    �r&|                     ¦   «                              d¦  «                             ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «         j        dk    �r‰t          |                     ¦   «                              d¦  «                             ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «         j        d         j        j        ¦  «        dk    �rá|                     ¦   «         j        dk    r|j        d         }n|                     ¦   «         j        d         }|                     ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «                              ¦   «         }d
„ |j        D ¦   «          	                    d¦  «        }t          j        t          |j        |         j                             ¦   «         ¦  «        t          j        ¬¦  «        }t          j        dt#          |¦  «        z   t          j        |                     d¦  «        ¦  «        ¦  «        }|                     ¦   «         }d„ |j        D ¦   «          	                    d¦  «        }t          j        t          |j        |         j                             ¦   «         ¦  «        t          j        ¬¦  «        }	t          j        dt#          |¦  «        z   t          j        |	                     d¦  «        ¦  «        ¦  «        }
|||
g}t          j        dt#          |¦  «        z   t          j        t          j        ¦  «        |j        ¦  «        }t          j        ddt#          |¦  «        z   |t/          dg¦  «        |g¬¦  «        }| j         j                             |¦  «         |dz  }|j        d         | j         j        v r;| j         j         	                    |j        d         ¦  «        }|| j         j        |<   �Œó|                     ¦   «         j        dk    r|                     ¦   «         }n|}| j         j        D ]E}|j        d         |j        v r/|j         	                    |j        d         ¦  «        }||j        |<   ŒFg |_        �Œ‚|                      ¦   «          |S )Nr   r  r	  r  rÑ   r  rý   r  r  c                óV   — g | ]&}t          |t          j        j        j        ¦  «        ‘Œ'S r   r*  r+  s     r    rµ   z9OnnxOptimizer.insert_layernorm_plugin.<locals>.<listcomp>&  r,  r#   TrÛ   zLayerNormGamma-r¾   c                óV   — g | ]&}t          |t          j        j        j        ¦  «        ‘Œ'S r   r*  r+  s     r    rµ   z9OnnxOptimizer.insert_layernorm_plugin.<locals>.<listcomp>-  r.  r#   zLayerNormBeta-zLayerNormV-Ú	LayerNormzLayerNormN-)r  gñhãˆµøä>)r§   rí   r¨   r0  )r6   r¤   rÙ   r´   r§   r£   rÝ   rÕ   r·   rÃ   rð   rô   r   r3  r  r[   ró   r   r  r   rï   rÔ   rò   r   r\   r¨   r¬   )r   Úlayer_norm_plugin_countr¹   r"  r6  rÃ   r7  r8  r9  r:  r;  r>  Úlayer_norm_vÚlayer_norm_nr=  r
  s                   r    Úinsert_layernorm_pluginz%OnnxOptimizer.insert_layernorm_plugin  su  € Ø"#ÐØ”JÔ$ð =	+ñ =	+ˆDà”˜<Ò'Ñ'Ø—F’F‘H”H”K 5Ò(Ñ(Ø—F’F‘H”H”O AÔ&¨$¬+°a¬.Ò8Ñ8Ø—F’F‘H”H—J’J˜q‘M”MÔ$¨Ò-Ñ-Ø—F’F‘H”H—J’J˜q‘M”MÔ$¨Ò-Ñ-Ø—F’F‘H”H—J’J˜q‘M”M—O’OÑ%Ô%Ô(¨LÒ8Ñ8Ø—F’F‘H”H—J’J˜q‘M”M—O’OÑ%Ô%×'Ò'Ñ)Ô)Ô,°Ò5Ñ5Ø—F’F‘H”H—J’J˜q‘M”M—O’OÑ%Ô%×'Ò'Ñ)Ô)×+Ò+Ñ-Ô-Ô0°FÒ:Ñ:Ø—F’F‘H”H—J’J˜q‘M”M—O’OÑ%Ô%×'Ò'Ñ)Ô)×+Ò+Ñ-Ô-×/Ò/Ñ1Ô1Ô4¸Ò=Ñ=Ø—F’F‘H”H—J’J˜q‘M”M—O’OÑ%Ô%×'Ò'Ñ)Ô)×+Ò+Ñ-Ô-×/Ò/Ñ1Ô1°T·V²V±X´X·Z²ZÀ±]´]ÒBÑBØ—F’F‘H”H—J’J˜q‘M”M—O’OÑ%Ô%×'Ò'Ñ)Ô)×+Ò+Ñ-Ô-×/Ò/Ñ1Ô1×3Ò3Ñ5Ô5Ô8¸EÒAÑAØ—F’F‘H”H—J’J˜q‘M”M—O’OÑ%Ô%×'Ò'Ñ)Ô)×+Ò+Ñ-Ô-×/Ò/Ñ1Ô1×3Ò3Ñ5Ô5×7Ò7Ñ9Ô9Ô<ÀÒEÑEÝ˜Ÿš™œŸ
š
 1™œŸšÑ)Ô)×+Ò+Ñ-Ô-×/Ò/Ñ1Ô1×3Ò3Ñ5Ô5×7Ò7Ñ9Ô9Ô@ÀÔCÔJÔPÑQÔQÐUVÒVÑVà—6’6‘8”8”; %Ò'Ð'Ø#'¤;¨q¤>�L�Là#'§6¢6¡8¤8¤?°1Ô#5�Là!ŸVšV™XœXŸZšZ™\œ\Ÿ^š^Ñ-Ô-×/Ò/Ñ1Ô1×3Ò3Ñ5Ô5×7Ò7Ñ9Ô9×;Ò;Ñ=Ô=�
Ø]Ð]È:ÔK\Ð]Ñ]Ô]×cÒcÐdhÑiÔi�Ýœ¥¨*Ô*;¸EÔ*BÔ*I×*PÒ*PÑ*RÔ*RÑ!SÔ!SÕ[]Ô[eÐfÑfÔf�Ý!#¤Ø%­Ð,CÑ(DÔ(DÑDÅbÔFZÐ[`×[hÒ[hÐikÑ[lÔ[lÑFmÔFmñ"ô "�ð 'ŸLšL™NœN�	Ø\Ð\È9ÔK[Ð\Ñ\Ô\×bÒbÐcgÑhÔh�Ý”x¥¨Ô)9¸%Ô)@Ô)G×)NÒ)NÑ)PÔ)PÑ QÔ QÕY[ÔYcÐdÑdÔd�Ý "¤Ø$¥sÐ+BÑ'CÔ'CÑCÅRÔEYÐZ^×ZfÒZfÐgiÑZjÔZjÑEkÔEkñ!ô !�ð +¨N¸MÐJ�
Ý!œ{Ø!¥CÐ(?Ñ$@Ô$@Ñ@Å"Ä(Í2Ì:ÑBVÔBVÐXdÔXjñ ô  �õ  "œwØØ!¥CÐ(?Ñ$@Ô$@Ñ@Ø%Ý%Ð':Ð&;Ñ<Ô<Ø)˜Nð ñ  ô  �ð ”
Ô ×'Ò'¨Ñ5Ô5Ð5Ø'¨1Ñ,Ð'àÔ$ QÔ'¨4¬:Ô+=Ð=Ð=Ø œJÔ.×4Ò4°YÔ5FÀqÔ5IÑJÔJ�EØ0<�D”JÔ& uÑ-Ñ-à —{’{‘}”}Ô'¨6Ò1Ð1Ø$-§K¢K¡M¤M˜	˜	à$-˜	Ø$(¤JÔ$4ð Bð B˜Ø$Ô,¨QÔ/°8´?ÐBÐBØ$,¤O×$9Ò$9¸)Ô:KÈAÔ:NÑ$OÔ$O˜EØ5A˜HœO¨EÑ2øØ(*�IÔ%ùà�Š‰ŒˆØ&Ð&r#   r   Únode_kÚnode_vÚfused_kv_idxÚheadsÚnum_dynamicc                óx  — |j         d         j        }|j         d         j        }|j        d         }|}	|j        d         |	z  }
t          j        |                     ||	|
¦  «        |                     ||	|
¦  «        g¦  «                             |d|	z  |
z  ¦  «        }|j         d         }|j        d         }t          j        d|› �t          j	        |¦  «        ¦  «        }t          j
        dd|› �||g|g¬¦  «        }| j        j                             |¦  «         ||                     |¦  «        j         d<   ||                     |¦  «        j         d<   t          d|¦  «        D ]X}|                     ¦   «         j                              ¦   «          |                     ¦   «         j                              ¦   «          ŒY|j                             ¦   «          |j                             ¦   «          |j                              ¦   «          |j                              ¦   «          |                      ¦   «          |S )NrÑ   r   rß   ÚWeights_KV_ÚMatMulÚ
MatMul_KV_rØ   ©r§   rÝ   rÕ   rð   Údstackr   r¨   r[   ró   r  rò   r6   r¤   r\   r´   ÚrangeÚclearr¬   )r   rJ  rK  rL  rM  rN  Ú	weights_kÚ	weights_vÚchannel_countÚ	num_headsÚhead_dimÚ
weights_kvr"  Úoutput_tensor_kÚconstant_weights_kvÚfused_kv_noder·   s                    r    Úfuse_kvzOnnxOptimizer.fuse_kvR  s!  € à”M !Ô$Ô+ˆ	à”M !Ô$Ô+ˆ	à!œ¨Ô*ˆàˆ	à”? 1Ô%¨Ñ2ˆõ ”Yà×!Ò! -°¸HÑEÔEØ×!Ò! -°¸HÑEÔEðñ
ô 
÷
 Š'�-  Y¡°Ñ!9Ñ
:Ô
:ð 	ð ”} QÔ'ˆà œ.¨Ô+ˆå œkÐ*F¸Ð*FÐ*FÍÔH\Ð]gÑHhÔHhÑiÔiÐõ œØØ,˜lÐ,Ð,Ø Ð"5Ð6Ø$Ð%ð	
ñ 
ô 
ˆð 	Œ
Ô×Ò Ñ.Ô.Ð.ð +:ˆ�Š�ÑÔÔ$ QÑ'Ø*9ˆ�Š�ÑÔÔ$ QÑ'Ý�q˜+Ñ&Ô&ð 	&ð 	&ˆAØ�HŠH‰JŒJÔ×#Ò#Ñ%Ô%Ð%Ø�HŠH‰JŒJÔ×#Ò#Ñ%Ô%Ð%Ð%ð 	Œ×ÒÑÔÐØŒ×ÒÑÔÐØŒ×ÒÑÔÐØŒ×ÒÑÔÐà�Š‰ŒˆØÐr#   Únode_qÚnode_kvÚfinal_tranposeÚmhca_idxc                óØ  — |                      |¦  «                              ¦   «         j        d         }|                      ¦   «         j        d         }|j        d         }	|j        d         j        d         j                             ¦   «          |j        d         j        d         j                             ¦   «          |                      |¦  «                              ¦   «         j                             ¦   «          t	          d|¦  «        D ]S}
|                      |
¦  «                              ¦   «                               d¦  «        j                             ¦   «          ŒT|j        d         j        }|j        d         |dz  z  }t          j        d|› �t          j
        t          j        dd|d|gt          j        ¬¦  «        ¦  «        ¦  «        }t          j        d|› �t          j        t          j        ¦  «        d ¦  «        }t          j        dd|› �||g|g¬	¦  «        }| j        j                             |¦  «         t          j        d
d|› �||g|	g¬	¦  «        }| j        j                             |¦  «         ||                      |¦  «        j        d<   |dk    ršt          j        d|› d�t          j        t          j        ¦  «        d ¦  «        }t          j        dd|› d�|j        d         g|g¬¦  «        }| j        j                             |¦  «         ||                      ¦   «         j        d<   |j                             ¦   «          |                      ¦   «          d S )Nr   rÑ   rß   Ú	Shape_KV_rÛ   Ú
ReshapeKV_r(  ÚReshape_rØ   ÚfMHCAÚfMHCA_ÚReshape2_fmhcaÚ_outrÖ   Ú_shape©r§   r¨   )r´   r§   r¨   rV  rU  rÝ   rÕ   r[   ró   rð   r  rô   rñ   rï   rÔ   r4  rò   r6   r¤   r\   r¬   )r   ra  rb  rc  rd  rM  rN  Úoutput_qÚ	output_kvÚoutput_final_tranposer·   r\  Údims_per_headrÕ   Úoutput_reshaper   ÚfmhcaÚreshape2_input1_outÚreshape2_input1_shapes                      r    Úinsert_fmhcazOnnxOptimizer.insert_fmhca†  s,  € ð
 —8’8˜KÑ(Ô(×*Ò*Ñ,Ô,Ô3°AÔ6ˆØ—I’I‘K”KÔ& qÔ)ˆ	Ø .Ô 6°qÔ 9Ðð 	Œ˜ÔÔ" 1Ô%Ô,×2Ò2Ñ4Ô4Ð4ØŒ˜ÔÔ" 1Ô%Ô,×2Ò2Ñ4Ô4Ð4Ø�Š�ÑÔ×ÒÑ!Ô!Ô(×.Ò.Ñ0Ô0Ð0Ý�q˜+Ñ&Ô&ð 	0ð 	0ˆAØ�HŠH�Q‰KŒK�MŠM‰OŒO×Ò˜aÑ Ô Ô'×-Ò-Ñ/Ô/Ð/Ð/à”^ AÔ&Ô-ˆ
Ø"Ô(¨Ô+°¸±	Ñ:ˆõ ”Ø"˜Ð"Ð"ÝÔ ¥¤¨1¨a°¸¸=Ð*IÕQSÔQYÐ!ZÑ!ZÔ!ZÑ[Ô[ñ
ô 
ˆõ œÐ%<°(Ð%<Ð%<½b¼hÅrÄzÑ>RÔ>RÐTXÑYÔYˆå”'˜YÐ-B¸Ð-BÐ-BÈIÐW\ÐK]ÐhvÐgwÐxÑxÔxˆàŒ
Ô×Ò Ñ(Ô(Ð(õ ”ØØ$˜(Ð$Ð$Ø˜nÐ-Ø*Ð+ð	
ñ 
ô 
ˆð 	Œ
Ô×Ò Ñ&Ô&Ð&ð ,4ˆ�Š�ÑÔÔ% aÑ(à˜Š?ˆ?Ý"$¤+Ð.M¸xÐ.MÐ.MÐ.MÍrÌxÕXZÔX`ÑOaÔOaÐcgÑ"hÔ"hÐÝ$&¤GØØ1 Ð1Ð1Ð1Øœ aÔ(Ð)Ø,Ð-ð	%ñ %ô %Ð!ð ŒJÔ×#Ò#Ð$9Ñ:Ô:Ð:Ø+>ˆN×ÒÑÔÔ% aÑ(ð 	Ô×$Ò$Ñ&Ô&Ð&à�Š‰Œˆˆˆr#   Úfused_qkv_idxc           	     ó¼  — |j         d         j        }|j         d         j        }|j         d         j        }	|j        d         }
|}|j        d         |z  }t          j        |                     |
||¦  «        |                     |
||¦  «        |	                     |
||¦  «        g¦  «                             |
d|z  |z  ¦  «        }|j         d         }|j        d         }t          j        d|› �t          j	        |¦  «        ¦  «        }t          j
        dd|› �||g|g¬¦  «        }| j        j                             |¦  «         ||                     |¦  «        j         d<   ||                     |¦  «        j         d<   ||                     |¦  «        j         d<   t          d|¦  «        D ]ƒ}|                     ¦   «         j                              ¦   «          |                     ¦   «         j                              ¦   «          |                     ¦   «         j                              ¦   «          Œ„|j                             ¦   «          |j                             ¦   «          |j                             ¦   «          |j                              ¦   «          |j                              ¦   «          |j                              ¦   «          |                      ¦   «          |S )NrÑ   r   rp   ÚWeights_QKV_rQ  ÚMatMul_QKV_rØ   rS  )r   ra  rJ  rK  rx  rM  rN  Ú	weights_qrW  rX  rY  rZ  r[  Úweights_qkvr"  r]  Úconstant_weights_qkvÚfused_qkv_noder·   s                      r    Úfuse_qkvzOnnxOptimizer.fuse_qkvÄ  s§  € ð ”M !Ô$Ô+ˆ	à”M !Ô$Ô+ˆ	à”M !Ô$Ô+ˆ	ð "œ¨Ô*ˆàˆ	à”? 1Ô%¨Ñ2ˆõ ”ià×!Ò! -°¸HÑEÔEØ×!Ò! -°¸HÑEÔEØ×!Ò! -°¸HÑEÔEðñ
ô 
÷ Š'�-  Y¡°Ñ!9Ñ
:Ô
:ð 	ð ”} QÔ'ˆà œ.¨Ô+ˆå!œ{Ð+I¸-Ð+IÐ+IÍ2ÔK_Ð`kÑKlÔKlÑmÔmÐõ œØØ.˜}Ð.Ð.Ø Ð"6Ð7Ø$Ð%ð	
ñ 
ô 
ˆð 	Œ
Ô×Ò Ñ/Ô/Ð/ð +:ˆ�Š�ÑÔÔ$ QÑ'Ø*9ˆ�Š�ÑÔÔ$ QÑ'Ø*9ˆ�Š�ÑÔÔ$ QÑ'Ý�q˜+Ñ&Ô&ð 	&ð 	&ˆAØ�HŠH‰JŒJÔ×#Ò#Ñ%Ô%Ð%Ø�HŠH‰JŒJÔ×#Ò#Ñ%Ô%Ð%Ø�HŠH‰JŒJÔ×#Ò#Ñ%Ô%Ð%Ð%ð 	Œ×ÒÑÔÐØŒ×ÒÑÔÐØŒ×ÒÑÔÐàŒ×ÒÑÔÐØŒ×ÒÑÔÐØŒ×ÒÑÔÐà�Š‰ŒˆØÐr#   Únode_qkvÚmha_idxc                óR  — |                      ¦   «         j        d         }|j        d         }|j        d         j        d         j                             ¦   «          |j        d         j        d         j                             ¦   «          |j        d         j        d         j                             ¦   «          |j        d         j        }|j        d         |dz  z  }	t          j        d|› �t          j	        t          j
        dd|d|	gt          j        ¬¦  «        ¦  «        ¦  «        }
t          j        d|› �t          j        t          j        ¦  «        d ¦  «        }t          j        dd	|› �||
g|g¬
¦  «        }| j        j                             |¦  «         t          j        dd|› �|g|g¬
¦  «        }| j        j                             |¦  «         |dk    ršt          j        d|› d�t          j        t          j        ¦  «        d ¦  «        }t          j        dd|› d�|j        d         g|g¬¦  «        }| j        j                             |¦  «         ||                      ¦   «         j        d<   |j                             ¦   «          |                      ¦   «          d S )Nr   rß   rÑ   rp   Ú
Shape_QKV_rÛ   ÚReshapeQKV_r(  rh  rØ   ÚfMHA_V2ÚfMHA_Ú	Reshape2_rl  rÖ   rm  rn  )r´   r§   r¨   rV  rÝ   rÕ   r[   ró   rð   r  rô   rñ   rï   rÔ   r4  rò   r6   r¤   r\   r¬   )r   r�  rc  r‚  rM  rN  Ú
output_qkvrq  r}  rr  rÕ   Úoutput_shaper   Úfmharu  rv  s                   r    Úinsert_fmhazOnnxOptimizer.insert_fmha  s…  € à—Z’Z‘\”\Ô(¨Ô+ˆ
Ø .Ô 6°qÔ 9Ðð 	Ô˜ÔÔ# AÔ&Ô-×3Ò3Ñ5Ô5Ð5ØÔ˜ÔÔ# AÔ&Ô-×3Ò3Ñ5Ô5Ð5ØÔ˜ÔÔ# AÔ&Ô-×3Ò3Ñ5Ô5Ð5à”o aÔ(Ô/ˆØ#Ô)¨!Ô,°¸±Ñ;ˆõ ”Ø"˜Ð"Ð"ÝÔ ¥¤¨1¨a°¸¸=Ð*IÕQSÔQYÐ!ZÑ!ZÔ!ZÑ[Ô[ñ
ô 
ˆõ ”{Ð#:°Ð#:Ð#:½B¼HÅRÄZÑ<PÔ<PÐRVÑWÔWˆå”'˜YÐ-A¸Ð-AÐ-AÈ:ÐW\ÐJ]ÐhtÐguÐvÑvÔvˆàŒ
Ô×Ò Ñ(Ô(Ð(õ Œw˜)Ð*;°'Ð*;Ð*;À\ÀNÐ]rÐ\sÐtÑtÔtˆàŒ
Ô×Ò Ñ%Ô%Ð%à˜Š?ˆ?Ý"$¤+Ð.G¸'Ð.GÐ.GÐ.GÍÌÕRTÔRZÑI[ÔI[Ð]aÑ"bÔ"bÐÝ$&¤GØÐ4 WÐ4Ð4Ð4¸h¼oÈaÔ>PÐ=QÐ\oÐ[pð%ñ %ô %Ð!ð ŒJÔ×#Ò#Ð$9Ñ:Ô:Ð:Ø+>ˆN×ÒÑÔÔ% aÑ(ð 	Ô×$Ò$Ñ&Ô&Ð&à�Š‰Œˆˆˆr#   Úmhaú)tuple[bool, int, int, Any, Any, Any, Any]c                ó  — |j         dk    �
r t          |j        ¦  «        dk    �	rç|r@t          |j        d         j        ¦  «        dk    r|                     ¦   «         j         dk    s'|�	s¢t          |j        d         j        ¦  «        dk    �	r~|                     ¦   «         j         dk    rM|                     d¦  «        j         dk    r#|                     d¦  «        j         dk    rdnd}nd}|r|n|dz   }nd}d}|                     |¦  «        }|j         dk    �rï|                     ¦   «         j         d	k    �rÑ|                     ¦   «                              ¦   «         j         dk    �r¡|                     ¦   «                              ¦   «                              ¦   «         j         dk    �r_|                     ¦   «                              ¦   «                              ¦   «                              d¦  «        j         d
k    �r
|                     ¦   «                              ¦   «                              ¦   «                              d¦  «        j         dk    �rµ|                     ¦   «                              ¦   «                              ¦   «                              d¦  «                             ¦   «         j         dk    �rN|                     ¦   «                              ¦   «                              ¦   «                              d¦  «                             ¦   «                              ¦   «         j         dk    �rÕ|                     ¦   «                              ¦   «                              ¦   «                              d¦  «                             ¦   «                              ¦   «                              d¦  «        j         dk    �rI|                     ¦   «                              ¦   «                              ¦   «                              d¦  «                             ¦   «                              ¦   «                              d¦  «        j         d	k    �r½|                     ¦   «                              ¦   «                              ¦   «                              d¦  «                             ¦   «                              ¦   «                              d¦  «                             ¦   «         j         dk    �r|                     ¦   «                              ¦   «                              ¦   «                              d¦  «                             ¦   «                              ¦   «                              d¦  «                             ¦   «                              ¦   «         j         d	k    �ro|                     ¦   «                              ¦   «                              ¦   «                              d¦  «                             ¦   «                              ¦   «                              d¦  «                             ¦   «                              ¦   «                              ¦   «         j         dk    �r­|                     ¦   «                              ¦   «                              ¦   «                              d¦  «                             ¦   «                              ¦   «                              d¦  «                             ¦   «                              ¦   «                              ¦   «                              ¦   «         j         dk    �rÙ|j        |                     ¦   «                              ¦   «                              ¦   «                              d¦  «                             ¦   «                              ¦   «                              d¦  «                             ¦   «                              ¦   «                              ¦   «                              ¦   «         j        k    �r |                     ¦   «                              ¦   «                              ¦   «                              d¦  «                             ¦   «                              ¦   «                              d¦  «                             ¦   «                              ¦   «                              ¦   «         }|                     ¦   «                              ¦   «                              ¦   «                              d¦  «                             ¦   «                              ¦   «                              d¦  «                             ¦   «                              ¦   «                              ¦   «                              ¦   «         }|}|                     ¦   «                              ¦   «                              ¦   «                              |¦  «                             ¦   «         }	|j         dk    r|	j         d	k    r	d||||||	fS dS )NrQ  rÑ   r   rý   rÖ   rß   rp   r(  Ú	TransposeÚSoftmaxr  T)Fr   r   NNNN)rÙ   r£   r¨   r§   r·   r´   rU   )
r   r¹   r�  Únum_dynamic_kvÚnum_dynamic_qr´   ra  rJ  rK  rc  s
             r    Úmha_mhca_detectedzOnnxOptimizer.mha_mhca_detected/  sÏ  € ð
 ŒG�xÒÑÝ�D”LÑ!Ô! QÒ&Ñ&àð 'å˜Tœ[¨œ^Ô2Ñ3Ô3°aÒ7Ð7¸D¿FºF¹H¼H¼KÈ5Ò<PÐ<PØñ =QÝ # D¤K°¤NÔ$9Ñ :Ô :¸aÒ ?Ñ ?ð �vŠv‰xŒxŒ{˜gÒ%Ð%Ø—6’6˜!‘9”9”< 7Ò*Ð*Ø*.¯&ª&°©)¬)¬,¸'Ò*AÐ*A Q QÀq�N�Nà%&�Nà25Ð M  ¸>ÈAÑ;M��à!"�Ø !�à—’�~Ñ&Ô&ˆAà”˜	Ò!Ñ!Ø—C’C‘E”E”H Ò+Ñ+Ø—C’C‘E”E—G’G‘I”I”L IÒ-Ñ-Ø—C’C‘E”E—G’G‘I”I—K’K‘M”MÔ$¨Ò0Ñ0Ø—C’C‘E”E—G’G‘I”I—K’K‘M”M—O’O AÑ&Ô&Ô)¨YÒ6Ñ6Ø—C’C‘E”E—G’G‘I”I—K’K‘M”M—O’O AÑ&Ô&Ô)¨YÒ6Ñ6Ø—C’C‘E”E—G’G‘I”I—K’K‘M”M—O’O AÑ&Ô&×(Ò(Ñ*Ô*Ô-°Ò6Ñ6Ø—C’C‘E”E—G’G‘I”I—K’K‘M”M—O’O AÑ&Ô&×(Ò(Ñ*Ô*×,Ò,Ñ.Ô.Ô1°XÒ=Ñ=Ø—C’C‘E”E—G’G‘I”I—K’K‘M”M—O’O AÑ&Ô&×(Ò(Ñ*Ô*×,Ò,Ñ.Ô.×0Ò0°Ñ3Ô3Ô6¸)ÒCÑCØ—C’C‘E”E—G’G‘I”I—K’K‘M”M—O’O AÑ&Ô&×(Ò(Ñ*Ô*×,Ò,Ñ.Ô.×0Ò0°Ñ3Ô3Ô6¸+ÒEÑEØ—C’C‘E”E—G’G‘I”I—K’K‘M”M—O’O AÑ&Ô&×(Ò(Ñ*Ô*×,Ò,Ñ.Ô.×0Ò0°Ñ3Ô3×5Ò5Ñ7Ô7Ô:¸iÒGÑGØ—C’C‘E”E—G’G‘I”I—K’K‘M”M—O’O AÑ&Ô&×(Ò(Ñ*Ô*×,Ò,Ñ.Ô.×0Ò0°Ñ3Ô3×5Ò5Ñ7Ô7×9Ò9Ñ;Ô;Ô>À+ÒMÑMØ—C’C‘E”E—G’G‘I”I—K’K‘M”M—O’O AÑ&Ô&×(Ò(Ñ*Ô*×,Ò,Ñ.Ô.×0Ò0°Ñ3Ô3×5Ò5Ñ7Ô7×9Ò9Ñ;Ô;×=Ò=Ñ?Ô?ÔBÀiÒOÑOØ—C’C‘E”E—G’G‘I”I—K’K‘M”M—O’O AÑ&Ô&×(Ò(Ñ*Ô*×,Ò,Ñ.Ô.×0Ò0°Ñ3Ô3×5Ò5Ñ7Ô7×9Ò9Ñ;Ô;×=Ò=Ñ?Ô?×AÒAÑCÔCÔFÈ(ÒRÑRØ”I §¢¡¤§¢¡¤§¢¡¤§¢°Ñ!3Ô!3×!5Ò!5Ñ!7Ô!7×!9Ò!9Ñ!;Ô!;×!=Ò!=¸aÑ!@Ô!@×!BÒ!BÑ!DÔ!D×!FÒ!FÑ!HÔ!H×!JÒ!JÑ!LÔ!L×!NÒ!NÑ!PÔ!PÔ!UÒUÑUð Ÿš™œŸš™œŸš™œŸš¨Ñ+Ô+×-Ò-Ñ/Ô/×1Ò1Ñ3Ô3×5Ò5°aÑ8Ô8×:Ò:Ñ<Ô<×>Ò>Ñ@Ô@×BÒBÑDÔD�ØŸš™œŸš™œŸš™œŸš¨Ñ+Ô+×-Ò-Ñ/Ô/×1Ò1Ñ3Ô3×5Ò5°aÑ8Ô8×:Ò:Ñ<Ô<×>Ò>Ñ@Ô@×BÒBÑDÔD×FÒFÑHÔH�Ø�Ø!"§¢¡¤§¢¡¤§¢¡¤§¢°Ñ!?Ô!?×!AÒ!AÑ!CÔ!C�à”9 Ò(Ð(¨^Ô->À+Ò-MÐ-MØ °ÀÈÐPVÐXfÐfÐfØ2Ð2r#   Ú
mhca_indexÚsmc           	     óÊ  — | j         j        }t          |¦  «        D ]Æ\  }}|dz   t          |¦  «        k    s|dz   t          |¦  «        k    rŒ2|                      ||         d¬¦  «        \  }}}	}
}}}|rm|dk    s||	dz   k    sJ ‚|dk    r |
j        d         j        d         |z  dk    rŒ�|                      |||||	¦  «        }|                      |
|||||¦  «          dS ŒÇdS )	NrÑ   rß   F©r�  r   éK   é    T)	r6   r¤   r¶   r£   r”  r§   rÕ   r`  rw  )r   rM  r•  r–  r¤   ÚidxÚ_Údetectedr“  r’  ra  rJ  rK  rc  rb  s                  r    Úfuse_kv_insert_fmhcaz"OnnxOptimizer.fuse_kv_insert_fmhcab  s,  € Ø”
Ô ˆå Ñ&Ô&ð 	ð 	‰FˆC�à�Q‰w�˜U™œÒ#Ð# s¨Q¡wµ°U±´Ò';Ð';Øð _c×^tÒ^tØ�c”
 ð _uñ _ô _Ñ[ˆH�m ^°V¸VÀVÈ^ð ð 	Ø$¨Ò)Ð)¨]¸nÈqÑ>PÒ-PÐ-PÐ-PÐPà˜’8�8 ¤¨aÔ 0Ô 6°qÔ 9¸UÑ BÀcÒ IÐ IØàŸ,š, v¨v°zÀ5È.ÑYÔY�à×!Ò! &¨'°>À:ÈuÐVcÑdÔdÐdØ�t�tð	ð ˆur#   Ú	mha_indexc           	     ól  — | j         j        }t          |¦  «        D ]—\  }}|dz   t          |¦  «        k    s|dz   t          |¦  «        k    rŒ2|                      ||         d¬¦  «        \  }}}}	}
}}|r>||k    sJ ‚|                      |	|
||||¦  «        }|                      |||||¦  «          dS Œ˜dS )NrÑ   rß   Tr˜  F)r6   r¤   r¶   r£   r”  r€  rŒ  )r   rM  rŸ  r¤   r›  rœ  r�  r“  r’  ra  rJ  rK  rc  r�  s                 r    Úfuse_qkv_insert_fmhaz"OnnxOptimizer.fuse_qkv_insert_fmhaz  só   € Ø”
Ô ˆå Ñ&Ô&ð 	ð 	‰FˆC�à�Q‰w�˜U™œÒ#Ð# s¨Q¡wµ°U±´Ò';Ð';Øð _c×^tÒ^tØ�c”
 ð _uñ _ô _Ñ[ˆH�m ^°V¸VÀVÈ^ð ð Ø$¨Ò6Ð6Ð6Ð6àŸ=š=¨°¸ÀÈEÐSaÑbÔb�à× Ò  ¨>¸9ÀeÈ^Ñ\Ô\Ð\Ø�t�tðð ˆur#   rZ  c                óp   — d}|                       |||¦  «        r|dz  }|                       |||¦  «        °|S ©Nr   rÑ   )rž  )r   rZ  r–  r•  s       r    Úinsert_fmhca_pluginz!OnnxOptimizer.insert_fmhca_plugin�  sL   € Øˆ
Ø×'Ò'¨	°:¸rÑBÔBð 	Ø˜!‰OˆJð ×'Ò'¨	°:¸rÑBÔBð 	àÐr#   c                ól   — d}|                       ||¦  «        r|dz  }|                       ||¦  «        °|S r£  )r¡  )r   rZ  rŸ  s      r    Úinsert_fmha_pluginz OnnxOptimizer.insert_fmha_plugin•  sH   € Øˆ	Ø×'Ò'¨	°9Ñ=Ô=ð 	Ø˜‰NˆIð ×'Ò'¨	°9Ñ=Ô=ð 	àÐr#   rŽ   )rŠ   r‹   r<   rŒ   r   r%   )r<   r‹   r   r%   )r›   rœ   r   r	   )r›   r   r   r%   )r    )r¡   r   r   r%   ©F)r©   rf   r   rª   )r®   r¯   r°   r±   r   r%   )NN)r¹   r	   rU   rº   r»   r	   r   r¼   )r   r¼   )r   )rJ  r	   rK  r	   rL  r¼   rM  r¼   rN  r¼   r   r	   )ra  r	   rb  r	   rc  r	   rd  r¼   rM  r¼   rN  r¼   r   r%   )ra  r	   rJ  r	   rK  r	   rx  r¼   rM  r¼   rN  r¼   r   r	   )r�  r	   rc  r	   r‚  r¼   rM  r¼   rN  r¼   r   r%   )r¹   r	   r�  rf   r   rŽ  )rM  r¼   r•  r¼   r–  r¼   r   rf   )rM  r¼   rŸ  r¼   r   rf   )rZ  r¼   r–  r¼   r   r¼   )rZ  r¼   r   r¼   )r(   r)   r*   r™   r•   r”   r   r@   r¬   r¸   rÅ   rÇ   r~   rû   r  r&  rA  rI  r`  rw  r€  rŒ  r”  rž  r¡  r¤  r¦  r   r#   r    r}   r}   Ñ   sR  € € € € € ð$ð $ð $ð $ð $ð&.ð .ð .ð .ðð ð ð ð/ð /ð /ð /ð

ð 
ð 
ð 
ð 
ðð ð ð ð ð2ð 2ð 2ð 2ð 2ðð ð ð ð ðð ð ð ð ðð ð ð ð ðH"ð H"ð H"ð H"ðT'ð 'ð 'ð 'ðJ+ð J+ð J+ð J+ðX@'ð @'ð @'ð @'ðDB'ð B'ð B'ð B'ðH2ð 2ð 2ð 2ð 2ðj mnð<ð <ð <ð <ð <ð~ ijð<ð <ð <ð <ð <ð|+ð +ð +ð +ð +ðZ13ð 13ð 13ð 13ðfð ð ð ð0ð ð ð ð*ð ð ð ðð ð ð ð ð r#   r}   T)ÚfrozenÚslotsc                  ó:   — e Zd ZU dZdZded<   ed
d„¦   «         Zd	S )Ú
OnnxConfigzjSettings for ``format="onnx"``.

    Attributes:
        opset_version: ONNX opset the graph targets.
    é   r¼   Úopset_versionÚconfigr   r   c               ó4   —  | di t          |¦  «        ¤d|i¤ŽS )aß  Build the intermediate configuration a two-stage format exports through.

        TFLite and TensorRT both write an ONNX graph first and convert it. The intermediate graph inherits every
        setting the ONNX stage understands, so the artifact a two-stage export passes on is named and annotated
        exactly as a direct ``format="onnx"`` export would be.

        Args:
            config: The two-stage format's configuration.
            opset_version: ONNX opset the intermediate graph targets.

        Returns:
            The configuration for the ONNX stage.

        Examples:
            >>> OnnxConfig.derive(ExportConfig(variant_name="rfdetr-small"), opset_version=17).variant_name
            'rfdetr-small'
        r­  r   )r   )Úclsr®  r­  s      r    ÚderivezOnnxConfig.derive¦  s-   € ð& ˆsÐJÐJ•_ VÑ,Ô,ÐJÐJ¸MÐJÐJÐJÐJr#   N)r®  r   r­  r¼   r   r«  )r(   r)   r*   r+   r­  rC   Úclassmethodr±  r   r#   r    r«  r«  œ  sW   € € € € € € ðð ð €MÐÐÐÑàðKð Kð Kñ „[ðKð Kð Kr#   r«  c                  óR   — e Zd ZdZeZddiZdZdZdZ	dZ
dZdd
„Zdd„Zdd„Zdd„ZdS )ÚOnnxExporteruø  Export a prepared graph to ONNX.

    The only format with no optional runtime of its own, and the one both two-stage formats export through, so it is
    also the only one supporting a dynamic batch dimension together with embedded *notes* metadata.

    The conversion runs in three steps, each its own method: resolve the output filename, trace the graph with
    ``torch.onnx.export``, then â€” only when the caller supplied *notes* â€” reopen the written file to inject them.

    Examples:
        Requires a prepared graph, so this is documentation only (not a doctest):

        ```python
        OnnxExporter(OnnxConfig(output_dir=Path("output"), variant_name="rfdetr-small"))(graph)
        # -> PosixPath('output/rfdetr-small.onnx')
        ```
    r­  rH   ÚONNXTÚbackbone_onlyrf   r   r   c               ó:  — t          | j        j        | j        j        |rdnd¬¦  «        \  }}t	          ||t          | j        j        p| j        j        ¦  «        ¬¦  «        }t          j                             t          | j        j
        ¦  «        |› d�¦  «        S )a  Return the path the ``.onnx`` file is written to.

        Args:
            backbone_only: Whether the graph is a backbone-only export.

        Returns:
            Absolute or relative path of the ``.onnx`` file, inside the configured output directory.
        Úbackbone_modelÚinference_model)Údefault)r¶  Únamedrh   )r   r®  Úvariant_nameÚoutput_namer   rf   rv   rw   rP   r   Ú
output_dir)r   r¶  Ústemrœ  Úexport_names        r    Ú_resolve_output_filez!OnnxExporter._resolve_output_fileÖ  sŸ   € õ &ØŒKÔ$ØŒKÔ#Ø(5ÐLÐ$Ð$Ð;Lð
ñ 
ô 
‰ˆˆaõ
 -ØØ'Ý�t”{Ô/ÐJ°4´;Ô3JÑKÔKð
ñ 
ô 
ˆõ
 Œw�|Š|�C ¤Ô 6Ñ7Ô7¸KÐ9NÐ9NÐ9NÑOÔOÐOr#   r6   r   Úoutput_filer%   c                ó’  — i }dt          j        t          j        j        ¦  «        j        v rd|d<   |j        }t          j        j        |j        t          |t          j	        ¦  «        r|fnt          |¦  «        |ft          |j        ¦  «        t          |j        ¦  «        ddd| j        j        | j        j        |j        dœ|¤Ž dS )zåTrace *graph* with ``torch.onnx.export`` and write the result to *output_file*.

        Args:
            graph: The prepared model and its graph metadata.
            output_file: Destination path for the traced model.
        ÚdynamoFT)rb   Úoutput_namesÚexport_paramsÚkeep_initializers_as_inputsÚdo_constant_foldingrB   r­  Údynamic_axesN)ÚinspectÚ	signaturerz   rH   ÚexportÚ
parametersrc   r$   ry   r{   ÚtupleÚlistrb   rÅ  r®  rB   r­  rÉ  )r   r6   rÂ  Úexport_kwargsrc   s        r    Ú_tracezOnnxExporter._traceë  sÚ   € ð )+ˆØ•wÔ(­¬Ô):Ñ;Ô;ÔFÐFÐFð ',ˆM˜(Ñ#àÔ+ˆÝŒ
ÔØŒKÝ *¨=½%¼,Ñ GÔ GÐaˆ]ÐÐÍUÐS`ÑMaÔMaØð	
õ ˜UÔ.Ñ/Ô/Ý˜eÔ0Ñ1Ô1ØØ(-Ø $Ø”KÔ'Øœ+Ô3ØÔ+ð	
ð 	
ð ð	
ð 	
ð 	
ð 	
ð 	
r#   c                ó¬  — | j         j        �t          €dS t                               |¦  «        }| j         j        }t	          |t
          ¦  «        r|nt          j        |d¬¦  «        }t          d„ |j	        D ¦   «         d¦  «        }|�||_
        n'|j	                             ¦   «         }d|_        ||_
        t                               ||¦  «         dS )a£  Write the configured *notes* into the already-exported file's ``rfdetr_notes`` metadata property.

        ``torch.onnx.export`` writes to disk only and hands back no in-memory handle, so the model is reloaded and
        resaved (~1-2 s on large models). Does nothing when no notes were supplied, or when ``onnx`` is unavailable.

        Args:
            output_file: Path of the exported model to annotate.
        NF)Ú	allow_nanc              3  ó0   K  — | ]}|j         d k    ¯|V — ŒdS )Úrfdetr_notesN)Úkey)rm   Úprops     r    ú	<genexpr>z,OnnxExporter._embed_notes.<locals>.<genexpr>  s/   è è € ÐbÐb $ÀtÄxÐSaÒGaÐGa˜ÐGaÐGaÐGaÐGaÐbÐbr#   rÕ  )r®  ÚnotesrH   r!   ry   r   ÚjsonÚdumpsÚnextÚmetadata_propsr»   ÚaddrÖ  r'   )r   rÂ  Ú
onnx_modelrÙ  Únotes_valueÚexistingÚmetas          r    Ú_embed_noteszOnnxExporter._embed_notes  sÊ   € ð Œ;ÔÐ$­¨ØˆFÝ—Y’Y˜{Ñ+Ô+ˆ
ð ”Ô!ˆÝ)¨%µÑ5Ô5Ð]�e�e½4¼:ÀeÐW\Ð;]Ñ;]Ô;]ˆÝÐbÐb¨*Ô*CÐbÑbÔbÐdhÑiÔiˆØÐØ(ˆHŒNˆNàÔ,×0Ò0Ñ2Ô2ˆDØ%ˆDŒHØ$ˆDŒJÝ�	Š	�*˜kÑ*Ô*Ð*Ð*Ð*r#   c                ó,  — t          j        | j        j        d¬¦  «         |                      |j        ¬¦  «        }t          j        t          | j        j        ¦  «        d¬¦  «         |                      ||¦  «         |                      |¦  «         |S )z-Write the ``.onnx`` file and return its path.T)Úexist_ok)r¶  )	rv   Úmakedirsr®  r¾  rÁ  r¶  r   rÑ  rã  )r   r6   rÂ  s      r    Ú_convertzOnnxExporter._convert!  s‡   € å
Œ�D”KÔ*°TÐ:Ñ:Ô:Ð:Ø×/Ò/¸eÔ>QÐ/ÑRÔRˆõ 	Œ•C˜œÔ.Ñ/Ô/¸$Ð?Ñ?Ô?Ð?Ø�Š�E˜;Ñ'Ô'Ð'Ø×Ò˜+Ñ&Ô&Ð&ØÐr#   N)r¶  rf   r   r   )r6   r   rÂ  r   r   r%   )rÂ  r   r   r%   )r6   r   r   r   )r(   r)   r*   r+   r«  Úconfig_classÚsetting_namesÚformatÚdisplay_nameÚsupports_dynamic_batchÚsupports_notesÚ	pip_extrarÁ  rÑ  rã  rç  r   r#   r    r´  r´  ¼  s�   € € € € € ðð ð" €LØ$ oÐ6€MØ€FØ€LØ!ÐØ€NØ€IðPð Pð Pð Pð*
ð 
ð 
ð 
ð:+ð +ð +ð +ð2	ð 	ð 	ð 	ð 	ð 	r#   r´  )rL   rM   r   rN   )rS   rT   rU   r   r   r   )r   rX   r§  )
ra   r   rb   rM   rc   rd   re   rf   r   r   )>r+   Ú
__future__r   rÊ  rÚ  rv   Úcollectionsr   Úcollections.abcr   Úcopyr   Údataclassesr   r   Útypingr	   r
   r   r   rl   rð   rz   Úrfdetr.export._namingr   r   Úrfdetr.export._onnx.symbolicr   Úrfdetr.export.baser   r   r   Úrfdetr.export.preparer   Úrfdetr.utilities.loggerr   r   r   r-   r3   r:   rE   rC   rH   r“   rI   r’   rN   rZ   r[   Úonnx_graphsurgeon.logger.loggerrJ   Úpolygraphy.backend.onnx.loaderrK   r|   rR   rW   r`   rˆ   r}   r«  r´  r   r#   r    ú<module>rü     sj  ðð 6Ð 5Ð 5à "Ð "Ð "Ð "Ð "Ð "à €€€Ø €€€Ø 	€	€	€	Ø #Ð #Ð #Ð #Ð #Ð #Ø $Ð $Ð $Ð $Ð $Ð $Ø Ð Ð Ð Ð Ð Ø !Ð !Ð !Ð !Ð !Ð !Ø Ð Ð Ð Ð Ð Ø /Ð /Ð /Ð /Ð /Ð /Ð /Ð /Ð /Ð /Ð /Ð /à Ð Ð Ð Ø €€€à MÐ MÐ MÐ MÐ MÐ MÐ MÐ MØ AÐ AÐ AÐ AÐ AÐ AØ FÐ FÐ FÐ FÐ FÐ FÐ FÐ FÐ FÐ FØ -Ð -Ð -Ð -Ð -Ð -Ø .Ð .Ð .Ð .Ð .Ð .àˆw�~Ñ&Ô&€ð	ð 	ð 	ð 	ð 	�(ñ 	ô 	ð 	ðð ð ð ð ˜Hñ ô ð ð	ð 	ð 	ð 	ð 	˜(ñ 	ô 	ð 	ðð ð ð ð ˜(ñ ô ð ðð ð ð ð �Xñ ô ð ð Ð Ð Ñ Ø -Ð -Ð -Ñ -ðDØÐÐÐØ8Ð8Ð8Ð8Ð8Ð8ð
 ˆ4�˜UÑ#Ô#€DØ�dÐ0Ð2BÑCÔC€O€Oøð ð ð ð Ø€DØ€O€O€OðøøøðØ"Ð"Ð"Ð"Ø8Ð8Ð8Ð8Ð8Ð8Ð8øØð ð ð Ø	€BØ€H€H€HðøøøðØ=Ð=Ð=Ð=Ð=Ð=Ð=øØð ð ð Ø€N€N€Nðøøøð 
ˆ‰Œ€ðxð xð xð xðð ð ð ðð ð ð ðF ð	(ð (ð (ð (ð (ð`Hð Hð Hð Hð Hñ Hô Hð HðV €�$˜dÐ#Ñ#Ô#ðKð Kð Kð Kð K�ñ Kô Kñ $Ô#ðKð>nð nð nð nð n�8˜JÔ'ñ nô nð nð nð ns6   Ã
C+ Ã+	C7Ã6C7Ã;
D Ä	DÄDÄD ÄD'Ä&D'