§
    “©ºjL  ã                   ó´  — d Z ddlZddlZddlmZ ddlmZ ddlZddlm	Z	 ddl
m	c mZ ddlmZ ddlmZ ddlmZ ddlmZmZ dd	lmZ  ed
¦  «        Z eed¦  «        r eed¦  «        sej        e_         G d„ de	j        ¦  «        Z G d„ de	j        ¦  «        Z G d„ de¦  «        Z G d„ d¦  «        Zdede eef         fd„Z! G d„ de¦  «        Z"dS )zžDemo of a simple transformer language model.

Code is adapted from the PyTorch examples at
https://github.com/pytorch/examples/blob/main/word_language_model

é    N)ÚPath)ÚOptional)ÚRequirementCache)ÚTensor)ÚMultiheadAttention)Ú
DataLoaderÚDataset)ÚLightningModuleÚrequestsÚ_reset_parametersÚreset_parametersc                   ó€   ‡ — e Zd Z	 	 	 	 	 	 ddedededed	ed
eddfˆ fd„Zdedefd„Zddededee         defd„Z	ˆ xZ
S )ÚTransformeréþ�  éÈ   é   çš™™™™™É?Ú
vocab_sizeÚninpÚnheadÚnhidÚnlayersÚdropoutÚreturnNc           	      óD  •— t          ¦   «                              ¦   «          t          ||¦  «        | _        t	          j        ||¦  «        | _        t	          j        ||||||d¬¦  «        | _        t	          j	        ||¦  «        | _
        || _        || _        d | _        d S )NT)Úd_modelr   Únum_encoder_layersÚnum_decoder_layersÚdim_feedforwardr   Úbatch_first)ÚsuperÚ__init__ÚPositionalEncodingÚpos_encoderÚnnÚ	EmbeddingÚ	embeddingr   ÚtransformerÚLinearÚdecoderr   r   Úsrc_mask)Úselfr   r   r   r   r   r   Ú	__class__s          €ús/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/pytorch_lightning/demos/transformer.pyr"   zTransformer.__init__    sœ   ø€ õ 	‰Œ×ÒÑÔÐÝ-¨d°GÑ<Ô<ˆÔÝœ j°$Ñ7Ô7ˆŒÝœ>ØØØ&Ø&Ø ØØð
ñ 
ô 
ˆÔõ ”y  zÑ2Ô2ˆŒàˆŒ	Ø$ˆŒØ*.ˆŒˆˆó    Úsizec                 óú   — t          j        t          j        ||¦  «        d¬¦  «        }|                     ¦   «                              |dk    t          d¦  «        ¦  «                             |dk    d¦  «        }|S )zQGenerate a square mask for the sequence to prevent future tokens from being seen.é   )Údiagonalz-infr   g        )ÚtorchÚtriuÚonesÚfloatÚmasked_fill)r,   r0   Úmasks      r.   Úgenerate_square_subsequent_maskz+Transformer.generate_square_subsequent_mask;   sd   € åŒz�%œ* T¨4Ñ0Ô0¸1Ð=Ñ=Ô=ˆØ�zŠz‰|Œ|×'Ò'¨°ª	µ5¸±=´=ÑAÔA×MÒMÈdÐVWÊiÐY\Ñ]Ô]ˆØˆr/   ÚinputsÚtargetr9   c                 óê  — |j         \  }}| j        �| j                             d¦  «        |k    r2|                      |¦  «                             |j        ¦  «        | _        |€-|                      |¦  «                             |j        ¦  «        }|                      |                      |¦  «        t          j	        | j
        ¦  «        z  ¦  «        }|                      |                      |¦  «        t          j	        | j
        ¦  «        z  ¦  «        }|                      |||¬¦  «        }|                      |¦  «        }t          j        |d¬¦  «        }|                     d| j        ¦  «        }|S )Nr   )Útgt_maskéÿÿÿÿ)Údim)Úshaper+   r0   r:   ÚtoÚdevicer$   r'   ÚmathÚsqrtr   r(   r*   ÚFÚlog_softmaxÚviewr   )r,   r;   r<   r9   Ú_ÚtÚsrcÚoutputs           r.   ÚforwardzTransformer.forwardA   s9  € ØŒ|‰ˆˆ1ð Œ=Ð  D¤M×$6Ò$6°qÑ$9Ô$9¸QÒ$>Ð$>Ø ×@Ò@ÀÑCÔC×FÒFÀvÄ}ÑUÔUˆDŒMð ˆ<Ø×7Ò7¸Ñ:Ô:×=Ò=¸f¼mÑLÔLˆDà×Ò˜tŸ~š~¨fÑ5Ô5½¼	À$Ä)Ñ8LÔ8LÑLÑMÔMˆØ×!Ò! $§.¢.°Ñ"8Ô"8½4¼9ÀTÄYÑ;OÔ;OÑ"OÑPÔPˆØ×!Ò! # v¸Ð!Ñ=Ô=ˆØ—’˜fÑ%Ô%ˆÝ”˜v¨2Ð.Ñ.Ô.ˆØ—’˜R ¤Ñ1Ô1ˆØˆr/   )r   r   r   r   r   r   ©N)Ú__name__Ú
__module__Ú__qualname__Úintr7   r"   r   r:   r   rM   Ú__classcell__©r-   s   @r.   r   r      s÷   ø€ € € € € ð  ØØØØØð/ð /àð/ð ð/ð ð	/ð
 ð/ð ð/ð ð/ð 
ð/ð /ð /ð /ð /ð /ð6°Cð ¸Fð ð ð ð ðð ˜fð ¨fð ¸HÀVÔ<Lð ÐX^ð ð ð ð ð ð ð ð r/   r   c            	       ó\   ‡ — e Zd Zddedededdfˆ fd„Zd	edefd
„Zdej	        defd„Z
ˆ xZS )r#   çš™™™™™¹?éˆ  r@   r   Úmax_lenr   Nc                 ó¦   •— t          ¦   «                              ¦   «          t          j        |¬¦  «        | _        || _        || _        d | _        d S )N)Úp)r!   r"   r%   ÚDropoutr   r@   rX   Úpe)r,   r@   r   rX   r-   s       €r.   r"   zPositionalEncoding.__init__V   sF   ø€ Ý‰Œ×ÒÑÔÐÝ”z GÐ,Ñ,Ô,ˆŒØˆŒØˆŒØ$(ˆŒˆˆr/   Úxc                 óÈ   — | j         € |                      |j        ¬¦  «        | _         || j         d d …|                     d¦  «        f         z   }|                      |¦  «        S )N©rC   r2   )r\   Ú_init_pos_encodingrC   r0   r   )r,   r]   s     r.   rM   zPositionalEncoding.forward]   sX   € ØŒ7ˆ?ð ×-Ò-°Q´XÐ-Ñ>Ô>ˆDŒGà�”˜˜˜˜1Ÿ6š6 !™9œ9˜Ô%Ñ%ˆØ�|Š|˜A‰ŒÐr/   rC   c                 ó(  — t          j        | j        | j        |¬¦  «        }t          j        d| j        t           j        |¬¦  «                             d¦  «        }t          j        t          j        d| j        d|¬¦  «                             ¦   «         t          j	        d¦  «         | j        z  z  ¦  «        }t          j
        ||z  ¦  «        |d d …dd d…f<   t          j        ||z  ¦  «        |d d …dd d…f<   |                     d¦  «        }|S )Nr_   r   )ÚdtyperC   r2   r   g     ˆÃ@)r4   ÚzerosrX   r@   Úaranger7   Ú	unsqueezeÚexprD   ÚlogÚsinÚcos)r,   rC   r\   ÚpositionÚdiv_terms        r.   r`   z%PositionalEncoding._init_pos_encodingg   sõ   € ÝŒ[˜œ t¤x¸Ð?Ñ?Ô?ˆÝ”<  4¤<µu´{È6ÐRÑRÔR×\Ò\Ð]^Ñ_Ô_ˆÝ”9�Uœ\¨!¨T¬X°qÀÐHÑHÔH×NÒNÑPÔPÕUYÔU]Ð^eÑUfÔUfÐTfÐimÔiqÑTqÑrÑsÔsˆÝ”i ¨8Ñ 3Ñ4Ô4ˆˆ1ˆ1ˆ1ˆaˆd�ˆdˆ7‰Ý”i ¨8Ñ 3Ñ4Ô4ˆˆ1ˆ1ˆ1ˆaˆd�ˆdˆ7‰Ø�\Š\˜!‰_Œ_ˆØˆ	r/   )rV   rW   )rO   rP   rQ   rR   r7   r"   r   rM   r4   rC   r`   rS   rT   s   @r.   r#   r#   U   s¤   ø€ € € € € ð)ð )˜Cð )¨%ð )Àð )Ètð )ð )ð )ð )ð )ð )ð˜ð  Fð ð ð ð ð¨¬ð ¸&ð ð ð ð ð ð ð ð r/   r#   c            	       ó¶   ‡ — e Zd ZdZ ed¦  «        ddfdedededd	fˆ fd
„Zedefd„¦   «         Z	defd„Z
dedeeef         fd„Zededd	fd„¦   «         Zˆ xZS )Ú	WikiText2zMini version of WikiText2.z./dataé#   TÚdata_dirÚ
block_sizeÚdownloadr   Nc                 óä   •— t          ¦   «                              ¦   «          |dz  | _        |r|                      | j        ¦  «         t	          | j        ¦  «        \  | _        | _        || _        d S )Nzwikitext-2.txt)r!   r"   Úpathrq   ÚtokenizeÚdataÚ
dictionaryrp   )r,   ro   rp   rq   r-   s       €r.   r"   zWikiText2.__init__t   se   ø€ Ý‰Œ×ÒÑÔÐØÐ/Ñ/ˆŒ	Øð 	%Ø�MŠM˜$œ)Ñ$Ô$Ð$Ý%-¨d¬iÑ%8Ô%8Ñ"ˆŒ	�4”?Ø$ˆŒˆˆr/   c                 ó*   — t          | j        ¦  «        S rN   )Úlenrv   ©r,   s    r.   r   zWikiText2.vocab_size|   s   € å�4”?Ñ#Ô#Ð#r/   c                 ó@   — t          | j        ¦  «        | j        z  dz
  S ©Nr2   )rx   ru   rp   ry   s    r.   Ú__len__zWikiText2.__len__€   s   € Ý�4”9‰~Œ~ ¤Ñ0°1Ñ4Ð4r/   Úindexc                 óz   — || j         z  }|| j         z   }| j        ||…         }| j        |dz   |dz   …         }||fS r{   )rp   ru   )r,   r}   ÚstartÚendr;   r<   s         r.   Ú__getitem__zWikiText2.__getitem__ƒ   sM   € Ø˜œÑ'ˆØ�d”oÑ%ˆØ”˜5 ˜9Ô%ˆØ”˜E A™I¨#°©'Ð2Ô3ˆØ�vˆ~Ðr/   Údestinationc                 ó†  — t           s!t          t          t           ¦  «        ¦  «        ‚dd l}t	          j        | j        d¬¦  «         d}t          j                             | ¦  «        rd S t          | d¦  «        5 }| 
                    |                     |¦  «        j        ¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )Nr   T)Úexist_okzehttps://raw.githubusercontent.com/pytorch/examples/main/word_language_model/data/wikitext-2/train.txtÚw)Ú_REQUESTS_AVAILABLEÚModuleNotFoundErrorÚstrr   ÚosÚmakedirsÚparentrs   ÚexistsÚopenÚwriteÚgetÚtext)r‚   r   ÚurlÚfs       r.   rq   zWikiText2.downloadŠ   sõ   € å"ð 	@Ý%¥cÕ*=Ñ&>Ô&>Ñ?Ô?Ð?àˆˆˆå
Œ�KÔ&°Ð6Ñ6Ô6Ð6ØuˆÝŒ7�>Š>˜+Ñ&Ô&ð 	ØˆFÝ�+˜sÑ#Ô#ð 	, qØ�GŠG�H—L’L Ñ%Ô%Ô*Ñ+Ô+Ð+ð	,ð 	,ð 	,ñ 	,ô 	,ð 	,ð 	,ð 	,ð 	,ð 	,ð 	,ð 	,øøøð 	,ð 	,ð 	,ð 	,ð 	,ð 	,s   Á;.B6Â6B:Â=B:)rO   rP   rQ   Ú__doc__r   rR   Úboolr"   Úpropertyr   r|   Útupler   r�   Ústaticmethodrq   rS   rT   s   @r.   rm   rm   q   s  ø€ € € € € Ø$Ð$à(,¨¨X©¬È"Ð_cð %ð % ð %ÀCð %ÐX\ð %Ðhlð %ð %ð %ð %ð %ð %ð ð$˜Cð $ð $ð $ñ „Xð$ð5˜ð 5ð 5ð 5ð 5ð ð ¨¨v°v¨~Ô)>ð ð ð ð ð ð,˜dð , tð ,ð ,ð ,ñ „\ð,ð ,ð ,ð ,ð ,r/   rm   c                   ó2   — e Zd Zdd„Zdedefd„Zdefd„ZdS )Ú
Dictionaryr   Nc                 ó"   — i | _         g | _        d S rN   )Úword2idxÚidx2wordry   s    r.   r"   zDictionary.__init__š   s   € Ø(*ˆŒØ#%ˆŒˆˆr/   Úwordc                 ó    — || j         vr9| j                             |¦  «         t          | j        ¦  «        dz
  | j         |<   | j         |         S r{   )r›   rœ   Úappendrx   )r,   r�   s     r.   Úadd_wordzDictionary.add_wordž   sM   € Ø�t”}Ð$Ð$ØŒM× Ò  Ñ&Ô&Ð&Ý"% d¤mÑ"4Ô"4°qÑ"8ˆDŒM˜$ÑØŒ}˜TÔ"Ð"r/   c                 ó*   — t          | j        ¦  «        S rN   )rx   rœ   ry   s    r.   r|   zDictionary.__len__¤   s   € Ý�4”=Ñ!Ô!Ð!r/   ©r   N)rO   rP   rQ   r"   rˆ   rR   r    r|   © r/   r.   r™   r™   ™   se   € € € € € ð&ð &ð &ð &ð#˜Sð # Sð #ð #ð #ð #ð"˜ð "ð "ð "ð "ð "ð "r/   r™   rs   r   c                 ó¶  — t          ¦   «         }t          j                             | ¦  «        sJ ‚t	          | d¬¦  «        5 }|D ]4}|                     ¦   «         dgz   }|D ]}|                     |¦  «         ŒŒ5	 d d d ¦  «         n# 1 swxY w Y   t	          | d¬¦  «        5 }g }|D ]…}|                     ¦   «         dgz   }g }|D ]"}|                     |j        |         ¦  «         Œ#|                     t          j
        |¦  «                             t          j        ¦  «        ¦  «         Œ†	 d d d ¦  «         n# 1 swxY w Y   t          j        |¦  «        |fS )NÚutf8)Úencodingz<eos>)r™   r‰   rs   rŒ   r�   Úsplitr    rŸ   r›   r4   ÚtensorÚtypeÚint64Úcat)rs   rv   r’   ÚlineÚwordsr�   ÚidssÚidss           r.   rt   rt   ¨   sæ  € Ý‘”€JåŒ7�>Š>˜$ÑÔÐÐÐå	ˆd˜VÐ	$Ñ	$Ô	$ð *¨Øð 	*ð 	*ˆDØ—J’J‘L”L G 9Ñ,ˆEØð *ð *�Ø×#Ò# DÑ)Ô)Ð)Ð)ð*ð	*ð*ð *ð *ñ *ô *ð *ð *ð *ð *ð *ð *øøøð *ð *ð *ð *õ 
ˆd˜VÐ	$Ñ	$Ô	$ð =¨ØˆØð 	=ð 	=ˆDØ—J’J‘L”L G 9Ñ,ˆEØˆCØð 6ð 6�Ø—
’
˜:Ô.¨tÔ4Ñ5Ô5Ð5Ð5Ø�KŠK�œ SÑ)Ô)×.Ò.­u¬{Ñ;Ô;Ñ<Ô<Ð<Ð<ð	=ð=ð =ð =ñ =ô =ð =ð =ð =ð =ð =ð =øøøð =ð =ð =ð =õ Œ9�T‰?Œ?˜JÐ&Ð&s%   Á8BÂB
ÂB
Â"BD:Ä:D>ÅD>c                   ó–   ‡ — e Zd Zddeddfˆ fd„Zdededefd„Zd	eeef         d
edefd„Zde	j
        j        fd„Zdd„Zdefd„Zˆ xZS )ÚLightningTransformerr   r   r   Nc                 ór   •— t          ¦   «                              ¦   «          t          |¬¦  «        | _        d S )N)r   )r!   r"   r   Úmodel)r,   r   r-   s     €r.   r"   zLightningTransformer.__init__Á   s/   ø€ Ý‰Œ×ÒÑÔÐÝ ¨JÐ7Ñ7Ô7ˆŒ
ˆ
ˆ
r/   r;   r<   c                 ó.   — |                       ||¦  «        S rN   )r³   )r,   r;   r<   s      r.   rM   zLightningTransformer.forwardÅ   s   € Ø�zŠz˜& &Ñ)Ô)Ð)r/   ÚbatchÚ	batch_idxc                 ó˜   — |\  }} | ||¦  «        }t           j        j                             ||                     d¦  «        ¦  «        }|S )Nr?   )r4   r%   Ú
functionalÚnll_lossrH   )r,   rµ   r¶   r;   r<   rL   Úlosss          r.   Útraining_stepz"LightningTransformer.training_stepÈ   sE   € Ø‰ˆ�Ø��f˜fÑ%Ô%ˆÝŒxÔ"×+Ò+¨F°F·K²KÀ±O´OÑDÔDˆØˆr/   c                 ór   — t           j                             | j                             ¦   «         d¬¦  «        S )NrV   )Úlr)r4   ÚoptimÚSGDr³   Ú
parametersry   s    r.   Úconfigure_optimizersz)LightningTransformer.configure_optimizersÎ   s(   € ÝŒ{�Š˜tœz×4Ò4Ñ6Ô6¸3ˆÑ?Ô?Ð?r/   c                 ó&   — t          d¬¦  «         d S )NT)rq   )rm   ry   s    r.   Úprepare_dataz!LightningTransformer.prepare_dataÑ   s   € Ý˜4Ð Ñ Ô Ð Ð Ð r/   c                 ó<   — t          ¦   «         }t          |¦  «        S rN   )rm   r   )r,   Údatasets     r.   Útrain_dataloaderz%LightningTransformer.train_dataloaderÔ   s   € Ý‘+”+ˆÝ˜'Ñ"Ô"Ð"r/   )r   r¢   )rO   rP   rQ   rR   r"   r   rM   r–   r»   r4   r¾   Ú	OptimizerrÁ   rÃ   r   rÆ   rS   rT   s   @r.   r±   r±   À   sÿ   ø€ € € € € ð8ð 8 3ð 8°4ð 8ð 8ð 8ð 8ð 8ð 8ð*˜fð *¨fð *¸ð *ð *ð *ð *ð 5¨°¨Ô#8ð ÀSð ÈVð ð ð ð ð@ e¤kÔ&;ð @ð @ð @ð @ð!ð !ð !ð !ð# *ð #ð #ð #ð #ð #ð #ð #ð #r/   r±   )#r“   rD   r‰   Úpathlibr   Útypingr   r4   Útorch.nnr%   Útorch.nn.functionalr¸   rF   Ú lightning_utilities.core.importsr   r   Útorch.nn.modulesr   Útorch.utils.datar   r	   Úpytorch_lightningr
   r†   Úhasattrr   r   ÚModuler   r#   rm   r™   r–   rt   r±   r£   r/   r.   ú<module>rÒ      s5  ððð ð €€€Ø 	€	€	€	Ø Ð Ð Ð Ð Ð Ø Ð Ð Ð Ð Ð à €€€Ø Ð Ð Ð Ð Ð Ø Ð Ð Ð Ð Ð Ð Ð Ð Ø =Ð =Ð =Ð =Ð =Ð =Ø Ð Ð Ð Ð Ð Ø /Ð /Ð /Ð /Ð /Ð /Ø 0Ð 0Ð 0Ð 0Ð 0Ð 0Ð 0Ð 0à -Ð -Ð -Ð -Ð -Ð -à&Ð& zÑ2Ô2Ð ð €7ÐÐ2Ñ3Ô3ð O¸G¸GÐDVÐXjÑ<kÔ<kð Oà*<Ô*NÐÔ'ð3ð 3ð 3ð 3ð 3�"”)ñ 3ô 3ð 3ðlð ð ð ð ˜œñ ô ð ð8%,ð %,ð %,ð %,ð %,�ñ %,ô %,ð %,ðP"ð "ð "ð "ð "ñ "ô "ð "ð'�4ð '˜E &¨*Ð"4Ô5ð 'ð 'ð 'ð 'ð0#ð #ð #ð #ð #˜?ñ #ô #ð #ð #ð #r/   