§
    9²¸jZ  ã            	       ó  — d Z ddlZd\  ZZZZedededediZeded	ed
ediZej        fdej	        de
dej        dej	        fd„Zdej	        de
dej	        fd„Zdej	        deej	        ej	        f         fd„Zdej	        deej	        ej	        f         fd„Zdej	        dej        dej	        fd„Zdej	        dej        dej	        fd„Zdej	        dej        dej	        fd„Zdej	        dej        dej	        fd„ZeeeeeeeeiZdS )z(Dequantizing GGUF blocks with torch ops.é    N)é   é   é   é   )é    é"   )é   é�   )r	   é°   )r	   éÒ   ÚQ8_0ÚQ4_KÚQ5_KÚQ6_KÚdataÚ	ggml_typeÚdtypeÚreturnc                 ó”  — |t           vrYd                     d„ t          t                               ¦   «         ¦  «        D ¦   «         ¦  «        }t          d|› d|› d�¦  «        ‚t           |         \  }}|                      d|¦  «        }t          |         ||¦  «        }|                     d¦  «        d|j        d         |z  …         S )	z2Flat `uint8` GGUF bytes -> flat values of `dtype`.z, c              3   ó,   K  — | ]\  }}|› d |› d�V — ŒdS )z (ú)N© )Ú.0Útype_idÚnames      úv/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/transformers/integrations/gguf/dequant.pyú	<genexpr>zdequantize.<locals>.<genexpr>%   s7   è è € ÐcÐc¹¸À Ð3Ð3¨Ð3Ð3Ð3ÐcÐcÐcÐcÐcÐcó    z
ggml type z2 is not supported yet. Supported quantized types: ú.éÿÿÿÿNr   )	Ú
GGML_BLOCKÚjoinÚsortedÚ	GGML_NAMEÚitemsÚ
ValueErrorÚreshapeÚ_DEQUANTÚshape)r   r   r   Ú	supportedÚblock_elemsÚblock_bytesÚblocksÚvaluess           r   Ú
dequantizer/   "   sÃ   € à�
Ð"Ð"Ø—I’IÐcÐcÍÕPY×P_ÒP_ÑPaÔPaÑIbÔIbÐcÑcÔcÑcÔcˆ	ÝÐo iÐoÐoÐclÐoÐoÐoÑpÔpÐpÝ)¨)Ô4Ñ€K�Ø�\Š\˜"˜kÑ*Ô*€FÝ�iÔ  ¨Ñ/Ô/€FØ�>Š>˜"ÑÔÐ= ¤¨Q¤°+Ñ =Ð=Ô>Ð>r   r-   Ústartc                 ó¦   — | dd…||dz   …f                               ¦   «                              t          j        ¦  «                             ¦   «         S )z3Read one fp16 scalar per block, as (nb, 1) float32.Né   )Ú
contiguousÚviewÚtorchÚfloat16Úfloat)r-   r0   s     r   Ú_halfr8   -   sG   € à�!�!�!�U˜U Q™YÐ&Ð&Ô'×2Ò2Ñ4Ô4×9Ò9½%¼-ÑHÔH×NÒNÑPÔPÐPr   Úscalesc                 ó¦  — |                       ¦   «         }t          j        |dd…dd…f         dz  |dd…dd…f         dz  |dd…dd…f         dz	  dz  z  gd	¬
¦  «        }t          j        |dd…dd…f         dz  |dd…dd…f         dz	  |dd…dd…f         dz	  dz  z  gd	¬
¦  «        }|                     ¦   «         |                     ¦   «         fS )z[Unpack the 12 bytes of 6-bit scales/mins shared by Q4_K and Q5_K (ggml's get_scale_min_k4).Né   é?   r   r   é   r   é   é   ©Údim)Úintr5   Úcatr7   )r9   ÚqÚscaleÚminimums       r   Ú	_k_scalesrG   2   sí   € à�
Š
‰Œ€AÝŒI�q˜˜˜˜B˜Q˜B˜”x "‘} q¨¨¨¨A¨b¨D¨¤z°CÑ'7¸Q¸q¸q¸qÀ!ÀAÀ#¸v¼YÈ!¹^ÐPQÑ<QÑ&RÐSÐYZÐ[Ñ[Ô[€EÝŒi˜˜1˜1˜1˜a ˜c˜6œ R™¨!¨A¨A¨A¨q°¨t¨G¬*¸©/¸qÀÀÀÀAÀaÀCÀ¼yÈA¹~ÐRSÑ>SÑ)TÐUÐ[\Ð]Ñ]Ô]€GØ�;Š;‰=Œ=˜'Ÿ-š-™/œ/Ð)Ð)r   Úqsc                 óD   — |                       ddd¦  «        }|dz  |dz	  fS )zN(nb, 128) nibble bytes -> low/high nibbles as (nb, 4, 32) each, still `uint8`.r    r;   r   r=   )r'   )rH   rD   s     r   Ú_interleave_nibblesrJ   :   s)   € à
�
Š
�2�q˜"ÑÔ€AØˆs‰7�A˜‘Fˆ?Ðr   c                 óò   — t          | d¦  «                             |¦  «        }| d d …dd…f                              ¦   «                              t          j        ¦  «                             |¦  «        }||z  S )Nr   r2   r   )r8   Útor3   r4   r5   Úint8)r-   r   ÚdrH   s       r   Ú_dequant_q8_0rO   @   sg   € Ýˆf�aÑÔ×Ò˜EÑ"Ô"€AØ	����1�R�4�Œ×	#Ò	#Ñ	%Ô	%×	*Ò	*­5¬:Ñ	6Ô	6×	9Ò	9¸%Ñ	@Ô	@€BØˆr‰6€Mr   c                 óº  — t          | d¦  «        t          | d¦  «        }}t          | d d …dd…f         ¦  «        \  }}t          | d d …dd…f         ¦  «        \  }}t          j        ||gd¬¦  «                             ddd	¦  «                             |¦  «        }||z                       |¦  «        d
         |z  ||z                       |¦  «        d
         z
  S )Nr   r2   r;   é   r
   r@   r    r   r   ©.N)r8   rG   rJ   r5   Ústackr'   rL   )	r-   r   rN   ÚdminrE   rF   ÚlowÚhighrD   s	            r   Ú_dequant_q4_krW   F   sÖ   € Ý�F˜AÑÔ¥ f¨aÑ 0Ô 0€t€AÝ˜v a a a¨¨2¨ gœÑ/Ô/�N€Eˆ7Ý# F¨1¨1¨1¨b°¨f¨9Ô$5Ñ6Ô6�I€CˆÝŒ�S˜$�K QÐ'Ñ'Ô'×/Ò/°°A°rÑ:Ô:×=Ò=¸eÑDÔD€AØ�‰I�>Š>˜%Ñ Ô  Ô+¨aÑ/°4¸'±>×2EÒ2EÀeÑ2LÔ2LÈYÔ2WÑWÐWr   c                 ó¶  — t          | d¦  «        t          | d¦  «        }}t          | d d …dd…f         ¦  «        \  }}| d d …dd…f                              d¦  «        }t          | d d …dd…f         ¦  «        \  }}t	          j        d| j        t          j        ¬¦  «                             ddd¦  «        dz  }	|||	z	  dz  dz  z   }|||	dz   z	  dz  dz  z   }t	          j	        ||gd¬	¦  «                             d
dd¦  «         
                    |¦  «        }
||z   
                    |¦  «        d         |
z  ||z   
                    |¦  «        d         z
  S )Nr   r2   r;   rQ   é0   r?   r   )Údevicer   r@   r    r   r   rR   )r8   rG   Ú	unsqueezerJ   r5   ÚarangerZ   Úuint8r'   rS   rL   )r-   r   rN   rT   rE   rF   ÚqhrU   rV   ÚshiftrD   s              r   Ú_dequant_q5_kr`   N   sc  € Ý�F˜AÑÔ¥ f¨aÑ 0Ô 0€t€AÝ˜v a a a¨¨2¨ gœÑ/Ô/�N€Eˆ7Ø	����2�b�5�Ô	×	#Ò	# AÑ	&Ô	&€BÝ# F¨1¨1¨1¨b°¨f¨9Ô$5Ñ6Ô6�I€CˆÝŒL˜ 6¤=½¼ÐDÑDÔD×LÒLÈQÐPQÐSTÑUÔUÐXYÑY€EØ
�"˜‘+ Ñ" bÑ(Ñ
(€CØ�B˜5 1™9Ñ%¨Ñ*¨bÑ0Ñ0€DÝŒ�S˜$�K QÐ'Ñ'Ô'×/Ò/°°A°rÑ:Ô:×=Ò=¸eÑDÔD€AØ�‰I�>Š>˜%Ñ Ô  Ô+¨aÑ/°4¸'±>×2EÒ2EÀeÑ2LÔ2LÈYÔ2WÑWÐWr   c                 óž  — t          | d¦  «        }| d d …dd…f         | d d …dd…f         }}| d d …dd…f                              ¦   «                              t          j        ¦  «                             ¦   «         }t          j        d| j        ¬¦  «        dz  }g }t          d¦  «        D �]}|d d …|d	z  |d	z  dz   …f         |d d …|d	z  dz   |d
z   d	z  …f         }
}	|d d …|dz  |d
z   dz  …f         |d d …|dz  |d
z   dz  …f         }}|	dz  |dz  dz  z  |
dz  |dz	  dz  dz  z  |	dz	  |dz	  dz  dz  z  |
dz	  |dz	  dz  dz  z  g}t          |¦  «        D ][\  }}||d d …|d|z  z   f         z   
                    |¦  «        }|                     || 
                    |¦  «        dz
  z  ¦  «         Œ\�Œt          j        |d
¬¦  «        S )NéÐ   r   é€   éÀ   r   )rZ   rQ   r2   é@   r?   r   r=   é   r;   r>   r@   )r8   r3   r4   r5   rM   r7   r\   rZ   ÚrangeÚ	enumeraterL   ÚappendrC   )r-   r   rN   Úqlr^   r9   ÚwhichÚoutÚhalfÚloÚhiÚhÚscÚquantsÚquarterrD   rE   s                    r   Ú_dequant_q6_krt   Z   s<  € Ýˆf�cÑÔ€AØ�A�A�A�q˜�u�HÔ˜v a a a¨¨S¨ jÔ1ˆ€BØ�A�A�A�s˜3�w�JÔ×*Ò*Ñ,Ô,×1Ò1µ%´*Ñ=Ô=×CÒCÑEÔE€FåŒL˜ F¤MÐ2Ñ2Ô2°bÑ8€EØ
€CÝ�a‘”ð 3ñ 3ˆØ�A�A�A�t˜b‘y 4¨"¡9¨r¡>Ð1Ð1Ô2°B°q°q°q¸$À¹)Àb¹.ÈDÐSTÉHÐXZÉ?Ð:ZÐ7ZÔ4[ˆBˆØ�1�1�1�d˜R‘i 4¨!¡8¨r¡/Ð1Ð1Ô2°F¸1¸1¸1¸dÀQ¹hÈ$ÐQRÉ(ÐVWÉÐ>WÐ;WÔ4Xˆ2ˆà�#‰X˜1˜q™5 Q™,Ñ'Ø�#‰X˜A ™F a™<¨AÑ-Ñ.Ø�1‰W˜1 ™6 Q™,¨1Ñ,Ñ-Ø�1‰W˜1 ™6 Q™,¨1Ñ,Ñ-ð	
ˆõ $ FÑ+Ô+ð 	3ð 	3‰JˆG�QØ˜˜A˜A˜A˜u q¨7¡{Ñ2Ð2Ô3Ñ3×7Ò7¸Ñ>Ô>ˆEØ�JŠJ�u §¢ U¡¤¨bÑ 0Ñ1Ñ2Ô2Ð2Ð2ñ	3õ Œ9�S˜aÐ Ñ Ô Ð r   )Ú__doc__r5   Ú	GGML_Q8_0Ú	GGML_Q4_KÚ	GGML_Q5_KÚ	GGML_Q6_Kr!   r$   Úfloat32ÚTensorrB   r   r/   r8   ÚtuplerG   rJ   rO   rW   r`   rt   r(   r   r   r   ú<module>r}      s%  ðð /Ð .à €€€ð .;Ñ *€	ˆ9�i ð ˆxØˆzØˆzØˆzð	€
ð ˜ 	¨6°9¸fÀiÐQWÐX€	ð INÌð ?ð ?�U”\ð ?¨cð ?¸%¼+ð ?ÐZ_ÔZfð ?ð ?ð ?ð ?ðQ�%”,ð Q sð Q¨u¬|ð Qð Qð Qð Qð
*�e”lð * u¨U¬\¸5¼<Ð-GÔ'Hð *ð *ð *ð *ð˜EœLð ¨U°5´<ÀÄÐ3MÔ-Nð ð ð ð ð˜%œ,ð ¨u¬{ð ¸u¼|ð ð ð ð ðX˜%œ,ð X¨u¬{ð X¸u¼|ð Xð Xð Xð Xð	X˜%œ,ð 	X¨u¬{ð 	X¸u¼|ð 	Xð 	Xð 	Xð 	Xð!˜%œ,ð !¨u¬{ð !¸u¼|ð !ð !ð !ð !ð. ˆ}Øˆ}Øˆ}Øˆ}ð	€€€r   