§
    	¼¸j„  ã                   óF  — d Z ddlZddlZddlZddlmZ ddlZddlZddl	Z	ddl
mZmZmZmZ ddlmZ ddlmZ ddlmZmZ ddlmZmZmZ dd	lmZmZmZmZ dd
lm Z  g d¢Z! edd¬¦  «        \  Z"Z# e¦   «          $                    e"dd…         ¦  «        Z%e#dd…         Z& edd¬¦  «        \  Z"Z# e¦   «          $                    e"dd…         ¦  «        Z'e#dd…         Z(e%e&fe'e(fgZ) eddddd¬¦  «        \  Z*Z+ ee+¦  «        Z+e*e+fgZ, e¦   «         Z-e-j.        Z/e-j0        Z1d„ Z2d„ Z3d„ Z4e	j5         6                    de)¦  «        d„ ¦   «         Z7e	j5         6                    de,¦  «        d„ ¦   «         Z8e	j5         6                    de)¦  «        d„ ¦   «         Z9e	j5         6                    de,¦  «        d„ ¦   «         Z:d„ Z;d„ Z<d „ Z=d!„ Z>d"„ Z?d#„ Z@d$„ ZAd%„ ZBd&„ ZCd'„ ZDd(„ ZEd)„ ZFd*„ ZGe	j5         6                    d+e ¦  «        d,„ ¦   «         ZHd-„ ZId.„ ZJe	j5         6                    d/eeg¦  «        d0„ ¦   «         ZKd1„ ZLd2„ ZMe	j5         6                    d/eeg¦  «        d3„ ¦   «         ZNd4„ ZOe	j5         P                    d5¦  «        d6„ ¦   «         ZQd7„ ZRd8„ ZSd9„ ZTe	j5         6                    d:ejU        ejV        g¦  «        e	j5         6                    d;eeg¦  «        d<„ ¦   «         ¦   «         ZWd=„ ZXe	j5         6                    d;eeg¦  «        d>„ ¦   «         ZYe	j5         6                    d/eeg¦  «        d?„ ¦   «         ZZe	j5         6                    d/eeg¦  «        e	j5         6                    d@g dA¢¦  «        dB„ ¦   «         ¦   «         Z[e	j5         6                    d/eeg¦  «        dC„ ¦   «         Z\dD„ Z]dS )EzD
Testing for Multi-layer Perceptron module (sklearn.neural_network)
é    N)ÚStringIO)Úload_digitsÚ	load_irisÚmake_multilabel_classificationÚmake_regression)ÚConvergenceWarning)Úroc_auc_score)ÚMLPClassifierÚMLPRegressor)ÚLabelBinarizerÚMinMaxScalerÚscale)Úassert_allcloseÚassert_almost_equalÚassert_array_equalÚignore_warnings)ÚCSR_CONTAINERS)ÚidentityÚlogisticÚtanhÚrelué   T)Ún_classÚ
return_X_yéÈ   é   é
   g      4@g      Y@é   )Ú	n_samplesÚ
n_featuresÚbiasÚnoiseÚrandom_statec            
      ó`  — t           d d…         } t          d d…         }g }t          j        d¦  «        }d„ }|D ]¨}t	          d|d¬¦  «        }t          t          ¬¦  «        5  |                     | |¦  «         d d d ¦  «         n# 1 swxY w Y   |                     t          j	         ||j
        d         ¦  «         ||j
        d         ¦  «        g¦  «        ¦  «         Œ©t          t          |¦  «        dz
  ¦  «        D ]+}||         ||dz            k                         ¦   «         sJ ‚Œ,d S )	Néd   r   c                 óN   — t          j        t          j        | ¦  «        ¦  «        S ©N)ÚnpÚsumÚabs)Úxs    úu/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/sklearn/neural_network/tests/test_mlp.pyú<lambda>ztest_alpha.<locals>.<lambda>G   s   € �RœV¥B¤F¨1¡I¤IÑ.Ô.€ ó    r   é   )Úhidden_layer_sizesÚalphar#   ©Úcategoryr   )ÚX_digits_binaryÚy_digits_binaryr(   Úaranger
   r   r   ÚfitÚappendÚarrayÚcoefs_ÚrangeÚlenÚall)ÚXÚyÚalpha_vectorsÚalpha_valuesÚabsolute_sumr1   ÚmlpÚis           r,   Ú
test_alpharE   @   s€  € å˜˜˜Ô€AÝ˜˜˜Ô€Aà€MÝ”9˜Q‘<”<€LØ.Ð.€Làð 
ð 
ˆÝ¨r¸ÈQÐOÑOÔOˆÝÕ&8Ð9Ñ9Ô9ð 	ð 	Ø�GŠG�A�q‰MŒMˆMð	ð 	ð 	ñ 	ô 	ð 	ð 	ð 	ð 	ð 	ð 	øøøð 	ð 	ð 	ð 	à×ÒÝŒH�l�l 3¤:¨a¤=Ñ1Ô1°<°<ÀÄ
È1ÄÑ3NÔ3NÐOÑPÔPñ	
ô 	
ð 	
ð 	
õ •3�|Ñ$Ô$ qÑ(Ñ)Ô)ð ?ð ?ˆØ˜aÔ  =°°Q±Ô#7Ò7×<Ò<Ñ>Ô>Ð>Ð>Ð>Ð>ð?ð ?s   Á#BÂB
	ÂB
	c            
      óD  — t          j        g d¢g¦  «        } t          j        dg¦  «        }t          dddddddd¬¦  «        }dgdz  |_        dgdz  |_        d|_        t          j        dd	gd
dgddgg¦  «        |j        d<   t          j        dgd	gg¦  «        |j        d<   t          j        ddg¦  «        |j        d<   t          j        dg¦  «        |j        d<   g dz  |_        g dz  |_        d|_        d|_	        d|_
        d|_        dg|j        dz
  z  |_        dg|j        dz
  z  |_        d|_        d|_        t           j        |_        g |_        d|_        d„ |j        D ¦   «         |_        d„ |j        D ¦   «         |_        |                     | |ddg¬¦  «         t+          |j        d         t          j        ddgddgddgg¦  «        d¬¦  «         t+          |j        d         t          j        dgdgg¦  «        d¬¦  «         t+          |j        d         t          j        ddg¦  «        d¬¦  «         t+          |j        d         t          j        d¦  «        d¬¦  «         t+          |                     | ¦  «        d         dd¬¦  «         d S )N)g333333ã?çš™™™™™é?gffffffæ?r   Úsgdçš™™™™™¹?r   r/   r   )ÚsolverÚlearning_rate_initr1   Ú
activationr#   Úmax_iterr0   Úmomentumçš™™™™™É?g333333Ó?ç      à?ç      ð?r   c                 ó6   — g | ]}t          j        |¦  «        ‘ŒS © ©r(   Ú
zeros_like)Ú.0Ú
interceptss     r,   ú
<listcomp>ztest_fit.<locals>.<listcomp>   s/   € ð ð ð Ø&0�Œ�jÑ!Ô!ðð ð r.   c                 ó6   — g | ]}t          j        |¦  «        ‘ŒS rS   rT   )rV   Úcoefss     r,   rX   ztest_fit.<locals>.<listcomp>‚   s"   € ÐGÐGÐG°5�"œ-¨Ñ.Ô.ÐGÐGÐGr.   ©ÚclassesgJ+‡¹?g—uÿXˆÉ?gàª¡Ã2ìÒ?g©„'ôú“¸?g.ÁNV±�ß?gÉV—Sbb¿)ÚdecimalgñFæ‘?¨?g#0Ö70¹Ã?gðûY,¹?g¿·éÏ~¤¸?gZd;ßO�í?)r   r/   gÙÎ÷Sã¥ç?)r(   r9   r
   r:   Úintercepts_Ú
n_outputs_Ú_coef_gradsÚ_intercept_gradsÚn_features_in_Ún_iter_Úlearning_rate_Ú	n_layers_Úout_activation_Út_ÚinfÚ
best_loss_Úloss_curve_Ú_no_improvement_countÚ_intercept_velocityÚ_coef_velocityÚpartial_fitr   Úpredict_proba©r>   r?   rC   s      r,   Útest_fitrq   U   sÍ  € å
Œ�/�/�/Ð"Ñ#Ô#€AÝ
Œ�!�‰Œ€AÝ
ØØØØØØØØð	ñ 	ô 	€Cð ��q‘€C„JØ�c˜A‘g€C„OØ€C„NÝ”H˜s C˜j¨3°¨*°s¸A°hÐ?Ñ@Ô@€C„Jˆq�MÝ”H˜s˜e c U˜^Ñ,Ô,€C„Jˆq�MÝœ 3¨ *Ñ-Ô-€C„O�AÑÝœ 3 %™œ€C„O�AÑØ˜1‘f€C„OØ ™6€CÔØ€CÔð €C„KØ€CÔð €C„Mð �c˜Sœ]¨QÑ.Ñ/€C„OØ˜3 #¤-°!Ñ"3Ñ4€CÔà$€CÔØ€C„FÝ”V€C„NØ€C„OØ !€CÔðð Ø47´Oðñ ô €CÔð HÐG¸C¼JÐGÑGÔG€CÔà‡O‚O�A�q 1 a &€OÑ)Ô)Ð)õ> ØŒ
�1ŒÝ
Œ�5˜(Ð# i°Ð%:¸YÈ	Ð<RÐSÑTÔTØðñ ô ð õ
 ˜œ
 1œ¥r¤x°'°¸X¸JÐ0GÑ'HÔ'HÐRSÐTÑTÔTÐTÝ˜œ¨Ô*­B¬H°hÀÐ5HÑ,IÔ,IÐSTÐUÑUÔUÐUÝ˜œ¨Ô*­B¬H°VÑ,<Ô,<ÀaÐHÑHÔHÐHõ ˜×)Ò)¨!Ñ,Ô,¨TÔ2°EÀ1ÐEÑEÔEÐEÐEÐEr.   c                  ó„  ‡‡‡‡‡‡‡— dD �]4} d}d}t           j                             d¬¦  «        }|                     ||¦  «        Šdt          j        t          j        |¦  «        dz   | ¦  «        z   }t          ¦   «                              |¦  «        Št          D �] }t          |dddd	dd¬
¦  «        Št          j        ¦   «         5  t          j        dt          ¦  «         ‰                     ‰|¦  «         d d d ¦  «         n# 1 swxY w Y   t          j        d„ ‰j        ‰j        z   D ¦   «         ¦  «        }‰j        d         g‰j        gz   ‰j        gz   }g Šg Šg Šg Š‰                     ‰¦  «         t-          ‰j        dz
  ¦  «        D ]ß}‰                     t          j        ‰j        d         ||dz            f¦  «        ¦  «         ‰                     t          j        ‰j        d         ||dz            f¦  «        ¦  «         ||         }	||dz            }
‰                     t          j        |	|
f¦  «        ¦  «         ‰                     t          j        |
¦  «        ¦  «         Œàˆˆˆˆˆˆˆfd„} ||¦  «        \  }}t          j        t          j        |¦  «        ¦  «        }t          j        |d¦  «        }t          j        |¦  «        }d}t-          |¦  «        D ]C}|d d …|f         |z  } |||z   ¦  «        d          |||z
  ¦  «        d         z
  |dz  z  ||<   ŒDt9          ||¦  «         �Œ¢�Œ6d S )N)r   r   é   r   é*   )Úseedr/   Úlbfgsçñhãˆµøä>rO   )rL   r0   rJ   r1   rK   rM   r#   Úignorec                 ó6   — g | ]}|                      ¦   «         ‘ŒS rS   )Úravel)rV   Úls     r,   rX   z!test_gradient.<locals>.<listcomp>Ò   s    € ÐOÐOÐO¨Q˜qŸwšw™yœyÐOÐOÐOr.   r   c           	      ó:   •— ‰                      | ‰‰‰‰‰‰¦  «        S r'   )Ú_loss_grad_lbfgs)Útr>   ÚYÚactivationsÚ
coef_gradsÚdeltasÚintercept_gradsrC   s    €€€€€€€r,   Úloss_grad_funz$test_gradient.<locals>.loss_grad_funæ   s*   ø€ Ø×+Ò+Ø�q˜!˜[¨&°*¸oñô ð r.   g       @)r(   ÚrandomÚRandomStateÚrandÚmodr6   r   Úfit_transformÚACTIVATION_TYPESr
   ÚwarningsÚcatch_warningsÚsimplefilterr   r7   Úhstackr:   r^   Úshaper0   r_   r8   r;   re   ÚemptyÚzerosÚsizeÚeyer   )Ún_labelsr   r    r#   r?   rL   ÚthetaÚlayer_unitsrD   Úfan_inÚfan_outr„   ÚvalueÚgradÚnumgradÚnÚEÚepsilonÚdthetar>   r   r€   r�   r‚   rƒ   rC   s                      @@@@@@@r,   Útest_gradientr    ¶   s¹  øøøøøøø€ ð ð :/ñ :/ˆØˆ	Øˆ
Ý”y×,Ò,°"Ð,Ñ5Ô5ˆØ×Ò˜i¨Ñ4Ô4ˆØ•”•r”y Ñ+Ô+¨aÑ/°Ñ:Ô:Ñ:ˆÝÑÔ×*Ò*¨1Ñ-Ô-ˆå*ð 2	/ñ 2	/ˆJÝØ%Ø#%ØØØ#&ØØðñ ô ˆCõ Ô(Ñ*Ô*ð ð ÝÔ% hÕ0BÑCÔCÐCØ—’˜˜1‘”�ðð ð ñ ô ð ð ð ð ð ð øøøð ð ð ð õ ”IÐOÐO°#´*¸s¼Ñ2NÐOÑOÔOÑPÔPˆEàœ7 1œ:˜,¨#Ô*@Ð)AÑAÀSÄ^ÐDTÑTˆKàˆKØˆFØˆJØ ˆOà×Ò˜qÑ!Ô!Ð!Ý˜3œ=¨1Ñ,Ñ-Ô-ð :ð :�Ø×"Ò"¥2¤8¨Q¬W°Q¬Z¸ÀQÈÁUÔ9KÐ,LÑ#MÔ#MÑNÔNÐNØ—’�bœh¨¬°¬
°KÀÀAÁÔ4FÐ'GÑHÔHÑIÔIÐIà$ Qœ�Ø% a¨!¡eÔ,�Ø×!Ò!¥"¤(¨F°GÐ+<Ñ"=Ô"=Ñ>Ô>Ð>Ø×&Ò&¥r¤x°Ñ'8Ô'8Ñ9Ô9Ð9Ð9ðð ð ð ð ð ð ð ð ð ð ð
 *˜M¨%Ñ0Ô0‰MˆU�DÝ”h�rœw u™~œ~Ñ.Ô.ˆGÝ”˜˜qÑ!Ô!ˆAÝ”�q‘	”	ˆAØˆGå˜1‘X”Xð $ð $�Ø˜1˜1˜1˜a˜4œ 7Ñ*�à!�M %¨&¡.Ñ1Ô1°!Ô4°}°}ÀUÈVÁ^Ñ7TÔ7TÐUVÔ7WÑWØ˜s‘]ñ$�˜‘
�
õ   ¨Ñ.Ô.Ð.Ñ.ñe2	/ð:/ð :/s   Ã1DÄD	ÄD	zX,yc           	      ó~  — | d d…         }|d d…         }| dd …         }|j         d         |j        j        f}t          D ]}}t	          ddddd|¬¦  «        }|                     ||¦  «         |                     |¦  «        }|                     ||¦  «        dk    sJ ‚|j         d         |j        j        f|k    sJ ‚Œ~d S )	Né–   r   rv   é2   Tr/   )rJ   r0   rM   Úshuffler#   rL   çffffffî?)r�   ÚdtypeÚkindrŠ   r
   r7   ÚpredictÚscore)	r>   r?   ÚX_trainÚy_trainÚX_testÚexpected_shape_dtyperL   rC   Ú	y_predicts	            r,   Útest_lbfgs_classificationr¯   ù   sð   € ð
 ���Œg€GØ���Œg€GØˆsˆtˆtŒW€FØ"œL¨œO¨W¬]Ô-?Ð@Ðå&ð Rð Rˆ
ÝØØ!ØØØØ!ð
ñ 
ô 
ˆð 	�Š�˜Ñ!Ô!Ð!Ø—K’K Ñ'Ô'ˆ	Ø�yŠy˜ 'Ñ*Ô*¨TÒ1Ð1Ð1Ð1Ø” Ô" I¤OÔ$8Ð9Ð=QÒQÐQÐQÐQÐQðRð Rr.   c           
      óð   — t           D ]m}t          dddddd|¬¦  «        }|                     | |¦  «         |dk    r|                     | |¦  «        d	k    sJ ‚ŒQ|                     | |¦  «        d
k    sJ ‚Œnd S )Nrv   r£   r   çü©ñÒMbP?Tr/   )rJ   r0   rM   Útolr¤   r#   rL   r   rG   g\�Âõ(\ï?)rŠ   r   r7   r©   )r>   r?   rL   rC   s       r,   Útest_lbfgs_regressionr³     s¦   € õ 'ð *ð *ˆ
ÝØØ!ØØØØØ!ð
ñ 
ô 
ˆð 	�Š��1‰ŒˆØ˜Ò#Ð#Ø—9’9˜Q ‘?”? TÒ)Ð)Ð)Ð)Ð)ð —9’9˜Q ‘?”? TÒ)Ð)Ð)Ð)Ð)ð*ð *r.   c           
      óô   — d}t           D ]m}t          ddd|dd|¬¦  «        }t          j        t          ¦  «        5  |                     | |¦  «         ||j        k    sJ ‚	 d d d ¦  «         n# 1 swxY w Y   Œnd S )Nr   rv   r£   r¢   Tr/   )rJ   r0   rM   Úmax_funr¤   r#   rL   )rŠ   r
   ÚpytestÚwarnsr   r7   rc   ©r>   r?   rµ   rL   rC   s        r,   Ú test_lbfgs_classification_maxfunr¹   '  sÛ   € ð €Gå&ð *ð *ˆ
ÝØØ!ØØØØØ!ð
ñ 
ô 
ˆõ Œ\Õ,Ñ-Ô-ð 	*ð 	*Ø�GŠG�A�q‰MŒMˆMØ˜cœkÒ)Ð)Ð)Ð)Ð)ð	*ð 	*ð 	*ñ 	*ô 	*ð 	*ð 	*ð 	*ð 	*ð 	*ð 	*øøøð 	*ð 	*ð 	*ð 	*øð*ð *s   »$A,Á,A0	Á3A0	c                 óö   — d}t           D ]n}t          dddd|dd|¬¦  «        }t          j        t          ¦  «        5  |                     | |¦  «         ||j        k    sJ ‚	 d d d ¦  «         n# 1 swxY w Y   Œod S )	Nr   rv   r£   g        r¢   Tr/   )rJ   r0   r²   rM   rµ   r¤   r#   rL   )rŠ   r   r¶   r·   r   r7   rc   r¸   s        r,   Útest_lbfgs_regression_maxfunr»   <  sÞ   € ð €Gå&ð *ð *ˆ
ÝØØ!ØØØØØØ!ð	
ñ 	
ô 	
ˆõ Œ\Õ,Ñ-Ô-ð 	*ð 	*Ø�GŠG�A�q‰MŒMˆMØ˜cœkÒ)Ð)Ð)Ð)Ð)ð	*ð 	*ð 	*ñ 	*ô 	*ð 	*ð 	*ð 	*ð 	*ð 	*ð 	*øøøð 	*ð 	*ð 	*ð 	*øð*ð *s   ¼$A-Á-A1	Á4A1	c            	      ó°  — ddgddgddgddgg} g d¢}d	D ]À}t          d
d|ddd¬¦  «        }t          t          ¬¦  «        5  |                     | |¦  «         |j        j        }|                     | |¦  «         |j        j        }d d d ¦  «         n# 1 swxY w Y   |dk    r	||k    sJ ‚Œ—|dk    r#|j        t          d|j        ¦  «        z  |k    sJ ‚ŒÁd S )Nr   r   r/   é   rs   éþÿÿÿéüÿÿÿ)r/   r/   r/   r   )Ú
invscalingÚconstantrH   é   g      Ð?T)rJ   r0   Úlearning_raterM   Úpower_tÚ
warm_startr2   rÁ   rÀ   é	   )	r
   r   r   r7   Ú
_optimizerrÃ   rK   ÚpowrÄ   )r>   r?   rÃ   rC   Úprev_etaÚpost_etas         r,   Útest_learning_rate_warmstartrË   R  s]  € à
ˆQˆ�!�Q�˜!˜Q˜ " b Ð*€AØˆˆ€AØ3ð Pð PˆÝØØ Ø'ØØØð
ñ 
ô 
ˆõ Õ&8Ð9Ñ9Ô9ð 	4ð 	4Ø�GŠG�A�q‰MŒMˆMØ”~Ô3ˆHØ�GŠG�A�q‰MŒMˆMØ”~Ô3ˆHð		4ð 	4ð 	4ñ 	4ô 	4ð 	4ð 	4ð 	4ð 	4ð 	4ð 	4øøøð 	4ð 	4ð 	4ð 	4ð ˜JÒ&Ð&Ø˜xÒ'Ð'Ð'Ð'Ð'Ø˜lÒ*Ð*ØÔ)­C°°s´{Ñ,CÔ,CÑCÀxÒOÐOÐOÐOøð%Pð Ps   ÁABÂB	ÂB	c            	      óî  — t          ddd¬¦  «        \  } }t          ddddddd	¬
¦  «        }|                     | |¦  «         |                     | |¦  «        dk    sJ ‚t          ddddddd	¬¦  «        }t	          d¦  «        D ]}|                     | |g d¢¬¦  «         Œ|                     | |¦  «        dk    sJ ‚t          d¬¦  «        }|                     | |¦  «                             | ¦  «         d S )Nr£   r   T©r   r#   Úreturn_indicatorrv   rw   r¢   r   rO   )rJ   r0   r1   rM   r#   rL   rK   g
×£p=
ï?rH   )rJ   r0   rM   r#   rL   r1   rK   r%   )r   r/   r   r   rÂ   r[   çÍÌÌÌÌÌì?©Úearly_stopping)r   r
   r7   r©   r;   rn   r¨   )r>   r?   rC   rD   s       r,   Útest_multilabel_classificationrÒ   k  s4  € õ *Ø 1°tðñ ô �D€A€qõ ØØØØØØØðñ ô €Cð ‡G‚GˆAˆq�M„M€MØ�9Š9�Q˜‰?Œ?˜TÒ!Ð!Ð!Ð!õ ØØØØØØØðñ ô €Cõ �3‰ZŒZð 7ð 7ˆØ�Š˜˜1 o o oˆÑ6Ô6Ð6Ð6Ø�9Š9�Q˜‰?Œ?˜SÒ Ð Ð Ð õ  tÐ
,Ñ
,Ô
,€CØ‡G‚GˆAˆq�M„M×Ò˜!ÑÔÐÐÐr.   c                  ó¼   — t          ddd¬¦  «        \  } }t          ddddd¬	¦  «        }|                     | |¦  «         |                     | |¦  «        d
k    sJ ‚d S )Nr   rs   é   )r   Ú	n_targetsr#   rv   r£   ç{®Gáz„?r/   )rJ   r0   rM   r²   r#   rÏ   )r   r   r7   r©   rp   s      r,   Útest_multioutput_regressionr×   ‘  sp   € å S°AÀBÐGÑGÔG�D€A€qÝ
Ø¨2¸ÀÐTUðñ ô €Cð ‡G‚GˆAˆq�M„M€MØ�9Š9�Q˜‰?Œ?˜SÒ Ð Ð Ð Ð Ð r.   c                  ó  — ddgg} dg}t          d¬¦  «        }|                     | |ddg¬¦  «         t          j        t          ¦  «        5  |                     | |ddg¬¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )Nr   r   r   rH   ©rJ   r/   r[   )r
   rn   r¶   ÚraisesÚ
ValueError©r>   r?   Úclfs      r,   Útest_partial_fit_classes_errorrÞ   ›  sÐ   € à
ˆQˆˆ€AØ	
ˆ€AÝ
˜uÐ
%Ñ
%Ô
%€CØ‡O‚O�A�q 1 a &€OÑ)Ô)Ð)Ý	Œ•zÑ	"Ô	"ð .ð .Ø�Š˜˜1 q¨! fˆÑ-Ô-Ð-ð.ð .ð .ñ .ô .ð .ð .ð .ð .ð .ð .ð .øøøð .ð .ð .ð .ð .ð .s   ÁA4Á4A8Á;A8c            	      ó  — t           D �]\  } }t          dddddd¬¦  «        }t          t          ¬¦  «        5  |                     | |¦  «         d d d ¦  «         n# 1 swxY w Y   |                     | ¦  «        }t          dddd¬	¦  «        }t          d¦  «        D ],}|                     | |t          j	        |¦  «        ¬
¦  «         Œ-|                     | ¦  «        }t          ||¦  «         |                     | |¦  «        dk    sJ ‚�Œd S )NrH   r%   r/   r   rw   rO   )rJ   rM   r#   r²   r1   rK   r2   )rJ   r#   r1   rK   r[   r¥   )Úclassification_datasetsr
   r   r   r7   r¨   r;   rn   r(   Úuniquer   r©   )r>   r?   rC   Úpred1rD   Úpred2s         r,   Útest_partial_fit_classificationrä   ¥  sf  € õ (ð &ñ &‰ˆˆ1ÝØØØØØØ"ð
ñ 
ô 
ˆõ Õ&8Ð9Ñ9Ô9ð 	ð 	Ø�GŠG�A�q‰MŒMˆMð	ð 	ð 	ñ 	ô 	ð 	ð 	ð 	ð 	ð 	ð 	øøøð 	ð 	ð 	ð 	à—’˜A‘”ˆÝØ q°Èð
ñ 
ô 
ˆõ �s‘”ð 	8ð 	8ˆAØ�OŠO˜A˜q­"¬)°A©,¬,ˆOÑ7Ô7Ð7Ð7Ø—’˜A‘”ˆÝ˜5 %Ñ(Ô(Ð(Ø�yŠy˜˜A‰Œ Ò%Ð%Ð%Ð%Ñ%ð)&ð &s   ¸AÁA	Á"A	c                  óè   — t          d¬¦  «        } |                      dgdgdggg d¢g d¢¬¦  «         |                      d	ggd
g¦  «         |                      dgdgdgd	ggg d¢¦  «        dk    sJ ‚d S )Nr   )r#   r/   r   r   )ÚaÚbÚc)ræ   rç   rè   Údr[   rÂ   ré   )r
   rn   r©   )rÝ   s    r,   Útest_partial_fit_unseen_classesrê   À  sš   € õ  QÐ
'Ñ
'Ô
'€CØ‡O‚O�a�S˜1˜# ˜s�O _ _ _Ð>RÐ>RÐ>R€OÑSÔSÐSØ‡O‚O�a�S�E˜C˜5Ñ!Ô!Ð!Ø�9Š9�q�c˜A˜3   a SÐ)Ð+?Ð+?Ð+?Ñ@Ô@À1ÒDÐDÐDÐDÐDÐDr.   c            
      óh  — t           } t          }dD �]}t          ddddd| j        d         |¬¦  «        }t	          j        ¦   «         5  t	          j        d	t          ¦  «         |                     | |¦  «         d d d ¦  «         n# 1 swxY w Y   | 	                    | ¦  «        }t          dddd| j        d         |¬
¦  «        }t          d¦  «        D ]}|                     | |¦  «         Œ| 	                    | ¦  «        }t          ||¦  «         |                     | |¦  «        }|dk    sJ ‚�Œ!d S )N)r   rÏ   rH   r%   r   r/   rÖ   r   )rJ   rM   rL   r#   rK   Ú
batch_sizerN   rx   )rJ   rL   rK   r#   rì   rN   gÍÌÌÌÌÌä?)ÚX_regÚy_regr   r�   r‹   rŒ   r�   r   r7   r¨   r;   rn   r   r©   )r>   r?   rN   rC   râ   rD   rã   r©   s           r,   Útest_partial_fit_regressionrï   Ê  s‹  € õ 	€AÝ€Aàð ñ ˆÝØØØØØ#Ø”w˜q”zØð
ñ 
ô 
ˆõ Ô$Ñ&Ô&ð 	ð 	ÝÔ! (Õ,>Ñ?Ô?Ð?Ø�GŠG�A�q‰MŒMˆMð	ð 	ð 	ñ 	ô 	ð 	ð 	ð 	ð 	ð 	ð 	øøøð 	ð 	ð 	ð 	ð —’˜A‘”ˆÝØØØ#ØØ”w˜q”zØð
ñ 
ô 
ˆõ �s‘”ð 	"ð 	"ˆAØ�OŠO˜A˜qÑ!Ô!Ð!Ð!à—’˜A‘”ˆÝ˜˜uÑ%Ô%Ð%Ø—	’	˜!˜Q‘”ˆØ�tŠ|ˆ|ˆ|ˆ|‰|ð9ð s   Á1BÂB		ÂB		c                  ó  — ddgddgg} ddg}t          j        t          ¦  «        5  t          d¬¦  «                             | |dg¬¦  «         d d d ¦  «         n# 1 swxY w Y   t          t          d	¬¦  «        d
¦  «        rJ ‚d S )Nr   r   r/   r½   r   rH   rÙ   r[   rv   rn   )r¶   rÚ   rÛ   r
   rn   Úhasattr)r>   r?   s     r,   Útest_partial_fit_errorsrò   ï  sæ   € à
ˆQˆ�!�Q�Ð€AØ	
ˆAˆ€Aõ 
Œ•zÑ	"Ô	"ð Cð CÝ˜UÐ#Ñ#Ô#×/Ò/°°1¸q¸cÐ/ÑBÔBÐBðCð Cð Cñ Cô Cð Cð Cð Cð Cð Cð Cøøøð Cð Cð Cð Cõ •}¨GÐ4Ñ4Ô4°mÑDÔDÐDÐDÐDÐDÐDs   ¦(AÁAÁ!Ac                  ó"  — t           j                             d¦  «        } d}t          j        t           j        ¦  «        j        }||                      |df¬¦  «        z  }|                      |¬¦  «        }t          ¦   «         }d}t          j
        t          |¬¦  «        5  t          j        ¦   «         5  t          j        d¦  «         |                     ||¦  «         d d d ¦  «         n# 1 swxY w Y   d d d ¦  «         d S # 1 swxY w Y   d S )Nr   r   r   )r’   zrSolver produced non-finite parameter weights. The input data may contain large values and need to be preprocessed.©Úmatchrx   )r(   r…   r†   ÚfinfoÚfloat64ÚmaxÚuniformÚstandard_normalr   r¶   rÚ   rÛ   r‹   rŒ   r�   r7   )Úrngr   Úfmaxr>   r?   rÝ   Úmsgs          r,   Útest_nonfinite_paramsrþ   ü  sx  € õ Œ)×
Ò
 Ñ
"Ô
"€CØ€IÝŒ8•B”JÑÔÔ#€DØˆs�{Š{ ¨A ˆ{Ñ/Ô/Ñ/€AØ×Ò ÐÑ+Ô+€Aå
‰.Œ.€Cð	/ð õ 
Œ•z¨Ð	-Ñ	-Ô	-ð ð ÝÔ$Ñ&Ô&ð 	ð 	åÔ! (Ñ+Ô+Ð+Ø�GŠG�A�q‰MŒMˆMð	ð 	ð 	ñ 	ô 	ð 	ð 	ð 	ð 	ð 	ð 	øøøð 	ð 	ð 	ð 	ðð ð ñ ô ð ð ð ð ð ð ð øøøð ð ð ð ð ð s6   Â!DÂ5+C,Ã DÃ,C0	Ã0DÃ3C0	Ã4DÄDÄDc                  óx  — t           d d…         } t          d d…         }t          ddd¬¦  «        }t          t          ¬¦  «        5  |                     | |¦  «         d d d ¦  «         n# 1 swxY w Y   |                     | ¦  «        }|                     | ¦  «        }|j        d         d}}| 	                    d¬	¦  «        }| 	                    d¬	¦  «        }|j        ||fk    sJ ‚t          ||¦  «         t          |t          j        |¦  «        ¦  «         t          ||d d …df         ¦  «        d
k    sJ ‚d S )Nr£   rs   r   r/   )r0   rL   r#   r2   r   r   ©ÚaxisrQ   )r4   r5   r
   r   r   r7   ro   Úpredict_log_probar�   Úargmaxr   r   r(   Úlogr	   ©	r>   r?   rÝ   Úy_probaÚy_log_probar   Ú	n_classesÚ	proba_maxÚproba_log_maxs	            r,   Útest_predict_proba_binaryr    sv  € å˜˜˜Ô€AÝ˜˜˜Ô€Aå
¨1¸ÐRSÐ
TÑ
TÔ
T€CÝ	Õ"4Ð	5Ñ	5Ô	5ð ð Ø�Š��1‰Œˆðð ð ñ ô ð ð ð ð ð ð øøøð ð ð ð à×Ò Ñ"Ô"€GØ×'Ò'¨Ñ*Ô*€KàœW QœZ¨�	€Yà—’ A�Ñ&Ô&€IØ×&Ò&¨AÐ&Ñ.Ô.€MàŒ=˜Y¨	Ð2Ò2Ð2Ð2Ð2Ý�y -Ñ0Ô0Ð0Ý�K¥¤¨¡¤Ñ1Ô1Ð1å˜˜G A A A q DœMÑ*Ô*¨cÒ1Ð1Ð1Ð1Ð1Ð1s   ÁA)Á)A-Á0A-c                  ób  — t           d d…         } t          d d…         }t          d¬¦  «        }t          t          ¬¦  «        5  |                     | |¦  «         d d d ¦  «         n# 1 swxY w Y   |                     | ¦  «        }|                     | ¦  «        }|j        d         t          j
        |¦  «        j        }}|                     d¬¦  «        }|                     d¬¦  «        }|j        ||fk    sJ ‚t          ||¦  «         t          |t          j        |¦  «        ¦  «         d S )Nr   rs   )r0   r2   r   r/   r   )ÚX_digits_multiÚy_digits_multir
   r   r   r7   ro   r  r�   r(   rá   r’   r  r   r   r  r  s	            r,   Útest_predict_proba_multiclassr  (  sU  € å�s˜�sÔ€AÝ�s˜�sÔ€Aå
¨1Ð
-Ñ
-Ô
-€CÝ	Õ"4Ð	5Ñ	5Ô	5ð ð Ø�Š��1‰Œˆðð ð ñ ô ð ð ð ð ð ð øøøð ð ð ð à×Ò Ñ"Ô"€GØ×'Ò'¨Ñ*Ô*€KàœW QœZ­¬°1©¬Ô):�	€Yà—’ A�Ñ&Ô&€IØ×&Ò&¨AÐ&Ñ.Ô.€MàŒ=˜Y¨	Ð2Ò2Ð2Ð2Ð2Ý�y -Ñ0Ô0Ð0Ý�K¥¤¨¡¤Ñ1Ô1Ð1Ð1Ð1s   ÁA'Á'A+Á.A+c                  óx  — t          ddd¬¦  «        \  } }|j        \  }}t          ddd¬¦  «        }|                     | |¦  «         |                     | ¦  «        }|j        ||fk    sJ ‚t          |dk    |¦  «         |                     | ¦  «        }|                     d	¬
¦  «        }|                     d	¬
¦  «        }|                     d	¦  «        d	z
   	                    |                     d	¦  «        d	z
  ¦  «        dk    sJ ‚t          ||¦  «         t          |t          j        |¦  «        ¦  «         d S )Nr£   r   TrÍ   rv   é   ©rJ   r0   r#   rP   r/   r   g»½×Ùß|Û=)r   r�   r
   r7   ro   r   r  r  r)   Údotr   r(   r  )	r>   r   r   r  rÝ   r  r  r	  r
  s	            r,   Útest_predict_proba_multilabelr  =  s<  € õ *Ø 1°tðñ ô �D€A€qð œ7Ñ€Iˆyå
˜w¸2ÈAÐ
NÑ
NÔ
N€CØ‡G‚GˆAˆq�M„M€MØ×Ò Ñ"Ô"€GàŒ=˜Y¨	Ð2Ò2Ð2Ð2Ð2Ý�w ’} aÑ(Ô(Ð(à×'Ò'¨Ñ*Ô*€KØ—’ A�Ñ&Ô&€IØ×&Ò&¨AÐ&Ñ.Ô.€Mà�KŠK˜‰NŒN˜QÑ×#Ò# G§K¢K°¡N¤N°QÑ$6Ñ7Ô7¸%Ò?Ð?Ð?Ð?Ý�y -Ñ0Ô0Ð0Ý�K¥¤¨¡¤Ñ1Ô1Ð1Ð1Ð1r.   c                  óT  — t          dddd¬¦  «        \  } }dD ]È}t          dddd|¬¦  «        }t          dddd|¬¦  «        }t          j        ¦   «         5  t          j        dt
          ¦  «         |                     | |¦  «         |                     | |¦  «         d d d ¦  «         n# 1 swxY w Y   t          j        |j	        d         |j	        d         ¦  «        sJ ‚ŒÉt          ddddd	¬¦  «        }t          ddddd
¬¦  «        }t          j        ¦   «         5  t          j        dt
          ¦  «         |                     | |¦  «         |                     | |¦  «         d d d ¦  «         n# 1 swxY w Y   t          j        |j	        d         |j	        d         ¦  «        rJ ‚d S )Nr£   rs   r/   r   )r   r    rÕ   r#   )TF)r0   rM   rì   r#   r¤   rx   TF)
r   r   r‹   rŒ   r�   r   r7   r(   Úarray_equalr:   )r>   r?   r¤   Úmlp1Úmlp2s        r,   Útest_shuffler  U  sG  € å R°AÀÐQRÐSÑSÔS�D€A€qð !ð >ð >ˆÝØ ØØØØð
ñ 
ô 
ˆõ Ø ØØØØð
ñ 
ô 
ˆõ Ô$Ñ&Ô&ð 	ð 	ÝÔ! (Õ,>Ñ?Ô?Ð?Ø�HŠH�Q˜‰NŒNˆNØ�HŠH�Q˜‰NŒNˆNð	ð 	ð 	ñ 	ô 	ð 	ð 	ð 	ð 	ð 	ð 	øøøð 	ð 	ð 	ð 	õ
 Œ~˜dœk¨!œn¨d¬k¸!¬nÑ=Ô=Ð=Ð=Ð=Ð=õ Ø q°QÀQÐPTðñ ô €Dõ Ø q°QÀQÐPUðñ ô €Dõ 
Ô	 Ñ	"Ô	"ð ð ÝÔ˜hÕ(:Ñ;Ô;Ð;Ø�Š��A‰ŒˆØ�Š��A‰Œˆðð ð ñ ô ð ð ð ð ð ð øøøð ð ð ð õ
 Œ~˜dœk¨!œn¨d¬k¸!¬nÑ=Ô=Ð=Ð=Ð=Ð=Ð=s&   ÁAB)Â)B-	Â0B-	ÄAE0Å0E4Å7E4Úcsr_containerc                 ó¼  — t           d d…         }t          d d…         } | |¦  «        }t          ddd¬¦  «        }|                     ||¦  «         |                     |¦  «        }|                     ||¦  «         |                     |¦  «        }t          ||¦  «         |                     |¦  «        }|                     |¦  «        }t          ||¦  «         d S )Nr£   rv   é   r/   r  )r4   r5   r
   r7   r¨   r   r   )r  r>   r?   ÚX_sparserC   râ   rã   s          r,   Útest_sparse_matricesr    sÎ   € õ 	˜˜˜Ô€AÝ˜˜˜Ô€AØˆ}˜QÑÔ€HÝ
˜w¸2ÈAÐ
NÑ
NÔ
N€CØ‡G‚GˆAˆq�M„M€MØ�KŠK˜‰NŒN€EØ‡G‚GˆH�aÑÔÐØ�KŠK˜Ñ!Ô!€EÝ˜˜uÑ%Ô%Ð%Ø�KŠK˜‰NŒN€EØ�KŠK˜Ñ!Ô!€EÝ�u˜eÑ$Ô$Ð$Ð$Ð$r.   c                  ó’   — ddgddgg} ddg}t          ddd¬	¦  «        }|                     | |¦  «         |j        |j        k    sJ ‚d S )
Nr   r   r/   r½   r   rP   é¸  rH   )r²   rM   rJ   )r
   r7   rM   rc   rÜ   s      r,   Útest_tolerancer!  �  s_   € ð ˆQˆ�!�Q�Ð€AØ	
ˆAˆ€AÝ
˜C¨$°uÐ
=Ñ
=Ô
=€CØ‡G‚GˆAˆq�M„M€MØŒ<˜#œ+Ò%Ð%Ð%Ð%Ð%Ð%r.   c                  óŠ  — ddgddgg} ddg}t          dddd¬¦  «        }t          j        }t          ¦   «         xt          _        }t	          t
          ¬	¦  «        5  |                     | |¦  «         d d d ¦  «         n# 1 swxY w Y   |                     | |¦  «         |t          _        d
|                     ¦   «         v sJ ‚d S )Nr   r   r/   r½   r   rH   r   )rJ   rM   Úverboser0   r2   Ú	Iteration)	r
   ÚsysÚstdoutr   r   r   r7   rn   Úgetvalue)r>   r?   rÝ   Ú
old_stdoutÚoutputs        r,   Útest_verbose_sgdr*  š  sÿ   € à
ˆQˆ�!�Q�Ð€AØ	
ˆAˆ€AÝ
˜u¨q¸"ÐQRÐ
SÑ
SÔ
S€CÝ”€JÝ"™*œ*Ð$…C„J�å	Õ"4Ð	5Ñ	5Ô	5ð ð Ø�Š��1‰Œˆðð ð ñ ô ð ð ð ð ð ð øøøð ð ð ð à‡O‚O�A�qÑÔÐà…C„JØ˜&Ÿ/š/Ñ+Ô+Ð+Ð+Ð+Ð+Ð+Ð+s   ÁA>Á>BÂBÚMLPEstimatorc                 ó  — t           d d…         }t          d d…         }d} | |ddd¬¦  «        }|                     ||¦  «         |j        |j        k    sJ ‚|j        �J ‚t          |j        t          ¦  «        sJ ‚|j        }|j	        }t          |¦  «        |k    sJ ‚||z   |d         k    sJ ‚||z   |d         k    sJ ‚ | |ddd	¬¦  «        }|                     ||¦  «         |j        �J ‚|j	        �J ‚|j        €J ‚d S )
Nr%   rO   r   rH   T)r²   rM   rJ   rÑ   r¾   éÿÿÿÿF)r4   r5   r7   rM   rc   ri   Ú
isinstanceÚvalidation_scores_ÚlistÚbest_validation_score_rø   )r+  r>   r?   r²   Úmlp_estimatorÚvalid_scoresÚbest_valid_scores          r,   Útest_early_stoppingr5  ª  sf  € å˜˜˜Ô€AÝ˜˜˜Ô€AØ
€CØ �LØ˜$ u¸Tðñ ô €Mð ×Ò�a˜ÑÔÐØÔ! MÔ$9Ò9Ð9Ð9Ð9àÔ#Ð+Ð+Ð+Ý�mÔ6½Ñ=Ô=Ð=Ð=Ð=à Ô3€LØ$Ô;ÐÝˆ|ÑÔÐ 0Ò0Ð0Ð0Ð0Ø˜cÑ! L°Ô$4Ò4Ð4Ð4Ð4Ø˜cÑ! L°Ô$4Ò4Ð4Ð4Ð4ð !�LØ˜$ u¸Uðñ ô €Mð ×Ò�a˜ÑÔÐØÔ+Ð3Ð3Ð3ØÔ/Ð7Ð7Ð7ØÔ#Ð/Ð/Ð/Ð/Ð/r.   c                  ó¸   — ddgddgg} ddg}t          dddd	¬
¦  «        }|                     | |¦  «         |j        |j        k    sJ ‚d|j        j        k    sJ ‚d S )Nr   r   r/   r½   r   rP   r   rH   Úadaptive)r²   rM   rJ   rÃ   g�íµ ÷Æ°>)r
   r7   rM   rc   rÇ   rÃ   rÜ   s      r,   Útest_adaptive_learning_rater8  É  su   € Ø
ˆQˆ�!�Q�Ð€AØ	
ˆAˆ€AÝ
˜C¨$°uÈJÐ
WÑ
WÔ
W€CØ‡G‚GˆAˆq�M„M€MØŒ<˜#œ+Ò%Ð%Ð%Ð%Ø�#”.Ô.Ò.Ð.Ð.Ð.Ð.Ð.r.   c                  ó¨  — t           } t          }t          j        dgdz  dgdz  z   ¦  «        }t          j        dgdz  dgdz  z   dgdz  z   ¦  «        }t          j        dgdz  dgdz  z   dgdz  z   ¦  «        }t          j        dgd	z  dgd	z  z   dgd
z  z   dgd
z  z   ¦  «        }t          j        dgdz  dgdz  z   dgdz  z   dgdz  z   dgdz  z   ¦  «        }t	          ddddd¬¦  «                             | |¦  «        }|                     | |¦  «         |                     | |¦  «         ||||fD ]œ}t	          ddddd¬¦  «                             | |¦  «        }dt          j        |¦  «        z  }	t          j        t          t          j        |	¦  «        ¬¦  «        5  |                     | |¦  «         d d d ¦  «         n# 1 swxY w Y   Œ�d S )Nr   éK   r/   é(   r   éF   r£   r   é%   é&   r  rÂ   rv   Trt   rÖ   )r0   rJ   rÅ   r#   r²   z}warm_start can only be used where `y` has the same classes as in the previous call to fit. Previously got [0 1 2], `y` has %srô   )ÚX_irisÚy_irisr(   r9   r
   r7   rá   r¶   rÚ   rÛ   ÚreÚescape)
r>   r?   Ú
y_2classesÚ
y_3classesÚy_3classes_altÚ
y_4classesÚ
y_5classesrÝ   Úy_iÚmessages
             r,   Útest_warm_startrJ  Ò  sL  € Ý€AÝ€Aå”˜1˜# ™( a S¨2¡XÑ-Ñ.Ô.€JÝ”˜1˜# ™( a S¨2¡XÑ-°°°b±Ñ8Ñ9Ô9€JÝ”X˜q˜c B™h¨!¨¨r©Ñ1°Q°C¸"±HÑ<Ñ=Ô=€NÝ”˜1˜# ™( a S¨2¡XÑ-°°°b±Ñ8¸A¸3À¹8ÑCÑDÔD€JÝ”˜1˜# ™( a S¨2¡XÑ-°°°b±Ñ8¸A¸3À¹8ÑCÀqÀcÈBÁhÑNÑOÔO€Jõ Ø W¸ÈBÐTXðñ ô ç	‚cˆ!ˆQ�i„ið ð ‡G‚GˆAˆq�M„M€MØ‡G‚GˆAˆzÑÔÐà˜N¨J¸
ÐCð ð ˆÝØ ØØØØð
ñ 
ô 
÷ Š#ˆa�‰)Œ)ð 	ð2å46´I¸c±N´NñCð 	õ
 Œ]�:­R¬Y°wÑ-?Ô-?Ð@Ñ@Ô@ð 	ð 	Ø�GŠG�A�s‰OŒOˆOð	ð 	ð 	ñ 	ô 	ð 	ð 	ð 	ð 	ð 	ð 	øøøð 	ð 	ð 	ð 	øðð s   Æ#GÇG
	ÇG
	c                 ó^  — t           t          }}d} | ddd|¬¦  «        }t          j        ¦   «         5  t          j        dt
          ¦  «         |                     ||¦  «         ||j        k    sJ ‚|                     ||¦  «         ||j        k    sJ ‚	 d d d ¦  «         d S # 1 swxY w Y   d S )Nr   r   rH   T)r0   rJ   rÅ   rM   rx   )r?  r@  r‹   rŒ   r�   r   r7   rc   )r+  r>   r?   rM   rÝ   s        r,   Útest_warm_start_full_iterationrL  ô  s  € õ •6€q€AØ€HØ
ˆ,Ø U°tÀhðñ ô €Cõ 
Ô	 Ñ	"Ô	"ð 'ð 'ÝÔ˜hÕ(:Ñ;Ô;Ð;Ø�Š��1‰ŒˆØ˜3œ;Ò&Ð&Ð&Ð&Ø�Š��1‰ŒˆØ˜3œ;Ò&Ð&Ð&Ð&Ð&ð'ð 'ð 'ñ 'ô 'ð 'ð 'ð 'ð 'ð 'ð 'ð 'øøøð 'ð 'ð 'ð 'ð 'ð 's   ³A!B"Â"B&Â)B&c                  óà   — t           d d…         } t          d d…         }d}d}dD ]H}t          ||d|¬¦  «        }|                     | |¦  «         |j        |dz   k    sJ ‚||j        k    sJ ‚ŒId S )Nr%   rÖ   r   )r   rs   r   r£   r%   rH   ©r²   rM   rJ   Ún_iter_no_changer/   )r4   r5   r
   r7   rk   rc   )r>   r?   r²   rM   rO  rÝ   s         r,   Útest_n_iter_no_changerP    s©   € õ 	˜˜˜Ô€AÝ˜˜˜Ô€AØ
€CØ€Hð 0ð &ð &ÐÝØ˜h¨uÐGWð
ñ 
ô 
ˆð 	�Š��1‰Œˆð Ô(Ð,<¸qÑ,@Ò@Ð@Ð@Ð@Ø˜#œ+Ò%Ð%Ð%Ð%Ð%ð&ð &r.   z-ignore::sklearn.exceptions.ConvergenceWarningc                  óø   — t           d d…         } t          d d…         }d}t          j        }d}t	          ||d|¬¦  «        }|                     | |¦  «         |j        |k    sJ ‚|j        |j        dz
  k    sJ ‚d S )Nr%   g    eÍÍAr   rH   rN  r/   )r4   r5   r(   rh   r
   r7   rc   rk   )r>   r?   r²   rO  rM   rÝ   s         r,   Útest_n_iter_no_change_infrR    sž   € õ 	˜˜˜Ô€AÝ˜˜˜Ô€Að €Cõ ”vÐØ€HÝ
Ø˜(¨5ÐCSðñ ô €Cð ‡G‚GˆAˆq�M„M€Mð Œ;˜(Ò"Ð"Ð"Ð"ð Ô$¨¬°a©Ò7Ð7Ð7Ð7Ð7Ð7r.   c                  óÞ   — ddgddgddgddgg} g d¢}t          d¬¦  «        }t          j        t          d	¬
¦  «        5  |                     | |¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )Nr/   r   r   rÂ   rs   )r   r   r   r/   TrÐ   z0The least populated class in y has only 1 memberrô   )r
   r¶   rÚ   rÛ   r7   rp   s      r,   Útest_early_stopping_stratifiedrT  5  sÍ   € à
ˆQˆ�!�Q�˜!˜Q˜ ! Q Ð(€AØˆˆ€Aå
 tÐ
,Ñ
,Ô
,€CÝ	ŒÝÐLð
ñ 
ô 
ð ð ð 	�Š��1‰Œˆðð ð ñ ô ð ð ð ð ð ð ð øøøð ð ð ð ð ð s   ¾A"Á"A&Á)A&c                  ó  — t          ddddd¬¦  «        } |                      t          d d…         t          d d…         ¦  «         |                      t          dd …         ¦  «        }|                      t          dd …         ¦  «        }t          ddddd¬¦  «        }|                     t          d d…                              t          j        ¦  «        t          d d…         ¦  «         |                     t          dd …                              t          j        ¦  «        ¦  «        }|                     t          dd …                              t          j        ¦  «        ¦  «        }t          ||¦  «         t          ||d¬	¦  «         d S )
Nrw   ©rs   r   r/   r%   rI   ©r1   r0   r#   rM   r²   é,  rÖ   ©Úrtol)r
   r7   ÚX_digitsÚy_digitsr¨   ro   Úastyper(   Úfloat32r   r   )Úmlp_64Úpred_64Úproba_64Úmlp_32Úpred_32Úproba_32s         r,   Ú"test_mlp_classifier_dtypes_castingre  A  sQ  € åØ v¸AÈÐQUðñ ô €Fð ‡J‚J�x˜˜˜Œ~�x¨¨¨œ~Ñ.Ô.Ð.Ø�nŠn�X c d dœ^Ñ,Ô,€GØ×#Ò#¥H¨S¨T¨T¤NÑ3Ô3€HåØ v¸AÈÐQUðñ ô €Fð ‡J‚J�x˜˜˜Œ~×$Ò$¥R¤ZÑ0Ô0µ(¸4¸C¸4´.ÑAÔAÐAØ�nŠn�X c d dœ^×2Ò2µ2´:Ñ>Ô>Ñ?Ô?€GØ×#Ò#¥H¨S¨T¨T¤N×$9Ò$9½"¼*Ñ$EÔ$EÑFÔF€Hå�w Ñ(Ô(Ð(Ý�H˜h¨UÐ3Ñ3Ô3Ð3Ð3Ð3r.   c                  ó6  — t          ddddd¬¦  «        } |                      t          d d…         t          d d…         ¦  «         |                      t          dd …         ¦  «        }t          ddddd¬¦  «        }|                     t          d d…                              t          j        ¦  «        t          d d…         ¦  «         |                     t          dd …                              t          j        ¦  «        ¦  «        }t          ||d¬	¦  «         d S )
Nrw   rV  r/   r¢   r±   rW  rX  gü©ñÒMb@?rY  )	r   r7   r[  r\  r¨   r]  r(   r^  r   )r_  r`  rb  rc  s       r,   Ú!test_mlp_regressor_dtypes_castingrg  U  sû   € ÝØ v¸AÈÐQUðñ ô €Fð ‡J‚J�x˜˜˜Œ~�x¨¨¨œ~Ñ.Ô.Ð.Ø�nŠn�X c d dœ^Ñ,Ô,€GåØ v¸AÈÐQUðñ ô €Fð ‡J‚J�x˜˜˜Œ~×$Ò$¥R¤ZÑ0Ô0µ(¸4¸C¸4´.ÑAÔAÐAØ�nŠn�X c d dœ^×2Ò2µ2´:Ñ>Ô>Ñ?Ô?€Gå�G˜W¨5Ð1Ñ1Ô1Ð1Ð1Ð1r.   r¦   Ú	Estimatorc                 ó¬  ‡ — t                                ‰ ¦  «        t          }} |ddddd¬¦  «        }|                     |d d…         |d d…         ¦  «         |                     |dd …         ¦  «        }t          ˆ fd„|j        D ¦   «         ¦  «        sJ ‚t          ˆ fd	„|j        D ¦   «         ¦  «        sJ ‚|t          k    r|j	        ‰ k    sJ ‚d S d S )
Nrw   rV  r/   r£   rI   rW  rX  c                 ó&   •— g | ]}|j         ‰k    ‘ŒS rS   ©r¦   )rV   Ú	interceptr¦   s     €r,   rX   z)test_mlp_param_dtypes.<locals>.<listcomp>q  s    ø€ ÐJÐJÐJ¨Y�	” 5Ò(ÐJÐJÐJr.   c                 ó&   •— g | ]}|j         ‰k    ‘ŒS rS   rk  )rV   Úcoefr¦   s     €r,   rX   z)test_mlp_param_dtypes.<locals>.<listcomp>s  s    ø€ Ð;Ð;Ð;¨�”
˜eÒ#Ð;Ð;Ð;r.   )
r[  r]  r\  r7   r¨   r=   r^   r:   r   r¦   )r¦   rh  r>   r?   rC   Úpreds   `     r,   Útest_mlp_param_dtypesrp  e  sý   ø€ õ
 �?Š?˜5Ñ!Ô!¥8€q€AØ
ˆ)Ø v¸AÈÐPTðñ ô €Cð ‡G‚GˆAˆdˆsˆdŒG�Q�t˜�t”WÑÔÐØ�;Š;�q˜˜˜”wÑÔ€DåÐJÐJÐJÐJ¸#¼/ÐJÑJÔJÑKÔKÐKÐKÐKåÐ;Ð;Ð;Ð;°´
Ð;Ñ;Ô;Ñ<Ô<Ð<Ð<Ð<à•LÒ Ð ØŒz˜UÒ"Ð"Ð"Ð"ð !Ð Ø"Ð"r.   c                 ón  — t          dddd¬¦  «        }dggdg}}|                     ||¦  «         | dz  }t          j        ||¦  «         t          j        |¦  «        }dggd	g}}t          d¦  «        D ]}|                     ||¦  «         Œ|                     |¦  «        }	t          |	|d
¬¦  «         dS )zYLoading from MLP and partial fitting updates weights. Non-regression
    test for #19626.)rt   rt   rÖ   r   )r0   r#   rK   rM   r   rÂ   zmlp.pklr/   ç-Cëâ6?rY  N)	r   r7   ÚjoblibÚdumpÚloadr;   rn   r¨   r   )
Útmp_pathÚpre_trained_estimatorÚfeaturesÚtargetÚpickled_fileÚload_estimatorÚfine_tune_featuresÚfine_tune_targetÚ_Úpredicted_values
             r,   Ú(test_mlp_loading_from_joblib_partial_fitr€  y  sñ   € õ )Ø ¨rÀdÐUXðñ ô Ðð ˜�u˜q˜cˆf€Hð ×Ò˜h¨Ñ/Ô/Ð/ð ˜iÑ'€LÝ
„KÐ% |Ñ4Ô4Ð4Ý”[ Ñ.Ô.€Nð ./¨C¨5°1°#Ð(Ðå�3‰ZŒZð Ið IˆØ×"Ò"Ð#5Ð7GÑHÔHÐHÐHð %×,Ò,Ð-?Ñ@Ô@€OÝ�OÐ%5¸DÐAÑAÔAÐAÐAÐAr.   c                 óì  — t          j        d¦  «        }t          j                             d¦  «        }|                     |                     dd¦  «        ddg¬¦  «        }|                     t          j        dd¦  «        d	¬
¦  «        } | dd¬¦  «        }t          j
        ¦   «         5  t          j        dt          ¦  «         |                     ||¦  «         ddd¦  «         dS # 1 swxY w Y   dS )z¸Check that feature names are preserved when early stopping is enabled.

    Feature names are required for consistency checks during scoring.

    Non-regression test for gh-24846
    Úpandasr   r   r   Ú	colname_aÚ	colname_b)ÚdataÚcolumnsr/   Ú	colname_y)r…  ÚnameTrO   )rÑ   Úvalidation_fractionÚerrorN)r¶   Úimportorskipr(   r…   r†   Ú	DataFrameÚrandnÚSeriesÚfullr‹   rŒ   r�   ÚUserWarningr7   )rh  Úpdrû   r>   r?   Úmodels         r,   Útest_preserve_feature_namesr“  ”  s  € õ 
Ô	˜XÑ	&Ô	&€BÝ
Œ)×
Ò
 Ñ
"Ô
"€Cà
�Š˜#Ÿ)š) B¨Ñ*Ô*°[À+Ð4NˆÑOÔO€AØ
�	Š	•r”w˜r 1‘~”~¨Kˆ	Ñ8Ô8€AàˆI T¸sÐCÑCÔC€Eå	Ô	 Ñ	"Ô	"ð ð ÝÔ˜g¥{Ñ3Ô3Ð3Ø�	Š	�!�Q‰Œˆðð ð ñ ô ð ð ð ð ð ð ð øøøð ð ð ð ð ð s   Â+1C)Ã)C-Ã0C-c                 ó¶  —  | dddd¬¦  «        }t          j        ¦   «         5  t          j        dt          ¦  «         |                     t
          t          ¦  «         t          |j        ¦  «        }| 	                    d¬¦  «         |                     t
          t          ¦  «         ddd¦  «         n# 1 swxY w Y   t          |j        ¦  «        |k    sJ ‚dS )	z0Check that early stopping works with warm start.r   r   T)rM   r#   rÅ   rÑ   rx   é   ©rM   N)
r‹   rŒ   r�   r   r7   r?  r@  r<   r/  Ú
set_params)r+  rC   Ún_validation_scoress      r,   Ú'test_mlp_warm_start_with_early_stoppingr™  ©  s  € ð ˆ,Ø !°ÀTðñ ô €Cõ 
Ô	 Ñ	"Ô	"ð  ð  ÝÔ˜hÕ(:Ñ;Ô;Ð;Ø�Š•�ÑÔÐÝ! #Ô"8Ñ9Ô9ÐØ�Š ˆÑ#Ô#Ð#Ø�Š•�ÑÔÐð ð  ð  ñ  ô  ð  ð  ð  ð  ð  ð  øøøð  ð  ð  ð  õ ˆsÔ%Ñ&Ô&Ð)<Ò<Ð<Ð<Ð<Ð<Ð<s   £BB4Â4B8Â;B8rJ   )rH   Úadamrv   c                 óà  —  | |dddt           j        d¬¦  «        }t          j        t          ¦  «        5  |                     t          t          ¦  «         ddd¦  «         n# 1 swxY w Y   |j        dk    sJ ‚| 	                    d¬¦  «         t          j        t          ¦  «        5  |                     t          t          ¦  «         ddd¦  «         n# 1 swxY w Y   |j        dk    sJ ‚dS )	z­Check that we stop the number of iteration at `max_iter` when warm starting.

    Non-regression test for:
    https://github.com/scikit-learn/scikit-learn/issues/24764
    TFr   r   )rJ   rÅ   rÑ   rM   rO  r#   Nr•  r–  )
r(   rh   r¶   r·   r   r7   r?  r@  rc   r—  )r+  rJ   r’  s      r,   Ú"test_mlp_warm_start_no_convergencerœ  ¸  sg  € ð ˆLØØØØÝœØðñ ô €Eõ 
ŒÕ(Ñ	)Ô	)ð "ð "Ø�	Š	•&�&Ñ!Ô!Ð!ð"ð "ð "ñ "ô "ð "ð "ð "ð "ð "ð "øøøð "ð "ð "ð "àŒ=˜BÒÐÐÐà	×Ò˜bÐÑ!Ô!Ð!Ý	ŒÕ(Ñ	)Ô	)ð "ð "Ø�	Š	•&�&Ñ!Ô!Ð!ð"ð "ð "ñ "ô "ð "ð "ð "ð "ð "ð "øøøð "ð "ð "ð "àŒ=˜BÒÐÐÐÐÐs#   µ!A"Á"A&Á)A&Â)!CÃCÃCc                 ó  —  | dd¬¦  «                              t          t          ¦  «        }d}t          j        t
          |¬¦  «        5  |                     t          t          ¦  «         ddd¦  «         dS # 1 swxY w Y   dS )zoCheck partial fit does not fail after fit when early_stopping=True.

    Non-regression test for gh-25693.
    Tr   )rÑ   r#   z0partial_fit does not support early_stopping=Truerô   N)r7   r?  r@  r¶   rÚ   rÛ   rn   )r+  rC   rý   s      r,   Útest_mlp_partial_fit_after_fitrž  Ó  sº   € ð ˆ, d¸Ð
;Ñ
;Ô
;×
?Ò
?ÅÍÑ
OÔ
O€Cà
<€CÝ	Œ•z¨Ð	-Ñ	-Ô	-ð (ð (Ø�Š�¥Ñ'Ô'Ð'ð(ð (ð (ñ (ô (ð (ð (ð (ð (ð (ð (ð (øøøð (ð (ð (ð (ð (ð (s   Á	!A7Á7A;Á>A;c                  óê  — t          dddddddddd	d
¬¦  «        } t          j        ¦   «         5  t          j        dt          ¦  «         t          j        dt
          ¦  «         |                      t          t          ¦  «         ddd¦  «         n# 1 swxY w Y   t          | j
        d         ¦  «        t          t          j        ¦  «        k    sJ ‚t          | j
        d         t          ¦  «        sJ ‚dS )z²Test that a diverging model does not raise errors when early stopping is enabled.

    Non-regression test for:
    https://github.com/scikit-learn/scikit-learn/issues/29504
    r%   r   rH   rr  rÁ   r/   Tr•  r   r   )r0   rL   rJ   r1   rÃ   rK   r¤   rM   rÑ   rO  r#   rx   Nr-  )r   r‹   rŒ   r�   ÚRuntimeWarningr   r7   r?  r@  Ústrr/  r(   Únanr.  Úfloat)rC   s    r,   Útest_mlp_diverging_lossr¤  à  s+  € õ ØØØØØ ØØØØØØðñ ô €Cõ 
Ô	 Ñ	"Ô	"ð  ð  õ 	Ô˜h­Ñ7Ô7Ð7ÝÔ˜hÕ(:Ñ;Ô;Ð;Ø�Š•�ÑÔÐð ð  ð  ñ  ô  ð  ð  ð  ð  ð  ð  øøøð  ð  ð  ð  õ ˆsÔ% bÔ)Ñ*Ô*­cµ"´&©k¬kÒ9Ð9Ð9Ð9Ý�cÔ,¨RÔ0µ%Ñ8Ô8Ð8Ð8Ð8Ð8Ð8s   ®ABÂBÂB)^Ú__doc__rA  r%  r‹   Úior   rs  Únumpyr(   r¶   Úsklearn.datasetsr   r   r   r   Úsklearn.exceptionsr   Úsklearn.metricsr	   Úsklearn.neural_networkr
   r   Úsklearn.preprocessingr   r   r   Úsklearn.utils._testingr   r   r   r   Úsklearn.utils.fixesr   rŠ   r[  r\  r‰   r  r  r4   r5   rà   rí   rî   Úregression_datasetsÚirisr…  r?  ry  r@  rE   rq   r    ÚmarkÚparametrizer¯   r³   r¹   r»   rË   rÒ   r×   rÞ   rä   rê   rï   rò   rþ   r  r  r  r  r  r!  r*  r5  r8  rJ  rL  rP  ÚfilterwarningsrR  rT  re  rg  r^  r÷   rp  r€  r“  r™  rœ  rž  r¤  rS   r.   r,   ú<module>r´     sÐ  ððð ð 
€	€	€	Ø 
€
€
€
Ø €€€Ø Ð Ð Ð Ð Ð à €€€Ø Ð Ð Ð Ø €€€ðð ð ð ð ð ð ð ð ð ð ð ð 2Ð 1Ð 1Ð 1Ð 1Ð 1Ø )Ð )Ð )Ð )Ð )Ð )Ø >Ð >Ð >Ð >Ð >Ð >Ð >Ð >Ø EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ Eðð ð ð ð ð ð ð ð ð ð ð ð /Ð .Ð .Ð .Ð .Ð .à;Ð;Ð;Ð à �[¨°tÐ<Ñ<Ô<Ñ €ˆ(à�‘”×-Ò-¨h°t¸°t¬nÑ=Ô=€Ø˜$˜3˜$”€à �[¨°tÐ<Ñ<Ô<Ñ €ˆ(à�,‘.”.×.Ò.¨x¸¸¸¬~Ñ>Ô>€Ø˜4˜C˜4”.€ð �^Ð$Ø�oÐ&ðÐ ð
 ˆØ˜b t°5Àqðñ ô �€€uð 	ˆˆe‰Œ€Ø˜u�~Ð&Ð à€y�{„{€à	Œ€Ø	Œ€ð?ð ?ð ?ð*^Fð ^Fð ^FðB@/ð @/ð @/ðF „×Ò˜Ð 7Ñ8Ô8ðRð Rñ 9Ô8ðRð0 „×Ò˜Ð 3Ñ4Ô4ð*ð *ñ 5Ô4ð*ð( „×Ò˜Ð 7Ñ8Ô8ð*ð *ñ 9Ô8ð*ð( „×Ò˜Ð 3Ñ4Ô4ð*ð *ñ 5Ô4ð*ð*Pð Pð Pð2#ð #ð #ðL!ð !ð !ð.ð .ð .ð&ð &ð &ð6Eð Eð Eð"ð "ð "ðJ
Eð 
Eð 
Eðð ð ð*2ð 2ð 2ð.2ð 2ð 2ð*2ð 2ð 2ð0'>ð '>ð '>ðT „×Ò˜¨.Ñ9Ô9ð%ð %ñ :Ô9ð%ð &ð &ð &ð,ð ,ð ,ð  „×Ò˜¨-¸Ð)FÑGÔGð0ð 0ñ HÔGð0ð</ð /ð /ðð ð ðD „×Ò˜¨-¸Ð)FÑGÔGð'ð 'ñ HÔGð'ð$&ð &ð &ð( „×ÒÐKÑLÔLð8ð 8ñ MÔLð8ð2	ð 	ð 	ð4ð 4ð 4ð(2ð 2ð 2ð  „×Ò˜ 2¤:¨r¬zÐ":Ñ;Ô;Ø„×Ò˜ }°lÐ&CÑDÔDð#ð #ñ EÔDñ <Ô;ð#ð$Bð Bð Bð6 „×Ò˜ }°lÐ&CÑDÔDðð ñ EÔDðð( „×Ò˜¨-¸Ð)FÑGÔGð=ð =ñ HÔGð=ð „×Ò˜¨-¸Ð)FÑGÔGØ„×Ò˜Ð#;Ð#;Ð#;Ñ<Ô<ðð ñ =Ô<ñ HÔGðð2 „×Ò˜¨-¸Ð)FÑGÔGð	(ð 	(ñ HÔGð	(ð9ð 9ð 9ð 9ð 9r.   