§
    	¼¸jcK ã                   ó  — d dl Z d dlZd dlZd dlmZ d dlZd dlZd dlm	Z	m
Z
mZmZ d dlmZ d dlmZmZ d dlmZ d dlmZ d dlmZ d d	lmZmZmZ d d
lmZ d dlmZ d dl m!Z" d dl m#Z$ d dl m%Z%m&Z& d dl'm(Z(m)Z) d dl*m+Z+m,Z,m-Z-m.Z.m/Z/ d dl0m1Z1 d dl2m3Z3m4Z4m5Z5 d dl6m7Z7 d dl8m9Z9m:Z: d dl;m<Z<m=Z= d dl>m?Z?m@Z@mAZA ejB         C                    d¦  «        ZD ee"d ¬¦  «        Z! ee$d ¬¦  «        Z#dZEdd gd dgddggZFg d¢ZGg d¢ZH e¦   «         ZId„ ZJejB         K                    deA¦  «        d „ ¦   «         ZLd!„ ZMe=d"„ ¦   «         ZNejB         K                    deA¦  «        d#„ ¦   «         ZOejB         C                    d$¦  «        ejB         K                    d% e! ePeIjQ        ¦  «        d&d'¬(¦  «         e! ePeIjQ        ¦  «        d)¬*¦  «         e! ePeIjQ        ¦  «        d+¬*¦  «         e! ePeIjQ        ¦  «        d,d-d'd.¬/¦  «         e! ePeIjQ        ¦  «        d0d-d'd.¬/¦  «         e! ePeIjQ        ¦  «        d1¬*¦  «        g¦  «        d2„ ¦   «         ¦   «         ZRejB         C                    d$¦  «        ejB         K                    d3e!e#g¦  «        d4„ ¦   «         ¦   «         ZSejB         K                    d3e!e#g¦  «        d5„ ¦   «         ZTejB         C                    d$¦  «        ejB         K                    d6g d7¢¦  «        d8„ ¦   «         ¦   «         ZUejB         C                    d$¦  «        d9„ ¦   «         ZVejB         K                    d:e@¦  «        d;„ ¦   «         ZWd<„ ZXd=„ ZYd>„ ZZd?„ Z[d@„ Z\dA„ Z]dB„ Z^ejB         K                    dCdDdEgfdFdGdHgfdIdGdHgfdJdEgfdKdGdHgfg¦  «        dL„ ¦   «         Z_dM„ Z`ejB         K                    deA¦  «        dN„ ¦   «         ZaejB         C                    d$¦  «        dO„ ¦   «         ZbdP„ ZcejB         C                    d$¦  «        ejB         K                    dQdRdSg¦  «        dT„ ¦   «         ¦   «         ZdejB         K                    dQdRdSg¦  «        dU„ ¦   «         ZeejB         K                    dVdWdXdYœdWdXdZd[œg¦  «        ejB         K                    d\dVd]g¦  «        d^„ ¦   «         ¦   «         ZfejB         K                    d_d`¦  «        ejB         K                    d6d¦  «        da„ ¦   «         ¦   «         ZgejB         K                    d6db¦  «        dc„ ¦   «         Zhdd„ Zide„ ZjejB         K                    ddf„ geAz   ¦  «        dg„ ¦   «         Zkdh„ Zldi„ ZmejB         K                    deA¦  «        dj„ ¦   «         ZnejB         K                    deA¦  «        dk„ ¦   «         Zodl„ Zpdm„ ZqejB         K                    deA¦  «        dn„ ¦   «         ZrejB         K                    dod.g¦  «        ejB         K                    dpdqdrg¦  «        ds„ ¦   «         ¦   «         Zsdt„ ZtejB         C                    d$¦  «        ejB         K                    du eju        ddv¦  «        ¦  «        ejB         K                    dwd'dxg¦  «        ejB         K                    dyg dz¢¦  «        d{„ ¦   «         ¦   «         ¦   «         ¦   «         ZvejB         C                    d$¦  «        ejB         K                    d6eE¦  «        d|„ ¦   «         ¦   «         ZwejB         K                    d6 ex eyeE¦  «         eyd&d1g¦  «        z
  ¦  «        ¦  «        ejB         K                    d}d~¦  «        ejB         K                    dQd~¦  «        d„ ¦   «         ¦   «         ¦   «         ZzejB         K                    deA¦  «        d€„ ¦   «         Z{ejB         C                    d$¦  «        ejB         K                    dwd'dxg¦  «        ejB         K                    d6g d�¢¦  «        ejB         K                    dQdRdSg¦  «        ejB         K                    deA¦  «        d‚„ ¦   «         ¦   «         ¦   «         ¦   «         ¦   «         Z|dƒ„ Z}d„„ Z~ejB         K                    d…g d†¢¦  «        ejB         K                    d‡dˆd‰g¦  «        dŠ„ ¦   «         ¦   «         ZejB         K                    d…g d‹¢¦  «        dŒ„ ¦   «         Z€ejB         K                    d… ej�        d�dŽd�¦  «        ¦  «        ejB         K                    d�g d‘¢¦  «        d’„ ¦   «         ¦   «         Z‚ejB         K                    d“d”¦  «        d•„ ¦   «         ZƒejB         C                    d$¦  «        d–„ ¦   «         Z„ejB         C                    d$¦  «        ejB         K                    dpd—¦  «        ejB         K                    dwd˜¦  «        d™„ ¦   «         ¦   «         ¦   «         Z…ejB         C                    d$¦  «        dš„ ¦   «         Z†d›„ Z‡ejB         K                    d… ej�        d�dŽd�¦  «        ¦  «        ejB         K                    d�g d‘¢¦  «        dœ„ ¦   «         ¦   «         Zˆd�„ Z‰ejB         C                    d$¦  «        ejB         K                    dž e!d dŸ¬ ¦  «         e#d d¡d¡d¢dŸ¬£¦  «        gd¤„ ¬¥¦  «        ejB         K                    d6eE¦  «        d¦„ ¦   «         ¦   «         ¦   «         ZŠejB         K                    d6 ex eyeE¦  «         eyd&g¦  «        z
  ¦  «        ¦  «        d§„ ¦   «         Z‹ejB         K                    d¨dqdRd©dªd«œdrdSd¬dªd«œdrdRd¬dªd«œg¦  «        d­„ ¦   «         ZŒd®„ Z�ejB         C                    d$¦  «        ejB         K                    d6g d¯¢¦  «        ejB         K                    dQdRdSg¦  «        d°„ ¦   «         ¦   «         ¦   «         ZŽejB         C                    d$¦  «        ejB         K                    dwg d˜¢¦  «        ejB         K                    d\d±d²d±d[œd]g¦  «        d³„ ¦   «         ¦   «         ¦   «         Z�ejB         K                    d6eE¦  «        ejB         K                    deA¦  «        d´„ ¦   «         ¦   «         Z�dµ„ Z‘d¶„ Z’ edS¬·¦  «        d¸„ ¦   «         Z“d¹„ Z”ejB         K                    d6eE¦  «        dº„ ¦   «         Z•d»„ Z–d¼„ Z—d½„ Z˜dS )¾é    N)Úpartial)Úassert_allcloseÚassert_almost_equalÚassert_array_almost_equalÚassert_array_equal)Úsparse)ÚLinAlgWarningÚsvd)Úconfig_context)ÚHalfMultinomialLoss)Úclone)Ú	load_irisÚmake_classificationÚmake_low_rank_matrix)ÚConvergenceWarning)ÚSGDClassifier)ÚLogisticRegression)ÚLogisticRegressionCV)Ú_log_reg_scoring_pathÚ_logistic_regression_path)Ú
get_scorerÚlog_loss)ÚGridSearchCVÚLeaveOneGroupOutÚStratifiedKFoldÚcross_val_scoreÚtrain_test_split)ÚOneVsRestClassifier)ÚLabelEncoderÚStandardScalerÚscale)Úl1_min_c)Úcompute_class_weightÚshuffle)Úignore_warningsÚskip_if_no_parallel)Ú	_IS_32BITÚCOO_CONTAINERSÚCSR_CONTAINERSz6error::sklearn.exceptions.ConvergenceWarning:sklearn.*©Úrandom_state)ÚlbfgsÚ	liblinearú	newton-cgúnewton-choleskyÚsagÚsagaéÿÿÿÿé   )r   r3   r3   )é   r3   r   c                 ó  — t          |¦  «        }t          j        |¦  «        }|j        d         }|                      ||¦  «                             |¦  «        }t          | j        |¦  «         |j        |fk    sJ ‚t          ||¦  «         |                      |¦  «        }|j        ||fk    sJ ‚t          | 
                    d¬¦  «        t          j        |¦  «        ¦  «         t          |                     d¬¦  «        |¦  «         dS )z;Check that the model is able to fit the classification datar   r3   ©ÚaxisN)ÚlenÚnpÚuniqueÚshapeÚfitÚpredictr   Úclasses_Úpredict_probar   ÚsumÚonesÚargmax)ÚclfÚXÚyÚ	n_samplesÚclassesÚ	n_classesÚ	predictedÚprobabilitiess           úx/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/sklearn/linear_model/tests/test_logistic.pyÚcheck_predictionsrL   ?   sú   € å�A‘”€IÝŒi˜‰lŒl€GØ”˜aÔ €Ià—’˜˜1‘”×%Ò% aÑ(Ô(€IÝ�s”| WÑ-Ô-Ð-àŒ?˜y˜lÒ*Ð*Ð*Ð*Ý�y !Ñ$Ô$Ð$à×%Ò% aÑ(Ô(€MØÔ 9¨iÐ"8Ò8Ð8Ð8Ð8Ý˜m×/Ò/°QÐ/Ñ7Ô7½¼ÀÑ9KÔ9KÑLÔLÐLÝ�}×+Ò+°Ð+Ñ3Ô3°QÑ7Ô7Ð7Ð7Ð7ó    Úcsr_containerc                 ó0  — t          t          d¬¦  «        t          t          ¦  «         t          t          d¬¦  «         | t          ¦  «        t          ¦  «         t          t          dd¬¦  «        t          t          ¦  «         t          t          dd¬¦  «         | t          ¦  «        t          ¦  «         t          t          dd¬¦  «        t          t          ¦  «         t          t          dd¬¦  «         | t          ¦  «        t          ¦  «         d S )Nr   r*   éd   )ÚCr+   F©Úfit_interceptr+   )rL   r   rD   ÚY1©rN   s    rK   Útest_predict_2_classesrV   Q   sñ   € õ Õ(°aÐ8Ñ8Ô8½!½RÑ@Ô@Ð@ÝÕ(°aÐ8Ñ8Ô8¸-¸-ÍÑ:JÔ:JÍBÑOÔOÐOåÕ(¨3¸QÐ?Ñ?Ô?ÅÅBÑGÔGÐGÝÕ(¨3¸QÐ?Ñ?Ô?ÀÀÍqÑAQÔAQÕSUÑVÔVÐVåÕ(°uÈ1ÐMÑMÔMÍqÕRTÑUÔUÐUÝÝ¨¸QÐ?Ñ?Ô?ÀÀÍqÑAQÔAQÕSUñô ð ð ð rM   c                  óÂ  —  G d„ d¦  «        }  | ¦   «         }g d¢}d}t          |||¬¦  «        }t          d¬¦  «        \  }}|                     ||¦  «         |j        d         |d         k    sJ ‚|j        |t          |¦  «        z  k    sJ ‚d|_        |                     ||                     |¦  «        ¦  «        }||j        d         k    sJ ‚|j        dk    sJ ‚d S )	Nc                   ó   — e Zd Zd„ Zdd„ZdS )ú0test_logistic_cv_mock_scorer.<locals>.MockScorerc                 ó&   — d| _         g d¢| _        d S )Nr   )çš™™™™™¹?gš™™™™™Ù?çš™™™™™é?ç      à?)ÚcallsÚscores)Úselfs    rK   Ú__init__z9test_logistic_cv_mock_scorer.<locals>.MockScorer.__init__c   s   € ØˆDŒJØ.Ð.Ð.ˆDŒKˆKˆKrM   Nc                 ót   — | j         | j        t          | j         ¦  «        z           }| xj        dz  c_        |S )Nr3   )r_   r^   r8   )r`   ÚmodelrD   rE   Úsample_weightÚscores         rK   Ú__call__z9test_logistic_cv_mock_scorer.<locals>.MockScorer.__call__g   s3   € Ø”K ¤
­S°´Ñ-=Ô-=Ñ =Ô>ˆEØˆJŒJ˜!‰OˆJŒJØˆLrM   ©N)Ú__name__Ú
__module__Ú__qualname__ra   rf   © rM   rK   Ú
MockScorerrY   b   s7   € € € € € ð	/ð 	/ð 	/ð	ð 	ð 	ð 	ð 	ð 	rM   rl   )r3   r4   é   é   r4   )ÚCsÚscoringÚcvr   r*   r3   )	r   r   r<   ÚC_r^   r8   re   r=   r_   )rl   Úmock_scorerro   rq   ÚlrrD   rE   Úcustom_scores           rK   Útest_logistic_cv_mock_scorerrv   a   s  € ðð ð ð ð ñ ô ð ð �*‘,”,€KØ	ˆˆ€BØ	
€Bå	 ¨[¸RÐ	@Ñ	@Ô	@€BÝ¨AÐ.Ñ.Ô.�D€A€qØ‡F‚Fˆ1ˆa�L„L€Lð Œ5�Œ8�r˜!”uÒÐÐÐð Ô ¥S¨¡W¤W¡Ò,Ð,Ð,Ð,ð €KÔØ—8’8˜A˜rŸzšz¨!™}œ}Ñ-Ô-€Là˜;Ô-¨aÔ0Ò0Ð0Ð0Ð0ØÔ Ò!Ð!Ð!Ð!Ð!Ð!rM   c                  ó4  — t           j        j        \  } }t           j        t           j                 }t          dd¬¦  «        }d}t          j        t          |¬¦  «        5  | 	                    t           j        |¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )Nr-   r4   )ÚsolverÚn_jobsz\'n_jobs' > 1 does not have any effect when 'solver' is set to 'liblinear'. Got 'n_jobs' = 2.©Úmatch)
ÚirisÚdatar;   Útarget_namesÚtargetr   ÚpytestÚwarnsÚUserWarningr<   )rF   Ú
n_featuresr   rt   Úwarning_messages        rK   Útest_lr_liblinear_warningr…   ‚   sÌ   € å œIœOÑ€IˆzÝÔ�tœ{Ô+€Få	 ;°qÐ	9Ñ	9Ô	9€Bð	ð õ
 
Œ•k¨Ð	9Ñ	9Ô	9ð "ð "Ø
�Š�tŒy˜&Ñ!Ô!Ð!ð"ð "ð "ñ "ô "ð "ð "ð "ð "ð "ð "ð "øøøð "ð "ð "ð "ð "ð "s   Á!BÂBÂBc                 ó¼   — t          t          d¬¦  «        t          t          ¦  «         t          t          d¬¦  «         | t          ¦  «        t          ¦  «         d S )Né
   ©rQ   )rL   r   rD   ÚY2rU   s    rK   Útest_predict_3_classesrŠ   ‘   sN   € åÕ(¨2Ð.Ñ.Ô.µµ2Ñ6Ô6Ð6ÝÕ(¨2Ð.Ñ.Ô.°°½aÑ0@Ô0@Å"ÑEÔEÐEÐEÐErM   z5ignore:.*'multi_class' was deprecated.*:FutureWarningrC   r-   Úovr)rQ   rx   Úmulti_classr,   )rQ   rx   r.   r0   ç{®Gáz„?é*   )rQ   rx   ÚtolrŒ   r+   r1   r/   c                 ó‚  — t           j        j        \  }}t           j        t           j                 }| j        dk    rft          j        ¦   «         5  t          j        dt          ¦  «         |  
                    t           j        |¦  «         ddd¦  «         n# 1 swxY w Y   n |  
                    t           j        |¦  «         t          t          j        |¦  «        | j        ¦  «         |                      t           j        ¦  «        }t          j        ||k    ¦  «        dk    sJ ‚|                      t           j        ¦  «        }t%          |                     d¬¦  «        t          j        |¦  «        ¦  «         t           j        |                     d¬¦  «                 }t          j        ||k    ¦  «        dk    sJ ‚dS )zÅTest logistic regression with the iris dataset.

    Test that both multinomial and OvR solvers handle multiclass data correctly and
    give good accuracy score (>0.95) for the training data.
    r,   ÚignoreNçffffffî?r3   r6   )r|   r}   r;   r~   r   rx   ÚwarningsÚcatch_warningsÚsimplefilterr   r<   r   r9   r:   r>   r=   Úmeanr?   r   r@   rA   rB   )rC   rF   rƒ   r   ÚpredrJ   s         rK   Útest_predict_irisr˜   ˜   s¦  € õ4 !œIœOÑ€IˆzÝÔ�tœ{Ô+€Fà
„z�WÒÐåÔ$Ñ&Ô&ð 	'ð 	'ÝÔ! (Õ,>Ñ?Ô?Ð?Ø�GŠG•D”I˜vÑ&Ô&Ð&ð	'ð 	'ð 	'ñ 	'ô 	'ð 	'ð 	'ð 	'ð 	'ð 	'ð 	'øøøð 	'ð 	'ð 	'ð 	'øð 	�Š•”	˜6Ñ"Ô"Ð"Ý•r”y Ñ(Ô(¨#¬,Ñ7Ô7Ð7à�;Š;•t”yÑ!Ô!€DÝŒ7�4˜6’>Ñ"Ô" TÒ)Ð)Ð)Ð)à×%Ò%¥d¤iÑ0Ô0€MÝ�M×%Ò%¨1Ð%Ñ-Ô-­r¬w°yÑ/AÔ/AÑBÔBÐBåÔ˜]×1Ò1°qÐ1Ñ9Ô9Ô:€DÝŒ7�4˜6’>Ñ"Ô" TÒ)Ð)Ð)Ð)Ð)Ð)s   Á;BÂBÂBÚLRc                 ó  — t           j        t           j        }}dD ]^}d|› d�} | |d¬¦  «        }t          j        t
          |¬¦  «        5  |                     ||¦  «         d d d ¦  «         n# 1 swxY w Y   Œ_dD ]^}d|z  } | |d	d
¬¦  «        }t          j        t
          |¬¦  «        5  |                     ||¦  «         d d d ¦  «         n# 1 swxY w Y   Œ_dD ]^}d|z  } | |dd
¬¦  «        }t          j        t
          |¬¦  «        5  |                     ||¦  «         d d d ¦  «         n# 1 swxY w Y   Œ_dD ]^}d|› d�} | |d¬¦  «        }t          j        t
          |¬¦  «        5  |                     ||¦  «         d d d ¦  «         n# 1 swxY w Y   Œ_| t          u r[d} | d d¬¦  «        }t          j        t
          |¬¦  «        5  |                     ||¦  «         d d d ¦  «         d S # 1 swxY w Y   d S d S )N©r-   zSolver z( does not support a multinomial backend.Úmultinomial)rx   rŒ   rz   )r,   r.   r/   r0   z/Solver %s supports only 'l2' or None penalties,Úl1r‹   )rx   ÚpenaltyrŒ   ©r,   r.   r/   r0   r1   z1Solver %s supports only dual=False, got dual=TrueT)rx   ÚdualrŒ   z;Only 'saga' solver supports elasticnet penalty, got solver=ú.Ú
elasticnet)rx   rž   z6penalty=None is not supported for the liblinear solverr-   ©rž   rx   )r|   r}   r   r€   ÚraisesÚ
ValueErrorr<   r   )r™   rD   rE   rx   Úmsgrt   s         rK   Útest_check_solver_optionr§   É   s…  € õ Œ9•d”k€q€Að  ð ð ˆØH˜ÐHÐHÐHˆØˆR�v¨=Ð9Ñ9Ô9ˆÝŒ]�:¨SÐ1Ñ1Ô1ð 	ð 	Ø�FŠF�1�a‰LŒLˆLð	ð 	ð 	ñ 	ô 	ð 	ð 	ð 	ð 	ð 	ð 	øøøð 	ð 	ð 	ð 	øð Cð ð ˆØ?À&ÑHˆØˆR�v t¸Ð?Ñ?Ô?ˆÝŒ]�:¨SÐ1Ñ1Ô1ð 	ð 	Ø�FŠF�1�a‰LŒLˆLð	ð 	ð 	ñ 	ô 	ð 	ð 	ð 	ð 	ð 	ð 	øøøð 	ð 	ð 	ð 	øàJð ð ˆØAÀFÑJˆØˆR�v D°eÐ<Ñ<Ô<ˆÝŒ]�:¨SÐ1Ñ1Ô1ð 	ð 	Ø�FŠF�1�a‰LŒLˆLð	ð 	ð 	ñ 	ô 	ð 	ð 	ð 	ð 	ð 	ð 	øøøð 	ð 	ð 	ð 	øð  ð ð ˆØUÈFÐUÐUÐUˆØˆR�v |Ð4Ñ4Ô4ˆÝŒ]�:¨SÐ1Ñ1Ô1ð 	ð 	Ø�FŠF�1�a‰LŒLˆLð	ð 	ð 	ñ 	ô 	ð 	ð 	ð 	ð 	ð 	ð 	øøøð 	ð 	ð 	ð 	øð
 
ÕÐÐØFˆØˆR˜ [Ð1Ñ1Ô1ˆÝŒ]�:¨SÐ1Ñ1Ô1ð 	ð 	Ø�FŠF�1�a‰LŒLˆLð	ð 	ð 	ñ 	ô 	ð 	ð 	ð 	ð 	ð 	ð 	ð 	øøøð 	ð 	ð 	ð 	ð 	ð 	ð  ÐsZ   ÁA.Á.A2	Á5A2	Â,CÃC	ÃC	ÄD0Ä0D4	Ä7D4	Å.FÆF	ÆF	ÇG4Ç4G8Ç;G8c                 ó  —  | dd¬¦  «        }t          j        t          d¬¦  «        5  |                     t	          j        ddgdd	gg¦  «        t	          j        d
dg¦  «        ¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )Nr¢   r1   r£   z.*l1_ratio.*rz   r3   r4   rm   rn   r   )r€   r¤   r¥   r<   r9   Úarray)r™   rc   s     rK   Ú$test_elasticnet_l1_ratio_err_helpfulrª   ó   sÞ   € ð ˆB�|¨FÐ3Ñ3Ô3€EÝ	Œ•z¨Ð	9Ñ	9Ô	9ð @ð @Ø�	Š	•"”(˜Q ˜F Q¨ FÐ+Ñ,Ô,­b¬h¸¸1°vÑ.>Ô.>Ñ?Ô?Ð?ð@ð @ð @ñ @ô @ð @ð @ð @ð @ð @ð @ð @øøøð @ð @ð @ð @ð @ð @s   ©AA9Á9A=Â A=rx   ©r,   r.   r0   r1   c                 óì  — t           j        dk                         t          j        ¦  «        }t          j        ddg¦  «        |         }t          | ddd¬¦  «        }|                     t           j        |¦  «         |j	        j
        dt           j        j
        d         fk    sJ ‚|j        j
        d	k    sJ ‚t          |                     t           j        ¦  «        |¦  «         t          | ddd
¬¦  «        }|                     t           j        |¦  «         |j        t          j        |                     t           j        ¦  «        d¬¦  «                 }t          j        ||k    ¦  «        dk    sJ ‚d S )Nr   Úsetosaz
not-setosarœ   rŽ   éÐ  )rx   rŒ   r+   Úmax_iterr3   ©r3   F)rx   rŒ   r+   rS   r6   çÍÌÌÌÌÌì?)r|   r   Úastyper9   Úintpr©   r   r<   r}   Úcoef_r;   Ú
intercept_r   r=   r>   rB   Úpredict_log_probar–   )rx   r   rC   Úmlrr—   s        rK   Útest_multinomial_binaryr¸   ý   sJ  € õ Œk˜AŠo×%Ò%¥b¤gÑ.Ô.€FÝŒX�x Ð.Ñ/Ô/°Ô7€Få
Ø =¸rÈDðñ ô €Cð ‡G‚G�DŒI�vÑÔÐàŒ9Œ?˜q¥$¤)¤/°!Ô"4Ð5Ò5Ð5Ð5Ð5ØŒ>Ô 4Ò'Ð'Ð'Ð'Ý�s—{’{¥4¤9Ñ-Ô-¨vÑ6Ô6Ð6å
Ø =¸rÐQVðñ ô €Cð ‡G‚G�DŒI�vÑÔÐØŒ<�œ	 #×"7Ò"7½¼	Ñ"BÔ"BÈÐKÑKÔKÔL€DÝŒ7�4˜6’>Ñ"Ô" SÒ(Ð(Ð(Ð(Ð(Ð(rM   c                 óž  — t          | ¬¦  «        \  }}t          ddd| ¬¦  «        }|                     ||¦  «         |                     |¦  «        }|                     |¦  «        }t          j        |¦  «        t          j        |¦  «        t          j        | ¦  «        z   z  }t
          j        d|z
  |f         }t          ||¦  «         d S )Nr*   rœ   r1   çü©ñÒMbP?)rŒ   rx   r�   r+   r3   )	r   r   r<   Údecision_functionr?   r9   ÚexpÚc_r   )Úglobal_random_seedrD   rE   rC   ÚdecisionÚprobaÚexpected_proba_class_1Úexpected_probas           rK   Ú%test_multinomial_binary_probabilitiesrÃ     sÐ   € õ Ð,>Ð?Ñ?Ô?�D€A€qÝ
Ø!ØØØ'ð	ñ ô €Cð ‡G‚GˆAˆq�M„M€Mà×$Ò$ QÑ'Ô'€HØ×Ò˜aÑ Ô €EåœV HÑ-Ô-µ´¸Ñ1AÔ1AÅBÄFÈHÈ9ÑDUÔDUÑ1UÑVÐÝ”U˜1Ð5Ñ5Ð7MÐMÔN€Nå˜˜~Ñ.Ô.Ð.Ð.Ð.rM   Úcoo_containerc                 ó„  — t           j        j        \  }}t           j        t           j                 }t          t           j        ¦  «        }t          d¬¦  «                             ||¦  «        }|                     |¦  «        }| 	                    ¦   «          t          j        |j        ¦  «        sJ ‚|                     |¦  «        } | |¦  «        }|                     |¦  «        }	|                     ¦   «          |                     |¦  «        }
t          ||¦  «         t          ||	¦  «         t          ||
¦  «         d S ©Nr   r*   )r|   r}   r;   r~   r   r!   r   r<   r»   Úsparsifyr   Úissparser´   Údensifyr   )rÄ   rF   rƒ   r   rD   rC   Úpred_d_dÚpred_s_dÚsp_dataÚpred_s_sÚpred_d_ss              rK   Útest_sparsifyrÏ   .  s  € õ !œIœOÑ€IˆzÝÔ�tœ{Ô+€FÝ�dŒiÑÔ€AÝ
¨!Ð
,Ñ
,Ô
,×
0Ò
0°°FÑ
;Ô
;€Cà×$Ò$ QÑ'Ô'€Hà‡L‚L�N„N€NÝŒ?˜3œ9Ñ%Ô%Ð%Ð%Ð%Ø×$Ò$ QÑ'Ô'€Hàˆm˜AÑÔ€GØ×$Ò$ WÑ-Ô-€Hà‡K‚K�M„M€MØ×$Ò$ WÑ-Ô-€Hå˜h¨Ñ1Ô1Ð1Ý˜h¨Ñ1Ô1Ð1Ý˜h¨Ñ1Ô1Ð1Ð1Ð1rM   c                  ó^  — t           j                             d¦  «        } |                      d¦  «        }t          j        |j        d         ¦  «        }d|d<   t          d¬¦  «        }|d d…         }t          j        t          ¦  «        5  | 
                    t          |¦  «         d d d ¦  «         n# 1 swxY w Y   t          j        t          ¦  «        5  | 
                    ||¦  «                             |                      d¦  «        ¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )Nr   )é   r‡   r*   r2   )rm   é   )r9   ÚrandomÚRandomStateÚrandom_samplerA   r;   r   r€   r¤   r¥   r<   rD   r=   )ÚrngÚX_Úy_rC   Úy_wrongs        rK   Útest_inconsistent_inputrÚ   G  s„  € å
Œ)×
Ò
 Ñ
"Ô
"€CØ	×	Ò	˜7Ñ	#Ô	#€BÝ	Œ�”˜!”Ñ	Ô	€BØ€B€q�Eå
¨!Ð
,Ñ
,Ô
,€Cð ��"�Œg€Gå	Œ•zÑ	"Ô	"ð ð Ø�Š•�7ÑÔÐðð ð ñ ô ð ð ð ð ð ð øøøð ð ð ð õ 
Œ•zÑ	"Ô	"ð <ð <Ø�Š��B‰Œ×Ò × 1Ò 1°'Ñ :Ô :Ñ;Ô;Ð;ð<ð <ð <ñ <ô <ð <ð <ð <ð <ð <ð <ð <øøøð <ð <ð <ð <ð <ð <s$   ÂB4Â4B8Â;B8Ã=D"Ä"D&Ä)D&c                  óæ   — t          d¬¦  «        } |                      t          t          ¦  «         d| j        d d …<   d| j        d d …<   t          |                      t          ¦  «        d¦  «         d S rÆ   )r   r<   rD   rT   r´   rµ   r   r»   ©rC   s    rK   Útest_write_parametersrÝ   [  sf   € å
¨!Ð
,Ñ
,Ô
,€CØ‡G‚G�A�r�N„N€NØ€C„Iˆaˆaˆa�LØ€C„N�1�1�1ÑÝ˜c×3Ò3µAÑ6Ô6¸Ñ:Ô:Ð:Ð:Ð:rM   c                  ó(  — t          j        t          t           j        ¬¦  «        } t           j        | d<   t          d¬¦  «        }t          j        t          ¦  «        5  | 	                    | t          ¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )N©Údtype©r   r3   r   r*   )r9   r©   rD   Úfloat64Únanr   r€   r¤   r¥   r<   rT   )ÚXnanÚlogistics     rK   Útest_nanræ   d  s½   € õ Œ8•A�RœZÐ(Ñ(Ô(€DÝ”€Dˆ�JÝ!¨qÐ1Ñ1Ô1€Hå	Œ•zÑ	"Ô	"ð ð Ø�Š�T�2ÑÔÐðð ð ñ ô ð ð ð ð ð ð ð øøøð ð ð ð ð ð s   ÁBÂBÂBc                  ó°  — t           j                             d¦  «        } t          j        |                      dd¦  «        ddgz   |                      dd¦  «        f¦  «        }dgdz  dgdz  z   }t          j        ddd¦  «        }t          }dD ]œ}  |t          ¦  «        |||d	d
|dd¬¦  «        \  }}}t          |¦  «        D ]e\  }}	t          |	d	d
|dd¬¦  «        }
|
 
                    ||¦  «         |
j                             ¦   «         }t          |||         dd|z  ¬¦  «         ŒfŒ�dD ]§}dg}  |t          ¦  «        |||d|dd¬¦  «        \  }}}t          |d         ddd|¬¦  «        }
|
 
                    ||¦  «         t          j        |
j                             ¦   «         |
j        g¦  «        }t          ||d         dd|z  ¬¦  «         Œ¨d S )Nr   rP   r4   r3   r2   rn   r‡   ©r0   r1   Fçñhãˆµøä>éè  )ro   rS   r�   rx   r¯   r+   )rQ   rS   r�   rx   r+   r¯   zwith solver = %s)ÚdecimalÚerr_msg)r,   r.   r/   r-   r0   r1   ç     @�@ç�íµ ÷Æ°>ç     ˆÃ@)ro   r�   rx   Úintercept_scalingr+   )rQ   r�   rð   r+   rx   )r9   rÓ   rÔ   ÚconcatenateÚrandnÚlogspacer%   r   Ú	enumerater   r<   r´   Úravelr   rµ   )rÖ   rD   rE   ro   Úfrx   ÚcoefsÚ_ÚirQ   rt   Úlr_coefs               rK   Útest_consistency_pathrû   o  sS  € å
Œ)×
Ò
 Ñ
"Ô
"€CÝ
Œ˜Ÿ	š	 # qÑ)Ô)¨Q°¨FÑ2°C·I²I¸cÀ1Ñ4EÔ4EÐFÑGÔG€AØ	
ˆˆc‰	�R�D˜3‘JÑ€AÝ	Œ�Q˜˜2Ñ	Ô	€Bå€Að "ð ð ˆØ3�q�qÕ2Ñ3Ô3ØØØØØØØØð	
ñ 	
ô 	
‰ˆˆr�1õ ˜b‘M”Mð 	ð 	‰DˆAˆqÝ#ØØ#ØØØØðñ ô ˆBð �FŠF�1�a‰LŒLˆLØ”h—n’nÑ&Ô&ˆGÝ%Ø˜˜qœ¨1Ð6HÈ6Ñ6Qðñ ô ð ð ð	ð  Xð 
ð 
ˆØˆUˆØ3�q�qÕ2Ñ3Ô3ØØØØØØ%Øð
ñ 
ô 
‰ˆˆr�1õ  Ø�ŒeØØ%ØØð
ñ 
ô 
ˆð 	�Šˆq�!‰ŒˆÝ”. "¤(§.¢.Ñ"2Ô"2°B´MÐ!BÑCÔCˆÝ!Ø�U˜1”X qÐ2DÀvÑ2Mð	
ñ 	
ô 	
ð 	
ð 	
ð)
ð 
rM   c            
      ó  — t           j                             d¦  «        } t          j        |                      dd¦  «        ddgz   |                      dd¦  «        f¦  «        }dgdz  dgdz  z   }dg}t          j        t          ¦  «        5 }t          |||dddd¬¦  «         d d d ¦  «         n# 1 swxY w Y   t          |¦  «        dk    sJ ‚|d         j
        j        d         }d	|v sJ ‚d
|v sJ ‚d|v sJ ‚d|v sJ ‚d S )Nr   rP   r4   r3   r2   rí   ç        )ro   r�   r¯   r+   Úverboseúlbfgs failed to convergez!Increase the number of iterationszscale the dataz%linear_model.html#logistic-regression)r9   rÓ   rÔ   rñ   rò   r€   r�   r   r   r8   ÚmessageÚargs)rÖ   rD   rE   ro   ÚrecordÚwarn_msgs         rK   Ú.test_logistic_regression_path_convergence_failr  ­  so  € Ý
Œ)×
Ò
 Ñ
"Ô
"€CÝ
Œ˜Ÿ	š	 # qÑ)Ô)¨Q°¨FÑ2°C·I²I¸cÀ1Ñ4EÔ4EÐFÑGÔG€AØ	
ˆˆc‰	�R�D˜3‘JÑ€AØ
ˆ€Bõ
 
ŒÕ(Ñ	)Ô	)ð 
¨VÝ!Øˆq�R˜S¨1¸1Àað	
ñ 	
ô 	
ð 	
ð
ð 
ð 
ñ 
ô 
ð 
ð 
ð 
ð 
ð 
ð 
øøøð 
ð 
ð 
ð 
õ
 ˆv‰;Œ;˜!ÒÐÐÐØ�aŒyÔ Ô% aÔ(€HØ%¨Ð1Ð1Ð1Ð1Ø.°(Ð:Ð:Ð:Ð:Ø˜xÐ'Ð'Ð'Ð'Ø2°hÐ>Ð>Ð>Ð>Ð>Ð>s   ÂB/Â/B3Â6B3c                  óø  — t          dd¬¦  «        \  } }t          dddd¬¦  «        }|                     | |¦  «         t          dddd¬¦  «        }|                     | |¦  «         t          dddd¬¦  «        }|                     | |¦  «         t          |j        |j        ¦  «         d	}t          j        t          |¬
¦  «        5  t          |j        |j        ¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )Né   r   ©rF   r+   Trº   r-   )r+   r    r�   rx   é   z)Arrays are not almost equal to 6 decimalsrz   )r   r   r<   r   r´   r€   r¤   ÚAssertionError)rD   rE   Úlr1Úlr2Úlr3r¦   s         rK   Ú test_liblinear_dual_random_stater  Ã  sY  € å¨¸!Ð<Ñ<Ô<�D€A€qÝ
ØØØØð	ñ ô €Cð ‡G‚GˆAˆq�M„M€MÝ
ØØØØð	ñ ô €Cð ‡G‚GˆAˆq�M„M€MÝ
ØØØØð	ñ ô €Cð ‡G‚GˆAˆq�M„M€Mõ ˜cœi¨¬Ñ3Ô3Ð3à
5€CÝ	Œ•~¨SÐ	1Ñ	1Ô	1ð 8ð 8Ý! #¤)¨S¬YÑ7Ô7Ð7ð8ð 8ð 8ñ 8ô 8ð 8ð 8ð 8ð 8ð 8ð 8ð 8øøøð 8ð 8ð 8ð 8ð 8ð 8s   ÃC/Ã/C3Ã6C3c                  ó2  — d\  } }t           j                             d¦  «        }|                     | |¦  «        }t          j        |                     d|                     |¦  «        z  ¦  «        ¦  «        }||                     ¦   «         z  }||                     ¦   «         z  }t          dgddd¬¦  «        }| 	                    ||¦  «         t          ddd¬	¦  «        }| 	                    ||¦  «         t          |j        |j        ¦  «         t          |j        j        d
|f¦  «         t          |j        dd
g¦  «         t!          |j        ¦  «        dk    sJ ‚t          j        t%          |j                             ¦   «         ¦  «        ¦  «        }t          |j        d
dd
|f¦  «         t          |j        j        d¦  «         t          j        t%          |j                             ¦   «         ¦  «        ¦  «        }t          |j        d¦  «         d S )N)é2   rÑ   r   rÑ   ç      ð?Fr-   rm   )ro   rS   rx   rq   )rQ   rS   rx   r3   r2   r4   r°   )r3   rm   r3   )r9   rÓ   rÔ   rò   ÚsignÚdotr–   Ústdr   r<   r   r   r´   r   r;   r>   r8   ÚasarrayÚlistÚcoefs_paths_ÚvaluesÚCs_Úscores_)	rF   rƒ   rÖ   ÚX_refrE   Úlr_cvrt   Úcoefs_pathsr_   s	            rK   Útest_logistic_cvr  ä  sÒ  € à!Ñ€IˆzÝ
Œ)×
Ò
 Ñ
"Ô
"€CØ�IŠI�i Ñ,Ô,€EÝ
Œ�—	’	˜!˜cŸiši¨
Ñ3Ô3Ñ3Ñ4Ô4Ñ5Ô5€AØ	ˆU�ZŠZ‰\Œ\Ñ€EØ	ˆU�YŠY‰[Œ[Ñ€EÝ Øˆ5 ¨k¸aðñ ô €Eð 
‡I‚Iˆe�QÑÔÐÝ	˜c°¸{Ð	KÑ	KÔ	K€BØ‡F‚Fˆ5�!ÑÔÐÝ˜bœh¨¬Ñ4Ô4Ð4å�u”{Ô(¨1¨j¨/Ñ:Ô:Ð:Ý�u”~¨¨A wÑ/Ô/Ð/ÝˆuŒ~ÑÔ !Ò#Ð#Ð#Ð#å”*�T %Ô"4×";Ò";Ñ"=Ô"=Ñ>Ô>Ñ?Ô?€KÝ�{Ô(¨1¨a°°JÐ*?Ñ@Ô@Ð@Ý�u”y”¨Ñ-Ô-Ð-ÝŒZ�˜Uœ]×1Ò1Ñ3Ô3Ñ4Ô4Ñ5Ô5€FÝ�v”| YÑ/Ô/Ð/Ð/Ð/rM   zscoring, multiclass_agg_listÚaccuracyÚ Ú	precisionÚ_macroÚ	_weightedÚf1Úneg_log_lossÚrecallc                 óê  — t          dddd¬¦  «        \  }}t          j        d¦  «        t          j        dd¦  «        }}t          d¬¦  «        }|                     ¦   «         }d	D ]}||= Œ|                     ||         ||         ¦  «         |D ]b}	t          | |	z   ¦  «        }
t          t          ||||fdg|
d d d d d
œ|ddiz  ¤Žd         d          |
|||         ||         ¦  «        ¦  «         Œcd S )NrP   r   rm   é   )rF   r+   rH   Ún_informativeéP   r  rˆ   )rQ   ry   Ú
warm_start)ro   rp   Ú	pos_classÚmax_squared_sumrd   Úscore_paramsrŒ   rœ   r4   )	r   r9   Úaranger   Ú
get_paramsr<   r   r   r   )rp   Úmulticlass_agg_listrD   rE   ÚtrainÚtestrt   ÚparamsÚkeyÚ	averagingÚscorers              rK   Ú"test_logistic_cv_multinomial_scorer7  ÿ  sS  € õ& Ø A°À!ðñ ô �D€A€qõ ”)˜B‘-”-¥¤¨2¨sÑ!3Ô!3ˆ4€EÝ	˜cÐ	"Ñ	"Ô	"€Bà�]Š]‰_Œ_€Fà,ð ð ˆØ�3ˆKˆKØ‡F‚Fˆ1ˆUŒ8�Q�u”XÑÔÐØ(ð 
ð 
ˆ	Ý˜G iÑ/Ñ0Ô0ˆÝ!Ý!ØØØØð	ð
 �5ØØØ $Ø"Ø!ðð ð ˜]¨MÐ:Ñ:ðð ð ôð ôð ˆF�2�q˜”w  $¤Ñ(Ô(ñ	
ô 	
ð 	
ð 	
ð
ð 
rM   c                  óÊ  — d\  } }}t          | ||dd¬¦  «        \  }}t          ¦   «                              g d¢¦  «                             |¦  «        }t	          j        |¦  «        dz
  }t          ¦   «         }t          d¬¦  «        }t          ¦   «         }t          d¬¦  «        }	|                     ||¦  «         |                     ||¦  «         |                     ||¦  «         |	                     ||¦  «         t          |j	        |j	        ¦  «         t          |j        ¦  «        g d¢k    sJ ‚t          |j	        |	j	        ¦  «         t          |j        ¦  «        g d¢k    sJ ‚t          |	j        ¦  «        g d¢k    sJ ‚t          t	          j        |                     |¦  «        ¦  «        ¦  «        g d¢k    sJ ‚t          t	          j        |	                     |¦  «        ¦  «        ¦  «        g d¢k    sJ ‚t          ddddœ¬	¦  «                             ||¦  «        }	t          t	          j        |	                     |¦  «        ¦  «        ¦  «        d
dgk    sJ ‚d S )N)r  rÑ   rm   rm   r   )rF   rƒ   rH   r(  r+   )ÚbarÚbazÚfoor3   )ro   r4   )Úclass_weightr9  r:  )r   r   r<   Úinverse_transformr9   r©   r   r   r   r´   Úsortedr>   r:   r=   )
rF   rƒ   rH   r  rE   Úy_strrt   r  Úlr_strÚ	lr_cv_strs
             rK   Ú2test_multinomial_logistic_regression_string_inputsrB  1  sg  € à'/Ñ$€Iˆz˜9Ý"ØØØØØðñ ô �H€Eˆ1õ ‰NŒN×ÒÐ4Ð4Ð4Ñ5Ô5×GÒGÈÑJÔJ€Eå
Œ�‰Œ�a‰€Aå	Ñ	Ô	€BÝ  AÐ&Ñ&Ô&€EÝÑ!Ô!€FÝ$¨Ð*Ñ*Ô*€Ià‡F‚Fˆ5�!ÑÔÐØ	‡I‚Iˆe�QÑÔÐØ
‡J‚Jˆu�eÑÔÐØ‡M‚M�%˜ÑÔÐå˜bœh¨¬Ñ5Ô5Ð5Ý�&”/Ñ"Ô"Ð&;Ð&;Ð&;Ò;Ð;Ð;Ð;Ý˜eœk¨9¬?Ñ;Ô;Ð;Ý�&”/Ñ"Ô"Ð&;Ð&;Ð&;Ò;Ð;Ð;Ð;Ý�)Ô$Ñ%Ô%Ð)>Ð)>Ð)>Ò>Ð>Ð>Ð>õ •"”)˜FŸNšN¨5Ñ1Ô1Ñ2Ô2Ñ3Ô3Ð7LÐ7LÐ7LÒLÐLÐLÐLÝ•"”)˜I×-Ò-¨eÑ4Ô4Ñ5Ô5Ñ6Ô6Ð:OÐ:OÐ:OÒOÐOÐOÐOõ #¸À!ÈAÐ0NÐ0NÐOÑOÔO×SÒSØˆuñô €Iõ •"”)˜I×-Ò-¨eÑ4Ô4Ñ5Ô5Ñ6Ô6¸5À%¸.ÒHÐHÐHÐHÐHÐHrM   c                 ót  — t          ddd¬¦  «        \  }}d||dk     <    | |¦  «        }t          ¦   «         }|                     ||¦  «         t          ¦   «         }|                     ||¦  «         t          |j        |j        ¦  «         t          |j        |j        ¦  «         |j        |j        k    sJ ‚d S )Nr  rÑ   r   ©rF   rƒ   r+   rý   r  )r   r   r<   r   r´   rµ   rr   )rN   rD   rE   ÚcsrrC   Úclfss         rK   Útest_logistic_cv_sparserG  Z  s´   € å¨¸ÈÐJÑJÔJ�D€A€qØ€A€aˆ#‚g�JØ
ˆ-˜Ñ
Ô
€Cå
Ñ
 Ô
 €CØ‡G‚GˆAˆq�M„M€MÝÑ!Ô!€DØ‡H‚HˆS�!ÑÔÐÝ˜dœj¨#¬)Ñ4Ô4Ð4Ý˜dœo¨s¬~Ñ>Ô>Ð>ØŒ7�c”fÒÐÐÐÐÐrM   c                  óä  — t           j        t           j        }} | j        \  }}d}t	          |¦  «        }t          |                     | |¦  «        ¦  «        }t          |d¬¦  «        }|                     | |¦  «         t          |d¬¦  «        }| 	                    ¦   «         }	d|	|	dk    <   |                     | |	¦  «         t          |j        d         |j        d         ¦  «         t          |j        dd …         |j        ¦  «         t          |j        d         t          j        d d …f         |j        ¦  «         |j        j        d|fk    sJ ‚t!          |j        g d¢¦  «         t          j        t          |j                             ¦   «         ¦  «        ¦  «        }
|
j        d|d|dz   fk    sJ ‚|j        j        d	k    sJ ‚t          j        t          |j                             ¦   «         ¦  «        ¦  «        }|j        d|dfk    sJ ‚d
D �]]}|dv rdnd}t          ||d|dv rdndd¬¦  «        }|dk    rt-          | ¦  «        } |                     | |¦  «         |                     | |¦  «        }|                     | |¦  «        }||k    sJ ‚|j        j        |j        j        k    sJ ‚t!          |j        g d¢¦  «         t          j        t          |j                             ¦   «         ¦  «        ¦  «        }
|
j        d|d|dz   fk    sJ ‚|j        j        d	k    sJ ‚t          j        t          |j                             ¦   «         ¦  «        ¦  «        }|j        d|dfk    sJ ‚�Œ_d S )Nr4   r‹   )rq   rŒ   r3   r   rm   ©r   r3   r4   r‡   )r‡   r«   rè   éô  é   rŽ   rº   r�   )rx   r¯   r+   r�   rq   r,   )r|   r}   r   r;   r   r  Úsplitr   r<   Úcopyr   r  rµ   r´   r9   Únewaxisr   r>   r  r  r  r  r!   re   )r1  r   rF   rƒ   Ún_cvrq   Úprecomputed_foldsrC   Úclf1Útarget_copyr  r_   rx   r¯   Ú	clf_multiÚmulti_scoreÚ	ovr_scores                    rK   Útest_ovr_multinomial_irisrV  k  s|  € õ ”I�tœ{ˆ6€EØ!œKÑ€Iˆzð
 €DÝ	˜Ñ	Ô	€BÝ˜RŸXšX e¨VÑ4Ô4Ñ5Ô5Ðõ Ð"3ÀÐ
GÑ
GÔ
G€CØ‡G‚GˆE�6ÑÔÐõ  Ð#4À%ÐHÑHÔH€DØ—+’+‘-”-€KØ$%€K�˜qÒ Ñ!Ø‡H‚HˆU�KÑ Ô Ð õ �C”K ”N D¤L°¤OÑ4Ô4Ð4Ý�C”N 1 2 2Ô&¨¬Ñ8Ô8Ð8Ý�C”I˜a”L¥¤¨Q¨Q¨Q Ô/°´Ñ<Ô<Ð<ð Œ9Œ?˜q *˜oÒ-Ð-Ð-Ð-Ý�s”| Y Y YÑ/Ô/Ð/Ý”*�T #Ô"2×"9Ò"9Ñ";Ô";Ñ<Ô<Ñ=Ô=€KØÔ  D¨"¨j¸1©nÐ =Ò=Ð=Ð=Ð=ØŒ7Œ=˜EÒ!Ð!Ð!Ð!ÝŒZ�˜Sœ[×/Ò/Ñ1Ô1Ñ2Ô2Ñ3Ô3€FØŒ<˜A˜t R˜=Ò(Ð(Ð(Ð(ð 8ð -ñ -ˆØ  OÐ3Ð3�3�3¸ˆÝ(ØØØØ /Ð1Ð1��°tØð
ñ 
ô 
ˆ	ð �WÒÐå˜%‘L”LˆEà�Š�e˜VÑ$Ô$Ð$Ø—o’o e¨VÑ4Ô4ˆØ—I’I˜e VÑ,Ô,ˆ	Ø˜YÒ&Ð&Ð&Ð&ð ŒyŒ )¤/Ô"7Ò7Ð7Ð7Ð7Ý˜9Ô-¨y¨y¨yÑ9Ô9Ð9Ý”j¥ iÔ&<×&CÒ&CÑ&EÔ&EÑ!FÔ!FÑGÔGˆØÔ  Q¨¨b°*¸q±.Ð$AÒAÐAÐAÐAØŒ}Ô" eÒ+Ð+Ð+Ð+Ý”�D Ô!2×!9Ò!9Ñ!;Ô!;Ñ<Ô<Ñ=Ô=ˆØŒ|  4¨˜}Ò,Ð,Ð,Ð,Ñ,ð3-ð -rM   c                  ó
  ‡‡‡— t          ddd¬¦  «        \  ŠŠt          dd¬¦  «        Šˆˆˆfd„t          D ¦   «         } t          j        | d	¬
¦  «        D ]-\  }}t          | |         j        | |         j        d¬¦  «         Œ.dS )z)Test solvers converge to the same result.r‡   rÑ   r   )rƒ   r(  r+   FrŽ   rR   c                 óV   •— i | ]%}|t          dd |i‰¤Ž                     ‰‰¦  «        “Œ&S )rx   rk   )r   r<   )Ú.0rx   rD   r3  rE   s     €€€rK   ú
<dictcomp>z4test_logistic_regression_solvers.<locals>.<dictcomp>´  sO   ø€ ð ð ð àð 	Õ"Ð;Ð;¨&Ð;°FÐ;Ð;×?Ò?ÀÀ1ÑEÔEðð ð rM   r4   ©Úrrm   ©rë   N)r   ÚdictÚSOLVERSÚ	itertoolsÚcombinationsr   r´   )Ú
regressorsÚsolver_1Úsolver_2rD   r3  rE   s      @@@rK   Ú test_logistic_regression_solversre  ®  sÄ   øøø€ å¨"¸AÈAÐNÑNÔN�D€A€qå °BÐ7Ñ7Ô7€Fðð ð ð ð ð åðñ ô €Jõ
 (Ô4°ZÀ1ÐEÑEÔEð 
ð 
Ñˆ�(Ý!Ø�xÔ Ô&¨
°8Ô(<Ô(BÈAð	
ñ 	
ô 	
ð 	
ð 	
ð
ð 
rM   rS   FTc           	      ó  ‡‡‡‡— t          ddddd¬¦  «        \  ŠŠd}t          | |d¬¦  «        Šd	d
d
dœŠˆˆˆˆfd„t          t          ¦  «        t          dg¦  «        z
  D ¦   «         }t	          j        |d¬¦  «        D ]\  }}t          ||         j        ||         j        |dk    s|dk    rdnd|› d|› �¬¦  «         | r<t          ||         j        ||         j        |dk    s|dk    rdnd|› d|› �¬¦  «         Œ€dS )zATest solvers converge to the same result for multiclass problems.r  r‡   rm   r   ©rF   rƒ   r(  rH   r+   ç:Œ0âŽyE>rŽ   )rS   r�   r+   éÈ   é'  ©r,   r0   r1   c                 ó€   •— i | ]:}|t          d|‰                     |d ¦  «        dœ‰¤Ž                     ‰‰¦  «        “Œ;S )rP   ©rx   r¯   rk   )r   Úgetr<   )rY  rx   rD   r3  Úsolver_max_iterrE   s     €€€€rK   rZ  z?test_logistic_regression_solvers_multiclass.<locals>.<dictcomp>Î  sl   ø€ ð ð ð ð ð 	Õ"ð 
Ø O×$7Ò$7¸ÀÑ$DÔ$Dð
ð 
ØHNð
ð 
ç
Š#ˆa�‰)Œ)ðð ð rM   r-   r4   r[  r1   ç{®Gázt?rº   ú vs ©Úrtolrì   N)	r   r^  Úsetr_  r`  ra  r   r´   rµ   )	rS   r�   rb  rc  rd  rD   r3  ro  rE   s	        @@@@rK   Ú+test_logistic_regression_solvers_multiclassru  À  s“  øøøø€ õ Ø °2ÀÐQRðñ ô �D€A€qð €CÝ °3ÀRÐHÑHÔH€Fð !$¨F¸FÐCÐC€Oðð ð ð ð ð ð õ �'‘l”l¥S¨+¨Ñ%7Ô%7Ñ7ð	ñ ô €Jõ (Ô4°ZÀ1ÐEÑEÔEð ð Ñˆ�(ÝØ�xÔ Ô&Ø�xÔ Ô&Ø" fÒ,Ð,°¸FÒ0BÐ0B��ÈØÐ/Ð/ XÐ/Ð/ð		
ñ 	
ô 	
ð 	
ð ð 	ÝØ˜8Ô$Ô/Ø˜8Ô$Ô/Ø&¨&Ò0Ð0°HÀÒ4FÐ4F�T�TÈTØ#Ð3Ð3¨Ð3Ð3ð	ñ ô ð øðð rM   c           
      óÚ  ‡‡‡‡‡‡— t          j        dd¬¦  «         d\  }}}t          j                             |¦  «        }t          ||| z   || z   d|¬¦  «        Š| r	d‰dd…d	f<   t          ‰¦  «        \  }}}t          j        |d
k    ¦  «        sJ ‚t          j        |¦  «        t          j	        |¦  «        z  dk     sJ ‚| r‰dd…dd	…f         Š| 
                    dd||z  ¬¦  «        }	|	                     ||¦  «        }	| 
                    d	d|¬¦  «        | z  }
‰|	j        z  |
z   }t          |¬¦  «        }|j                             |¦  «        }t          j        |¦  «        Št#          |¦  «        D ]>}t          j        |                     d||dd…f         ¬¦  «        ¦  «        d         ‰|<   Œ?dŠt)          | d¬¦  «        ŠddddœŠdddœŠˆˆˆˆˆˆfd„t+          t,          ¦  «        t+          dg¦  «        z
  D ¦   «         }|                     ¦   «         D ]4}t1          ||         j                             d¬¦  «        dd|¬¦  «         Œ5t7          j        |d¬ ¦  «        D ]\  }}t1          ||         j        ||         j        |d!k    s|d!k    rd"nd#|› d$|› �¬%¦  «         | r<t1          ||         j        ||         j        |d!k    s|d!k    rd"nd
|› d$|› �¬%¦  «         Œ€dS )&zGTest and compare solver results for unpenalized multinomial multiclass.Únumpyz1.22.0)Ú
minversion)rP   rn   rm   r[   )rF   rƒ   Úeffective_rankÚtail_strengthr+   r3   Nr2   rº   rP   rm   )ÚlowÚhighÚsize)rH   )ÚnÚpvals)r   r   g•Ö&è.>rŽ   rR   ri  rj  rk  rh  rè   c                 óÀ   •— i | ]Z}|t          dt          j        |‰                     |‰¦  «        ‰                     |d ¦  «        dœ‰¤Ž                     ‰‰¦  «        “Œ[S )rP   )rQ   rx   r�   r¯   rk   )r   r9   Úinfrn  r<   )rY  rx   rD   r3  ro  Ú
solver_tolr�   rE   s     €€€€€€rK   rZ  zKtest_logistic_regression_solvers_multiclass_unpenalized.<locals>.<dictcomp>  s‡   ø€ ð 	ð 	ð 	ð ð 	Õ"ð 
ÝŒfØØ—’˜v sÑ+Ô+Ø$×(Ò(¨°Ñ5Ô5ð	
ð 
ð
 ð
ð 
÷ Š#ˆa�‰)Œ)ð	ð 	ð 	rM   r-   r   r6   ç»½×Ùß|Û=)Úatolrì   r4   r[  r1   rp  gü©ñÒMb`?rq  rr  )r€   Úimportorskipr9   rÓ   rÔ   r   r
   ÚallÚmaxÚminÚuniformÚreshapeÚTr   ÚlinkÚinverseÚzerosÚrangeÚargwhererœ   r^  rt  r_  Úkeysr   r´   r@   r`  ra  rµ   )rS   r¾   rF   rƒ   rH   rÖ   ÚUÚsÚVtÚcoefÚ	interceptÚraw_predictionÚlossrÀ   rù   rb  rx   rc  rd  rD   r3  ro  r‚  r�   rE   s                      @@@@@@rK   Ú7test_logistic_regression_solvers_multiclass_unpenalizedr™  å  s§  øøøøøø€ õ Ô˜¨HÐ5Ñ5Ô5Ð5à'0Ñ$€Iˆz˜9Ý
Œ)×
Ò
Ð 2Ñ
3Ô
3€CÝØØ Ñ-Ø! MÑ1ØØð	ñ 	ô 	€Að ð Øˆˆ!ˆ!ˆ!ˆRˆ%‰Ý�1‰vŒv�H€A€qˆ"ÝŒ6�!�d’(ÑÔÐÐÐÝŒ6�!‰9Œ9•r”v˜a‘y”yÑ  3Ò&Ð&Ð&Ð&Øð Øˆaˆaˆa��"�ˆfŒIˆØ�;Š;˜1 1¨:¸	Ñ+Aˆ;ÑBÔB€DØ�<Š<˜	 :Ñ.Ô.€DØ—’ ¨°�Ñ;Ô;¸mÑK€IØ˜œ‘Z )Ñ+€Nå¨Ð3Ñ3Ô3€DØŒI×Ò˜nÑ-Ô-€Eå
Œ�ÑÔ€AÝ�9ÑÔð Jð JˆÝŒ{˜3Ÿ?š?¨Q°e¸A¸q¸q¸q¸D´k˜?ÑBÔBÑCÔCÀDÔIˆˆ!‰ˆà
€CÝ ¸BÐ?Ñ?Ô?€FØ #¨F¸FÐCÐC€OØ tÐ,Ð,€Jð	ð 	ð 	ð 	ð 	ð 	ð 	ð 	ð 	õ �'‘l”l¥S¨+¨Ñ%7Ô%7Ñ7ð	ñ 	ô 	€Jð —/’/Ñ#Ô#ð 
ð 
ˆåØ�vÔÔ$×(Ò(¨aÐ(Ñ0Ô0°!¸%Èð	
ñ 	
ô 	
ð 	
ð 	
õ (Ô4°ZÀ1ÐEÑEÔEð ð Ñˆ�(ÝØ�xÔ Ô&Ø�xÔ Ô&Ø" fÒ,Ð,°¸FÒ0BÐ0B��ÈØÐ/Ð/ XÐ/Ð/ð		
ñ 	
ô 	
ð 	
ð ð 	ÝØ˜8Ô$Ô/Ø˜8Ô$Ô/Ø&¨&Ò0Ð0°HÀÒ4FÐ4F�T�TÈTØ#Ð3Ð3¨Ð3Ð3ð	ñ ô ð øðð rM   Úweightr[   gš™™™™™É?rá   r]   rI  r<  Úbalancedc           	      óF  — t          | ¦  «        }|dk    r| }t          ddddd||¬¦  «        \  }}t          dd|d¬	¦  «        }t          dd
di|¤Ž}t	          t
          ¬¦  «        5  |                     ||¦  «         ddd¦  «         n# 1 swxY w Y   t          t          ¦  «        t          g d¢¦  «        z
  D ]e}t          dd
|i|¤Ž}	|dv r|	 	                    dd|dz   ¬¦  «         |	                     ||¦  «         t          |	j        |j        d|› d�¬¦  «         ŒfdS )z+Test class_weight for LogisticRegressionCV.rš  rK  rm   r   )rF   rƒ   Ú
n_repeatedr(  Ún_redundantrH   r+   r3   Frh  )ro   rS   r<  r�   rx   r,   ©ÚcategoryN)r,   r-   r/   rè   g¬CÒÑ]r2<rj  )r�   r¯   r+   rº   z	 vs lbfgsrr  rk   )r8   r   r^  r   r%   r   r<   rt  r_  Ú
set_paramsr   r´   )
rš  r<  r¾   rH   rD   rE   r3  Ú	clf_lbfgsrx   rC   s
             rK   Ú(test_logistic_regressioncv_class_weightsr£  -  sÊ  € õ �F‘”€IØ�xÒÐØˆåØØØØØØØ'ðñ ô �D€A€qõ ØØØ!Øð	ñ ô €Fõ %Ð>Ð>¨GÐ>°vÐ>Ð>€Iõ 
Õ"4Ð	5Ñ	5Ô	5ð ð Ø�Š�a˜ÑÔÐðð ð ñ ô ð ð ð ð ð ð øøøð ð ð ð õ •g‘,”,¥Ð%NÐ%NÐ%NÑ!OÔ!OÑOð 

ð 

ˆÝ"Ð;Ð;¨&Ð;°FÐ;Ð;ˆØ�_Ð$Ð$Ø�NŠNØ EÐ8JÈQÑ8Nð ñ ô ð ð 	�Š��1‰ŒˆåØŒI�y”¨T¸fÐ;OÐ;OÐ;Oð	
ñ 	
ô 	
ð 	
ð 	
ð

ð 

s   Á'B
Â
BÂBÚproblem)Úsinglerq   c                 óz  — d}d}t          ||z  dddd|¬¦  «        \  }}t          j                             |¦  «        }t          j        |j        d         ¦  «        }|d|                     d¦  «        rd	nd
ddœ}	|	                     ¦   «         }
|                     dd|¬¦  «        |d |…<   t          j	        || 
                    t          ¦  «        d¬¦  «        }t          j	        || 
                    t          ¦  «        d¬¦  «        }| dk    r	t          }�n| dk    �rt          }t          j        t          j        |d¦  «        t          j        |d¦  «        t          j        |d¦  «        g¦  «        }t!          t#          ¦   «                              ||¬¦  «        ¦  «        }|	                     d|dœ¦  «         t          j	        || 
                    t          ¦  «        d¬¦  «        }t!          t#          ¦   «                              ||¬¦  «        ¦  «        }|
                     d|dœ¦  «          |dd|i|	¤Ž} |dd|i|
¤Ž}|dk    rtt)          j        ¦   «         5  t)          j        dt.          ¦  «         |                     |||¬¦  «         |                     ||¦  «         d d d ¦  «         n# 1 swxY w Y   n.|                     |||¬¦  «         |                     ||¦  «         | dk    r&t3          |j        d         |j        d         ¦  «         t3          |j        |j        d¬¦  «         d S )Nri  rm   rÑ   r4   r   )rF   rƒ   r(  rH   rž  r+   Fr0   é † rê   rh  ©r+   rS   r¯   r�   ©r}  r6   r¥  rq   r3   )ÚgroupsrP   )ro   rq   rx   r,   r‘   ©rd   ré   ©r„  rk   )r   r9   rÓ   rÔ   rA   r;   Ú
startswithrM  ÚrandintÚrepeatr²   Úintr   r   rñ   Úfullr  r   rL  Úupdater“   r”   r•   r   r<   r   r  r´   )r¤  rx   r¾   Ún_samples_per_cv_groupÚn_cv_groupsrD   rE   rÖ   ÚswÚkw_weightedÚkw_repeatedÚ
X_repeatedÚ
y_repeatedr™   Úgroups_weightedÚsplits_weightedÚgroups_repeatedÚsplits_repeatedÚclf_sw_weightedÚclf_sw_repeateds                       rK   Ú'test_logistic_regression_sample_weightsrÀ  ]  s�  € ð
 !ÐØ€KåØ(¨;Ñ6ØØØØØ'ðñ ô �D€A€qõ Œ)×
Ò
Ð 2Ñ
3Ô
3€CÝ	Œ�”˜”Ñ	Ô	€Bð +ØØ%×0Ò0°Ñ7Ô7ÐB�G�G¸UØð	ð €Kð ×"Ò"Ñ$Ô$€KØ"%§+¢+¨a°Ð9O +Ñ"PÔ"P€BÐÐÐÑÝ”˜1˜bŸiši­™nœn°1Ð5Ñ5Ô5€JÝ”˜1˜bŸiši­™nœn°1Ð5Ñ5Ô5€Jà�(ÒÐÝˆ‰Ø	�DŠ‰Ý!ˆåœ.å”Ð.°Ñ2Ô2Ý”Ð.°Ñ2Ô2Ý”Ð.°Ñ2Ô2ðñ
ô 
ˆõ Õ/Ñ1Ô1×7Ò7¸À/Ð7ÑRÔRÑSÔSˆØ×Ò #¨_Ð=Ð=Ñ>Ô>Ð>åœ) O°R·Y²Y½s±^´^È!ÐLÑLÔLˆÝÝÑÔ×$Ò$ Z¸Ð$ÑHÔHñ
ô 
ˆð 	×Ò #¨_Ð=Ð=Ñ>Ô>Ð>à�bÐ6Ð6 Ð6¨+Ð6Ð6€OØ�bÐ6Ð6 Ð6¨+Ð6Ð6€Oà�ÒÐõ Ô$Ñ&Ô&ð 	8ð 	8ÝÔ! (Õ,>Ñ?Ô?Ð?Ø×Ò  1°BÐÑ7Ô7Ð7Ø×Ò 
¨JÑ7Ô7Ð7ð	8ð 	8ð 	8ñ 	8ô 	8ð 	8ð 	8ð 	8ð 	8ð 	8ð 	8øøøð 	8ð 	8ð 	8ð 	8øð 	×Ò˜A˜q°ÐÑ3Ô3Ð3Ø×Ò˜J¨
Ñ3Ô3Ð3à�$‚€Ý˜Ô/°Ô2°OÔ4KÈAÔ4NÑOÔOÐOÝ�OÔ)¨?Ô+@ÀtÐLÑLÔLÐLÐLÐLs   É$A	J9Ê9J=Ë J=rŸ   c                 ó   — t          dddd|¬¦  «        \  }}|dz   }|ddd	d
œ}t          d| dddœdœ|¤Ž}|                     ||¦  «         t          dd| i|¤Ž}|                     |||¬¦  «         t          |j        |j        d¬¦  «         d S )Né,  rÑ   rm   r4   rg  r3   Fr§  rh  r¨  rá   )rx   r<  rx   r«  rî   r¬  rk   ©r   r   r<   r   r´   )rx   r¾   rD   rE   rd   r¶  Ú	clf_cw_12Ú	clf_sw_12s           rK   Ú-test_logistic_regression_solver_class_weightsrÆ  ¤  sã   € õ ØØØØØ'ðñ ô �D€A€qð ˜‘E€Mð +ØØØð	ð €Kõ #ð Ø¨¨a L Lðð Ø4?ðð €Ið ‡M‚M�!�QÑÔÐÝ"Ð@Ð@¨&Ð@°KÐ@Ð@€IØ‡M‚M�!�Q m€MÑ4Ô4Ð4Ý�I”O Y¤_¸4Ð@Ñ@Ô@Ð@Ð@Ð@rM   c           
      ó  — t          dddd| ¬¦  «        \  }}|dz   }t          ddddd	œd
dd| ¬¦  «        }|                     ||¦  «         t          ddd
dd| ¬¦  «        }|                     |||¦  «         t          |j        |j        d¬¦  «         t          ddddd	œdddd| ¬¦  «        }|                     ||¦  «         t          dddddd| ¬¦  «        }|                     |||¦  «         t          |j        |j        d¬¦  «         d S )NrÂ  rÑ   rm   r4   rg  r3   r-   Frá   r�   rj  çê-�™—q=)rx   rS   r<  rž   r¯   r�   r+   )rx   rS   rž   r¯   r�   r+   rƒ  r¬  Úl2T)rx   rS   r<  rž   r¯   r�   r    r+   )rx   rS   rž   r¯   r�   r    r+   rÃ  )r¾   rD   rE   rd   Úclf_cwÚclf_sws         rK   Ú2test_sample_and_class_weight_equivalence_liblinearrÌ  Å  sz  € õ ØØØØØ'ðñ ô �D€A€qð ˜‘E€MåØØØ˜q�\�\ØØØØ'ðñ ô €Fð ‡J‚Jˆq�!ÑÔÐÝØØØØØØ'ðñ ô €Fð ‡J‚Jˆq�!�]Ñ#Ô#Ð#Ý�F”L &¤,°UÐ;Ñ;Ô;Ð;åØØØ˜q�\�\ØØØØØ'ð	ñ 	ô 	€Fð ‡J‚Jˆq�!ÑÔÐÝØØØØØØØ'ðñ ô €Fð ‡J‚Jˆq�!�]Ñ#Ô#Ð#Ý�F”L &¤,°UÐ;Ñ;Ô;Ð;Ð;Ð;rM   c                 óŒ   — t          j        | ¦  «        }t          d|| ¬¦  «        }t          t	          ||¦  «        ¦  «        }|S )Nr›  )rG   rE   )r9   r:   r#   r^  Úzip)rE   rG   r<  Úclass_weight_dicts       rK   Ú _compute_class_weight_dictionaryrÐ     sA   € åŒi˜‰lŒl€GÝ'¨
¸GÀqÐIÑIÔI€LÝ�S ¨,Ñ7Ô7Ñ8Ô8ÐØÐrM   c                 ó   — | S rg   rk   ©Úxs    rK   ú<lambda>rÔ    s   € °Q€ rM   c                 ó†  — t          t          j        ¦  «        }|dd …d d …f         } | |¦  «        }t          j        dd …         }t	          |¦  «        }t          t          ¦  «        t          ddg¦  «        z
  D �]}t          |d¬¦  «        }t          dddi|¤Ž}t          dd|i|¤Ž}| 	                    ||¦  «         | 	                    ||¦  «         t          |j        ¦  «        dk    sJ ‚t          |j        |j        d	¬
¦  «         t          j        |j        d         ¦  «        }	|j        D ]}
|	||
k    xx         ||
         z  cc<   Œt          di |¤Ž 	                    |||	¬¦  «        }t          |j        |j        d	¬
¦  «         �Œ|dd…d d …f         }t          j        dd…         }t	          |¦  «        }t          D ]w}t          |d¬¦  «        }t          dddi|¤Ž}t          dd|i|¤Ž}| 	                    ||¦  «         | 	                    ||¦  «         t#          |j        |j        d¬¦  «         Œxd S )Né-   r-   r/   rê   rm  r<  r›  rm   ç-Cëâ6?©rs  r   r«  rP   r'  r]  rk   )r!   r|   r}   r   rÐ  rt  r_  r^  r   r<   r8   r>   r   r´   r9   rA   r;   r   )rN   ÚX_irisrD   rE   rÏ  rx   r3  rQ  Úclf2rµ  ÚcÚclf3s               rK   Ú&test_logistic_regression_class_weightsrÝ    sv  € õ •4”9ÑÔ€Fàˆrˆsˆs�A�A�AˆvŒ€AØˆ�aÑÔ€AÝŒ�B�C�CÔ€AÝ8¸Ñ;Ô;Ðå•g‘,”,¥ kÐ3DÐ%EÑ!FÔ!FÑFð ;ñ ;ˆÝ˜V¨dÐ3Ñ3Ô3ˆÝ!ÐDÐD¨zÐD¸VÐDÐDˆÝ!ÐKÐKÐ/@ÐKÀFÐKÐKˆØ�Š��A‰ŒˆØ�Š��A‰ŒˆÝ�4”=Ñ!Ô! QÒ&Ð&Ð&Ð&Ý˜œ
 D¤J°TÐ:Ñ:Ô:Ð:åŒW�Q”W˜Q”ZÑ Ô ˆØ”ð 	/ð 	/ˆAØˆq�AŠvˆJˆJŒJÐ+¨AÔ.Ñ.ˆJˆJ‰JˆJÝ!Ð+Ð+ FÐ+Ð+×/Ò/°°1ÀBÐ/ÑGÔGˆÝ˜œ
 D¤J°TÐ:Ñ:Ô:Ð:Ñ:ð 	ˆr�#ˆv�q�q�qˆyÔ€AÝŒ�B�s�FÔ€AÝ8¸Ñ;Ô;Ðåð Eð EˆÝ˜V¨dÐ3Ñ3Ô3ˆÝ!ÐDÐD¨zÐD¸VÐDÐDˆÝ!ÐKÐKÐ/@ÐKÀFÐKÐKˆØ�Š��A‰ŒˆØ�Š��A‰ŒˆÝ! $¤*¨d¬jÀ!ÐDÑDÔDÐDÐDðEð ErM   c                  óî  — d\  } }}t          | |d|d¬¦  «        \  }}t          d¬¦  «                             |¦  «        }d}t          |d¬	¦  «        }t          |dd¬
¦  «        }|                     ||¦  «         |                     ||¦  «         |j        j        ||fk    sJ ‚|j        j        ||fk    sJ ‚dD ]Ñ}t          |ddd¬¦  «        }t          |dddd¬¦  «        }	|                     ||¦  «         |	                     ||¦  «         |j        j        ||fk    sJ ‚|	j        j        ||fk    sJ ‚t          |j        |j        d¬¦  «         t          |j        |	j        d¬¦  «         t          |j        |j        d¬¦  «         ŒÒdD ]d}t          |dddg¬¦  «        }
|
                     ||¦  «         t          |
j        |j        d¬¦  «         t          |
j        |j        d¬¦  «         Œed S )N)r  r  rm   r‡   r   rg  F)Ú	with_meanr,   rî   ©rx   r�   )rx   rS   r�   )r0   r1   r.   rŽ   r®   gH¯¼šò×z>)rx   r+   r¯   r�   )rx   r+   r¯   r�   rS   rº   rØ  r�   r«   r  )rx   r¯   r�   ro   )
r   r    Úfit_transformr   r<   r´   r;   r   rµ   r   )rF   rƒ   rH   rD   rE   rx   Úref_iÚref_wÚclf_iÚclf_wÚclf_paths              rK   Ú$test_logistic_regression_multinomialrç  /  si  € ð (1Ñ$€Iˆz˜9ÝØØØØØðñ ô �D€A€qõ 	 Ð'Ñ'Ô'×5Ò5°aÑ8Ô8€Að €FÝ f°$Ð7Ñ7Ô7€EÝ f¸EÀtÐLÑLÔL€EØ	‡I‚Iˆa��O„O€OØ	‡I‚Iˆa��O„O€OØŒ;Ô ¨JÐ 7Ò7Ð7Ð7Ð7ØŒ;Ô ¨JÐ 7Ò7Ð7Ð7Ð7Ø.ð Gð GˆÝ"ØØØØð	
ñ 
ô 
ˆõ #ØØØØØð
ñ 
ô 
ˆð 	�	Š	�!�Q‰ŒˆØ�	Š	�!�Q‰ŒˆØŒ{Ô  Y°
Ð$;Ò;Ð;Ð;Ð;ØŒ{Ô  Y°
Ð$;Ò;Ð;Ð;Ð;õ 	˜œ U¤[°tÐ<Ñ<Ô<Ð<Ý˜œ U¤[°tÐ<Ñ<Ô<Ð<Ý˜Ô(¨%Ô*:ÀÐFÑFÔFÐFÐFð
 8ð Jð JˆÝ'Ø D¨d¸°uð
ñ 
ô 
ˆð 	�Š�Q˜ÑÔÐÝ˜œ¨¬¸$Ð?Ñ?Ô?Ð?Ý˜Ô+¨UÔ-=ÀDÐIÑIÔIÐIÐIðJð JrM   c                  ó  — t          ddd¬¦  «        \  } }t          dd¬¦  «        }|                     | |¦  «         t          j        d¦  «        } t          |                     | ¦  «        t          j        d¦  «        ¦  «         d S )NrÑ   r   rD  Fr-   )rS   rx   )rÑ   rÑ   )r   r   r<   r9   rŽ  r   r=   )rD   rE   rC   s      rK   Ú%test_liblinear_decision_function_zeroré  j  sx   € õ ¨°qÀqÐIÑIÔI�D€A€qÝ
¨5¸Ð
EÑ
EÔ
E€CØ‡G‚GˆAˆq�M„M€Mõ 	Œ�ÑÔ€AÝ�s—{’{ 1‘~”~¥r¤x°¡{¤{Ñ3Ô3Ð3Ð3Ð3rM   c                 óŽ   — t          ddd¬¦  «        \  }}t          d¬¦  «        }|                      | |¦  «        |¦  «         d S )Nr‡   rÑ   r   rD  r-   ©rx   ©r   r   r<   ©rN   rD   rE   rC   s       rK   Útest_liblinear_logregcv_sparserî  y  sP   € õ ¨¸ÈÐJÑJÔJ�D€A€qÝ
 kÐ
2Ñ
2Ô
2€CØ‡G‚GˆMˆM˜!ÑÔ˜aÑ Ô Ð Ð Ð rM   c                 ó�   — t          ddd¬¦  «        \  }}t          dd¬¦  «        }|                      | |¦  «        |¦  «         d S )Nr‡   rÑ   r   rD  r1   r�   rà  rì  rí  s       rK   Útest_saga_sparserð  ‚  sR   € õ ¨¸ÈÐJÑJÔJ�D€A€qÝ
 f°$Ð
7Ñ
7Ô
7€CØ‡G‚GˆMˆM˜!ÑÔ˜aÑ Ô Ð Ð Ð rM   c                  ó€   — t          d¬¦  «        } |                      t          t          ¦  «         | j        dk    sJ ‚d S )NF)rS   rý   )r   r<   rD   rT   rµ   rÜ   s    rK   Ú"test_logreg_intercept_scaling_zerorò  ‹  s>   € õ ¨5Ð
1Ñ
1Ô
1€CØ‡G‚G�A�r�N„N€NØŒ>˜SÒ Ð Ð Ð Ð Ð rM   c                  ó¤  — t           j                             d¦  «        } d}t          |dd¬¦  «        \  }}|                      |df¬¦  «        }t          j        |df¬	¦  «        }t          j        |||fd
¬¦  «        }t          ddddd¬¦  «        }|                     ||¦  «         t          dddddd¬¦  «        }|                     ||¦  «         t          |j
        |j
        ¦  «         t          |j
        ddd …f         t          j        d¦  «        ¦  «         t          |j
        ddd …f         t          j        d¦  «        ¦  «         d S )NrŽ   r  r  r   rD  rm   r©  r4   ©r;   r3   r6   r�   r  r-   Frƒ  ©rž   rQ   rx   rS   r�   r1   rê   ©rž   rQ   rx   rS   r¯   r�   éûÿÿÿrÑ   )r9   rÓ   rÔ   r   ÚnormalrA   rñ   r   r<   r   r´   rŽ  )rÖ   rF   rD   rE   ÚX_noiseÚ
X_constantÚlr_liblinearÚlr_sagas           rK   Útest_logreg_l1rý  “  sb  € õ Œ)×
Ò
 Ñ
#Ô
#€CØ€IÝ¨¸rÐPQÐRÑRÔR�D€A€qØ�jŠj˜y¨!˜nˆjÑ-Ô-€GÝ” 	¨1˜~Ð.Ñ.Ô.€JÝ
Œ˜˜7 JÐ/°aÐ8Ñ8Ô8€AÝ%ØØ
ØØØðñ ô €Lð ×Ò�Q˜ÑÔÐå ØØ
ØØØØðñ ô €Gð ‡K‚K��1ÑÔÐÝ˜gœm¨\Ô-?Ñ@Ô@Ð@õ ˜lÔ0°°B°C°C°Ô8½"¼(À1¹+¼+ÑFÔFÐFÝ˜gœm¨A¨r¨s¨s¨FÔ3µR´X¸a±[´[ÑAÔAÐAÐAÐArM   c                 ó|  — t           j                             d¦  «        }d}t          |dd¬¦  «        \  }}|                     d|df¬¦  «        }t          j        |d	f¬
¦  «        }t          j        |||fd¬¦  «        }d||dk     <    | |¦  «        }t          ddddd¬¦  «        }|                     ||¦  «         t          dddddd¬¦  «        }|                     ||¦  «         t          |j
        |j
        ¦  «         t          |j
        ddd …f         t          j        d¦  «        ¦  «         t          |j
        ddd …f         t          j        d¦  «        ¦  «         t          dddddd¬¦  «        }	|	                     |                     ¦   «         |¦  «         t          |j
        |	j
        ¦  «         d S )NrŽ   r  r  r   rD  r[   rm   )r!   r}  r4   rô  r3   r6   r�   r  r-   Frƒ  rõ  r1   rê   rö  r÷  rÑ   )r9   rÓ   rÔ   r   rø  rŽ  rñ   r   r<   r   r´   Útoarray)
rN   rÖ   rF   rD   rE   rù  rú  rû  rü  Úlr_saga_denses
             rK   Útest_logreg_l1_sparse_datar  ·  sÝ  € õ
 Œ)×
Ò
 Ñ
#Ô
#€CØ€IÝ¨¸rÐPQÐRÑRÔR�D€A€qØ�jŠj˜s¨)°Q¨ˆjÑ8Ô8€GÝ” ¨A Ð/Ñ/Ô/€JÝ
Œ˜˜7 JÐ/°aÐ8Ñ8Ô8€AØ€A€aˆ!‚e�HØˆ�aÑÔ€Aå%ØØ
ØØØðñ ô €Lð ×Ò�Q˜ÑÔÐå ØØ
ØØØØðñ ô €Gð ‡K‚K��1ÑÔÐÝ˜gœm¨\Ô-?Ñ@Ô@Ð@õ ˜lÔ0°°B°C°C°Ô8½"¼(À1¹+¼+ÑFÔFÐFÝ˜gœm¨A¨r¨s¨s¨FÔ3µR´X¸a±[´[ÑAÔAÐAõ 'ØØ
ØØØØðñ ô €Mð ×Ò�a—i’i‘k”k 1Ñ%Ô%Ð%Ý˜gœm¨]Ô-@ÑAÔAÐAÐAÐArM   Úrandom_seedrž   r�   rÉ  c                 ó   — t          dd| ¬¦  «        \  }}t          d|| dd¬¦  «        }t          ddgd	d
œ|¤Ž}|                     ||¦  «         t	          dddi|¤Ž}|                     ||¦  «         t          |j        |j        ¦  «         d S )NrP   r  rD  r1   rê   rÈ  )rx   rž   r+   r¯   r�   r  T)ro   ÚrefitrQ   rk   )r   r^  r   r<   r   r   r´   )r  rž   rD   rE   Úcommon_paramsr  rt   s          rK   Ú!test_logistic_regression_cv_refitr  ê  s±   € õ ¨¸È+ÐVÑVÔV�D€A€qÝØØØ ØØðñ ô €Mõ !ÐG S E°ÐGÐG¸ÐGÐG€EØ	‡I‚Iˆa��O„O€OÝ	Ð	3Ð	3˜cÐ	3 ]Ð	3Ð	3€BØ‡F‚Fˆ1ˆa�L„L€LÝ˜eœk¨2¬8Ñ4Ô4Ð4Ð4Ð4rM   c                  ó  — t          ddddd¬¦  «        \  } }t          d¬¦  «        }|                     | |¦  «         t          ||                     | ¦  «        ¦  «        }t          t          d¬¦  «        ¦  «        }|                     | |¦  «         t          ||                     | ¦  «        ¦  «        }||k    sJ ‚t          ||                     | ¦  «        ¦  «        }t          ||                     | ¦  «        ¦  «        }||k    sJ ‚d S )Nr‡   r  r   rm   )rF   rƒ   r+   rH   r(  r,   rë  )r   r   r<   r   r?   r   Ú_predict_proba_lr)rD   rE   rS  Úclf_multi_lossÚclf_ovrÚclf_ovr_lossÚclf_wrong_losss          rK   Ú%test_logreg_predict_proba_multinomialr    s  € ÝØ °!¸qÐPRðñ ô �D€A€qõ #¨'Ð2Ñ2Ô2€IØ‡M‚M�!�QÑÔÐÝ˜a ×!8Ò!8¸Ñ!;Ô!;Ñ<Ô<€NÝ!Õ"4¸GÐ"DÑ"DÔ"DÑEÔE€GØ‡K‚K��1ÑÔÐÝ˜A˜w×4Ò4°QÑ7Ô7Ñ8Ô8€LØ˜.Ò(Ð(Ð(Ð(õ ˜a ×!8Ò!8¸Ñ!;Ô!;Ñ<Ô<€NÝ˜a ×!<Ò!<¸QÑ!?Ô!?Ñ@Ô@€NØ˜NÒ*Ð*Ð*Ð*Ð*Ð*rM   r¯   rÑ   rŒ   rœ   zsolver, message))r.   zAnewton-cg failed to converge.* Increase the number of iterations.)r-   z@Liblinear failed to converge, increase the number of iterations.)r0   ú?The max_iter was reached which means the coef_ did not converge)r1   r  )r,   rÿ   )r/   z6Newton solver did not converge after [0-9]* iterationsc                 óÈ  — t           j        t           j                             ¦   «         }}d||dk    <   |dv r|dk    rt	          j        d¦  «         |dk    r| dk    rt	          j        d¦  «         t          | d	|d|¬
¦  «        }t	          j        t          |¬¦  «        5  | 	                    ||¦  «         d d d ¦  «         n# 1 swxY w Y   |j
        d         | k    sJ ‚d S )Nr   r4   r›   rœ   z+'multinomial' is not supported by liblinearr/   r3   z/solver newton-cholesky might converge very fastgVçž¯Ò<)r¯   r�   rŒ   r+   rx   rz   )r|   r}   r   rM  r€   Úskipr   r�   r   r<   Ún_iter_)r¯   rŒ   rx   r   rD   Úy_binrt   s          rK   Útest_max_iterr    s9  € õ, Œy�$œ+×*Ò*Ñ,Ô,€u€AØ€Eˆ%�1Š*Ñà�ÐÐ K°=Ò$@Ð$@ÝŒÐAÑBÔBÐBØÐ"Ò"Ð" x°!¢| |ÝŒÐEÑFÔFÐFå	ØØØØØð
ñ 
ô 
€Bõ 
ŒÕ(°Ð	8Ñ	8Ô	8ð ð Ø
�Šˆq�%ÑÔÐðð ð ñ ô ð ð ð ð ð ð øøøð ð ð ð ð Œ:�aŒ=˜HÒ$Ð$Ð$Ð$Ð$Ð$s   Â!CÃCÃCc                 óÞ  — t           j        t           j        }}| dk    rt          |¦  «        }t	          j        |¦  «        j        d         }|dk    sJ ‚|                     ¦   «         }d||dk    <   d}d}t          dd| d¬	¦  «        }| 	                    ||¦  «         |j
        j        d
k    sJ ‚t          d| ||d¬¦  «        }| 	                    ||¦  «         |j
        j        d||fk    sJ ‚|                     d¬¦  «         	                    ||¦  «         |j
        j        |fk    sJ ‚|                     d¬¦  «         	                    ||¦  «         |j
        j        |||fk    sJ ‚| dv rd S |                     d¬¦  «         	                    ||¦  «         |j
        j        d
k    sJ ‚|                     d¬¦  «         	                    ||¦  «         |j
        j        d||fk    sJ ‚d S )Nr,   r   rm   r4   rn   r�   r  rŽ   )r�   rQ   rx   r+   r°   )r�   rx   ro   rq   r+   r3   r‹   ©rŒ   r›   rœ   )r|   r}   r   r!   r9   r:   r;   rM  r   r<   r  r   r¡  )	rx   rD   rE   rH   r  Ún_CsÚ	n_cv_foldrC   Úclf_cvs	            rK   Útest_n_iterr  G  s  € õ Œ9•d”k€q€AØ�ÒÐå�!‰HŒHˆå”	˜!‘”Ô" 1Ô%€IØ˜Š>ˆ>ˆ>ˆ>ð �FŠF‰HŒH€EØ€Eˆ%�1Š*Ñà€DØ€Iõ  ¨°VÈ"Ð
MÑ
MÔ
M€CØ‡G‚GˆAˆuÑÔÐØŒ;Ô Ò$Ð$Ð$Ð$å!Ø˜ D¨YÀRðñ ô €Fð ‡J‚Jˆq�%ÑÔÐØŒ>Ô A y°$Ð#7Ò7Ð7Ð7Ð7ð ‡N‚N˜u€NÑ%Ô%×)Ò)¨!¨QÑ/Ô/Ð/ØŒ;Ô  Ò,Ð,Ð,Ð,à
×Ò %ÐÑ(Ô(×,Ò,¨Q°Ñ2Ô2Ð2ØŒ>Ô I¨y¸$Ð#?Ò?Ð?Ð?Ð?ð �ÐÐàˆð ‡N‚N˜}€NÑ-Ô-×1Ò1°!°QÑ7Ô7Ð7ØŒ;Ô Ò$Ð$Ð$Ð$à
×Ò -ÐÑ0Ô0×4Ò4°Q¸Ñ:Ô:Ð:ØŒ>Ô A y°$Ð#7Ò7Ð7Ð7Ð7Ð7Ð7rM   r*  )TFc                 óæ  — t           j        t           j        }}t          d|| d|¬¦  «        }t	          t
          ¬¦  «        5  |                     ||¦  «         |j        }d|_        |                     ||¦  «         d d d ¦  «         n# 1 swxY w Y   t          j
        t          j        ||j        z
  ¦  «        ¦  «        }d| › d|›d|›�}|rd	|k    s
J |¦   «         ‚d S |d	k    s
J |¦   «         ‚d S )
Nr×  rŽ   )r�   r*  rx   r+   rS   rŸ  r3   z Warm starting issue with solver zwith fit_intercept=z and warm_start=ç       @)r|   r}   r   r   r%   r   r<   r´   r¯   r9   r@   Úabs)	rx   r*  rS   rD   rE   rC   Úcoef_1Úcum_diffr¦   s	            rK   Útest_warm_startr  z  sW  € õ Œ9•d”k€q€Aå
ØØØØØ#ðñ ô €Cõ 
Õ"4Ð	5Ñ	5Ô	5ð ð Ø�Š��1‰ŒˆØ”ˆàˆŒØ�Š��1‰Œˆðð ð ñ ô ð ð ð ð ð ð øøøð ð ð ð õ Œv•b”f˜V c¤iÑ/Ñ0Ô0Ñ1Ô1€Hð	3¨6ð 	3ð 	3Øð	3ð 	3Ø%/ð	3ð 	3ð ð ð #Ø�XŠ~ˆ~ˆ~˜s‰~Œ~ˆ~ˆ~ˆ~à˜#Š~ˆ~ˆ~˜s‰~Œ~ˆ~ˆ~ˆ~s   Á;B	Â	BÂBc                 óŠ  — t          ¦   «         }|j        |j        }}t          j        |gdz  ¦  «        }t          j        |gdz  ¦  «        }||dk             }||dk             dz  dz
  }t          ddd¬¦  «        \  }} | |¦  «        }||f||ffD ]¯\  }}dD ]§}|j        d         }	t          j        d	dd¦  «        D ]�}
t          d
|	|
z  z  ddd|dd¬¦  «        }t          d
|	|
z  z  ddd|dd¬¦  «        }| 	                    ||¦  «         | 	                    ||¦  «         t          |j        |j        d¦  «         Œ‚Œ¨Œ°d S )Nrm   r3   r4   r  r  r   rD  )r�   rÉ  r2   r  r1   ri  Frî   )rQ   rx   r¯   rS   rž   r+   r�   r-   )r   r}   r   r9   rñ   r   r;   ró   r   r<   r   r´   )rN   r|   rD   rE   ÚX_binr  ÚX_sparseÚy_sparserž   rF   Úalphar1   r-   s                rK   Útest_saga_vs_liblinearr%  �  s´  € å‰;Œ;€DØŒ9�d”k€q€AÝ
Œ˜�s˜Q‘wÑÔ€AÝ
Œ˜�s˜Q‘wÑÔ€Aàˆa�1ŠfŒI€EØˆa�1ŠfŒI˜‰M˜AÑ€Eå,Ø °!ðñ ô Ñ€Hˆhð ˆ}˜XÑ&Ô&€Hà˜� (¨HÐ!5Ð6ð Jð J‰ˆˆ1Ø#ð 	Jð 	JˆGØœ œ
ˆIåœ R¨¨AÑ.Ô.ð Jð J�Ý)Ø˜Y¨Ñ.Ñ/Ø!Ø Ø"'Ø#Ø!"Øðñ ô �õ /Ø˜Y¨Ñ.Ñ/Ø&Ø Ø"'Ø#Ø!"Øðñ ô �	ð —’˜˜A‘”�Ø—’˜a Ñ#Ô#Ð#å)¨$¬*°i´oÀqÑIÔIÐIÐIð1Jð	JðJð JrM   )r-   r.   r/   r1   c                 óè  — | dk    r|dk    rt          j        d| › d�¦  «         | dk    rt          j        nt          j        }t          j        t          ¦  «                             t          j        ¦  «        }t          j        t          ¦  «                             t          j        ¦  «        }t          j        t          ¦  «                             t          j        ¦  «        }t          j        t          ¦  «                             t          j        ¦  «        } |t          t          j        ¬¦  «        }	 |t          t          j        ¬¦  «        }
d}t          | |d||¬¦  «        }t          |¦  «        }|                     ||¦  «         |j        j        |k    sJ ‚t          |¦  «        }|                     |	|¦  «         |j        j        |k    sJ ‚t          |¦  «        }|                     ||¦  «         |j        j        t          j        k    sJ ‚t          |¦  «        }|                     |
|¦  «         |j        j        t          j        k    sJ ‚d	|z  }t          j        d
k    r	t           rd}t#          |j        |j                             t          j        ¦  «        |¬¦  «         | dk    r|rd}t#          |j        |j        |¬¦  «         t#          |j        |j        |¬¦  «         d S )Nr-   rœ   zSolver=z' does not support multinomial logistic.rß   gü©ñÒMb@?rŽ   )rx   rŒ   r+   r�   rS   g…ëQ¸…@Úntr�   r¬  r1   r[   )r€   r  r9   râ   Úfloat32r©   rD   r²   rT   r   r   r<   r´   rà   ÚosÚnamer'   r   )rx   rŒ   rS   rN   Ú
out32_typeÚX_32Úy_32ÚX_64Úy_64ÚX_sparse_32ÚX_sparse_64r‚  Úlr_templÚlr_32Úlr_32_sparseÚlr_64Úlr_64_sparser„  s                     rK   Útest_dtype_matchr7  Ì  s–  € ð �ÒÐ °Ò!=Ð!=ÝŒÐM˜fÐMÐMÐMÑNÔNÐNà%¨Ò4Ð4•”�½"¼*€JåŒ8•A‰;Œ;×Ò�bœjÑ)Ô)€DÝŒ8•B‰<Œ<×Ò�rœzÑ*Ô*€DÝŒ8•A‰;Œ;×Ò�bœjÑ)Ô)€DÝŒ8•B‰<Œ<×Ò�rœzÑ*Ô*€DØ�-¥­¬Ð4Ñ4Ô4€KØ�-¥­¬Ð4Ñ4Ô4€KØ€Jå!ØØØØØ#ðñ ô €Hõ �(‰OŒO€EØ	‡I‚Iˆd�DÑÔÐØŒ;Ô 
Ò*Ð*Ð*Ð*õ ˜‘?”?€LØ×Ò�[ $Ñ'Ô'Ð'ØÔÔ# zÒ1Ð1Ð1Ð1õ �(‰OŒO€EØ	‡I‚Iˆd�DÑÔÐØŒ;Ô¥¤
Ò*Ð*Ð*Ð*õ ˜‘?”?€LØ×Ò�[ $Ñ'Ô'Ð'ØÔÔ#¥r¤zÒ1Ð1Ð1Ð1ð �jÑ €DÝ	„w�$‚€�9€àˆõ �E”K ¤×!3Ò!3µB´JÑ!?Ô!?ÀdÐKÑKÔKÐKà�ÒÐ˜MÐð ˆå�E”K Ô!3¸$Ð?Ñ?Ô?Ð?Ý�E”K Ô!3¸$Ð?Ñ?Ô?Ð?Ð?Ð?rM   c                  óx  — t           j                             d¦  «        } t          j        |                      dd¦  «        ddgz   |                      dd¦  «        f¦  «        }t          j        dgdz  dgdz  z   ¦  «        }t          ddd¬¦  «        }t          dd	d¬¦  «        }t          ||                     ||¦  «         	                    |¦  «        ¦  «        }t          d
¦  «        D ]}|                     ||¦  «         Œt          || 	                    |¦  «        ¦  «        }t          ||d¬¦  «         d S )Nr   rP   r4   r3   r2   r0   F)rx   r*  r+   TrÑ   ré   rØ  )r9   rÓ   rÔ   rñ   rò   r©   r   r   r<   r?   r�  r   )rÖ   rD   rE   Úlr_no_wsÚlr_wsÚlr_no_ws_lossrù   Ú
lr_ws_losss           rK   Útest_warm_start_converge_LRr=    s%  € õ Œ)×
Ò
 Ñ
"Ô
"€CÝ
Œ˜Ÿ	š	 # qÑ)Ô)¨Q°¨FÑ2°C·I²I¸cÀ1Ñ4EÔ4EÐFÑGÔG€AÝ
Œ�!��s‘˜b˜T C™ZÑ'Ñ(Ô(€AÝ!¨¸5ÈqÐQÑQÔQ€HÝ e¸È1ÐMÑMÔM€Eå˜Q §¢¨Q°Ñ 2Ô 2× @Ò @ÀÑ CÔ CÑDÔD€MÝ�1‰XŒXð ð ˆØ�	Š	�!�Q‰ŒˆˆÝ˜!˜U×0Ò0°Ñ3Ô3Ñ4Ô4€JÝ�M :°DÐ9Ñ9Ô9Ð9Ð9Ð9rM   c            
      óž  — t          d¬¦  «        \  } }d}d}t          ¦   «         }d|fddfD ]K\  }}t          ||dd|d	d
¬¦  «        }|                     | |¦  «         |                     |j        ¦  «         ŒL|\  }}	}
t          j        ||	dd¬¦  «        rJ ‚t          j        ||
dd¬¦  «        rJ ‚t          j        |
|	dd¬¦  «        rJ ‚d S )Nr   r*   r  r]   r¢   )r�   N)rÉ  Nr1   rº   ri  )rž   rQ   rx   r+   Úl1_ratior�   r¯   r[   )rs  r„  )r   r  r   r<   Úappendr´   r9   Úallclose)rD   rE   rQ   r?  Úcoeffsrž   Úratiort   Úelastic_net_coeffsÚ	l1_coeffsÚ	l2_coeffss              rK   Útest_elastic_net_coeffsrG  ,  s  € õ ¨AÐ.Ñ.Ô.�D€A€qà€AØ€HÝ‰VŒV€FØ(¨(Ð3°\À<ÐPð  ð  ‰ˆ�ÝØØØØØØØð
ñ 
ô 
ˆð 	�Šˆq�!‰ŒˆØ�Š�b”hÑÔÐÐà/5Ñ,Ð˜	 9åŒ{Ð-¨y¸qÀsÐKÑKÔKÐKÐKÐKÝŒ{Ð-¨y¸qÀsÐKÑKÔKÐKÐKÐKÝŒ{˜9 i°a¸cÐBÑBÔBÐBÐBÐBÐBÐBrM   rQ   )rº   r[   r3   r‡   rP   rê   ç    €„.Azpenalty, l1_ratio)r�   r3   )rÉ  r   c                 ó
  — t          d¬¦  «        \  }}t          d| |ddd¬¦  «        }t          || ddd¬¦  «        }|                     ||¦  «         |                     ||¦  «         t          |j        |j        ¦  «         d S )Nr   r*   r¢   r1   r�   )rž   rQ   r?  rx   r+   r�   ©rž   rQ   rx   r+   r�   )r   r   r<   r   r´   )rQ   rž   r?  rD   rE   Úlr_enetÚlr_expecteds          rK   Ú"test_elastic_net_l1_l2_equivalencerM  H  s¤   € õ
 ¨AÐ.Ñ.Ô.�D€A€qå ØØ
ØØØØðñ ô €Gõ %Ø˜1 V¸!Àðñ ô €Kð ‡K‚K��1ÑÔÐØ‡O‚O�A�qÑÔÐå˜gœm¨[Ô->Ñ?Ô?Ð?Ð?Ð?rM   )rº   r3   rP   rH  c                 ó$  — t          dd¬¦  «        \  }}t          ||d¬¦  «        \  }}}}dt          j        ddd¦  «        i}t	          d| ddd	¬
¦  «        }t          ||d¬¦  «        }	t	          d| ddd	¬
¦  «        }
t	          d| ddd	¬
¦  «        }|	|
|fD ]}|                     ||¦  «         Œ|	                     ||¦  «        |
                     ||¦  «        k    sJ ‚|	                     ||¦  «        |                     ||¦  «        k    sJ ‚d S )NrJ  r   r*   r?  r3   rÑ   r¢   r1   r�   rJ  T)r  r�   rÉ  )r   r   r9   Úlinspacer   r   r<   re   )rQ   rD   rE   ÚX_trainÚX_testÚy_trainÚy_testÚ
param_gridÚenet_clfÚgsÚl1_clfÚl2_clfrC   s                rK   Útest_elastic_net_vs_l1_l2rY  `  sS  € õ
 ˜s°Ð3Ñ3Ô3�D€A€qÝ'7¸¸1È1Ð'MÑ'MÔ'MÑ$€GˆV�W˜fà�bœk¨!¨Q°Ñ2Ô2Ð3€Jå!Ø ¨&¸qÀdðñ ô €Hõ 
�h 
°$Ð	7Ñ	7Ô	7€BåØ˜ &°q¸dðñ ô €Fõ  Ø˜ &°q¸dðñ ô €Fð �F˜FÐ#ð "ð "ˆØ�Š�˜Ñ!Ô!Ð!Ð!à�8Š8�F˜FÑ#Ô# v§|¢|°F¸FÑ'CÔ'CÒCÐCÐCÐCØ�8Š8�F˜FÑ#Ô# v§|¢|°F¸FÑ'CÔ'CÒCÐCÐCÐCÐCÐCrM   éýÿÿÿr4   rn   r?  )r[   r]   r±   c           	      óL  ‡ ‡‡‡— t          ddddddd¬¦  «        \  ŠŠt          ‰¦  «        Št          ddd‰ ‰d	¬
¦  «        }t          ddd‰ d	¬¦  «        }|                     ‰‰¦  «         |                     ‰‰¦  «         ˆ ˆˆˆfd„} ||¦  «         ||¦  «        k     sJ ‚d S )Nrê   r4   r  r‡   r   ©rF   rH   rƒ   r(  rž  r�  r+   r¢   r1   F)rž   rx   r+   rQ   r?  rS   rÉ  )rž   rx   r+   rQ   rS   c                 ó   •— | j                              ¦   «         }‰t          ‰|                      ‰¦  «        ¦  «        z  }|‰t	          j        t	          j        |¦  «        ¦  «        z  z  }|d‰z
  dz  t	          j        ||¦  «        z  z  }|S )Nr  r]   )r´   rõ   r   r?   r9   r@   r  r  )rt   r•  ÚobjrQ   rD   r?  rE   s      €€€€rK   Úenet_objectivezEtest_LogisticRegression_elastic_net_objective.<locals>.enet_objectivež  s€   ø€ ØŒx�~Š~ÑÔˆØ•(˜1˜b×.Ò.¨qÑ1Ô1Ñ2Ô2Ñ2ˆØˆx�"œ&¥¤¨¡¤Ñ.Ô.Ñ.Ñ.ˆØ��h‘ #Ñ%­¬¨t°TÑ(:Ô(:Ñ:Ñ:ˆØˆ
rM   )r   r!   r   r<   )rQ   r?  rK  Úlr_l2r_  rD   rE   s   ``   @@rK   Ú-test_LogisticRegression_elastic_net_objectivera  }  s  øøøø€ õ ØØØØØØØðñ ô �D€A€qõ 	ˆa‰Œ€Aå ØØØØ
ØØðñ ô €Gõ Ø˜V°!°qÈðñ ô €Eð ‡K‚K��1ÑÔÐØ	‡I‚Iˆa��O„O€Oðð ð ð ð ð ð ð ð ˆ>˜'Ñ"Ô" ^ ^°EÑ%:Ô%:Ò:Ð:Ð:Ð:Ð:Ð:rM   rH   )r4   rm   c           	      óø  — t          d| dd¬¦  «        \  }}t          d¦  «        }t          j        ddd¦  «        }t          j        ddd¦  «        }t          d	|d
||dd¬¦  «        }|                     ||¦  «         ||dœ}t          d	d
dd¬¦  «        }t          |||¬¦  «        }	|	                     ||¦  «         |	j	        d         |j
        d         k    sJ ‚|	j	        d         |j        d         k    sJ ‚d S )NrP   rm   r   ©rF   rH   r(  r+   rÑ   r3   éüÿÿÿrn   r¢   r1   r�   )rž   ro   rx   rq   Ú	l1_ratiosr+   r�   ©rQ   r?  )rž   rx   r+   r�   ©rq   r?  rQ   )r   r   r9   rO  ró   r   r<   r   r   Úbest_params_Ú	l1_ratio_rr   )
rH   rD   rE   rq   re  ro   ÚlrcvrT  rt   rV  s
             rK   Ú2test_LogisticRegressionCV_GridSearchCV_elastic_netrk  ¨  s-  € õ
 Ø ¸!È!ðñ ô �D€A€qõ 
˜Ñ	Ô	€Bå”˜A˜q !Ñ$Ô$€IÝ	Œ�R˜˜AÑ	Ô	€BåØØØØØØØðñ ô €Dð 	‡H‚HˆQ��N„N€Nà yÐ1Ð1€JÝ	ØØØØð	
ñ 
ô 
€Bõ 
�b˜*¨Ð	,Ñ	,Ô	,€BØ‡F‚Fˆ1ˆa�L„L€LàŒ?˜:Ô&¨$¬.¸Ô*;Ò;Ð;Ð;Ð;ØŒ?˜3Ô 4¤7¨1¤:Ò-Ð-Ð-Ð-Ð-Ð-rM   c            
      óÂ  — t          dddd¬¦  «        \  } }t          | |d¬¦  «        \  }}}}t          d¦  «        }t          j        ddd¦  «        }t          j        dd	d¦  «        }t          d
|d||ddd¬¦  «        }	|	                     ||¦  «         ||dœ}
t          d
dddd¬¦  «        }t          ||
|¬¦  «        }|                     ||¦  «         |	 
                    |¦  «        | 
                    |¦  «        k                         ¦   «         dk    sJ ‚|	 
                    |¦  «        | 
                    |¦  «        k                         ¦   «         dk    sJ ‚d S )NrP   rm   r   rc  r*   rÑ   r3   rd  rn   r¢   r1   r‹   r�   )rž   ro   rx   rq   re  r+   rŒ   r�   rf  )rž   rx   r+   rŒ   r�   rg  r\   )r   r   r   r9   rO  ró   r   r<   r   r   r=   r–   )rD   rE   rP  rQ  rR  rS  rq   re  ro   rj  rT  rt   rV  s                rK   Ú6test_LogisticRegressionCV_GridSearchCV_elastic_net_ovrrm  Ñ  s�  € õ Ø °!À!ðñ ô �D€A€qõ (8¸¸1È1Ð'MÑ'MÔ'MÑ$€GˆV�W˜fÝ	˜Ñ	Ô	€Bå”˜A˜q !Ñ$Ô$€IÝ	Œ�R˜˜AÑ	Ô	€BåØØØØØØØØð	ñ 	ô 	€Dð 	‡H‚HˆW�gÑÔÐà yÐ1Ð1€JÝ	ØØØØØð
ñ 
ô 
€Bõ 
�b˜*¨Ð	,Ñ	,Ô	,€BØ‡F‚Fˆ7�GÑÔÐð �LŠL˜Ñ!Ô! R§Z¢Z°Ñ%8Ô%8Ò8×>Ò>Ñ@Ô@ÀCÒGÐGÐGÐGØ�LŠL˜Ñ Ô  B§J¢J¨vÑ$6Ô$6Ò6×<Ò<Ñ>Ô>À#ÒEÐEÐEÐEÐEÐErM   )rÉ  r¢   )r‹   rœ   Úautoc           
      ót  — d}d}t          d|||d¬¦  «        \  }}t          j        ddd¦  «        }| dk    rt          j        dd	d
¦  «        }nd }t	          | |d|d|dd¬¦  «        }|                     ||¦  «         |j        j        |fk    sJ ‚|j        j        |fk    sJ ‚|j	        j        ||fk    sJ ‚d S )Nrm   r  ri  r   ©rF   rH   r(  rƒ   r+   rd  rn   r¢   r3   r4   r1   r�   F)rž   ro   rx   re  r+   rŒ   r�   r  )
r   r9   ró   rO  r   r<   rr   r;   ri  r´   )	rž   rŒ   rH   rƒ   rD   rE   ro   re  rj  s	            rK   Ú"test_LogisticRegressionCV_no_refitrq     sþ   € ð €IØ€JÝØØØØØðñ ô �D€A€qõ 
Œ�R˜˜AÑ	Ô	€BØ�,ÒÐÝ”K  1 aÑ(Ô(ˆ	ˆ	àˆ	åØØØØØØØØð	ñ 	ô 	€Dð 	‡H‚HˆQ��N„N€NØŒ7Œ=˜Y˜LÒ(Ð(Ð(Ð(ØŒ>Ô I <Ò/Ð/Ð/Ð/ØŒ:Ô 	¨:Ð6Ò6Ð6Ð6Ð6Ð6Ð6rM   c            
      ó†  — d} d}t          d| | |d¬¦  «        \  }}t          j        ddd¦  «        }t          j        ddd	¦  «        }d	}t	          d
|d||ddd¬¦  «        }|                     ||¦  «         t          j        t          |j         	                    ¦   «         ¦  «        ¦  «        }|j
        | ||j        |j        |dz   fk    sJ ‚t          j        t          |j         	                    ¦   «         ¦  «        ¦  «        }	|	j
        | ||j        |j        fk    sJ ‚|j        j
        | ||j        |j        fk    sJ ‚d S )Nrm   r  ri  r   rp  rd  rn   r3   r4   r¢   r1   r‹   r�   )rž   ro   rx   rq   re  rŒ   r+   r�   )r   r9   ró   rO  r   r<   r  r  r  r  r;   r}  r  r  )
rH   rƒ   rD   rE   ro   re  Ún_foldsrj  r  r_   s
             rK   Ú5test_LogisticRegressionCV_elasticnet_attribute_shapesrt  )  sm  € ð
 €IØ€JÝØØØØØðñ ô �D€A€qõ 
Œ�R˜˜AÑ	Ô	€BÝ”˜A˜q !Ñ$Ô$€Ià€GÝØØØØØØØØð	ñ 	ô 	€Dð 	‡H‚HˆQ��N„N€NÝ”*�T $Ô"3×":Ò":Ñ"<Ô"<Ñ=Ô=Ñ>Ô>€KØÔØØØ
ŒØŒØ�Q‰ð!ò ð ð ð õ ŒZ�˜Tœ\×0Ò0Ñ2Ô2Ñ3Ô3Ñ4Ô4€FØŒ<˜I w°´¸¼ÐHÒHÐHÐHÐHàŒ<Ô )¨W°b´g¸y¼~Ð!NÒNÐNÐNÐNÐNÐNrM   c                  óÒ   — d} t          j        t          | ¬¦  «        5  t          ddd¬¦  «                             t
          t          ¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )NzQl1_ratio parameter is only used when penalty is 'elasticnet'\. Got \(penalty=l1\)rz   r�   r1   r]   )rž   rx   r?  )r€   r�   r‚   r   r<   rD   rT   )r¦   s    rK   Útest_l1_ratio_non_elasticnetrv  U  sÀ   € ð	.ð õ 
Œ•k¨Ð	-Ñ	-Ô	-ð Qð QÝ 4°ÀÐEÑEÔE×IÒIÍ!ÍRÑPÔPÐPðQð Qð Qñ Qô Qð Qð Qð Qð Qð Qð Qð Qøøøð Qð Qð Qð Qð Qð Qs   ž1AÁA Á#A c           
      óR  — d}t          |dddddd¬¦  «        \  }}t          |¦  «        }t          dddd d	|d
| z  |z  d¬¦  «        }t          ddddd|| d¬¦  «        }|                     ||¦  «         |                     ||¦  «         t          |j        |j        d¬¦  «         d S )NrJ  r4   rÑ   r   r3   r\  r¢   Fr®   r  r   )rž   r+   rS   r�   r¯   r?  r$  r˜  ré   rê   r1   )rž   r+   rS   r�   r¯   r?  rQ   rx   r]  )r   r!   r   r   r<   r   r´   )rQ   r?  rF   rD   rE   ÚsgdÚlogs          rK   Útest_elastic_net_versus_sgdrz  ^  sé   € ð €IÝØØØØØØØðñ ô �D€A€qõ 	ˆa‰Œ€Aå
ØØØØØØØ�A‰g˜	Ñ!Øð	ñ 	ô 	€Cõ ØØØØØØØ
Øð	ñ 	ô 	€Cð ‡G‚GˆAˆq�M„M€MØ‡G‚GˆAˆq�M„M€MÝ˜cœi¨¬¸AÐ>Ñ>Ô>Ð>Ð>Ð>rM   c            	      óP  — t          ddddddd¬¦  «        \  } }g d¢}t          | |d|d	dd
¬¦  «        \  }}}t          j        t          ¦  «        5  t          |d         |d         d¬¦  «         d d d ¦  «         n# 1 swxY w Y   t          j        t          ¦  «        5  t          |d         |d         d¬¦  «         d d d ¦  «         n# 1 swxY w Y   t          j        t          ¦  «        5  t          |d         |d         d¬¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )Nri  rm   r4   r   r3   )rF   rH   r(  rž  Ún_clusters_per_classr+   rƒ   )ré   r3   rj  r�   r1   rœ   )rž   ro   rx   r+   rŒ   r]  )r   r   r€   r¤   r	  r   )rD   rE   ro   r÷   rø   s        rK   Ú/test_logistic_regression_path_coefs_multinomialr}  ˆ  s:  € õ ØØØØØØØðñ ô �D€A€qð 
Ð	Ð	€BÝ+Ø	Ø	ØØØØØ!ðñ ô �K€Eˆ1ˆaõ 
Œ•~Ñ	&Ô	&ð Að AÝ! %¨¤(¨E°!¬H¸aÐ@Ñ@Ô@Ð@ðAð Að Añ Aô Að Að Að Að Að Að Aøøøð Að Að Að Aå	Œ•~Ñ	&Ô	&ð Að AÝ! %¨¤(¨E°!¬H¸aÐ@Ñ@Ô@Ð@ðAð Að Añ Aô Að Að Að Að Að Að Aøøøð Að Að Að Aå	Œ•~Ñ	&Ô	&ð Að AÝ! %¨¤(¨E°!¬H¸aÐ@Ñ@Ô@Ð@ðAð Að Añ Aô Að Að Að Að Að Að Að Aøøøð Að Að Að Að Að As6   ÁA<Á<B ÂB Â CÃCÃCÃ/DÄDÄ"DÚestrJ  )r+   r¯   rm   rº   )r+   rq   ro   r�   r¯   c                 ó   — | j         j        S rg   )Ú	__class__rh   rÒ  s    rK   rÔ  rÔ  °  s   € �!”+Ô&€ rM   )Úidsc           	      óä  ‡ — ˆ fd„}t          t          j        ¦  «        }|d d d…         }|dd d…         }t          j        d d d…         }|dk    } |||d|¬¦  «        } |||d|¬¦  «        }	t	          |j        |	j        ¦  «         t	          |                     |¦  «        |	                     |¦  «        ¦  «          |||d|¬¦  «        }
|dk    ra |||d|¬¦  «        }t	          |
j        |j        ¦  «         t	          |
                     |¦  «        |                     |¦  «        ¦  «         d S  |||d	|¬¦  «        }t	          |
j        |j        ¦  «         t	          |
                     |¦  «        |                     |¦  «        ¦  «         t          j        |j         |||d	|¬¦  «        j        ¦  «        rJ ‚t          j        |j         |||d	|¬¦  «        j        ¦  «        rJ ‚d S )
Nc                 ó`   •—  t          ‰¦  «        j        di |¤Ž                     | |¦  «        S )Nrk   )r   r¡  r<   )rD   rE   Úkwr~  s      €rK   r<   z6test_logistic_regression_multi_class_auto.<locals>.fit·  s2   ø€ Ø$�u�S‰zŒzÔ$Ð*Ð* rÐ*Ð*×.Ò.¨q°!Ñ4Ô4Ð4rM   r‡   r3   r   rn  )rŒ   rx   r‹   r-   rœ   )	r!   r|   r}   r   r   r´   r?   r9   rA  )r~  rx   r<   Úscaled_datarD   ÚX2Úy_multir  Úest_auto_binÚest_ovr_binÚest_auto_multiÚest_ovr_multiÚest_multi_multis   `            rK   Ú)test_logistic_regression_multi_class_autor�  ©  sS  ø€ ð5ð 5ð 5ð 5ð 5õ �œ	Ñ"Ô"€KØ�D�D�b�DÔ€AØ	�Q�U˜�UÔ	€BÝŒk˜$˜$˜B˜$Ô€GØ�qŠL€EØ�3�q˜%¨V¸FÐCÑCÔC€LØ�#�a˜¨E¸&ÐAÑAÔA€KÝ�LÔ&¨Ô(9Ñ:Ô:Ð:Ý�L×.Ò.¨rÑ2Ô2°K×4MÒ4MÈbÑ4QÔ4QÑRÔRÐRà�S˜˜G°ÀÐGÑGÔG€NØ�ÒÐØ˜˜A˜w°EÀ&ÐIÑIÔIˆÝ˜Ô,¨mÔ.AÑBÔBÐBÝØ×(Ò(¨Ñ,Ô,¨m×.IÒ.IÈ"Ñ.MÔ.Mñ	
ô 	
ð 	
ð 	
ð 	
ð ˜#˜a °mÈFÐSÑSÔSˆÝ˜Ô,¨oÔ.CÑDÔDÐDÝØ×(Ò(¨Ñ,Ô,¨o×.KÒ.KÈBÑ.OÔ.Oñ	
ô 	
ð 	
õ
 ”;ØÔØˆC��5 m¸FÐCÑCÔCÔIñ
ô 
ð 	
ð 	
ð 
õ ”;ØÔØˆC��7¨¸fÐEÑEÔEÔKñ
ô 
ð 	
ð 	
ð 
ð 	
ð 	
rM   c                 ó  — t          ddd¬¦  «        \  }}d}t          d | d¬¦  «        }t          j        t          |¬¦  «        5  |                     ||¦  «         d d d ¦  «         n# 1 swxY w Y   t          d | d¬¦  «        }t          d	t          j        | d¬
¦  «        }|                     ||¦  «                             |¦  «        }|                     ||¦  «                             |¦  «        }t          ||¦  «         d S )Nrê   r   )rF   rž  r+   z&Setting penalty=None will ignore the Crn   )rž   rx   rQ   rz   )rž   rx   r+   rÉ  )rž   rQ   rx   r+   )
r   r   r€   r�   r‚   r<   r9   r�  r=   r   )	rx   rD   rE   r¦   rt   Úlr_noneÚlr_l2_C_infÚ	pred_noneÚpred_l2_C_infs	            rK   Útest_penalty_noner“  Ý  s?  € õ ¨¸1È1ÐMÑMÔM�D€A€qà
2€CÝ	 D°¸1Ð	=Ñ	=Ô	=€BÝ	Œ•k¨Ð	-Ñ	-Ô	-ð ð Ø
�Šˆq�!‰Œˆðð ð ñ ô ð ð ð ð ð ð øøøð ð ð ð õ !¨°fÈ1ÐMÑMÔM€GÝ$Ø�œ v¸Aðñ ô €Kð —’˜A˜qÑ!Ô!×)Ò)¨!Ñ,Ô,€IØ—O’O A qÑ)Ô)×1Ò1°!Ñ4Ô4€MÝ�y -Ñ0Ô0Ð0Ð0Ð0s   ÁA(Á(A,Á/A,r3  rî   rê   )rž   r    r�   r¯   rÈ  c                 ób  — t          j        ddgddgddgddgddgddgddgddgddgddgddgddgddgddgddgddggt          j        d¦  «        ¬¦  «        }t          j        g d¢t          j        d¦  «        ¬¦  «        }t          j        ||g¦  «        }t          j        |d|z
  g¦  «        }t          j        t          |¦  «        dz  ¬	¦  «        }d
|t          |¦  «        d …<   t          |||d
¬¦  «        \  }}}t          dd¬¦  «        } |j	        di | ¤Ž t          |¦  «                             ||¦  «        }t          |¦  «                             |||¬¦  «        }dD ]D}	 t          ||	¦  «        |¦  «        }
 t          ||	¦  «        |¦  «        }t          |
|¦  «         ŒEd S )Nr3   rm   r4   rn   Úfloatrß   )r3   r3   r3   r3   r4   r4   r4   r4   r3   r3   r3   r3   r4   r4   r4   r4   r°  rô  r   r*   r-   rŽ   )rx   r+   r«  )r=   r?   r»   rk   )r9   r©   rà   ÚvstackÚhstackrA   r8   r$   r   r¡  r   r<   Úgetattrr   )r3  rD   rE   r†  Úy2rd   Úbase_clfÚclf_no_weightÚclf_with_weightÚmethodÚX_clf_no_weightÚX_clf_with_weights               rK   Ú/test_logisticregression_liblinear_sample_weightr   ó  s  € õ 	Œà�ˆFØ�ˆFØ�ˆFØ�ˆFØ�ˆFØ�ˆFØ�ˆFØ�ˆFØ�ˆFØ�ˆFØ�ˆFØ�ˆFØ�ˆFØ�ˆFØ�ˆFØ�ˆFð!	
õ$ Œh�wÑÔð'	ñ 	ô 	€Aõ* 	ŒØ8Ð8Ð8ÅÄÈÁÄð	ñ 	ô 	€Aõ 
Œ�A�q�6Ñ	Ô	€BÝ	Œ�A�q˜1‘u�:Ñ	Ô	€BÝ”G¥# a¡&¤&¨1¡*Ð-Ñ-Ô-€MØ€M•#�a‘&”&�(�(ÑÝ# B¨¨MÈÐJÑJÔJÑ€BˆˆMå!¨À2ÐFÑFÔF€HØ€HÔÐ!Ð!˜&Ð!Ð!Ð!Ý˜(‘O”O×'Ò'¨¨1Ñ-Ô-€MÝ˜H‘o”o×)Ò)¨"¨bÀÐ)ÑNÔN€OàCð <ð <ˆØ8�' -°Ñ8Ô8¸Ñ;Ô;ˆØ<�G O°VÑ<Ô<¸QÑ?Ô?ÐÝ˜Ð):Ñ;Ô;Ð;Ð;ð<ð <rM   c                  ó  — t          dd¬¦  «        \  } }t          d¬¦  «        }ddg}g d¢}t          d	d
|||ddd¬¦  «        }|                     | |¦  «         |j        d                              d¬¦  «        }t          |¦  «        D ]w\  }}t          |¦  «        D ]b\  }	}
t          d	d
||
ddd¬¦  «        }t          || ||¬¦  «                             ¦   «         }|||	f         t          j
        |¦  «        k    sJ ‚ŒcŒxd S )Nrê   r   r  rÑ   )Ún_splitsr[   r±   )r[   r3   r‡   r¢   r1   éú   rº   )rž   rx   re  ro   rq   r+   r¯   r�   r3   r6   )rž   rx   rQ   r?  r+   r¯   r�   rg  )r   r   r   r<   r  r–   rô   r   r   r€   Úapprox)rD   rE   rq   re  ro   rj  Úavg_scores_lrcvrù   rQ   Újr?  rt   Úavg_score_lrs                rK   Ú'test_scores_attribute_layout_elasticnetr¨  (  sU  € õ ¨¸AÐ>Ñ>Ô>�D€A€qÝ	 !Ð	$Ñ	$Ô	$€Bà�c�
€IØ	ˆˆ€BåØØØØØØØØð	ñ 	ô 	€Dð 	‡H‚HˆQ��N„N€Nà”l 1”o×*Ò*°Ð*Ñ2Ô2€Oå˜"‘”ð Hð H‰ˆˆ1Ý$ YÑ/Ô/ð 	Hð 	H‰KˆAˆxÝ#Ø$ØØØ!ØØØðñ ô ˆBõ +¨2¨q°!¸Ð;Ñ;Ô;×@Ò@ÑBÔBˆLØ" 1 a 4Ô(­F¬M¸,Ñ,GÔ,GÒGÐGÐGÐGÐGð	HðHð HrM   )r,   r.   r/   c                 óÞ  — t           j        j        \  }}t           j        t           j                 }t          t          t           j        ¦  «        d|¬¦  «        }t          t           j        ¦  «        }|                     ||¦  «         t          |j
                             d¬¦  «        dd¬¦  «         |r5|j                             d¬¦  «        t          j        dd¬¦  «        k    sJ ‚d	S d	S )
a|  Test that the multinomial classification is identifiable.

    A multinomial with c classes can be modeled with
    probability_k = exp(X@coef_k) / sum(exp(X@coef_l), l=1..c) for k=1..c.
    This is not identifiable, unless one chooses a further constraint.
    According to [1], the maximum of the L2 penalized likelihood automatically
    satisfies the symmetric constraint:
    sum(coef_k, k=1..c) = 0

    Further details can be found in [2].

    Reference
    ---------
    .. [1] :doi:`Zhu, Ji and Trevor J. Hastie. "Classification of gene microarrays by
           penalized logistic regression". Biostatistics 5 3 (2004): 427-43.
           <10.1093/biostatistics/kxg046>`

    .. [2] :arxiv:`Noah Simon and Jerome Friedman and Trevor Hastie. (2013)
           "A Blockwise Descent Algorithm for Group-penalized Multiresponse and
           Multinomial Regression". <1311.6529>`
    r,   )rQ   rx   rS   r   r6   rƒ  r¬  g•dyáý¥=)r  N)r|   r}   r;   r~   r   r   r8   r!   r<   r   r´   r@   rµ   r€   r¤  )rx   rS   rF   rƒ   r   rC   ÚX_scaleds          rK   Ú(test_multinomial_identifiability_on_irisr«  T  sà   € õ4 !œIœOÑ€IˆzÝÔ�tœ{Ô+€Få
Ý
�dŒi‰.Œ.ØØ#ðñ ô €Cõ •T”YÑÔ€HØ‡G‚GˆH�fÑÔÐõ �C”I—M’M q�MÑ)Ô)¨1°5Ð9Ñ9Ô9Ð9Øð IØŒ~×!Ò! qÐ!Ñ)Ô)­V¬]¸1À%Ð-HÑ-HÔ-HÒHÐHÐHÐHðIð IØHÐHrM   r  g      $@c                 ó$  — t          d¬¦  «        \  }}t          |¦  «        }t          j        |¦  «        }d|d |dz  …<   |                     ¦   «         }t          d|d| ¬¦  «        }|                     |||¬¦  «         t          ||¦  «         d S )NT©Ú
return_X_yr4   r   ri  )r+   r<  r¯   rŒ   r«  )r   r8   r9   rA   rM  r   r<   r   )rŒ   r<  rD   rE   rƒ   ÚWÚexpectedrC   s           rK   Útest_sample_weight_not_modifiedr±  �  s    € õ  Ð%Ñ%Ô%�D€A€qÝ�Q‘”€JÝ
Œ�
ÑÔ€AØ€AÐˆ
�a‰ÐÑà�vŠv‰xŒx€Hå
Ø \¸CÈ[ðñ ô €Cð ‡G‚GˆAˆq €GÑ"Ô"Ð"Ý�H˜aÑ Ô Ð Ð Ð rM   c           	      ó>  —  |t          j        dd|¬¦  «        ¦  «        }dD ]4}t          ||t          ||¦  «                             d¦  «        ¦  «         Œ5t
          j                             |¦  «        }|                     d|j	        d         ¬¦  «        }| d	v r\d
}t          j        t          |¬¦  «        5  t          | ¬¦  «                             ||¦  «         d d d ¦  «         d S # 1 swxY w Y   d S t          | ¬¦  «                             ||¦  «         d S )Nr  r‡   r*   )ÚindicesÚindptrÚint64r4   r   r©  )r-   r0   r1   z0Only sparse matrices with 32-bit integer indicesrz   rë  )r   ÚrandÚsetattrr˜  r²   r9   rÓ   rÔ   r®  r;   r€   r¤   r¥   r   r<   )rx   r¾   rN   rD   ÚattrrÖ   rE   r¦   s           rK   Útest_large_sparse_matrixr¹  “  sf  € ð 	ˆ•f”k " bÐ7IÐJÑJÔJÑKÔK€AØ%ð ;ð ;ˆÝ��4�  DÑ)Ô)×0Ò0°Ñ9Ô9Ñ:Ô:Ð:Ð:Ý
Œ)×
Ò
Ð 2Ñ
3Ô
3€CØ�Š�A˜AœG AœJˆÑ'Ô'€AàÐ-Ð-Ð-Ø@ˆÝŒ]�:¨SÐ1Ñ1Ô1ð 	8ð 	8Ý fÐ-Ñ-Ô-×1Ò1°!°QÑ7Ô7Ð7ð	8ð 	8ð 	8ñ 	8ô 	8ð 	8ð 	8ð 	8ð 	8ð 	8ð 	8ð 	8øøøð 	8ð 	8ð 	8ð 	8ð 	8ð 	8õ 	 &Ð)Ñ)Ô)×-Ò-¨a°Ñ3Ô3Ð3Ð3Ð3s   Â:%C,Ã,C0Ã3C0c                  óÚ   — t          j        g d¢g¦  «        j        } t          j        g d¢¦  «        }| j        d         dk    sJ ‚t	          dd¬¦  «                             | |¦  «         d S )N)r]   gÍÌÌÌÌÌä?gš™™™™™ñ?g      ô?r\   gHáz®Gá?r’   çffffffæ?)r3   r3   r   r   r3   r3   r   r3   r3   r.   T)rx   rS   )r9   r©   r‹  r;   r   r<   )rD   rE   s     rK   Útest_single_feature_newton_cgr¼  ¨  sr   € õ 	ŒÐ>Ð>Ð>Ð?Ñ@Ô@ÔB€AÝ
ŒÐ)Ð)Ð)Ñ*Ô*€AØŒ7�1Œ:˜Š?ˆ?ˆ?ˆ?Ý˜k¸Ð>Ñ>Ô>×BÒBÀ1ÀaÑHÔHÐHÐHÐHrM   c            	      óþ  — t           j                             ¦   «         } t           j                             ¦   «         }| |dk             } ||dk             }t	          ¦   «                              | ¦  «        }t          | |d¬¦  «        dz  }t          ddddd	d
|¬¦  «        }t          j	        ¦   «         5  t          j
        dt          ¦  «         |                     ||¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )Nr4   ry  )r˜  g¤›ntž²@r�   r-   rî   rP   rï   r   )rž   rx   r�   r¯   rð   r+   rQ   Úerror)r|   r}   rM  r   r    rá  r"   r   r“   r”   r•   r   r<   )rD   rE   ÚX_preprQ   rC   s        rK   Útest_liblinear_not_stuckrÀ  ²  s8  € åŒ	�ŠÑÔ€AÝŒ×ÒÑÔ€AØ	ˆ!ˆqŠ&Œ	€AØ	ˆ!ˆqŠ&Œ	€AÝÑÔ×+Ò+¨AÑ.Ô.€Få��A˜EÐ"Ñ"Ô" _Ñ4€AÝ
ØØØØØ!ØØ
ðñ ô €Cõ 
Ô	 Ñ	"Ô	"ð ð ÝÔ˜gÕ'9Ñ:Ô:Ð:Ø�Š�˜ÑÔÐðð ð ñ ô ð ð ð ð ð ð ð øøøð ð ð ð ð ð s   Â41C2Ã2C6Ã9C6©Úenable_metadata_routingc                  ó´  — t           j                             d¦  «        } t          d| ¬¦  «        \  }}t          d| ¬¦  «        \  }}t          j        t          |¦  «        ¦  «        }d|dt          |¦  «        dz  …<   d|i}t          d¦  «        }t          |¬¦  «        } |j        ||fi |¤Ž t          d¦  «        }	|	 	                    d¬	¦  «         t          |	¬¦  «        }
 |
j        ||fi |¤Ž t          j
        |j        d
         |
j        d
         ¦  «        rJ ‚ |j        ||fi |¤Ž} |
j        ||fi |¤Ž}t          j
        ||¦  «        rJ ‚dS )zåTest that `sample_weight` is correctly passed to the scorer in
    `LogisticRegressionCV.fit` and `LogisticRegressionCV.score` by
    checking the difference in scores with the case when `sample_weight`
    is not requested.
    r‡   r  r4   Nrd   r  ©rp   Tr«  r3   )r9   rÓ   rÔ   r   rA   r8   r   r   r<   Úset_score_requestrA  r  re   )rÖ   rD   rE   ÚX_tÚy_trd   ÚkwargsÚscorer1Úlr_cv1Úscorer2Úlr_cv2Úscore_1Úscore_2s                rK   Ú8test_lr_cv_scores_differ_when_sample_weight_is_requestedrÏ  Ë  s}  € õ Œ)×
Ò
 Ñ
#Ô
#€CÝ¨¸#Ð>Ñ>Ô>�D€A€qÝ"¨R¸cÐBÑBÔB�H€CˆÝ”G�C ™FœF‘O”O€MØ#$€M�-•C˜‘F”F˜a‘K�-Ñ Ø˜}Ð-€Få˜Ñ$Ô$€GÝ!¨'Ð2Ñ2Ô2€FØ€F„Jˆq�!ÐÐ�vÐÐÐå˜Ñ$Ô$€GØ×Ò¨DÐÑ1Ô1Ð1Ý!¨'Ð2Ñ2Ô2€FØ€F„Jˆq�!ÐÐ�vÐÐÐåŒ{˜6œ>¨!Ô,¨f¬n¸QÔ.?Ñ@Ô@Ð@Ð@Ð@àˆfŒl˜3 Ð.Ð. vÐ.Ð.€GØˆfŒl˜3 Ð.Ð. vÐ.Ð.€GåŒ{˜7 GÑ,Ô,Ð,Ð,Ð,Ð,Ð,rM   c                  ó8  — t           j                             d¦  «        } t          d| ¬¦  «        \  }}t          d| ¬¦  «        \  }}t          j        t          |¦  «        ¦  «        }d|dt          |¦  «        dz  …<   d|i}t          d¬¦  «        5  t          d¦  «        }t          |¬	¦  «        } |j	        ||fi |¤Ž  |j
        ||fi |¤Ž}	ddd¦  «         n# 1 swxY w Y   t          d
¬¦  «        5  t          d¦  «        }
|
                     d
¬¦  «         t          |
¬	¦  «        } |j	        ||fi |¤Ž  |j
        ||fi |¤Ž}ddd¦  «         n# 1 swxY w Y   t          |j        d         |j        d         ¦  «         t          |	|¦  «         dS )z±Test that `sample_weight` is passed correctly to the scorer in
    `LogisticRegressionCV.fit` and `LogisticRegressionCV.score` even
    when `enable_metadata_routing=False`
    r‡   r  r4   Nrd   FrÁ  r  rÄ  Tr«  r3   )r9   rÓ   rÔ   r   rA   r8   r   r   r   r<   re   rÅ  r   r  )rÖ   rD   rE   rÆ  rÇ  rd   rÈ  rÉ  rÊ  rÍ  rË  rÌ  rÎ  s                rK   Ú3test_lr_cv_scores_without_enabling_metadata_routingrÑ  ê  s=  € õ
 Œ)×
Ò
 Ñ
#Ô
#€CÝ¨¸#Ð>Ñ>Ô>�D€A€qÝ"¨R¸cÐBÑBÔB�H€CˆÝ”G�C ™FœF‘O”O€MØ#$€M�-•C˜‘F”F˜a‘K�-Ñ Ø˜}Ð-€Få	°Ð	6Ñ	6Ô	6ð 3ð 3Ý˜ZÑ(Ô(ˆÝ%¨gÐ6Ñ6Ô6ˆØˆŒ
�1�aÐ"Ð"˜6Ð"Ð"Ð"Ø�&”,˜s CÐ2Ð2¨6Ð2Ð2ˆð	3ð 3ð 3ñ 3ô 3ð 3ð 3ð 3ð 3ð 3ð 3øøøð 3ð 3ð 3ð 3õ 
°Ð	5Ñ	5Ô	5ð 3ð 3Ý˜ZÑ(Ô(ˆØ×!Ò!°Ð!Ñ5Ô5Ð5Ý%¨gÐ6Ñ6Ô6ˆØˆŒ
�1�aÐ"Ð"˜6Ð"Ð"Ð"Ø�&”,˜s CÐ2Ð2¨6Ð2Ð2ˆð3ð 3ð 3ñ 3ô 3ð 3ð 3ð 3ð 3ð 3ð 3øøøð 3ð 3ð 3ð 3õ �F”N 1Ô% v¤~°aÔ'8Ñ9Ô9Ð9Ý�G˜WÑ%Ô%Ð%Ð%Ð%s%   Â>CÃC"Ã%C"Ã9AEÅEÅ Ec                 ó°  — t          d¬¦  «        \  }}|dk    }t          t          ¬¦  «        5  t          | d¬¦  «                             ||¦  «        }d d d ¦  «         n# 1 swxY w Y   | dvr|j        dk    sJ ‚| dk    r·t          |j        t          j	        |j        ¦  «        ¦  «         t          | 
                    |¦  «        t          j        |j        d         |j        ¬	¦  «        ¦  «         t          |                     |¦  «        t          j        |j        d         dfd
¬	¦  «        ¦  «         |                     ||¦  «        dk     sJ ‚d S )NTr­  r4   rŸ  r   rm  )r1   r0   r,   )r;   Ú
fill_valuer]   r»  )r   r%   r   r   r<   r  r   r´   r9   Ú
zeros_liker»   r±  r;   rµ   r?   re   )rx   rD   rE   rC   s       rK   Útest_zero_max_iterrÕ  	  s¥  € õ  Ð%Ñ%Ô%�D€A€qØ	ˆQŠ€AÝ	Õ"4Ð	5Ñ	5Ô	5ð Fð FÝ ¨¸Ð;Ñ;Ô;×?Ò?ÀÀ1ÑEÔEˆðFð Fð Fñ Fô Fð Fð Fð Fð Fð Fð Føøøð Fð Fð Fð Fà�_Ð$Ð$àŒ{˜aÒÐÐÐà�ÒÐå˜œ	¥2¤=°´Ñ#;Ô#;Ñ<Ô<Ð<ÝØ×!Ò! !Ñ$Ô$ÝŒG˜!œ' !œ*°´Ð@Ñ@Ô@ñ	
ô 	
ð 	
õ 	Ø×Ò˜aÑ Ô ÝŒG˜1œ7 1œ: q˜/°cÐ:Ñ:Ô:ñ	
ô 	
ð 	
ð �9Š9�Q˜‰?Œ?˜SÒ Ð Ð Ð Ð Ð s   ¯&A!Á!A%Á(A%c                  ó°  — t          dd¬¦  «        \  } }t          ¦   «         }d}t          d¬¦  «        5  ddi}t          j        t
          |¬	¦  «        5   |j        | |fi |¤Ž d
d
d
¦  «         n# 1 swxY w Y   t          j        t
          |¬	¦  «        5   |j        | |fi |¤Ž d
d
d
¦  «         n# 1 swxY w Y   d
d
d
¦  «         d
S # 1 swxY w Y   d
S )z‰Test that the right error message is raised when metadata params
    are passed while not supported when `enable_metadata_routing=False`.r‡   r   r  z1is only supported if enable_metadata_routing=TrueFrÁ  Úextra_paramr  rz   N)r   r   r   r€   r¤   r¥   r<   re   )rD   rE   r  r¦   r3  s        rK   Ú5test_passing_params_without_enabling_metadata_routingrØ  !	  s·  € õ ¨¸!Ð<Ñ<Ô<�D€A€qÝ Ñ"Ô"€EØ
=€Cå	°Ð	6Ñ	6Ô	6ð (ð (Ø Ð%ˆåŒ]�:¨SÐ1Ñ1Ô1ð 	&ð 	&ØˆEŒI�a˜Ð%Ð%˜fÐ%Ð%Ð%ð	&ð 	&ð 	&ñ 	&ô 	&ð 	&ð 	&ð 	&ð 	&ð 	&ð 	&øøøð 	&ð 	&ð 	&ð 	&õ Œ]�:¨SÐ1Ñ1Ô1ð 	(ð 	(ØˆEŒK˜˜1Ð'Ð' Ð'Ð'Ð'ð	(ð 	(ð 	(ñ 	(ô 	(ð 	(ð 	(ð 	(ð 	(ð 	(ð 	(øøøð 	(ð 	(ð 	(ð 	(ð(ð (ð (ñ (ô (ð (ð (ð (ð (ð (ð (ð (øøøð (ð (ð (ð (ð (ð (sY   µ CÁA1Á%CÁ1A5	Á5CÁ8A5	Á9CÂB3Â'CÂ3B7	Â7CÂ:B7	Â;CÃCÃCc                  ó,  — t          ddd¬¦  «        \  } }t          d¬¦  «        }d}t          j        t          |¬¦  «        5  |                     | |¦  «         d	d	d	¦  «         n# 1 swxY w Y   t          d¬¦  «        }t          j        t          |¬¦  «        5  |                     | |¦  «         d	d	d	¦  «         n# 1 swxY w Y   t          d
dd¬¦  «        \  } }t          d¬¦  «        }d}t          j        t          |¬¦  «        5  |                     | |¦  «         d	d	d	¦  «         n# 1 swxY w Y   t          d¬¦  «        }t          j        t          |¬¦  «        5  |                     | |¦  «         d	d	d	¦  «         d	S # 1 swxY w Y   d	S )z)Check `multi_class` parameter deprecated.rm   r  r'  )rH   rF   r(  r‹   r  z'multi_class' was deprecatedrz   Nr4   rœ   z-'multi_class' was deprecated.*binary problems)r   r   r€   r�   ÚFutureWarningr<   r   )rD   rE   rt   r¦   ÚlrCVs        rK   Útest_multi_class_deprecatedrÜ  3	  s}  € å¨°bÈÐJÑJÔJ�D€A€qÝ	¨Ð	.Ñ	.Ô	.€BØ
(€CÝ	Œ•m¨3Ð	/Ñ	/Ô	/ð ð Ø
�Šˆq�!‰Œˆðð ð ñ ô ð ð ð ð ð ð øøøð ð ð ð õ  ¨EÐ2Ñ2Ô2€DÝ	Œ•m¨3Ð	/Ñ	/Ô	/ð ð Ø�Š��A‰Œˆðð ð ñ ô ð ð ð ð ð ð øøøð ð ð ð õ ¨°bÈÐJÑJÔJ�D€A€qÝ	¨Ð	6Ñ	6Ô	6€BØ
9€CÝ	Œ•m¨3Ð	/Ñ	/Ô	/ð ð Ø
�Šˆq�!‰Œˆðð ð ñ ô ð ð ð ð ð ð øøøð ð ð ð õ  ¨MÐ:Ñ:Ô:€DÝ	Œ•m¨3Ð	/Ñ	/Ô	/ð ð Ø�Š��A‰Œˆðð ð ñ ô ð ð ð ð ð ð ð øøøð ð ð ð ð ð sH   ÁA&Á&A*Á-A*ÂB?Â?CÃCÄD/Ä/D3Ä6D3Å%F	Æ	FÆFc                 óL  — t          dd| ¬¦  «        \  }}d}t          d|¬¦  «        }t          j        ¦   «         5  t          j        d¦  «         |                     ||¦  «         |j        d         }d d d ¦  «         n# 1 swxY w Y   |d	k    sJ ‚t          d
|¬¦  «        }t          t          ¬¦  «        5  |                     ||¦  «         |j        d         }d d d ¦  «         n# 1 swxY w Y   ||k    sJ ‚t          d
||d	z
  ¬¦  «        }t          t          ¬¦  «        5  t          j
        t          d¬¦  «        5  |                     ||¦  «         |j        d         }	d d d ¦  «         n# 1 swxY w Y   d d d ¦  «         n# 1 swxY w Y   |	|j        d	z
  k    sJ ‚d S )Nr‡   r  rD  gêŒ 9Y>)Fr,   )rx   rQ   r¾  r   r3   r/   rŸ  )rx   rQ   r¯   rÿ   rz   )r   r   r“   r”   r•   r<   r  r%   r	   r€   r�   r   r¯   )
r¾   rD   rE   rQ   Úlr_lbfgsÚn_iter_lbfgsÚlr_ncÚ	n_iter_ncÚlr_nc_limitedÚn_iter_nc_limiteds
             rK   Ú&test_newton_cholesky_fallback_to_lbfgsrä  K	  sÎ  € õ Ø Ð2Dðñ ô �D€A€qð 	€Aõ "¨°AÐ6Ñ6Ô6€HÝ	Ô	 Ñ	"Ô	"ð +ð +ÝÔ˜gÑ&Ô&Ð&Ø�Š�Q˜ÑÔÐØÔ'¨Ô*ˆð+ð +ð +ñ +ô +ð +ð +ð +ð +ð +ð +øøøð +ð +ð +ð +ð
 ˜1ÒÐÐÐõ Ð&7¸1Ð=Ñ=Ô=€EÝ	¥-Ð	0Ñ	0Ô	0ð %ð %Ø�	Š	�!�Q‰ŒˆØ”M !Ô$ˆ	ð%ð %ð %ñ %ô %ð %ð %ð %ð %ð %ð %øøøð %ð %ð %ð %ð ˜Ò$Ð$Ð$Ð$õ 'Ø  A°¸qÑ0@ðñ ô €Mõ 
¥-Ð	0Ñ	0Ô	0ð 9ð 9ÝŒ\Õ,Ð4NÐOÑOÔOð 	9ð 	9Ø×Ò˜a Ñ#Ô#Ð#Ø -Ô 5°aÔ 8Ðð	9ð 	9ð 	9ñ 	9ô 	9ð 	9ð 	9ð 	9ð 	9ð 	9ð 	9øøøð 	9ð 	9ð 	9ð 	9ð9ð 9ð 9ñ 9ô 9ð 9ð 9ð 9ð 9ð 9ð 9øøøð 9ð 9ð 9ð 9ð
  Ô 6¸Ñ :Ò:Ð:Ð:Ð:Ð:Ð:sY   ¼8B Â BÂBÂ9$C)Ã)C-Ã0C-Ä&F	Å$E2Å&F	Å2E6	Å6F	Å9E6	Å:F	Æ	FÆF)™r`  r)  r“   Ú	functoolsr   rw  r9   r€   Únumpy.testingr   r   r   r   Úscipyr   Úscipy.linalgr	   r
   Úsklearnr   Úsklearn._lossr   Úsklearn.baser   Úsklearn.datasetsr   r   r   Úsklearn.exceptionsr   Úsklearn.linear_modelr   Úsklearn.linear_model._logisticr   ÚLogisticRegressionDefaultr   ÚLogisticRegressionCVDefaultr   r   Úsklearn.metricsr   r   Úsklearn.model_selectionr   r   r   r   r   Úsklearn.multiclassr   Úsklearn.preprocessingr   r    r!   Úsklearn.svmr"   Úsklearn.utilsr#   r$   Úsklearn.utils._testingr%   r&   Úsklearn.utils.fixesr'   r(   r)   ÚmarkÚfilterwarningsÚ
pytestmarkr_  rD   rT   r‰   r|   rL   ÚparametrizerV   rv   r…   rŠ   r8   r}   r˜   r§   rª   r¸   rÃ   rÏ   rÚ   rÝ   ræ   rû   r  r  r  r7  rB  rG  rV  re  ru  r™  r£  rÀ  rÆ  rÌ  rÐ  rÝ  rç  ré  rî  rð  rò  rý  r  r  r  r.  r  r  r>  rt  r  r%  r7  r=  rG  rM  rY  ró   ra  rk  rm  rq  rt  rv  rz  r}  r�  r“  r   r¨  r«  r±  r¹  r¼  rÀ  rÏ  rÑ  rÕ  rØ  rÜ  rä  rk   rM   rK   ú<module>rþ     s  ðØ Ð Ð Ð Ø 	€	€	€	Ø €€€Ø Ð Ð Ð Ð Ð à Ð Ð Ð Ø €€€ðð ð ð ð ð ð ð ð ð ð ð ð Ð Ð Ð Ð Ð Ø +Ð +Ð +Ð +Ð +Ð +Ð +Ð +à "Ð "Ð "Ð "Ð "Ð "Ø -Ð -Ð -Ð -Ð -Ð -Ø Ð Ð Ð Ð Ð Ø QÐ QÐ QÐ QÐ QÐ QÐ QÐ QÐ QÐ QØ 1Ð 1Ð 1Ð 1Ð 1Ð 1Ø .Ð .Ð .Ð .Ð .Ð .ðð ð ð ð ð ðð ð ð ð ð ðð ð ð ð ð ð ð ð 1Ð 0Ð 0Ð 0Ð 0Ð 0Ð 0Ð 0ðð ð ð ð ð ð ð ð ð ð ð ð ð ð 3Ð 2Ð 2Ð 2Ð 2Ð 2Ø EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EÐ EØ  Ð  Ð  Ð  Ð  Ð  Ø 7Ð 7Ð 7Ð 7Ð 7Ð 7Ð 7Ð 7Ø GÐ GÐ GÐ GÐ GÐ GÐ GÐ GØ IÐ IÐ IÐ IÐ IÐ IÐ IÐ IÐ IÐ IàŒ[×'Ò'Ø<ñô €
ð �WÐ6ÀQÐGÑGÔGÐ Ø�wÐ:ÈÐKÑKÔKÐ ð P€Øˆ!€Wˆq�!ˆf�q˜!�fÐ€Ø€Y€Y€Ø€Y€Y€Ø€y�{„{€ð8ð 8ð 8ð$ „×Ò˜¨.Ñ9Ô9ðð ñ :Ô9ðð"ð "ð "ðB ð"ð "ñ Ôð"ð „×Ò˜¨.Ñ9Ô9ðFð Fñ :Ô9ðFð „×ÒÐSÑTÔTØ„×ÒØ	àÐ˜S˜S ¤™^œ^°KÈUÐSÑSÔSØÐ˜S˜S ¤™^œ^°GÐ<Ñ<Ô<ØÐ˜S˜S ¤™^œ^°KÐ@Ñ@Ô@ØÐØˆc�$”)‰nŒn U°À%ÐVXð	
ñ 	
ô 	
ð 	ÐØˆc�$”)‰nŒnØØØØð	
ñ 	
ô 	
ð 	Ð˜S˜S ¤™^œ^Ð4EÐFÑFÔFðñô ð&*ð *ñ'ô ñ UÔTð(*ð: „×ÒÐSÑTÔTØ„×Ò˜Ð 2Ð4HÐIÑJÔJð%ð %ñ KÔJñ UÔTð%ðP „×Ò˜Ð 2Ð4HÐIÑJÔJð@ð @ñ KÔJð@ð „×ÒÐSÑTÔTØ„×Ò˜Ð#HÐ#HÐ#HÑIÔIð)ð )ñ JÔIñ UÔTð)ð2 „×ÒÐSÑTÔTð/ð /ñ UÔTð/ð* „×Ò˜¨.Ñ9Ô9ð2ð 2ñ :Ô9ð2ð0<ð <ð <ð(;ð ;ð ;ðð ð ð;
ð ;
ð ;
ð|?ð ?ð ?ð,8ð 8ð 8ðB0ð 0ð 0ð6 „×ÒØ"à	�b�TÐØ	�x Ð-Ð.ð 
�˜+Ð&Ð'Ø	˜"˜ÐØ	�H˜kÐ*Ð+ðñô ð 
ð  
ñô ð 
ðF&Ið &Ið &IðR „×Ò˜¨.Ñ9Ô9ðð ñ :Ô9ðð  „×ÒÐSÑTÔTð?-ð ?-ñ UÔTð?-ðD
ð 
ð 
ð$ „×ÒÐSÑTÔTØ„×Ò˜¨5°$¨-Ñ8Ô8ð ð  ñ 9Ô8ñ UÔTð ðF „×Ò˜¨5°$¨-Ñ8Ô8ðDð Dñ 9Ô8ðDðN „×Ò˜¨°Ð$4Ð$4¸#À#È#Ð6NÐ6NÐ#OÑPÔPØ„×Ò˜¨(°JÐ)?Ñ@Ô@ð+
ð +
ñ AÔ@ñ QÔPð+
ð\ „×Ò˜Ð$4Ñ5Ô5Ø„×ÒØÐSñô ð@Mð @Mñô ñ 6Ô5ð@MðF „×ÒØÐFñô ðAð Añô ðAð<8<ð 8<ð 8<ðvð ð ð „×Ò˜¨;¨;¨-¸.Ñ*HÑIÔIð#Eð #Eñ JÔIð#EðL8Jð 8Jð 8Jðv4ð 4ð 4ð „×Ò˜¨.Ñ9Ô9ð!ð !ñ :Ô9ð!ð „×Ò˜¨.Ñ9Ô9ð!ð !ñ :Ô9ð!ð!ð !ð !ð!Bð !Bð !BðH „×Ò˜¨.Ñ9Ô9ð/Bð /Bñ :Ô9ð/Bðd „×Ò˜¨¨Ñ-Ô-Ø„×Ò˜ T¨4 LÑ1Ô1ð5ð 5ñ 2Ô1ñ .Ô-ð5ð0+ð +ð +ð. „×ÒÐSÑTÔTØ„×Ò˜ Y R¤Y¨q°!¡_¤_Ñ5Ô5Ø„×Ò˜¨°Ð(>Ñ?Ô?Ø„×ÒØðð ð ñô ð"%ð %ñ#ô ñ @Ô?ñ 6Ô5ñ UÔTð(%ð0 „×ÒÐSÑTÔTØ„×Ò˜ 7Ñ+Ô+ð.8ð .8ñ ,Ô+ñ UÔTð.8ðb „×ÒØˆfˆf�S�S˜‘\”\ C C¨Ð6GÐ(HÑ$IÔ$IÑIÑJÔJñô ð „×Ò˜ }Ñ5Ô5Ø„×Ò˜¨-Ñ8Ô8ð#ð #ñ 9Ô8ñ 6Ô5ñô ð
#ð< „×Ò˜¨.Ñ9Ô9ð*Jð *Jñ :Ô9ð*Jð\ „×ÒÐSÑTÔTØ„×Ò˜¨°Ð(>Ñ?Ô?Ø„×ÒØÐCÐCÐCñô ð „×Ò˜¨5°$¨-Ñ8Ô8Ø„×Ò˜¨.Ñ9Ô9ðE@ð E@ñ :Ô9ñ 9Ô8ñô ñ @Ô?ñ UÔTðE@ðP:ð :ð :ð"Cð Cð Cð8 „×Ò˜ÐAÐAÐAÑBÔBØ„×ÒÐ,¨y¸)Ð.DÑEÔEð@ð @ñ FÔEñ CÔBð@ð, „×Ò˜Ð2Ð2Ð2Ñ3Ô3ðDð Dñ 4Ô3ðDð8 „×Ò˜˜k˜bœk¨"¨a°Ñ3Ô3Ñ4Ô4Ø„×Ò˜ _ _ _Ñ5Ô5ð&;ð &;ñ 6Ô5ñ 5Ô4ð&;ðR „×Ò˜ fÑ-Ô-ð#.ð #.ñ .Ô-ð#.ðP „×ÒÐSÑTÔTð*Fð *Fñ UÔTð*Fð\ „×ÒÐSÑTÔTØ„×Ò˜Ð$8Ñ9Ô9Ø„×Ò˜Ð(FÑGÔGð 7ð  7ñ HÔGñ :Ô9ñ UÔTð 7ðL „×ÒÐSÑTÔTð(Oð (Oñ UÔTð(OðVQð Qð Qð „×Ò˜˜k˜bœk¨"¨a°Ñ3Ô3Ñ4Ô4Ø„×Ò˜ _ _ _Ñ5Ô5ð%?ð %?ñ 6Ô5ñ 5Ô4ð%?ðPAð Að AðB „×ÒÐSÑTÔTØ„×ÒØ	àÐ¨°CÐ8Ñ8Ô8ØÐ¨!°°a¸TÈCÐPÑPÔPðð 	'Ð&ð ñ ô ð „×Ò˜ 7Ñ+Ô+ð'
ð '
ñ ,Ô+ñô ñ UÔTð'
ðT „×Ò˜ 6 6¨#¨#¨g©,¬,¸¸¸k¸]Ñ9KÔ9KÑ*KÑ#LÔ#LÑMÔMð1ð 1ñ NÔMð1ð* „×ÒØà %°À$ÐGÐGØ $¨uÀ$ÐGÐGØ %°À4ÐHÐHðñô ð*<ð *<ñô ð*<ðZ(Hð (Hð (HðX „×ÒÐSÑTÔTØ„×Ò˜Ð#LÐ#LÐ#LÑMÔMØ„×Ò˜¨5°$¨-Ñ8Ô8ð&Ið &Iñ 9Ô8ñ NÔMñ UÔTð&IðT „×ÒÐSÑTÔTØ„×Ò˜Ð(FÐ(FÐ(FÑGÔGØ„×Ò˜¨c°d¸sÐ*CÐ*CÀZÐ)PÑQÔQð!ð !ñ RÔQñ HÔGñ UÔTð!ð „×Ò˜ 7Ñ+Ô+Ø„×Ò˜¨.Ñ9Ô9ð4ð 4ñ :Ô9ñ ,Ô+ð4ð&Ið Ið Iðð ð ð2 €¨Ð-Ñ-Ô-ð-ð -ñ .Ô-ð-ð<&ð &ð &ð: „×Ò˜ 7Ñ+Ô+ð!ð !ñ ,Ô+ð!ð2(ð (ð (ð$ð ð ð0';ð ';ð ';ð ';ð ';rM   