§
    ¼¸j¥F ã                   óÖ  — d dl Z d dlZd dlZd dlZd dlmZ d dlmZm	Z	 d dl
mZ d dlmZ d dlmZ d dlmZmZmZmZmZmZmZmZmZmZmZmZmZ d dlmZm Z  d d	l!m"Z" d d
l#m$Z$ d dl%m&Z& d dl'm(Z(m)Z)m*Z*m+Z+m,Z, d dl-m.Z. d dl/m0Z0 d dl1m2Z2m3Z3m4Z4 eeegZ5dêd„Z6d„ Z7d„ Z8d„ Z9d„ Z:ej;         <                    dddg¦  «        d„ ¦   «         Z=d„ Z>d„ Z?d„ Z@d„ ZAd„ ZBd„ ZCd„ ZDd „ ZEd!„ ZFd"„ ZGd#„ ZHej;         <                    d$ ejI        g d%¢¦  «        g d&¢f ejI        g d%¢¦  «        dfg d'¢g d(¢fg d'¢dfg¦  «        d)„ ¦   «         ZJej;         <                    d$ ejI        g d*¢¦  «        g d&¢f ejI        g d+¢¦  «        g d,¢fg¦  «        d-„ ¦   «         ZKej;         <                    d$ ejI        g d.¢¦  «        dfg d/¢dfg d.¢g d&¢fg d/¢g d(¢fg¦  «        d0„ ¦   «         ZLej;         <                    d1g d2¢¦  «        d3„ ¦   «         ZMd4„ ZNej;         <                    d5d6 ejI        g d.¢¦  «        g d7¢fd6 ejI        g d/¢¦  «        g d8¢fd9 ejI        g d*¢¦  «        dfd: ejI        g d/¢¦  «        g d;¢fd< ejI        g d.¢¦  «        d d=gfd< ejI        g d/¢¦  «        d>d?gfd@ ejI        g d.¢¦  «        g dA¢fd@ ejI        g d/¢¦  «        g dB¢fdC ejI        g dD¢¦  «        g d(¢fdC ejI        g dB¢¦  «        g d(¢fdC ejI        g dA¢¦  «        g d&¢fg¦  «        ej;         <                    dEdFdGg¦  «        dH„ ¦   «         ¦   «         ZOej;         <                    dIdJdKdFdLœfdMdKdGdLœfdNdFg dOœfdPdFdQdRœfdSi fg¦  «        dT„ ¦   «         ZPdU„ ZQej;         <                    dVe5¦  «        dW„ ¦   «         ZRej;         <                    dVe5¦  «        dX„ ¦   «         ZSej;         T                    dY¦  «        ej;         <                    dVeeg¦  «        ej;         <                    dZd[d\g¦  «        d]„ ¦   «         ¦   «         ¦   «         ZUej;         <                    dVe5¦  «        d^„ ¦   «         ZVej;         <                    dddg¦  «        d_„ ¦   «         ZWd`„ ZXej;         <                    dddg¦  «        da„ ¦   «         ZYdb„ ZZdc„ Z[dd„ Z\de„ Z]df„ Z^dg„ Z_ej;         <                    dhg di¢g dj¢d gd gfg di¢g dk¢d gd gfg di¢g dl¢d gd gfg di¢g dm¢d gd gfg dn¢g dj¢dQgd gfg dn¢g dk¢dQgd gfg dn¢g dl¢dQgd gfg dn¢g dm¢dQgd gfg do¢g dj¢dpgd gfg do¢g dk¢d gd gfg do¢g dl¢d gd gfg do¢g dm¢d gd gfg dq¢g dj¢g dr¢g do¢fg dq¢g dk¢g dr¢g do¢fg dq¢g dl¢g dr¢g do¢fg dq¢g dm¢g dr¢g do¢fg ds¢g dj¢g dt¢g du¢fg ds¢g dk¢g dt¢g du¢fg ds¢g dl¢g dt¢g du¢fg ds¢g dm¢g dt¢g du¢fg¦  «        dv„ ¦   «         Z`ej;         <                    dhd=d gdQdQgd=gd gfd d=gdQdQgd=gd gfg di¢g dw¢dQgd gfg dn¢g dw¢dQgd gfg do¢g dw¢d gd gfg dq¢g dw¢d=gd gfg ds¢g dw¢d=gd gfg dt¢g dw¢d=gd gfg¦  «        dx„ ¦   «         Zady„ Zbej;         <                    dzg d{¢¦  «        d|„ ¦   «         Zcej;         <                    d}g d~¢g d¢g d€¢g d�¢g d‚¢g¦  «        dƒ„ ¦   «         Zdej;         <                    d„d d=gg dj¢d…fg do¢d dQgd…fg d†¢g dj¢d‡fg dˆ¢g dj¢d‡fg d‰¢g dŠ¢d‹fg¦  «        dŒ„ ¦   «         Zed�„ ZfdŽ„ Zgd�„ Zhd�„ Zid‘„ Zjd’„ Zkd“„ Zl	 dëd–„Zmej;         <                    d—egekejehf¦  «        ej;         <                    d˜eelf¦  «        d™„ ¦   «         ¦   «         Zndš„ Zoej;         <                    d›dœ¦  «        ej;         <                    d�dž¦  «        ej;         <                    dŸ epd=¦  «        ¦  «        d „ ¦   «         ¦   «         ¦   «         Zqd¡„ Zrd¢„ Zsd£„ Ztej;         <                    d¤g ds¢g dw¢fg ds¢g dw¢gfg ds¢gg dw¢fg¦  «        d¥„ ¦   «         Zud¦„ Zvej;         <                    d§e0¦  «        d¨„ ¦   «         Zwd©„ Zxdª„ Zyd«„ Zzd¬„ Z{d­„ Z|d®„ Z}d¯„ Z~d°„ Zej;         <                    d±ddg¦  «        d²„ ¦   «         Z€d³„ Z�d´„ Z‚dµ„ Zƒd¶„ Z„ej;         <                    d·g dA¢d=d¸fg dA¢d¹dQfg dA¢dºd»fg¦  «        d¼„ ¦   «         Z…ej;         <                    d½ ejI        g d¾¢¦  «        d=d=f ejI        g d¿¢¦  «        d=dQf ejI        g d¿¢¦  «        d¹d=f ejI        g dÀ¢¦  «        d=d=f ejI        g dÁ¢¦  «        d=dQf ejI        g dÁ¢¦  «        d¹d=fg¦  «        dÂ„ ¦   «         Z†ej;         <                    dÃ ejI        g dÄ¢¦  «        d»g dA¢f ejI        g dÅ¢¦  «        dQg dA¢f ejI        g dÆ¢¦  «        dQg dA¢f ejI        g dÇ¢¦  «        d»g dÈ¢fg¦  «        ej;         <                    dÉddg¦  «        dÊ„ ¦   «         ¦   «         Z‡dË„ Zˆej;         <                    d·g dA¢d=d¸fg dA¢d¹dQfg dA¢dºd=fg¦  «        dÌ„ ¦   «         Z‰ej;         <                    dÍg dA¢dÎfg dA¢d”fg¦  «        dÏ„ ¦   «         ZŠej;         <                    dÐg dÑ¢g dÒ¢g dÓ¢g dÔ¢g dÕ¢gddÖfg dA¢g dÒ¢g dÓ¢g dÔ¢g dÕ¢gdd×fg dØ¢g dÒ¢g dÓ¢g dÔ¢g dÕ¢gg d/¢dÙfg dØ¢g dÒ¢g dÓ¢g dÔ¢g dÕ¢gg d;¢dÚfg dÛ¢g dÒ¢g dÓ¢g dÔ¢g dÕ¢gg dA¢dÜfg dÛ¢g dÒ¢g dÓ¢g dÔ¢g dÕ¢gg dÝ¢dÞfd d=gg dß¢g dà¢gddáfg¦  «        dâ„ ¦   «         Z‹ej;         <                    d§e0¦  «        dã„ ¦   «         ZŒej;         <                    däeeeeg¦  «        ej;         <                    dåg dæ¢¦  «        dç„ ¦   «         ¦   «         Z�dè„ ZŽdé„ Z�dS )ìé    N)Ústats)ÚdatasetsÚsvm)Úmake_multilabel_classification)ÚUndefinedMetricWarning)ÚLogisticRegression)Úaccuracy_scoreÚaucÚaverage_precision_scoreÚcoverage_errorÚ	dcg_scoreÚ	det_curveÚ%label_ranking_average_precision_scoreÚlabel_ranking_lossÚ
ndcg_scoreÚprecision_recall_curveÚroc_auc_scoreÚ	roc_curveÚtop_k_accuracy_score)Ú_dcg_sample_scoresÚ_ndcg_sample_scores)Útrain_test_split)Úlabel_binarize)Ú_sparse_random_matrix)Ú_convert_containerÚassert_allcloseÚassert_almost_equalÚassert_array_almost_equalÚassert_array_equal)Úsoftmax)ÚCSR_CONTAINERS)Úcheck_arrayÚcheck_consistent_lengthÚcheck_random_stateFc                 óü  — | €t          j        ¦   «         } | j        }| j        }|r||dk              ||dk              }}|j        \  }}t          j        |¦  «        }t          d¦  «        }|                     |¦  «         ||         ||         }}t          |dz  ¦  «        }t
          j
                             d¦  «        }t
          j        ||                     |d|z  ¦  «        f         }t          j        ddd¬¦  «        }	|	                     |d|…         |d|…         ¦  «                             ||d…         ¦  «        }
|r|
dd…d	f         }
|	                     ||d…         ¦  «        }||d…         }|||
fS )
z¼Make some classification predictions on a toy dataset using a SVC

    If binary is True restrict to a binary classification problem instead of a
    multiclass classification problem
    Né   é%   r   éÈ   ÚlinearT)ÚkernelÚprobabilityÚrandom_stateé   )r   Ú	load_irisÚdataÚtargetÚshapeÚnpÚaranger$   ÚshuffleÚintÚrandomÚRandomStateÚc_Úrandnr   ÚSVCÚfitÚpredict_probaÚpredict)ÚdatasetÚbinaryÚXÚyÚ	n_samplesÚ
n_featuresÚpÚrngÚhalfÚclfÚy_scoreÚy_predÚy_trues                úr/root/private/project/pallet_detection_v2/.venv/lib/python3.11/site-packages/sklearn/metrics/tests/test_ranking.pyÚmake_predictionrL   8   sy  € ð €åÔ$Ñ&Ô&ˆàŒ€AØŒ€Aàð "à��Q’Œx˜˜1˜qš5œˆ1ˆàœGÑ€IˆzÝ
Œ	�)ÑÔ€Aå
˜RÑ
 Ô
 €CØ‡K‚K��N„N€NØˆQŒ4��1”€q€AÝˆy˜1‰}ÑÔ€Dõ Œ)×
Ò
 Ñ
"Ô
"€CÝ
Œˆa�—’˜9 c¨JÑ&6Ñ7Ô7Ð7Ô8€Aõ Œ'˜¨tÀ!Ð
DÑ
DÔ
D€CØ�gŠg�a˜˜˜”h  % 4 %¤Ñ)Ô)×7Ò7¸¸$¸%¸%¼ÑAÔA€Gàð  ð ˜!˜!˜!˜Q˜$”-ˆà�[Š[˜˜4˜5˜5œÑ"Ô"€FØˆtˆuˆuŒX€FØ�6˜7Ð"Ð"ó    c                 óN  — t          j        | ¦  «        d         }|| |k             }|| |k             }|                     dd¦  «        |                     dd¦  «        z
  }t          j        |dk    ¦  «        }|t	          t          |¦  «        t          |¦  «        z  ¦  «        z  S )zKAlternative implementation to check for correctness of
    `roc_auc_score`.r-   éÿÿÿÿr   )r2   ÚuniqueÚreshapeÚsumÚfloatÚlen)rJ   rH   Ú	pos_labelÚposÚnegÚdiff_matrixÚ	n_corrects          rK   Ú_aucrZ   h   s•   € õ ”	˜&Ñ!Ô! !Ô$€Ið �&˜IÒ%Ô
&€CØ
�&˜IÒ%Ô
&€CØ—+’+˜a Ñ$Ô$ s§{¢{°2°qÑ'9Ô'9Ñ9€KÝ”�{ Q’Ñ'Ô'€Ià•u�S ™XœX­¨C©¬Ñ0Ñ1Ô1Ñ1Ð1rM   c                 ó�  — t          j        | ¦  «        d         }t          j        | |k    ¦  «        }t          j        |¦  «        ddd…         }||         }| |         } d}t	          t          |¦  «        ¦  «        D ]D}| |         |k    r6d}t	          d|dz   ¦  «        D ]}| |         |k    r|dz  }Œ||dz   z  }||z  }ŒE||z  S )a>  Alternative implementation to check for correctness of
    `average_precision_score`.

    Note that this implementation fails on some edge cases.
    For example, for constant predictions e.g. [0.5, 0.5, 0.5],
    y_true = [1, 0, 0] returns an average precision of 0.33...
    but y_true = [0, 0, 1] returns 1.0.
    r-   NrO   r   ç      ð?)r2   rP   rR   ÚargsortÚrangerT   )	rJ   rH   rU   Ún_posÚorderÚscoreÚiÚprecÚjs	            rK   Ú_average_precisionre   w   så   € õ ”	˜&Ñ!Ô! !Ô$€IÝŒF�6˜YÒ&Ñ'Ô'€EÝŒJ�wÑÔ   " Ô%€EØ�eŒn€GØ�EŒ]€Fà€EÝ•3�w‘<”<Ñ Ô ð 	ð 	ˆØ�!Œ9˜	Ò!Ð!ð ˆDÝ˜1˜a !™e‘_”_ð  ð  �Ø˜!”9 	Ò)Ð)Ø˜C‘K�DøØ�A˜‘G‰OˆDØ�T‰MˆEøà�5‰=ÐrM   c                 ó"  — t          | |¦  «        \  }}}t          t          |¦  «        ¦  «        }t          t          |¦  «        ¦  «        }d}t          dt	          |¦  «        ¦  «        D ]"}|||         ||         ||dz
           z
  z  z  }Œ#|S )ao  A second alternative implementation of average precision that closely
    follows the Wikipedia article's definition (see References). This should
    give identical results as `average_precision_score` for all inputs.

    References
    ----------
    .. [1] `Wikipedia entry for the Average precision
       <https://en.wikipedia.org/wiki/Average_precision>`_
    r   r-   )r   ÚlistÚreversedr^   rT   )rJ   rH   Ú	precisionÚrecallÚ	thresholdÚaverage_precisionrb   s          rK   Ú_average_precision_slowrm   •   s™   € õ $:¸&À'Ñ#JÔ#JÑ €Iˆv�yÝ•X˜iÑ(Ô(Ñ)Ô)€IÝ•(˜6Ñ"Ô"Ñ#Ô#€FØÐÝ�1•c˜)‘n”nÑ%Ô%ð Hð HˆØ˜Y qœ\¨V°A¬Y¸ÀÀAÁ¼Ñ-FÑGÑGÐÐØÐrM   c                 ó˜   — d„ } || ||¦  «        \  }}t          ||¦  «        }d}|}d||z
  z  ||z   z  }	||z
  }
dd||	z
  |
|	z
  z  z   z  S )zcAlternative implementation to check for correctness of `roc_auc_score`
    with `max_fpr` set.
    c                 óX  — t          | |¦  «        \  }}}|||k             }t          j        ||¦  «        }|||k             }t          j        ||k    ¦  «        }|dz
  }	||	         ||         g}
||	         ||         g}t          j        |t          j        ||
|¦  «        ¦  «        }||fS )Nr-   )r   r2   ÚappendÚargmaxÚinterp)rJ   Ú	y_predictÚmax_fprÚfprÚtprÚ_Únew_fprÚnew_tprÚidx_outÚidx_inÚx_interpÚy_interps               rK   Ú_partial_rocz,_partial_roc_auc_score.<locals>._partial_roc­   s®   € Ý ¨	Ñ2Ô2‰ˆˆS�!Ø�c˜W’nÔ%ˆÝ”)˜G WÑ-Ô-ˆØ�c˜W’nÔ%ˆÝ”)˜C 'šMÑ*Ô*ˆØ˜1‘ˆØ˜”K  W¤Ð.ˆØ˜”K  W¤Ð.ˆÝ”)˜G¥R¤Y¨w¸À(Ñ%KÔ%KÑLÔLˆØ˜Ð!Ð!rM   r   ç      à?r-   )r
   )rJ   rs   rt   r~   rx   ry   Úpartial_aucÚfpr1Úfpr2Úmin_areaÚmax_areas              rK   Ú_partial_roc_auc_scorer…   ¨   s…   € ð

"ð 
"ð 
"ð $�| F¨I°wÑ?Ô?Ñ€GˆWÝ�g˜wÑ'Ô'€Kð €DØ€DØ�d˜T‘kÑ" d¨T¡kÑ2€HØ�d‰{€HØ�!�{ XÑ-°(¸XÑ2EÑFÑFÑGÐGrM   ÚdropTc                 óB  — t          d¬¦  «        \  }}}t          ||¦  «        }t          ||| ¬¦  «        \  }}}t          ||¦  «        }t	          ||d¬¦  «         t          |t          ||¦  «        ¦  «         |j        |j        k    sJ ‚|j        |j        k    sJ ‚d S )NT©r?   ©Údrop_intermediater&   ©Údecimal)rL   rZ   r   r
   r   r   r   r1   )	r†   rJ   rw   rH   Úexpected_aucru   rv   Ú
thresholdsÚroc_aucs	            rK   Útest_roc_curver�   Ä   s²   € õ )°Ð5Ñ5Ô5Ñ€FˆAˆwÝ˜ Ñ(Ô(€Lå$ V¨WÈÐMÑMÔMÑ€CˆˆjÝ�#�s‰mŒm€GÝ˜g |¸QÐ?Ñ?Ô?Ð?Ý˜¥¨v°wÑ!?Ô!?Ñ@Ô@Ð@ØŒ9˜œ	Ò!Ð!Ð!Ð!ØŒ9˜
Ô(Ò(Ð(Ð(Ð(Ð(Ð(rM   c                  ó\  — t           j                             d¦  «        } t          j        dgdz  dgdz  z   ¦  «        }|                      dd¬¦  «        }t          ||d¬¦  «        \  }}}|d         dk    sJ ‚|d	         dk    sJ ‚|j        |j        k    sJ ‚|j        |j        k    sJ ‚d S )
Nr   é2   r-   é   éd   ©ÚsizeTr‰   rO   )r2   r6   r7   ÚarrayÚrandintr   r1   )rE   rJ   rI   ru   rv   Úthrs         rK   Útest_roc_curve_end_pointsrš   Ò   sº   € õ Œ)×
Ò
 Ñ
"Ô
"€CÝŒX�q�c˜B‘h !  r¡Ñ)Ñ*Ô*€FØ�[Š[˜ ˆ[Ñ%Ô%€FÝ˜f fÀÐEÑEÔE�M€CˆˆcØˆqŒ6�QŠ;ˆ;ˆ;ˆ;ØˆrŒ7�aŠ<ˆ<ˆ<ˆ<ØŒ9˜œ	Ò!Ð!Ð!Ð!ØŒ9˜œ	Ò!Ð!Ð!Ð!Ð!Ð!rM   c                  ód  — t          d¬¦  «        \  } }}t          | |¦  «        \  }}}g }|D ]L}t          j        ||k    | z  ¦  «        }t          j        | ¦  «        }	|                     d|z  |	z  ¦  «         ŒMt          ||d¬¦  «         |j        |j        k    sJ ‚|j        |j        k    sJ ‚d S )NTrˆ   r\   r&   r‹   )rL   r   r2   rR   rp   r   r1   )
rJ   rw   rH   ru   rv   rŽ   Útpr_correctÚtÚtprD   s
             rK   Útest_roc_returns_consistencyrŸ   ß   sÓ   € õ )°Ð5Ñ5Ô5Ñ€FˆAˆwÝ$ V¨WÑ5Ô5Ñ€Cˆˆjð €KØð )ð )ˆÝŒV�W ’\ VÑ+Ñ,Ô,ˆÝŒF�6‰NŒNˆØ×Ò˜3 ™8 a™<Ñ(Ô(Ð(Ð(õ ˜c ;¸Ð:Ñ:Ô:Ð:ØŒ9˜œ	Ò!Ð!Ð!Ð!ØŒ9˜
Ô(Ò(Ð(Ð(Ð(Ð(Ð(rM   c                  ó²   — t          d¬¦  «        \  } }}t          j        t          ¦  «        5  t	          | |¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )NFrˆ   )rL   ÚpytestÚraisesÚ
ValueErrorr   )rJ   rw   rH   s      rK   Útest_roc_curve_multir¤   ò   s�   € å(°Ð6Ñ6Ô6Ñ€FˆAˆwå	Œ•zÑ	"Ô	"ð #ð #Ý�&˜'Ñ"Ô"Ð"ð#ð #ð #ñ #ô #ð #ð #ð #ð #ð #ð #ð #øøøð #ð #ð #ð #ð #ð #s   ®AÁAÁAc                  óè   — t          d¬¦  «        \  } }}t          | |dz
  ¦  «        \  }}}t          ||¦  «        }t          |dd¬¦  «         |j        |j        k    sJ ‚|j        |j        k    sJ ‚d S )NTrˆ   r   çÍÌÌÌÌÌì?r&   r‹   )rL   r   r
   r   r1   )rJ   rw   rH   ru   rv   rŽ   r�   s          rK   Útest_roc_curve_confidencer§   ú   s†   € å(°Ð5Ñ5Ô5Ñ€FˆAˆwå$ V¨W°s©]Ñ;Ô;Ñ€CˆˆjÝ�#�s‰mŒm€GÝ˜g t°QÐ7Ñ7Ô7Ð7ØŒ9˜œ	Ò!Ð!Ð!Ð!ØŒ9˜
Ô(Ò(Ð(Ð(Ð(Ð(Ð(rM   c                  ó®  — t          d¬¦  «        \  } }}t          j        | j        ¦  «        }t	          | |¦  «        \  }}}t          ||¦  «        }t          |dd¬¦  «         |j        |j        k    sJ ‚|j        |j        k    sJ ‚t          j        | j        ¦  «        }t	          | |¦  «        \  }}}t          ||¦  «        }t          |dd¬¦  «         |j        |j        k    sJ ‚|j        |j        k    sJ ‚t	          | |¦  «        \  }}}t          ||¦  «        }t          |dd¬¦  «         |j        |j        k    sJ ‚|j        |j        k    sJ ‚d S )NTrˆ   r   r&   r‹   gö(\�Âõè?)rL   r2   Úonesr1   r   r
   r   Úzeros)rJ   ÚpredrH   Útrivial_predru   rv   rŽ   r�   s           rK   Útest_roc_curve_hardr­     sp  € å+°4Ð8Ñ8Ô8Ñ€FˆD�'õ ”7˜6œ<Ñ(Ô(€LÝ$ V¨\Ñ:Ô:Ñ€CˆˆjÝ�#�s‰mŒm€GÝ˜g t°QÐ7Ñ7Ô7Ð7ØŒ9˜œ	Ò!Ð!Ð!Ð!ØŒ9˜
Ô(Ò(Ð(Ð(Ð(õ ”8˜FœLÑ)Ô)€LÝ$ V¨\Ñ:Ô:Ñ€CˆˆjÝ�#�s‰mŒm€GÝ˜g t°QÐ7Ñ7Ô7Ð7ØŒ9˜œ	Ò!Ð!Ð!Ð!ØŒ9˜
Ô(Ò(Ð(Ð(Ð(õ % V¨TÑ2Ô2Ñ€CˆˆjÝ�#�s‰mŒm€GÝ˜g t°QÐ7Ñ7Ô7Ð7ØŒ9˜œ	Ò!Ð!Ð!Ð!ØŒ9˜
Ô(Ò(Ð(Ð(Ð(Ð(Ð(rM   c                  óÆ  — g d¢} g d¢}d}t          j        t          |¬¦  «        5  t          | |¦  «        \  }}}d d d ¦  «         n# 1 swxY w Y   t	          |t          j        t          |¦  «        t
          j        ¦  «        ¦  «         |j	        |j	        k    sJ ‚|j	        |j	        k    sJ ‚d}t          j        t          |¬¦  «        5  t          d„ | D ¦   «         |¦  «        \  }}}d d d ¦  «         n# 1 swxY w Y   t	          |t          j        t          |¦  «        t
          j        ¦  «        ¦  «         |j	        |j	        k    sJ ‚|j	        |j	        k    sJ ‚d S )N)
r-   r-   r-   r-   r-   r-   r-   r-   r-   r-   )
r   r-   r   r-   r   r-   r   r-   r   r-   úINo negative samples in y_true, false positive value should be meaningless©ÚmatchúHNo positive samples in y_true, true positive value should be meaninglessc                 ó   — g | ]}d |z
  ‘ŒS )r-   © )Ú.0Úxs     rK   ú
<listcomp>z,test_roc_curve_one_label.<locals>.<listcomp>5  s   € Ð)@Ð)@Ð)@°A¨!¨a©%Ð)@Ð)@Ð)@rM   )
r¡   Úwarnsr   r   r   r2   ÚfullrT   Únanr1   )rJ   rI   Úexpected_messageru   rv   rŽ   s         rK   Útest_roc_curve_one_labelr¼   !  sþ  € Ø+Ð+Ð+€FØ+Ð+Ð+€Fð 	Tð õ 
ŒÕ,Ð4DÐ	EÑ	EÔ	Eð 9ð 9Ý(¨°Ñ8Ô8ÑˆˆS�*ð9ð 9ð 9ñ 9ô 9ð 9ð 9ð 9ð 9ð 9ð 9øøøð 9ð 9ð 9ð 9õ �s�BœG¥C¨
¡O¤OµR´VÑ<Ô<Ñ=Ô=Ð=ØŒ9˜œ	Ò!Ð!Ð!Ð!ØŒ9˜
Ô(Ò(Ð(Ð(Ð(ð 	Sð õ 
ŒÕ,Ð4DÐ	EÑ	EÔ	Eð Jð JÝ(Ð)@Ð)@¸Ð)@Ñ)@Ô)@À&ÑIÔIÑˆˆS�*ðJð Jð Jñ Jô Jð Jð Jð Jð Jð Jð Jøøøð Jð Jð Jð Jõ �s�BœG¥C¨
¡O¤OµR´VÑ<Ô<Ñ=Ô=Ð=ØŒ9˜œ	Ò!Ð!Ð!Ð!ØŒ9˜
Ô(Ò(Ð(Ð(Ð(Ð(Ð(s#   ¦AÁAÁAÃC8Ã8C<Ã?C<c                  óJ  — ddg} ddg}t          | |¦  «        \  }}}t          | |¦  «        }t          |g d¢¦  «         t          |g d¢¦  «         t          |d¦  «         ddg} ddg}t          | |¦  «        \  }}}t          | |¦  «        }t          |g d¢¦  «         t          |g d¢¦  «         t          |d¦  «         ddg} ddg}t          | |¦  «        \  }}}t          | |¦  «        }t          |ddg¦  «         t          |ddg¦  «         t          |d¦  «         ddg} ddg}t          | |¦  «        \  }}}t          | |¦  «        }t          |g d¢¦  «         t          |g d¢¦  «         t          |d¦  «         ddg} ddg}t          | |¦  «        \  }}}t          | |¦  «        }t          |ddg¦  «         t          |ddg¦  «         t          |d¦  «         ddg} dd	g}d
}t	          j        t          |¬¦  «        5  t          | |¦  «        \  }}}d d d ¦  «         n# 1 swxY w Y   t          |g d¢¦  «         t          |t          j        t          j        t          j        g¦  «         d}t	          j        t          |¬¦  «        5  t          | |¦  «        }d d d ¦  «         n# 1 swxY w Y   t          j
        |¦  «        sJ ‚ddg} dd	g}d}t	          j        t          |¬¦  «        5  t          | |¦  «        \  }}}d d d ¦  «         n# 1 swxY w Y   t          |t          j        t          j        t          j        g¦  «         t          |g d¢¦  «         d}t	          j        t          |¬¦  «        5  t          | |¦  «        }d d d ¦  «         n# 1 swxY w Y   t          j
        |¦  «        sJ ‚t          j        ddgddgg¦  «        } t          j        ddgddgg¦  «        }t	          j        t          |¬¦  «        5  t          | |d¬¦  «         d d d ¦  «         n# 1 swxY w Y   t	          j        t          |¬¦  «        5  t          | |d¬¦  «         d d d ¦  «         n# 1 swxY w Y   t          t          | |d¬¦  «        d¦  «         t          t          | |d¬¦  «        d¦  «         t          j        ddgddgg¦  «        } t          j        ddgddgg¦  «        }t	          j        t          |¬¦  «        5  t          | |d¬¦  «         d d d ¦  «         n# 1 swxY w Y   t	          j        t          |¬¦  «        5  t          | |d¬¦  «         d d d ¦  «         n# 1 swxY w Y   t          t          | |d¬¦  «        d¦  «         t          t          | |d¬¦  «        d¦  «         t          j        ddgddgg¦  «        } t          j        ddgddgg¦  «        }t          t          | |d¬¦  «        d¦  «         t          t          | |d¬¦  «        d¦  «         t          t          | |d¬¦  «        d¦  «         t          t          | |d¬¦  «        d¦  «         t          j        ddgddgg¦  «        } t          j        ddgddgg¦  «        }t          t          | |d¬¦  «        d¦  «         t          t          | |d¬¦  «        d¦  «         t          t          | |d¬¦  «        d¦  «         t          t          | |d¬¦  «        d¦  «         d S )Nr   r-   ©r   r   r-   ©r   r-   r-   r\   ç        r   ç      Ð?ç      è?r²   r°   ©rÀ   r   r\   úOOnly one class is present in y_true. ROC AUC score is not defined in that case.r¯   Úmacro©ÚaverageÚweightedÚsamplesÚmicro)r   r   r   r   r¡   r¸   r   r2   rº   ÚmathÚisnanr—   )rJ   rH   rv   ru   rw   r�   r»   r
   s           rK   Útest_roc_curve_toydatarÍ   <  sb	  € à�ˆV€FØ�!ˆf€GÝ˜F GÑ,Ô,�K€CˆˆaÝ˜F GÑ,Ô,€GÝ˜c 9 9 9Ñ-Ô-Ð-Ý˜c 9 9 9Ñ-Ô-Ð-Ý˜ Ñ%Ô%Ð%à�ˆV€FØ�!ˆf€GÝ˜F GÑ,Ô,�K€CˆˆaÝ˜F GÑ,Ô,€GÝ˜c 9 9 9Ñ-Ô-Ð-Ý˜c 9 9 9Ñ-Ô-Ð-Ý˜ Ñ%Ô%Ð%à�ˆV€FØ�!ˆf€GÝ˜F GÑ,Ô,�K€CˆˆaÝ˜F GÑ,Ô,€GÝ˜c A q 6Ñ*Ô*Ð*Ý˜c A q 6Ñ*Ô*Ð*Ý˜ Ñ%Ô%Ð%à�ˆV€FØ�!ˆf€GÝ˜F GÑ,Ô,�K€CˆˆaÝ˜F GÑ,Ô,€GÝ˜c 9 9 9Ñ-Ô-Ð-Ý˜c 9 9 9Ñ-Ô-Ð-Ý˜ Ñ%Ô%Ð%à�ˆV€FØ�Cˆj€GÝ˜F GÑ,Ô,�K€CˆˆaÝ˜F GÑ,Ô,€GÝ˜c A q 6Ñ*Ô*Ð*Ý˜c A q 6Ñ*Ô*Ð*Ý˜ Ñ%Ô%Ð%ð �ˆV€FØ�Tˆl€Gð 	Sð õ 
ŒÕ,Ð4DÐ	EÑ	EÔ	Eð 1ð 1Ý ¨Ñ0Ô0‰ˆˆS�!ð1ð 1ð 1ñ 1ô 1ð 1ð 1ð 1ð 1ð 1ð 1øøøð 1ð 1ð 1ð 1å˜c ? ? ?Ñ3Ô3Ð3Ý˜c¥B¤F­B¬FµB´FÐ#;Ñ<Ô<Ð<ð	5ð õ 
ŒÕ,Ð4DÐ	EÑ	EÔ	Eð -ð -Ý˜F GÑ,Ô,ˆð-ð -ð -ñ -ô -ð -ð -ð -ð -ð -ð -øøøð -ð -ð -ð -åŒ:�c‰?Œ?ÐÐˆ?ð �ˆV€FØ�Tˆl€Gð 	Tð õ 
ŒÕ,Ð4DÐ	EÑ	EÔ	Eð 1ð 1Ý ¨Ñ0Ô0‰ˆˆS�!ð1ð 1ð 1ñ 1ô 1ð 1ð 1ð 1ð 1ð 1ð 1øøøð 1ð 1ð 1ð 1å˜c¥B¤F­B¬FµB´FÐ#;Ñ<Ô<Ð<Ý˜c ? ? ?Ñ3Ô3Ð3ð	5ð õ 
ŒÕ,Ð4DÐ	EÑ	EÔ	Eð -ð -Ý˜F GÑ,Ô,ˆð-ð -ð -ñ -ô -ð -ð -ð -ð -ð -ð -øøøð -ð -ð -ð -åŒ:�c‰?Œ?ÐÐˆ?õ ŒX˜˜1�v  1˜vÐ&Ñ'Ô'€FÝŒh˜˜A˜  A Ð'Ñ(Ô(€GÝ	ŒÕ,Ð4DÐ	EÑ	EÔ	Eð 8ð 8Ý�f˜g¨wÐ7Ñ7Ô7Ð7ð8ð 8ð 8ñ 8ô 8ð 8ð 8ð 8ð 8ð 8ð 8øøøð 8ð 8ð 8ð 8å	ŒÕ,Ð4DÐ	EÑ	EÔ	Eð ;ð ;Ý�f˜g¨zÐ:Ñ:Ô:Ð:ð;ð ;ð ;ñ ;ô ;ð ;ð ;ð ;ð ;ð ;ð ;øøøð ;ð ;ð ;ð ;å� f¨g¸yÐIÑIÔIÈ3ÑOÔOÐOÝ� f¨g¸wÐGÑGÔGÈÑMÔMÐMåŒX˜˜1�v  1˜vÐ&Ñ'Ô'€FÝŒh˜˜A˜  A Ð'Ñ(Ô(€GÝ	ŒÕ,Ð4DÐ	EÑ	EÔ	Eð 8ð 8Ý�f˜g¨wÐ7Ñ7Ô7Ð7ð8ð 8ð 8ñ 8ô 8ð 8ð 8ð 8ð 8ð 8ð 8øøøð 8ð 8ð 8ð 8å	ŒÕ,Ð4DÐ	EÑ	EÔ	Eð ;ð ;Ý�f˜g¨zÐ:Ñ:Ô:Ð:ð;ð ;ð ;ñ ;ô ;ð ;ð ;ð ;ð ;ð ;ð ;øøøð ;ð ;ð ;ð ;å� f¨g¸yÐIÑIÔIÈ3ÑOÔOÐOÝ� f¨g¸wÐGÑGÔGÈÑMÔMÐMåŒX˜˜1�v  1˜vÐ&Ñ'Ô'€FÝŒh˜˜A˜  A Ð'Ñ(Ô(€GÝ� f¨g¸wÐGÑGÔGÈÑKÔKÐKÝ� f¨g¸zÐJÑJÔJÈAÑNÔNÐNÝ� f¨g¸yÐIÑIÔIÈ1ÑMÔMÐMÝ� f¨g¸wÐGÑGÔGÈÑKÔKÐKåŒX˜˜1�v  1˜vÐ&Ñ'Ô'€FÝŒh˜˜c˜
 S¨# JÐ/Ñ0Ô0€GÝ� f¨g¸wÐGÑGÔGÈÑMÔMÐMÝ� f¨g¸zÐJÑJÔJÈCÑPÔPÐPÝ� f¨g¸yÐIÑIÔIÈ3ÑOÔOÐOÝ� f¨g¸wÐGÑGÔGÈÑMÔMÐMÐMÐMs�   ÈH'È'H+È.H+ÊJ/Ê/J3Ê6J3Ë5LÌLÌLÎNÎN"Î%N"ÐP-Ð-P1Ð4P1ÑQ2Ñ2Q6Ñ9Q6ÔT+Ô+T/Ô2T/ÕU0Õ0U4Õ7U4c            	      óú   — g d¢} g d¢}t          | |d¬¦  «        \  }}}t          |t          j        dddg¦  «         g d¢} g d	¢}t          | |d¬¦  «        \  }}}t          |t          j        dd
dddg¦  «         d S )N©r   r   r   r   r-   r-   ©rÀ   çš™™™™™É?r   ç333333ã?çffffffæ?r\   Tr‰   r\   rÓ   rÀ   ©r   r   r   r   r   r   r   r-   r-   r-   r-   r-   r-   ©rÀ   çš™™™™™¹?rÒ   rÒ   rÓ   çš™™™™™é?r¦   rÒ   rÓ   r×   r¦   r¦   r\   r¦   rÒ   )r   r   r2   Úinf)rJ   rH   rv   ru   rŽ   s        rK   Ú test_roc_curve_drop_intermediaterÙ   ®  s¦   € àÐÐ€FØ,Ð,Ð,€GÝ$ V¨WÈÐMÑMÔMÑ€CˆˆjÝ˜j­2¬6°3¸¸SÐ*AÑBÔBÐBð 5Ð4Ð4€FØOÐOÐO€GÝ$ V¨WÈÐMÑMÔMÑ€CˆˆjÝ˜j­2¬6°3¸¸SÀ#ÀsÐ*KÑLÔLÐLÐLÐLrM   c                  ó,  — g d¢} g d¢}t          j        dd¦  «        }t          | ||¬¦  «        \  }}}t          j        |¦  «        dk                          ¦   «         dk    sJ ‚t          j        |¦  «        dk                          ¦   «         dk    sJ ‚d S )N©r   r   r-   r-   r-   )rÖ   rÓ   ç333333Ó?çš™™™™™Ù?r   rÑ   é   ©Úsample_weightr   )r2   Úrepeatr   ÚdiffrR   )rJ   rH   rà   ru   rv   rw   s         rK   Ú!test_roc_curve_fpr_tpr_increasingrã   ¼  s�   € ð ˆ_ˆ_€FØ'Ð'Ð'€GÝ”I˜c 1Ñ%Ô%€MÝ˜F G¸=ÐIÑIÔI�K€CˆˆaÝŒG�C‰LŒL˜1Ò×!Ò!Ñ#Ô# qÒ(Ð(Ð(Ð(ÝŒG�C‰LŒL˜1Ò×!Ò!Ñ#Ô# qÒ(Ð(Ð(Ð(Ð(Ð(rM   c                  ó‚  — ddg} ddg}t          t          | |¦  «        d¦  «         ddg} ddg}t          t          | |¦  «        d¦  «         g d¢} g d¢}t          t          | |¦  «        d¦  «         ddg} ddg}t          t          | |¦  «        d¦  «         g d¢} g d¢}t          t          | |¦  «        d¦  «         d S )Nr   r-   r   ©r-   r   r   r¿   ©r   r   r-   )r   r
   )r¶   rA   s     rK   Útest_aucrç   È  sÚ   € à	
ˆAˆ€AØ	
ˆAˆ€AÝ�c ! Q™iœi¨Ñ-Ô-Ð-Ø	
ˆAˆ€AØ	
ˆAˆ€AÝ�c ! Q™iœi¨Ñ-Ô-Ð-Øˆ	ˆ	€AØˆ	ˆ	€AÝ�c ! Q™iœi¨Ñ-Ô-Ð-Ø	
ˆAˆ€AØ	
ˆAˆ€AÝ�c ! Q™iœi¨Ñ+Ô+Ð+Øˆˆ€AØˆˆ€AÝ�c ! Q™iœi¨Ñ-Ô-Ð-Ð-Ð-rM   c                  ó   — t          j        t          ¦  «        5  t          g d¢ddg¦  «         d d d ¦  «         n# 1 swxY w Y   t          j        t          ¦  «        5  t          dgdg¦  «         d d d ¦  «         n# 1 swxY w Y   g d¢} g d¢}d                     t          j        | ¦  «        ¦  «        }t          j        t          t          j        |¦  «        ¬¦  «        5  t          | |¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )	NrÃ   rÖ   rÑ   rÀ   )r&   r-   r“   é   )rÞ   é   é   é   z+x is neither increasing nor decreasing : {}r°   )	r¡   r¢   r£   r
   Úformatr2   r—   ÚreÚescape)r¶   rA   Úerror_messages      rK   Útest_auc_errorsrñ   Û  sº  € å	Œ•zÑ	"Ô	"ð )ð )ÝˆOˆOˆO˜c 3˜ZÑ(Ô(Ð(ð)ð )ð )ñ )ô )ð )ð )ð )ð )ð )ð )øøøð )ð )ð )ð )õ 
Œ•zÑ	"Ô	"ð ð ÝˆSˆE�C�5ÑÔÐðð ð ñ ô ð ð ð ð ð ð øøøð ð ð ð ð 	ˆˆ€AØˆˆ€AØA×HÒHÍÌÐRSÉÌÑUÔU€MÝ	Œ•z­¬°=Ñ)AÔ)AÐ	BÑ	BÔ	Bð ð ÝˆAˆq‰	Œ	ˆ	ðð ð ñ ô ð ð ð ð ð ð ð øøøð ð ð ð ð ð s1   š;»?Á?ÁA>Á>BÂBÃ%DÄDÄ
Dzy_true, labels)r   r-   r   r&   ©r   r-   r&   )ÚaÚbró   Úc)ró   rô   rõ   c           	      óÔ  — t          j        g d¢g d¢g d¢g d¢g¦  «        }t          g d¢g d¢¦  «        }t          g d¢g d¢¦  «        }||z   d	z  }t          g d
¢g d¢¦  «        }t          g d¢g d¢¦  «        }||z   d	z  }t          ddgddg¦  «        }	t          ddgddg¦  «        }
|	|
z   d	z  }||z   |z   dz  }t          t          | ||d¬¦  «        |¦  «         |||g}g d¢}t          j        ||¬¦  «        }t          t          | ||dd¬¦  «        |¦  «         d}t          j        t          |¬¦  «        5  t          | ||dd ¬¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )N©rÖ   r×   rÖ   ©rÜ   rÝ   rÜ   ©çffffffÖ?r   ç333333Ã?©r   rÑ   r×   ©r-   r   r-   )rÖ   rÜ   rú   ©r   r-   r   )r×   rÝ   r   r&   ©r-   r-   r   )rÖ   rú   r   r¾   )rÖ   rû   r×   r-   r   rÝ   rÑ   rÜ   r×   r“   Úovo©ÚlabelsÚmulti_class)rÂ   rÂ   r   )ÚweightsrÈ   ©r  r  rÇ   z6average=None is not implemented for multi_class='ovo'.r°   )r2   r—   r   r   rÇ   r¡   r¢   ÚNotImplementedError)rJ   r  Úy_scoresÚscore_01Úscore_10Úaverage_score_01Úscore_02Úscore_20Úaverage_score_02Úscore_12Úscore_21Úaverage_score_12Úovo_unweighted_scoreÚpair_scoresÚ
prevalenceÚovo_weighted_scorerð   s                    rK   Ú#test_multiclass_ovo_roc_auc_toydatar  ì  sQ  € õ ŒxØ	ˆˆ˜/˜/˜/Ð+<Ð+<Ð+<¸m¸m¸mÐLñô €Hõ ˜Y˜Y˜YÐ(8Ð(8Ð(8Ñ9Ô9€Hå˜Y˜Y˜Y¨¨¨Ñ8Ô8€HØ  8Ñ+¨qÑ0Ðõ ˜Y˜Y˜Y¨¨¨Ñ7Ô7€HÝ˜Y˜Y˜YÐ(8Ð(8Ð(8Ñ9Ô9€HØ  8Ñ+¨qÑ0Ðõ ˜a ˜V c¨3 ZÑ0Ô0€HÝ˜a ˜V c¨3 ZÑ0Ô0€HØ  8Ñ+¨qÑ0Ðð -Ð/?Ñ?ÐBRÑRÐVWÑWÐÝÝ�f˜h¨vÀ5ÐIÑIÔIØñô ð ð $Ð%5Ð7GÐH€KØ#Ð#Ð#€JÝœ K¸ÐDÑDÔDÐÝÝØ�H V¸È
ð	
ñ 	
ô 	
ð 	ñ	ô ð ð M€MÝ	ŒÕ*°-Ð	@Ñ	@Ô	@ð Xð XÝ�f˜h¨vÀ5ÐRVÐWÑWÔWÐWðXð Xð Xñ Xô Xð Xð Xð Xð Xð Xð Xð Xøøøð Xð Xð Xð Xð Xð Xs   Ä;EÅE!Å$E!)r   r&   r   r&   )ró   Údró   r  )ró   rô   r  c           	      ó,  — t          j        g d¢g d¢g d¢g d¢g¦  «        }t          g d¢g d¢¦  «        }t          g d¢g d¢¦  «        }||z   d	z  }t          t          | ||d
¬¦  «        |¦  «         t          t          | ||d
d¬¦  «        |¦  «         d S )N)rÑ   rÀ   r×   )rÒ   rÀ   rÝ   )çš™™™™™á?rÀ   çÍÌÌÌÌÌÜ?)rÝ   rÀ   rÒ   )r-   r   r-   r   )rÑ   rÒ   r  rÝ   )r   r-   r   r-   )r×   rÝ   r  rÒ   r&   r   r  rÈ   r  ©r2   r—   r   r   )rJ   r  r  r  r	  Ú	ovo_scores         rK   Ú*test_multiclass_ovo_roc_auc_toydata_binaryr  '  sá   € õ ŒxØ	ˆˆ˜/˜/˜/Ð+<Ð+<Ð+<¸o¸o¸oÐNñô €Hõ ˜\˜\˜\Ð+@Ð+@Ð+@ÑAÔA€Hå˜\˜\˜\Ð+@Ð+@Ð+@ÑAÔA€HØ˜HÑ$¨Ñ)€IåÝ�f˜h¨vÀ5ÐIÑIÔIÈ9ñô ð õ
 ÝØ�H V¸È
ð	
ñ 	
ô 	
ð 	ñ	ô ð ð ð rM   )r   r-   r&   r&   )ró   rô   rõ   rõ   c           	      óö  — t          j        g d¢g d¢g d¢g d¢g¦  «        }t          g d¢|d d …df         ¦  «        }t          g d¢|d d …df         ¦  «        }t          g d	¢|d d …d
f         ¦  «        }t          t          | |d|d ¬¦  «        |||g¦  «         ||z   |z   dz  }t          t          | |d|¬¦  «        |¦  «         |dz  |dz  z   |dz  z   }t          t          | |d|d¬¦  «        |¦  «         d S )N©r\   rÀ   rÀ   )rÖ   r   rÝ   )rÖ   rÖ   r×   )rÜ   rÜ   rÝ   ©r-   r   r   r   r   )r   r-   r   r   r-   ©r   r   r-   r-   r&   Úovr)r  r  rÇ   g      @)r  r  rÁ   r   rÈ   r  )rJ   r  r  Úout_0Úout_1Úout_2Úresult_unweightedÚresult_weighteds           rK   Ú#test_multiclass_ovr_roc_auc_toydatar'  K  s]  € õ ŒxØ	ˆˆ˜/˜/˜/¨?¨?¨?¸O¸O¸OÐLñô €Hõ
 ˜,˜,˜,¨°°°°A°¬Ñ7Ô7€EÝ˜,˜,˜,¨°°°°A°¬Ñ7Ô7€EÝ˜,˜,˜,¨°°°°A°¬Ñ7Ô7€EÝÝ�f˜h°EÀ&ÐRVÐWÑWÔWØ	��uÐñô ð ð  ™¨Ñ.°#Ñ5ÐÝÝ�f˜h°EÀ&ÐIÑIÔIØñô ð ð ˜d‘l U¨T¡\Ñ1°E¸C±KÑ?€OÝÝØ�H¨%¸È
ð	
ñ 	
ô 	
ð 	ñ	ô ð ð ð rM   zmulti_class, average))r!  rÅ   )r!  rÊ   )r   rÅ   c                 ób  — t          j        g d¢¦  «        }g d¢g d¢g d¢g d¢g}t          t          ||| |¬¦  «        d¦  «         g d¢g d¢g d¢g d¢g}t          ||| |¬¦  «        dk     sJ ‚dt          j        d	¦  «        z  }t          ||| |¬¦  «        t          j        d
¦  «        k    sJ ‚d S )N)r“   r-   r&   r   )rÀ   rÀ   rÀ   r\   )rÀ   r\   rÀ   rÀ   )rÀ   rÀ   r\   rÀ   )rÂ   çš™™™™™©?r)  rû   ©r  rÇ   r\   rÁ   )ré   ré   r   )r2   r—   r   r   r©   r¡   Úapprox)r  rÇ   rJ   Ú	y_perfectÚy_imperfectÚy_chances         rK   Ú0test_perfect_imperfect_chance_multiclass_roc_aucr/  v  s#  € õ ŒX�l�l�lÑ#Ô#€Fð 	ÐÐØÐÐØÐÐØ Ð Ð ð	€Iõ Ý�f˜i°[È'ÐRÑRÔRØñô ð ð 	ÐÐØÐÐØÐÐØÐÐð	€Kõ 	�f˜k°{ÈGÐTÑTÔTØ
ò	ð 	ð 	ð 	ð
 •b”g˜f‘o”oÑ%€HÝØ� k¸7ðñ ô å	Œ�sÑ	Ô	òð ð ð ð ð rM   c                 ó¤  ‡	— | Š	t           j                             g d¢d‰	¬¦  «        }t          j        ˆ	fd„|D ¦   «         ¦  «        }t          |g d¢¬¦  «        }t          |                     ¦   «         |                     ¦   «         ¦  «        \  }}}t          ||¦  «        }t          ||dd¬	¦  «        }|t          j        |¦  «        k    sJ ‚d S )
N)ç       @r\   r   éè  )r–   r,   c                 óx   •— g | ]6}t           j                             d |‰¬¦  «                             ¦   «         ‘Œ7S )r-   )ÚnrD   r,   )r   ÚmultinomialÚrvsrq   )rµ   Úy_pred_iÚseeds     €rK   r·   z3test_micro_averaged_ovr_roc_auc.<locals>.<listcomp>¨  sM   ø€ ð 	
ð 	
ð 	
àõ Ô×!Ò! A¨ÀÐ!ÑEÔE×LÒLÑNÔNð	
ð 	
ð 	
rM   rò   )Úclassesr!  rÊ   r*  )r   Ú	dirichletr6  r2   Úasarrayr   r   Úravelr
   r   r¡   r+  )
Úglobal_random_seedrI   rJ   Úy_onehotru   rv   rw   Úroc_auc_by_handÚroc_auc_autor8  s
            @rK   Útest_micro_averaged_ovr_roc_aucrA     sä   ø€ Ø€Dõ
 Œ_× Ò    °tÈ$Ð ÑOÔO€FÝŒZð	
ð 	
ð 	
ð 	
à"ð	
ñ 	
ô 	
ñô €Fõ ˜f¨i¨i¨iÐ8Ñ8Ô8€HÝ˜HŸNšNÑ,Ô,¨f¯lªl©n¬nÑ=Ô=�K€CˆˆaÝ˜#˜s‘m”m€OÝ  ¨¸UÈGÐTÑTÔT€LØ�fœm¨LÑ9Ô9Ò9Ð9Ð9Ð9Ð9Ð9rM   zmsg, y_true, labelsz!Parameter 'labels' must be unique©r   r&   r   )ró   ró   rô   zKNumber of classes in y_true not equal to the number of columns in 'y_score'z"Parameter 'labels' must be ordered)ró   rõ   rô   zMNumber of given labels, 2, not equal to the number of columns in 'y_score', 3r-   ró   rô   zMNumber of given labels, 4, not equal to the number of columns in 'y_score', 3)r   r-   r&   r“   )ró   rô   rõ   r  z2'y_true' contains labels not in parameter 'labels')ró   rô   rõ   Úer  r   r!  c                 óÔ   — t          j        g d¢g d¢g d¢g d¢g¦  «        }t          j        t          | ¬¦  «        5  t          ||||¬¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )Nr÷   rø   rù   rü   r°   r  )r2   r—   r¡   r¢   r£   r   )ÚmsgrJ   r  r  r  s        rK   Ú*test_roc_auc_score_multiclass_labels_errorrF  ´  sÛ   € õR ŒxØ	ˆˆ˜/˜/˜/Ð+<Ð+<Ð+<¸m¸m¸mÐLñô €Hõ 
Œ•z¨Ð	-Ñ	-Ô	-ð Pð PÝ�f˜h¨vÀ;ÐOÑOÔOÐOðPð Pð Pñ Pô Pð Pð Pð Pð Pð Pð Pð Pøøøð Pð Pð Pð Pð Pð Ps   ¼AÁA!Á$A!zmsg, kwargszLaverage must be one of \('macro', 'weighted', None\) for multiclass problemsrÉ   )rÇ   r  zUaverage must be one of \('micro', 'macro', 'weighted', None\) for multiclass problemszksample_weight is not supported for multiclass one-vs-one ROC AUC, 'sample_weight' must be None in this case)r  rà   z|Partial AUC computation not available in multiclass setting, 'max_fpr' must be set to `None`, received `max_fpr=0.5` insteadr   )r  rt   z'multi_class must be in \('ovo', 'ovr'\)c                 ó"  — t          d¦  «        }|                     dd¦  «        }t          |¦  «        }|                     ddd¬¦  «        }t	          j        t          | ¬¦  «        5  t          ||fi |¤Ž d d d ¦  «         d S # 1 swxY w Y   d S )Né”  é   r“   r   r•   r°   )r$   Úrandr    r˜   r¡   r¢   r£   r   )rE  ÚkwargsrE   rH   Úy_probrJ   s         rK   Ú#test_roc_auc_score_multiclass_errorrM    sØ   € õN ˜SÑ
!Ô
!€CØ�hŠh�r˜1‰oŒo€GÝ�WÑÔ€FØ�[Š[˜˜A Bˆ[Ñ'Ô'€FÝ	Œ•z¨Ð	-Ñ	-Ô	-ð 0ð 0Ý�f˜fÐ/Ð/¨Ð/Ð/Ð/ð0ð 0ð 0ñ 0ô 0ð 0ð 0ð 0ð 0ð 0ð 0ð 0øøøð 0ð 0ð 0ð 0ð 0ð 0s   Á(BÂBÂBc                  ól  — t          d¦  «        } |                      d¦  «        }t          j        dd¬¦  «        }d}t	          j        t          |¬¦  «        5  t          ||¦  «         d d d ¦  «         n# 1 swxY w Y   t          j        dd¬¦  «        }t	          j        t          |¬¦  «        5  t          ||¦  «         d d d ¦  «         n# 1 swxY w Y   t          j	        ddd¬¦  «        }t	          j        t          |¬¦  «        5  t          ||¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )NrH  é
   r5   ©ÚdtyperÄ   r°   rO   )
r$   rJ  r2   rª   r¡   r¸   r   r   r©   r¹   )rE   rI   rJ   Úwarn_messages       rK   Útest_auc_score_non_binary_classrS  4  sê  € õ ˜SÑ
!Ô
!€CØ�XŠX�b‰\Œ\€FåŒX�b Ð&Ñ&Ô&€Fð	5ð õ 
ŒÕ,°LÐ	AÑ	AÔ	Að &ð &Ý�f˜fÑ%Ô%Ð%ð&ð &ð &ñ &ô &ð &ð &ð &ð &ð &ð &øøøð &ð &ð &ð &åŒW�R˜uÐ%Ñ%Ô%€FÝ	ŒÕ,°LÐ	AÑ	AÔ	Að &ð &Ý�f˜fÑ%Ô%Ð%ð&ð &ð &ñ &ô &ð &ð &ð &ð &ð &ð &øøøð &ð &ð &ð &åŒW�R˜ 5Ð)Ñ)Ô)€FÝ	ŒÕ,°LÐ	AÑ	AÔ	Að &ð &Ý�f˜fÑ%Ô%Ð%ð&ð &ð &ñ &ô &ð &ð &ð &ð &ð &ð &ð &øøøð &ð &ð &ð &ð &ð &s6   ÁA5Á5A9Á<A9Â1CÃCÃCÄD)Ä)D-Ä0D-Ú
curve_funcc                 ó  — t          d¦  «        }|                     ddd¬¦  «        }|                     d¦  «        }d}t          j        t
          |¬¦  «        5   | ||¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )NrH  r   r“   rO  r•   z"multiclass format is not supportedr°   )r$   r˜   rJ  r¡   r¢   r£   )rT  rE   rJ   rI   rE  s        rK   Ú&test_binary_clf_curve_multiclass_errorrV  I  sÅ   € å
˜SÑ
!Ô
!€CØ�[Š[˜˜A Bˆ[Ñ'Ô'€FØ�XŠX�b‰\Œ\€FØ
.€CÝ	Œ•z¨Ð	-Ñ	-Ô	-ð #ð #Øˆ
�6˜6Ñ"Ô"Ð"ð#ð #ð #ñ #ô #ð #ð #ð #ð #ð #ð #ð #øøøð #ð #ð #ð #ð #ð #s   ÁA4Á4A8Á;A8c                 ó  — d}t          j        t          |¬¦  «        5   | t          j        ddgd¬¦  «        ddg¦  «         d d d ¦  «         n# 1 swxY w Y   t          j        t          |¬¦  «        5   | t          j        ddgt
          ¬¦  «        ddg¦  «         d d d ¦  «         n# 1 swxY w Y   g d	¢} | g d
¢|¦  «        } | g d¢|¦  «        }t          ||¦  «        D ]%\  }}t          j                             ||¦  «         Œ&d S )Nz‘y_true takes value in {'a', 'b'} and pos_label is not specified: either make y_true take value in {0, 1} or {-1, 1} or pass pos_label explicitly.r°   ró   rô   z<U1rP  rÀ   r\   )rÀ   r\   rÑ   gáz®GáÚ?)r   r-   r-   r   )rÀ   r\   r\   rÀ   )	r¡   r¢   r£   r2   r—   ÚobjectÚzipÚtestingr   )rT  rE  rI   Ú	int_curveÚfloat_curveÚint_curve_partÚfloat_curve_parts          rK   Ú(test_binary_clf_curve_implicit_pos_labelr_  S  sÛ  € ð
	ð õ 
Œ•z¨Ð	-Ñ	-Ô	-ð Bð BØˆ
•2”8˜S #˜J¨eÐ4Ñ4Ô4°s¸C°jÑAÔAÐAðBð Bð Bñ Bô Bð Bð Bð Bð Bð Bð Bøøøð Bð Bð Bð Bõ 
Œ•z¨Ð	-Ñ	-Ô	-ð Cð CØˆ
•2”8˜S #˜J­fÐ5Ñ5Ô5¸¸S°zÑBÔBÐBðCð Cð Cñ Cô Cð Cð Cð Cð Cð Cð Cøøøð Cð Cð Cð Cð
 #Ð"Ð"€FØ�
˜<˜<˜<¨Ñ0Ô0€IØ�*Ð1Ð1Ð1°6Ñ:Ô:€KÝ,/°	¸;Ñ,GÔ,Gð Eð EÑ(ˆÐ(Ý
Œ
×"Ò" >Ð3CÑDÔDÐDÐDðEð Es#   ž%AÁAÁAÁ5*B+Â+B/Â2B/z.ignore:Support for labels represented as bytesÚlabels_typerg   r—   c                 ó²   — t          ddg|¦  «        }d}t          j        t          |¬¦  «        5   | |ddg¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )Nó   aó   bz“y_true takes value in {b'a', b'b'} and pos_label is not specified: either make y_true take value in {0, 1} or {-1, 1} or pass pos_label explicitly.r°   rÀ   r\   )r   r¡   r¢   r£   )rT  r`  r  rE  s       rK   Ú.test_binary_clf_curve_implicit_bytes_pos_labelrd  m  s²   € õ    t ¨kÑ:Ô:€Fð	0ð õ
 
Œ•z¨Ð	-Ñ	-Ô	-ð 'ð 'Øˆ
�6˜C ˜:Ñ&Ô&Ð&ð'ð 'ð 'ñ 'ô 'ð 'ð 'ð 'ð 'ð 'ð 'ð 'øøøð 'ð 'ð 'ð 'ð 'ð 's   °AÁAÁAc                 óÒ   — g d¢}g d¢}g d¢} | |||¬¦  «        } | |d d…         |d d…         |d d…         ¬¦  «        }t          ||¦  «        D ]\  }}t          ||¦  «         Œd S )NrÛ   )rÖ   rÑ   rÜ   rÝ   r   )r-   r-   r-   r   r   rß   rO   )rY  r   )rT  rJ   rH   rà   Úresult_1Úresult_2Úarr_1Úarr_2s           rK   Ú(test_binary_clf_curve_zero_sample_weightrj  }  s£   € àˆ_ˆ_€FØ'Ð'Ð'€GØ%Ð%Ð%€Màˆz˜& '¸ÐGÑGÔG€HØˆz˜&  " œ+ w¨s°¨s¤|À=ÐQTÐRTÐQTÔCUÐVÑVÔV€Hå˜H hÑ/Ô/ð &ð &‰ˆˆuÝ˜˜uÑ%Ô%Ð%Ð%ð&ð &rM   c                 ó  — t          d¬¦  «        \  }}}t          ||| ¦  «         t          |dd …         |dd …         | ¬¦  «        \  }}}|d         dk    sJ ‚|d         |dd …                              ¦   «         k    sJ ‚d|t	          j        |dk    ¦  «        <   |                     ¦   «         }t          ||| ¦  «         t          ||¦  «         g d¢}g d	¢}	t          ||	| ¬¦  «        \  }}}| r7t          |g d
¢¦  «         t          |g d¢¦  «         t          |g d¢¦  «         n6t          |g d¢¦  «         t          |g d¢¦  «         t          |g d	¢¦  «         |j	        |j	        k    sJ ‚|j	        |j	        dz   k    sJ ‚d S )NTrˆ   r-   r‰   r   r\   rO   ©r-   r   r   r-   )r-   r&   r“   ré   )r   çÚÁQUUÕ?r\   r\   )r\   r   r   rÀ   )r-   r&   ré   )r   rm  r   r\   r\   )r\   r   r   r   rÀ   )
rL   Ú_test_precision_recall_curver   Úmeanr2   ÚwhereÚcopyr   r   r–   )
r†   rJ   rw   rH   rD   Úrr�   Úy_true_copyr  Úpredict_probass
             rK   Útest_precision_recall_curveru  Š  sÈ  € å(°Ð5Ñ5Ô5Ñ€FˆAˆwÝ  ¨°$Ñ7Ô7Ð7õ % V¨A¨B¨B¤Z°¸¸¸´ÐPTÐUÑUÔU�G€A€qˆ!ØˆQŒ4�3Š;ˆ;ˆ;ˆ;ØˆQŒ4�6˜!˜"˜"”:—?’?Ñ$Ô$Ò$Ð$Ð$Ð$ð %'€F�2Œ8�F˜a’KÑ Ô Ñ!Ø—+’+‘-”-€KÝ  ¨°$Ñ7Ô7Ð7Ý�{ FÑ+Ô+Ð+àˆ\ˆ\€FØ!�\�\€NÝ$ V¨^ÈtÐTÑTÔT�G€A€qˆ!Øð )Ý˜Ð6Ð6Ð6Ñ7Ô7Ð7Ý˜Ð/Ð/Ð/Ñ0Ô0Ð0Ý˜˜9˜9˜9Ñ%Ô%Ð%Ð%å˜Ð;Ð;Ð;Ñ<Ô<Ð<Ý˜Ð4Ð4Ð4Ñ5Ô5Ð5Ý˜˜<˜<˜<Ñ(Ô(Ð(ØŒ6�Q”VÒÐÐÐØŒ6�Q”V˜a‘ZÒÐÐÐÐÐrM   c                 óÜ  — t          | ||¬¦  «        \  }}}t          | |¦  «        }t          |dd¦  «         t          |t          | |¦  «        ¦  «         t	          t          | |¦  «        |d¬¦  «         |j        |j        k    sJ ‚|j        |j        dz   k    sJ ‚t          | t          j        |¦  «        |¬¦  «        \  }}}|j        |j        k    sJ ‚|j        |j        dz   k    sJ ‚d S )Nr‰   g°rh‘í|ë?r“   r&   r‹   r-   )	r   rm   r   r   r   re   r–   r2   Ú
zeros_like)rJ   rH   r†   rD   rr  rŽ   Úprecision_recall_aucs          rK   rn  rn  ª  s"  € å-¨f°gÐQUÐVÑVÔVÑ€A€qˆ*Ý2°6¸7ÑCÔCÐÝÐ2°E¸1Ñ=Ô=Ð=ÝØÕ5°f¸gÑFÔFñô ð õ Ý˜6 7Ñ+Ô+Ð-AÈ1ðñ ô ð ð Œ6�Q”VÒÐÐÐØŒ6�Z”_ qÑ(Ò(Ð(Ð(Ð(å-Ø•”˜gÑ&Ô&¸$ðñ ô Ñ€A€qˆ*ð Œ6�Q”VÒÐÐÐØŒ6�Z”_ qÑ(Ò(Ð(Ð(Ð(Ð(Ð(rM   c           	      ó(  — t          j        d¬¦  «        5  ddg}ddg}t          ||| ¬¦  «        \  }}}t          ||¦  «        }t	          |g d¢¦  «         t	          |g d¢¦  «         t          |d¦  «         ddg}ddg}t          ||| ¬¦  «        \  }}}t          ||¦  «        }t	          |g d	¢¦  «         t	          |g d
¢¦  «         t          |d¦  «         ddg}ddg}t          ||| ¬¦  «        \  }}}t          ||¦  «        }t	          |ddg¦  «         t	          |ddg¦  «         t          |d¦  «         ddg}ddg}t          ||| ¬¦  «        \  }}}t          ||¦  «        }t	          |g d¢¦  «         t	          |g d¢¦  «         t          |d¦  «         ddg}ddg}t          ||| ¬¦  «        \  }}}t          ||¦  «        }t	          |ddg¦  «         t	          |ddg¦  «         t          |d¦  «         ddg}ddg}t          j        t          d¬¦  «        5  t          ||| ¬¦  «        \  }}}d d d ¦  «         n# 1 swxY w Y   t          j        t          d¬¦  «        5  t          ||¦  «        }d d d ¦  «         n# 1 swxY w Y   t          |g d¢¦  «         t          |g d¢¦  «         t          |d¦  «         ddg}ddg}t          ||| ¬¦  «        \  }}}t          t          ||¦  «        d¦  «         t	          |g d¢¦  «         t	          |g d¢¦  «         t          j
        ddgddgg¦  «        }t          j
        ddgddgg¦  «        }t          j        t          d¬¦  «        5  t          t          ||d¬¦  «        d¦  «         d d d ¦  «         n# 1 swxY w Y   t          j        t          d¬¦  «        5  t          t          ||d¬¦  «        d¦  «         d d d ¦  «         n# 1 swxY w Y   t          t          ||d¬¦  «        d¦  «         t          t          ||d¬¦  «        d¦  «         t          j
        ddgddgg¦  «        }t          j
        ddgddgg¦  «        }t          j        t          d¬¦  «        5  t          t          ||d¬¦  «        d¦  «         d d d ¦  «         n# 1 swxY w Y   t          j        t          d¬¦  «        5  t          t          ||d¬¦  «        d¦  «         d d d ¦  «         n# 1 swxY w Y   t          t          ||d¬¦  «        d¦  «         t          t          ||d¬¦  «        d¦  «         t          j
        ddgddgg¦  «        }t          j
        ddgddgg¦  «        }t          t          ||d¬¦  «        d¦  «         t          t          ||d¬¦  «        d¦  «         t          t          ||d¬¦  «        d¦  «         t          t          ||d¬¦  «        d¦  «         t          j
        ddgddgg¦  «        }t          j
        ddgddgg¦  «        }t          j        t          d¬¦  «        5  t          t          ||d¬¦  «        d¦  «         d d d ¦  «         n# 1 swxY w Y   t          t          ||d¬¦  «        d¦  «         t          j        t          d¬¦  «        5  t          t          ||d¬¦  «        d¦  «         d d d ¦  «         n# 1 swxY w Y   t          j        t          d¬¦  «        5  t          t          ||d¬¦  «        d¦  «         d d d ¦  «         n# 1 swxY w Y   t          j
        ddgddgg¦  «        }t          j
        ddgddgg¦  «        }t          t          ||d¬¦  «        d¦  «         t          t          ||d¬¦  «        d¦  «         t          t          ||d¬¦  «        d¦  «         t          t          ||d¬¦  «        d¦  «         t          j
        ddgddgg¦  «        }t          j
        ddgddgg¦  «        }t          t          ||d¬¦  «        d¦  «         t          t          ||d¬¦  «        d¦  «         t          t          ||d¬¦  «        d¦  «         t          t          ||d¬¦  «        d¦  «         d d d ¦  «         n# 1 swxY w Y   t          j        d¬¦  «        5  t          j
        ddgddgg¦  «        }t          j
        ddgddgg¦  «        }t          j        t          d¬¦  «        5  t          t          ||d¬¦  «        d¦  «         d d d ¦  «         n# 1 swxY w Y   d d d ¦  «         d S # 1 swxY w Y   d S )NÚraise)Úallr   r-   r‰   )r   r-   r-   rÿ   r\   )r   rÀ   r\   r  r   rÀ   rÁ   rÂ   z!No positive class found in y_truer°   r¾   )r\   r\   r\   )r-   r   rÀ   rÅ   rÆ   rÈ   rÉ   rÊ   Úignore)r2   Úerrstater   r   r   r   r¡   r¸   ÚUserWarningr   r—   )r†   rJ   rH   rD   rr  rw   Úauc_prcs          rK   Ú#test_precision_recall_curve_toydatar€  À  s«  € å	Œ˜Ð	!Ñ	!Ô	!ð V
ð V
à�Q�ˆØ�a�&ˆÝ(¨°ÈDÐQÑQÔQ‰ˆˆ1ˆaÝ)¨&°'Ñ:Ô:ˆÝ! ! [ [ [Ñ1Ô1Ð1Ý! ! Y Y YÑ/Ô/Ð/Ý˜G SÑ)Ô)Ð)à�Q�ˆØ�a�&ˆÝ(¨°ÈDÐQÑQÔQ‰ˆˆ1ˆaÝ)¨&°'Ñ:Ô:ˆÝ! ! _ _ _Ñ5Ô5Ð5Ý! ! _ _ _Ñ5Ô5Ð5õ 	˜G SÑ)Ô)Ð)à�Q�ˆØ�a�&ˆÝ(¨°ÈDÐQÑQÔQ‰ˆˆ1ˆaÝ)¨&°'Ñ:Ô:ˆÝ! ! c¨1 XÑ.Ô.Ð.Ý! ! c¨1 XÑ.Ô.Ð.Ý˜G SÑ)Ô)Ð)à�Q�ˆØ�a�&ˆÝ(¨°ÈDÐQÑQÔQ‰ˆˆ1ˆaÝ)¨&°'Ñ:Ô:ˆÝ! ! [ [ [Ñ1Ô1Ð1Ý! ! Y Y YÑ/Ô/Ð/Ý˜G SÑ)Ô)Ð)à�Q�ˆØ˜�*ˆÝ(¨°ÈDÐQÑQÔQ‰ˆˆ1ˆaÝ)¨&°'Ñ:Ô:ˆÝ! ! c¨1 XÑ.Ô.Ð.Ý! ! a¨ XÑ.Ô.Ð.Ý˜G SÑ)Ô)Ð)à�Q�ˆØ˜�,ˆÝŒ\�+Ð-PÐQÑQÔQð 	Vð 	VÝ,¨V°WÐPTÐUÑUÔU‰GˆAˆq�!ð	Vð 	Vð 	Vñ 	Vô 	Vð 	Vð 	Vð 	Vð 	Vð 	Vð 	Vøøøð 	Vð 	Vð 	Vð 	VåŒ\�+Ð-PÐQÑQÔQð 	?ð 	?Ý-¨f°gÑ>Ô>ˆGð	?ð 	?ð 	?ñ 	?ô 	?ð 	?ð 	?ð 	?ð 	?ð 	?ð 	?øøøð 	?ð 	?ð 	?ð 	?å˜˜9˜9˜9Ñ%Ô%Ð%Ý˜˜9˜9˜9Ñ%Ô%Ð%Ý˜ Ñ#Ô#Ð#à�Q�ˆØ˜�,ˆÝ(¨°ÈDÐQÑQÔQ‰ˆˆ1ˆaÝÕ3°F¸GÑDÔDÀcÑJÔJÐJÝ! ! _ _ _Ñ5Ô5Ð5Ý! ! ] ] ]Ñ3Ô3Ð3õ ”˜A˜q˜6 A q 6Ð*Ñ+Ô+ˆÝ”(˜Q ˜F Q¨ FÐ+Ñ,Ô,ˆÝŒ\�+Ð-PÐQÑQÔQð 	ð 	ÝÝ'¨°ÀÐIÑIÔIÈ3ñô ð ð	ð 	ð 	ñ 	ô 	ð 	ð 	ð 	ð 	ð 	ð 	øøøð 	ð 	ð 	ð 	õ Œ\�+Ð-PÐQÑQÔQð 	ð 	ÝÝ'¨°ÀÐLÑLÔLÈcñô ð ð	ð 	ð 	ñ 	ô 	ð 	ð 	ð 	ð 	ð 	ð 	øøøð 	ð 	ð 	ð 	õ 	Ý# F¨G¸YÐGÑGÔGÈñ	
ô 	
ð 	
õ 	Õ/°¸ÈÐQÑQÔQÐSVÑWÔWÐWå”˜A˜q˜6 A q 6Ð*Ñ+Ô+ˆÝ”(˜Q ˜F Q¨ FÐ+Ñ,Ô,ˆÝŒ\�+Ð-PÐQÑQÔQð 	ð 	ÝÝ'¨°ÀÐIÑIÔIÈ3ñô ð ð	ð 	ð 	ñ 	ô 	ð 	ð 	ð 	ð 	ð 	ð 	øøøð 	ð 	ð 	ð 	õ Œ\�+Ð-PÐQÑQÔQð 	ð 	ÝÝ'¨°ÀÐLÑLÔLÈcñô ð ð	ð 	ð 	ñ 	ô 	ð 	ð 	ð 	ð 	ð 	ð 	øøøð 	ð 	ð 	ð 	õ 	Ý# F¨G¸YÐGÑGÔGÈñ	
ô 	
ð 	
õ 	Õ/°¸ÈÐQÑQÔQÐSVÑWÔWÐWå”˜A˜q˜6 A q 6Ð*Ñ+Ô+ˆÝ”(˜Q ˜F Q¨ FÐ+Ñ,Ô,ˆÝÝ# F¨G¸WÐEÑEÔEÀsñ	
ô 	
ð 	
õ 	Ý# F¨G¸ZÐHÑHÔHÈ#ñ	
ô 	
ð 	
õ 	Ý# F¨G¸YÐGÑGÔGÈñ	
ô 	
ð 	
õ 	Ý# F¨G¸WÐEÑEÔEÀsñ	
ô 	
ð 	
õ ”˜A˜q˜6 A q 6Ð*Ñ+Ô+ˆÝ”(˜Q ˜F Q¨ FÐ+Ñ,Ô,ˆÝŒ\�+Ð-PÐQÑQÔQð 	ð 	ÝÝ'¨°ÀÐIÑIÔIÈ3ñô ð ð	ð 	ð 	ñ 	ô 	ð 	ð 	ð 	ð 	ð 	ð 	øøøð 	ð 	ð 	ð 	õ 	Ý# F¨G¸ZÐHÑHÔHÈ#ñ	
ô 	
ð 	
õ Œ\�+Ð-PÐQÑQÔQð 	ð 	ÝÝ'¨°ÀÐKÑKÔKÈSñô ð ð	ð 	ð 	ñ 	ô 	ð 	ð 	ð 	ð 	ð 	ð 	øøøð 	ð 	ð 	ð 	õ Œ\�+Ð-PÐQÑQÔQð 	ð 	ÝÝ'¨°ÀÐIÑIÔIÈ3ñô ð ð	ð 	ð 	ñ 	ô 	ð 	ð 	ð 	ð 	ð 	ð 	øøøð 	ð 	ð 	ð 	õ
 ”˜A˜q˜6 A q 6Ð*Ñ+Ô+ˆÝ”(˜Q ˜F Q¨ FÐ+Ñ,Ô,ˆÝÕ/°¸ÈÐQÑQÔQÐSVÑWÔWÐWÝÝ# F¨G¸ZÐHÑHÔHÈ#ñ	
ô 	
ð 	
õ 	Ý# F¨G¸YÐGÑGÔGÈñ	
ô 	
ð 	
õ 	Õ/°¸ÈÐQÑQÔQÐSVÑWÔWÐWå”˜A˜q˜6 A q 6Ð*Ñ+Ô+ˆÝ”(˜S #˜J¨¨c¨
Ð3Ñ4Ô4ˆÝÝ# F¨G¸WÐEÑEÔEÀsñ	
ô 	
ð 	
õ 	Ý# F¨G¸ZÐHÑHÔHÈ#ñ	
ô 	
ð 	
õ 	Ý# F¨G¸YÐGÑGÔGÈñ	
ô 	
ð 	
õ 	Ý# F¨G¸WÐEÑEÔEÀsñ	
ô 	
ð 	
ðiV
ð V
ð V
ñ V
ô V
ð V
ð V
ð V
ð V
ð V
ð V
øøøð V
ð V
ð V
ð V
õp 
Œ˜Ð	"Ñ	"Ô	"ð ð å”˜A˜q˜6 A q 6Ð*Ñ+Ô+ˆÝ”(˜Q ˜F Q¨ FÐ+Ñ,Ô,ˆÝŒ\�+Ð-PÐQÑQÔQð 	ð 	ÝÝ'¨°ÀÐLÑLÔLÈañô ð ð	ð 	ð 	ñ 	ô 	ð 	ð 	ð 	ð 	ð 	ð 	øøøð 	ð 	ð 	ð 	ð	ð ð ñ ô ð ð ð ð ð ð ð øøøð ð ð ð ð ð s‘  –HcÈ$IÈ;cÉI	ÉcÉI	ÉcÉ-J
É>cÊ
J	ÊcÊJ	ÊC&cÍ8!N%ÎcÎ%N)	Î)cÎ,N)	Î-cÏ!O8Ï,cÏ8O<	Ï<cÏ?O<	Ð BcÒ!R?Ò3cÒ?S	ÓcÓS	ÓcÓ%!TÔcÔT	ÔcÔT	ÔEcÙ !ZÚcÚZ	ÚcÚZ	Ú>cÛ!\ Û4cÜ \	ÜcÜ\	ÜcÜ&!]ÝcÝ]	ÝcÝ]	ÝE+cãcãcã2Afå!e/å#få/e3	å3få6e3	å7fæfæfc                  ó†  — g d¢} g d¢}t          | |d¬¦  «        \  }}}t          |g d¢¦  «         g d¢} g d¢}t          | |d¬¦  «        \  }}}t          |g d¢¦  «         g d	¢} g d
¢}t          | |d¬¦  «        \  }}}t          |ddg¦  «         g d¢} g d
¢}t          | |d¬¦  «        \  }}}t          |g d
¢¦  «         dS )z9Check the behaviour of the `drop_intermediate` parameter.rÏ   rÐ   Tr‰   )rÀ   rÓ   r\   rÔ   rÕ   )rÀ   rÒ   rÓ   r×   r¦   r\   ©r   r   r   r   )rÀ   rÖ   rÑ   rÜ   rÀ   rÜ   ©r-   r-   r-   r-   N)r   r   )rJ   rH   ri   rj   rŽ   s        rK   Ú-test_precision_recall_curve_drop_intermediater„  d  sH  € àÐÐ€FØ,Ð,Ð,€GÝ$:Ø�¨4ð%ñ %ô %Ñ!€Iˆv�zõ �J   Ñ0Ô0Ð0ð 5Ð4Ð4€FØOÐOÐO€GÝ$:Ø�¨4ð%ñ %ô %Ñ!€Iˆv�zõ �JÐ >Ð >Ð >Ñ?Ô?Ð?ð ˆ\ˆ\€FØ"Ð"Ð"€GÝ$:Ø�¨4ð%ñ %ô %Ñ!€Iˆv�zõ �J  c 
Ñ+Ô+Ð+ð ˆ\ˆ\€FØ"Ð"Ð"€GÝ$:Ø�¨4ð%ñ %ô %Ñ!€Iˆv�zõ �JÐ 4Ð 4Ð 4Ñ5Ô5Ð5Ð5Ð5rM   c                  ó    — t          j        dt          ¬¦  «        } d| d d d…<   t          j        d¦  «        }t	          | |¦  «        dk    sJ ‚d S )Nr”   rP  r-   ré   rÁ   )r2   rª   r5   r©   r   ©rJ   rH   s     rK   Ú&test_average_precision_constant_valuesr‡  †  sW   € õ
 ŒX�c¥Ð%Ñ%Ô%€FØ€Fˆ3ˆ3ˆQˆ3�KåŒg�c‰lŒl€Gõ # 6¨7Ñ3Ô3°tÒ;Ð;Ð;Ð;Ð;Ð;rM   c                  óî   — t          j        ddg¦  «        } t          j        ddg¦  «        }d}t          j        t          |¬¦  «        5  t          | |d¬¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )Nr   r-   z>pos_label=2 is not a valid label. It should be one of \[0, 1\]r°   r&   ©rU   ©r2   r—   r¡   r¢   r£   r   ©rJ   rI   Úerr_msgs      rK   Ú4test_average_precision_score_binary_pos_label_errorsr�  ”  s»   € åŒX�q˜!�fÑÔ€FÝŒX�q˜!�fÑÔ€FØO€GÝ	Œ•z¨Ð	1Ñ	1Ô	1ð =ð =Ý ¨¸!Ð<Ñ<Ô<Ð<ð=ð =ð =ñ =ô =ð =ð =ð =ð =ð =ð =ð =øøøð =ð =ð =ð =ð =ð =s   Á
A*Á*A.Á1A.c                  ó  — t          j        ddgddgddgddgg¦  «        } t          j        ddgddgddgddgg¦  «        }d}t          j        t          |¬¦  «        5  t          | |d¬	¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )
Nr-   r   r¦   rÖ   r×   rÑ   znParameter pos_label is fixed to 1 for multilabel-indicator y_true. Do not set pos_label or set pos_label to 1.r°   r‰  rŠ  r‹  s      rK   Ú8test_average_precision_score_multilabel_pos_label_errorsr�  �  sî   € õ ŒX˜˜1�v  1˜v¨¨1 v°°1¨vÐ6Ñ7Ô7€FÝŒX˜˜S�z C¨ :°°S¨z¸CÀ¸:ÐFÑGÔG€Fð	6ð õ 
Œ•z¨Ð	1Ñ	1Ô	1ð =ð =Ý ¨¸!Ð<Ñ<Ô<Ð<ð=ð =ð =ñ =ô =ð =ð =ð =ð =ð =ð =ð =øøøð =ð =ð =ð =ð =ð =s   ÁA>Á>BÂBc            	      ó  — t          j        g d¢¦  «        } t          j        g d¢g d¢g d¢g d¢g d¢g d¢g¦  «        }d}t          j        t          |¬¦  «        5  t          | |d¬	¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )
N)r   r-   r&   r   r-   r&   )r   rÑ   rÖ   )rÝ   r   rÜ   )rÖ   rÑ   rÒ   )rÑ   rÜ   r   zdParameter pos_label is fixed to 1 for multiclass y_true. Do not set pos_label or set pos_label to 1.r°   r“   r‰  rŠ  r‹  s      rK   Ú8test_average_precision_score_multiclass_pos_label_errorsr‘  ª  sò   € åŒXÐ(Ð(Ð(Ñ)Ô)€FÝŒXàˆOˆOØˆOˆOØˆOˆOØˆOˆOØˆOˆOØˆOˆOð	
ñ	ô 	€Fð	6ð õ 
Œ•z¨Ð	1Ñ	1Ô	1ð =ð =Ý ¨¸!Ð<Ñ<Ô<Ð<ð=ð =ð =ñ =ô =ð =ð =ð =ð =ð =ð =ð =øøøð =ð =ð =ð =ð =ð =s   ÁA:Á:A>ÂA>c                  ó²  — t          d¬¦  «        \  } }}t          | |¦  «        }t          | d|z  ¦  «        }t          | d|z  ¦  «        }t          | |dz
  ¦  «        }||k    sJ ‚||k    sJ ‚||k    sJ ‚t          | |¦  «        }t          | d|z  ¦  «        }t          | d|z  ¦  «        }	t          | |dz
  ¦  «        }
||k    sJ ‚||	k    sJ ‚||
k    sJ ‚d S )NTrˆ   r”   g�íµ ÷Æ°>rO  )rL   r   r   )rJ   rw   rH   r�   Úroc_auc_scaled_upÚroc_auc_scaled_downÚroc_auc_shiftedÚpr_aucÚpr_auc_scaled_upÚpr_auc_scaled_downÚpr_auc_shifteds              rK   Útest_score_scale_invariancerš  ¿  s  € õ )°Ð5Ñ5Ô5Ñ€FˆAˆwå˜F GÑ,Ô,€GÝ% f¨c°G©mÑ<Ô<ÐÝ'¨°°w±Ñ?Ô?ÐÝ# F¨G°b©LÑ9Ô9€OØÐ'Ò'Ð'Ð'Ð'ØÐ)Ò)Ð)Ð)Ð)Ø�oÒ%Ð%Ð%Ð%å$ V¨WÑ5Ô5€FÝ.¨v°s¸W±}ÑEÔEÐÝ0°¸À¹ÑHÔHÐÝ,¨V°W¸r±\ÑBÔB€NØÐ%Ò%Ð%Ð%Ð%ØÐ'Ò'Ð'Ð'Ð'Ø�^Ò#Ð#Ð#Ð#Ð#Ð#rM   z(y_true,y_score,expected_fpr,expected_fnrr¾   ræ   )r   rÁ   r   )r   rÂ   r-   ©rÁ   r   rÂ   rþ   r¿   rÀ   rå   )r-   r-   r   rý   rÿ   )r   r   r   c                 ón   — t          | |¦  «        \  }}}t          ||¦  «         t          ||¦  «         d S ©N©r   r   ©rJ   rH   Úexpected_fprÚexpected_fnrru   Úfnrrw   s          rK   Útest_det_curve_toydatar£  Ø  s?   € õ6 ˜F GÑ,Ô,�K€Cˆˆaå�C˜Ñ&Ô&Ð&Ý�C˜Ñ&Ô&Ð&Ð&Ð&rM   ©rÁ   r   r   c                 ón   — t          | |¦  «        \  }}}t          ||¦  «         t          ||¦  «         d S r�  rž  rŸ  s          rK   Útest_det_curve_tie_handlingr¦  ù  s?   € õ ˜F GÑ,Ô,�K€Cˆˆaå�C˜Ñ&Ô&Ð&Ý�C˜Ñ&Ô&Ð&Ð&Ð&rM   c                  ón   — t          t          g d¢g d¢¦  «        t          g d¢g d¢¦  «        ¦  «         d S )Nr¾   ræ   rÏ   )r   r   r   r   r-   r-   )r   r   r´   rM   rK   Útest_det_curve_sanity_checkr¨    sN   € åÝ�)�)�)˜[˜[˜[Ñ)Ô)ÝÐ$Ð$Ð$Ð&<Ð&<Ð&<Ñ=Ô=ñô ð ð ð rM   rH   )r   rÁ   r   rÂ   r-   c                 óÀ   — t          g d¢t          j        d| ¦  «        ¬¦  «        \  }}}t          |dg¦  «         t          |dg¦  «         t          || g¦  «         d S )N)r   r-   r   r-   r   r-   rê   r†  r-   r   )r   r2   r¹   r   )rH   ru   r¢  rk   s       rK   Útest_det_curve_constant_scoresrª    sr   € å#Ø!Ð!Ð!­2¬7°1°gÑ+>Ô+>ðñ ô Ñ€Cˆˆiõ �C˜!˜ÑÔÐÝ�C˜!˜ÑÔÐÝ�I ˜yÑ)Ô)Ð)Ð)Ð)rM   rJ   )r   r   r   r   r   r-   rÏ   )r   r   r   r-   r-   r-   )r   r   r-   r-   r-   r-   )r   r-   r-   r-   r-   r-   c                 ót   — t          | | ¬¦  «        \  }}}t          |dg¦  «         t          |dg¦  «         d S )Nr†  r   rž  )rJ   ru   r¢  rw   s       rK   Útest_det_curve_perfect_scoresr¬     sF   € õ  6°6Ð:Ñ:Ô:�K€Cˆˆaå�C˜!˜ÑÔÐÝ�C˜!˜ÑÔÐÐÐrM   zy_true, y_pred, err_msgzinconsistent numbers of samples©r   r   r   z#Only one class is present in y_true©r-   r-   r-   )Úcancerr¯  ú
not cancer)rÑ   rÜ   r×   zpos_label is not specifiedc                 óŽ   — t          j        t          |¬¦  «        5  t          | |¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )Nr°   )r¡   r¢   r£   r   r‹  s      rK   Útest_det_curve_bad_inputr²  1  s�   € õ  
Œ•z¨Ð	1Ñ	1Ô	1ð "ð "Ý�&˜&Ñ!Ô!Ð!ð"ð "ð "ñ "ô "ð "ð "ð "ð "ð "ð "ð "øøøð "ð "ð "ð "ð "ð "ó   œ:º>Á>c                  ó’  — dgdz  dgdz  z   } t          j        g d¢¦  «        }d|z
  }t          | |d¬¦  «        \  }}}t          | |d¬¦  «        \  }}}|d         t          j        d	¦  «        k    sJ ‚|d         t          j        d
¦  «        k    sJ ‚t          ||d d d…         ¦  «         t          ||d d d…         ¦  «         d S )Nr¯  r“   r°  rë   )
rÖ   rÝ   rÒ   rÑ   rÜ   rÝ   r   rÒ   rÓ   r¦   r-   r‰  r   rÝ   rÑ   rO   )r2   r—   r   r¡   r+  r   )	rJ   Úy_pred_pos_not_cancerÚy_pred_pos_cancerÚfpr_pos_cancerÚfnr_pos_cancerÚth_pos_cancerÚfpr_pos_not_cancerÚfnr_pos_not_cancerÚth_pos_not_cancers	            rK   Útest_det_curve_pos_labelr½  E  s  € ØˆZ˜!‰^˜|˜n¨qÑ0Ñ0€FÝœHÐ%WÐ%WÐ%WÑXÔXÐØÐ1Ñ1Ðå4=ØØØð5ñ 5ô 5Ñ1€N�N Mõ
 AJØØØðAñ Aô AÑ=ÐÐ*Ð,=ð ˜Ô�vœ}¨SÑ1Ô1Ò1Ð1Ð1Ð1Ø˜QÔ¥6¤=°Ñ#5Ô#5Ò5Ð5Ð5Ð5õ �NÐ$6°t°t¸°tÔ$<Ñ=Ô=Ð=Ý�NÐ$6°t°t¸°tÔ$<Ñ=Ô=Ð=Ð=Ð=rM   c                 óÆ  — t           | ddggddgg¦  «        d¦  «         t           | ddggddgg¦  «        d¦  «         t           | ddggddgg¦  «        d¦  «         t           | g d¢gg d¢g¦  «        d¦  «         t           | g d¢gg d¢g¦  «        d¦  «         t           | g d	¢gg d¢g¦  «        d¦  «         t           | g d
¢gg d¢g¦  «        d¦  «         t           | g d¢gg d¢g¦  «        d¦  «         t           | g d¢gg d¢g¦  «        d¦  «         t           | g d¢gg d¢g¦  «        d¦  «         t           | g d¢gg d¢g¦  «        d¦  «         t           | g d	¢gg d¢g¦  «        d¦  «         t           | g d
¢gg d¢g¦  «        d¦  «         t           | g d¢gg d¢g¦  «        d¦  «         t           | g d¢gg d¢g¦  «        d¦  «         t           | g d¢gg d¢g¦  «        d¦  «         t           | g d¢gg d¢g¦  «        d¦  «         t           | g d¢gg d¢g¦  «        d¦  «         t           | g d	¢gg d¢g¦  «        d¦  «         t           | g d
¢gg d¢g¦  «        d¦  «         t           | g d¢gg d¢g¦  «        d¦  «         t           | g d¢gg d¢g¦  «        d¦  «         t           | g d¢gg d¢g¦  «        d¦  «         t           | ddggddgg¦  «        d¦  «         t           | ddggddgg¦  «        d¦  «         t           | ddggddgg¦  «        d¦  «         t           | g d¢gg d¢g¦  «        d¦  «         t           | g d¢gg d¢g¦  «        d¦  «         t           | g d	¢gg d¢g¦  «        d¦  «         t           | g d
¢gg d¢g¦  «        d¦  «         t           | g d¢gg d¢g¦  «        d¦  «         t           | g d¢gg d¢g¦  «        d¦  «         t           | g d¢gg d¢g¦  «        d¦  «         t           | g d¢gg d¢g¦  «        d¦  «         t           | g d¢gg d¢g¦  «        d¦  «         d S )Nr   r-   rÁ   rÂ   r   r¾   r›  rþ   r¿   rå   gUUUUUUÕ?rý   gªªªªªªê?rÿ   gªªªªªªâ?©rÂ   r   rÁ   r®  ©r   rÂ   rÁ   r¤  )r   r   r   çUUUUUUå?)r-   r-   r-   r   )r   r   r   r   )r   ©Ú
lrap_scores    rK   Úcheck_lrap_toyrÄ  _  s/  € å˜
˜
 Q¨ F 8¨t°T¨l¨^Ñ<Ô<¸aÑ@Ô@Ð@Ý˜
˜
 Q¨ F 8¨t°T¨l¨^Ñ<Ô<¸eÑDÔDÐDÝ˜
˜
 Q¨ F 8¨t°T¨l¨^Ñ<Ô<¸aÑ@Ô@Ð@å˜
˜
 I I I ;Ð1BÐ1BÐ1BÐ0CÑDÔDÀaÑHÔHÐHÝ˜
˜
 I I I ;Ð1BÐ1BÐ1BÐ0CÑDÔDÀeÑLÔLÐLÝ˜
˜
 I I I ;Ð1BÐ1BÐ1BÐ0CÑDÔDÀaÑHÔHÐHÝ˜
˜
 I I I ;Ð1BÐ1BÐ1BÐ0CÑDÔDÀeÑLÔLÐLÝØˆ
�I�I�I�;Ð!2Ð!2Ð!2Ð 3Ñ4Ô4Ð6Iñô ð õ Øˆ
�I�I�I�;Ð!2Ð!2Ð!2Ð 3Ñ4Ô4Ð6Iñô ð õ ˜
˜
 I I I ;Ð1BÐ1BÐ1BÐ0CÑDÔDÀeÑLÔLÐLÝ˜
˜
 I I I ;Ð1BÐ1BÐ1BÐ0CÑDÔDÀeÑLÔLÐLÝØˆ
�I�I�I�;Ð!2Ð!2Ð!2Ð 3Ñ4Ô4Ð6Iñô ð õ ˜
˜
 I I I ;Ð1BÐ1BÐ1BÐ0CÑDÔDÀaÑHÔHÐHÝ˜
˜
 I I I ;Ð1BÐ1BÐ1BÐ0CÑDÔDÀoÑVÔVÐVÝ˜
˜
 I I I ;Ð1BÐ1BÐ1BÐ0CÑDÔDÀaÑHÔHÐHÝ˜
˜
 I I I ;Ð1BÐ1BÐ1BÐ0CÑDÔDÀaÑHÔHÐHå˜
˜
 I I I ;Ð1BÐ1BÐ1BÐ0CÑDÔDÀeÑLÔLÐLÝ˜
˜
 I I I ;Ð1BÐ1BÐ1BÐ0CÑDÔDÀaÑHÔHÐHÝ˜
˜
 I I I ;Ð1BÐ1BÐ1BÐ0CÑDÔDÀoÑVÔVÐVÝ˜
˜
 I I I ;Ð1BÐ1BÐ1BÐ0CÑDÔDÀeÑLÔLÐLÝØˆ
�I�I�I�;Ð!2Ð!2Ð!2Ð 3Ñ4Ô4Ð6Iñô ð õ ˜
˜
 I I I ;Ð1BÐ1BÐ1BÐ0CÑDÔDÀaÑHÔHÐHÝ˜
˜
 I I I ;Ð1BÐ1BÐ1BÐ0CÑDÔDÀaÑHÔHÐHõ ˜
˜
 Q¨ F 8¨s°C¨j¨\Ñ:Ô:¸CÑ@Ô@Ð@Ý˜
˜
 Q¨ F 8¨s°C¨j¨\Ñ:Ô:¸CÑ@Ô@Ð@Ý˜
˜
 Q¨ F 8¨s°C¨j¨\Ñ:Ô:¸AÑ>Ô>Ð>å˜
˜
 I I I ;Ð1AÐ1AÐ1AÐ0BÑCÔCÀSÑIÔIÐIÝ˜
˜
 I I I ;Ð1AÐ1AÐ1AÐ0BÑCÔCÀSÑIÔIÐIÝ˜
˜
 I I I ;Ð1AÐ1AÐ1AÐ0BÑCÔCÀQÑGÔGÐGÝ˜
˜
 I I I ;Ð1AÐ1AÐ1AÐ0BÑCÔCÀUÑKÔKÐKÝØˆ
�I�I�I�;Ð!1Ð!1Ð!1Ð 2Ñ3Ô3Ð5Hñô ð õ Øˆ
�I�I�I�;Ð!1Ð!1Ð!1Ð 2Ñ3Ô3Ð5Hñô ð õ ˜
˜
 I I I ;Ð1AÐ1AÐ1AÐ0BÑCÔCÀQÑGÔGÐGå˜
˜
 I I I ;°°°Ð0AÑBÔBÀEÑJÔJÐJå˜
˜
 L L L >Ð4HÐ4HÐ4HÐ3IÑJÔJÈEÑRÔRÐRÐRÐRrM   c           	      óÞ  — t          d¦  «        }t          dd¦  «        D ]¢}|                     d|f¬¦  «        }t          j        |¦  «        }t          j        d|f¦  «        } | ||¦  «        dk    sJ ‚ | ||¦  «        dk    sJ ‚t          j        d|f¦  «        } | ||¦  «        dk    sJ ‚ | ||¦  «        dk    sJ ‚Œ£t           | dgdgdgdggdgdgdgdgg¦  «        d¦  «         d S )Nr   r&   rÞ   r-   r•   r\   r   )r$   r^   Úuniformr2   rw  rª   r©   r   )rÃ  r,   Ún_labelsrH   Úy_score_tiesrJ   s         rK   Ú!check_zero_or_all_relevant_labelsrÉ  š  sA  € Ý% aÑ(Ô(€Lå˜!˜Q‘K”Kð 7ð 7ˆØ×&Ò&¨Q°¨MÐ&Ñ:Ô:ˆÝ”} WÑ-Ô-ˆõ ”˜1˜h˜-Ñ(Ô(ˆØˆz˜& 'Ñ*Ô*¨cÒ1Ð1Ð1Ð1Øˆz˜& ,Ñ/Ô/°3Ò6Ð6Ð6Ð6õ ”˜!˜X˜Ñ'Ô'ˆØˆz˜& 'Ñ*Ô*¨cÒ1Ð1Ð1Ð1Øˆz˜& ,Ñ/Ô/°3Ò6Ð6Ð6Ð6Ð6õ Øˆ
�Q�C˜!˜˜q˜c A 3Ð'¨3¨%°#°¸¸À¸uÐ)EÑFÔFÈñô ð ð ð rM   c                 óö  — t          j        t          ¦  «        5   | g d¢g d¢¦  «         d d d ¦  «         n# 1 swxY w Y   t          j        t          ¦  «        5   | g d¢g d¢g d¢g d¢g¦  «         d d d ¦  «         n# 1 swxY w Y   t          j        t          ¦  «        5   | g d¢g d¢g d¢g d¢g¦  «         d d d ¦  «         n# 1 swxY w Y   t          j        t          ¦  «        5   | ddgddggddg¦  «         d d d ¦  «         n# 1 swxY w Y   t          j        t          ¦  «        5   | ddgddggddgg¦  «         d d d ¦  «         n# 1 swxY w Y   t          j        t          ¦  «        5   | ddgddggdgdgg¦  «         d d d ¦  «         n# 1 swxY w Y   t          j        t          ¦  «        5   | ddggddgddgg¦  «         d d d ¦  «         n# 1 swxY w Y   t          j        t          ¦  «        5   | dgdggddgddgg¦  «         d d d ¦  «         n# 1 swxY w Y   t          j        t          ¦  «        5   | ddgddggdgdgg¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )	Nrþ   )rÁ   rÜ   rÑ   rò   )rÁ   rÂ   rÀ   )rÓ   rÜ   rÀ   )r×   rÑ   rÀ   r   r-   )r¡   r¢   r£   rÂ  s    rK   Úcheck_lrap_error_raisedrË  ±  s  € å	Œ•zÑ	"Ô	"ð 0ð 0Øˆ
�9�9�9Ð.Ð.Ð.Ñ/Ô/Ð/ð0ð 0ð 0ñ 0ô 0ð 0ð 0ð 0ð 0ð 0ð 0øøøð 0ð 0ð 0ð 0å	Œ•zÑ	"Ô	"ð Uð UØˆ
�9�9�9Ð0Ð0Ð0°/°/°/À?À?À?ÐSÑTÔTÐTðUð Uð Uñ Uô Uð Uð Uð Uð Uð Uð Uøøøð Uð Uð Uð Uå	Œ•zÑ	"Ô	"ð 
ð 
Øˆ
ØˆOˆOÐ/Ð/Ð/°°°À/À/À/ÐRñ	
ô 	
ð 	
ð
ð 
ð 
ñ 
ô 
ð 
ð 
ð 
ð 
ð 
ð 
øøøð 
ð 
ð 
ð 
õ 
Œ•zÑ	"Ô	"ð -ð -Øˆ
�Q˜�F˜Q ˜FÐ# a¨ VÑ,Ô,Ð,ð-ð -ð -ñ -ô -ð -ð -ð -ð -ð -ð -øøøð -ð -ð -ð -å	Œ•zÑ	"Ô	"ð /ð /Øˆ
�Q˜�F˜Q ˜FÐ# q¨! f XÑ.Ô.Ð.ð/ð /ð /ñ /ô /ð /ð /ð /ð /ð /ð /øøøð /ð /ð /ð /å	Œ•zÑ	"Ô	"ð 1ð 1Øˆ
�Q˜�F˜Q ˜FÐ# q c¨A¨3 ZÑ0Ô0Ð0ð1ð 1ð 1ñ 1ô 1ð 1ð 1ð 1ð 1ð 1ð 1øøøð 1ð 1ð 1ð 1å	Œ•zÑ	"Ô	"ð /ð /Øˆ
�Q˜�F�8˜q !˜f q¨! fÐ-Ñ.Ô.Ð.ð/ð /ð /ñ /ô /ð /ð /ð /ð /ð /ð /øøøð /ð /ð /ð /å	Œ•zÑ	"Ô	"ð 1ð 1Øˆ
�Q�C˜!˜�:  A ¨¨A¨Ð/Ñ0Ô0Ð0ð1ð 1ð 1ñ 1ô 1ð 1ð 1ð 1ð 1ð 1ð 1øøøð 1ð 1ð 1ð 1å	Œ•zÑ	"Ô	"ð 1ð 1Øˆ
�Q˜�F˜Q ˜FÐ# q c¨A¨3 ZÑ0Ô0Ð0ð1ð 1ð 1ñ 1ô 1ð 1ð 1ð 1ð 1ð 1ð 1ð 1øøøð 1ð 1ð 1ð 1ð 1ð 1sœ   š7·;¾;ÁA?Á?BÂBÂ#CÃCÃCÃ+DÄDÄDÄ0EÅEÅEÅ6FÆFÆ FÆ=GÇG#Ç&G#ÈH&È&H*È-H*É
I.É.I2É5I2c           	      ó&  — t          dd¦  «        D ]}t          j        d|f¦  «        }t          d|¦  «        D ]V}t          ||z
  ¦  «        D ]A}t          j        d|f¦  «        }d|d|||z   …f<   t	           | ||¦  «        ||z  ¦  «         ŒBŒWŒ€d S )Nr&   rO  r-   r   )r^   r2   r©   rª   r   )rÃ  rÇ  rH   Ú
n_relevantrV   rJ   s         rK   Úcheck_lrap_only_tiesrÎ  Ë  sÓ   € õ ˜!˜R‘L”Lð 	Xð 	XˆÝ”'˜1˜h˜-Ñ(Ô(ˆõ    8Ñ,Ô,ð 	Xð 	XˆJå˜X¨
Ñ2Ñ3Ô3ð Xð X�Ýœ 1 h -Ñ0Ô0�Ø45��q˜#  jÑ 0Ð0Ð0Ñ1Ý# J J¨v°wÑ$?Ô$?ÀÈhÑAVÑWÔWÐWÐWðXð	Xð		Xð 	XrM   c                 ó.  ‡‡— t          dd¦  «        D �] }|t          j        |¦  «                             d|f¦  «        dz   z
  }t          j        d|f¦  «        }d|d<   d|d<   t           | ||¦  «        d|z  dz   dz  ¦  «         t          d|¦  «        D ]zŠt          |‰z
  ¦  «        D ]eŠt          j        d|f¦  «        }d|d‰‰‰z   …f<   t           | ||¦  «        t          ˆˆfd„t          ‰¦  «        D ¦   «         ¦  «        ¦  «         ŒfŒ{�Œd S )Nr&   rO  r-   )r   r   )r   rO   r   c              3   ó:   •K  — | ]}|d z   ‰|z   d z   ‰z  z  V — ŒdS )r-   Nr´   )rµ   rr  rÍ  rV   s     €€rK   ú	<genexpr>z>check_lrap_without_tie_and_increasing_score.<locals>.<genexpr>î  sM   øè è € ð ð àð ˜Q™ C¨!¡G¨a¡K°:Ñ#=Ñ>ðð ð ð ð ð rM   )r^   r2   r3   rQ   rª   r   rR   )rÃ  rÇ  rH   rJ   rÍ  rV   s       @@rK   Ú+check_lrap_without_tie_and_increasing_scorerÒ  Ú  sv  øø€ õ ˜!˜R‘L”Lð ñ ˆØ�bœi¨Ñ1Ô1×9Ò9¸1¸h¸-ÑHÔHÈ1ÑLÑMˆõ ”˜1˜h˜-Ñ(Ô(ˆØˆˆt‰Øˆˆu‰Ý˜J˜J v¨wÑ7Ô7¸!¸h¹,ÈÑ:JÈaÑ9OÑPÔPÐPõ    8Ñ,Ô,ð 	ð 	ˆJå˜X¨
Ñ2Ñ3Ô3ð 	ð 	�Ýœ 1 h -Ñ0Ô0�Ø45��q˜#  jÑ 0Ð0Ð0Ñ1Ý#Ø�J˜v wÑ/Ô/Ýð ð ð ð ð å!& zÑ!2Ô!2ðñ ô ñ ô ñô ð ð ð	ñ	ðð rM   c                 óÈ  ‡‡— t          | |¦  «         t          | ¦  «        } t          |¦  «        }| j        \  }}t          j        |f¦  «        }t          |¦  «        D ]ð}t          j        ||         d¬¦  «        \  }}|j        }||z
  Št          j        ‰|dz   ¬¦  «         	                    ¦   «         }	|	‰         Š| |          
                    ¦   «         d         }
|
j        dk    s|
j        |k    rd||<   Œœd||<   |
D ]7Št          ˆˆfd„|
D ¦   «         ¦  «        }||xx         |‰‰         z  z  cc<   Œ8||xx         |
j        z  cc<   Œñ|                     ¦   «         S )z8Simple implementation of label ranking average precisionT)Úreturn_inverser-   )Ú	minlengthr   rÀ   c              3   ó<   •K  — | ]}‰|         ‰‰         k    V — Œd S r�  r´   )rµ   rr  ÚlabelÚranks     €€rK   rÑ  z_my_lrap.<locals>.<genexpr>  s0   øè è € Ð JÐ J¸A  a¤¨D°¬KÒ!7Ð JÐ JÐ JÐ JÐ JÐ JrM   )r#   r"   r1   r2   Úemptyr^   rP   r–   ÚbincountÚcumsumÚnonzerorR   ro  )rJ   rH   rB   rÇ  ra   rb   Úunique_rankÚinv_rankÚn_ranksÚ	corr_rankÚrelevantÚn_ranked_abover×  rØ  s               @@rK   Ú_my_lraprã  õ  s‹  øø€ å˜F GÑ,Ô,Ð,Ý˜Ñ Ô €FÝ˜'Ñ"Ô"€GØ œ,Ñ€IˆxÝŒH�i�\Ñ"Ô"€EÝ�9ÑÔð "ð "ˆõ !#¤	¨'°!¬*ÀTÐ JÑ JÔ JÑˆ�XØÔ"ˆØ˜Ñ!ˆõ ”K °¸!±Ð<Ñ<Ô<×CÒCÑEÔEˆ	Ø˜Œˆà˜!”9×$Ò$Ñ&Ô& qÔ)ˆØŒ=˜AÒÐ ¤°(Ò!:Ð!:ØˆE�!‰HØàˆˆa‰Øð 	5ð 	5ˆEõ !Ð JÐ JÐ JÐ JÐ JÀÐ JÑ JÔ JÑJÔJˆNð �!ˆHˆHŒH˜¨¨e¬Ñ4Ñ4ˆHˆH‰HˆHàˆaˆˆŒ�H”MÑ!ˆˆ‰ˆà�:Š:‰<Œ<ÐrM   rÞ   rI  c                 óÚ  — t          dd|||¬¦  «        \  }}t          |j        d         |j        d         |¬¦  «        }t          |d¦  «        r|                     ¦   «         }t          ||¦  «        }t          ||¦  «        }t          ||¦  «         t          |¦  «        }| 	                    ||f¬¦  «        }t          ||¦  «        }t          ||¦  «        }t          ||¦  «         d S )Nr-   F)rC   Úallow_unlabeledr,   Ú	n_classesrB   r   )Ún_componentsrC   r,   Útoarrayr•   )
r   r   r1   Úhasattrrè  r   rã  r   r$   rÆ  )	rÃ  ræ  rB   r,   rw   rJ   rH   Ú
score_lrapÚscore_my_lraps	            rK   Ú%check_alternative_lrap_implementationrì    s  € õ /ØØØ!ØØðñ ô �I€A€võ $Ø”\ !”_Ø”< ”?Ø!ðñ ô €Gõ ˆw˜	Ñ"Ô"ð $Ø—/’/Ñ#Ô#ˆÝ6°v¸wÑGÔG€JÝ˜V WÑ-Ô-€MÝ˜
 MÑ2Ô2Ð2õ & lÑ3Ô3€LØ×"Ò"¨°IÐ(>Ð"Ñ?Ô?€GÝ6°v¸wÑGÔG€JÝ˜V WÑ-Ô-€MÝ˜
 MÑ2Ô2Ð2Ð2Ð2rM   ÚcheckÚfuncc                 ó   —  | |¦  «         d S r�  r´   )rí  rî  s     rK   Útest_label_ranking_avprð  ;  s   € ð 
€Eˆ$�K„K€K€K€KrM   c                  ó.   — t          t          ¦  «         d S r�  )rË  r   r´   rM   rK   Útest_lrap_error_raisedrò  I  s   € ÝÕAÑBÔBÐBÐBÐBrM   rB   )r-   r&   rì   rI  ræ  )r&   rÞ   rO  r,   c                 ó4   — t          t          || |¦  «         d S r�  )rì  r   )rB   ræ  r,   s      rK   Ú$test_alternative_lrap_implementationrô  M  s)   € õ *Ý-¨y¸)À\ñô ð ð ð rM   c                  ót  — t          j        g d¢g d¢g d¢gt          ¬¦  «        } t          j        g d¢g d¢g d¢g¦  «        }t          j        g d¢¦  «        }t          j        g d	¢¦  «        }t          t	          | ||¬
¦  «        t          j        ||z  ¦  «        t          j        |¦  «        z  ¦  «         d S )Nr  rl  r‚  rP  )rÜ   rÝ   rÑ   rÖ   )rÖ   rÑ   rÜ   rÝ   ©rÝ   rÜ   rÑ   rÖ   )r   rÂ   r\   )r\   r\   rÀ   rß   )r2   r—   Úboolr   r   rR   )rJ   rH   Úsamplewise_lrapsrà   s       rK   Ú&test_lrap_sample_weighting_zero_labelsrù  V  sß   € õ ŒX�|�|�| \ \ \°<°<°<Ð@ÍÐMÑMÔM€FÝŒhØ	Ð	Ð	Ð3Ð3Ð3Ð5IÐ5IÐ5IÐJñô €Gõ ”xÐ 0Ð 0Ð 0Ñ1Ô1ÐÝ”H˜_˜_˜_Ñ-Ô-€MåÝ-Ø�G¨=ð	
ñ 	
ô 	
õ 	Œˆ}Ð/Ñ/Ñ0Ô0µ2´6¸-Ñ3HÔ3HÑHñ	ô ð ð ð rM   c            	      óú  — t          t          ddggddgg¦  «        d¦  «         t          t          ddggddgg¦  «        d¦  «         t          t          ddggddgg¦  «        d¦  «         t          t          ddggddgg¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d	¢gg d¢g¦  «        d¦  «         t          t          g d
¢gg d¢g¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d	¢gg d¢g¦  «        d¦  «         t          t          g d
¢gg d¢g¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d	¢gg d¢g¦  «        d¦  «         t          t          g d
¢gg d¢g¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d	¢g d¢gg d¢g d¢g¦  «        d¦  «         t          t          g d	¢g d¢g d
¢gg d¢g d¢g d¢g¦  «        d¦  «         t          t          g d	¢g d¢g d
¢gg d¢g d¢g d¢g¦  «        d¦  «         d S )Nr   r-   rÁ   rÂ   r&   r­  r›  r¾   rþ   r¿   rå   r“   rý   rÿ   r®  r¿  rÀ  ©rÖ   g      $@éýÿÿÿ©r   r-   r“   r1  ©rÖ   rO  rü  rB  g«ªªªªª@©r“   r-   r“   ©r   r   r´   rM   rK   Útest_coverage_errorr  k  st  € å�¨¨A¨ x°4¸°,°Ñ@Ô@À!ÑDÔDÐDÝ�¨¨A¨ x°4¸°,°Ñ@Ô@À!ÑDÔDÐDÝ�¨¨A¨ x°4¸°,°Ñ@Ô@À!ÑDÔDÐDÝ�¨¨A¨ x°4¸°,°Ñ@Ô@À!ÑDÔDÐDå�¨	¨	¨	 {Ð5FÐ5FÐ5FÐ4GÑHÔHÈ!ÑLÔLÐLÝ�¨	¨	¨	 {Ð5FÐ5FÐ5FÐ4GÑHÔHÈ!ÑLÔLÐLÝ�¨	¨	¨	 {Ð5FÐ5FÐ5FÐ4GÑHÔHÈ!ÑLÔLÐLÝ�¨	¨	¨	 {Ð5FÐ5FÐ5FÐ4GÑHÔHÈ!ÑLÔLÐLÝ�¨	¨	¨	 {Ð5FÐ5FÐ5FÐ4GÑHÔHÈ!ÑLÔLÐLÝ�¨	¨	¨	 {Ð5FÐ5FÐ5FÐ4GÑHÔHÈ!ÑLÔLÐLÝ�¨	¨	¨	 {Ð5FÐ5FÐ5FÐ4GÑHÔHÈ!ÑLÔLÐLÝ�¨	¨	¨	 {Ð5FÐ5FÐ5FÐ4GÑHÔHÈ!ÑLÔLÐLå�¨	¨	¨	 {Ð5FÐ5FÐ5FÐ4GÑHÔHÈ!ÑLÔLÐLÝ�¨	¨	¨	 {Ð5FÐ5FÐ5FÐ4GÑHÔHÈ!ÑLÔLÐLÝ�¨	¨	¨	 {Ð5FÐ5FÐ5FÐ4GÑHÔHÈ!ÑLÔLÐLÝ�¨	¨	¨	 {Ð5FÐ5FÐ5FÐ4GÑHÔHÈ!ÑLÔLÐLÝ�¨	¨	¨	 {Ð5FÐ5FÐ5FÐ4GÑHÔHÈ!ÑLÔLÐLÝ�¨	¨	¨	 {Ð5FÐ5FÐ5FÐ4GÑHÔHÈ!ÑLÔLÐLÝ�¨	¨	¨	 {Ð5FÐ5FÐ5FÐ4GÑHÔHÈ!ÑLÔLÐLÝ�¨	¨	¨	 {Ð5FÐ5FÐ5FÐ4GÑHÔHÈ!ÑLÔLÐLå�¨	¨	¨	 {Ð5FÐ5FÐ5FÐ4GÑHÔHÈ!ÑLÔLÐLÝ�¨	¨	¨	 {Ð5FÐ5FÐ5FÐ4GÑHÔHÈ!ÑLÔLÐLÝ�¨	¨	¨	 {Ð5FÐ5FÐ5FÐ4GÑHÔHÈ!ÑLÔLÐLÝ�¨	¨	¨	 {Ð5FÐ5FÐ5FÐ4GÑHÔHÈ!ÑLÔLÐLÝ�¨	¨	¨	 {Ð5FÐ5FÐ5FÐ4GÑHÔHÈ!ÑLÔLÐLÝ�¨	¨	¨	 {Ð5FÐ5FÐ5FÐ4GÑHÔHÈ!ÑLÔLÐLÝ�¨	¨	¨	 {Ð5FÐ5FÐ5FÐ4GÑHÔHÈ!ÑLÔLÐLÝ�¨	¨	¨	 {Ð5FÐ5FÐ5FÐ4GÑHÔHÈ!ÑLÔLÐLõ Ý˜	˜	˜	 9 9 9Ð-°°°ÀÀÀÐ/KÑLÔLØñô ð õ
 ÝØˆYˆY˜	˜	˜	 9 9 9Ð-°°°¸y¸y¸yÈ)È)È)Ð/Tñ	
ô 	
ð 	ñ	ô ð õ ÝØˆYˆY˜	˜	˜	 9 9 9Ð-°°°¸y¸y¸yÈ)È)È)Ð/Tñ	
ô 	
ð 	ñ	ô ð ð ð rM   c                  óf  — t          t          ddggddgg¦  «        d¦  «         t          t          ddggddgg¦  «        d¦  «         t          t          ddggddgg¦  «        d¦  «         t          t          ddggddgg¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d	¢gg d¢g¦  «        d¦  «         t          t          g d
¢gg d¢g¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         d S )Nr   r   r-   r&   r­  r¤  r¾   rþ   r¿   rå   r“   rý   rÿ   r®  r   r´   rM   rK   Útest_coverage_tie_handlingr  ¢  sð  € Ý�¨¨A¨ x°3¸°*°Ñ>Ô>ÀÑBÔBÐBÝ�¨¨A¨ x°3¸°*°Ñ>Ô>ÀÑBÔBÐBÝ�¨¨A¨ x°3¸°*°Ñ>Ô>ÀÑBÔBÐBÝ�¨¨A¨ x°3¸°*°Ñ>Ô>ÀÑBÔBÐBå�¨	¨	¨	 {Ð5EÐ5EÐ5EÐ4FÑGÔGÈÑKÔKÐKÝ�¨	¨	¨	 {Ð5EÐ5EÐ5EÐ4FÑGÔGÈÑKÔKÐKÝ�¨	¨	¨	 {Ð5EÐ5EÐ5EÐ4FÑGÔGÈÑKÔKÐKÝ�¨	¨	¨	 {Ð5EÐ5EÐ5EÐ4FÑGÔGÈÑKÔKÐKÝ�¨	¨	¨	 {Ð5EÐ5EÐ5EÐ4FÑGÔGÈÑKÔKÐKÝ�¨	¨	¨	 {Ð5EÐ5EÐ5EÐ4FÑGÔGÈÑKÔKÐKÝ�¨	¨	¨	 {Ð5EÐ5EÐ5EÐ4FÑGÔGÈÑKÔKÐKÝ�¨	¨	¨	 {Ð5EÐ5EÐ5EÐ4FÑGÔGÈÑKÔKÐKÐKÐKrM   zy_true, y_scorec                 óŽ   — t          j        t          d¬¦  «        5  t          | |¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )Nz'Expected 2D array, got 1D array insteadr°   )r¡   r¢   r£   r   r†  s     rK   Útest_coverage_1d_error_messager  ²  sŽ   € õ 
Œ•zÐ)SÐ	TÑ	TÔ	Tð (ð (Ý�v˜wÑ'Ô'Ð'ð(ð (ð (ñ (ô (ð (ð (ð (ð (ð (ð (ð (øøøð (ð (ð (ð (ð (ð (r³  c            	      óš  — t          t          ddggddgg¦  «        d¦  «         t          t          ddggddgg¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d	¢gg d¢g¦  «        d¦  «         t          t          g d
¢gg d¢g¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          ddggddgg¦  «        d¦  «         t          t          ddggddgg¦  «        d¦  «         t          t          ddggddgg¦  «        d¦  «         t          t          ddggddgg¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d¢g d¢gg d¢g d¢g¦  «        d¦  «         t          t          g d¢g d¢g d	¢gg d¢g d¢g d¢g¦  «        d¦  «         t          t          g d¢g d¢g d	¢gg d¢g d¢g d¢g¦  «        d¦  «         d S )Nr   r-   rÁ   rÂ   r¾   r›  rþ   r   r¿   rå   r\   rý   rÿ   r­  rÀ  r®  r¤  rû  rý  rþ  rB  rÿ  ©r   r   r´   rM   rK   Útest_label_ranking_lossr  Á  s†  € ÝÕ*¨Q°¨F¨8°t¸T°l°^ÑDÔDÀaÑHÔHÐHÝÕ*¨Q°¨F¨8°t¸T°l°^ÑDÔDÀaÑHÔHÐHåÕ*¨I¨I¨I¨;Ð9JÐ9JÐ9JÐ8KÑLÔLÈaÑPÔPÐPÝÕ*¨I¨I¨I¨;Ð9JÐ9JÐ9JÐ8KÑLÔLÈeÑTÔTÐTÝÕ*¨I¨I¨I¨;Ð9JÐ9JÐ9JÐ8KÑLÔLÈaÑPÔPÐPÝÕ*¨I¨I¨I¨;Ð9JÐ9JÐ9JÐ8KÑLÔLÈeÑTÔTÐTÝÕ*¨I¨I¨I¨;Ð9JÐ9JÐ9JÐ8KÑLÔLÈeÑTÔTÐTÝÕ*¨I¨I¨I¨;Ð9JÐ9JÐ9JÐ8KÑLÔLÈeÑTÔTÐTõ Õ*¨Q°¨F¨8°t¸T°l°^ÑDÔDÀaÑHÔHÐHÝÕ*¨Q°¨F¨8°t¸T°l°^ÑDÔDÀaÑHÔHÐHÝÕ*¨Q°¨F¨8°s¸C°j°\ÑBÔBÀAÑFÔFÐFÝÕ*¨Q°¨F¨8°s¸C°j°\ÑBÔBÀAÑFÔFÐFåÕ*¨I¨I¨I¨;Ð9JÐ9JÐ9JÐ8KÑLÔLÈaÑPÔPÐPÝÕ*¨I¨I¨I¨;Ð9JÐ9JÐ9JÐ8KÑLÔLÈaÑPÔPÐPÝÕ*¨I¨I¨I¨;Ð9IÐ9IÐ9IÐ8JÑKÔKÈQÑOÔOÐOÝÕ*¨I¨I¨I¨;Ð9IÐ9IÐ9IÐ8JÑKÔKÈQÑOÔOÐOõ Ý˜I˜I˜I y y yÐ1°O°O°OÀYÀYÀYÐ3OÑPÔPØñô ð õ
 ÝØˆYˆY˜	˜	˜	 9 9 9Ð-°°°¸y¸y¸yÈ)È)È)Ð/Tñ	
ô 	
ð 	"ñ	ô ð õ ÝØˆYˆY˜	˜	˜	 9 9 9Ð-°°°¸y¸y¸yÈ)È)È)Ð/Tñ	
ô 	
ð 	"ñ	ô ð ð ð rM   Úcsr_containerc                 ó�   — t          t           | t          j        g d¢g d¢g¦  «        ¦  «        g d¢g d¢g¦  «        d¦  «         d S )Nrþ   rÿ   rþ  rÿ  r   )r   r   r2   r—   )r	  s    rK   Útest_label_ranking_loss_sparser  ì  sc   € åÝØˆM�"œ( I I I¨y¨y¨yÐ#9Ñ:Ô:Ñ;Ô;¸m¸m¸mÈYÈYÈYÐ=Wñ	
ô 	
ð 	ñ	ô ð ð ð rM   c                  ó„  — t          j        t          ¦  «        5  t          ddgddggddg¦  «         d d d ¦  «         n# 1 swxY w Y   t          j        t          ¦  «        5  t          ddgddggddgg¦  «         d d d ¦  «         n# 1 swxY w Y   t          j        t          ¦  «        5  t          ddgddggdgdgg¦  «         d d d ¦  «         n# 1 swxY w Y   t          j        t          ¦  «        5  t          ddggddgddgg¦  «         d d d ¦  «         n# 1 swxY w Y   t          j        t          ¦  «        5  t          dgdggddgddgg¦  «         d d d ¦  «         n# 1 swxY w Y   t          j        t          ¦  «        5  t          ddgddggdgdgg¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )Nr   r-   )r¡   r¢   r£   r   r´   rM   rK   Ú$test_ranking_appropriate_input_shaper  ö  sE  € å	Œ•zÑ	"Ô	"ð 5ð 5Ý˜Q ˜F Q¨ FÐ+¨a°¨VÑ4Ô4Ð4ð5ð 5ð 5ñ 5ô 5ð 5ð 5ð 5ð 5ð 5ð 5øøøð 5ð 5ð 5ð 5å	Œ•zÑ	"Ô	"ð 7ð 7Ý˜Q ˜F Q¨ FÐ+¨q°!¨f¨XÑ6Ô6Ð6ð7ð 7ð 7ñ 7ô 7ð 7ð 7ð 7ð 7ð 7ð 7øøøð 7ð 7ð 7ð 7å	Œ•zÑ	"Ô	"ð 9ð 9Ý˜Q ˜F Q¨ FÐ+¨q¨c°A°3¨ZÑ8Ô8Ð8ð9ð 9ð 9ñ 9ô 9ð 9ð 9ð 9ð 9ð 9ð 9øøøð 9ð 9ð 9ð 9å	Œ•zÑ	"Ô	"ð 7ð 7Ý˜Q ˜F˜8 q¨! f¨q°!¨fÐ%5Ñ6Ô6Ð6ð7ð 7ð 7ñ 7ô 7ð 7ð 7ð 7ð 7ð 7ð 7øøøð 7ð 7ð 7ð 7å	Œ•zÑ	"Ô	"ð 9ð 9Ý˜Q˜C ! ˜:¨¨A¨°°A°Ð'7Ñ8Ô8Ð8ð9ð 9ð 9ñ 9ô 9ð 9ð 9ð 9ð 9ð 9ð 9øøøð 9ð 9ð 9ð 9å	Œ•zÑ	"Ô	"ð 9ð 9Ý˜Q ˜F Q¨ FÐ+¨q¨c°A°3¨ZÑ8Ô8Ð8ð9ð 9ð 9ñ 9ô 9ð 9ð 9ð 9ð 9ð 9ð 9ð 9øøøð 9ð 9ð 9ð 9ð 9ð 9si   š?¿AÁAÁ#B	Â	BÂBÂ-CÃCÃCÃ8DÄD"Ä%D"ÅE)Å)E-Å0E-ÆF5Æ5F9Æ<F9c                  óF  — t          t          ddggddgg¦  «        d¦  «         t          t          ddggddgg¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d¢gg d¢g¦  «        d¦  «         t          t          g d	¢gg d¢g¦  «        d¦  «         t          t          g d
¢gg d¢g¦  «        d¦  «         d S )Nr-   r   r   r¾   r¤  rþ   r¿   rå   rý   rÿ   r  r´   rM   rK   Útest_ranking_loss_ties_handlingr    sX  € åÕ*¨Q°¨F¨8°s¸C°j°\ÑBÔBÀAÑFÔFÐFÝÕ*¨Q°¨F¨8°s¸C°j°\ÑBÔBÀAÑFÔFÐFÝÕ*¨I¨I¨I¨;Ð9IÐ9IÐ9IÐ8JÑKÔKÈUÑSÔSÐSÝÕ*¨I¨I¨I¨;Ð9IÐ9IÐ9IÐ8JÑKÔKÈUÑSÔSÐSÝÕ*¨I¨I¨I¨;Ð9IÐ9IÐ9IÐ8JÑKÔKÈQÑOÔOÐOÝÕ*¨I¨I¨I¨;Ð9IÐ9IÐ9IÐ8JÑKÔKÈQÑOÔOÐOÝÕ*¨I¨I¨I¨;Ð9IÐ9IÐ9IÐ8JÑKÔKÈQÑOÔOÐOÝÕ*¨I¨I¨I¨;Ð9IÐ9IÐ9IÐ8JÑKÔKÈQÑOÔOÐOÐOÐOrM   c                  óä   — t          dd¬¦  «        \  } }| dz   }t          ||¦  «         t          j                             d¦  «                             d¦  «        \  }}t          ||¦  «         d S ©Nr   rO  )r,   ræ  r-   )r&   r”   rO  )r   Ú_test_dcg_score_forr2   r6   r7   Úrandom_sample©rw   rJ   rH   s      rK   Útest_dcg_scorer    sp   € Ý.¸AÈÐLÑLÔL�I€A€vØˆg˜‰k€GÝ˜ Ñ(Ô(Ð(Ý”i×+Ò+¨AÑ.Ô.×<Ò<¸\ÑJÔJ�O€FˆGÝ˜ Ñ(Ô(Ð(Ð(Ð(rM   c                 ó:  — t          j        t          j        | j        d         ¦  «        dz   ¦  «        }t	          | | ¦  «        }t	          | |¦  «        }||k                         ¦   «         sJ ‚t	          | | d¬¦  «        |k                         ¦   «         sJ ‚|j        | j        d         fk    sJ ‚|j        | j        d         fk    sJ ‚|t          j        t          j        | ¦  «        d d …d d d…f         |z   	                    d¬¦  «        ¦  «        k    sJ ‚d S )Nr-   r&   rÞ   ©Úkr   rO   ©Úaxis)
r2   Úlog2r3   r1   r   r{  r¡   r+  ÚsortrR   )rJ   rH   ÚdiscountÚidealra   s        rK   r  r    s  € ÝŒw•r”y ¤¨a¤Ñ1Ô1°AÑ5Ñ6Ô6€HÝ˜v vÑ.Ô.€EÝ˜v wÑ/Ô/€EØ�UŠN×ÒÑ!Ô!Ð!Ð!Ð!Ý˜v v°Ð3Ñ3Ô3°uÒ<×AÒAÑCÔCÐCÐCÐCØŒ;˜6œ<¨œ?Ð,Ò,Ð,Ð,Ð,ØŒ;˜6œ<¨œ?Ð,Ò,Ð,Ð,Ð,Ø•F”M¥2¤7¨6¡?¤?°1°1°1°d°d¸°d°7Ô#;¸hÑ#F×"KÒ"KÐQRÐ"KÑ"SÔ"SÑTÔTÒTÐTÐTÐTÐTÐTrM   c            	      ó  — t          j        t          j        d¦  «        g¦  «        } t          j        | j        ¦  «        }t          | |¦  «        }t          | |d¬¦  «        }dt          j        t          j        dd¦  «        ¦  «        z  }|t          j        | 	                    ¦   «         |  
                    ¦   «         z  g¦  «        k    sJ ‚|t          j        || d d …d d d…f         z   	                    ¦   «         g¦  «        k    sJ ‚d|dd	d …f<   t          | |¦  «        }t          | |d¬¦  «        }|t          j        || d d …d d d…f         z   	                    ¦   «         g¦  «        k    sJ ‚|t          j        |d d…          	                    ¦   «         | dd	d …f          
                    ¦   «         z  |dd …          	                    ¦   «         | dd d	…f          
                    ¦   «         z  z   g¦  «        k    sJ ‚d S )
NrÞ   T©Úignore_tiesr-   r&   rë   rO   r   r“   )r2   r;  r3   rª   r1   r   r  r¡   r+  rR   ro  )rJ   rH   ÚdcgÚdcg_ignore_tiesÚ	discountss        rK   Útest_dcg_tiesr%  %  s÷  € ÝŒZ�œ 1™œ˜Ñ'Ô'€FÝŒh�v”|Ñ$Ô$€GÝ
˜V WÑ
-Ô
-€CÝ(¨°ÀdÐKÑKÔK€OØ•B”G�BœI a¨™OœOÑ,Ô,Ñ,€IØ•&”- §¢¡¤°6·;²;±=´=Ñ!@Ð AÑBÔBÒBÐBÐBÐBØ�fœm¨i¸&ÀÀÀÀDÀDÀbÀDÀ¼/Ñ.I×-NÒ-NÑ-PÔ-PÐ,QÑRÔRÒRÐRÐRÐRØ€GˆAˆqˆrˆrˆE�NÝ
˜V WÑ
-Ô
-€CÝ(¨°ÀdÐKÑKÔK€OØ�fœm¨i¸&ÀÀÀÀDÀDÀbÀDÀ¼/Ñ.I×-NÒ-NÑ-PÔ-PÐ,QÑRÔRÒRÐRÐRÐRØ•&”-à�b�q�bŒM×ÒÑÔ &¨¨A¨B¨B¨¤-×"4Ò"4Ñ"6Ô"6Ñ6Ø˜˜˜Œm×ÒÑ!Ô! F¨1¨b¨q¨b¨5¤M×$6Ò$6Ñ$8Ô$8Ñ8ñ9ð	
ñô ò ð ð ð ð ð rM   c            	      óÌ   — t          j        d¦  «                             d¦  «        } t          | | dd¬¦  «        t	          j        t          | | dd¬¦  «        ¦  «        k    sJ ‚d S )Né   )r&   rê   r“   T)r  r!  )r2   r3   rQ   r   r¡   r+  )ró   s    rK   Útest_ndcg_ignore_ties_with_kr(  9  sq   € Ý
Œ	�"‰Œ×Ò˜fÑ%Ô%€AÝ�a˜˜a¨TÐ2Ñ2Ô2µf´mÝ�1�a˜1¨$Ð/Ñ/Ô/ñ7ô 7ò ð ð ð ð ð rM   c                  óî   — t          j        g d¢g¦  «        } t          j        g d¢g¦  «        }d}t          j        t          |¬¦  «        5  t          | |¦  «         ddd¦  «         dS # 1 swxY w Y   dS )zDCheck `ndcg_score` exception when `y_true` contains negative values.)g{®Gázì¿gö(\�Âõà¿g®GázÞ¿gö(\�ÂõØ?gìQ¸…ëá?)gìQ¸…ë±?g×£p=
×Ó?rÂ   g…ëQ¸Õ?gHáz®GÑ?z7ndcg_score should not be used on negative y_true valuesr°   N)r2   r—   r¡   r¢   r£   r   )rJ   rH   r»   s      rK   Ú test_ndcg_negative_ndarray_errorr*  @  sÄ   € åŒXÐ8Ð8Ð8Ð9Ñ:Ô:€FÝŒhÐ6Ð6Ð6Ð7Ñ8Ô8€GØPÐÝ	Œ•zÐ)9Ð	:Ñ	:Ô	:ð $ð $Ý�6˜7Ñ#Ô#Ð#ð$ð $ð $ñ $ô $ð $ð $ð $ð $ð $ð $ð $øøøð $ð $ð $ð $ð $ð $s   ÁA*Á*A.Á1A.c                  óÖ  — t          j        d¦  «                             dd¦  «        } | t           j                             d¦  «                             dd| j        ¬¦  «        z   }t          | |¦  «        }t          | |d¬	¦  «        }|t          j	        |¦  «        k    sJ ‚|t          j	        d
¦  «        k    sJ ‚|dz  }t          | |¦  «        t          j	        d
¦  «        k    sJ ‚d S )NéF   rë   rO  r   çš™™™™™É¿rÑ   r•   Tr   r\   r2  )
r2   r3   rQ   r6   r7   rÆ  r1   r   r¡   r+  )rJ   rH   ÚndcgÚndcg_no_tiess       rK   Útest_ndcg_invariantr0  I  sÝ   € ÝŒY�r‰]Œ]×"Ò" 1 bÑ)Ô)€FØ•r”y×,Ò,¨QÑ/Ô/×7Ò7¸¸cÈÌÐ7ÑUÔUÑU€GÝ�f˜gÑ&Ô&€DÝ˜f g¸4Ð@Ñ@Ô@€LØ•6”= Ñ.Ô.Ò.Ð.Ð.Ð.Ø•6”= Ñ%Ô%Ò%Ð%Ð%Ð%Øˆt�O€GÝ�f˜gÑ&Ô&­&¬-¸Ñ*<Ô*<Ò<Ð<Ð<Ð<Ð<Ð<rM   r!  c           
      óv  — dt          j        d¦  «        d d…         z  }t          j        t          j        ddd¦  «        d¦  «        }|t           j                             d¦  «                             dd	|j        ¬
¦  «        z   }t          ||| ¬¦  «        t          j
        dt          j        t          j        dd¦  «        ¦  «        z  ¦  «        k    sJ ‚t          ||| ¬¦  «        t          j
        dt          j        t          j        dd¦  «        ¦  «        z  ¦  «        k    sJ ‚t          ||| ¬¦  «        t          j
        dt          j        t          j        dd¦  «        ¦  «        z  ¦  «        k    sJ ‚t          ||d| ¬¦  «        t          j
        dt          j        t          j        dd¦  «        ¦  «        z  ¦  «        k    sJ ‚t          ||| ¬¦  «        t          j
        dt          j        t          j        dd¦  «        ¦  «        z                       ¦   «         ¦  «        k    sJ ‚t!          ||| ¬¦  «        t          j
        dt          j        t          j        dd¦  «        ¦  «        z                       ¦   «         ¦  «        k    sJ ‚dt          j        d¦  «        z  }dt          j        t          j        dd¦  «        ¦  «        z                       ¦   «         }t          ||| ¬¦  «        t          j
        |t          j        d¦  «        z  ¦  «        k    sJ ‚t          ||| ¬¦  «        t          j
        t          j        d¦  «        ¦  «        k    sJ ‚t!          ||| ¬¦  «        t          j
        |¦  «        k    sJ ‚t          ||| ¬¦  «        t          j
        d¦  «        k    sJ ‚d S )Nr“   rë   rÞ   rê   rO   )rÞ   r-   r   r-  rÑ   r•   r   r&   r-   rO  )Úlog_baser!  )rÞ   rë   é	   r\   )r2   ÚeyeÚtiler3   r6   r7   rÆ  r1   r   r¡   r+  r  r   Úlog10r   ro  r   r©   rR   )r!  rJ   rH   Úy_score_noisyÚexpected_dcg_scores        rK   Útest_ndcg_toy_examplesr9  T  sÄ  € à•”˜‘”˜2˜A˜2”Ñ€FÝŒg•b”i  2 rÑ*Ô*¨FÑ3Ô3€GØ�bœi×3Ò3°AÑ6Ô6×>Ò>Øˆc˜œð ?ñ ô ñ €Mõ Ø� [ðñ ô å	Œ�q�2œ7¥2¤9¨Q°¡?¤?Ñ3Ô3Ñ3Ñ	4Ô	4ò5ð 5ð 5ð 5õ Ø�¨;ðñ ô å	Œ�q�2œ7¥2¤9¨Q°¡?¤?Ñ3Ô3Ñ3Ñ	4Ô	4ò5ð 5ð 5ð 5õ Ø� [ðñ ô å	Œ�q�2œ7¥2¤9¨Q°¡?¤?Ñ3Ô3Ñ3Ñ	4Ô	4ò5ð 5ð 5ð 5õ Ø� "°+ðñ ô å	Œ�q�2œ8¥B¤I¨a°¡O¤OÑ4Ô4Ñ4Ñ	5Ô	5ò6ð 6ð 6ð 6õ �f˜g°;Ð?Ñ?Ô?Å6Ä=Ø	
�RŒW•R”Y˜q !‘_”_Ñ%Ô%Ñ	%×+Ò+Ñ-Ô-ñDô Dò ð ð ð õ �V˜W°+Ð>Ñ>Ô>Å&Ä-Ø	
�RŒW•R”Y˜q !‘_”_Ñ%Ô%Ñ	%×+Ò+Ñ-Ô-ñCô Cò ð ð ð ð •”˜‘”Ñ €FØ�bœg¥b¤i°°1¡o¤oÑ6Ô6Ñ6×;Ò;Ñ=Ô=ÐÝØ� [ðñ ô å	ŒÐ)­B¬G°A©J¬JÑ6Ñ	7Ô	7ò8ð 8ð 8ð 8õ Ø� [ðñ ô å	Œ•r”w˜q‘z”zÑ	"Ô	"ò#ð #ð #ð #õ �V˜W°+Ð>Ñ>Ô>Å&Ä-ØñCô Cò ð ð ð õ �f˜g°;Ð?Ñ?Ô?Å6Ä=ÐQTÑCUÔCUÒUÐUÐUÐUÐUÐUrM   c                  óš   — d} t          j        t          | ¬¦  «        5  t          dggdgg¦  «         ddd¦  «         dS # 1 swxY w Y   dS )zhCheck that we raise an informative error message when trying to
    compute NDCG with a single document.zTComputing NDCG is only meaningful when there is more than 1 document. Got 1 instead.r°   r-   N)r¡   r¢   r£   r   )rŒ  s    rK   Útest_ndcg_error_single_documentr;  {  sŸ   € ð	ð õ 
Œ•z¨Ð	1Ñ	1Ô	1ð !ð !Ý�Q�C�5˜A˜3˜%Ñ Ô Ð ð!ð !ð !ñ !ô !ð !ð !ð !ð !ð !ð !ð !øøøð !ð !ð !ð !ð !ð !s   žA Á AÁAc                  óä   — t          dd¬¦  «        \  } }| dz   }t          ||¦  «         t          j                             d¦  «                             d¦  «        \  }}t          ||¦  «         d S r  )r   Ú_test_ndcg_score_forr2   r6   r7   r  r  s      rK   Útest_ndcg_scorer>  †  sp   € Ý.¸AÈÐLÑLÔL�I€A€vØˆg˜‰k€GÝ˜ Ñ)Ô)Ð)Ý”i×+Ò+¨AÑ.Ô.×<Ò<¸\ÑJÔJ�O€FˆGÝ˜ Ñ)Ô)Ð)Ð)Ð)rM   c                 óJ  — t          | | ¦  «        }t          | |¦  «        }||k                         ¦   «         sJ ‚| dk                         d¬¦  «        }||          t          j        t	          j        |                      ¦   «         ¦  «        ¦  «        k    sJ ‚||         t          j        t	          j        |                     ¦   «         ¦  «        ¦  «        k    sJ ‚||          t          j        t          | |¦  «        |          t          | | ¦  «        |          z  ¦  «        k    sJ ‚||         t          j        t	          j        |                     ¦   «         ¦  «        ¦  «        k    sJ ‚|j	        | j	        d         fk    sJ ‚|j	        | j	        d         fk    sJ ‚d S )Nr   r-   r  )
r   r{  r¡   r+  r2   r©   rR   rª   r   r1   )rJ   rH   r  ra   Úall_zeros        rK   r=  r=  Ž  s‰  € Ý ¨Ñ/Ô/€EÝ ¨Ñ0Ô0€EØ�UŠN×ÒÑ!Ô!Ð!Ð!Ð!Ø˜!’× Ò  aÐ Ñ(Ô(€HØ�(�Ô�vœ}­R¬W°x°i·_²_Ñ5FÔ5FÑ-GÔ-GÑHÔHÒHÐHÐHÐHØ�Œ?�fœm­B¬H°X·\²\±^´^Ñ,DÔ,DÑEÔEÒEÐEÐEÐEØ�(�Ô�vœ}Ý˜6 7Ñ+Ô+¨X¨IÔ6Ý
˜V VÑ
,Ô
,¨h¨YÔ
7ñ	8ñ ô  ò ð ð ð ð �Œ?�fœm­B¬H°X·\²\±^´^Ñ,DÔ,DÑEÔEÒEÐEÐEÐEØŒ;˜6œ<¨œ?Ð,Ò,Ð,Ð,Ð,ØŒ;˜6œ<¨œ?Ð,Ò,Ð,Ð,Ð,Ð,Ð,rM   c            	      óž  — t          j        g d¢¦  «        } t          | | d¬¦  «        dk    sJ ‚t          | | d¬¦  «        dk    sJ ‚t          j        t
          ¦  «        5  t          | | d¬¦  «        sJ ‚	 d d d ¦  «         n# 1 swxY w Y   t          j        t
          ¦  «        5  t          | | d¬¦  «        sJ ‚	 d d d ¦  «         n# 1 swxY w Y   t          j        t
          ¦  «        5  t          | | d¬¦  «        sJ ‚	 d d d ¦  «         n# 1 swxY w Y   t          j        g d¢¦  «        }t          | |d¬¦  «        }t          | |¦  «        }||k    sJ ‚t          | |d	¬¦  «        d
k    sJ ‚t          d¬¦  «        \  } }}t          j        ddd¦  «        D ]1}t          t          | ||¬¦  «        t          | ||¦  «        ¦  «         Œ2d S )Nr   r-   )rt   gü©ñÒMbP?gš™™™™™¹¿gš™™™™™ñ?r   )rÖ   r   rÖ   g{®Gáz„?rÜ   r   Trˆ   g-Cëâ6?rÞ   )
r2   r—   r   r¡   r¢   r£   rL   Úlinspacer   r…   )rJ   r  Úroc_auc_with_max_fpr_oneÚunconstrained_roc_aucrI   rw   rt   s          rK   Útest_partial_roc_auc_scorerE  ž  sÃ  € åŒX�l�l�lÑ#Ô#€FÝ˜ °Ð3Ñ3Ô3°qÒ8Ð8Ð8Ð8Ý˜ °Ð7Ñ7Ô7¸1Ò<Ð<Ð<Ð<Ý	Œ•zÑ	"Ô	"ð ;ð ;Ý˜V V°TÐ:Ñ:Ô:Ð:Ð:Ð:Ð:ð;ð ;ð ;ñ ;ô ;ð ;ð ;ð ;ð ;ð ;ð ;øøøð ;ð ;ð ;ð ;å	Œ•zÑ	"Ô	"ð :ð :Ý˜V V°SÐ9Ñ9Ô9Ð9Ð9Ð9Ð9ð:ð :ð :ñ :ô :ð :ð :ð :ð :ð :ð :øøøð :ð :ð :ð :å	Œ•zÑ	"Ô	"ð 8ð 8Ý˜V V°QÐ7Ñ7Ô7Ð7Ð7Ð7Ð7ð8ð 8ð 8ñ 8ô 8ð 8ð 8ð 8ð 8ð 8ð 8øøøð 8ð 8ð 8ð 8õ ŒxÐ+Ð+Ð+Ñ,Ô,€HÝ,¨V°XÀqÐIÑIÔIÐÝ)¨&°(Ñ;Ô;ÐØ#Ð'<Ò<Ð<Ð<Ð<Ý˜ °3Ð7Ñ7Ô7¸3Ò>Ð>Ð>Ð>å'¨tÐ4Ñ4Ô4Ñ€FˆF�AÝ”;˜t Q¨Ñ*Ô*ð 
ð 
ˆÝÝ˜& &°'Ð:Ñ:Ô:Ý" 6¨6°7Ñ;Ô;ñ	
ô 	
ð 	
ð 	
ð
ð 
s6   Á BÂBÂ	BÂ&CÃCÃCÃ,DÄDÄDzy_true, k, true_scorerÁ   r&   r“   rÂ   c                 óž   — t          j        g d¢g d¢g d¢g d¢g¦  «        }t          | ||¬¦  «        }|t          j        |¦  «        k    sJ ‚d S )Nrö  ©rÖ   rÜ   rÝ   rÑ   ©rÝ   rÖ   rÑ   rÜ   ©rÜ   rÑ   rÝ   rÖ   r  ©r2   r—   r   r¡   r+  )rJ   r  Ú
true_scorerH   ra   s        rK   Útest_top_k_accuracy_scorerL  ¸  su   € õ Œhà Ð Ð Ø Ð Ð Ø Ð Ð Ø Ð Ð ð		
ñô €Gõ ! ¨°AÐ6Ñ6Ô6€EØ•F”M *Ñ-Ô-Ò-Ð-Ð-Ð-Ð-Ð-rM   zy_score, k, true_score)rO   rO   r-   r-   )rO   r-   rO   r-   )rÑ   rÑ   rÓ   rÓ   )rÑ   rÓ   rÑ   rÓ   c                 óV  — g d¢}|                       ¦   «         dk    r|                      ¦   «         dk    rdnd}|dk    r#| |k                         t          j        ¦  «        n|}t          || |¬¦  «        }t          ||¦  «        }||cxk    rt          j        |¦  «        k    sn J ‚d S )Nr   r   r-   r   r  )	ÚminÚmaxÚastyper2   Úint64r   r	   r¡   r+  )rH   r  rK  rJ   rk   rI   ra   Ú	score_accs           rK   Ú test_top_k_accuracy_score_binaryrS  Í  s¹   € ð ˆ\ˆ\€Fà—{’{‘}”}¨Ò)Ð)¨g¯kªk©m¬m¸qÒ.@Ð.@��Àa€IØ78¸A²v°vˆg˜	Ò!×)Ò)­"¬(Ñ3Ô3Ð3À6€Få  ¨°AÐ6Ñ6Ô6€EÝ˜v vÑ.Ô.€Ià�IÐ:Ð:Ò:Ð:¥¤¨zÑ!:Ô!:Ò:Ð:Ð:Ð:Ð:Ð:Ð:Ð:rM   zy_true, true_score, labels)r   r-   r-   r&   )r   r-   r-   r-   rƒ  )ró   rC  rC  ró   )ró   rô   r  rC  Úlabels_as_ndarrayc                 óÌ   — |rt          j        |¦  «        }t          j        g d¢g d¢g d¢g d¢g¦  «        }t          | |d|¬¦  «        }|t	          j        |¦  «        k    sJ ‚dS )z,Test when labels and y_score are multiclass.rö  rG  rH  rI  r&   ©r  r  N)r2   r;  r—   r   r¡   r+  )rJ   rK  r  rT  rH   ra   s         rK   Ú0test_top_k_accuracy_score_multiclass_with_labelsrW  ä  sŽ   € ð ð $Ý”˜FÑ#Ô#ˆÝŒhà Ð Ð Ø Ð Ð Ø Ð Ð Ø Ð Ð ð		
ñô €Gõ ! ¨°A¸fÐEÑEÔE€EØ•F”M *Ñ-Ô-Ò-Ð-Ð-Ð-Ð-Ð-rM   c                  ó„  ‡‡‡— t          j        dddd¬¦  «        \  ŠŠt          ‰‰d¬¦  «        \  } }}}t          d¬¦  «        Š‰                     | |¦  «         t          | |f||f¦  «        D ]O\  ŠŠˆˆˆfd„t          dd¦  «        D ¦   «         }t          j        t          j	        |¦  «        dk    ¦  «        sJ ‚ŒPd S )NrO  r2  r   )ræ  rB   Ún_informativer,   )r,   c                 óZ   •— g | ]'}t          ‰‰                     ‰¦  «        |¬ ¦  «        ‘Œ(S )r  )r   r<   )rµ   r  r@   rG   rA   s     €€€rK   r·   z8test_top_k_accuracy_score_increasing.<locals>.<listcomp>  sD   ø€ ð 
ð 
ð 
ØCDÕ   C×$5Ò$5°aÑ$8Ô$8¸AÐ>Ñ>Ô>ð
ð 
ð 
rM   r&   )
r   Úmake_classificationr   r   r;   rY  r^   r2   r{  râ   )ÚX_trainÚX_testÚy_trainÚy_testÚscoresr@   rG   rA   s        @@@rK   Ú$test_top_k_accuracy_score_increasingra    s   øøø€ åÔ'Ø °BÀQðñ ô �D€A€qõ (8¸¸1È1Ð'MÑ'MÔ'MÑ$€GˆV�W˜få
¨!Ð
,Ñ
,Ô
,€CØ‡G‚GˆG�WÑÔÐå�W˜fÐ%¨°Ð'8Ñ9Ô9ð +ð +‰ˆˆ1ð
ð 
ð 
ð 
ð 
ð 
ÝHMÈaÐQSÉÌð
ñ 
ô 
ˆõ Œv•b”g˜f‘o”o¨Ò)Ñ*Ô*Ð*Ð*Ð*Ð*ð+ð +rM   c                 óš   — t          j        g d¢g d¢g d¢g d¢g¦  «        }t          | ||¬¦  «        t          j        |¦  «        k    sJ ‚d S )N)rÞ   rÞ   rë   r   )r-   rÞ   rÞ   rÞ   )r   r   r“   r“   rƒ  r  rJ  )rJ   r  rK  rH   s       rK   Útest_top_k_accuracy_score_tiesrc    sh   € õ ŒhàˆLˆLØˆLˆLØˆLˆLØˆLˆLð		
ñô €Gõ   ¨°1Ð5Ñ5Ô5½¼ÀzÑ9RÔ9RÒRÐRÐRÐRÐRÐRrM   z	y_true, kré   c                 óä   — t          j        g d¢g d¢g d¢g d¢g¦  «        }d}t          j        t          |¬¦  «        5  t          | ||¬¦  «        }d d d ¦  «         n# 1 swxY w Y   |dk    sJ ‚d S )	Nrö  )rÖ   rÝ   rÜ   rÑ   )rÑ   rÖ   rÝ   rÜ   )rÜ   rÑ   rÖ   rÝ   zu'k' \(\d+\) greater than or equal to 'n_classes' \(\d+\) will result in a perfect score and is therefore meaningless.r°   r  r-   )r2   r—   r¡   r¸   r   r   )rJ   r  rH   r»   ra   s        rK   Ú!test_top_k_accuracy_score_warningre  )  sÛ   € õ Œhà Ð Ð Ø Ð Ð Ø Ð Ð Ø Ð Ð ð		
ñô €Gð	6ð õ 
ŒÕ,Ð4DÐ	EÑ	EÔ	Eð ;ð ;Ý$ V¨W¸Ð:Ñ:Ô:ˆð;ð ;ð ;ñ ;ô ;ð ;ð ;ð ;ð ;ð ;ð ;øøøð ;ð ;ð ;ð ;à�AŠ:ˆ:ˆ:ˆ:ˆ:ˆ:s   ¾AÁA!Á$A!zy_true, y_score, labels, msg)r   g=
×£p=â?r-   r&   )rÑ   rÖ   rÓ   )rÝ   rÜ   rÜ   rø   )rÝ   r   rÖ   z9y type must be 'binary' or 'multiclass', got 'continuous'zZNumber of classes in 'y_true' \(4\) not equal to the number of classes in 'y_score' \(3\).)rõ   rõ   ró   rô   z"Parameter 'labels' must be unique.z#Parameter 'labels' must be ordered.)r   r   r-   r&   zSNumber of given labels \(4\) not equal to the number of classes in 'y_score' \(3\).rý  z3'y_true' contains labels not in parameter 'labels'.)r   rÑ   rÑ   )rÜ   rÝ   rÑ   z}`y_true` is binary while y_score is 2d with 3 classes. If `y_true` does not contain all the labels, `labels` must be providedc                 ó”   — t          j        t          |¬¦  «        5  t          | |d|¬¦  «         d d d ¦  «         d S # 1 swxY w Y   d S )Nr°   r&   rV  )r¡   r¢   r£   r   )rJ   rH   r  rE  s       rK   Útest_top_k_accuracy_score_errorrg  B  s©   € õf 
Œ•z¨Ð	-Ñ	-Ô	-ð Bð BÝ˜V W°¸&ÐAÑAÔAÐAðBð Bð Bñ Bô Bð Bð Bð Bð Bð Bð Bð Bøøøð Bð Bð Bð Bð Bð Bs   œ=½AÁAc                 ó°   —  | g d¢g d¢g¦  «        }t          j        g d¢g d¢g¦  «        }t          ||¦  «        }|t          j        d¦  «        k    sJ ‚d S )Nrå   r¾   )r   r¦   rÒ   rÁ  )r2   r—   r   r¡   r+  )r	  rJ   rH   Úresults       rK   ÚOtest_label_ranking_avg_precision_score_should_allow_csr_matrix_for_y_true_inputrj  ™  sl   € ð ˆ]˜I˜I˜I y y yÐ1Ñ2Ô2€FÝŒh˜˜˜¨¨¨Ð3Ñ4Ô4€GÝ2°6¸7ÑCÔC€FØ•V”] 5Ñ)Ô)Ò)Ð)Ð)Ð)Ð)Ð)rM   Úmetricr9  ))FT)r   r-   )rÀ   r\   )ÚzeroÚonec                 ó$  — t           j                             d¦  «        }d|d         }}|                     ||d¬¦  «        }|                     |¦  «        } | |||¬¦  «        }t          |t          ¦  «        rt          j        |¦  «        rJ ‚dS |\  }}	}
t          j        |¦  «                             ¦   «         rJ ‚t          j        |	¦  «                             ¦   «         rJ ‚t          j        |
¦  «                             ¦   «         rJ ‚dS )zÀCheck that the metric works with different types of `pos_label`.

    We can expect `pos_label` to be a bool, an integer, a float, a string.
    No error should be raised for those types.
    é*   rO  rO   T)r–   Úreplacer‰  N)	r2   r6   r7   ÚchoicerJ  Ú
isinstancerS   rÌ   Úany)rk  r9  rE   rB   rU   rJ   Úy_probari  Úmetric_1Úmetric_2rŽ   s              rK   Ú#test_ranking_metric_pos_label_typesrw  ¥  s
  € õ Œ)×
Ò
 Ñ
#Ô
#€CØ˜w rœ{ˆy€IØ�ZŠZ˜ i¸ˆZÑ>Ô>€FØ�hŠh�yÑ!Ô!€GØˆV�F˜G¨yÐ9Ñ9Ô9€FÝ�&�%Ñ Ô ð .Ý”8˜FÑ#Ô#Ð#Ð#Ð#Ð#Ð#à)/Ñ&ˆ�(˜JÝ”8˜HÑ%Ô%×)Ò)Ñ+Ô+Ð+Ð+Ð+Ý”8˜HÑ%Ô%×)Ò)Ñ+Ô+Ð+Ð+Ð+Ý”8˜JÑ'Ô'×+Ò+Ñ-Ô-Ð-Ð-Ð-Ð-Ð-rM   c                 óþ   — t           j                             | ¦  «        }|                     ddd¬¦  «        }|                     d¦  «        }t          ||¦  «        \  }}}t          j        |d         ¦  «        sJ ‚dS )z¶Check that thresholds do not exceed 1.0 when `y_score` is a probability
    estimate.

    Non-regression test for:
    https://github.com/scikit-learn/scikit-learn/issues/26193
    r   r&   rO  r•   N)r2   r6   r7   r˜   rJ  r   Úisinf)r=  rE   rJ   rH   rw   rŽ   s         rK   Ú(test_roc_curve_with_probablity_estimatesrz  ¿  sv   € õ Œ)×
Ò
Ð 2Ñ
3Ô
3€CØ�[Š[˜˜A Bˆ[Ñ'Ô'€FØ�hŠh�r‰lŒl€GÝ  ¨Ñ1Ô1Ñ€A€qˆ*ÝŒ8�J˜q”MÑ"Ô"Ð"Ð"Ð"Ð"Ð"rM   c                  óJ  — t          d¬¦  «        \  } }}d}t          j        t          |¬¦  «        5  t	          | |¬¦  «         ddd¦  «         n# 1 swxY w Y   d}t          j        t          |¬¦  «        5  t	          | ||¬¦  «         ddd¦  «         dS # 1 swxY w Y   dS )	z)Check the message for future deprecation.Trˆ   z)probas_pred was deprecated in version 1.5r°   )Úprobas_predNz4`probas_pred` and `y_score` cannot be both specified)r|  rH   )rL   r¡   r¸   ÚFutureWarningr   r¢   r£   )rJ   rw   rH   Úwarn_msgÚ	error_msgs        rK   Ú/test_precision_recall_curve_deprecation_warningr€  Î  sH  € õ )°Ð5Ñ5Ô5Ñ€FˆAˆwà:€HÝ	Œ•m¨8Ð	4Ñ	4Ô	4ð 
ð 
ÝØØð	
ñ 	
ô 	
ð 	
ð
ð 
ð 
ñ 
ô 
ð 
ð 
ð 
ð 
ð 
ð 
øøøð 
ð 
ð 
ð 
ð G€IÝ	Œ•z¨Ð	3Ñ	3Ô	3ð 
ð 
ÝØØØð	
ñ 	
ô 	
ð 	
ð
ð 
ð 
ñ 
ô 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
øøøð 
ð 
ð 
ð 
ð 
ð 
s#   ²AÁAÁAÁ8BÂBÂB)NF)rÞ   rI  r   )�rË   rî   Únumpyr2   r¡   Úscipyr   Úsklearnr   r   Úsklearn.datasetsr   Úsklearn.exceptionsr   Úsklearn.linear_modelr   Úsklearn.metricsr	   r
   r   r   r   r   r   r   r   r   r   r   r   Úsklearn.metrics._rankingr   r   Úsklearn.model_selectionr   Úsklearn.preprocessingr   Úsklearn.random_projectionr   Úsklearn.utils._testingr   r   r   r   r   Úsklearn.utils.extmathr    Úsklearn.utils.fixesr!   Úsklearn.utils.validationr"   r#   r$   ÚCURVE_FUNCSrL   rZ   re   rm   r…   ÚmarkÚparametrizer�   rš   rŸ   r¤   r§   r­   r¼   rÍ   rÙ   rã   rç   rñ   r—   r  r  r'  r/  rA  rF  rM  rS  rV  r_  Úfilterwarningsrd  rj  ru  rn  r€  r„  r‡  r�  r�  r‘  rš  r£  r¦  r¨  rª  r¬  r²  r½  rÄ  rÉ  rË  rÎ  rÒ  rã  rì  rð  rò  r^   rô  rù  r  r  r  r  r  r  r  r  r  r%  r(  r*  r0  r9  r;  r>  r=  rE  rL  rS  rW  ra  rc  re  rg  rj  rw  rz  r€  r´   rM   rK   ú<module>r”     s  ðØ €€€Ø 	€	€	€	à Ð Ð Ð Ø €€€Ø Ð Ð Ð Ð Ð à !Ð !Ð !Ð !Ð !Ð !Ð !Ð !Ø ;Ð ;Ð ;Ð ;Ð ;Ð ;Ø 5Ð 5Ð 5Ð 5Ð 5Ð 5Ø 3Ð 3Ð 3Ð 3Ð 3Ð 3ðð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð MÐ LÐ LÐ LÐ LÐ LÐ LÐ LØ 4Ð 4Ð 4Ð 4Ð 4Ð 4Ø 0Ð 0Ð 0Ð 0Ð 0Ð 0Ø ;Ð ;Ð ;Ð ;Ð ;Ð ;ðð ð ð ð ð ð ð ð ð ð ð ð ð ð *Ð )Ð )Ð )Ð )Ð )Ø .Ð .Ð .Ð .Ð .Ð .ðð ð ð ð ð ð ð ð ð ð ØØð€ð)#ð )#ð )#ð )#ð`2ð 2ð 2ðð ð ð<ð ð ð&Hð Hð Hð8 „×Ò˜ $¨ Ñ/Ô/ð
)ð 
)ñ 0Ô/ð
)ð
"ð 
"ð 
"ð)ð )ð )ð&#ð #ð #ð)ð )ð )ð)ð )ð )ð8)ð )ð )ð6oNð oNð oNðdMð Mð Mð	)ð 	)ð 	)ð.ð .ð .ð&ð ð ð" „×ÒØà	ˆŒ�,�,�,Ñ	Ô	   Ð+Ø	ˆŒ�,�,�,Ñ	Ô	 Ð&Ø	Ð	Ð	˜˜˜Ð/Ø	Ð	Ð	˜tÐ$ð	ñô ð/Xð /Xñô ð/Xðd „×ÒØà	ˆŒ�,�,�,Ñ	Ô	   Ð+Ø	ˆŒÐ&Ð&Ð&Ñ	'Ô	'¨¨¨Ð9ðñô ðð ñô ðð: „×ÒØà	ˆŒ�,�,�,Ñ	Ô	 Ð&Ø	Ð	Ð	˜tÐ$Ø	ˆˆ�y�y�yÐ!Ø	Ð	Ð	˜˜˜Ð/ð	ñô ðð ñô ððD „×ÒØðð ð ñô ðð ñô ððD:ð :ð :ð( „×ÒØà	,¨h¨b¬h°|°|°|Ñ.DÔ.DÀiÀiÀiÐPà/ØˆBŒHÐ)Ð)Ð)Ñ*Ô*ØˆOˆOð	
ðð ˆBŒH�\�\�\Ñ"Ô"Øð	
ð 1ØˆBŒHÐ)Ð)Ð)Ñ*Ô*ØˆOˆOð	
ðð ˆBŒH�\�\�\Ñ"Ô"Ø�ˆFð	
ðð ˆBŒHÐ)Ð)Ð)Ñ*Ô*Ø�#ˆJð	
ðð ˆBŒH�\�\�\Ñ"Ô"ØˆLˆLð	
ðð ˆBŒHÐ)Ð)Ð)Ñ*Ô*Ø Ð Ð ð	
ð AØˆBŒHÐ)Ð)Ð)Ñ*Ô*ØˆOˆOð	
ð AØˆBŒHÐ)Ð)Ð)Ñ*Ô*ØˆOˆOð	
ð AØˆBŒH�\�\�\Ñ"Ô"ØˆIˆIð	
ð}CñFô FðN „×Ò˜¨°¨Ñ7Ô7ðPð Pñ 8Ô7ñOFô FðPPð „×ÒØð'ð "°%Ð8Ð8ð	
ð'ð "°%Ð8Ð8ð	
ðFð "°BÐ7Ð7ð	
ðð "¨cÐ2Ð2ð	
ð 
4°RÐ8ð=ñ"ô "ðF	0ð 	0ñG"ô "ðF	0ð&ð &ð &ð* „×Ò˜ {Ñ3Ô3ð#ð #ñ 4Ô3ð#ð „×Ò˜ {Ñ3Ô3ðEð Eñ 4Ô3ðEð2 „×ÒÐLÑMÔMØ„×Ò˜Ð(>À	Ð'JÑKÔKØ„×Ò˜¨°Ð(9Ñ:Ô:ð
'ð 
'ñ ;Ô:ñ LÔKñ NÔMð
'ð „×Ò˜ {Ñ3Ô3ð	&ð 	&ñ 4Ô3ð	&ð „×Ò˜ $¨ Ñ/Ô/ð ð  ñ 0Ô/ð ð>)ð )ð )ð, „×Ò˜ $¨ Ñ/Ô/ð`ð `ñ 0Ô/ð`ðF6ð 6ð 6ðD<ð <ð <ð=ð =ð =ð
=ð 
=ð 
=ð=ð =ð =ð*$ð $ð $ð2 „×ÒØ.à	ˆˆ�K�K�K !  q cÐ*Ø	ˆˆ�N�N�N Q C¨!¨Ð-Ø	ˆˆ�N�N�N Q C¨!¨Ð-Ø	ˆˆÐ%Ð%Ð%¨ s¨Q¨CÐ0Ø	ˆˆ�K�K�K # ¨¨Ð,Ø	ˆˆ�N�N�N S E¨A¨3Ð/Ø	ˆˆ�N�N�N S E¨A¨3Ð/Ø	ˆˆÐ%Ð%Ð%¨ u¨q¨cÐ2Ø	ˆˆ�K�K�K # ¨¨Ð,Ø	ˆˆ�N�N�N Q C¨!¨Ð-Ø	ˆˆ�N�N�N Q C¨!¨Ð-Ø	ˆˆÐ%Ð%Ð%¨ s¨Q¨CÐ0Ø	ˆˆ�K�K�K   ¨i¨i¨iÐ8Ø	ˆˆ�N�N�N K K K°°°Ð;Ø	ˆˆ�N�N�N K K K°°°Ð;Ø	ˆˆÐ%Ð%Ð% { { {°I°I°IÐ>Ø	ˆˆ�K�K�K   ¨M¨M¨MÐ:Ø	ˆˆ�N�N�N I I I¨}¨}¨}Ð=Ø	ˆˆ�N�N�N I I I¨}¨}¨}Ð=Ø	ˆˆÐ%Ð%Ð% y y y°-°-°-Ð@ð)ñô ð2'ð 'ñ3ô ð2'ð „×ÒØ.à
ˆQˆ�#�s�˜a˜S 1 #Ð&Ø
ˆQˆ�#�s�˜a˜S 1 #Ð&Ø	ˆˆÐ$Ð$Ð$ s e¨a¨SÐ1Ø	ˆˆÐ$Ð$Ð$ s e¨a¨SÐ1Ø	ˆˆÐ$Ð$Ð$ q c¨A¨3Ð/Ø	ˆˆÐ$Ð$Ð$ q c¨A¨3Ð/Ø	ˆˆÐ$Ð$Ð$ q c¨A¨3Ð/Ø	ˆˆÐ$Ð$Ð$ q c¨A¨3Ð/ð	ñô ð'ð 'ñô ð'ðð ð ð „×Ò˜Ð$EÐ$EÐ$EÑFÔFð*ð *ñ GÔFð*ð „×ÒØà	Ð	Ð	Ø	Ð	Ð	Ø	Ð	Ð	Ø	Ð	Ð	Ø	Ð	Ð	ðñ	ô 	ðð ñ	ô 	ðð „×ÒØà
ˆQˆ���Ð?Ð@Ø	ˆˆ�Q˜�HÐ?Ð@Ø	ˆˆ�K�K�KÐ!FÐGØ	ˆˆ�K�K�KÐ!FÐGà.Ð.Ð.ØˆOˆOØ(ð	
ð
ñô ð"ð "ñô ð"ð>ð >ð >ð48Sð 8Sð 8Sðvð ð ð.1ð 1ð 1ð4Xð Xð Xðð ð ð6#ð #ð #ðN 9:ð3ð 3ð 3ð 3ð@ „×ÒØàØ3ØØ)ð	ñô ð „×Ò˜Ð"GÈÐ!RÑSÔSðð ñ TÔSñô ððCð Cð Cð „×Ò˜ mÑ4Ô4Ø„×Ò˜ jÑ1Ô1Ø„×Ò˜¨¨¨q©¬Ñ2Ô2ðð ñ 3Ô2ñ 2Ô1ñ 5Ô4ððð ð ð*4ð 4ð 4ðnLð Lð Lð  „×ÒØà	ˆˆÐ$Ð$Ð$Ð%Ø	ˆˆÐ%Ð%Ð%Ð&Ð'Ø
ˆ)ˆ)ˆÐ&Ð&Ð&Ð'ðñô ð(ð (ñô ð(ð(ð (ð (ðV „×Ò˜¨.Ñ9Ô9ðð ñ :Ô9ðð9ð 9ð 9ð 	Pð 	Pð 	Pð)ð )ð )ðUð Uð Uðð ð ð(ð ð ð$ð $ð $ð=ð =ð =ð „×Ò˜¨¨u¨Ñ6Ô6ð#Vð #Vñ 7Ô6ð#VðL!ð !ð !ð*ð *ð *ð-ð -ð -ð 
ð 
ð 
ð4 „×ÒØà	ˆˆ�q˜$ÐØ	ˆˆ�q˜#ÐØ	ˆˆ�q˜$Ððñô ð
.ð 
.ñô ð
.ð „×ÒØà	ˆŒ�.�.�.Ñ	!Ô	! 1 aÐ(Ø	ˆŒ�.�.�.Ñ	!Ô	! 1 cÐ*Ø	ˆŒ�.�.�.Ñ	!Ô	! 1 aÐ(Ø	ˆŒÐ&Ð&Ð&Ñ	'Ô	'¨¨AÐ.Ø	ˆŒÐ&Ð&Ð&Ñ	'Ô	'¨¨CÐ0Ø	ˆŒÐ&Ð&Ð&Ñ	'Ô	'¨¨AÐ.ðñ
ô 
ð	;ð 	;ñ
ô 
ð	;ð „×ÒØ à	ˆŒ�,�,�,Ñ	Ô	  | | |Ð4Ø	ˆŒ�,�,�,Ñ	Ô	  l l lÐ3Ø	ˆŒ�,�,�,Ñ	Ô	  l l lÐ3Ø	ˆŒÐ&Ð&Ð&Ñ	'Ô	'¨Ð/CÐ/CÐ/CÐDð	ñô ð „×ÒÐ,¨t°U¨mÑ<Ô<ð.ð .ñ =Ô<ñô ð.ð&+ð +ð +ð& „×ÒØà	ˆˆ�q˜$ÐØ	ˆˆ�q˜#ÐØ	ˆˆ�q˜!Ððñô ð
Sð 
Sñô ð
Sð „×ÒØà	ˆˆ�qÐØ	ˆˆ�qÐðñô ðð ñô ðð$ „×ÒØ"ð ˆOˆOà��Ø��Ø��Ø��ð	ð ØGð
	
ð ˆLˆLà��Ø��Ø��Ø��ð	ð ð+ð	
ð !Ð Ð à��Ø��Ø��Ø��ð	ð !Ð Ð Ø0ð
	
ð !Ð Ð à��Ø��Ø��Ø��ð	ð ˆOˆOØ1ð
	
ð ˆLˆLà��Ø��Ø��Ø��ð	ð ˆLˆLð ð	
ð ˆLˆLà��Ø��Ø��Ø��ð	ð ˆIˆIØAð
	
ð �ˆFØˆ_ˆ_˜o˜o˜oÐ.ØðWð	
ðKNñQô QðdBð BñeQô QðdBð
 „×Ò˜¨.Ñ9Ô9ð*ð *ñ :Ô9ð*ð „×ÒØÐ&¨	Ð3IÈ9ÐUñô ð „×ÒØÐCÐCÐCñô ð.ð .ñô ñô ð.ð(#ð #ð #ð
ð 
ð 
ð 
ð 
rM   