{"id":254,"date":"2017-04-04T13:46:01","date_gmt":"2017-04-04T12:46:01","guid":{"rendered":"http:\/\/pageperso.math.univ-toulouse.fr\/mllaw\/?page_id=254"},"modified":"2017-04-05T08:56:46","modified_gmt":"2017-04-05T07:56:46","slug":"mesures-de-discrimination","status":"publish","type":"page","link":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/home\/statisticien\/biais-dune-decision\/mesures-de-discrimination\/","title":{"rendered":"Mesures de discrimination"},"content":{"rendered":"<p>La litt\u00e9rature propose beaucoup de fa\u00e7ons de mesurer le <em>biais d&#8217;une d\u00e9cision<\/em> (positive ou n\u00e9gative) vis \u00e0 vis de personnes appartenant ou non \u00e0 un <em>groupe <\/em>g\u00e9n\u00e9ralement une minorit\u00e9 prot\u00e9g\u00e9e par la loi. Un type de mesure &#8220;individuelle&#8221; s&#8217;int\u00e9resse au voisinage au sens des <em>k<\/em> plus proches voisins d&#8217;un individu afin de d\u00e9tecter une situation atypique. N\u00e9anmoins cet individu peut \u00eatre entour\u00e9 de ceux appartenant au m\u00eame groupe prot\u00e9g\u00e9\u00a0 et tous ne b\u00e9n\u00e9ficiant pas \u00e0 tort d&#8217;une d\u00e9cision positive. Il est plus informatif de consid\u00e9rer une mesure collective ou statistique de la discrimination bas\u00e9e sur une <em>table de contingence<\/em>.<\/p>\n<h2>Table de contingence<\/h2>\n<p>Cette matrice est obtenue par le croisement des deux variables:<\/p>\n<ul>\n<li>Appartenance \u00e0 un groupe prot\u00e9g\u00e9 <em>Oui<\/em> ou <em>Non<\/em> par la loi.<\/li>\n<li>Obtention d&#8217;une d\u00e9cision <em>Positive<\/em> (cr\u00e9dit, emploi, bourse&#8230;) ou <em>N\u00e9gative<\/em>.<\/li>\n<\/ul>\n<table>\n<tbody>\n<tr>\n<td><\/td>\n<td>D\u00e9cision<\/td>\n<\/tr>\n<tr>\n<td>Prot\u00e9g\u00e9<\/td>\n<td>N\u00e9gative<\/td>\n<td>Positive<\/td>\n<\/tr>\n<tr>\n<td>Oui<\/td>\n<td><em>a<\/em><\/td>\n<td><em>b<\/em><\/td>\n<td><em>n1<\/em><\/td>\n<\/tr>\n<tr>\n<td>Non<\/td>\n<td><em>c<\/em><\/td>\n<td><em>d<\/em><\/td>\n<td><em>n2<\/em><\/td>\n<\/tr>\n<tr>\n<td><\/td>\n<td><em>m1<\/em><\/td>\n<td><em>m2<\/em><\/td>\n<td><em>n<\/em><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p><strong>Marges<\/strong>: <em>n1=a+b ; n2=c+d ; n=n1+n2=m1+m2<\/em><\/p>\n<p><strong>Proportions<\/strong>: <em>p1=a\/n1 ; p2=c\/n2 ; p=m1\/n<\/em><\/p>\n<h2>Mesures simples de discrimination<\/h2>\n<p>Pedreschi et al. (2012)<\/p>\n<ul>\n<li>Diff\u00e9rence de risque: <strong>DR<\/strong>=p1-p2<\/li>\n<li>Risque relatif: <strong>RR<\/strong>=p1\/p2<\/li>\n<li>Chance relative : <strong>CR<\/strong>=(1-p1)\/(1-p2)<\/li>\n<li>Rapport de cote: <strong>RR\/CR<\/strong> (<em>odds ratio<\/em>)<\/li>\n<\/ul>\n<p>La loi du Royaume-Uni mentionne le DR, la Court de Justice europ\u00e9enne le RR tandis que les courts de justice des USA s&#8217;int\u00e9ressent aux taux de s\u00e9lection <em>(1-p1)<\/em> et <em>(1-p2).<\/em><\/p>\n<h2>Mesures \u00e9tendues et autres mesures<\/h2>\n<p>Comparer le groupe prot\u00e9g\u00e9 \u00e0 l&#8217;\u00e9chantillon total.<\/p>\n<ul>\n<li>Diff\u00e9rence de risque \u00e9tendu: <em>(p1-p)<\/em><\/li>\n<li>Rapport de risque \u00e9tendu ou &#8220;extended lift&#8221;: <em>(p1\/p)<\/em><\/li>\n<li>Chance \u00e9tendue: <em>(1-p1)\/(1-p)<\/em><\/li>\n<li>Autres mesures (\u017dliobait\u0117, 2015): diff\u00e9rences de moyennes, de coefficients de r\u00e9gression, tests de rangs, information mutuelle, comparaison de pr\u00e9visions.<\/li>\n<\/ul>\n<p><em>N.B. <\/em>Ces mesures ne prennent pas en compte la <a title=\"Qualit\u00e9 de pr\u00e9vision\" href=\"http:\/\/perso.math.univ-toulouse.fr\/mllaw\/home\/statisticien\/qualite-de-prevision\/\">qualit\u00e9 de pr\u00e9vision<\/a> qui est en fait au c\u0153ur de la <a href=\"https:\/\/www.propublica.org\/series\/machine-bias\">controverse<\/a> entre la soci\u00e9t\u00e9 Northpointe et le site Propublica. L\u2019estimation de cette qualit\u00e9 repose sur la notion de matrice de confusion qui croise la variable pr\u00e9voyant (Oui ou Non) la r\u00e9cidive avec celle de l&#8217;observation r\u00e9elle de la r\u00e9cidive sur un \u00e9chantillon test.<\/p>\n<h2>R\u00e9sum\u00e9 de la controverse Propublica <em>vs.<\/em> Northpointe<\/h2>\n<p>La soci\u00e9t\u00e9 <a href=\"http:\/\/www.northpointeinc.com\/files\/publications\/Criminal-Justice-Behavior-COMPAS.pdf\">Northpoine<\/a> commercialise un logiciel (Correctional Offender Management Profile for Alternative Sanction) qui estime un <a href=\"http:\/\/www.northpointeinc.com\/files\/publications\/Criminal-Justice-Behavior-COMPAS.pdf\">score ou probabilit\u00e9 de r\u00e9cidive<\/a> (entre 0 et 1) sur la base d&#8217;un questionnaire\u00a0 d\u00e9taill\u00e9 et \u00e0 partir d&#8217;un mod\u00e8le de dur\u00e9e de vie (mod\u00e8le de Cox).\u00a0 La soci\u00e9t\u00e9 Northpointe d\u00e9fend l&#8217;impartialit\u00e9 de ce score en assurant que<\/p>\n<ul>\n<li>les distributions de ses valeurs (donc les taux de s\u00e9lection) sont analogues selon l&#8217;origine (afro-am\u00e9ricaine, caucasienne) des accus\u00e9s,<\/li>\n<li>le taux d&#8217;erreur sur la pr\u00e9vision d&#8217;une r\u00e9cidive (matrice de confusion) qui en d\u00e9coule est analogue selon l&#8217;origine (autour de 40%).<\/li>\n<\/ul>\n<p>La qualit\u00e9 de ce score est optimis\u00e9e, mesur\u00e9e, par le coefficient AUC (aire sous la courbe ROC) approximativement autour de 0.7, valeur assez faible correspondant aux taux d&#8217;erreurs \u00e9lev\u00e9s observ\u00e9s.<\/p>\n<p>Angwin et al. (2016) du site <a href=\"https:\/\/www.propublica.org\/article\/how-we-analyzed-the-compas-recidivism-algorithm\">Propublica<\/a> d\u00e9noncent un biais du score COMPAS en \u00e9tudiant une cohorte de d\u00e9tenus lib\u00e9r\u00e9s pour lesquels sont connus le score de r\u00e9cidive (COMPAS) ainsi que l&#8217;observation ou non d&#8217;une arrestation sur une p\u00e9riode de deux ans. Ils montrent alors que le<em> taux de faux positifs, <\/em>qui correspond dans la matrice de confusion \u00e0 un score \u00e9lev\u00e9 mais sans r\u00e9cidive observ\u00e9e, est beaucoup plus \u00e9lev\u00e9 pour les lib\u00e9r\u00e9s d&#8217;origine afro-am\u00e9ricaine que pour ceux d&#8217;origine caucasienne.<\/p>\n<p>Pour expliquer l&#8217;impasse de cette controverse, Chouldechova (2016) montre que sous les contraintes de &#8220;loyaut\u00e9&#8221; contr\u00f4l\u00e9es par Northpointe et sachant que le taux de r\u00e9cidive des afro-am\u00e9ricains est effectivement plus \u00e9lev\u00e9 alors, n\u00e9cessairement, les taux de faux positifs \/ n\u00e9gatifs ne peuvent \u00eatre que d\u00e9s\u00e9quilibr\u00e9s au d\u00e9triment des afro-am\u00e9ricains et c&#8217;est d&#8217;autant plus manifeste que le taux d&#8217;erreur (40%) est \u00e9lev\u00e9.<\/p>\n<h2>\u00a0R\u00e9f\u00e9rences<\/h2>\n<p>J. Angwin, J. Larson, S. Mattu, L.\u00a0 Kirchner (2016). <a href=\"https:\/\/www.propublica.org\/article\/how-we-analyzed-the-compas-recidivism-algorithm\">How\u00a0 we\u00a0 analyzed\u00a0 the<\/a><br \/>\n<a href=\"https:\/\/www.propublica.org\/article\/how-we-analyzed-the-compas-recidivism-algorithm\">compas\u00a0 recidivism\u00a0 algorithm<\/a>. Propublica.<\/p>\n<p>A. Chouldechova (2016). <a href=\"https:\/\/arxiv.org\/pdf\/1610.07524.pdfhttp:\/\/\">Fair prediction with disparate impact: A study of bias in recidivism prediction instruments<\/a>, arXiv pre-print.<\/p>\n<p>D. Pedreschi, S. Ruggieri, F. Turini (2012). <a href=\"http:\/\/dl.acm.org\/citation.cfm?doid=2245276.2245303\">A Study of Top-K Measures for Discrimination Discovery<\/a>. SAC. Proceedings of the 27th Annual ACM Symposium on Applied Computing, Pages 126-131.<\/p>\n<p>I. \u017dliobait\u0117 (2015). <a href=\"https:\/\/arxiv.org\/pdf\/1511.00148.pdf\">A survey on measuring indirect discrimination in machine learning<\/a>. arXiv pre-print.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>La litt\u00e9rature propose beaucoup de fa\u00e7ons de mesurer le biais d&#8217;une d\u00e9cision (positive ou n\u00e9gative) vis \u00e0 vis de personnes appartenant ou non \u00e0 un groupe g\u00e9n\u00e9ralement une minorit\u00e9 prot\u00e9g\u00e9e par la loi. Un type de mesure &#8220;individuelle&#8221; s&#8217;int\u00e9resse au voisinage au sens des k plus proches voisins d&#8217;un individu afin de d\u00e9tecter une situation [&hellip;]<\/p>\n","protected":false},"author":177,"featured_media":0,"parent":230,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"template-full-width.php","meta":{"footnotes":""},"class_list":["post-254","page","type-page","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/pages\/254","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/users\/177"}],"replies":[{"embeddable":true,"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/comments?post=254"}],"version-history":[{"count":8,"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/pages\/254\/revisions"}],"predecessor-version":[{"id":274,"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/pages\/254\/revisions\/274"}],"up":[{"embeddable":true,"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/pages\/230"}],"wp:attachment":[{"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/media?parent=254"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}