{"id":230,"date":"2017-03-06T17:16:28","date_gmt":"2017-03-06T16:16:28","guid":{"rendered":"http:\/\/pageperso.math.univ-toulouse.fr\/mllaw\/?page_id=230"},"modified":"2017-04-06T11:17:19","modified_gmt":"2017-04-06T10:17:19","slug":"biais-dune-decision","status":"publish","type":"page","link":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/home\/statisticien\/biais-dune-decision\/","title":{"rendered":"Biais d&#8217;une d\u00e9cision"},"content":{"rendered":"<h2>Introduction<\/h2>\n<h3>Contexte juridique<\/h3>\n<p>La r\u00e8glement europ\u00e9en interdit (confidentialit\u00e9) l&#8217;enregistrement de <em>donn\u00e9es personnelles sensibles<\/em> et demande aux responsables de d\u00e9cision de s&#8217;assurer que celles-ci ne pr\u00e9sentent pas de caract\u00e8res discriminatoires vis \u00e0 vis des ces caract\u00e9ristiques.<\/p>\n<p>Les questions de discrimination et confidentialit\u00e9 sont li\u00e9es. La l\u00e9gislation sur la confidentialit\u00e9 s&#8217;int\u00e9resse aux actes : enregistrement d&#8217;une information personnelle ind\u00e9pendamment des cons\u00e9quences, tandis que celle sur la discrimination se focalise sur les cons\u00e9quences ind\u00e9pendamment des moyens.<\/p>\n<h3>D\u00e9finitions<\/h3>\n<p>Par opposition \u00e0 <em>discriminatoire<\/em>, une d\u00e9cision est dite <em>loyale<\/em> si elle ne se base par sur l&#8217;appartenance d&#8217;une personne \u00e0 une minorit\u00e9 ou la connaissance <em>explicite<\/em> ou <em>implicite<\/em> d&#8217;une donn\u00e9e personnelle sensible.<\/p>\n<p>En effet, il ne suffit pas que la variable &#8220;sensible&#8221; soit inconnues ou supprim\u00e9es des donn\u00e9es d&#8217;apprentissage pour que la d\u00e9cision soit sans biais vis-\u00e0-vis de ses modalit\u00e9s. Il reste\u00a0 souvent possible de reconstruire ou pr\u00e9voir la variable sensible \u00e0 partir des autres donn\u00e9es qui ne sont pas jug\u00e9es sensibles.<\/p>\n<p>Ces questions concernant la caract\u00e8re discriminatoire ou le<em> biais<\/em> d&#8217;une d\u00e9cision est tr\u00e8s bien illustr\u00e9 par la controverse entre le site <a title=\"Propublica\" href=\"https:\/\/www.propublica.org\/\" target=\"_blank\">Propublica<\/a> et la soci\u00e9t\u00e9 <a title=\"Northpointe\" href=\"http:\/\/www.northpointeinc.com\/\" target=\"_blank\">Northpointe<\/a> qui commercialise une application (COMPASS) produisant un score de risque de r\u00e9cidive pour les d\u00e9tenus. Propublica accuse ce <a title=\"Score Biais\u00e9\" href=\"https:\/\/www.propublica.org\/article\/machine-bias-risk-assessments-in-criminal-sentencing\" target=\"_blank\">score d&#8217;\u00eatre biais\u00e9<\/a>, d\u00e9favorable aux personnes d&#8217;origine afro-am\u00e9ricaines.<\/p>\n<h3>Sources<\/h3>\n<p>Cette controverse a suscit\u00e9 de nombreux articles venant renforcer une bibliographie d\u00e9j\u00e0 pr\u00e9sente sur le sujet depuis une dizaine d&#8217;ann\u00e9es avec des sessions de conf\u00e9rence d\u00e9di\u00e9es aux liens entre loi, \u00e9thique\u00a0 et m\u00e9thodes d&#8217;apprentissage machine dont celles\u00a0 de<a title=\"NIPS\" href=\"http:\/\/www.mlandthelaw.org\/\"> NIPS<\/a> ou\u00a0 <a href=\"http:\/\/www.kdd.org\/kdd2016\/\">KDD<\/a> (Knowledge Discovery and Data mining). Cette derni\u00e8re proposait un cours <em><a href=\"http:\/\/francescobonchi.com\/algorithmic_bias_tutorial.html\">Algorithmic Bias from discrimination discovery to fairness-aware data mining<\/a><\/em> (S. Hajian, F. Bonchi et C. Castillo) dont ces pages reprennent quelques uns des \u00e9l\u00e9ments bibliographiques.<\/p>\n<h2>Loyaut\u00e9 des algorithmes<\/h2>\n<p>Les questions pos\u00e9es et difficult\u00e9s rencontr\u00e9es lors de la construction d&#8217;algorithmes loyaux sont directement li\u00e9es aux conditions d&#8217;apprentissage des d\u00e9cisions. En quoi l&#8217;\u00e9chantillon et-il le reflet des biais de la soci\u00e9t\u00e9? Et quoi ce biais est-il pris en compte, appris par l&#8217;algorithme? Voire m\u00eame renforc\u00e9 lorsque, par exemple, une estimation (trop) \u00e9lev\u00e9e d&#8217;un risque de cr\u00e9dit g\u00e9n\u00e8re un taux, donc des remboursements, plus \u00e9lev\u00e9s qui renforcent le risque de d\u00e9faut de paiement.<\/p>\n<p>La premi\u00e8re difficult\u00e9 consiste \u00e0 d\u00e9finir ou choisir une<\/p>\n<ul>\n<li><a title=\"Mesures de discrimination\" href=\"http:\/\/perso.math.univ-toulouse.fr\/mllaw\/mesures-de-discrimination\/\">Mesure de discrimination<\/a><\/li>\n<\/ul>\n<p>parmi la longue liste de celles propos\u00e9es dans la litt\u00e9ratures dont certaines sont plus ou moins adapt\u00e9es aux textes l\u00e9gislatifs des diff\u00e9rents pays.<\/p>\n<p>Une deuxi\u00e8me plus technique et d\u00e9licate r\u00e9side dans la<\/p>\n<ul>\n<li><a title=\"d\u00e9tection de discrimination\" href=\"http:\/\/perso.math.univ-toulouse.fr\/mllaw\/detection-de-discrimination\/\">D\u00e9tection d&#8217;une discrimination<\/a><\/li>\n<\/ul>\n<p>L&#8217;apprentissage\u00a0 d&#8217;un algorithme conduisant \u00e0 une d\u00e9cision sinon loyale, tout du moins pas trop d\u00e9loyale, appara\u00eet comme un compromis entre la <a title=\"Qualit\u00e9 de pr\u00e9vision\" href=\"http:\/\/perso.math.univ-toulouse.fr\/mllaw\/qualite-de-prevision\/\">qualit\u00e9 de pr\u00e9vision<\/a> (justesse de d\u00e9cision) et le biais. A cette fin, plusieurs strat\u00e9gies sont propos\u00e9es dont les deux principales:<\/p>\n<ul>\n<li><a title=\"D\u00e9biaiser l\u2019\u00e9chantillon d\u2019apprentissage\" href=\"http:\/\/perso.math.univ-toulouse.fr\/mllaw\/home\/statisticien\/biais-dune-decision\/debiaiser-lechantillon-dapprentissage\/\">D\u00e9biaiser l&#8217;\u00e9chantillon d&#8217;apprentissage<\/a> ou plut\u00f4t transformer les donn\u00e9es pour assurer une forme d&#8217;ind\u00e9pendance entre les diff\u00e9rents descripteurs des donn\u00e9es et la variable d&#8217;appartenance \u00e0 un groupe.<\/li>\n<li><a title=\"Apprentissage d\u00e9biais\u00e9\" href=\"http:\/\/perso.math.univ-toulouse.fr\/mllaw\/home\/statisticien\/biais-dune-decision\/apprentissage-debiaise\/\">Construire une m\u00e9thode d&#8217;apprentissage loyale <\/a>ou la contraindre \u00e0 plus de &#8220;loyaut\u00e9&#8221;.<\/li>\n<\/ul>\n<p>Toutes ces questions restent des probl\u00e8mes de recherche ouverts et ce d&#8217;autant plus que la d\u00e9tection d&#8217;un biais ou la construction d&#8217;une d\u00e9cision loyale se base sur la connaissance ou non de l&#8217;information sensible et donc censur\u00e9e par la loi. Cette derni\u00e8re question d\u00e9bouche sur la recherche d&#8217;un <em>compromis<\/em> entre trois objectifs de<em> qualit\u00e9, loyaut\u00e9 et confidentialit\u00e9<\/em>.<\/p>\n<p>&nbsp;<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Introduction Contexte juridique La r\u00e8glement europ\u00e9en interdit (confidentialit\u00e9) l&#8217;enregistrement de donn\u00e9es personnelles sensibles et demande aux responsables de d\u00e9cision de s&#8217;assurer que celles-ci ne pr\u00e9sentent pas de caract\u00e8res discriminatoires vis \u00e0 vis des ces caract\u00e9ristiques. Les questions de discrimination et confidentialit\u00e9 sont li\u00e9es. La l\u00e9gislation sur la confidentialit\u00e9 s&#8217;int\u00e9resse aux actes : enregistrement d&#8217;une information [&hellip;]<\/p>\n","protected":false},"author":177,"featured_media":0,"parent":44,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"template-full-width.php","meta":{"footnotes":""},"class_list":["post-230","page","type-page","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/pages\/230","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/users\/177"}],"replies":[{"embeddable":true,"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/comments?post=230"}],"version-history":[{"count":15,"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/pages\/230\/revisions"}],"predecessor-version":[{"id":291,"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/pages\/230\/revisions\/291"}],"up":[{"embeddable":true,"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/pages\/44"}],"wp:attachment":[{"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/media?parent=230"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}