{"id":204,"date":"2017-03-06T13:39:36","date_gmt":"2017-03-06T12:39:36","guid":{"rendered":"http:\/\/pageperso.math.univ-toulouse.fr\/mllaw\/?page_id=204"},"modified":"2017-04-06T11:15:34","modified_gmt":"2017-04-06T10:15:34","slug":"explicabilite-des-decisions-algorithmiques","status":"publish","type":"page","link":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/home\/statisticien\/explicabilite-des-decisions-algorithmiques\/","title":{"rendered":"Explicabilit\u00e9 des d\u00e9cisions algorithmiques"},"content":{"rendered":"<h2>Contexte juridique<\/h2>\n<p>La l\u00e9gislation fran\u00e7aise (Loi pour une r\u00e9publique num\u00e9rique)\u00a0 imposent de devoir <em>expliquer <\/em>une <em>d\u00e9cision administrative<\/em> obtenue par un traitement automatique. Le <a href=\"https:\/\/www.legifrance.gouv.fr\/eli\/decret\/2017\/3\/14\/PRMJ1632786D\/jo\/texte\">d\u00e9cret d&#8217;application<\/a> semble tr\u00e8s contraignant sur la pr\u00e9cision de celle-ci. De son c\u00f4t\u00e9 le r\u00e8glement europ\u00e9en imposera la n\u00e9cesit\u00e9 d&#8217;une explication, m\u00eame pour un <em>profilage<\/em>, lorsque la <em>personne physique <\/em>qui est<em> impact\u00e9e <\/em>le demande. Cela peut concerner l&#8217;emploi, l&#8217;\u00e9ducation, la sant\u00e9, l&#8217;assurance, le traitement judiciaire, un emprunt&#8230; de cette personne.<\/p>\n<p>Le r\u00e8glement europ\u00e9en ne pr\u00e9cise pas un <em>niveau d&#8217;explication<\/em> alors que, sch\u00e9matiquement, deux situations peuvent \u00eatre caract\u00e9ris\u00e9es.<\/p>\n<h2>D\u00e9finitions : explicabilit\u00e9 <em>vs.<\/em> interpr\u00e9tabilit\u00e9<\/h2>\n<ol>\n<li>Une <strong>d\u00e9cision algorithmique<\/strong> est dite <strong>explicable<\/strong> s&#8217;il est possible d&#8217;en rendre compte explicitement \u00e0 partir de donn\u00e9es et caract\u00e9ristiques connues de la situation. Autrement dit, s&#8217;il est possible de <em>mettre en relation<\/em> les valeurs prises par certaines variables (les caract\u00e9ristiques) et leurs cons\u00e9quences\u00a0 sur la pr\u00e9vision, par exemple d&#8217;un score, et ainsi sur la d\u00e9cision.<\/li>\n<li>Une <strong>d\u00e9cision algorithmique<\/strong> est dite <strong>interpr\u00e9table<\/strong> s&#8217;il est possible d&#8217;identifier les caract\u00e9ristiques ou variables qui participent le plus \u00e0 la d\u00e9cision, voire m\u00eame d&#8217;en <em>quantifier l&#8217;importance<\/em>.<\/li>\n<\/ol>\n<h2>D\u00e9cision par apprentissage machine<\/h2>\n<p>Les algorithmes concern\u00e9s sont bas\u00e9s sur des m\u00e9thodes \u00e0 l&#8217;interface entre disciplines Math\u00e9matiques (Statistique) et Informatique (Intelligence Artificielle) et sont d&#8217;une tr\u00e8s grande diversit\u00e9. Les <a title=\"M\u00e9thodes d\u2019Apprentissage Machine\" href=\"http:\/\/perso.math.univ-toulouse.fr\/mllaw\/methodes-dapprentissage-machine\/\">m\u00e9thodes d&#8217;apprentissage<\/a> peuvent \u00eatre structur\u00e9es en deux groupes selon qu&#8217;elles conduisent, par construction, \u00e0 un <em>mod\u00e8le explicite<\/em> ou \u00e0 une <em>bo\u00eete noire<\/em>.<\/p>\n<ul>\n<li>Dans le cas d&#8217;un <em>mod\u00e8le explicite<\/em> (<a title=\"mod\u00e8le gaussien\" href=\"http:\/\/wikistat.fr\/pdf\/st-m-app-select.pdfhttp:\/\/\">mod\u00e8le gaussien<\/a>, <a title=\"mod\u00e8le binomial\" href=\"http:\/\/wikistat.fr\/pdf\/st-m-app-rlogit.pdf\" target=\"_blank\">binomial<\/a>, <a title=\"arbre binaire\" href=\"http:\/\/wikistat.fr\/pdf\/st-m-app-cart.pdf\" target=\"_blank\">arbre binaire de d\u00e9cision<\/a>,&#8230;) et sauf si celui-ci est trop complexe (trop de param\u00e8tres), la d\u00e9cision qui en d\u00e9coule est <em>explicable<\/em>.<\/li>\n<li>La grande majorit\u00e9 des autres m\u00e9thodes et algorithmes d&#8217;apprentissage (<a title=\"k-pp\" href=\"http:\/\/wikistat.fr\/pdf\/st-m-app-add.pdf\" target=\"_blank\"><em>k<\/em>-plus proches voisins<\/a>, <a title=\"neurones\" href=\"http:\/\/wikistat.fr\/pdf\/st-m-app-rn.pdf\" target=\"_blank\">r\u00e9seaux de neurones<\/a>,<a title=\"SVM\" href=\"http:\/\/wikistat.fr\/pdf\/st-m-app-svm.pdf\" target=\"_blank\"> machines \u00e0 vecteurs supports<\/a>, <a title=\"agreg\" href=\"http:\/\/wikistat.fr\/pdf\/st-m-app-agreg.pdf\" target=\"_blank\">agr\u00e9gation de mod\u00e8les<\/a>,&#8230;) sont des <em>bo\u00eetes noires<\/em> avec n\u00e9anmoins la possibilit\u00e9 de construire des indicateurs d&#8217;<em>importance des variables<\/em>.<\/li>\n<\/ul>\n<p>Dans le premier cas, le choix <em>a priori<\/em> d&#8217;un type de m\u00e9thode ou de mod\u00e8le conduit \u00e0 une possibilit\u00e9 d\u2019explication de la d\u00e9cision. Dans le 2\u00e8me cas, une fois d\u00e9termin\u00e9e la m\u00e9thode conduisant \u00e0 la meilleure pr\u00e9vision, des indicateurs d&#8217;importance sont calcul\u00e9s, <em>a post\u00e9riori. <\/em><\/p>\n<p>Par construction, une <em>d\u00e9cision explicable est interpr\u00e9table<\/em>. Mais, dans le cas d&#8217;un <em>algorithme opaque<\/em>, il devient impossible de mettre simplement en relation des valeurs ou des caract\u00e9ristiques avec le r\u00e9sultat de la d\u00e9cision, notamment en cas de mod\u00e8le non lin\u00e9aire ou avec interactions. Telle valeur \u00e9lev\u00e9e d&#8217;une variable peut conduire \u00e0 une d\u00e9cision\u00a0 dans un sens ou dans un autre selon la valeur prise par une une autre variable non identifiable, voire m\u00eame une combinaison complexe d&#8217;autres variables.<\/p>\n<h2>\u00a0Mise en \u0152uvre<\/h2>\n<p>Entre les deux strat\u00e9gies, explicabilit\u00e9 <em>vs.<\/em> interpr\u00e9tabilit\u00e9, tout est question d&#8217;objectif et de recherche d&#8217;un <em>meilleur compromis<\/em>\u00a0 entre niveau de compr\u00e9hension et\u00a0 <a title=\"qualit\u00e9\" href=\"http:\/\/perso.math.univ-toulouse.fr\/mllaw\/qualite-de-prevision\/\"><em>qualit\u00e9 de pr\u00e9vision<\/em><\/a>.<\/p>\n<p>Si l\u2019<em>explication est privil\u00e9gi\u00e9e<\/em>, la strat\u00e9gie consiste \u00e0 recherche le mod\u00e8le explicable d\u00e9gradant le moins possible la qualit\u00e9 de pr\u00e9vision. Voir par exemple les efforts de\u00a0Lakkaraju et Rudin (2016).<\/p>\n<p>Si une qualit\u00e9 n\u00e9cessaire de pr\u00e9vision n&#8217;est atteinte que par une algorithme opaque, quantifier l<em>&#8216;importance des variables<\/em> ou caract\u00e9ristiques. C&#8217;\u00e9tait d\u00e9j\u00e0 une proposition de Breiman (2001) pour l&#8217;algorithme des for\u00eats al\u00e9atoires, elle est reprise pour l&#8217;algorithme plus r\u00e9cent d&#8217;<em>extreme gradient boosting<\/em> (Chen et Guestrin, 2016). Data et al.\u00a0 (2016) proposent un autre crit\u00e8re, mais applicable \u00e0 toute m\u00e9thode d&#8217;apprentissage, en vue du m\u00eame objectif d&#8217;aide \u00e0 l&#8217;interpr\u00e9tation.<\/p>\n<h2>Question<\/h2>\n<p>Quel est le niveau d&#8217;interpr\u00e9tabilit\u00e9 ou d&#8217;explicabilit\u00e9 demand\u00e9 \u00e0 une d\u00e9cision algorithmique?<\/p>\n<p>Le <a href=\"https:\/\/www.legifrance.gouv.fr\/eli\/decret\/2017\/3\/14\/PRMJ1632786D\/jo\/texte\">d\u00e9cret d&#8217;application<\/a> de la loi pour une R\u00e9publique Num\u00e9rique demande de fournir les informations suivantes si elle ne sont pas prot\u00e9g\u00e9es par la loi:<\/p>\n<ol>\n<li>Le degr\u00e9 et le mode de contribution du traitement algorithmique \u00e0 la prise de d\u00e9cision ;<\/li>\n<li>Les donn\u00e9es trait\u00e9es et leurs sources ;<\/li>\n<li>Les param\u00e8tres de traitement et, le cas \u00e9ch\u00e9ant, leur pond\u00e9ration, appliqu\u00e9s \u00e0 la situation de l&#8217;int\u00e9ress\u00e9 ;<\/li>\n<li>Les op\u00e9rations effectu\u00e9es par le traitement<\/li>\n<\/ol>\n<p>En r\u00e9sum\u00e9, il semble bien qu&#8217;une d\u00e9cision administrative en France concernant une personne physique ne puisse pas se baser sur un algorithme d&#8217;apprentissage\u00a0 opaque.<\/p>\n<p>Le r\u00e8glement europ\u00e9en ne le pr\u00e9cise pas. Qu&#8217;en sera-t-il de la jurisprudence?<\/p>\n<h2>R\u00e9f\u00e9rences<\/h2>\n<div>Breiman L. (2001). <a title=\"random forest\" href=\"http:\/\/www.stat.berkeley.edu\/~breiman\/randomforest2001.pdf\">Random forest<\/a>, <em>Machine Learning<\/em>., 4 pp 5-32.<\/div>\n<div>Chen T., Guestrin C. (2016). <a title=\"xgboost\" href=\"https:\/\/arxiv.org\/pdf\/1603.02754.pdf\">XGBoost: A Scalable Tree Boosting System<\/a>. In 22nd SIGKDD Conference on Knowledge Discovery and Data Mining.<\/div>\n<div>Datta A., Sen S.,\u00a0 Zick Y. (2016). <a title=\"QII\" href=\"https:\/\/www.ieee-security.org\/TC\/SP2016\/papers\/0824a598.pdf\">Algorithmic Transparency via Quantitative Input Influence:<\/a> Theory and Experiments with Learning Systems, <em>IEEE Symposium<\/em> on Security and Privacy.<\/div>\n<div>Lakkaraju H. et Rudin C. (2016). <a title=\"C. Rudin\" href=\"http:\/\/www.mlandthelaw.org\/papers\/lakkaraju.pdf\">Learning Cost-Effective and Interpretable Treatment Regimes for Judicial Bail Decisions<\/a>, <em>NIPS<\/em>, Barcelone.<\/div>\n","protected":false},"excerpt":{"rendered":"<p>Contexte juridique La l\u00e9gislation fran\u00e7aise (Loi pour une r\u00e9publique num\u00e9rique)\u00a0 imposent de devoir expliquer une d\u00e9cision administrative obtenue par un traitement automatique. Le d\u00e9cret d&#8217;application semble tr\u00e8s contraignant sur la pr\u00e9cision de celle-ci. De son c\u00f4t\u00e9 le r\u00e8glement europ\u00e9en imposera la n\u00e9cesit\u00e9 d&#8217;une explication, m\u00eame pour un profilage, lorsque la personne physique qui est impact\u00e9e [&hellip;]<\/p>\n","protected":false},"author":177,"featured_media":0,"parent":44,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"template-full-width.php","meta":{"footnotes":""},"class_list":["post-204","page","type-page","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/pages\/204","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/users\/177"}],"replies":[{"embeddable":true,"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/comments?post=204"}],"version-history":[{"count":13,"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/pages\/204\/revisions"}],"predecessor-version":[{"id":290,"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/pages\/204\/revisions\/290"}],"up":[{"embeddable":true,"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/pages\/44"}],"wp:attachment":[{"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/media?parent=204"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}