{"id":232,"date":"2017-03-06T17:25:23","date_gmt":"2017-03-06T16:25:23","guid":{"rendered":"http:\/\/pageperso.math.univ-toulouse.fr\/mllaw\/?page_id=232"},"modified":"2017-04-05T07:13:46","modified_gmt":"2017-04-05T06:13:46","slug":"qualite-de-prevision","status":"publish","type":"page","link":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/home\/statisticien\/qualite-de-prevision\/","title":{"rendered":"Qualit\u00e9 de pr\u00e9vision"},"content":{"rendered":"<h2>Contexte juridique<\/h2>\n<p>Il n&#8217;y a pas d&#8217;obligation l\u00e9gale, si ce n&#8217;est morale, \u00e0 ce qu&#8217;une d\u00e9cision algorithmique soit <em>juste<\/em>. Pour une d\u00e9cision bas\u00e9e sur une m\u00e9thode d&#8217;apprentissage, sa justesse d\u00e9pend de la <em>qualit\u00e9 de pr\u00e9vision<\/em> de la m\u00e9thode utilis\u00e9e sur les donn\u00e9es concern\u00e9es.<\/p>\n<h2>Estimation de l&#8217;erreur de pr\u00e9vision<\/h2>\n<p>Une <em><a title=\"Qualit\u00e9 de pr\u00e9vision\" href=\"http:\/\/wikistat.fr\/pdf\/st-m-app-risque-estim.pdf\">erreur de pr\u00e9vision<\/a><\/em> est soumise \u00e0 de nombreux facteurs dont ceux primordiaux de la qualit\u00e9 et de la repr\u00e9sentativit\u00e9 des donn\u00e9es utilis\u00e9es dans la base d&#8217;apprentissage du mod\u00e8le. La qualit\u00e9 d&#8217;un mod\u00e8le ou d&#8217;un algorithme est mesur\u00e9e en estimant une erreur de pr\u00e9vision, par exemple sur un <em>\u00e9chantillon test<\/em>, ind\u00e9pendant de l&#8217;\u00e9chantillon d&#8217;apprentissage. Plusieurs crit\u00e8res ou mesures sont possibles d\u00e9pendant tout d&#8217;abord de la nature de la variable \u00e0 mod\u00e9liser, pr\u00e9voir. En voici des exemples.<\/p>\n<ul>\n<li>variable quantitative: erreur quadratique moyenne (<em>MSE<\/em>), erreur absolue moyenne (<em>MAE<\/em>)&#8230;<\/li>\n<li>Variable qualitative \u00e0 plusieurs classes: taux d&#8217;erreur, entropie&#8230;<\/li>\n<li>Variable qualitative \u00e0 deux classes: taux d&#8217;erreur, score de Pierce ou autre adapt\u00e9 \u00e0 des classes d\u00e9s\u00e9quilibr\u00e9es, entropie, courbe ROC (<em>receiver operating characteristic<\/em>) et aire sous cette courbe (<em>AUC<\/em>)&#8230;<\/li>\n<\/ul>\n<p>Une pratique courante consiste \u00e0 partager une \u00e9chantillon en deux parties, l&#8217;une d&#8217;apprentissage (<em>training set<\/em>) l&#8217;autre de test. Un mod\u00e8le est estim\u00e9 et optimis\u00e9 (valeurs des param\u00e8tres de complexit\u00e9), par exemple par <em>validation crois\u00e9e<\/em>, sur la partie d&#8217;apprentissage. Ce mod\u00e8le est ensuite utilis\u00e9 pour pr\u00e9voir l&#8217;\u00e9chantillon test afin de calculer, estimer l&#8217;erreur de pr\u00e9vision ou le score choisi. Cette s\u00e9paration: apprentissage et test est indispensable pour \u00e9viter un <em>biais optimiste<\/em> dans l&#8217;\u00e9valuation de l&#8217;erreur et un risque de sur-apprentissage.<\/p>\n<p>Si l&#8217;\u00e9chantillon test est petit, cette proc\u00e9dure de s\u00e9paration al\u00e9atoire apprentissage \/ test\u00a0 est r\u00e9p\u00e9t\u00e9e puis les erreurs obtenues moyenn\u00e9es; il s&#8217;agit d&#8217;une proc\u00e9dure de validation crois\u00e9e dite <em>Monte Carlo<\/em>.<\/p>\n<h2>Impact de l&#8217;erreur<\/h2>\n<p>La qualit\u00e9 de pr\u00e9vision impacte directement la confiance que l&#8217;on peut accorder une d\u00e9cision qui en d\u00e9coule. Les grands succ\u00e8s obtenus par des algorithmes d&#8217;apprentissage, notamment &#8220;profonds&#8221; (<em>deep learning<\/em>) pour la reconnaissance d&#8217;images, le jeu de GO (<em>AlphaGo<\/em>) sont largement m\u00e9diatis\u00e9s mais ne doivent pas faire oublier les fiascos en lien avec la pr\u00e9vision de comportements humains. La connaissance du risque d&#8217;erreur associ\u00e9 doit alors permettre de relativiser, discuter, remettre en cause, une d\u00e9cision algorithmique. Cette quantit\u00e9 impacte par ailleurs le choix de m\u00e9thode et par l\u00e0 son niveau d&#8217;<a href=\"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/explicabilite-des-decisions-algorithmiques\/\">interpr\u00e9tabililt\u00e9 ou d&#8217;explicabilit\u00e9<\/a>; elle impacte \u00e9galement le <a title=\"biais\" href=\"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/biais-dune-decision\/\">biais discriminatoire<\/a> qui peut en d\u00e9couler.<\/p>\n<h2>Questions<\/h2>\n<p>La marge d&#8217;erreur d&#8217;une pr\u00e9vision est \u00e0 traiter de fa\u00e7on analogue \u00e0 celle des intervalles de confiance dans les sondages.\u00a0 S&#8217;il para\u00eet impossible d&#8217;exiger que le risque d&#8217;une d\u00e9cision soit inf\u00e9rieur \u00e0 un certain seuil, la loi ou son d\u00e9cret d&#8217;application pourrait obliger d&#8217;associer l&#8217;explication d&#8217;une d\u00e9cision \u00e0 la d\u00e9marche entreprise pour l&#8217;apprendre ainsi qu&#8217;\u00e0 celle mise en \u0153uvre pour estimer l&#8217;erreur qui y est attach\u00e9e.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Contexte juridique Il n&#8217;y a pas d&#8217;obligation l\u00e9gale, si ce n&#8217;est morale, \u00e0 ce qu&#8217;une d\u00e9cision algorithmique soit juste. Pour une d\u00e9cision bas\u00e9e sur une m\u00e9thode d&#8217;apprentissage, sa justesse d\u00e9pend de la qualit\u00e9 de pr\u00e9vision de la m\u00e9thode utilis\u00e9e sur les donn\u00e9es concern\u00e9es. Estimation de l&#8217;erreur de pr\u00e9vision Une erreur de pr\u00e9vision est soumise \u00e0 [&hellip;]<\/p>\n","protected":false},"author":177,"featured_media":0,"parent":44,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"template-full-width.php","meta":{"footnotes":""},"class_list":["post-232","page","type-page","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/pages\/232","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/users\/177"}],"replies":[{"embeddable":true,"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/comments?post=232"}],"version-history":[{"count":6,"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/pages\/232\/revisions"}],"predecessor-version":[{"id":271,"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/pages\/232\/revisions\/271"}],"up":[{"embeddable":true,"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/pages\/44"}],"wp:attachment":[{"href":"https:\/\/perso.math.univ-toulouse.fr\/mllaw\/wp-json\/wp\/v2\/media?parent=232"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}