Contexte juridique

Il n’y a pas d’obligation légale, si ce n’est morale, à ce qu’une décision algorithmique soit juste. Pour une décision basée sur une méthode d’apprentissage, sa justesse dépend de la qualité de prévision de la méthode utilisée sur les données concernées.

Estimation de l’erreur de prévision

Une erreur de prévision est soumise à de nombreux facteurs dont ceux primordiaux de la qualité et de la représentativité des données utilisées dans la base d’apprentissage du modèle. La qualité d’un modèle ou d’un algorithme est mesurée en estimant une erreur de prévision, par exemple sur un échantillon test, indépendant de l’échantillon d’apprentissage. Plusieurs critères ou mesures sont possibles dépendant tout d’abord de la nature de la variable à modéliser, prévoir. En voici des exemples.

• variable quantitative: erreur quadratique moyenne (MSE), erreur absolue moyenne (MAE)…
• Variable qualitative à plusieurs classes: taux d’erreur, entropie…
• Variable qualitative à deux classes: taux d’erreur, score de Pierce ou autre adapté à des classes déséquilibrées, entropie, courbe ROC (receiver operating characteristic) et aire sous cette courbe (AUC)…

Une pratique courante consiste à partager une échantillon en deux parties, l’une d’apprentissage (training set) l’autre de test. Un modèle est estimé et optimisé (valeurs des paramètres de complexité), par exemple par validation croisée, sur la partie d’apprentissage. Ce modèle est ensuite utilisé pour prévoir l’échantillon test afin de calculer, estimer l’erreur de prévision ou le score choisi. Cette séparation: apprentissage et test est indispensable pour éviter un biais optimiste dans l’évaluation de l’erreur et un risque de sur-apprentissage.

Si l’échantillon test est petit, cette procédure de séparation aléatoire apprentissage / test  est répétée puis les erreurs obtenues moyennées; il s’agit d’une procédure de validation croisée dite Monte Carlo.

Impact de l’erreur

La qualité de prévision impacte directement la confiance que l’on peut accorder une décision qui en découle. Les grands succès obtenus par des algorithmes d’apprentissage, notamment « profonds » (deep learning) pour la reconnaissance d’images, le jeu de GO (AlphaGo) sont largement médiatisés mais ne doivent pas faire oublier les fiascos en lien avec la prévision de comportements humains. La connaissance du risque d’erreur associé doit alors permettre de relativiser, discuter, remettre en cause, une décision algorithmique. Cette quantité impacte par ailleurs le choix de méthode et par là son niveau d’interprétabililté ou d’explicabilité; elle impacte également le biais discriminatoire qui peut en découler.

Questions

La marge d’erreur d’une prévision est à traiter de façon analogue à celle des intervalles de confiance dans les sondages.  S’il paraît impossible d’exiger que le risque d’une décision soit inférieur à un certain seuil, la loi ou son décret d’application pourrait obliger d’associer l’explication d’une décision à la démarche entreprise pour l’apprendre ainsi qu’à celle mise en œuvre pour estimer l’erreur qui y est attachée.