Pourquoi un modèle peut-il obtenir d’excellents scores tout en restant inutile ?
Un modèle peut obtenir d’excellents scores tout en restant inutile s’il est testé sur les données qui ont servi à son entraînement : il peut avoir mémorisé ces exemples au lieu d’apprendre quelque chose qui s’applique à de nouveaux clients.
Imaginez une entreprise fictive de 120 personnes proposant des paniers-repas sur abonnement, Pantrybox. Un analyste, Kofi, construit un modèle pour prédire quels abonnés résilieront le mois prochain, afin que l’équipe de fidélisation puisse les appeler en priorité. Son compte rendu à la responsable de la relation client, Sian, indique : 'Modèle A : 99% d’exactitude !! utilise 85 colonnes, dont l’identifiant client, le code postal, toutes les dates des commandes passées. Modèle B (simple, 2 colonnes) : 69% sur les données d’entraînement, 68% sur les données de test. Modèle A sur les nouvelles données du mois dernier : 71%. Environ 30% des clients résilient chaque mois.' Sian veut savoir quel modèle utiliser et pourquoi celui à 99% a obtenu de si mauvais résultats le mois dernier.
| Modèle | Exactitude sur les données d’entraînement | Exactitude sur les données de test | Ce qu’il suggère |
|---|---|---|---|
| Modèle A, 85 colonnes | 99% | 71% | Surapprentissage : mémorisation des clients des données d’entraînement |
| Modèle B, 2 colonnes | 69% | 68% | Sous-apprentissage : fait à peine mieux que de toujours prédire « reste » |
Comment diagnostiquer le surapprentissage et le sous-apprentissage, pas à pas ?
Diagnostiquez les deux problèmes en comparant les performances sur les données d’entraînement à celles obtenues sur des données que le modèle n’a jamais vues, puis en comparant ces deux résultats à une référence simple. La relation entre ces trois chiffres vous indique à quel problème vous avez affaire.
1. Gardez une partie des données de côté
Avant l’entraînement, mettez de côté un jeu de test que le modèle ne verra jamais. Tester un modèle sur les données qui ont servi à son apprentissage est une erreur élémentaire : un modèle qui se contente de répéter ce qu’il a vu obtient un score parfait sans rien prédire.
2. Établissez une référence de départ
Calculez le score qu’obtiendrait une règle très simple. Chez Pantrybox, environ 70% des clients restent chaque mois ; prédire 'reste' pour tout le monde donne donc un score d’environ 70%. Un modèle utile doit faire nettement mieux.
3. Comparez les données d’entraînement et de test
Un score d’entraînement élevé associé à un score de test nettement inférieur signale un surapprentissage. Des scores faibles sur les deux, proches du niveau de référence, signalent un sous-apprentissage. Des scores similaires et bons sur les deux suggèrent un ajustement raisonnable.
4. Vérifiez la stabilité
La validation croisée entraîne et teste le modèle plusieurs fois sur différentes portions des données d’entraînement, puis calcule la moyenne des résultats. Si les scores varient fortement d’une portion à l’autre, le modèle est fragile.
5. Choisissez une correction adaptée au problème
Le surapprentissage et le sous-apprentissage nécessitent des remèdes opposés : identifiez donc le problème avant de modifier quoi que ce soit.
Comment corriger le surapprentissage et le sous-apprentissage ?
Corrigez le surapprentissage en simplifiant le modèle ou en rendant ses données plus représentatives, et le sous-apprentissage en lui donnant des informations plus utiles ou davantage de souplesse. En termes simples :
Pour le surapprentissage
Supprimez les colonnes qui identifient les personnes plutôt que leur comportement, comme l’identifiant client ; utilisez des données d’entraînement représentatives des clients auxquels vous attribuerez réellement un score ; privilégiez un modèle plus simple ; et appliquez une régularisation, qui pénalise la complexité pendant l’entraînement afin que le modèle privilégie des schémas plus simples.
Pour le sous-apprentissage
Ajoutez des variables pouvant raisonnablement être liées à une résiliation, comme des livraisons sautées, des réclamations récentes ou un changement de prix ; autorisez un modèle plus souple ; et vérifiez que les données ne sont pas si bruitées ou mal étiquetées qu’aucun modèle ne pourrait en tirer des enseignements.
Pour les deux
Gardez le jeu de test intact jusqu’à la fin. Si vous ajustez le modèle à plusieurs reprises en fonction du jeu de test, des informations sont intégrées au modèle et le score de test ne constitue plus une estimation fiable.
À quoi ressemble une décision fondée sur un modèle d’attrition insuffisante ou améliorée ?
La décision peu rigoureuse consiste à choisir le modèle A parce que 99% est le chiffre le plus élevé de la diapositive. En pratique, il fait à peine mieux que le hasard, et l’équipe chargée de la fidélisation perd du temps à appeler des clients qui n’avaient aucune intention de partir.
La décision améliorée est formulée ainsi : « Le modèle A a mémorisé les clients individuellement : il inclut l’identifiant client et les dates exactes des commandes, et a donc reconnu des personnes déjà rencontrées au lieu d’apprendre pourquoi les clients résilient. Le modèle B est trop simple pour dépasser le niveau de référence de 70%. Prochaine étape : le modèle C utilise six variables comportementales, dont les livraisons sautées au cours du dernier mois, les demandes d’assistance et le nombre de semaines depuis le dernier changement de menu, en excluant l’identifiant client et le code postal. Objectif : un score de test nettement supérieur à 70% et à quelques points du score d’entraînement, vérifié par une validation croisée à cinq plis, avant que l’équipe de fidélisation ne s’appuie dessus. » Sian sait désormais pourquoi le modèle à 99% a échoué et ce qu’est un résultat satisfaisant.
Comment vérifier qu’un modèle n’est ni en surapprentissage ni en sous-apprentissage ?
Vérifiez un modèle en confirmant que son score de test est proche de son score d’entraînement, nettement supérieur à celui du modèle de référence et stable d’un pli de validation croisée à l’autre, ainsi que sur un nouveau mois de données. Demandez aussi si certaines variables ne seraient connues qu’après le résultat, comme un motif d’annulation ; il s’agit d’une fuite de données, qui donne aux deux scores une apparence meilleure que les performances réelles du modèle.
Quelles sont les erreurs courantes concernant le surapprentissage et le sous-apprentissage ?
L’erreur la plus courante est de présenter la précision obtenue sur les données d’entraînement comme s’il s’agissait de la précision en conditions réelles. Autres erreurs : ignorer la référence de base, si bien que 70% semble impressionnant alors qu’une simple supposition donne le même résultat ; ajouter toutes les colonnes disponibles dans l’espoir d’améliorer le score ; consulter le jeu de test pendant les réglages ; et voir dans le surapprentissage une raison d’ajouter de la complexité, alors qu’il faut généralement faire l’inverse.
Où se situe cette leçon dans Tosheo.ai ?
Cette leçon appartient à la catégorie Apprentissage automatique et fait suite à l’introduction aux modèles du cours d’apprentissage automatique. Dans Tosheo.ai, l’exercice pratique vous fournit un rapport fictif sur un modèle dont vous devez analyser les problèmes. Le retour fondé sur la grille d’évaluation vérifie que vous avez comparé les résultats d’entraînement, de test et de référence avant de recommander une correction. Elle apporte des bases professionnelles pour collaborer avec les équipes chargées des données ; le parcours facultatif Programmation couvre l’entraînement et l’évaluation de modèles par le code.
Sources et périmètre
Guide d’utilisation de scikit-learn : validation croisée (consulté le 19 October 2026) ↗