Petit jeu de test, grandes précautions
Avec quelques centaines de lignes, un écart de deux points n'a aucune signification. Il faut donc raisonner en intervalles.
La situation est fréquente chez nos clients : trois ans d'historique de ventes, de consommations ou de stocks, avec des mois manquants, des saisies tardives et un changement de logiciel au milieu. On veut savoir si un modèle de prévision fera mieux que la méthode actuelle. Et l'on dispose, au mieux, de quelques centaines d'observations exploitables.
Pourquoi un chiffre seul ment
Sur un petit jeu de test, le score d'un modèle dépend autant du hasard du découpage que de la qualité du modèle. Changez les lignes qui servent au test, et la précision peut bouger de plusieurs points sans que rien d'autre n'ait changé.
Annoncer « le modèle A atteint 82 % et le modèle B 80 % » revient alors à comparer deux tirages au sort. La seule question honnête est : dans quelle fourchette se situe vraiment la performance de chaque modèle, et ces fourchettes se chevauchent-elles ?
Trois techniques pour raisonner en intervalles
- La validation croisée. Plutôt qu'un seul découpage entre apprentissage et test, on en fait cinq ou dix, et l'on observe la dispersion des scores. Une moyenne accompagnée de son écart dit beaucoup plus qu'un chiffre isolé.
- Le bootstrap. On rééchantillonne le jeu de test des centaines de fois, avec remise, et l'on recalcule le score à chaque fois. On obtient directement un intervalle de confiance, sans hypothèse compliquée.
- La comparaison appariée. Pour comparer deux modèles, on les évalue sur exactement les mêmes cas et l'on regarde, cas par cas, lequel fait mieux. C'est bien plus sensible qu'une comparaison de deux moyennes.
Pour les séries temporelles, une précaution supplémentaire : la validation doit respecter l'ordre du temps. On apprend sur le passé, on teste sur la période qui suit, puis on avance d'un cran. Mélanger les dates revient à laisser le modèle lire l'avenir, et le score obtenu ne vaut rien.
Choisir la bonne mesure d'erreur
Le choix de la métrique compte autant que la méthode. Une erreur moyenne en pourcentage, très répandue, devient absurde dès que certaines valeurs réelles sont proches de zéro : un produit vendu une fois au lieu de deux affiche une erreur de 50 %. Sur des données de stock ou de vente avec beaucoup de petits volumes, une erreur absolue moyenne, exprimée dans l'unité du métier, est souvent plus parlante.
Surtout, la métrique doit refléter le coût réel des erreurs. Prévoir trop bas et tomber en rupture n'a pas les mêmes conséquences que prévoir trop haut et immobiliser du stock. Si les deux erreurs ne coûtent pas la même chose, la mesure ne doit pas les traiter de la même façon.
Les trous dans les données ne sont pas neutres
Un mois manquant n'est presque jamais manquant par hasard. Une rupture de stock, une grève, une panne du système de saisie, un changement d'organisation : la donnée absente raconte souvent quelque chose. La combler par une moyenne, c'est effacer précisément l'événement que le modèle aurait dû apprendre à gérer.
Avant toute modélisation, nous passons donc du temps avec les équipes métier pour qualifier chaque trou : erreur de saisie, absence réelle d'activité ou événement exceptionnel. Le traitement diffère dans chaque cas, et cette étape améliore souvent davantage les résultats que le choix du modèle.
Toujours battre une référence simple
Un modèle d'apprentissage automatique n'a d'intérêt que s'il fait mieux qu'une méthode naïve : reprendre la valeur du même mois l'an dernier, ou la moyenne des trois derniers mois. Ces références sont gratuites, compréhensibles par tous, et étonnamment difficiles à battre sur des données courtes et bruitées.
Si l'intervalle de performance du modèle chevauche largement celui de la référence, la conclusion est claire : les données ne permettent pas encore de faire mieux. C'est un résultat, pas un échec. Il évite d'investir dans un système complexe qui n'apporte rien.
Décider malgré l'incertitude
L'objectif n'est pas d'obtenir une certitude que les données ne peuvent pas donner. C'est de prendre une décision éclairée. Nous présentons donc les résultats ainsi : la fourchette probable de gain, le coût d'une erreur dans chaque sens, et ce qu'apporterait une année de données supplémentaire.
Avec peu de données, la rigueur ne consiste pas à trouver le meilleur modèle, mais à savoir dire quand on ne peut pas encore le désigner.
Et souvent, la recommandation la plus utile n'est pas un modèle : c'est d'améliorer la collecte des données dès maintenant, pour que l'évaluation de l'an prochain soit enfin concluante.