Un score de classification n’a de sens que si l’on sait quelles erreurs il résume. Pour un outil qui trie des tickets de support, manquer une demande urgente et envoyer une demande ordinaire à l’équipe prioritaire n’ont pas les mêmes conséquences.
Lire les erreurs avant le pourcentage
Prenons un exemple pédagogique construit pour cet article, sans lien avec une mesure réelle. Sur 1 000 tickets, 50 sont urgents. Le modèle en signale 80 comme urgents ; parmi eux, 40 le sont effectivement.
| Résultat | Nombre |
|---|---|
| Urgents correctement signalés | 40 |
| Tickets ordinaires signalés à tort | 40 |
| Urgents manqués | 10 |
| Tickets ordinaires correctement écartés | 910 |
L’exactitude globale atteint 95 % : 950 décisions sont correctes. Pourtant, un système qui déclarerait tous les tickets ordinaires atteindrait lui aussi 95 %. Le pourcentage seul masque donc une différence essentielle : le premier modèle retrouve une partie des urgences, le second aucune.
Trois lectures complémentaires
La précision indique la proportion de vrais urgents parmi les tickets signalés : 40 / 80, soit 50 %. Le rappel indique la proportion d’urgents retrouvés : 40 / 50, soit 80 %. Le score F1, moyenne harmonique des deux, vaut ici environ 61,5 %. Ces définitions sont détaillées dans le guide des métriques de scikit-learn.
Le F1 ne tient pas compte des vrais négatifs et ne remplace pas une analyse des coûts. Il est utile pour résumer un compromis, mais pas pour décider seul d’un déploiement.
Traduire le score en charge de travail
Dans notre exemple, l’équipe prioritaire reçoit 80 dossiers, dont 40 ne sont pas urgents. Peut-elle absorber ce volume ? Les 10 urgences manquées sont-elles repérées par un autre canal ? Ce sont ces réponses qui rendent le score exploitable.
Écrivez le critère avant de comparer les modèles : par exemple, un rappel minimal défini par l’équipe et un nombre maximal de dossiers à revoir. Ce sont des contraintes à fixer avec les responsables du service, pas des valeurs universelles.
Garder le test pour la dernière évaluation
Un changement de seuil modifie les décisions. Choisissez ce seuil sur la validation, puis mesurez le résultat sur un test séparé. La documentation sur la validation croisée explique pourquoi ajuster des choix sur le test compromet son rôle d’évaluation finale.
Pour poursuivre : éviter les fuites de données et conserver les conditions de l’expérience.