De gauche ou de droite ?
Le SVM à noyau RBF arrive en tête avec 81,8 %, contre 78,8 % pour la régression logistique utilisée aujourd'hui. Il a aussi la meilleure AUC (0,899) et la meilleure log-loss (0,400). Aucun autre modèle ne gagne 3 points.
Les modèles à arbres ne battent pas un modèle linéaire. Random Forest, XGBoost, CatBoost et LightGBM restent entre 77,6 % et 79,4 %. Dans un embedding, l'information est répartie sur des centaines de dimensions à la fois, alors qu'un arbre découpe une variable à la fois.
Réduire la dimension n'apporte rien. La précision augmente avec le nombre de composantes gardées et rejoint celle des 768 dimensions vers 512. La régularisation fait déjà le travail de filtrage.
Le gain le plus simple vient de la régularisation. Avec le même modèle et une régularisation environ 40 fois plus forte (λ ≈ 0,4 au lieu de 0,01), on obtient 80,0 %, et la log-loss passe de 0,568 à 0,450 : le modèle se trompe avec moins d'assurance.
Avec 972 exemples, la marge d'erreur sur une précision de 80 % est d'environ ±2,5 points. Les écarts d'un point entre modèles ne veulent donc rien dire.
Précision moyenne sur les 3 répétitions, avec l'écart-type entre répétitions. Le point creux est le modèle actuellement en production. Cliquez une ligne pour voir sa courbe ROC et sa matrice de confusion.
| Modèle | Précision | Moyenne ± é.-t. | AUC | Log-loss | Réglage retenu |
|---|
Classe positive : droite. Chaque point est un seuil de décision ; plus la courbe colle au coin en haut à gauche, mieux c'est.
Au seuil de 50 %, sur la première répétition de la validation croisée. Chaque exemple est prédit par un modèle qui ne l'a pas vu.
Pour chacun des 15 blocs de la validation croisée, le modèle est entraîné sur 4/5 des exemples. On trace sa courbe ROC sur ces mêmes exemples (train) et sur le 1/5 qu'il n'a pas vu (test). L'écart entre les deux mesure le surapprentissage ; la dispersion des courbes de test d'un bloc à l'autre mesure la stabilité.
Le SVM apprend ses exemples d'entraînement par cœur. Il obtient 100 % de précision et une AUC de 1 sur le train, contre 81,8 % sur le test, soit 18 points d'écart. C'est le comportement habituel d'un noyau RBF avec C = 10 : la frontière contourne chaque point d'entraînement. Il reste pourtant le meilleur sur le test, et c'est le test qui compte. La validation croisée imbriquée a d'ailleurs préféré C = 10 à C = 1 ou 3, qui sont plus régularisés.
Il est stable. D'un bloc à l'autre, sa précision en test varie de ±1,6 point et son AUC de ±0,013, comme pour les deux régressions logistiques. Les courbes de test bloc par bloc restent dans un faisceau étroit.
La régression logistique actuelle apprend aussi par cœur (99,9 % sur le train) : c'est un autre signe que sa régularisation est trop faible. Avec C = 0,003, l'écart tombe à 10 points et le score en test progresse.
Les hyperparamètres sont fixés aux valeurs retenues par le banc d'essai, ce qui rend les chiffres de test un peu optimistes (80,6 % au lieu de 80,0 % pour la régression logistique réglée). Les AUC sont des moyennes par bloc, un peu plus hautes que celles du classement, calculées sur toutes les prédictions mises en commun.
ACP sur les 768 dimensions, puis régression logistique sur les k premières composantes. La régularisation est réglée à chaque fois en validation croisée imbriquée. La ligne pointillée est la régression logistique réglée sur les 768 dimensions, sans ACP.
La précision ne regarde que le côté de 50 % où tombe la prédiction. L'AUC mesure si le modèle range bien les exemples, quel que soit le seuil. La log-loss punit les erreurs commises avec assurance : un modèle qui dit « 99 % gauche » pour un exemple de droite la fait exploser.
Les embeddings sont ceux d'EmbeddingGemma 300M (q4), avec le même préfixe que le site : task: classification | query: En politique française, …. Ils sont normalisés (norme 1) puis standardisés pour les modèles linéaires et à noyau.