De gauche ou de droite ?
Chaque point est un des exemples de data/exemples.csv. EmbeddingGemma le transforme en un vecteur de 768 nombres, puis t-SNE ramène ces vecteurs sur un plan en gardant ensemble les textes de sens proche. La question est simple : avant même qu'on lui apprenne quoi que ce soit, le modèle d'embeddings range-t-il la gauche d'un côté et la droite de l'autre ?
Les personnalités sont ensemble, les lieux ensemble, la nourriture ensemble, les vêtements ensemble. Dans chaque thème, on trouve les deux couleurs. Le modèle d'embeddings a d'abord appris de quoi parle un texte ; le camp n'arrive qu'en second.
Les 8 plus proches voisins de « la Rolex » sont tous étiquetés droite (montre suisse, Porsche, sac Louis Vuitton…). Ceux des « vêtements de seconde main » sont surtout de gauche (friperie, Vinted, tote bag). Sur les modes de vie, les clichés sont déjà dans les vecteurs.
Le modèle se trompe sur 30 % des exemples de fiscalité et d'immigration, contre 10 % pour les partis et étiquettes. Un embedding dit de quoi on parle, pas si on est pour ou contre : le plus proche voisin de « la loi anti-squat » est « le squat ».
Parmi les 10 plus proches voisins d'un exemple, seuls 65 % ont la même étiquette. t-SNE montre ces voisinages, d'où le mélange. La régression, elle, cherche une seule direction « gauche → droite » qui traverse tous les thèmes, et elle fait mieux (79 %) que les plus proches voisins (76 %).
t-SNE garde les voisinages : deux points proches sur le plan ont des vecteurs proches. En revanche, la distance entre deux groupes éloignés, la taille d'un groupe et les axes ne veulent rien dire. On a utilisé la distance cosinus, une perplexité de 30 et une graine fixe.
L'ACP est une projection linéaire sur les deux directions où les vecteurs varient le plus. Ces deux axes ne gardent que de la variance. Si les camps se mélangent ici, ça ne veut pas dire qu'ils sont inséparables en 768 dimensions.
Chaque exemple est jugé par une régression logistique qui ne l'a pas vu : validation croisée en 5 blocs, même régularisation que train.mjs (λ = 0,01), recalculée avec scikit-learn. C'est ce qui donne les .
Les thèmes sont des regroupements automatiques de la carte t-SNE (k-means) ; leurs noms ont été donnés à la main d'après leur contenu. Survolez une ligne pour voir le thème sur la carte.
| Thème | Exemples | Étiquetés droite | Erreurs du modèle |
|---|
Les exemples où le modèle, sans les avoir vus, se trompe avec le plus d'assurance.
| Exemple | Étiquette | Le modèle dit |
|---|