Perplexité (perplexity)

Terme Avancé 📊 Données et traitement

Mis à jour le 7 juin 2026

La perplexité mesure à quel point un modèle de langage est surpris par un texte ; plus elle est basse, meilleure est sa capacité à le prédire.

📖 Définition

La perplexité (perplexity) est une métrique qui mesure à quel point un modèle de langage est « surpris » par un texte : plus elle est basse, mieux le modèle prédit ce texte. Intuitivement, elle correspond au nombre effectif de choix que le modèle hésite à faire à chaque mot ; une perplexité de 10 signifie qu'en moyenne, le modèle se comporte comme s'il hésitait entre dix possibilités également plausibles pour le mot suivant. Mathématiquement, la perplexité est l'exponentielle de l'entropie croisée moyenne par token, c'est-à-dire PPL = exp(− (1/N) Σ log P(mₙ | mots précédents)). Minimiser la perplexité revient donc à maximiser la probabilité que le modèle attribue au vrai texte. C'est une métrique « intrinsèque » : elle évalue la qualité de prédiction du modèle sur un corpus de test, indépendamment d'une tâche applicative précise, et sert surtout pendant le pré-entraînement et la validation. Attention : la comparaison n'a de sens qu'à corpus et tokenisation identiques, car le découpage en tokens influence la valeur. La perplexité ne mesure ni la véracité ni l'utilité d'une réponse — un modèle peut afficher une faible perplexité tout en produisant des textes faux.

💬 En termes simples

C'est comme mesurer l'aisance d'un lecteur à deviner le mot suivant d'un livre : s'il hésite entre dix mots à chaque fois, il est « perplexe » (perplexité 10) ; s'il devine presque toujours juste, sa perplexité est proche de 1.

🎯 Exemple concret

On teste deux modèles sur le même texte avec la même tokenisation : le premier obtient une perplexité de 25, le second de 12. Le second prédit mieux le texte — il lui attribue une probabilité plus élevée — et sera jugé statistiquement meilleur sur cette distribution.

💡 Le saviez-vous ?

La perplexité est l'exponentielle de l'entropie croisée : réduire l'une réduit l'autre. C'est pourquoi minimiser l'entropie croisée pendant l'entraînement revient exactement à rendre le modèle moins « perplexe » devant le texte.

❓ Questions fréquentes

Une perplexité basse garantit-elle un bon modèle ?

Pour la prédiction de texte brut, oui ; mais elle ne mesure ni la véracité ni l'utilité des réponses. Un modèle peut afficher une faible perplexité et produire des contenus faux ou peu utiles.

Peut-on comparer la perplexité de deux modèles différents ?

Seulement à corpus de test ET tokenisation identiques : le découpage en tokens influence la valeur, donc deux modèles aux tokeniseurs différents ne sont pas directement comparables.

Accueil

Outils

Annuaire

Apprendre