Lois d'échelle
Scaling laws (lois d'échelle)
Terme IA
Intermédiaire
📖 Définition
Les lois d'échelle décrivent les relations mathématiques empiriques observées entre la performance d'un modèle d'IA, sa taille (nombre de paramètres), la quantité de données d'entraînement et le calcul total alloué. La loi de Chinchilla (DeepMind, 2022) a établi qu'un modèle de N paramètres atteint sa performance optimale avec environ 20×N tokens d'entraînement. Comprendre ces lois permet aux laboratoires de prédire le coût et la performance attendue avant de lancer un entraînement à plusieurs millions de dollars. Pour une PME québécoise, c'est un outil de décision : « ai-je intérêt à entraîner ou plutôt à fine-tuner ? ».
💬 En termes simples
C'est la formule mathématique qui dit : pour doubler la qualité d'une recette, doublez les ingrédients ET le temps de cuisson dans le bon ratio.
🎯 Exemple concret
Une équipe de Mila utilise les lois d'échelle pour estimer qu'un modèle de 7 milliards de paramètres entraîné sur 140 milliards de tokens atteindra 92 % de la performance d'un modèle de 70 milliards — pour 10 % du coût.
💡 Le saviez-vous ?
En 2026, la communauté IA a découvert qu'il existe désormais trois lois d'échelle : la classique (paramètres × données), celle du test-time compute (raisonnement à l'inférence) et celle du data quality — chacune ouvre une voie de progrès indépendante.