Gemma 4 égale Sonnet 5 à 40 fois moins cher, sur 245 questions de finance
D'après AlphaSense - « Frontier AI Models Need Frontier Context » (5 août 2026), relayé par X (@googlegemma)
Image : générée (Gemini)
Rédigé à partir de la source originale; chaque fait est vérifié contre le texte source.
À retenir
- Le banc d'essai repose sur 245 questions de finance difficiles et à plusieurs étapes, calquées sur le travail réel d'analystes. Toutes les configurations comparées tournent sur le même corpus de documents indexés.
- La grille de correction de chaque question est produite AVANT que le moindre modèle réponde, puis figée. C'est une précaution méthodologique sérieuse : elle empêche les correcteurs de s'aligner après coup sur ce que les modèles ont produit.
- La qualité des réponses est notée par d'autres modèles de langage servant de juges, pas par des humains. Les scores publiés sont des médianes d'une exécution de juillet 2026.
- Les coûts affichés sont des totaux médians PAR QUESTION, jetons de recherche documentaire compris - pas les tarifs par jeton des grilles publiques. C'est ce qui rend l'écart de 40 fois comparable d'un modèle à l'autre.
- AlphaSense présente Gemma comme un bon candidat pour se voir déléguer des sous-tâches PAR un modèle principal de pointe - le petit modèle y travaille sous la direction du grand, pas à sa place.
Pourquoi ça compte
Le titre même de l'article d'origine annonce sa thèse : « Frontier AI Models Need Frontier Context » (les modèles de pointe ont besoin d'un contexte de pointe). Ce n'est donc pas « le petit modèle vaut le grand », c'est que la façon d'alimenter le modèle en documents pèse plus lourd que le choix du modèle. AlphaSense mesure qu'un modèle de pointe laissé à faire lui-même sa recherche documentaire sur leur contenu coûte environ trois fois plus cher par question que le même modèle branché sur leur moteur de recherche maison.
Chiffre-clé
Environ 40 fois : l'écart de coût médian PAR QUESTION - jetons de recherche documentaire compris, et non les tarifs par jeton des grilles publiques - entre Gemma 4-31B et Claude Sonnet 5 à qualité de réponse équivalente, mesuré par AlphaSense sur 245 questions de finance lors d'une exécution de juillet 2026, publié le 5 août 2026.
Citation
« Gemma 4-31B égale Sonnet 5 sur la qualité des réponses, à environ 40 fois moins cher. Gemma est un excellent candidat pour se voir déléguer des sous-tâches par un modèle principal de pointe. (« Gemma 4-31B matches Sonnet 5 on answer quality at roughly 40x lower cost. Gemma is a great candidate for sub-agent delegation by a frontier lead model ») » AlphaSense, « Frontier AI Models Need Frontier Context », 5 août 2026
Action concrète
Avant de conclure qu'un modèle ouvert peut remplacer un modèle payant pour votre usage, refaites la mesure sur VOTRE tâche et VOS documents, et comptez le coût par question complète - recherche documentaire comprise - plutôt que le tarif par jeton affiché. C'est précisément la différence de méthode qui produit ici un écart de 40 fois.
« You don't always need a frontier model. A recent benchmark found that Gemma 4 31B matches Sonnet 5 on answer quality at ~40x lower cost. With high cost-efficiency and low latency, Gemma unlocks high-volume use cases that are uneconomical with larger models. »
Fondée sur la source originale
Sources
- AlphaSense - « Frontier AI Models Need Frontier Context » (5 août 2026) : Banc d'essai interne, 245 questions de finance, exécution de juillet 2026
- Message d'origine du compte Google Gemma (21 août 2026)
- Relais média : X (@googlegemma) →
🔧 Outils mentionnés