Soofi S 30B-A3B : un modèle IA open source leader en allemand et anglais
Soofi S 30B-A3B, un modèle open source de 31,6 milliards de paramètres, surpasse les leaders comme OLMo 3 32B et Apertus 70B sur les benchmarks anglais et allemands. Son architecture hybride Mamba-Transformer maintient une performance stable même sur de longs contextes. Le modèle a été entraîné sur 27 trillions de tokens avec une forte proportion de données en allemand.
« Soofi S generates roughly eight times more tokens per second per GPU than dense models in the 14 to 24 billion parameter range. » — The Decoder
Que faut-il retenir ?
- Soofi S 30B-A3B a 31,6 milliards de paramètres mais n'en active que 3,2 milliards par token généré.
- Le modèle a été entraîné sur 27 trillions de tokens, avec 7,2% de données en allemand en phase 1 et 15,3% en phase 2.
- Soofi S génère 8 fois plus de tokens par seconde par GPU que les modèles denses de 14 à 24 milliards de paramètres.
- Le modèle surpasse OLMo 3 32B et Apertus 70B sur les benchmarks anglais et allemands.
Pourquoi cette nouvelle compte-t-elle ?
Soofi S 30B-A3B représente une avancée significative pour les modèles open source, combinant performance élevée et efficacité énergétique. Son optimisation pour l'allemand et les longs contextes en fait un outil précieux pour les applications multilingues et les tâches complexes. Les professionnels de l'IA peuvent l'utiliser pour des projets nécessitant à la fois puissance et flexibilité.
31,6 milliards de paramètres
Public concerné : développeurs, entreprises
Quels sont les avantages de l'architecture hybride de Soofi S 30B-A3B ?
L'architecture hybride Mamba-Transformer de Soofi S 30B-A3B permet une performance stable sur de longs contextes, avec une efficacité énergétique accrue. Elle active seulement 3,2 milliards de paramètres par token, réduisant les coûts de calcul.
