Kimi K3 : le plus grand modèle open-weight optimisé mémoire
Moonshot AI a lancé Kimi K3, un modèle open-weight de 2,8 billions de paramètres, le plus grand à ce jour. Il utilise des techniques comme le mixture-of-experts et la quantisation pour réduire les coûts de calcul et optimiser la mémoire.
« Kimi K3 does not avoid the constraint so much as relocate it, trading compute for memory at almost every layer of the design. » — AI News
Que faut-il retenir ?
- Kimi K3 a 2,8 billions de paramètres, le plus grand modèle open-weight disponible.
- Il utilise la technique mixture-of-experts avec 896 sections spécialisées, n'en appelant que 16 à la fois.
- La quantisation réduit la précision à 4 bits par paramètre, économisant 1,4TB contre 5,6TB en pleine précision.
- Kimi Delta Attention optimise la mémoire pour les documents longs, jusqu'à un million de tokens.
Pourquoi cette nouvelle compte-t-elle ?
Kimi K3 représente une avancée majeure dans les modèles d'IA open-weight, avec une optimisation innovante de la mémoire. Cela permet aux entreprises de déployer des modèles massifs malgré les restrictions sur les puces, ouvrant de nouvelles possibilités pour les applications d'IA générative.
2,8 billions de paramètres
Public concerné : développeurs, entreprises
Comment Kimi K3 optimise-t-il la mémoire plutôt que le calcul ?
Kimi K3 utilise des techniques comme le mixture-of-experts et la quantisation à 4 bits pour réduire les besoins en calcul tout en maintenant tous les paramètres en mémoire. Cela permet de contourner les restrictions sur les puces tout en gardant des performances élevées.
