Modèle d'IA : qui décide du coût et de la vitesse? Le routeur des experts
Pourquoi un modèle d'IA géant peut-il rester rapide et peu coûteux? Le site spécialisé intelligence-artificielle.com explique que, dans les architectures dites Mixture of Experts (un grand modèle découpé en plusieurs réseaux spécialisés), un composant discret, le "routeur", décide quels experts traitent chaque token (l'unité de texte que le modèle manipule, souvent un fragment de mot). Ce choix, souvent invisible, gouverne à la fois le coût de calcul, la vitesse et la qualité des réponses.
3 min
Intelligence-Artificielle.com
il y a 1 jour