XLA Serving Engine : Google publie son moteur d'inférence C++ sans Python
D'après Google Open Source Blog, billet « Supercharging XLA-based inference » (5 novembre 2026) et Dépôt GitHub openxla/xla-serving (licence Apache 2.0), relayé par Le Monde Informatique
Image générée par IA (DALL-E), MEMORA solutions
Rédigé à partir de la source originale; chaque fait est vérifié contre le texte source.
Annonce commerciale : ce document émane de l'entreprise concernée.
À retenir
- XSE applique un principe « entraîner en Python, servir en C++ » : le modèle est exporté dans un format « XLA SavedModel » (représentation StableHLO), puis exécuté par un moteur C++ qui retire le surcoût de l'interpréteur Python et son verrou global (GIL).
- Selon Google, pour des requêtes courtes, XSE offre 2 à 5 fois le débit de son meilleur serveur Python (et 8 à 36 fois celui d'un serveur Python naïf), pour un quart de la mémoire et 30 à 70 % de temps processeur en moins.
- Le moteur vise les modèles non génératifs (recommandation, classement, vision); pour les grands modèles de langage autorégressifs à long contexte, Google renvoie lui-même à vLLM ou SGLang.
- XSE est publié sur GitHub (openxla/xla-serving) et fonctionne sur processeurs, GPU et TPU; des partenaires comme Arm et Intel, et le client Moloco, l'utilisent déjà.
- Prochaines étapes annoncées : l'intégration de TorchTPU pour les modèles PyTorch, la compilation à l'avance (AOT) pour réduire le démarrage à froid, et un préprocesseur de données en C++.
Pourquoi ça compte
En production à fort volume, l'interpréteur Python et son verrou global (GIL) plafonnent le débit et la latence. En déplaçant l'exécution dans un moteur C++ natif (un seul processus peut alors exploiter les huit cœurs), Google vise la vitesse et la densité de déploiement pour des modèles « transactionnels » : recommandation, classement, vision. L'annonce est surtout une ouverture : un composant déjà éprouvé à l'échelle de Google devient accessible au reste de l'écosystème.
Chiffre-clé
Plus de 6 millions de requêtes par seconde : le volume que XSE traite déjà dans les services de Google (YouTube Shorts, Google Ads, Search, parties de Gemini Omni), selon le billet de Google du 5 novembre 2026.
Citation
« To support our demand-side platform (DSP) processing over 650 billion daily inferences and peaking at 10.5 million QPS, we needed an inference runtime that could match our massive scale. XLA Serving Engine is the high-performance, C++-based JAX serving solution we've been waiting for… » Kunal Kukreja, Staff Machine Learning Engineer chez Moloco
Action concrète
Pour une équipe MLOps, XSE se récupère sous licence Apache 2.0 sur GitHub (openxla/xla-serving), avec des images Docker testées sur processeur, GPU et TPU et de simples API gRPC. Google prévient toutefois qu'il n'est pas conçu pour les grands modèles de langage autorégressifs à long contexte : pour ceux-là, il recommande vLLM ou SGLang.
Fondée sur la source originale
Sources
- Google Open Source Blog, billet « Supercharging XLA-based inference » (5 novembre 2026)
- Dépôt GitHub openxla/xla-serving (licence Apache 2.0)
- Relais média : Le Monde Informatique →
🔧 Outils mentionnés