Andon Labs
Vulgarisation
Intermédiaire
🤖 Intelligence artificielle
En bref
Andon Labs est une entreprise d'évaluation de la sécurité des agents IA qui teste leur fiabilité dans des tâches réelles, comme gérer une boutique ou piloter un robot.
📖 Définition
Andon Labs est une entreprise de recherche et d'évaluation en sécurité de l'IA, basée à San Francisco et passée par l'accélérateur Y Combinator (promotion de l'hiver 2024). Née en 2023 d'un projet d'abord nommé Vectorview, elle a pour cofondateurs Lukas Petersson et Axel Backlund. Elle étudie à la fois les capacités et les défaillances des agents IA autonomes, en simulation et dans des tâches réelles. Ses bancs d'essai comprennent Vending-Bench, qui simule la gestion d'une machine distributrice (stocks, commandes, prix, frais quotidiens) pour mesurer la cohérence des décisions sur une longue durée, et Butter-Bench, qui évalue des modèles de langage pilotant un robot chargé de trouver et de livrer du beurre dans un bureau. Dans le cadre de Project Vend, mené avec Anthropic, Andon Labs a bâti l'infrastructure matérielle et logicielle d'une petite boutique et en a maintenu les stocks, pendant que l'IA Claude (surnommée "Claudius") gérait le commerce. Son travail éclaire l'écart entre réussir une tâche isolée et faire tourner une activité de façon autonome et fiable : décisions incohérentes dans la durée, commandes oubliées, repères spatiaux fragiles, sensibilité à la manipulation des clients.
💬 En termes simples
Andon Labs est l'examinateur de conduite des IA : il met l'agent au volant d'un vrai commerce pour voir où il dérape.
🎯 Exemple concret
Dans Project Vend, mené avec Anthropic, Andon Labs a installé un frigo, des paniers et une caisse sur iPad, et l'IA Claude gérait la boutique : l'expérience a révélé des commandes oubliées et des erreurs de repérage.
💡 Le saviez-vous?
Sur son banc d'essai Butter-Bench, la meilleure IA testée n'a réussi que 40 % des livraisons de beurre par un robot, contre 95 % pour un humain moyen.
❓ Questions fréquentes
Quel est le lien entre Andon Labs et Project Vend d'Anthropic?
Andon Labs est le partenaire qui a rendu Project Vend possible côté matériel. Il a conçu et installé la petite boutique (un frigo, des paniers, une caisse sur iPad) et en a tenu les stocks, pendant que l'IA Claude, surnommée "Claudius", prenait les décisions commerciales. Ce montage a permis d'observer comment un agent IA se comporte sur la durée.
Qu'est-ce que Vending-Bench?
Vending-Bench est un banc d'essai créé par Andon Labs. Il simule la gestion d'une machine distributrice (suivre les stocks, commander, fixer les prix, payer des frais chaque jour) pour mesurer si une IA garde des décisions cohérentes sur une longue période. Ce n'est pas un vrai distributeur, mais une simulation des contraintes d'une activité continue.
Andon Labs est-elle un commerce qui vend des produits?
Non, ce n'est pas un commerce au sens habituel. Andon Labs est un laboratoire de recherche et d'évaluation. Les "boutiques" qu'on lui associe, comme Project Vend avec Anthropic ou son magasin expérimental Andon Market à San Francisco, sont des bancs d'essai pour mettre des IA à l'épreuve, pas une activité de vente au grand public.
📚 Sources
- Anthropic - Project Vend (bilan de la phase 2) (Anthropic, 2025)
- Meet Luna, an AI Agent Managing a Brick-and-Mortar Store (Observer, 2026)
- Vending-Bench (publication de recherche) (Backlund et Petersson, 2025)