Inferock Bench

À propos de Inferock Bench

Inferock Bench est un proxy local open source conçu pour auditer les appels aux grands modèles de langage (LLM) et produire un reçu indépendant pour chaque requête. Ce reçu détaille l’utilisation des tokens, les échecs, les tentatives (retries), le temps perdu et l’écart éventuel entre ce qui a été observé et ce qui a été facturé. L’outil ne transmet jamais votre clé API à un serveur tiers, garantissant ainsi que les données sensibles restent sur votre machine. Il s’adresse principalement aux équipes techniques qui souhaitent prouver ce qui a réellement été facturé et détecter les surcoûts ou incohérences de billing. Inferock Bench est disponible gratuitement et son code source est ouvert, ce qui en fait une solution transparente et inspectable par la communauté.

Le principe est simple : l’outil s’interpose comme un proxy entre votre application et les API des fournisseurs de LLM (OpenAI, Anthropic, Gemini, OpenRouter, etc.). En modifiant simplement l’URL de base et l’API key dans votre SDK existant, vous bénéficiez instantanément d’un suivi granulaire de chaque appel, sans intégration lourde. Inferock Bench répond ainsi à un besoin croissant de traçabilité et de contrôle des coûts dans un écosystème où les factures de modèles peuvent varier sensiblement d’un appel à l’autre.

Fonctionnalités principales

Inferock Bench offre un ensemble de fonctionnalités orientées vers l’audit et le débogage des appels LLM :

• Proxy local : l’outil intercepte le trafic entre votre application et les API des principaux fournisseurs, sans exposer vos clés à un service tiers. Il supporte les formats OpenAI, Anthropic, Gemini et OpenRouter.
• Reçus par appel : chaque requête donne lieu à un reçu contenant le spend observé, le money loss (borné par la facture réelle), le time loss et une ligne distincte d’exposition à la vérification de facture (invoice-check exposure). Ce reçu permet de comparer ce que vous pensez avoir consommé avec ce qui vous est facturé.
• Détection des anomalies : l’outil repère les réponses tronquées, les réponses vides facturées, ainsi que les écarts entre les tokens visibles et les tokens facturés. Il suit également les retries pour identifier les doublons de facturation silencieux.
• Visibilité sur les remises de cache : Inferock Bench indique les crédits potentiellement manqués ou les remises de cache non appliquées sur la facture, aidant à optimiser les coûts.
• Exécution locale : aucun flux de données ne quitte votre machine, ce qui satisfait les exigences de conformité et de sécurité.
• Installation rapide : un simple changement de baseURL et de apiKey dans votre SDK suffit pour activer le proxy. Aucune modification profonde du code n’est nécessaire.

Ces fonctionnalités permettent non seulement de vérifier l’exactitude des factures, mais aussi de diagnostiquer des problèmes d’API (timeouts, erreurs 504, etc.) et d’optimiser l’utilisation des ressources.

Tarification

Inferock Bench est proposé gratuitement et son code source est ouvert (open source). Les sources consultées, notamment la page Product Hunt, ne mentionnent aucun plan payant, que ce soit sous forme d’abonnement mensuel, annuel ou de paliers Pro, Team ou Enterprise. Aucune grille tarifaire n’a été trouvée. L’outil est donc accessible sans frais pour toutes les équipes, quel que soit leur volume d’appels.

Il est possible que des versions commerciales ou des fonctionnalités supplémentaires soient ajoutées ultérieurement, mais à ce jour, l’offre se limite à la version open source gratuite. Cette absence de coût en fait une solution particulièrement attractive pour les startups, les équipes de développement et les auditeurs internes qui souhaitent contrôler leur facturation sans engager de dépenses récurrentes.

À noter : aucune information n’indique un prix en dollars canadiens ou en toute autre devise, car le produit est gratuit. Si des plans payants devaient apparaître à l’avenir, ils seraient vraisemblablement facturés selon la devise du fournisseur (par exemple, dollars américains), et il conviendrait alors de convertir en dollars canadiens approximatifs.

Cas d’utilisation

Inferock Bench répond à plusieurs besoins concrets dans les organisations qui exploitent des LLM :

• Audit de facturation : vérifier que les montants facturés par un fournisseur correspondent bien aux appels réellement effectués. Le reçu par appel permet de confronter les données locales aux factures reçues.
• Débogage d’API : identifier les causes de timeouts, de réponses tronquées ou de réponses vides qui sont pourtant facturées. Le suivi des retries aide à repérer des doublons de facturation.
• Réduction des coûts : analyser les pertes de tokens, les retries inutiles et les écarts de tokens facturés pour optimiser l’utilisation des modèles.
• Observabilité multi-modèles : pour les équipes qui utilisent plusieurs fournisseurs (OpenAI, Anthropic, etc.), Inferock Bench offre une vue unifiée du trafic et des coûts.
• Conformité et audit interne : disposer d’une trace locale et exploitable de tous les appels LLM, utile pour les processus de gouvernance, de sécurité ou pour répondre à des exigences réglementaires.
• Analyse des intégrations agentiques : dans les architectures complexes où plusieurs agents ou modèles interagissent, l’outil permet d’expliquer les variations de facture avec des preuves par appel.

Ces cas d’usage montrent que Inferock Bench s’adresse à la fois aux développeurs, aux équipes ops, à la sécurité, à la conformité et aux finances techniques.

Notre avis

Inferock Bench est un outil prometteur pour quiconque cherche à reprendre le contrôle de sa facturation LLM. Ses points forts sont nombreux : il est local-first, donc respectueux de la confidentialité ; il supporte plusieurs fournisseurs majeurs ; il offre une traçabilité extrêmement fine par appel, ce qui est indispensable pour justifier une facture ou diagnostiquer un incident technique. L’installation est simple et le produit est gratuit, ce qui réduit la barrière à l’essai.

Cependant, quelques limites doivent être soulignées. Inferock Bench ne peut pas auditer rétroactivement des appels effectués avant son installation, puisqu’il ne voit que le trafic qu’il intercepte. Les sources consultées ne mentionnent pas de fonctionnalité de gestion automatisée des litiges de facturation ; l’outil fournit les preuves, mais le traitement du litige reste à la charge de l’équipe. L’outil est clairement orienté vers un public technique (développeurs, ops, auditeurs) ; il manque peut-être une couche métier pour faciliter le reporting exécutif ou la gouvernance au niveau décisionnel. Enfin, les informations publiques sur le pricing sont incomplètes : même si le produit est gratuit aujourd’hui, on ignore si des plans payants verront le jour.

Le public cible idéal comprend les développeurs LLM et ingénieurs IA qui veulent tracer et déboguer leurs appels, les équipes plateforme et ops qui gèrent plusieurs modèles, les spécialistes en sécurité et conformité pour documenter les flux et les coûts, ainsi que les équipes produit et finances techniques qui cherchent à expliquer des variations de facture.

Parmi les alternatives du marché, on retrouve Helicone, Langfuse, LangSmith, OpenLIT ou Arize Phoenix. Toutefois, Inferock Bench se distingue par son approche 100 % locale et gratuite, ce qui le rend particulièrement adapté aux audits ponctuels ou aux environnements où la sécurité est critique.

En conclusion, nous recommandons Inferock Bench à toute équipe qui souhaite vérifier ses factures LLM de manière indépendante, sans compromettre la sécurité de ses clés API. L’outil remplit bien sa promesse et, pour un coût nul, il mérite d’être testé. Nous espérons que des fonctionnalités complémentaires (gestion de litiges, reporting avancé) seront ajoutées à l’avenir, mais dans l’état actuel, il constitue déjà un excellent point de départ pour l’audit de facturation des modèles de langage.