Openclick

À propos de Openclick

Openclick est un outil d’automatisation macOS expérimental, distribué sous forme de projet open source et hébergé sur openclick.sh. Il agit comme une fine couche entre un grand modèle de langage (LLM) et les API d’accessibilité du système. L’utilisateur décrit en langage naturel une tâche à réaliser sur son Mac, le modèle propose un plan d’actions (clics, saisies, lectures d’écran), puis Openclick exécute ce plan via l’arbre d’accessibilité du système.

L’outil est conçu principalement pour les utilisateurs avancés qui souhaitent automatiser des opérations répétitives sur leur interface graphique sans écrire de scripts complexes. Il fonctionne en local, sans compte ni télémétrie, et prend en charge plusieurs fournisseurs de modèles (OpenAI, Anthropic, DeepSeek, etc.) ainsi que des modèles locaux via Ollama ou LM Studio. Le projet se trouve encore à un stade expérimental et reconnaît lui-même ses « rough edges », mais il offre une approche transparente et flexible de l’automatisation par agent.

Fonctionnalités principales

• Automatisation en langage naturel : l’utilisateur formule une demande (ex. « trie mes téléchargements par type et déplace-les dans des sous-dossiers »), le LLM génère un plan d’actions UI, puis Openclick l’exécute.
• Prévisualisation du plan : avant d’appliquer les actions, le plan est affiché à l’écran, ce qui permet de valider ou d’annuler l’exécution et d’éviter des actions non désirées.
• Compatibilité avec les applications macOS standards : Notes, Mail, Safari, Slack, Terminal, et toute application dont l’interface est accessible via les API d’accessibilité (Accessibility APIs).
• Choix libre du modèle : l’outil supporte OpenAI, Anthropic, DeepSeek, tout endpoint compatible, ainsi que des modèles locaux via Ollama ou LM Studio. Aucune clé imposée par Openclick.
• Utilisation locale et confidentielle : pas de compte utilisateur, pas de télémétrie. Les prompts et le contenu de l’écran restent sur le Mac, sauf si un modèle en ligne est utilisé (auquel cas son propre traitement s’applique).
• Modes d’exécution multiples : en ligne de commande, via une application dans la barre de menus, ou en tant que démon pour des scripts automatisés et des hooks.
• Architecture ouverte : le code source est disponible sur GitHub, permettant l’audit et les contributions de la communauté.

Tarification

Openclick lui-même est gratuit et sans licence. Le projet ne propose aucun plan payant ni abonnement sur son site. Les coûts éventuels dépendent exclusivement du fournisseur de modèle linguistique choisi par l’utilisateur.

• Si l’on utilise un modèle local (via Ollama ou LM Studio), le coût se limite à l’électricité et à la puissance de calcul de sa machine.
• Si l’on opte pour un modèle en ligne (par exemple GPT-4o, Claude 3.5 Sonnet), les frais sont ceux des appels API du fournisseur.
  À titre indicatif, l’API d’OpenAI facture environ 0,03 $ US par millier de tokens d’entrée pour GPT-4o, soit environ 0,04 $ CA. Pour un usage modéré (quelques dizaines de tâches par jour), une facture mensuelle de 5 à 20 $ CA est plausible. Anthropic présente des tarifs comparables. Aucun de ces frais n’est perçu par Openclick.

Il est important de noter que le projet ne fournit pas de clés intégrées : l’utilisateur doit apporter ses propres identifiants et gérer ses quotas.

Cas d’utilisation

Openclick convient à toutes les tâches de bureau répétitives qui ne disposent pas d’une API dédiée et passent par l’interface graphique macOS. Voici des exemples concrets issus de la documentation du projet :

• Courriel : rédiger et envoyer des réponses aux messages urgents, classer automatiquement les courriels entrants dans des dossiers prédéfinis.
• Gestion de fichiers : trier les téléchargements par type de fichier (images, PDF, documents) et les déplacer dans des sous-dossiers correspondants.
• Recherche Web : lancer une recherche de vol, capturer les résultats, enregistrer les onglets et copier les prix dans le presse-papiers.
• Calendrier : bloquer un créneau de travail profond dans Calendrier, refuser les réunions conflictuelles, créer des événements récurrents.
• Slack : envoyer des messages ou des rappels automatiques, extraire des informations de canaux spécifiques.
• Terminal : lancer des commandes répétitives, surveiller des processus, générer des rapports.

Dans tous ces cas, l’utilisateur décrit simplement ce qu’il veut faire en français ou en anglais, et Openclick exécute les manipulations graphiques nécessaires.

Notre avis

Openclick est un outil audacieux et prometteur, mais il est encore immature. Son principal atout est de combiner la puissance des LLM avec l’automatisation de l’interface native de macOS, le tout dans un esprit open source et respectueux de la vie privée. La prévisualisation du plan avant exécution est une excellente idée pour éviter les accidents, et la liberté de choisir son modèle (y compris en local) répond à un vrai besoin de contrôle.

Cependant, plusieurs limites méritent d’être soulignées :

• Expérimental et peu fiable : le projet prévient lui-même que certaines tâches complexes ou des interfaces très dynamiques (menus contextuels, fenêtres glissantes) peuvent échouer. La fiabilité est loin d’être celle d’un script classique bien ficelé.
• Dépendance à l’accessibilité des applications : les applications qui ne sont pas bien compatibles avec l’arbre d’accessibilité macOS (certaines apps Electron mal conçues, ou des logiciels propriétaires) donnent des résultats médiocres.
• Limité à macOS : pas de version Windows ni Linux pour l’instant, ce qui restreint son public.
• Coûts variables : si l’on utilise des modèles en ligne, les frais peuvent grimper rapidement avec des tâches lourdes (par exemple, analyser de longs documents).

Public cible : développeurs, professionnels de l’automatisation, power users Mac à l’aise avec la ligne de commande, et utilisateurs soucieux de confidentialité.

Alternatives : pour une automatisation plus robuste et sans IA, Keyboard Maestro (≈63 $ CA, licence perpétuelle) ou Shortcuts (intégré à macOS) restent des choix solides. Pour une approche agent plus traditionnelle, on peut combiner Claude ou ChatGPT avec des scripts AppleScript. Les solutions comme UiPath ou Power Automate sont plus lourdes et destinées à l’entreprise.

Recommandation : si vous êtes curieux et prêt à expérimenter, Openclick est un outil fascinant à essayer, surtout dans sa version locale avec un modèle comme Llama 3 (gratuit). Pour une utilisation critique ou en production, il vaut mieux attendre une version plus stable ou se tourner vers une alternative mature.

En résumé, Openclick est une preuve de concept brillante qui annonce l’avenir de l’automatisation de bureau, mais pour aujourd’hui, mieux vaut le considérer comme un laboratoire d’idées que comme un outil de confiance.