
Gemini Computer Use est un outil où le modèle lit une capture d'écran et renvoie un clic, une frappe de touche ou un défilement, et votre propre code l'exécute. Il fonctionne avec la famille Gemini 4 et les modèles Gemini 3.x Flash, ne coûte rien de plus que les jetons normaux, et n'a pas de niveau gratuit. Les contrôles de sécurité de Google (invites de confirmation, analyse d'injection optionnelle) sont réels, mais vous construisez quand même le bac à sable. Pour le travail de support, je ne l'utiliserais que là où un outil n'a pas d'API, car les connexions directes d'eesel au helpdesk sont plus faciles à limiter et à auditer.
Qu'est-ce que Gemini Computer Use, et pourquoi change-t-il sans cesse de nom ?
Computer Use a commencé comme un modèle à part. Google a annoncé le modèle Gemini 2.5 Computer Use le 7 octobre 2025 en aperçu public, construit sur Gemini 2.5 Pro et « principalement optimisé pour les navigateurs web ». Google a précisé qu'il n'était pas encore optimisé pour le contrôle du système d'exploitation de bureau.
Le 24 juin 2026, l'idée est passée dans les modèles principaux. Google DeepMind a indiqué que Computer Use était devenu un outil intégré dans Gemini 3.5 Flash, si bien que les développeurs n'avaient plus besoin du modèle autonome, et il couvre maintenant navigateur, mobile et bureau. Aujourd'hui, vous l'activez comme un outil pour le modèle que vous utilisez déjà.
Je travaille sur la façon dont les agents d'eesel agissent dans d'autres outils, et je lis ceci comme devrait le lire une équipe de support : c'est un moyen général d'atteindre des logiciels qui n'ont pas d'API. C'est utile, et c'est aussi le moyen le plus lent et le moins précis d'atteindre un logiciel qui en a une.
Avec la CLI eesel, un agent de codage IA peut téléverser des connaissances approuvées, comme des articles exportés du centre d'aide, puis poser des questions test à l'agent avec eesel chat et vérifier les réponses avant que quoi que ce soit ne passe en production. Connecter le helpdesk lui-même nécessite toujours quelqu'un disposant d'un accès administrateur pour l'approuver, et les instructions changent en demandant à l'agent dans le chat, pas en les modifiant directement.
Quels modèles le prennent en charge aujourd'hui ?
La documentation de l'API Gemini de Google liste sept modèles, et la documentation de l'Agent Platform en liste un ensemble plus large. Les prix ci-dessous viennent de la page de prix de Google, par million de jetons, niveau payant.
| Modèle | ID du modèle | Entrée / sortie | Remarques |
|---|---|---|---|
| Gemini 4 Neon | gemini-4-neon | 3,00 $ / 15,00 $ | Pas de niveau gratuit |
| Gemini 4 Carbon | gemini-4-carbon | 2,00 $ / 10,00 $ | Passe à 4 $ / 20 $ le 1er déc. 2026 |
| Gemini 4 Argon | gemini-4-argon | 2,00 $ / 10,00 $ | Passe à 4 $ / 20 $ le 1er déc. 2026 |
| Gemini 4 Hydrogen | gemini-4-hydrogen | 1,50 $ / 7,50 $ | Utilisé dans l'exemple de code de Google |
| Gemini 3.8 Flash | gemini-3.8-flash | 0,75 $ / 3,75 $ | Passe à 1,50 $ / 7,50 $ le 1er jan. 2027 |
| Gemini 3.5 Flash-Lite | gemini-3.5-flash-lite | 0,30 $ / 2,50 $ | Analyse d'injection disponible |
| Gemini 3 Flash Preview | gemini-3-flash-preview | Absent de la page lue | Jeu d'actions plus ancien, étiqueté preview |
La page de l'Agent Platform liste aussi Gemini 3.7 Flash, 3.6 Flash, 3.5 Flash et Gemini Robotics ER 2, et n'étiquette comme preview que Robotics ER 2 et Gemini 3 Flash. Aucune des deux pages n'annonce de date de disponibilité générale, donc je traiterais le statut des modèles les plus récents comme « listé et pris en charge » plutôt que « déclaré stable ».
Si vous choisissez entre eux, les deux tarifs promotionnels de Carbon et Argon se terminent le 30 novembre. Mes articles sur les modèles couvrent Neon, Carbon, Argon et 3.8 Flash plus en détail.
Comment fonctionne la boucle ?
Computer Use est une boucle dont votre code a la charge. La documentation de Google décrit cinq étapes, et le modèle ne touche jamais votre machine directement.

- Votre application envoie le prompt, la configuration de l'outil et une capture d'écran.
- Le modèle renvoie un ou plusieurs éléments
function_call, chacun avec des coordonnées et unintentqui explique le raisonnement. - Votre client vérifie la décision de sécurité, interroge l'utilisateur si besoin, et exécute l'action, par exemple avec Playwright.
- Il capture une nouvelle image et l'URL actuelle et les renvoie sous forme de
function_result. - La boucle se répète jusqu'à ce que la tâche se termine, qu'une erreur survienne, ou qu'un blocage ou un refus l'arrête.
Les coordonnées arrivent sur une grille de 0 à 999, et votre code les met à l'échelle de la fenêtre réelle. L'exemple de référence de Google limite la boucle à 10 itérations, une limite que je reprendrais.

Que peut-il réellement cliquer ?
Le même outil couvre trois environnements. La documentation de l'API Gemini de Google compte 20 actions navigateur, 17 actions bureau et 10 actions mobile.
- Navigateur : actions de souris (
click,double_click,right_click,drag_and_drop,scroll), actions de clavier (type,press_key,hotkey), plusnavigate,go_back,go_forwardettake_screenshot. - Bureau : le même ensemble sans les trois actions de navigation.
- Mobile :
open_app,list_apps,long_press,go_back,type,clicket quelques autres.
Vous pouvez aussi ajouter vos propres fonctions à côté des fonctions intégrées, de sorte qu'un modèle puisse appeler une API là où vous en avez une, et se rabattre sur l'écran là où vous n'en avez pas. Ce mélange est la façon sensée de l'utiliser.
Combien coûte son exécution ?
Google n'ajoute aucuns frais. La page de prix indique que Computer Use sur l'API Gemini est « facturé comme des jetons normaux selon le prix du modèle », et la documentation de l'Agent Platform indique qu'il est tarifé aux mêmes taux et références que Gemini. Le niveau gratuit pour l'outil est listé comme non disponible.
La forme du coût est ce qui surprend les gens. Chaque étape renvoie une capture d'écran fraîche en entrée, et le modèle réfléchit généralement avant d'agir, ce qui est facturé en sortie. Une tâche de 30 clics paie pour 30 captures d'écran. Google ne publie aucun chiffre par tâche, donc je lancerais dix de mes propres tâches sur Hydrogen et sur un modèle plus grand, puis je comparerais le coût par tâche terminée, pas le coût par jeton.
Est-il performant ?
Les propres fiches modèles de Google donnent les chiffres les plus clairs, sur OSWorld-2.1 (sous-ensemble hors ligne), un benchmark où des agents accomplissent des tâches dans un environnement de bureau.
| Modèle | OSWorld-2.1 | Fiche source |
|---|---|---|
| Claude Opus 5.5 | 87,2 % | Fiche Gemini 4 Carbon |
| Claude Sonnet 5.5 | 83,9 % | Fiche Gemini 4 Hydrogen |
| Gemini 4 Carbon | 81,5 % | Fiche Gemini 4 Carbon |
| GPT-6 Astra | 80,9 % | Fiche Gemini 4 Carbon |
| Gemini 4 Hydrogen | 77,6 % | Fiche Gemini 4 Hydrogen |
| Claude Fable 5.1 | 76,8 % | Fiche Gemini 4 Carbon |
| GPT-6.1 Terra | 74,2 % | Fiche Gemini 4 Hydrogen |
Sources : la fiche Carbon (résultats à octobre 2026) et la fiche Hydrogen (à novembre 2026). Ce sont des chiffres rapportés par le fournisseur, issus de deux fiches publiées à quelques jours d'écart, donc c'est un classement approximatif, pas un test tête-à-tête. Sur ce tableau, Carbon arrive deuxième derrière Claude Opus 5.5, et Hydrogen se situe sous Sonnet 5.5. Je n'ai pas trouvé de score pour Neon.
Deux lacunes à connaître. Le billet de juin de Google qualifie 3.5 Flash de son meilleur modèle à ce jour pour Computer Use, mais montre les scores seulement dans une image de graphique, donc je n'ai pas pu les citer. La fiche Hydrogen rapporte un résultat OSWorld mais ne liste pas Computer Use parmi ses usages prévus, même si la documentation liste le modèle comme pris en charge. Pour le côté Claude du tableau, voyez mes notes sur Opus 5.5 et Sonnet 5.5.
Que couvrent les contrôles de sécurité ?
La documentation de Google est directe sur le risque : Computer Use « peut contenir des erreurs et des vulnérabilités de sécurité ». Elle nomme trois types de défaillance : contenu non fiable et arnaques, actions involontaires occasionnelles comme cliquer sur le mauvais bouton, et violations de politique comme contourner les CAPTCHA.

Les contrôles se répartissent en quatre groupes :
- Décisions par étape. Chaque appel de fonction peut porter une
safety_decision. Si elle indiquerequire_confirmation, votre application doit interroger l'utilisateur, et ce n'est qu'alors qu'elle définitsafety_acknowledgement. Google précise que vous n'avez pas le droit de contourner ces demandes. - Catégories de politique. Sur Gemini 3.5 Flash ou ultérieur, sept catégories peuvent déclencher une confirmation : transactions financières, modification de données sensibles, outils de communication, création de compte, modification de données, gestion du consentement utilisateur et conditions légales. Les développeurs peuvent exprimer une préférence pour en désactiver certaines, mais le modèle peut quand même demander.
- Politique d'organisation. Sur l'Agent Platform, une contrainte d'administrateur peut empêcher les développeurs de désactiver les confirmations. Les changements peuvent prendre jusqu'à une heure pour s'appliquer.
- Analyse d'injection. Pour Gemini 3.5 Flash-Lite ou ultérieur, l'analyse des captures d'écran à la recherche d'instructions cachées est optionnelle et désactivée par défaut. Quand elle se déclenche, elle bloque l'exécution.
Google recommande aussi une VM ou un conteneur en bac à sable, des listes d'autorisation ou de blocage, et la journalisation des prompts, des captures d'écran, des actions suggérées et des actions exécutées. L'Agent Platform dispose d'un bac à sable navigateur en conteneur que vous pouvez piloter via l'API ou avec Playwright. Pour le contexte de l'attaque elle-même, voyez l'entrée du glossaire sur l'injection de prompt et les garde-fous IA.
Que disent les développeurs ?
Le fil Hacker News sur le lancement de 3.5 Flash a rassemblé 242 points et s'est divisé en deux camps.
"Computer use is such a terrible idea. It's slow, insecure, error prone, expensive."
"Computer use is a great idea. It gets the job done when nothing else will."
Les deux ont raison, pour des tâches différentes. Un autre commentateur l'a jugé très utile pour développer des applications à interface graphique, car un agent peut construire et tester toute l'application de bout en bout. Cela correspond aux propres exemples de Google, qui s'appuient sur les tests et la recherche. Je lis le second commentaire comme l'argument complet en faveur de la fonctionnalité : quand rien d'autre ne fonctionne, c'est la solution de repli.
Une équipe de support devrait-elle l'utiliser ?
Pour les outils sans API, oui, avec prudence. Pour le helpdesk lui-même, je ne commencerais pas là. Une voie par écran lit des pixels, choisit un clic et vérifie le nouvel écran. Une connexion au helpdesk lit le ticket, rédige la réponse et transfère à une personne. La seconde voie a moins d'endroits où quelque chose peut mal se passer, et chaque action peut être nommée, limitée et journalisée.

C'est la ligne que je trace entre l'infrastructure et un employé. Computer Use est de l'infrastructure : il donne des mains à un modèle, et vous fournissez le bac à sable, les approbations, les journaux et les règles sur quand s'arrêter. eesel est l'employé. Son coéquipier helpdesk IA rejoint votre file existante via des connexions directes à Zendesk, Freshdesk, Gorgias et d'autres helpdesks, répond à partir de votre propre connaissance, et transfère les tickets délicats à votre équipe. eesel simule chaque déploiement sur des tickets historiques avant sa mise en production, une étape qu'une boucle pilotant l'écran n'inclut pas.
SamCart montre à quoi cela ressemble sur une file réelle. L'entreprise exécute eesel sur les tickets Freshdesk et sur le chat de son site web, avec un agent distinct pour chaque canal, répondant tous deux à partir d'environ 280 articles du centre d'aide. Les automatisations Freshdesk décident à quels tickets l'agent répond, et seulement tant qu'aucune personne n'est assignée. Quand un vendeur demande une personne, le ticket est marqué pour transfert et l'agent s'arrête. Rien de tout cela ne nécessite de capture d'écran, car le helpdesk l'expose directement.
Où j'utiliserais encore Gemini Computer Use dans une opération de support :
- Un outil sans API, comme un écran de facturation ancien qui n'a qu'une interface web, derrière une confirmation et d'abord avec un compte en lecture seule.
- Tester son propre centre d'aide ou widget de chat de bout en bout, ce qui correspond aux propres cas d'usage de Google.
- La recherche à travers des sites, comme vérifier les pages de prix publiques d'un concurrent pour vos macros de support.
Pour le volet permissions, mes guides sur les permissions des agents, les garde-fous de remboursement, les tests et l'observabilité s'appliquent à un agent Computer Use autant qu'à n'importe quel autre. Pour le paysage des agents navigateur au-delà de Google, voyez Claude for Chrome, les agents ChatGPT et Manus. Pour comprendre pourquoi le coût et le transfert diffèrent selon la voie, lisez agent contre agent humain : le coût et les bonnes pratiques de transfert d'agent.
Essayez eesel pour le travail de helpdesk
Si votre objectif est une gestion des tickets plus rapide et plus sûre, commencez avec un coéquipier qui connaît déjà votre helpdesk. eesel se connecte directement à Zendesk, Freshdesk et Gorgias, apprend de vos tickets passés et de votre centre d'aide, et règle chaque action sur Activé, Demander d'abord ou Désactivé. Si vous voulez le voir sur votre propre file, essayez eesel ou réservez une démo.
