Gemini Computer Use : ce qu'il fait, ce qu'il coûte et où il a sa place

Kira
Écrit par

Kira

Katelin Teen
Relu par

Katelin Teen

Dernière modification 19 novembre 2026

Vérifié par un expert
Illustration dessinée à la main d'une personne regardant un robot sympathique cliquer sur un bouton et remplir un champ de texte dans une fenêtre de navigateur, pour un article explicatif sur Gemini Computer Use
TL;DR

Gemini Computer Use est un outil où le modèle lit une capture d'écran et renvoie un clic, une frappe de touche ou un défilement, et votre propre code l'exécute. Il fonctionne avec la famille Gemini 4 et les modèles Gemini 3.x Flash, ne coûte rien de plus que les jetons normaux, et n'a pas de niveau gratuit. Les contrôles de sécurité de Google (invites de confirmation, analyse d'injection optionnelle) sont réels, mais vous construisez quand même le bac à sable. Pour le travail de support, je ne l'utiliserais que là où un outil n'a pas d'API, car les connexions directes d'eesel au helpdesk sont plus faciles à limiter et à auditer.

Qu'est-ce que Gemini Computer Use, et pourquoi change-t-il sans cesse de nom ?

Computer Use a commencé comme un modèle à part. Google a annoncé le modèle Gemini 2.5 Computer Use le 7 octobre 2025 en aperçu public, construit sur Gemini 2.5 Pro et « principalement optimisé pour les navigateurs web ». Google a précisé qu'il n'était pas encore optimisé pour le contrôle du système d'exploitation de bureau.

Le 24 juin 2026, l'idée est passée dans les modèles principaux. Google DeepMind a indiqué que Computer Use était devenu un outil intégré dans Gemini 3.5 Flash, si bien que les développeurs n'avaient plus besoin du modèle autonome, et il couvre maintenant navigateur, mobile et bureau. Aujourd'hui, vous l'activez comme un outil pour le modèle que vous utilisez déjà.

Je travaille sur la façon dont les agents d'eesel agissent dans d'autres outils, et je lis ceci comme devrait le lire une équipe de support : c'est un moyen général d'atteindre des logiciels qui n'ont pas d'API. C'est utile, et c'est aussi le moyen le plus lent et le moins précis d'atteindre un logiciel qui en a une.

Avec la CLI eesel, un agent de codage IA peut téléverser des connaissances approuvées, comme des articles exportés du centre d'aide, puis poser des questions test à l'agent avec eesel chat et vérifier les réponses avant que quoi que ce soit ne passe en production. Connecter le helpdesk lui-même nécessite toujours quelqu'un disposant d'un accès administrateur pour l'approuver, et les instructions changent en demandant à l'agent dans le chat, pas en les modifiant directement.

Quels modèles le prennent en charge aujourd'hui ?

La documentation de l'API Gemini de Google liste sept modèles, et la documentation de l'Agent Platform en liste un ensemble plus large. Les prix ci-dessous viennent de la page de prix de Google, par million de jetons, niveau payant.

ModèleID du modèleEntrée / sortieRemarques
Gemini 4 Neongemini-4-neon3,00 $ / 15,00 $Pas de niveau gratuit
Gemini 4 Carbongemini-4-carbon2,00 $ / 10,00 $Passe à 4 $ / 20 $ le 1er déc. 2026
Gemini 4 Argongemini-4-argon2,00 $ / 10,00 $Passe à 4 $ / 20 $ le 1er déc. 2026
Gemini 4 Hydrogengemini-4-hydrogen1,50 $ / 7,50 $Utilisé dans l'exemple de code de Google
Gemini 3.8 Flashgemini-3.8-flash0,75 $ / 3,75 $Passe à 1,50 $ / 7,50 $ le 1er jan. 2027
Gemini 3.5 Flash-Litegemini-3.5-flash-lite0,30 $ / 2,50 $Analyse d'injection disponible
Gemini 3 Flash Previewgemini-3-flash-previewAbsent de la page lueJeu d'actions plus ancien, étiqueté preview

La page de l'Agent Platform liste aussi Gemini 3.7 Flash, 3.6 Flash, 3.5 Flash et Gemini Robotics ER 2, et n'étiquette comme preview que Robotics ER 2 et Gemini 3 Flash. Aucune des deux pages n'annonce de date de disponibilité générale, donc je traiterais le statut des modèles les plus récents comme « listé et pris en charge » plutôt que « déclaré stable ».

Si vous choisissez entre eux, les deux tarifs promotionnels de Carbon et Argon se terminent le 30 novembre. Mes articles sur les modèles couvrent Neon, Carbon, Argon et 3.8 Flash plus en détail.

Comment fonctionne la boucle ?

Computer Use est une boucle dont votre code a la charge. La documentation de Google décrit cinq étapes, et le modèle ne touche jamais votre machine directement.

Boucle en quatre étapes : la capture d'écran et l'objectif vont au modèle, le modèle choisit une action, votre code l'exécute, et une nouvelle capture d'écran revient
Boucle en quatre étapes : la capture d'écran et l'objectif vont au modèle, le modèle choisit une action, votre code l'exécute, et une nouvelle capture d'écran revient
  1. Votre application envoie le prompt, la configuration de l'outil et une capture d'écran.
  2. Le modèle renvoie un ou plusieurs éléments function_call, chacun avec des coordonnées et un intent qui explique le raisonnement.
  3. Votre client vérifie la décision de sécurité, interroge l'utilisateur si besoin, et exécute l'action, par exemple avec Playwright.
  4. Il capture une nouvelle image et l'URL actuelle et les renvoie sous forme de function_result.
  5. La boucle se répète jusqu'à ce que la tâche se termine, qu'une erreur survienne, ou qu'un blocage ou un refus l'arrête.

Les coordonnées arrivent sur une grille de 0 à 999, et votre code les met à l'échelle de la fenêtre réelle. L'exemple de référence de Google limite la boucle à 10 itérations, une limite que je reprendrais.

Page Computer Use de Google dans AI Studio, listant le support multi-environnement, les intents, les politiques de sécurité et la détection d'injection de prompt, tirée de la documentation Google AI Studio
Page Computer Use de Google dans AI Studio, listant le support multi-environnement, les intents, les politiques de sécurité et la détection d'injection de prompt, tirée de la documentation Google AI Studio

Que peut-il réellement cliquer ?

Le même outil couvre trois environnements. La documentation de l'API Gemini de Google compte 20 actions navigateur, 17 actions bureau et 10 actions mobile.

  • Navigateur : actions de souris (click, double_click, right_click, drag_and_drop, scroll), actions de clavier (type, press_key, hotkey), plus navigate, go_back, go_forward et take_screenshot.
  • Bureau : le même ensemble sans les trois actions de navigation.
  • Mobile : open_app, list_apps, long_press, go_back, type, click et quelques autres.

Vous pouvez aussi ajouter vos propres fonctions à côté des fonctions intégrées, de sorte qu'un modèle puisse appeler une API là où vous en avez une, et se rabattre sur l'écran là où vous n'en avez pas. Ce mélange est la façon sensée de l'utiliser.

Combien coûte son exécution ?

Google n'ajoute aucuns frais. La page de prix indique que Computer Use sur l'API Gemini est « facturé comme des jetons normaux selon le prix du modèle », et la documentation de l'Agent Platform indique qu'il est tarifé aux mêmes taux et références que Gemini. Le niveau gratuit pour l'outil est listé comme non disponible.

La forme du coût est ce qui surprend les gens. Chaque étape renvoie une capture d'écran fraîche en entrée, et le modèle réfléchit généralement avant d'agir, ce qui est facturé en sortie. Une tâche de 30 clics paie pour 30 captures d'écran. Google ne publie aucun chiffre par tâche, donc je lancerais dix de mes propres tâches sur Hydrogen et sur un modèle plus grand, puis je comparerais le coût par tâche terminée, pas le coût par jeton.

Est-il performant ?

Les propres fiches modèles de Google donnent les chiffres les plus clairs, sur OSWorld-2.1 (sous-ensemble hors ligne), un benchmark où des agents accomplissent des tâches dans un environnement de bureau.

ModèleOSWorld-2.1Fiche source
Claude Opus 5.587,2 %Fiche Gemini 4 Carbon
Claude Sonnet 5.583,9 %Fiche Gemini 4 Hydrogen
Gemini 4 Carbon81,5 %Fiche Gemini 4 Carbon
GPT-6 Astra80,9 %Fiche Gemini 4 Carbon
Gemini 4 Hydrogen77,6 %Fiche Gemini 4 Hydrogen
Claude Fable 5.176,8 %Fiche Gemini 4 Carbon
GPT-6.1 Terra74,2 %Fiche Gemini 4 Hydrogen

Sources : la fiche Carbon (résultats à octobre 2026) et la fiche Hydrogen (à novembre 2026). Ce sont des chiffres rapportés par le fournisseur, issus de deux fiches publiées à quelques jours d'écart, donc c'est un classement approximatif, pas un test tête-à-tête. Sur ce tableau, Carbon arrive deuxième derrière Claude Opus 5.5, et Hydrogen se situe sous Sonnet 5.5. Je n'ai pas trouvé de score pour Neon.

Deux lacunes à connaître. Le billet de juin de Google qualifie 3.5 Flash de son meilleur modèle à ce jour pour Computer Use, mais montre les scores seulement dans une image de graphique, donc je n'ai pas pu les citer. La fiche Hydrogen rapporte un résultat OSWorld mais ne liste pas Computer Use parmi ses usages prévus, même si la documentation liste le modèle comme pris en charge. Pour le côté Claude du tableau, voyez mes notes sur Opus 5.5 et Sonnet 5.5.

Que couvrent les contrôles de sécurité ?

La documentation de Google est directe sur le risque : Computer Use « peut contenir des erreurs et des vulnérabilités de sécurité ». Elle nomme trois types de défaillance : contenu non fiable et arnaques, actions involontaires occasionnelles comme cliquer sur le mauvais bouton, et violations de politique comme contourner les CAPTCHA.

Page Computer Use de Google Cloud pour la Gemini Enterprise Agent Platform, montrant les sections décisions de sécurité et human-in-the-loop, tirée de la documentation Google Cloud
Page Computer Use de Google Cloud pour la Gemini Enterprise Agent Platform, montrant les sections décisions de sécurité et human-in-the-loop, tirée de la documentation Google Cloud

Les contrôles se répartissent en quatre groupes :

  • Décisions par étape. Chaque appel de fonction peut porter une safety_decision. Si elle indique require_confirmation, votre application doit interroger l'utilisateur, et ce n'est qu'alors qu'elle définit safety_acknowledgement. Google précise que vous n'avez pas le droit de contourner ces demandes.
  • Catégories de politique. Sur Gemini 3.5 Flash ou ultérieur, sept catégories peuvent déclencher une confirmation : transactions financières, modification de données sensibles, outils de communication, création de compte, modification de données, gestion du consentement utilisateur et conditions légales. Les développeurs peuvent exprimer une préférence pour en désactiver certaines, mais le modèle peut quand même demander.
  • Politique d'organisation. Sur l'Agent Platform, une contrainte d'administrateur peut empêcher les développeurs de désactiver les confirmations. Les changements peuvent prendre jusqu'à une heure pour s'appliquer.
  • Analyse d'injection. Pour Gemini 3.5 Flash-Lite ou ultérieur, l'analyse des captures d'écran à la recherche d'instructions cachées est optionnelle et désactivée par défaut. Quand elle se déclenche, elle bloque l'exécution.

Google recommande aussi une VM ou un conteneur en bac à sable, des listes d'autorisation ou de blocage, et la journalisation des prompts, des captures d'écran, des actions suggérées et des actions exécutées. L'Agent Platform dispose d'un bac à sable navigateur en conteneur que vous pouvez piloter via l'API ou avec Playwright. Pour le contexte de l'attaque elle-même, voyez l'entrée du glossaire sur l'injection de prompt et les garde-fous IA.

Que disent les développeurs ?

Le fil Hacker News sur le lancement de 3.5 Flash a rassemblé 242 points et s'est divisé en deux camps.

Hacker News

"Computer use is such a terrible idea. It's slow, insecure, error prone, expensive."

Hacker News

"Computer use is a great idea. It gets the job done when nothing else will."

Les deux ont raison, pour des tâches différentes. Un autre commentateur l'a jugé très utile pour développer des applications à interface graphique, car un agent peut construire et tester toute l'application de bout en bout. Cela correspond aux propres exemples de Google, qui s'appuient sur les tests et la recherche. Je lis le second commentaire comme l'argument complet en faveur de la fonctionnalité : quand rien d'autre ne fonctionne, c'est la solution de repli.

Une équipe de support devrait-elle l'utiliser ?

Pour les outils sans API, oui, avec prudence. Pour le helpdesk lui-même, je ne commencerais pas là. Une voie par écran lit des pixels, choisit un clic et vérifie le nouvel écran. Une connexion au helpdesk lit le ticket, rédige la réponse et transfère à une personne. La seconde voie a moins d'endroits où quelque chose peut mal se passer, et chaque action peut être nommée, limitée et journalisée.

Deux voies comparées : une voie par écran (lire la capture d'écran, choisir un clic, vérifier le nouvel écran) face à une connexion au helpdesk (lire le ticket, rédiger la réponse, transférer à une personne)
Deux voies comparées : une voie par écran (lire la capture d'écran, choisir un clic, vérifier le nouvel écran) face à une connexion au helpdesk (lire le ticket, rédiger la réponse, transférer à une personne)

C'est la ligne que je trace entre l'infrastructure et un employé. Computer Use est de l'infrastructure : il donne des mains à un modèle, et vous fournissez le bac à sable, les approbations, les journaux et les règles sur quand s'arrêter. eesel est l'employé. Son coéquipier helpdesk IA rejoint votre file existante via des connexions directes à Zendesk, Freshdesk, Gorgias et d'autres helpdesks, répond à partir de votre propre connaissance, et transfère les tickets délicats à votre équipe. eesel simule chaque déploiement sur des tickets historiques avant sa mise en production, une étape qu'une boucle pilotant l'écran n'inclut pas.

SamCart montre à quoi cela ressemble sur une file réelle. L'entreprise exécute eesel sur les tickets Freshdesk et sur le chat de son site web, avec un agent distinct pour chaque canal, répondant tous deux à partir d'environ 280 articles du centre d'aide. Les automatisations Freshdesk décident à quels tickets l'agent répond, et seulement tant qu'aucune personne n'est assignée. Quand un vendeur demande une personne, le ticket est marqué pour transfert et l'agent s'arrête. Rien de tout cela ne nécessite de capture d'écran, car le helpdesk l'expose directement.

Où j'utiliserais encore Gemini Computer Use dans une opération de support :

  • Un outil sans API, comme un écran de facturation ancien qui n'a qu'une interface web, derrière une confirmation et d'abord avec un compte en lecture seule.
  • Tester son propre centre d'aide ou widget de chat de bout en bout, ce qui correspond aux propres cas d'usage de Google.
  • La recherche à travers des sites, comme vérifier les pages de prix publiques d'un concurrent pour vos macros de support.

Pour le volet permissions, mes guides sur les permissions des agents, les garde-fous de remboursement, les tests et l'observabilité s'appliquent à un agent Computer Use autant qu'à n'importe quel autre. Pour le paysage des agents navigateur au-delà de Google, voyez Claude for Chrome, les agents ChatGPT et Manus. Pour comprendre pourquoi le coût et le transfert diffèrent selon la voie, lisez agent contre agent humain : le coût et les bonnes pratiques de transfert d'agent.

Essayez eesel pour le travail de helpdesk

Si votre objectif est une gestion des tickets plus rapide et plus sûre, commencez avec un coéquipier qui connaît déjà votre helpdesk. eesel se connecte directement à Zendesk, Freshdesk et Gorgias, apprend de vos tickets passés et de votre centre d'aide, et règle chaque action sur Activé, Demander d'abord ou Désactivé. Si vous voulez le voir sur votre propre file, essayez eesel ou réservez une démo.

Tableau de bord eesel AI montrant l'activité des tickets Zendesk
Tableau de bord eesel AI montrant l'activité des tickets Zendesk

Questions fréquentes

Qu'est-ce que Gemini Computer Use ?
C'est un outil au sein de l'API Gemini qui permet à un modèle de regarder des captures d'écran et de renvoyer des actions d'interface comme des clics, de la saisie et du défilement. Votre propre code exécute les actions et renvoie une nouvelle capture d'écran. La documentation de Google couvre les configurations navigateur, mobile et bureau, et les modèles pris en charge incluent Gemini 4 Carbon et Gemini 3.8 Flash.
Quels modèles Gemini prennent en charge Computer Use ?
La documentation de l'API Gemini de Google liste Gemini 4 Carbon, Argon, Neon et Hydrogen, Gemini 3.8 Flash, Gemini 3.5 Flash-Lite et Gemini 3 Flash Preview. La documentation de l'Agent Platform ajoute Gemini 3.7, 3.6 et 3.5 Flash ainsi que Gemini Robotics ER 2. Voyez mes notes sur Gemini 4 Neon et Gemini 4 Hydrogen pour comprendre en quoi ils diffèrent.
Combien coûte Gemini Computer Use ?
Il n'y a pas de frais séparés. Le tableau de prix de Google indique que l'outil est facturé comme des jetons normaux au tarif propre du modèle, et la documentation de l'Agent Platform indique qu'il utilise les mêmes références que Gemini. Hydrogen coûte 1,50 $ en entrée et 7,50 $ en sortie par million de jetons, et Neon coûte 3 $ et 15 $. Pour le tableau complet, voyez le prix de Gemini.
Gemini Computer Use est-il gratuit ?
Pas via l'outil. Le tableau de prix des outils de Google liste le niveau gratuit de Computer Use comme non disponible, même sur des modèles qui ont un niveau gratuit pour le texte simple. Prévoyez un budget pour des jetons payants, et consultez le prix d'Hydrogen pour le tarif Gemini 4 le moins cher.
Est-il sûr d'utiliser Gemini Computer Use sur des comptes réels ?
Google indique qu'il peut contenir des erreurs et des vulnérabilités de sécurité, et recommande une VM ou un conteneur en bac à sable, des listes d'autorisation et une journalisation complète. Le modèle peut marquer des actions comme require_confirmation, et l'analyse d'injection de prompt est optionnelle. Je commencerais par du travail en lecture seule et j'utiliserais mon guide sur les permissions des agents de support IA avant d'accorder tout accès en écriture.
Gemini Computer Use peut-il gérer les tickets de support client ?
Il peut piloter l'écran d'un helpdesk, mais une connexion directe au helpdesk reste la voie la plus stable quand elle existe. Un agent helpdesk IA lit le ticket et agit via l'interface propre du helpdesk, ce qui est plus facile à journaliser et à limiter qu'une série de clics. Computer Use trouve sa place pour les outils qui n'ont aucune API.
En quoi Computer Use diffère-t-il d'un coéquipier IA ?
Computer Use est une capacité : le modèle voit un écran et agit, et vous construisez la boucle, le bac à sable et les approbations. Un coéquipier comme celui du helpdesk d'eesel arrive déjà avec la connexion au helpdesk, la connaissance et les règles de transfert en place. Mon aperçu des coéquipiers IA explique la différence plus en détail.
Gemini Computer Use est-il meilleur que le Computer Use de Claude ?
Sur le propre tableau de Google, Gemini 4 Carbon obtient 81,5 % sur OSWorld-2.1 contre 87,2 % pour Claude Opus 5.5, et Hydrogen obtient 77,6 % contre 83,9 % pour Claude Sonnet 5.5. Les lignes viennent de fiches fournisseur publiées à des moments différents, donc testez votre propre tâche avant de choisir.

Share this article