Gemini Computer Use: o que faz, quanto custa e onde se encaixa

Kira
Escrito por

Kira

Katelin Teen
Revisado por

Katelin Teen

Última edição 19 de novembro de 2026

Verificado por especialista
Ilustração desenhada à mão de uma pessoa observando um robô amigável clicar em um botão e preencher uma caixa de texto em uma janela de navegador, para um artigo explicativo sobre o Gemini Computer Use
TL;DR

O Gemini Computer Use é uma ferramenta em que o modelo lê uma captura de tela e retorna um clique, uma tecla digitada ou uma rolagem, e o seu próprio código executa isso. Ele funciona com a família Gemini 4 e os modelos Gemini 3.x Flash, não custa nada além dos tokens normais, e não tem nível gratuito. Os controles de segurança do Google (avisos de confirmação, varredura de injeção opcional) são reais, mas você ainda precisa construir o ambiente isolado. Para trabalho de suporte, eu só usaria onde uma ferramenta não tem API, porque as conexões diretas da eesel com o helpdesk são mais fáceis de limitar e auditar.

O que é o Gemini Computer Use, e por que o nome não para de mudar?

O Computer Use começou como um modelo próprio. O Google anunciou o modelo Gemini 2.5 Computer Use em 7 de outubro de 2025 como uma prévia pública, construído sobre o Gemini 2.5 Pro e "otimizado principalmente para navegadores web". O Google disse que ainda não estava otimizado para o controle do sistema operacional de desktop.

Em 24 de junho de 2026, a ideia passou para os modelos principais. O Google DeepMind disse que o Computer Use se tornou uma ferramenta integrada no Gemini 3.5 Flash, então os desenvolvedores não precisavam mais do modelo independente, e agora ele cobre navegador, celular e desktop. Hoje você o ativa como uma ferramenta para o modelo que já usa.

Eu trabalho em como os agentes da eesel agem dentro de outras ferramentas, então leio isso da forma que uma equipe de suporte deveria ler: é uma forma geral de alcançar software que não tem API. Isso é útil, e também é a forma mais lenta e menos precisa de alcançar software que realmente tem uma.

Com a CLI da eesel, um agente de codificação com IA pode enviar conhecimento aprovado, como artigos exportados do centro de ajuda, e então fazer perguntas de teste ao agente com eesel chat e verificar as respostas antes de qualquer coisa entrar no ar. Conectar o próprio helpdesk ainda precisa de alguém com acesso de administrador para aprovar, e as instruções mudam perguntando ao agente no chat, não editando-as diretamente.

Quais modelos são compatíveis hoje?

A documentação da API do Gemini do Google lista sete modelos, e a documentação do Agent Platform lista um conjunto maior. Os preços abaixo vêm da página de preços do Google, por milhão de tokens, nível pago.

ModeloID do modeloEntrada / saídaNotas
Gemini 4 Neongemini-4-neon3,00 $ / 15,00 $Sem nível gratuito
Gemini 4 Carbongemini-4-carbon2,00 $ / 10,00 $Sobe para 4 $ / 20 $ em 1º de dez. de 2026
Gemini 4 Argongemini-4-argon2,00 $ / 10,00 $Sobe para 4 $ / 20 $ em 1º de dez. de 2026
Gemini 4 Hydrogengemini-4-hydrogen1,50 $ / 7,50 $Usado no próprio exemplo de código do Google
Gemini 3.8 Flashgemini-3.8-flash0,75 $ / 3,75 $Sobe para 1,50 $ / 7,50 $ em 1º de jan. de 2027
Gemini 3.5 Flash-Litegemini-3.5-flash-lite0,30 $ / 2,50 $Varredura de injeção disponível
Gemini 3 Flash Previewgemini-3-flash-previewNão está na página que liConjunto de ações mais antigo, rotulado como preview

A página do Agent Platform também lista Gemini 3.7 Flash, 3.6 Flash, 3.5 Flash e Gemini Robotics ER 2, e rotula como preview apenas o Robotics ER 2 e o Gemini 3 Flash. Nenhuma das duas páginas anuncia uma data de disponibilidade geral, então eu trataria o status dos modelos mais novos como "listado e compatível" em vez de "declarado estável".

Se você está escolhendo entre eles, as duas taxas promocionais de Carbon e Argon terminam em 30 de novembro. Meus artigos sobre modelos cobrem Neon, Carbon, Argon e 3.8 Flash com mais detalhes.

Como funciona o loop?

O Computer Use é um loop que pertence ao seu código. A documentação do Google descreve cinco etapas, e o modelo nunca toca sua máquina diretamente.

Loop de quatro etapas: a captura de tela e o objetivo vão para o modelo, o modelo escolhe uma ação, seu código a executa, e uma nova captura de tela retorna
Loop de quatro etapas: a captura de tela e o objetivo vão para o modelo, o modelo escolhe uma ação, seu código a executa, e uma nova captura de tela retorna
  1. Seu app envia o prompt, a configuração da ferramenta e uma captura de tela.
  2. O modelo retorna um ou mais itens function_call, cada um com coordenadas e um intent que explica o motivo.
  3. Seu cliente verifica a decisão de segurança, pergunta ao usuário se necessário, e executa a ação, por exemplo com o Playwright.
  4. Ele captura uma nova imagem e a URL atual e as envia de volta como um function_result.
  5. O loop se repete até a tarefa terminar, ocorrer um erro, ou um bloqueio ou negação interrompê-lo.

As coordenadas chegam em uma grade de 0 a 999, e seu código as escala para o viewport real. O exemplo de referência do Google limita o loop a 10 iterações, um limite que eu copiaria.

Página de Computer Use do Google no AI Studio, listando suporte multiambiente, intents, políticas de segurança e detecção de injeção de prompt, retirada da documentação do Google AI Studio
Página de Computer Use do Google no AI Studio, listando suporte multiambiente, intents, políticas de segurança e detecção de injeção de prompt, retirada da documentação do Google AI Studio

O que ele realmente consegue clicar?

A mesma ferramenta cobre três ambientes. A documentação da API do Gemini do Google conta 20 ações de navegador, 17 de desktop e 10 de celular.

  • Navegador: ações de mouse (click, double_click, right_click, drag_and_drop, scroll), ações de teclado (type, press_key, hotkey), além de navigate, go_back, go_forward e take_screenshot.
  • Desktop: o mesmo conjunto sem as três ações de navegação.
  • Celular: open_app, list_apps, long_press, go_back, type, click e algumas outras.

Você também pode adicionar suas próprias funções junto às integradas, de modo que um modelo possa chamar uma API onde você tiver uma, e recorrer à tela onde não tiver. Essa mistura é a forma sensata de usá-lo.

Quanto custa rodar?

O Google não adiciona nenhuma taxa. A página de preços diz que o Computer Use na API do Gemini é "cobrado como tokens normais pelo preço do próprio modelo", e a documentação do Agent Platform diz que é precificado pelas mesmas taxas e SKUs do Gemini. O nível gratuito para a ferramenta é listado como não disponível.

A estrutura de custo é o que surpreende as pessoas. Cada etapa envia uma captura de tela nova como entrada, e o modelo geralmente pensa antes de agir, o que é cobrado como saída. Uma tarefa com 30 cliques paga por 30 capturas de tela. O Google não publica um número por tarefa, então eu rodaria dez das minhas próprias tarefas no Hydrogen e em um modelo maior, e então compararia o custo por tarefa concluída, não o custo por token.

Quão bom ele é?

As próprias fichas de modelo do Google trazem os números mais claros, no OSWorld-2.1 (subconjunto offline), um benchmark em que agentes completam tarefas em um ambiente de desktop.

ModeloOSWorld-2.1Ficha de origem
Claude Opus 5.587,2%Ficha do Gemini 4 Carbon
Claude Sonnet 5.583,9%Ficha do Gemini 4 Hydrogen
Gemini 4 Carbon81,5%Ficha do Gemini 4 Carbon
GPT-6 Astra80,9%Ficha do Gemini 4 Carbon
Gemini 4 Hydrogen77,6%Ficha do Gemini 4 Hydrogen
Claude Fable 5.176,8%Ficha do Gemini 4 Carbon
GPT-6.1 Terra74,2%Ficha do Gemini 4 Hydrogen

Fontes: a ficha do Carbon (resultados de outubro de 2026) e a ficha do Hydrogen (de novembro de 2026). São números reportados pelo próprio fornecedor, de duas fichas publicadas com poucos dias de diferença, então são uma classificação aproximada, não um teste direto. Nessa tabela, o Carbon fica em segundo lugar, atrás do Claude Opus 5.5, e o Hydrogen fica abaixo do Sonnet 5.5. Não encontrei uma nota para o Neon.

Duas lacunas vale a pena conhecer. O post de junho do Google chama o 3.5 Flash de seu melhor modelo até agora para Computer Use, mas mostra as notas apenas em uma imagem de gráfico, então não pude citá-las. A ficha do Hydrogen reporta um resultado no OSWorld, mas não lista o Computer Use entre seus usos pretendidos, mesmo que a documentação liste o modelo como compatível. Para o lado da Claude na tabela, veja minhas notas sobre Opus 5.5 e Sonnet 5.5.

O que os controles de segurança cobrem?

A documentação do Google é direta sobre o risco: o Computer Use "pode conter erros e vulnerabilidades de segurança". Eles citam três tipos de falha: conteúdo não confiável e fraudes, ações não intencionais ocasionais como clicar no botão errado, e violações de política como contornar CAPTCHAs.

Página de Computer Use do Google Cloud para a Gemini Enterprise Agent Platform, mostrando seções de decisões de segurança e human-in-the-loop, retirada da documentação do Google Cloud
Página de Computer Use do Google Cloud para a Gemini Enterprise Agent Platform, mostrando seções de decisões de segurança e human-in-the-loop, retirada da documentação do Google Cloud

Os controles se dividem em quatro grupos:

  • Decisões por etapa. Cada chamada de função pode carregar uma safety_decision. Se disser require_confirmation, seu app precisa perguntar ao usuário, e só então definir safety_acknowledgement. O Google afirma que você não tem permissão para contornar essas solicitações.
  • Categorias de política. No Gemini 3.5 Flash ou posterior, sete categorias podem acionar confirmação: transações financeiras, modificação de dados sensíveis, ferramentas de comunicação, criação de conta, modificação de dados, gestão de consentimento do usuário e termos legais. Desenvolvedores podem expressar preferência para desativar algumas, mas o modelo ainda pode perguntar.
  • Política da organização. No Agent Platform, uma restrição de administrador pode impedir que desenvolvedores desativem confirmações. As mudanças podem levar até uma hora para serem aplicadas.
  • Varredura de injeção. Para o Gemini 3.5 Flash-Lite ou posterior, a varredura de capturas de tela em busca de instruções ocultas é opcional (opt-in) e vem desativada por padrão. Quando é acionada, ela bloqueia a execução.

O Google também recomenda uma VM ou contêiner isolado, listas de permissão ou bloqueio, e registro de prompts, capturas de tela, ações sugeridas e ações executadas. O Agent Platform tem um ambiente isolado de navegador em contêiner que você pode operar pela API ou pelo Playwright. Para o contexto do ataque em si, veja o verbete do glossário sobre injeção de prompt e guardrails de IA.

O que os desenvolvedores estão dizendo?

O tópico do Hacker News sobre o lançamento do 3.5 Flash reuniu 242 pontos e se dividiu em dois lados.

Hacker News

"Computer use is such a terrible idea. It's slow, insecure, error prone, expensive."

Hacker News

"Computer use is a great idea. It gets the job done when nothing else will."

Os dois estão certos sobre trabalhos diferentes. Outro comentarista disse que é muito útil para desenvolver apps com interface gráfica, porque um agente pode construir e testar o app inteiro de ponta a ponta. Isso combina com os próprios exemplos do Google, que se apoiam em testes e pesquisa. Eu leio o segundo comentário como todo o argumento a favor do recurso: quando nada mais funciona, ele é o plano B.

Uma equipe de suporte deveria usar isso?

Para ferramentas sem API, sim, com cuidado. Para o próprio helpdesk, eu não começaria por aí. Uma rota por tela lê pixels, escolhe um clique e verifica a nova tela. Uma conexão com o helpdesk lê o ticket, redige a resposta e repassa para uma pessoa. A segunda rota tem menos lugares para dar errado, e cada ação pode ser nomeada, limitada e registrada.

Duas rotas comparadas: uma rota por tela (ler a captura de tela, escolher um clique, verificar a nova tela) em comparação com uma conexão com o helpdesk (ler o ticket, redigir a resposta, repassar para uma pessoa)
Duas rotas comparadas: uma rota por tela (ler a captura de tela, escolher um clique, verificar a nova tela) em comparação com uma conexão com o helpdesk (ler o ticket, redigir a resposta, repassar para uma pessoa)

Essa é a linha que eu traço entre infraestrutura e um funcionário. O Computer Use é infraestrutura: ele dá mãos a um modelo, e você fornece o ambiente isolado, as aprovações, os registros e as regras de quando parar. A eesel é o funcionário. Seu colega de equipe de helpdesk com IA entra na sua fila já existente por meio de conexões diretas com Zendesk, Freshdesk, Gorgias e outros helpdesks, responde a partir do seu próprio conhecimento, e repassa tickets complicados para sua equipe. A eesel simula cada lançamento contra tickets históricos antes de entrar no ar, uma etapa que um loop guiado por tela não inclui.

A SamCart mostra como isso se parece em uma fila real. Ela usa a eesel em tickets do Freshdesk e no chat do seu site, com um agente separado para cada canal, ambos respondendo a partir de cerca de 280 artigos do centro de ajuda. As automações do Freshdesk decidem a quais tickets o agente responde, e apenas enquanto nenhuma pessoa estiver atribuída. Quando um vendedor pede uma pessoa, o ticket é marcado para repasse e o agente para. Nada disso precisa de uma captura de tela, porque o helpdesk expõe essa informação diretamente.

Onde eu ainda usaria o Gemini Computer Use em uma operação de suporte:

  • Uma ferramenta sem API, como uma tela de cobrança antiga que só tem interface web, atrás de uma confirmação e primeiro com uma conta apenas de leitura.
  • Testar seu próprio centro de ajuda ou widget de chat de ponta a ponta, o que combina com os próprios casos de uso do Google.
  • Pesquisa entre sites, como verificar as páginas públicas de preços de um concorrente para suas macros de suporte.

Para o lado das permissões, meus guias sobre permissões de agentes, guardrails de reembolso, testes e observabilidade se aplicam a um agente de Computer Use tanto quanto a qualquer outro. Para o panorama de agentes de navegador além do Google, veja Claude for Chrome, agentes do ChatGPT e Manus. Para entender por que a história de custo e repasse difere por rota, leia agente versus agente humano: custo e melhores práticas de repasse de agente.

Experimente a eesel para o trabalho de helpdesk

Se seu objetivo é um atendimento de tickets mais rápido e seguro, comece com um colega de equipe que já conhece seu helpdesk. A eesel se conecta diretamente a Zendesk, Freshdesk e Gorgias, aprende com seus tickets antigos e seu centro de ajuda, e define cada ação como Ativado, Perguntar antes ou Desativado. Se quiser ver isso na sua própria fila, experimente a eesel ou agende uma demo.

Painel da eesel AI mostrando atividade de tickets do Zendesk
Painel da eesel AI mostrando atividade de tickets do Zendesk

Perguntas frequentes

O que é o Gemini Computer Use?
É uma ferramenta dentro da API do Gemini que permite que um modelo veja capturas de tela e retorne ações de interface como cliques, digitação e rolagem. O seu próprio código executa as ações e envia uma nova captura de tela. A documentação do Google cobre configurações de navegador, celular e desktop, e os modelos compatíveis incluem o Gemini 4 Carbon e o Gemini 3.8 Flash.
Quais modelos Gemini são compatíveis com o Computer Use?
A documentação da API do Gemini do Google lista Gemini 4 Carbon, Argon, Neon e Hydrogen, Gemini 3.8 Flash, Gemini 3.5 Flash-Lite e Gemini 3 Flash Preview. A documentação do Agent Platform acrescenta Gemini 3.7, 3.6 e 3.5 Flash e o Gemini Robotics ER 2. Veja minhas notas sobre o Gemini 4 Neon e o Gemini 4 Hydrogen para entender como esses dois se diferenciam.
Quanto custa o Gemini Computer Use?
Não há uma taxa separada. A tabela de preços do Google diz que a ferramenta é cobrada como tokens normais, na taxa do próprio modelo, e a documentação do Agent Platform diz que usa os mesmos SKUs do Gemini. O Hydrogen custa 1,50 $ de entrada e 7,50 $ de saída por milhão de tokens, e o Neon custa 3 $ e 15 $. Para a tabela completa, veja os preços do Gemini.
O Gemini Computer Use é gratuito?
Não pela ferramenta. A tabela de preços de ferramentas do Google lista o nível gratuito do Computer Use como não disponível, mesmo em modelos que têm nível gratuito para texto simples. Reserve orçamento para tokens pagos, e confira os preços do Hydrogen para a taxa mais barata do Gemini 4.
É seguro usar o Gemini Computer Use em contas reais?
O Google diz que pode conter erros e vulnerabilidades de segurança, e recomenda uma VM ou contêiner isolado, listas de permissão e registro completo. O modelo pode marcar ações como require_confirmation, e a varredura de injeção de prompt é opcional (opt-in). Eu começaria com trabalho apenas de leitura e usaria meu guia sobre permissões de agentes de suporte com IA antes de conceder qualquer acesso de escrita.
O Gemini Computer Use consegue lidar com tickets de atendimento ao cliente?
Ele consegue operar a tela de um helpdesk, mas uma conexão direta com o helpdesk é a rota mais estável quando existe. Um agente de helpdesk com IA lê o ticket e age pela própria interface do helpdesk, o que é mais fácil de registrar e limitar do que uma série de cliques. O Computer Use se justifica em ferramentas que não têm API alguma.
Como o Computer Use é diferente de um colega de equipe com IA?
O Computer Use é uma capacidade: o modelo vê uma tela e age, e você constrói o loop, o ambiente isolado e as aprovações. Um colega de equipe como o colega de helpdesk da eesel já chega com a conexão ao helpdesk, o conhecimento e as regras de repasse em vigor. Minha visão geral sobre colegas de equipe com IA explica a diferença com mais detalhe.
O Gemini Computer Use é melhor que o Computer Use da Claude?
Na própria tabela do Google, o Gemini 4 Carbon marca 81,5% no OSWorld-2.1 contra 87,2% do Claude Opus 5.5, e o Hydrogen marca 77,6% contra 83,9% do Claude Sonnet 5.5. As linhas vêm de fichas de fornecedor publicadas em momentos diferentes, então teste sua própria tarefa antes de escolher.

Share this article