
O Gemini Computer Use é uma ferramenta em que o modelo lê uma captura de tela e retorna um clique, uma tecla digitada ou uma rolagem, e o seu próprio código executa isso. Ele funciona com a família Gemini 4 e os modelos Gemini 3.x Flash, não custa nada além dos tokens normais, e não tem nível gratuito. Os controles de segurança do Google (avisos de confirmação, varredura de injeção opcional) são reais, mas você ainda precisa construir o ambiente isolado. Para trabalho de suporte, eu só usaria onde uma ferramenta não tem API, porque as conexões diretas da eesel com o helpdesk são mais fáceis de limitar e auditar.
O que é o Gemini Computer Use, e por que o nome não para de mudar?
O Computer Use começou como um modelo próprio. O Google anunciou o modelo Gemini 2.5 Computer Use em 7 de outubro de 2025 como uma prévia pública, construído sobre o Gemini 2.5 Pro e "otimizado principalmente para navegadores web". O Google disse que ainda não estava otimizado para o controle do sistema operacional de desktop.
Em 24 de junho de 2026, a ideia passou para os modelos principais. O Google DeepMind disse que o Computer Use se tornou uma ferramenta integrada no Gemini 3.5 Flash, então os desenvolvedores não precisavam mais do modelo independente, e agora ele cobre navegador, celular e desktop. Hoje você o ativa como uma ferramenta para o modelo que já usa.
Eu trabalho em como os agentes da eesel agem dentro de outras ferramentas, então leio isso da forma que uma equipe de suporte deveria ler: é uma forma geral de alcançar software que não tem API. Isso é útil, e também é a forma mais lenta e menos precisa de alcançar software que realmente tem uma.
Com a CLI da eesel, um agente de codificação com IA pode enviar conhecimento aprovado, como artigos exportados do centro de ajuda, e então fazer perguntas de teste ao agente com eesel chat e verificar as respostas antes de qualquer coisa entrar no ar. Conectar o próprio helpdesk ainda precisa de alguém com acesso de administrador para aprovar, e as instruções mudam perguntando ao agente no chat, não editando-as diretamente.
Quais modelos são compatíveis hoje?
A documentação da API do Gemini do Google lista sete modelos, e a documentação do Agent Platform lista um conjunto maior. Os preços abaixo vêm da página de preços do Google, por milhão de tokens, nível pago.
| Modelo | ID do modelo | Entrada / saída | Notas |
|---|---|---|---|
| Gemini 4 Neon | gemini-4-neon | 3,00 $ / 15,00 $ | Sem nível gratuito |
| Gemini 4 Carbon | gemini-4-carbon | 2,00 $ / 10,00 $ | Sobe para 4 $ / 20 $ em 1º de dez. de 2026 |
| Gemini 4 Argon | gemini-4-argon | 2,00 $ / 10,00 $ | Sobe para 4 $ / 20 $ em 1º de dez. de 2026 |
| Gemini 4 Hydrogen | gemini-4-hydrogen | 1,50 $ / 7,50 $ | Usado no próprio exemplo de código do Google |
| Gemini 3.8 Flash | gemini-3.8-flash | 0,75 $ / 3,75 $ | Sobe para 1,50 $ / 7,50 $ em 1º de jan. de 2027 |
| Gemini 3.5 Flash-Lite | gemini-3.5-flash-lite | 0,30 $ / 2,50 $ | Varredura de injeção disponível |
| Gemini 3 Flash Preview | gemini-3-flash-preview | Não está na página que li | Conjunto de ações mais antigo, rotulado como preview |
A página do Agent Platform também lista Gemini 3.7 Flash, 3.6 Flash, 3.5 Flash e Gemini Robotics ER 2, e rotula como preview apenas o Robotics ER 2 e o Gemini 3 Flash. Nenhuma das duas páginas anuncia uma data de disponibilidade geral, então eu trataria o status dos modelos mais novos como "listado e compatível" em vez de "declarado estável".
Se você está escolhendo entre eles, as duas taxas promocionais de Carbon e Argon terminam em 30 de novembro. Meus artigos sobre modelos cobrem Neon, Carbon, Argon e 3.8 Flash com mais detalhes.
Como funciona o loop?
O Computer Use é um loop que pertence ao seu código. A documentação do Google descreve cinco etapas, e o modelo nunca toca sua máquina diretamente.

- Seu app envia o prompt, a configuração da ferramenta e uma captura de tela.
- O modelo retorna um ou mais itens
function_call, cada um com coordenadas e umintentque explica o motivo. - Seu cliente verifica a decisão de segurança, pergunta ao usuário se necessário, e executa a ação, por exemplo com o Playwright.
- Ele captura uma nova imagem e a URL atual e as envia de volta como um
function_result. - O loop se repete até a tarefa terminar, ocorrer um erro, ou um bloqueio ou negação interrompê-lo.
As coordenadas chegam em uma grade de 0 a 999, e seu código as escala para o viewport real. O exemplo de referência do Google limita o loop a 10 iterações, um limite que eu copiaria.

O que ele realmente consegue clicar?
A mesma ferramenta cobre três ambientes. A documentação da API do Gemini do Google conta 20 ações de navegador, 17 de desktop e 10 de celular.
- Navegador: ações de mouse (
click,double_click,right_click,drag_and_drop,scroll), ações de teclado (type,press_key,hotkey), além denavigate,go_back,go_forwardetake_screenshot. - Desktop: o mesmo conjunto sem as três ações de navegação.
- Celular:
open_app,list_apps,long_press,go_back,type,clicke algumas outras.
Você também pode adicionar suas próprias funções junto às integradas, de modo que um modelo possa chamar uma API onde você tiver uma, e recorrer à tela onde não tiver. Essa mistura é a forma sensata de usá-lo.
Quanto custa rodar?
O Google não adiciona nenhuma taxa. A página de preços diz que o Computer Use na API do Gemini é "cobrado como tokens normais pelo preço do próprio modelo", e a documentação do Agent Platform diz que é precificado pelas mesmas taxas e SKUs do Gemini. O nível gratuito para a ferramenta é listado como não disponível.
A estrutura de custo é o que surpreende as pessoas. Cada etapa envia uma captura de tela nova como entrada, e o modelo geralmente pensa antes de agir, o que é cobrado como saída. Uma tarefa com 30 cliques paga por 30 capturas de tela. O Google não publica um número por tarefa, então eu rodaria dez das minhas próprias tarefas no Hydrogen e em um modelo maior, e então compararia o custo por tarefa concluída, não o custo por token.
Quão bom ele é?
As próprias fichas de modelo do Google trazem os números mais claros, no OSWorld-2.1 (subconjunto offline), um benchmark em que agentes completam tarefas em um ambiente de desktop.
| Modelo | OSWorld-2.1 | Ficha de origem |
|---|---|---|
| Claude Opus 5.5 | 87,2% | Ficha do Gemini 4 Carbon |
| Claude Sonnet 5.5 | 83,9% | Ficha do Gemini 4 Hydrogen |
| Gemini 4 Carbon | 81,5% | Ficha do Gemini 4 Carbon |
| GPT-6 Astra | 80,9% | Ficha do Gemini 4 Carbon |
| Gemini 4 Hydrogen | 77,6% | Ficha do Gemini 4 Hydrogen |
| Claude Fable 5.1 | 76,8% | Ficha do Gemini 4 Carbon |
| GPT-6.1 Terra | 74,2% | Ficha do Gemini 4 Hydrogen |
Fontes: a ficha do Carbon (resultados de outubro de 2026) e a ficha do Hydrogen (de novembro de 2026). São números reportados pelo próprio fornecedor, de duas fichas publicadas com poucos dias de diferença, então são uma classificação aproximada, não um teste direto. Nessa tabela, o Carbon fica em segundo lugar, atrás do Claude Opus 5.5, e o Hydrogen fica abaixo do Sonnet 5.5. Não encontrei uma nota para o Neon.
Duas lacunas vale a pena conhecer. O post de junho do Google chama o 3.5 Flash de seu melhor modelo até agora para Computer Use, mas mostra as notas apenas em uma imagem de gráfico, então não pude citá-las. A ficha do Hydrogen reporta um resultado no OSWorld, mas não lista o Computer Use entre seus usos pretendidos, mesmo que a documentação liste o modelo como compatível. Para o lado da Claude na tabela, veja minhas notas sobre Opus 5.5 e Sonnet 5.5.
O que os controles de segurança cobrem?
A documentação do Google é direta sobre o risco: o Computer Use "pode conter erros e vulnerabilidades de segurança". Eles citam três tipos de falha: conteúdo não confiável e fraudes, ações não intencionais ocasionais como clicar no botão errado, e violações de política como contornar CAPTCHAs.

Os controles se dividem em quatro grupos:
- Decisões por etapa. Cada chamada de função pode carregar uma
safety_decision. Se disserrequire_confirmation, seu app precisa perguntar ao usuário, e só então definirsafety_acknowledgement. O Google afirma que você não tem permissão para contornar essas solicitações. - Categorias de política. No Gemini 3.5 Flash ou posterior, sete categorias podem acionar confirmação: transações financeiras, modificação de dados sensíveis, ferramentas de comunicação, criação de conta, modificação de dados, gestão de consentimento do usuário e termos legais. Desenvolvedores podem expressar preferência para desativar algumas, mas o modelo ainda pode perguntar.
- Política da organização. No Agent Platform, uma restrição de administrador pode impedir que desenvolvedores desativem confirmações. As mudanças podem levar até uma hora para serem aplicadas.
- Varredura de injeção. Para o Gemini 3.5 Flash-Lite ou posterior, a varredura de capturas de tela em busca de instruções ocultas é opcional (opt-in) e vem desativada por padrão. Quando é acionada, ela bloqueia a execução.
O Google também recomenda uma VM ou contêiner isolado, listas de permissão ou bloqueio, e registro de prompts, capturas de tela, ações sugeridas e ações executadas. O Agent Platform tem um ambiente isolado de navegador em contêiner que você pode operar pela API ou pelo Playwright. Para o contexto do ataque em si, veja o verbete do glossário sobre injeção de prompt e guardrails de IA.
O que os desenvolvedores estão dizendo?
O tópico do Hacker News sobre o lançamento do 3.5 Flash reuniu 242 pontos e se dividiu em dois lados.
"Computer use is such a terrible idea. It's slow, insecure, error prone, expensive."
"Computer use is a great idea. It gets the job done when nothing else will."
Os dois estão certos sobre trabalhos diferentes. Outro comentarista disse que é muito útil para desenvolver apps com interface gráfica, porque um agente pode construir e testar o app inteiro de ponta a ponta. Isso combina com os próprios exemplos do Google, que se apoiam em testes e pesquisa. Eu leio o segundo comentário como todo o argumento a favor do recurso: quando nada mais funciona, ele é o plano B.
Uma equipe de suporte deveria usar isso?
Para ferramentas sem API, sim, com cuidado. Para o próprio helpdesk, eu não começaria por aí. Uma rota por tela lê pixels, escolhe um clique e verifica a nova tela. Uma conexão com o helpdesk lê o ticket, redige a resposta e repassa para uma pessoa. A segunda rota tem menos lugares para dar errado, e cada ação pode ser nomeada, limitada e registrada.

Essa é a linha que eu traço entre infraestrutura e um funcionário. O Computer Use é infraestrutura: ele dá mãos a um modelo, e você fornece o ambiente isolado, as aprovações, os registros e as regras de quando parar. A eesel é o funcionário. Seu colega de equipe de helpdesk com IA entra na sua fila já existente por meio de conexões diretas com Zendesk, Freshdesk, Gorgias e outros helpdesks, responde a partir do seu próprio conhecimento, e repassa tickets complicados para sua equipe. A eesel simula cada lançamento contra tickets históricos antes de entrar no ar, uma etapa que um loop guiado por tela não inclui.
A SamCart mostra como isso se parece em uma fila real. Ela usa a eesel em tickets do Freshdesk e no chat do seu site, com um agente separado para cada canal, ambos respondendo a partir de cerca de 280 artigos do centro de ajuda. As automações do Freshdesk decidem a quais tickets o agente responde, e apenas enquanto nenhuma pessoa estiver atribuída. Quando um vendedor pede uma pessoa, o ticket é marcado para repasse e o agente para. Nada disso precisa de uma captura de tela, porque o helpdesk expõe essa informação diretamente.
Onde eu ainda usaria o Gemini Computer Use em uma operação de suporte:
- Uma ferramenta sem API, como uma tela de cobrança antiga que só tem interface web, atrás de uma confirmação e primeiro com uma conta apenas de leitura.
- Testar seu próprio centro de ajuda ou widget de chat de ponta a ponta, o que combina com os próprios casos de uso do Google.
- Pesquisa entre sites, como verificar as páginas públicas de preços de um concorrente para suas macros de suporte.
Para o lado das permissões, meus guias sobre permissões de agentes, guardrails de reembolso, testes e observabilidade se aplicam a um agente de Computer Use tanto quanto a qualquer outro. Para o panorama de agentes de navegador além do Google, veja Claude for Chrome, agentes do ChatGPT e Manus. Para entender por que a história de custo e repasse difere por rota, leia agente versus agente humano: custo e melhores práticas de repasse de agente.
Experimente a eesel para o trabalho de helpdesk
Se seu objetivo é um atendimento de tickets mais rápido e seguro, comece com um colega de equipe que já conhece seu helpdesk. A eesel se conecta diretamente a Zendesk, Freshdesk e Gorgias, aprende com seus tickets antigos e seu centro de ajuda, e define cada ação como Ativado, Perguntar antes ou Desativado. Se quiser ver isso na sua própria fila, experimente a eesel ou agende uma demo.
