Gemini Computer Use: qué hace, cuánto cuesta y dónde tiene sentido usarlo

Kira
Escrito por

Kira

Katelin Teen
Revisado por

Katelin Teen

Última edición 19 de noviembre de 2026

Verificado por expertos
Ilustración dibujada a mano de una persona observando a un robot amistoso hacer clic en un botón y rellenar un cuadro de texto en una ventana del navegador, para un artículo explicativo sobre Gemini Computer Use
TL;DR

Gemini Computer Use es una herramienta donde el modelo lee una captura de pantalla y devuelve un clic, una pulsación de tecla o un desplazamiento, y tu propio código lo ejecuta. Funciona con la familia Gemini 4 y los modelos Gemini 3.x Flash, no cuesta nada extra más allá de los tokens normales, y no tiene nivel gratuito. Los controles de seguridad de Google (avisos de confirmación, escaneo de inyección opcional) son reales, pero el entorno aislado sigues construyéndolo tú. Para trabajo de soporte, yo lo usaría solo donde una herramienta no tenga API, porque las conexiones directas de eesel al helpdesk son más fáciles de limitar y auditar.

¿Qué es Gemini Computer Use, y por qué sigue cambiando de nombre?

Computer Use empezó como un modelo propio. Google anunció el modelo Gemini 2.5 Computer Use el 7 de octubre de 2025 como vista previa pública, construido sobre Gemini 2.5 Pro y "optimizado principalmente para navegadores web". Google dijo que todavía no estaba optimizado para el control del sistema operativo de escritorio.

El 24 de junio de 2026 la idea se trasladó a los modelos principales. Google DeepMind dijo que Computer Use se convirtió en una herramienta integrada en Gemini 3.5 Flash, así que los desarrolladores ya no necesitaban el modelo independiente, y ahora cubre navegador, móvil y escritorio. Hoy la activas como herramienta para el modelo que ya usas.

Trabajo en cómo actúan los agentes de eesel dentro de otras herramientas, y leo esto como debería leerlo un equipo de soporte: es una forma general de llegar a software que no tiene API. Eso es útil, y también es la forma más lenta y menos precisa de llegar a software que sí la tiene.

Con la CLI de eesel, un agente de codificación con IA puede subir conocimiento aprobado, como artículos exportados del centro de ayuda, y luego hacerle preguntas de prueba al agente con eesel chat y revisar las respuestas antes de que nada salga en vivo. Conectar el helpdesk en sí sigue necesitando a alguien con acceso de administrador que lo apruebe, y las instrucciones cambian preguntándole al agente en el chat, no editándolas directamente.

¿Qué modelos lo soportan hoy?

La documentación de la API de Gemini de Google lista siete modelos, y la documentación de Agent Platform lista un conjunto más amplio. Los precios de abajo son de la página de precios de Google, por millón de tokens, nivel de pago.

ModeloID del modeloEntrada / salidaNotas
Gemini 4 Neongemini-4-neon3,00 $ / 15,00 $Sin nivel gratuito
Gemini 4 Carbongemini-4-carbon2,00 $ / 10,00 $Sube a 4 $ / 20 $ el 1 de dic. de 2026
Gemini 4 Argongemini-4-argon2,00 $ / 10,00 $Sube a 4 $ / 20 $ el 1 de dic. de 2026
Gemini 4 Hydrogengemini-4-hydrogen1,50 $ / 7,50 $Usado en el ejemplo de código propio de Google
Gemini 3.8 Flashgemini-3.8-flash0,75 $ / 3,75 $Sube a 1,50 $ / 7,50 $ el 1 de ene. de 2027
Gemini 3.5 Flash-Litegemini-3.5-flash-lite0,30 $ / 2,50 $Escaneo de inyección disponible
Gemini 3 Flash Previewgemini-3-flash-previewNo está en la página que leíConjunto de acciones más antiguo, etiquetado como preview

La página de Agent Platform también lista Gemini 3.7 Flash, 3.6 Flash, 3.5 Flash y Gemini Robotics ER 2, y etiqueta como preview solo a Robotics ER 2 y Gemini 3 Flash. Ninguna de las dos páginas anuncia una fecha de disponibilidad general, así que yo trataría el estado de los modelos más nuevos como "listado y soportado" en lugar de "declarado estable".

Si estás eligiendo entre ellos, las dos tarifas promocionales de Carbon y Argon terminan el 30 de noviembre. Mis artículos sobre modelos cubren Neon, Carbon, Argon y 3.8 Flash con más detalle.

¿Cómo funciona el bucle?

Computer Use es un bucle que controla tu código. La documentación de Google describe cinco pasos, y el modelo nunca toca tu máquina directamente.

Bucle de cuatro pasos: la captura de pantalla y el objetivo van al modelo, el modelo elige una acción, tu código la ejecuta, y una nueva captura regresa
Bucle de cuatro pasos: la captura de pantalla y el objetivo van al modelo, el modelo elige una acción, tu código la ejecuta, y una nueva captura regresa
  1. Tu app envía el prompt, la configuración de la herramienta y una captura de pantalla.
  2. El modelo devuelve uno o más elementos function_call, cada uno con coordenadas y un intent que explica el motivo.
  3. Tu cliente revisa la decisión de seguridad, pregunta al usuario si es necesario, y ejecuta la acción, por ejemplo con Playwright.
  4. Captura una nueva imagen y la URL actual y las envía de vuelta como function_result.
  5. El bucle se repite hasta que la tarea termina, ocurre un error, o un bloqueo o una denegación lo detiene.

Las coordenadas llegan en una cuadrícula de 0 a 999, y tu código las escala al viewport real. El ejemplo de referencia de Google limita el bucle a 10 iteraciones, un límite que yo copiaría.

Página de Computer Use de Google en AI Studio, listando soporte multi-entorno, intents, políticas de seguridad y detección de inyección de prompts, tomada de la documentación de Google AI Studio
Página de Computer Use de Google en AI Studio, listando soporte multi-entorno, intents, políticas de seguridad y detección de inyección de prompts, tomada de la documentación de Google AI Studio

¿Qué puede hacer clic realmente?

La misma herramienta cubre tres entornos. La documentación de la API de Gemini de Google cuenta 20 acciones de navegador, 17 de escritorio y 10 de móvil.

  • Navegador: acciones de ratón (click, double_click, right_click, drag_and_drop, scroll), acciones de teclado (type, press_key, hotkey), además de navigate, go_back, go_forward y take_screenshot.
  • Escritorio: el mismo conjunto sin las tres acciones de navegación.
  • Móvil: open_app, list_apps, long_press, go_back, type, click y algunas otras.

También puedes añadir tus propias funciones junto a las integradas, de modo que un modelo pueda llamar a una API donde la tengas y recurrir a la pantalla donde no la tengas. Esa mezcla es la forma sensata de usarlo.

¿Cuánto cuesta ejecutarlo?

Google no añade ninguna tarifa. La página de precios dice que Computer Use en la API de Gemini se "factura como tokens normales según el precio del modelo", y la documentación de Agent Platform dice que se cobra a las mismas tarifas y SKU que Gemini. El nivel gratuito para la herramienta se lista como no disponible.

La forma del costo es lo que sorprende a la gente. Cada paso envía una captura de pantalla nueva como entrada, y el modelo suele pensar antes de actuar, lo que se factura como salida. Una tarea de 30 clics paga por 30 capturas de pantalla. Google no publica una cifra por tarea, así que yo correría diez de mis propias tareas en Hydrogen y en un modelo más grande, y luego compararía el costo por tarea terminada, no el costo por token.

¿Qué tan bueno es?

Las propias fichas de modelo de Google dan las cifras más claras, en OSWorld-2.1 (subconjunto offline), un benchmark donde los agentes completan tareas en un entorno de escritorio.

ModeloOSWorld-2.1Ficha fuente
Claude Opus 5.587,2 %Ficha de Gemini 4 Carbon
Claude Sonnet 5.583,9 %Ficha de Gemini 4 Hydrogen
Gemini 4 Carbon81,5 %Ficha de Gemini 4 Carbon
GPT-6 Astra80,9 %Ficha de Gemini 4 Carbon
Gemini 4 Hydrogen77,6 %Ficha de Gemini 4 Hydrogen
Claude Fable 5.176,8 %Ficha de Gemini 4 Carbon
GPT-6.1 Terra74,2 %Ficha de Gemini 4 Hydrogen

Fuentes: la ficha de Carbon (resultados a octubre de 2026) y la ficha de Hydrogen (a noviembre de 2026). Son cifras reportadas por el proveedor, de dos fichas publicadas con pocos días de diferencia, así que son una clasificación aproximada, no una prueba cara a cara. En esta tabla Carbon queda en segundo lugar detrás de Claude Opus 5.5, e Hydrogen queda por debajo de Sonnet 5.5. No encontré una puntuación para Neon.

Dos vacíos que vale la pena conocer. La publicación de junio de Google llama a 3.5 Flash su mejor modelo hasta ahora para Computer Use, pero muestra las puntuaciones solo en una imagen de gráfico, así que no pude citarlas. La ficha de Hydrogen reporta un resultado de OSWorld pero no lista Computer Use entre sus usos previstos, aunque la documentación sí lista el modelo como compatible. Para el lado de Claude en la tabla, mira mis notas sobre Opus 5.5 y Sonnet 5.5.

¿Qué cubren los controles de seguridad?

La documentación de Google es directa sobre el riesgo: Computer Use "puede contener errores y vulnerabilidades de seguridad". Nombran tres tipos de fallo: contenido no confiable y estafas, acciones no intencionadas ocasionales como hacer clic en el botón equivocado, y violaciones de política como saltarse los CAPTCHA.

Página de Computer Use de Google Cloud para la Gemini Enterprise Agent Platform, mostrando secciones de decisiones de seguridad y human-in-the-loop, tomada de la documentación de Google Cloud
Página de Computer Use de Google Cloud para la Gemini Enterprise Agent Platform, mostrando secciones de decisiones de seguridad y human-in-the-loop, tomada de la documentación de Google Cloud

Los controles se agrupan en cuatro bloques:

  • Decisiones por paso. Cada llamada de función puede llevar una safety_decision. Si dice require_confirmation, tu app debe preguntar al usuario, y solo entonces establecer safety_acknowledgement. Google indica que no tienes permitido saltarte estas solicitudes.
  • Categorías de política. En Gemini 3.5 Flash o posterior, siete categorías pueden activar confirmación: transacciones financieras, modificación de datos sensibles, herramientas de comunicación, creación de cuentas, modificación de datos, gestión del consentimiento del usuario y términos legales. Los desarrolladores pueden expresar una preferencia para desactivar algunas, pero el modelo puede seguir preguntando.
  • Política de organización. En Agent Platform, una restricción de administrador puede impedir que los desarrolladores desactiven las confirmaciones. Los cambios pueden tardar hasta una hora en aplicarse.
  • Escaneo de inyección. Para Gemini 3.5 Flash-Lite o posterior, el escaneo de capturas de pantalla en busca de instrucciones ocultas es opcional y está desactivado por defecto. Cuando se activa, bloquea la ejecución.

Google también recomienda una VM o contenedor aislado, listas de permitidos o bloqueados, y registrar prompts, capturas de pantalla, acciones sugeridas y acciones ejecutadas. Agent Platform tiene un entorno de navegador aislado en contenedor que puedes manejar mediante la API o con Playwright. Para el trasfondo del ataque en sí, mira la entrada del glosario sobre inyección de prompts y barreras de seguridad de IA.

¿Qué dicen los desarrolladores?

El hilo de Hacker News sobre el lanzamiento de 3.5 Flash reunió 242 puntos y se dividió en dos bandos.

Hacker News

"Computer use is such a terrible idea. It's slow, insecure, error prone, expensive."

Hacker News

"Computer use is a great idea. It gets the job done when nothing else will."

Ambos tienen razón sobre trabajos distintos. Otro comentarista lo llamó muy útil para desarrollar apps con interfaz gráfica, porque un agente puede construir y probar toda la app de extremo a extremo. Eso coincide con los propios ejemplos de Google, que se apoyan en pruebas e investigación. Yo leo el segundo comentario como todo el argumento a favor de la función: cuando nada más funciona, es el recurso de respaldo.

¿Debería usarlo un equipo de soporte?

Para herramientas sin API, sí, con cuidado. Para el helpdesk en sí, yo no empezaría ahí. Una ruta por pantalla lee píxeles, elige un clic y revisa la nueva pantalla. Una conexión al helpdesk lee el ticket, redacta la respuesta y traspasa a una persona. La segunda ruta tiene menos lugares donde algo puede salir mal, y cada acción se puede nombrar, limitar y registrar.

Dos carriles comparando una ruta por pantalla (leer la captura, elegir un clic, revisar la nueva pantalla) con una conexión al helpdesk (leer el ticket, redactar la respuesta, traspasar a una persona)
Dos carriles comparando una ruta por pantalla (leer la captura, elegir un clic, revisar la nueva pantalla) con una conexión al helpdesk (leer el ticket, redactar la respuesta, traspasar a una persona)

Esta es la línea que yo trazo entre infraestructura y un empleado. Computer Use es infraestructura: le da manos a un modelo, y tú aportas el entorno aislado, las aprobaciones, los registros y las reglas de cuándo detenerse. eesel es el empleado. Su compañero de equipo de helpdesk con IA se une a tu cola existente mediante conexiones directas a Zendesk, Freshdesk, Gorgias y otros helpdesks, responde desde tu propio conocimiento, y traspasa los tickets complicados a tu equipo. eesel simula cada despliegue contra tickets históricos antes de salir en vivo, un paso que un bucle que maneja la pantalla no incluye.

SamCart muestra cómo se ve eso en una cola real. Ejecuta eesel en tickets de Freshdesk y en el chat de su sitio web, con un agente separado para cada canal, ambos respondiendo desde unos 280 artículos del centro de ayuda. Las automatizaciones de Freshdesk deciden a qué tickets responde el agente, y solo mientras no haya una persona asignada. Cuando un vendedor pide una persona, el ticket se etiqueta para el traspaso y el agente se detiene. Nada de eso necesita una captura de pantalla, porque el helpdesk lo expone directamente.

Dónde seguiría usando Gemini Computer Use en una operación de soporte:

  • Una herramienta sin API, como una pantalla de facturación antigua que solo tiene interfaz web, detrás de una confirmación y primero con una cuenta de solo lectura.
  • Probar tu propio centro de ayuda o widget de chat de extremo a extremo, lo que coincide con los propios casos de uso de Google.
  • Investigación entre sitios, como revisar las páginas públicas de precios de un competidor para tus macros de soporte.

Para el lado de permisos, mis guías sobre permisos de agentes, barreras de reembolso, pruebas y observabilidad aplican a un agente de Computer Use tanto como a cualquier otro. Para el panorama de agentes de navegador más allá de Google, mira Claude for Chrome, agentes de ChatGPT y Manus. Para saber por qué la historia de costo y traspaso difiere según la ruta, lee agente frente a agente humano: costo y mejores prácticas de traspaso de agentes.

Prueba eesel para el trabajo de helpdesk

Si tu objetivo es una gestión de tickets más rápida y segura, empieza con un compañero de equipo que ya conoce tu helpdesk. eesel se conecta directamente a Zendesk, Freshdesk y Gorgias, aprende de tus tickets pasados y tu centro de ayuda, y pone cada acción en Activado, Preguntar primero o Desactivado. Si quieres verlo en tu propia cola, prueba eesel o reserva una demo.

Panel de eesel AI mostrando actividad de tickets de Zendesk
Panel de eesel AI mostrando actividad de tickets de Zendesk

Preguntas frecuentes

¿Qué es Gemini Computer Use?
Es una herramienta dentro de la API de Gemini que permite a un modelo mirar capturas de pantalla y devolver acciones de interfaz como clics, escritura y desplazamiento. Tu propio código ejecuta las acciones y envía una nueva captura. La documentación de Google cubre configuraciones de navegador, móvil y escritorio, y entre los modelos compatibles están Gemini 4 Carbon y Gemini 3.8 Flash.
¿Qué modelos Gemini soportan Computer Use?
La documentación de la API de Gemini de Google lista Gemini 4 Carbon, Argon, Neon e Hydrogen, Gemini 3.8 Flash, Gemini 3.5 Flash-Lite y Gemini 3 Flash Preview. La documentación de Agent Platform añade Gemini 3.7, 3.6 y 3.5 Flash y Gemini Robotics ER 2. Mira mis notas sobre Gemini 4 Neon y Gemini 4 Hydrogen para ver en qué se diferencian.
¿Cuánto cuesta Gemini Computer Use?
No hay una tarifa separada. La tabla de precios de Google dice que la herramienta se factura como tokens normales al precio propio del modelo, y la documentación de Agent Platform dice que usa los mismos SKU que Gemini. Hydrogen cuesta 1,50 $ de entrada y 7,50 $ de salida por millón de tokens, y Neon cuesta 3 $ y 15 $. Para la tabla completa, mira precios de Gemini.
¿Es gratis Gemini Computer Use?
No a través de la herramienta. La tabla de precios de herramientas de Google lista el nivel gratuito de Computer Use como no disponible, incluso en modelos que sí tienen nivel gratuito para texto plano. Presupuesta tokens de pago, y revisa los precios de Hydrogen para la tarifa Gemini 4 más barata.
¿Es seguro ejecutar Gemini Computer Use en cuentas reales?
Google dice que puede contener errores y vulnerabilidades de seguridad, y recomienda una VM o contenedor aislado, listas de permitidos y registro completo. El modelo puede marcar acciones como require_confirmation, y el escaneo de inyección de prompts es opcional. Yo empezaría con trabajo de solo lectura y usaría mi guía sobre permisos de agentes de soporte con IA antes de conceder cualquier acceso de escritura.
¿Puede Gemini Computer Use gestionar tickets de atención al cliente?
Puede manejar la pantalla de un helpdesk, pero una conexión directa al helpdesk es la ruta más estable cuando existe. Un agente de helpdesk con IA lee el ticket y actúa a través de la propia interfaz del helpdesk, lo que es más fácil de registrar y limitar que una serie de clics. Computer Use se gana su lugar en herramientas que no tienen API en absoluto.
¿En qué se diferencia Computer Use de un compañero de equipo con IA?
Computer Use es una capacidad: el modelo ve una pantalla y actúa, y tú construyes el bucle, el entorno aislado y las aprobaciones. Un compañero de equipo como el de soporte de eesel llega ya con la conexión al helpdesk, el conocimiento y las reglas de traspaso en su sitio. Mi resumen de compañeros de equipo con IA explica la diferencia con más detalle.
¿Es Gemini Computer Use mejor que el Computer Use de Claude?
En la propia tabla de Google, Gemini 4 Carbon obtiene 81,5 % en OSWorld-2.1 frente a 87,2 % de Claude Opus 5.5, e Hydrogen obtiene 77,6 % frente a 83,9 % de Claude Sonnet 5.5. Las filas provienen de fichas de proveedor publicadas en momentos distintos, así que prueba tu propia tarea antes de elegir.

Share this article