
Gemini Computer Use ist ein Tool, bei dem das Modell einen Screenshot liest und einen Klick, einen Tastendruck oder ein Scrollen zurückgibt, und Ihr eigener Code führt es aus. Es funktioniert mit der Gemini-4-Familie und den Gemini-3.x-Flash-Modellen, kostet nichts zusätzlich über die regulären Tokens hinaus und hat keine kostenlose Stufe. Googles Sicherheitskontrollen (Bestätigungsaufforderungen, optionales Injection-Scanning) sind real, aber die Sandbox müssen Sie trotzdem selbst bauen. Für Support-Arbeit würde ich es nur dort einsetzen, wo ein Tool keine API hat, denn eesels direkte Helpdesk-Verbindungen lassen sich leichter begrenzen und prüfen.
Was ist Gemini Computer Use, und warum ändert sich ständig der Name?
Computer Use begann als eigenständiges Modell. Google kündigte das Modell Gemini 2.5 Computer Use am 7. Oktober 2025 als öffentliche Preview an, aufbauend auf Gemini 2.5 Pro und „primär für Webbrowser optimiert". Google erklärte, es sei noch nicht für die Steuerung von Desktop-Betriebssystemen optimiert.
Am 24. Juni 2026 wanderte die Idee in die Hauptmodelle. Google DeepMind erklärte, Computer Use sei ein integriertes Tool in Gemini 3.5 Flash geworden, sodass Entwickler das eigenständige Modell nicht mehr benötigten, und es deckt jetzt Browser, Mobilgeräte und Desktop ab. Heute schalten Sie es als Tool für das Modell ein, das Sie bereits nutzen.
Ich arbeite daran, wie eesels Agenten in anderen Tools handeln, und ich lese das so, wie es ein Support-Team lesen sollte: Es ist ein allgemeiner Weg, um Software zu erreichen, die keine API hat. Das ist nützlich, und es ist auch der langsamste und ungenaueste Weg, um Software zu erreichen, die tatsächlich eine hat.
Mit der eesel CLI kann ein KI-Coding-Agent freigegebenes Wissen hochladen, etwa exportierte Hilfe-Center-Artikel, dann dem Agenten über eesel chat Testfragen stellen und die Antworten prüfen, bevor etwas live geht. Die Verbindung des Helpdesks selbst benötigt weiterhin jemanden mit Admin-Zugang, der sie freigibt, und Anweisungen ändern sich, indem man den Agenten im Chat fragt, nicht durch direktes Bearbeiten.
Welche Modelle unterstützen es heute?
Googles Gemini-API-Dokumentation listet sieben Modelle auf, und die Agent-Platform-Dokumentation listet einen größeren Satz. Die Preise unten stammen von Googles Preisseite, pro Million Tokens, kostenpflichtige Stufe.
| Modell | Modell-ID | Input / Output | Hinweise |
|---|---|---|---|
| Gemini 4 Neon | gemini-4-neon | 3,00 $ / 15,00 $ | Keine kostenlose Stufe |
| Gemini 4 Carbon | gemini-4-carbon | 2,00 $ / 10,00 $ | Steigt am 1. Dez. 2026 auf 4 $ / 20 $ |
| Gemini 4 Argon | gemini-4-argon | 2,00 $ / 10,00 $ | Steigt am 1. Dez. 2026 auf 4 $ / 20 $ |
| Gemini 4 Hydrogen | gemini-4-hydrogen | 1,50 $ / 7,50 $ | Im eigenen Codebeispiel von Google verwendet |
| Gemini 3.8 Flash | gemini-3.8-flash | 0,75 $ / 3,75 $ | Steigt am 1. Jan. 2027 auf 1,50 $ / 7,50 $ |
| Gemini 3.5 Flash-Lite | gemini-3.5-flash-lite | 0,30 $ / 2,50 $ | Injection-Scanning verfügbar |
| Gemini 3 Flash Preview | gemini-3-flash-preview | Nicht auf der gelesenen Seite | Älteres Aktions-Set, als Preview gekennzeichnet |
Die Agent-Platform-Seite listet zusätzlich Gemini 3.7 Flash, 3.6 Flash, 3.5 Flash und Gemini Robotics ER 2 und kennzeichnet nur Robotics ER 2 und Gemini 3 Flash als Preview. Keine der beiden Seiten nennt ein Datum für die allgemeine Verfügbarkeit, daher würde ich den Status der neueren Modelle als „gelistet und unterstützt" statt als „als stabil erklärt" behandeln.
Wenn Sie zwischen ihnen wählen: Die beiden Aktionsraten für Carbon und Argon enden am 30. November. Meine Modell-Beiträge behandeln Neon, Carbon, Argon und 3.8 Flash ausführlicher.
Wie funktioniert die Schleife?
Computer Use ist eine Schleife, die Ihr Code besitzt. Googles Dokumentation beschreibt fünf Schritte, und das Modell berührt Ihre Maschine niemals direkt.

- Ihre App sendet den Prompt, die Tool-Konfiguration und einen Screenshot.
- Das Modell gibt ein oder mehrere
function_call-Elemente zurück, jedes mit Koordinaten und einemintent, der die Begründung erklärt. - Ihr Client prüft die Sicherheitsentscheidung, fragt bei Bedarf den Nutzer und führt die Aktion aus, zum Beispiel mit Playwright.
- Er erfasst einen neuen Screenshot und die aktuelle URL und sendet sie als
function_resultzurück. - Die Schleife wiederholt sich, bis die Aufgabe endet, ein Fehler auftritt oder eine Blockierung oder Ablehnung sie stoppt.
Koordinaten kommen auf einem Raster von 0 bis 999 an, und Ihr Code skaliert sie auf das echte Viewport. Googles Referenzbeispiel begrenzt die Schleife auf 10 Durchläufe, eine Grenze, die ich übernehmen würde.

Was kann es tatsächlich anklicken?
Dasselbe Tool deckt drei Umgebungen ab. Googles Gemini-API-Dokumentation zählt 20 Browser-Aktionen, 17 Desktop-Aktionen und 10 Mobil-Aktionen.
- Browser: Maus-Aktionen (
click,double_click,right_click,drag_and_drop,scroll), Tastatur-Aktionen (type,press_key,hotkey), plusnavigate,go_back,go_forwardundtake_screenshot. - Desktop: derselbe Satz ohne die drei Navigationsaktionen.
- Mobil:
open_app,list_apps,long_press,go_back,type,clickund ein paar weitere.
Sie können auch eigene Funktionen neben den eingebauten hinzufügen, sodass ein Modell eine API aufrufen kann, wo Sie eine haben, und auf den Bildschirm zurückfällt, wo Sie keine haben. Diese Mischung ist der sinnvolle Weg, es zu nutzen.
Was kostet der Betrieb?
Google erhebt keine zusätzliche Gebühr. Die Preisseite sagt, Computer Use in der Gemini API werde „als reguläre Tokens zum jeweiligen Modellpreis abgerechnet", und die Agent-Platform-Dokumentation sagt, es werde zu denselben Raten und SKUs wie Gemini berechnet. Die kostenlose Stufe für das Tool wird als nicht verfügbar gelistet.
Die Kostenstruktur ist das, was überrascht. Jeder Schritt sendet einen frischen Screenshot als Input zurück, und das Modell denkt meist nach, bevor es handelt, was als Output abgerechnet wird. Eine Aufgabe mit 30 Klicks zahlt für 30 Screenshots. Google veröffentlicht keine Zahl pro Aufgabe, daher würde ich zehn eigene Aufgaben auf Hydrogen und auf einem größeren Modell laufen lassen und dann die Kosten pro abgeschlossener Aufgabe vergleichen, nicht die Kosten pro Token.
Wie gut ist es?
Googles eigene Modellkarten liefern die klarsten Zahlen, auf OSWorld-2.1 (Offline-Teilmenge), einem Benchmark, bei dem Agenten Aufgaben in einer Desktop-Umgebung erledigen.
| Modell | OSWorld-2.1 | Quellkarte |
|---|---|---|
| Claude Opus 5.5 | 87,2 % | Gemini-4-Carbon-Karte |
| Claude Sonnet 5.5 | 83,9 % | Gemini-4-Hydrogen-Karte |
| Gemini 4 Carbon | 81,5 % | Gemini-4-Carbon-Karte |
| GPT-6 Astra | 80,9 % | Gemini-4-Carbon-Karte |
| Gemini 4 Hydrogen | 77,6 % | Gemini-4-Hydrogen-Karte |
| Claude Fable 5.1 | 76,8 % | Gemini-4-Carbon-Karte |
| GPT-6.1 Terra | 74,2 % | Gemini-4-Hydrogen-Karte |
Quellen: die Carbon-Karte (Stand Oktober 2026) und die Hydrogen-Karte (Stand November 2026). Das sind vom Anbieter gemeldete Werte aus zwei Karten, die wenige Tage auseinander veröffentlicht wurden, also sind sie eine grobe Rangfolge, kein direkter Vergleichstest. In dieser Tabelle liegt Carbon auf Platz zwei hinter Claude Opus 5.5, und Hydrogen liegt unter Sonnet 5.5. Für Neon habe ich keinen Wert gefunden.
Zwei Lücken sind erwähnenswert. Googles Juni-Beitrag nennt 3.5 Flash sein bisher bestes Modell für Computer Use, zeigt die Werte aber nur in einem Diagrammbild, sodass ich sie nicht zitieren konnte. Die Hydrogen-Karte berichtet ein OSWorld-Ergebnis, listet Computer Use aber nicht unter den vorgesehenen Einsatzzwecken, obwohl die Dokumentation das Modell als unterstützt aufführt. Für die Claude-Seite der Tabelle siehe meine Notizen zu Opus 5.5 und Sonnet 5.5.
Was decken die Sicherheitskontrollen ab?
Googles Dokumentation ist direkt beim Thema Risiko: Computer Use „kann Fehler und Sicherheitslücken enthalten". Sie nennt drei Fehlertypen: nicht vertrauenswürdige Inhalte und Betrug, gelegentliche unbeabsichtigte Aktionen wie das Klicken auf den falschen Button, und Richtlinienverstöße wie das Umgehen von CAPTCHAs.

Die Kontrollen fallen in vier Gruppen:
- Entscheidungen pro Schritt. Jeder Funktionsaufruf kann eine
safety_decisiontragen. Wenn sierequire_confirmationlautet, muss Ihre App den Nutzer fragen, und erst dannsafety_acknowledgementsetzen. Google erklärt, dass Sie diese Anfragen nicht umgehen dürfen. - Richtlinienkategorien. Bei Gemini 3.5 Flash oder neuer können sieben Kategorien eine Bestätigung auslösen: Finanztransaktionen, Änderung sensibler Daten, Kommunikationstools, Kontoerstellung, Datenänderung, Verwaltung der Nutzereinwilligung und rechtliche Bedingungen. Entwickler können den Wunsch äußern, einige davon zu deaktivieren, aber das Modell kann trotzdem fragen.
- Organisationsrichtlinie. Auf der Agent Platform kann eine Admin-Vorgabe Entwickler daran hindern, Bestätigungen auszuschalten. Änderungen können bis zu einer Stunde brauchen, um wirksam zu werden.
- Injection-Scanning. Bei Gemini 3.5 Flash-Lite oder neuer ist das Scannen von Screenshots auf versteckte Anweisungen optional und standardmäßig ausgeschaltet. Wenn es auslöst, blockiert es die Ausführung.
Google empfiehlt außerdem eine isolierte VM oder einen Container, Allow- oder Blocklists und die Protokollierung von Prompts, Screenshots, vorgeschlagenen Aktionen und ausgeführten Aktionen. Die Agent Platform verfügt über eine containerisierte Browser-Sandbox, die Sie über die API oder über Playwright steuern können. Für den Hintergrund zum Angriff selbst siehe den Glossareintrag zu Prompt-Injection und KI-Guardrails.
Was sagen Entwickler dazu?
Der Hacker-News-Thread zum 3.5-Flash-Launch sammelte 242 Punkte und spaltete sich in zwei Lager.
"Computer use is such a terrible idea. It's slow, insecure, error prone, expensive."
"Computer use is a great idea. It gets the job done when nothing else will."
Beide haben recht, nur bei unterschiedlichen Aufgaben. Ein anderer Kommentator nannte es sehr nützlich für die Entwicklung von GUI-Apps, weil ein Agent die ganze App Ende-zu-Ende bauen und testen kann. Das passt zu Googles eigenen Beispielen, die sich auf Testing und Recherche stützen. Ich lese den zweiten Kommentar als das gesamte Argument für das Feature: Wenn nichts anderes funktioniert, ist es die Rückfalloption.
Sollte ein Support-Team es einsetzen?
Für Tools ohne API: ja, mit Vorsicht. Für den Helpdesk selbst würde ich nicht dort anfangen. Eine Bildschirm-Route liest Pixel, wählt einen Klick und prüft den neuen Bildschirm. Eine Helpdesk-Verbindung liest das Ticket, entwirft die Antwort und übergibt an eine Person. Der zweite Weg hat weniger Stellen, an denen etwas schiefgehen kann, und jede Aktion lässt sich benennen, begrenzen und protokollieren.

Das ist die Grenze, die ich zwischen Infrastruktur und einem Mitarbeiter ziehe. Computer Use ist Infrastruktur: Es gibt einem Modell Hände, und Sie liefern die Sandbox, die Freigaben, die Protokolle und die Regeln, wann aufzuhören ist. eesel ist der Mitarbeiter. Sein KI-Helpdesk-Teammitglied tritt Ihrer bestehenden Warteschlange über direkte Verbindungen zu Zendesk, Freshdesk, Gorgias und anderen Helpdesks bei, antwortet aus Ihrem eigenen Wissen und übergibt knifflige Tickets an Ihr Team. eesel simuliert jeden Rollout gegen historische Tickets, bevor er live geht, ein Schritt, den eine bildschirmgesteuerte Schleife nicht enthält.
SamCart zeigt, wie das bei einer echten Warteschlange aussieht. Es betreibt eesel auf Freshdesk-Tickets und auf seinem Website-Chat, mit einem eigenen Agenten pro Kanal, beide antworten aus rund 280 Hilfe-Center-Artikeln. Freshdesk-Automatisierungen entscheiden, auf welche Tickets der Agent antwortet, und das nur, solange keine Person zugewiesen ist. Wenn ein Verkäufer eine Person verlangt, wird das Ticket für die Übergabe markiert und der Agent stoppt. Nichts davon braucht einen Screenshot, weil der Helpdesk es direkt verfügbar macht.
Wo ich Gemini Computer Use in einem Support-Betrieb trotzdem einsetzen würde:
- Ein Tool ohne API, etwa ein veraltetes Abrechnungsfenster, das nur eine Web-Oberfläche hat, hinter einer Bestätigung und zunächst mit einem reinen Lesekonto.
- Das eigene Hilfe-Center oder Chat-Widget Ende-zu-Ende testen, was zu Googles eigenen Anwendungsfällen passt.
- Recherche über mehrere Seiten, etwa die öffentlichen Preisseiten eines Wettbewerbers für Ihre Support-Makros prüfen.
Für die Berechtigungsseite gelten meine Leitfäden zu Agenten-Berechtigungen, Rückerstattungs-Guardrails, Testing und Observability für einen Computer-Use-Agenten genauso wie für jeden anderen. Für die Browser-Agenten-Landschaft über Google hinaus siehe Claude for Chrome, ChatGPT-Agenten und Manus. Warum sich die Kosten- und Übergabegeschichte je nach Route unterscheidet, lesen Sie unter Agent versus menschlicher Agent: Kosten und Best Practices für Agenten-Übergaben.
eesel für die Helpdesk-Arbeit ausprobieren
Wenn Ihr Ziel schnellere, sicherere Ticketbearbeitung ist, starten Sie mit einem Teammitglied, das Ihren Helpdesk schon kennt. eesel verbindet sich direkt mit Zendesk, Freshdesk und Gorgias, lernt aus Ihren vergangenen Tickets und Ihrem Hilfe-Center und setzt jede Aktion auf An, Erst fragen oder Aus. Wenn Sie es an Ihrer eigenen Warteschlange sehen wollen, probieren Sie eesel aus oder buchen Sie eine Demo.
