Gemini Computer Use: Was es kann, was es kostet und wo es sich einsetzen lässt

Kira
Geschrieben von

Kira

Katelin Teen
Geprüft von

Katelin Teen

Zuletzt bearbeitet 19. November 2026

Expertengeprüft
Handgezeichnete Illustration einer Person, die einem freundlichen Roboter zusieht, der in einem Browserfenster einen Button anklickt und ein Textfeld ausfüllt, für einen Erklärartikel zu Gemini Computer Use
TL;DR

Gemini Computer Use ist ein Tool, bei dem das Modell einen Screenshot liest und einen Klick, einen Tastendruck oder ein Scrollen zurückgibt, und Ihr eigener Code führt es aus. Es funktioniert mit der Gemini-4-Familie und den Gemini-3.x-Flash-Modellen, kostet nichts zusätzlich über die regulären Tokens hinaus und hat keine kostenlose Stufe. Googles Sicherheitskontrollen (Bestätigungsaufforderungen, optionales Injection-Scanning) sind real, aber die Sandbox müssen Sie trotzdem selbst bauen. Für Support-Arbeit würde ich es nur dort einsetzen, wo ein Tool keine API hat, denn eesels direkte Helpdesk-Verbindungen lassen sich leichter begrenzen und prüfen.

Was ist Gemini Computer Use, und warum ändert sich ständig der Name?

Computer Use begann als eigenständiges Modell. Google kündigte das Modell Gemini 2.5 Computer Use am 7. Oktober 2025 als öffentliche Preview an, aufbauend auf Gemini 2.5 Pro und „primär für Webbrowser optimiert". Google erklärte, es sei noch nicht für die Steuerung von Desktop-Betriebssystemen optimiert.

Am 24. Juni 2026 wanderte die Idee in die Hauptmodelle. Google DeepMind erklärte, Computer Use sei ein integriertes Tool in Gemini 3.5 Flash geworden, sodass Entwickler das eigenständige Modell nicht mehr benötigten, und es deckt jetzt Browser, Mobilgeräte und Desktop ab. Heute schalten Sie es als Tool für das Modell ein, das Sie bereits nutzen.

Ich arbeite daran, wie eesels Agenten in anderen Tools handeln, und ich lese das so, wie es ein Support-Team lesen sollte: Es ist ein allgemeiner Weg, um Software zu erreichen, die keine API hat. Das ist nützlich, und es ist auch der langsamste und ungenaueste Weg, um Software zu erreichen, die tatsächlich eine hat.

Mit der eesel CLI kann ein KI-Coding-Agent freigegebenes Wissen hochladen, etwa exportierte Hilfe-Center-Artikel, dann dem Agenten über eesel chat Testfragen stellen und die Antworten prüfen, bevor etwas live geht. Die Verbindung des Helpdesks selbst benötigt weiterhin jemanden mit Admin-Zugang, der sie freigibt, und Anweisungen ändern sich, indem man den Agenten im Chat fragt, nicht durch direktes Bearbeiten.

Welche Modelle unterstützen es heute?

Googles Gemini-API-Dokumentation listet sieben Modelle auf, und die Agent-Platform-Dokumentation listet einen größeren Satz. Die Preise unten stammen von Googles Preisseite, pro Million Tokens, kostenpflichtige Stufe.

ModellModell-IDInput / OutputHinweise
Gemini 4 Neongemini-4-neon3,00 $ / 15,00 $Keine kostenlose Stufe
Gemini 4 Carbongemini-4-carbon2,00 $ / 10,00 $Steigt am 1. Dez. 2026 auf 4 $ / 20 $
Gemini 4 Argongemini-4-argon2,00 $ / 10,00 $Steigt am 1. Dez. 2026 auf 4 $ / 20 $
Gemini 4 Hydrogengemini-4-hydrogen1,50 $ / 7,50 $Im eigenen Codebeispiel von Google verwendet
Gemini 3.8 Flashgemini-3.8-flash0,75 $ / 3,75 $Steigt am 1. Jan. 2027 auf 1,50 $ / 7,50 $
Gemini 3.5 Flash-Litegemini-3.5-flash-lite0,30 $ / 2,50 $Injection-Scanning verfügbar
Gemini 3 Flash Previewgemini-3-flash-previewNicht auf der gelesenen SeiteÄlteres Aktions-Set, als Preview gekennzeichnet

Die Agent-Platform-Seite listet zusätzlich Gemini 3.7 Flash, 3.6 Flash, 3.5 Flash und Gemini Robotics ER 2 und kennzeichnet nur Robotics ER 2 und Gemini 3 Flash als Preview. Keine der beiden Seiten nennt ein Datum für die allgemeine Verfügbarkeit, daher würde ich den Status der neueren Modelle als „gelistet und unterstützt" statt als „als stabil erklärt" behandeln.

Wenn Sie zwischen ihnen wählen: Die beiden Aktionsraten für Carbon und Argon enden am 30. November. Meine Modell-Beiträge behandeln Neon, Carbon, Argon und 3.8 Flash ausführlicher.

Wie funktioniert die Schleife?

Computer Use ist eine Schleife, die Ihr Code besitzt. Googles Dokumentation beschreibt fünf Schritte, und das Modell berührt Ihre Maschine niemals direkt.

Vierstufige Schleife: Screenshot und Ziel gehen an das Modell, das Modell wählt eine Aktion, Ihr Code führt sie aus, und ein neuer Screenshot kommt zurück
Vierstufige Schleife: Screenshot und Ziel gehen an das Modell, das Modell wählt eine Aktion, Ihr Code führt sie aus, und ein neuer Screenshot kommt zurück
  1. Ihre App sendet den Prompt, die Tool-Konfiguration und einen Screenshot.
  2. Das Modell gibt ein oder mehrere function_call-Elemente zurück, jedes mit Koordinaten und einem intent, der die Begründung erklärt.
  3. Ihr Client prüft die Sicherheitsentscheidung, fragt bei Bedarf den Nutzer und führt die Aktion aus, zum Beispiel mit Playwright.
  4. Er erfasst einen neuen Screenshot und die aktuelle URL und sendet sie als function_result zurück.
  5. Die Schleife wiederholt sich, bis die Aufgabe endet, ein Fehler auftritt oder eine Blockierung oder Ablehnung sie stoppt.

Koordinaten kommen auf einem Raster von 0 bis 999 an, und Ihr Code skaliert sie auf das echte Viewport. Googles Referenzbeispiel begrenzt die Schleife auf 10 Durchläufe, eine Grenze, die ich übernehmen würde.

Googles Computer-Use-Seite in AI Studio mit Multi-Umgebungs-Unterstützung, Intents, Sicherheitsrichtlinien und Prompt-Injection-Erkennung, entnommen aus der Google-AI-Studio-Dokumentation
Googles Computer-Use-Seite in AI Studio mit Multi-Umgebungs-Unterstützung, Intents, Sicherheitsrichtlinien und Prompt-Injection-Erkennung, entnommen aus der Google-AI-Studio-Dokumentation

Was kann es tatsächlich anklicken?

Dasselbe Tool deckt drei Umgebungen ab. Googles Gemini-API-Dokumentation zählt 20 Browser-Aktionen, 17 Desktop-Aktionen und 10 Mobil-Aktionen.

  • Browser: Maus-Aktionen (click, double_click, right_click, drag_and_drop, scroll), Tastatur-Aktionen (type, press_key, hotkey), plus navigate, go_back, go_forward und take_screenshot.
  • Desktop: derselbe Satz ohne die drei Navigationsaktionen.
  • Mobil: open_app, list_apps, long_press, go_back, type, click und ein paar weitere.

Sie können auch eigene Funktionen neben den eingebauten hinzufügen, sodass ein Modell eine API aufrufen kann, wo Sie eine haben, und auf den Bildschirm zurückfällt, wo Sie keine haben. Diese Mischung ist der sinnvolle Weg, es zu nutzen.

Was kostet der Betrieb?

Google erhebt keine zusätzliche Gebühr. Die Preisseite sagt, Computer Use in der Gemini API werde „als reguläre Tokens zum jeweiligen Modellpreis abgerechnet", und die Agent-Platform-Dokumentation sagt, es werde zu denselben Raten und SKUs wie Gemini berechnet. Die kostenlose Stufe für das Tool wird als nicht verfügbar gelistet.

Die Kostenstruktur ist das, was überrascht. Jeder Schritt sendet einen frischen Screenshot als Input zurück, und das Modell denkt meist nach, bevor es handelt, was als Output abgerechnet wird. Eine Aufgabe mit 30 Klicks zahlt für 30 Screenshots. Google veröffentlicht keine Zahl pro Aufgabe, daher würde ich zehn eigene Aufgaben auf Hydrogen und auf einem größeren Modell laufen lassen und dann die Kosten pro abgeschlossener Aufgabe vergleichen, nicht die Kosten pro Token.

Wie gut ist es?

Googles eigene Modellkarten liefern die klarsten Zahlen, auf OSWorld-2.1 (Offline-Teilmenge), einem Benchmark, bei dem Agenten Aufgaben in einer Desktop-Umgebung erledigen.

ModellOSWorld-2.1Quellkarte
Claude Opus 5.587,2 %Gemini-4-Carbon-Karte
Claude Sonnet 5.583,9 %Gemini-4-Hydrogen-Karte
Gemini 4 Carbon81,5 %Gemini-4-Carbon-Karte
GPT-6 Astra80,9 %Gemini-4-Carbon-Karte
Gemini 4 Hydrogen77,6 %Gemini-4-Hydrogen-Karte
Claude Fable 5.176,8 %Gemini-4-Carbon-Karte
GPT-6.1 Terra74,2 %Gemini-4-Hydrogen-Karte

Quellen: die Carbon-Karte (Stand Oktober 2026) und die Hydrogen-Karte (Stand November 2026). Das sind vom Anbieter gemeldete Werte aus zwei Karten, die wenige Tage auseinander veröffentlicht wurden, also sind sie eine grobe Rangfolge, kein direkter Vergleichstest. In dieser Tabelle liegt Carbon auf Platz zwei hinter Claude Opus 5.5, und Hydrogen liegt unter Sonnet 5.5. Für Neon habe ich keinen Wert gefunden.

Zwei Lücken sind erwähnenswert. Googles Juni-Beitrag nennt 3.5 Flash sein bisher bestes Modell für Computer Use, zeigt die Werte aber nur in einem Diagrammbild, sodass ich sie nicht zitieren konnte. Die Hydrogen-Karte berichtet ein OSWorld-Ergebnis, listet Computer Use aber nicht unter den vorgesehenen Einsatzzwecken, obwohl die Dokumentation das Modell als unterstützt aufführt. Für die Claude-Seite der Tabelle siehe meine Notizen zu Opus 5.5 und Sonnet 5.5.

Was decken die Sicherheitskontrollen ab?

Googles Dokumentation ist direkt beim Thema Risiko: Computer Use „kann Fehler und Sicherheitslücken enthalten". Sie nennt drei Fehlertypen: nicht vertrauenswürdige Inhalte und Betrug, gelegentliche unbeabsichtigte Aktionen wie das Klicken auf den falschen Button, und Richtlinienverstöße wie das Umgehen von CAPTCHAs.

Google Clouds Computer-Use-Seite für die Gemini Enterprise Agent Platform, mit Abschnitten zu Sicherheitsentscheidungen und Human-in-the-Loop, entnommen aus der Google-Cloud-Dokumentation
Google Clouds Computer-Use-Seite für die Gemini Enterprise Agent Platform, mit Abschnitten zu Sicherheitsentscheidungen und Human-in-the-Loop, entnommen aus der Google-Cloud-Dokumentation

Die Kontrollen fallen in vier Gruppen:

  • Entscheidungen pro Schritt. Jeder Funktionsaufruf kann eine safety_decision tragen. Wenn sie require_confirmation lautet, muss Ihre App den Nutzer fragen, und erst dann safety_acknowledgement setzen. Google erklärt, dass Sie diese Anfragen nicht umgehen dürfen.
  • Richtlinienkategorien. Bei Gemini 3.5 Flash oder neuer können sieben Kategorien eine Bestätigung auslösen: Finanztransaktionen, Änderung sensibler Daten, Kommunikationstools, Kontoerstellung, Datenänderung, Verwaltung der Nutzereinwilligung und rechtliche Bedingungen. Entwickler können den Wunsch äußern, einige davon zu deaktivieren, aber das Modell kann trotzdem fragen.
  • Organisationsrichtlinie. Auf der Agent Platform kann eine Admin-Vorgabe Entwickler daran hindern, Bestätigungen auszuschalten. Änderungen können bis zu einer Stunde brauchen, um wirksam zu werden.
  • Injection-Scanning. Bei Gemini 3.5 Flash-Lite oder neuer ist das Scannen von Screenshots auf versteckte Anweisungen optional und standardmäßig ausgeschaltet. Wenn es auslöst, blockiert es die Ausführung.

Google empfiehlt außerdem eine isolierte VM oder einen Container, Allow- oder Blocklists und die Protokollierung von Prompts, Screenshots, vorgeschlagenen Aktionen und ausgeführten Aktionen. Die Agent Platform verfügt über eine containerisierte Browser-Sandbox, die Sie über die API oder über Playwright steuern können. Für den Hintergrund zum Angriff selbst siehe den Glossareintrag zu Prompt-Injection und KI-Guardrails.

Was sagen Entwickler dazu?

Der Hacker-News-Thread zum 3.5-Flash-Launch sammelte 242 Punkte und spaltete sich in zwei Lager.

Hacker News

"Computer use is such a terrible idea. It's slow, insecure, error prone, expensive."

Hacker News

"Computer use is a great idea. It gets the job done when nothing else will."

Beide haben recht, nur bei unterschiedlichen Aufgaben. Ein anderer Kommentator nannte es sehr nützlich für die Entwicklung von GUI-Apps, weil ein Agent die ganze App Ende-zu-Ende bauen und testen kann. Das passt zu Googles eigenen Beispielen, die sich auf Testing und Recherche stützen. Ich lese den zweiten Kommentar als das gesamte Argument für das Feature: Wenn nichts anderes funktioniert, ist es die Rückfalloption.

Sollte ein Support-Team es einsetzen?

Für Tools ohne API: ja, mit Vorsicht. Für den Helpdesk selbst würde ich nicht dort anfangen. Eine Bildschirm-Route liest Pixel, wählt einen Klick und prüft den neuen Bildschirm. Eine Helpdesk-Verbindung liest das Ticket, entwirft die Antwort und übergibt an eine Person. Der zweite Weg hat weniger Stellen, an denen etwas schiefgehen kann, und jede Aktion lässt sich benennen, begrenzen und protokollieren.

Zwei Spuren im Vergleich: eine Bildschirm-Route (Screenshot lesen, Klick wählen, neuen Bildschirm prüfen) gegenüber einer Helpdesk-Verbindung (Ticket lesen, Antwort entwerfen, an eine Person übergeben)
Zwei Spuren im Vergleich: eine Bildschirm-Route (Screenshot lesen, Klick wählen, neuen Bildschirm prüfen) gegenüber einer Helpdesk-Verbindung (Ticket lesen, Antwort entwerfen, an eine Person übergeben)

Das ist die Grenze, die ich zwischen Infrastruktur und einem Mitarbeiter ziehe. Computer Use ist Infrastruktur: Es gibt einem Modell Hände, und Sie liefern die Sandbox, die Freigaben, die Protokolle und die Regeln, wann aufzuhören ist. eesel ist der Mitarbeiter. Sein KI-Helpdesk-Teammitglied tritt Ihrer bestehenden Warteschlange über direkte Verbindungen zu Zendesk, Freshdesk, Gorgias und anderen Helpdesks bei, antwortet aus Ihrem eigenen Wissen und übergibt knifflige Tickets an Ihr Team. eesel simuliert jeden Rollout gegen historische Tickets, bevor er live geht, ein Schritt, den eine bildschirmgesteuerte Schleife nicht enthält.

SamCart zeigt, wie das bei einer echten Warteschlange aussieht. Es betreibt eesel auf Freshdesk-Tickets und auf seinem Website-Chat, mit einem eigenen Agenten pro Kanal, beide antworten aus rund 280 Hilfe-Center-Artikeln. Freshdesk-Automatisierungen entscheiden, auf welche Tickets der Agent antwortet, und das nur, solange keine Person zugewiesen ist. Wenn ein Verkäufer eine Person verlangt, wird das Ticket für die Übergabe markiert und der Agent stoppt. Nichts davon braucht einen Screenshot, weil der Helpdesk es direkt verfügbar macht.

Wo ich Gemini Computer Use in einem Support-Betrieb trotzdem einsetzen würde:

  • Ein Tool ohne API, etwa ein veraltetes Abrechnungsfenster, das nur eine Web-Oberfläche hat, hinter einer Bestätigung und zunächst mit einem reinen Lesekonto.
  • Das eigene Hilfe-Center oder Chat-Widget Ende-zu-Ende testen, was zu Googles eigenen Anwendungsfällen passt.
  • Recherche über mehrere Seiten, etwa die öffentlichen Preisseiten eines Wettbewerbers für Ihre Support-Makros prüfen.

Für die Berechtigungsseite gelten meine Leitfäden zu Agenten-Berechtigungen, Rückerstattungs-Guardrails, Testing und Observability für einen Computer-Use-Agenten genauso wie für jeden anderen. Für die Browser-Agenten-Landschaft über Google hinaus siehe Claude for Chrome, ChatGPT-Agenten und Manus. Warum sich die Kosten- und Übergabegeschichte je nach Route unterscheidet, lesen Sie unter Agent versus menschlicher Agent: Kosten und Best Practices für Agenten-Übergaben.

eesel für die Helpdesk-Arbeit ausprobieren

Wenn Ihr Ziel schnellere, sicherere Ticketbearbeitung ist, starten Sie mit einem Teammitglied, das Ihren Helpdesk schon kennt. eesel verbindet sich direkt mit Zendesk, Freshdesk und Gorgias, lernt aus Ihren vergangenen Tickets und Ihrem Hilfe-Center und setzt jede Aktion auf An, Erst fragen oder Aus. Wenn Sie es an Ihrer eigenen Warteschlange sehen wollen, probieren Sie eesel aus oder buchen Sie eine Demo.

eesel KI-Dashboard mit Zendesk-Ticket-Aktivität
eesel KI-Dashboard mit Zendesk-Ticket-Aktivität

Häufig gestellte Fragen

Was ist Gemini Computer Use?
Es ist ein Tool innerhalb der Gemini API, mit dem ein Modell Screenshots ansieht und UI-Aktionen wie Klicks, Eingaben und Scrollen zurückgibt. Ihr eigener Code führt die Aktionen aus und sendet einen neuen Screenshot zurück. Googles Dokumentation deckt Browser-, Mobil- und Desktop-Szenarien ab, und zu den unterstützten Modellen gehören Gemini 4 Carbon und Gemini 3.8 Flash.
Welche Gemini-Modelle unterstützen Computer Use?
Googles Gemini-API-Dokumentation listet Gemini 4 Carbon, Argon, Neon und Hydrogen, Gemini 3.8 Flash, Gemini 3.5 Flash-Lite und Gemini 3 Flash Preview auf. Die Agent-Platform-Dokumentation ergänzt Gemini 3.7, 3.6 und 3.5 Flash sowie Gemini Robotics ER 2. Meine Notizen zu Gemini 4 Neon und Gemini 4 Hydrogen zeigen, wie sich die beiden unterscheiden.
Wie viel kostet Gemini Computer Use?
Es gibt keine separate Gebühr. Googles Preistabelle sagt, dass das Tool als reguläre Tokens zum jeweiligen Modellpreis abgerechnet wird, und die Agent-Platform-Dokumentation sagt, dass dieselben SKUs wie bei Gemini gelten. Hydrogen kostet 1,50 $ im Input und 7,50 $ im Output pro Million Tokens, Neon 3 $ und 15 $. Die vollständige Preistabelle finden Sie unter Gemini Preise.
Ist Gemini Computer Use kostenlos?
Nicht über das Tool. Googles Preistabelle für Tools listet die kostenlose Stufe für Computer Use als nicht verfügbar, selbst bei Modellen, die für reinen Text eine kostenlose Stufe haben. Planen Sie mit kostenpflichtigen Tokens, und prüfen Sie die Hydrogen-Preise für die günstigste Gemini-4-Rate.
Ist Gemini Computer Use sicher auf echten Konten einsetzbar?
Google sagt, es könne Fehler und Sicherheitslücken enthalten, und empfiehlt eine isolierte VM oder einen Container, Allowlists und vollständige Protokollierung. Das Modell kann Aktionen als require_confirmation markieren, und das Scannen auf Prompt-Injection ist optional. Ich würde mit rein lesenden Aufgaben beginnen und vor jeder Schreibberechtigung meinen Leitfaden zu KI-Support-Agent-Berechtigungen nutzen.
Kann Gemini Computer Use Support-Tickets bearbeiten?
Es kann einen Helpdesk-Bildschirm steuern, aber eine direkte Helpdesk-Verbindung ist der stabilere Weg, wenn es eine gibt. Ein KI-Helpdesk-Agent liest das Ticket und handelt über die eigene Oberfläche des Helpdesks, was sich leichter protokollieren und begrenzen lässt als eine Reihe von Klicks. Computer Use verdient sich seinen Platz bei Tools, die überhaupt keine API haben.
Wie unterscheidet sich Computer Use von einem KI-Teammitglied?
Computer Use ist eine Fähigkeit: Das Modell sieht einen Bildschirm und handelt, und Sie bauen die Schleife, die Sandbox und die Freigaben selbst. Ein Teammitglied wie eesels Helpdesk-Teammitglied kommt bereits mit Helpdesk-Verbindung, Wissen und Übergaberegeln. Mein Überblick zu KI-Teammitgliedern erklärt den Unterschied ausführlicher.
Ist Gemini Computer Use besser als Claudes Computer Use?
Auf Googles eigener Tabelle erzielt Gemini 4 Carbon 81,5 % auf OSWorld-2.1 gegenüber 87,2 % für Claude Opus 5.5, und Hydrogen erzielt 77,6 % gegenüber 83,9 % für Claude Sonnet 5.5. Die Werte stammen aus Vendor-Karten, die zu unterschiedlichen Zeitpunkten veröffentlicht wurden, also testen Sie Ihre eigene Aufgabe, bevor Sie sich entscheiden.

Share this article