Grok Voice 3.0: Was es ist, was sich geändert hat und wie du es nutzt

Was ist Grok Voice 3.0?

Grok Voice 3.0 (Modellname grok-voice-3.0) ist ein Speech-to-Speech-Modell für Echtzeit-Voice-Agents, das über die API von xAI verkauft wird. xAI zeichnet seine Dokumentation inzwischen als SpaceXSI, daher begegnen dir rund um den Launch beide Namen.

„Speech-to-Speech“ ist der Teil, bei dem es sich lohnt, kurz innezuhalten. Ältere Voice-Bots verketten drei Systeme: Speech-to-Text, dann ein Textmodell, dann Text-to-Speech. Jede Übergabe dazwischen kostet Zeit und verliert den Tonfall. Ein Speech-to-Speech-Modell erledigt alle drei Aufgaben in einem Durchgang, sodass es hören kann, dass ein Anrufer genervt ist, und antwortet, bevor er anfängt, sich zu wiederholen. Wenn du die längere Version dieses Abwägens willst: Mein Grok-Voice-2.0-Erklärstück geht darauf ein.

Ich baue bei eesel KI-Agenten und lese solche Launches deshalb von der Installation aus: was hineingeht, was herauskommt und wo das Wissen tatsächlich liegt. So gelesen ist Grok Voice 3.0 mehrere Dinge zugleich:

• Ein Modell, das du über einen WebSocket aufrufst, unter wss://api.x.ai/v1/realtime, laut Speech-to-Speech-Dokumentation.
• Eine Agent-Laufzeitumgebung, denn es kann während des Anrufs hochgeladene Dokumente durchsuchen, deine eigenen Funktionen aufrufen oder einen MCP-Server erreichen.
• Ein Produktivsystem, das bereits unter Last läuft. Laut Launch-Beitrag von xAI verarbeitet es Millionen von Gesprächen pro Tag in Tesla-Fahrzeugen, betreibt den Sprachmodus von Grok Bot und beantwortet 20.000 Starlink-Support-Anrufe pro Tag, etwa 70 % davon ganz ohne Mensch.

Eine Kleinigkeit ist mir auf der Landingpage aufgefallen: Sie wirbt mit „#1 Tau Voice Leaderboard“, während der eigene τ-Voice-Lauf von Artificial Analysis Grok Voice 3.0 auf Platz 2 sieht, hinter GPT-Live-1 (Astra). Möglicherweise beziehen sie sich auf unterschiedliche Leaderboards. Wenn du in einem Business Case einen Rang nennst, zitiere trotzdem die Artificial-Analysis-Tabelle, die ihre Methode zeigt.

Was hat sich gegenüber Grok Voice 2.0 geändert?

Kurz gesagt: Das Modell ist viel besser darin geworden, Support-Aufgaben abzuschließen, und etwas langsamer beim Losreden, während sich an API und Rechnung nichts geändert hat. Die Release Notes bringen es in einem Satz auf den Punkt: „The API is unchanged.“

Hier das vollständige Vorher und Nachher, mit allen Benchmark-Zahlen von Artificial Analysis und allem anderen aus der xAI-Dokumentation:

Der Sprung ist leichter zu erkennen, wenn man die ganze Linie nebeneinanderlegt. Grok Voice 1.0 erreichte im Index vor weniger als sechs Monaten 73,7 Punkte, und der Wert für Support-Aufgaben bewegte sich zwischen 1.0 und 2.0 vor diesem Release kaum.

Das Interessante daran: 2.0 war das Geschwindigkeits-Release, 3.0 ist das Intelligenz-Release. 2.0 senkte das erste Audio von 1,25 s auf 0,70 s, 3.0 gibt etwa eine Zehntelsekunde davon wieder ab und investiert sie darin, die Aufgabe richtig zu lösen. Für eine Support-Leitung halte ich das für den richtigen Tausch.

Die Benchmarks, in einfachen Worten

Benchmark-Namen machen Launch-Beiträge schwer lesbar, deshalb hier, was jeder misst:

• τ-Voice schickt das Modell in einen simulierten Support-Anruf (Airline, Einzelhandel, Telekommunikation) mit Tools und einem Richtliniendokument. Es zählt nur, wenn der finale Kontostand exakt stimmt. Das ist der, der Support-Leiter interessieren sollte.
• Task Success Rate stammt von echten Menschen, die in der Arena von Artificial Analysis Live-Anrufe mit zwei verdeckten Modellen führen und dann beurteilen, ob die Aufgabe erledigt wurde.
• Arena Elo ist dieselbe Arena, bewertet danach, mit welchem Modell die Leute lieber gesprochen haben.
• Big Bench Audio testet logisches Denken bei gesprochenen Fragen. Grok Voice 3.0 erreicht 98,5 %, dieser Test ist also fast ausgereizt.
• Full Duplex Bench misst das Abwechseln beim Sprechen: Pausen, Dazwischenreden, nicht über den Anrufer hinwegreden.

Artificial Analysis fasste den Launch in einem eigenen Thread zusammen:

"Grok Voice 3.0 debuts at #1 at 86.9, ahead of GPT-Live-1 (Astra, medium) at 83.2, Gemini 3.8 Live Extended Thinking (High) at 82.6 and GPT-Live-1 (Sol, low) at 80.1."

Artificial Analysis, X

Bei externen Benchmarks verweist xAI außerdem auf EVA-Bench, den offenen Benchmark von ServiceNow mit über 200 Enterprise-Voice-Szenarien, in dem Grok Voice 3.0 laut xAI mit 74 % die höchste Genauigkeit erreicht. Und bei den Kosten zitiert der Launch-Beitrag die von Artificial Analysis gemessenen Kosten pro Aufgabe von 0,025 $, gegenüber 0,030 $ bei GPT-Live-1 (Astra) und 0,055 $ bei GPT-Realtime-2.1.

Wie ein Grok-Voice-3.0-Anruf tatsächlich abläuft

Diesen Teil überspringen die meisten Launch-Berichte, und ehrlich gesagt entscheidet er, ob dein Agent gut ist. Jedes Gespräch ist eine Session. Deine App (oder ein Telefonanbieter) öffnet sie, sendet ein session.update mit der Konfiguration und streamt dann Audio in beide Richtungen, bis der Anruf endet.

Die für einen Support-Agenten wichtigsten Session-Einstellungen, alle aus der Tabelle der Session-Parameter:

Bei den Tools hört das Modell auf, nur ein Sprecher zu sein, und wird zum Agenten. file_search liest Dokumentsammlungen, die du hochlädst, function ruft deinen eigenen Code auf und mcp verbindet sich mit einem entfernten MCP-Server. Wer schon auf Realtime-Tool-Calls gebaut hat, weiß: Das Schwierige ist die Stille, während eine Funktion läuft. Die Dokumentation hat einen ganzen Abschnitt dazu, wie man Audio-Überlappung bei Tool-Calls vermeidet, was mir sagt, dass xAI das an echte Anrufer ausgeliefert hat.

Telefonanrufe laufen über deinen eigenen Carrier

Für eine Telefonleitung nimmt Grok Voice 3.0 Anrufe über SIP entgegen. Der SIP-Guide ist dabei konkret: Du registrierst eine Nummer, die dir bereits gehört (origin: "byo_trunk"), richtest den SIP-Trunk deines Carriers auf xAI aus und erhältst für jeden eingehenden Anruf einen signierten Webhook. Das Bereitstellen von SpaceXSI-Telefonnummern über die API wird nicht unterstützt, plane also einen Carrier-Account ein. Der Guide enthält Einrichtungsschritte für Twilio und Telnyx und funktioniert mit jedem SIP-Anbieter.

Zwei Telefon-Details haben mir gefallen. Tastendrücke (DTMF) werden gepuffert und als Text an das Modell weitergegeben, sodass „Drücken Sie die 1 für Abrechnung“ weiterhin funktioniert. Und ein refer-Aufruf leitet den Anrufer an eine andere Nummer weiter und teilt dir synchron mit, ob die menschliche Seite abgenommen hat, genau das, was eine Übergabe an einen Menschen braucht.

Sprachen

Die Dokumentation listet 20 Spracheinträge mit nativen Akzenten auf, und das Modell erkennt die Sprache des Anrufers ohne Konfiguration. Die Landingpage spricht von 25+. Andere Sprachen funktionieren laut Liste der unterstützten Sprachen „with varying degrees of accuracy“. Wenn deine Anrufer etwas außerhalb der Liste sprechen, mach vor dem Launch Testanrufe.

So fängst du mit Grok Voice 3.0 an

Es gibt drei Wege hinein, und alle laufen auf demselben Modell. Welchen du wählst, hängt vor allem davon ab, ob du Entwickler hast.

1. Einen API-Key erstellen. Erstelle in der xAI Console einen Key. Jeder der folgenden Wege braucht einen Account.
2. Erst im Playground anhören. Mit dem Voice-Playground in der Console kannst du mit dem Modell sprechen, bevor du Code schreibst. Zehn Minuten hier sagen dir mehr über die Stimmen als jeder Benchmark.
3. Kein Code? Nutze den Voice Agent Builder. Das ist das Console-Tool von xAI, um einen Voice-Agenten mit Wissen, Tools und Telefonie ohne Code zu konfigurieren. Mein Voice-Agent-Builder-Guide führt dich durch, und das Builder-Review behandelt seine Grenzen.
4. Entwickler: mit der Realtime API verbinden. Öffne einen WebSocket zu wss://api.x.ai/v1/realtime?model=grok-voice-3.0, sende session.update mit deinen Anweisungen, deiner Stimme und deinen Tools und streame dann Audio. Für Browser und Mobile-Apps nutze ephemere Tokens statt deines API-Keys.
5. Telefonleitung: SIP einrichten. Registriere deine Nummer, richte deinen Carrier-Trunk auf xAI aus und verarbeite den Webhook für eingehende Anrufe, wie oben beschrieben.

xAI veröffentlicht außerdem Tester-Apps auf GitHub für einen Web-Agenten über WebSocket, einen WebRTC-Agenten, eine iOS-App und einen Twilio-Telefon-Agenten, verlinkt in der Speech-to-Speech-Dokumentation. Vom Twilio-Beispiel auszugehen ist der schnellste Weg, den ich kenne, um eine echte Telefonnummer mit dem Modell sprechen zu lassen.

Die Minimal-Einrichtung ist kurz. So sieht die erste Nachricht aus, nachdem der Socket geöffnet wurde, gekürzt aus dem Quick Start der Docs:

{
  "type": "session.update",
  "session": {
    "voice": "eve",
    "instructions": "You are the support agent for Acme. Verify the caller before discussing an order.",
    "turn_detection": { "type": "server_vad" }
  }
}

Zwei Teile der Migrationshinweise in den Docs von xAI solltest du zweimal lesen. Erstens: „pin to a versioned model name in production“, dem ich zustimme: Ein Alias, der sich selbst upgradet, ist nett, bis ein abgestimmter Prompt plötzlich anders reagiert. Zweitens: Wenn du einen Prompt von einem anderen Modell übernimmst, sagt xAI, mach ihn deutlich kürzer und streiche Workaround-Anweisungen, die für ältere Modelle geschrieben wurden.

Wenn deine App schon auf der OpenAI Realtime API läuft, funktionieren laut Docs die meisten Client-Bibliotheken, nachdem du die Basis-URL und den API-Key geändert hast. Einige OpenAI-Events heißen anders oder werden nicht gesendet, die Kompatibilitätstabelle listet sie auf. Mein Erklärstück Realtime API vs. WebRTC behandelt die Transportwahl, die hier genauso funktioniert.

Nicht sicher, was du bei dir ändern musst? Wähle, was du heute nutzt:

Was es kostet und welche Grenzen du einplanen solltest

Die Preisgestaltung ist eine einzige Zeile auf der xAI-Preisseite, was die Prognose einfach macht:

Eine Support-Leitung mit 300 Vier-Minuten-Anrufen am Tag verbraucht 36.000 Minuten im Monat, das sind 2.880 $ an Voice-Zeit, noch vor Tool-Aufrufen oder Carrier-Gebühren. Die komplette Kostenrechnung samt Rechner findest du in meinem Grok Voice 3.0 Review, und mein Kosten-pro-Anruf-Vergleich stellt diese Zahl neben ein Gehalt.

Die Grenze, an die die meisten Teams zuerst stoßen, ist die Parallelität, also wie viele Anrufe gleichzeitig laufen können. Die Rate-Limits-Seite begrenzt Speech-to-Speech-Sessions nach Ausgabenstufe, basierend auf den kumulierten API-Ausgaben seit dem 1. Januar 2026. Stufen werden automatisch freigeschaltet und nie herabgestuft.

Der Haken bei Piloten: Ein brandneuer Account kann keine 50 gleichzeitigen Anrufe testen, ohne vorher genug Guthaben zu kaufen, um Tier 2 zu erreichen. Oberhalb von Tier 4 beantragst du eine Erhöhung über die Console.

Die Regionen sind der andere Punkt, den du einplanen solltest. Die Modellseite von Grok Voice 3.0 listet us-east-1, eu-west-1 und us-saltlake-2. Als ich im August die 2.0-Preise behandelte, lief das Voice-Modell nur in us-east-1, EU-Teams haben jetzt also einen Weg, es zu evaluieren.

Für wen Grok Voice 3.0 passt und für wen nicht

Die kurze Antwort auf kann KI Support-Anrufe beantworten lautet auf der Modellebene jetzt ja. Ich würde es drei Arten von Teams empfehlen:

• Support-Teams, die einen Telefon-Agenten bauen, der etwas tun muss. Einen Kunden verifizieren, eine Bestellung nachschlagen, eine Gutschrift ausstellen, einen Termin buchen. Genau das misst τ-Voice, und dort hat sich 3.0 am meisten verbessert. Die Starlink-Zahlen zeigen die Obergrenze, wenn ein einzelner Agent tiefen Tool-Zugriff hat, dieselbe Lektion, die jeder Rollout eines KI-Call-Center-Agenten lehrt.
• Teams, die schon auf Grok Voice 2.0 laufen. Gleiche API, gleicher Preis und 15,1 Punkte mehr bei Support-Aufgaben für den Preis einer Runde Testanrufe.
• Latenzempfindliche Leitungen. Unter den Modellen mit über 65 % bei τ-Voice ist es das einzige mit unter einer Sekunde bis zum ersten Audio. Jedes Modell in seiner Nähe bei diesem Benchmark braucht über 1,3 Sekunden.

Und drei, bei denen ich zuerst woanders schauen würde:

• Keine Entwickler im Team. Das Modell ist eine API. Starte mit dem Builder oder mit einer Plattform wie Retell AI oder Vapi, die Anrufabläufe und Analysen mitbringt. Mein Überblick über die besten KI-Voice-Agents vergleicht die fertigen Optionen.
• Teams, die komplett in einem Helpdesk arbeiten. Prüfe native Optionen wie Zendesk Voice AI Agents oder die Voice-Agents von Freshcaller, bevor du einen eigenen Stack baust.
• Teams, deren eigentliches Problem die Antworten sind. Wenn deine Mitarbeiter Mühe haben, weil die Richtlinien an fünf Orten liegen, liest eine bessere Stimme die falsche Richtlinie nur flüssiger vor. Das ist der häufigste Punkt auf jeder Liste von Chatbot-Problemen.

Wenn du noch überlegst, ob du Telefon-Support überhaupt automatisieren willst, ist mein Guide zu Voice-Agents für den Support der bessere Startpunkt als jedes einzelne Modell.

Für den Rest des Feldes siehe meine Liste beste KI für Voice-Support oder die breitere Seite zu xAI-Alternativen.

Die zwei Fragen, die Leute am Launch-Tag stellten

Unter den Launch-Beiträgen auf X waren die Antworten von Leuten, die frühere Versionen genutzt hatten, praktischer als der Jubel, und zwei davon kamen immer wieder.

"Have they made it less verbose?"

Spencer, X

xAI veröffentlicht keine Metrik zur Geschwätzigkeit. Was die Migrationshinweise sagen: 3.0 braucht einen deutlich kürzeren System-Prompt als frühere Modelle. Nach meiner Erfahrung schwafeln die meisten Voice-Agenten wegen eines langen Prompts voller Regeln. Kürzere Anweisungen plus eine Zeile wie „Antworte in ein bis zwei Sätzen“ wäre also das Erste, was ich testen würde.

"have they improved the ability to interrupt?"

Rich Brandwein, X

Hierzu gibt es eine Zahl. Full Duplex Bench, der Pausen und Dazwischenreden bewertet, stieg laut Artificial Analysis von 95,1 % auf 97,0 %. Aktiviere an einer Telefonleitung die Turn Detection server_vad, damit Anrufer natürlich dazwischenreden können, was die Docs als eine der wichtigsten Produktionsempfehlungen führen.

Und eine Antwort, die mir unter der Ankündigung von Elon Musk gefiel und die jeder Käufer beim Lesen von Launch-Beiträgen im Kopf behalten sollte, diesen hier eingeschlossen:

"I bet you say that to all the voice model providers."

Donvalderath, X

Fair. Führe eigene Anrufe mit echten Hintergrundgeräuschen durch, bevor du irgendeinem Benchmark vertraust.

Grok Voice 3.0 spricht. eesel weiß, was zu sagen ist.

Ein Voice-Modell gibt deiner Telefonleitung einen Sprecher, der schnell ist und natürlich klingt. Es kennt weder dein Rückgabefenster noch deine Plan-Limits noch welche Kunden die Kulanzgutschrift bekommen. Dieses Wissen muss irgendwoher kommen. In den Demo-Anrufen von eesel ist der Wunsch, die KI auf den bisherigen Tickets des Teams zu trainieren, der häufigste, und ich glaube, dieser Instinkt stimmt auch für Voice.

Genau das macht eesel. Es ist ein KI-Helpdesk-Teammitglied, das Zendesk, Freshdesk oder Gorgias beitritt, aus deinen bisherigen Tickets und deinem Help Center lernt und die E-Mail- und Chat-Warteschlange abarbeitet, die hinter jeder Telefonleitung steht. Bevor es live geht, kannst du es gegen deine eigenen früheren Tickets laufen lassen und sehen, wie seine Antworten mit dem verglichen werden, was dein Team tatsächlich gesendet hat.

Für Entwickler passt das gut zum mcp-Tool von Grok. Jeder eesel-Workspace ist auch ein MCP-Server, und eesel mcp token in der eesel CLI gibt aus, was ein MCP-Client zum Verbinden braucht. Die CLI steuert denselben Agenten, den du im Dashboard siehst, jeder Befehl gibt JSON aus, und Coding-Agenten wie Claude Code, Cursor oder Codex können die Einrichtung für dich übernehmen. Ich habe eesel noch nicht hinter einer echten Grok-Telefonleitung betrieben, betrachte das also als vielversprechenden Aufbau und behalte die zusätzliche Latenz eines Tool-Calls mitten im Satz im Auge.

Die Preise sind ein fester monatlicher Credit-Plan, ab 299 $ im Monat für 500 Credits, mit 100 kostenlosen Credits zum Ausprobieren und ohne Kreditkarte. Teste eesel an einem Teil deiner Warteschlange, damit die Stimme, die dein Telefon beantwortet, die richtigen Antworten parat hat.