Grok Voice 3.0 : ce que c'est, ce qui a changé et comment l'utiliser

Qu'est-ce que Grok Voice 3.0 ?

Grok Voice 3.0 (nom du modèle grok-voice-3.0) est un modèle voix-à-voix pour agents vocaux en temps réel, vendu via l'API de xAI. xAI signe désormais sa documentation SpaceXSI, vous verrez donc les deux noms autour du lancement.

« Voix-à-voix » est le point sur lequel il vaut la peine de ralentir. Les anciens bots vocaux enchaînent trois systèmes : reconnaissance vocale, puis modèle de texte, puis synthèse vocale, et chaque passage de relais ajoute du délai et fait aussi perdre le ton. Un modèle voix-à-voix fait les trois tâches en une seule passe, il peut donc entendre qu'un appelant est agacé et répondre avant qu'il ne commence à se répéter. Si vous voulez la version longue de ce compromis, mon explication de Grok Voice 2.0 la détaille.

Je construis des agents IA chez eesel, je lis donc ce genre de lancement par la tuyauterie : ce qui entre, ce qui sort et où vit réellement la connaissance. Lu ainsi, Grok Voice 3.0 est plusieurs choses à la fois :

• Un modèle que vous appelez via un WebSocket, sur wss://api.x.ai/v1/realtime, d'après la documentation voix-à-voix.
• Un environnement d'exécution d'agents, car il peut chercher dans des documents importés, appeler vos propres fonctions ou joindre un serveur MCP pendant l'appel.
• Un système de production déjà sous charge. Le billet de lancement de xAI indique qu'il traite des millions de conversations par jour dans les voitures Tesla, alimente le mode vocal de Grok Bot et répond à 20 000 appels de support Starlink par jour, environ 70 % sans aucun humain.

Un petit détail remarqué sur la page d'accueil : elle revendique « #1 Tau Voice Leaderboard », alors que l'évaluation τ-Voice d'Artificial Analysis place Grok Voice 3.0 en 2e position, derrière GPT-Live-1 (Astra). Ils citent peut-être des classements différents. Quoi qu'il en soit, si vous mettez un rang dans un dossier de décision, citez le tableau d'Artificial Analysis, qui montre sa méthode.

Qu'est-ce qui a changé depuis Grok Voice 2.0 ?

En bref : le modèle est bien meilleur pour mener à bien des tâches de support et un peu plus lent à commencer à parler, alors que rien n'a bougé du côté de l'API ni de la facture. Les notes de version le résument en une ligne : « The API is unchanged. »

Voici l'avant et l'après complet, avec tous les chiffres de benchmark d'Artificial Analysis et le reste provenant de la documentation de xAI :

Le bond se voit mieux en mettant toute la lignée côte à côte. Grok Voice 1.0 avait obtenu 73,7 à l'indice il y a moins de six mois, et le score sur les tâches de support a à peine bougé entre la 1.0 et la 2.0 avant cette version.

Ce qui est intéressant, c'est que la 2.0 était la version de la vitesse et la 3.0 celle de l'intelligence. La 2.0 avait ramené le premier audio de 1,25 s à 0,70 s, puis la 3.0 en rend environ un dixième de seconde et le dépense pour réussir la tâche. Pour une ligne de support, je pense que c'est le bon compromis.

Les benchmarks, en mots simples

Les noms de benchmarks rendent les billets de lancement difficiles à lire, voici donc ce que chacun mesure :

• τ-Voice place le modèle dans un appel de support simulé (compagnie aérienne, commerce, télécoms) avec des outils et un document de règles. Il ne marque que si l'état final du compte est exactement correct. C'est celui qui doit intéresser les responsables du support.
• Task Success Rate vient de vraies personnes qui passent des appels en direct avec deux modèles cachés dans l'arène d'Artificial Analysis, puis jugent si le travail a été fait.
• Arena Elo est la même arène, notée selon le modèle avec lequel les gens ont préféré parler.
• Big Bench Audio teste le raisonnement sur des questions orales. Grok Voice 3.0 obtient 98,5 %, celui-ci est donc presque saturé.
• Full Duplex Bench mesure les tours de parole : pauses, interruptions, ne pas couper la parole à l'appelant.

Artificial Analysis a résumé le lancement dans son propre fil :

"Grok Voice 3.0 debuts at #1 at 86.9, ahead of GPT-Live-1 (Astra, medium) at 83.2, Gemini 3.8 Live Extended Thinking (High) at 82.6 and GPT-Live-1 (Sol, low) at 80.1."

Artificial Analysis, X

Parmi les benchmarks externes, xAI cite aussi EVA-Bench, le benchmark ouvert de ServiceNow couvrant plus de 200 scénarios vocaux d'entreprise, où il indique que Grok Voice 3.0 obtient la meilleure précision, 74 %. Et côté coût, le billet de lancement cite le coût par tâche mesuré par Artificial Analysis de 0,025 $, contre 0,030 $ pour GPT-Live-1 (Astra) et 0,055 $ pour GPT-Realtime-2.1.

Comment un appel Grok Voice 3.0 se déroule réellement

C'est la partie que la plupart des articles de lancement sautent, et c'est honnêtement celle qui décide si votre agent est bon. Chaque conversation est une session. Votre appli (ou un opérateur téléphonique) l'ouvre, envoie un session.update avec la configuration, puis diffuse l'audio dans les deux sens jusqu'à la fin de l'appel.

Les paramètres de session qui comptent le plus pour un agent de support, tous issus du tableau des paramètres de session :

Les outils sont l'endroit où le modèle cesse d'être un parleur et devient un agent. file_search lit des collections de documents que vous importez, function appelle votre propre code et mcp se connecte à un serveur MCP distant. Quiconque a construit sur des appels d'outils en temps réel sait que le plus difficile est le silence pendant qu'une fonction s'exécute, et la documentation consacre toute une section à éviter le chevauchement audio pendant les appels d'outils, ce qui me dit que xAI l'a mis entre les mains de vrais appelants.

Les appels téléphoniques passent par votre propre opérateur

Pour une ligne téléphonique, Grok Voice 3.0 prend les appels via SIP. Le guide SIP est précis sur la manière : vous enregistrez un numéro que vous possédez déjà (origin: "byo_trunk"), vous pointez le trunk SIP de votre opérateur vers xAI et vous recevez un webhook signé pour chaque appel entrant. Le provisionnement de numéros de téléphone SpaceXSI via l'API n'est pas pris en charge, prévoyez donc un compte chez un opérateur. Le guide propose des étapes de configuration pour Twilio et Telnyx, et fonctionne avec n'importe quel fournisseur SIP.

Deux détails téléphoniques m'ont plu. Les pressions de touches (DTMF) sont mises en tampon et transmises au modèle sous forme de texte, donc « tapez 1 pour la facturation » fonctionne toujours. Et un appel refer transfère l'appelant vers un autre numéro et vous indique de façon synchrone si le côté humain a décroché, exactement ce dont a besoin un transfert vers un humain.

Langues

La documentation liste 20 entrées de langue avec accents natifs, et le modèle détecte la langue de l'appelant sans configuration. La page d'accueil annonce plus de 25. Les autres langues fonctionnent « with varying degrees of accuracy », selon la liste des langues prises en charge. Si vos appelants parlent une langue hors de la liste, faites des appels de test avant le lancement.

Comment commencer à utiliser Grok Voice 3.0

Il y a trois façons d'entrer et toutes font tourner le même modèle, le choix dépend donc surtout de la présence ou non de développeurs.

1. Créez une clé d'API. Dans la console xAI, créez une clé. Chaque voie ci-dessous nécessite un compte.
2. Écoutez-le d'abord dans le Playground. Le playground vocal de la console permet de parler au modèle avant d'écrire du code. Dix minutes ici vous en apprennent plus sur les voix que n'importe quel benchmark.
3. Pas de code ? Utilisez le Voice Agent Builder. C'est l'outil de la console xAI pour configurer un agent vocal avec connaissances, outils et téléphonie, sans code. Mon guide du Voice Agent Builder le détaille, et le test du builder en couvre les limites.
4. Développeurs : connectez-vous à la Realtime API. Ouvrez un WebSocket vers wss://api.x.ai/v1/realtime?model=grok-voice-3.0, envoyez session.update avec vos instructions, votre voix et vos outils, puis diffusez l'audio. Pour les navigateurs et les applis mobiles, utilisez des jetons éphémères plutôt que votre clé d'API.
5. Ligne téléphonique : branchez le SIP. Enregistrez votre numéro, pointez le trunk de votre opérateur vers xAI et gérez le webhook d'appel entrant, comme expliqué plus haut.

xAI publie aussi sur GitHub des applis de test pour un agent web via WebSocket, un agent WebRTC, une appli iOS et un agent téléphonique Twilio, liées depuis la documentation voix-à-voix. Partir de l'exemple Twilio est la façon la plus rapide que je connaisse de faire parler un vrai numéro de téléphone avec le modèle.

La configuration minimale est courte. Voici la forme du premier message après l'ouverture du socket, réduite à partir du démarrage rapide de la documentation :

{
  "type": "session.update",
  "session": {
    "voice": "eve",
    "instructions": "You are the support agent for Acme. Verify the caller before discussing an order.",
    "turn_detection": { "type": "server_vad" }
  }
}

Deux conseils de migration de la documentation xAI méritent d'être lus deux fois. D'abord, « pin to a versioned model name in production », avec lequel je suis d'accord : un alias qui se met à jour tout seul, c'est bien jusqu'à ce qu'un prompt réglé se mette à se comporter autrement. Ensuite, si vous déplacez un prompt depuis un autre modèle, xAI recommande de le raccourcir nettement et de supprimer les instructions de contournement écrites pour d'anciens modèles.

Si votre appli tourne déjà sur l'API OpenAI Realtime, la documentation indique que la plupart des bibliothèques clientes fonctionnent après avoir changé l'URL de base et la clé d'API. Quelques événements OpenAI sont nommés différemment ou ne sont pas émis, et le tableau de compatibilité les liste. Mon explication Realtime API vs WebRTC couvre le choix du transport, qui fonctionne de la même façon ici.

Vous ne savez pas quoi changer de votre côté ? Choisissez ce que vous utilisez aujourd'hui :

Ce que ça coûte et les limites à prévoir

La tarification tient en une ligne sur la page de prix de xAI, ce qui facilite les prévisions :

Une ligne de support qui traite 300 appels de quatre minutes par jour consomme 36 000 minutes par mois, soit 2 880 $ de temps vocal avant tout appel d'outil ou frais d'opérateur. Pour le détail du calcul des coûts, avec un calculateur, voir mon test de Grok Voice 3.0, et ma comparaison du coût par appel met ce chiffre à côté d'un salaire.

La limite que la plupart des équipes rencontrent en premier est la concurrence, c'est-à-dire le nombre d'appels pouvant tourner en même temps. La page des limites de débit plafonne les sessions voix-à-voix par palier de dépenses, d'après les dépenses cumulées d'API depuis le 1er janvier 2026. Les paliers se débloquent automatiquement et ne rétrogradent jamais.

Le piège pour les pilotes : un compte tout neuf ne peut pas tester 50 appels simultanés sans d'abord acheter assez de crédits pour atteindre le Tier 2. Au-delà du Tier 4, vous demandez une hausse via la console.

Les régions sont l'autre point à prévoir. La page du modèle Grok Voice 3.0 liste us-east-1, eu-west-1 et us-saltlake-2. Quand j'ai traité les tarifs de la 2.0 en août, le modèle vocal ne tournait que dans us-east-1, les équipes européennes ont donc maintenant une voie pour l'évaluer.

Pour qui Grok Voice 3.0 convient, et pour qui non

La réponse courte à la question l'IA peut-elle répondre aux appels de support est désormais oui au niveau du modèle. Je le mettrais devant trois types d'équipes :

• Les équipes de support qui construisent un agent téléphonique devant agir. Vérifier un client, chercher une commande, émettre un avoir, réserver un créneau. C'est exactement ce que mesure τ-Voice et là où la 3.0 s'est le plus améliorée. Les chiffres de Starlink montrent le plafond quand un seul agent a un accès profond aux outils, la même leçon que tout déploiement d'un agent de centre d'appels IA.
• Les équipes déjà sur Grok Voice 2.0. Même API, même prix, et un gain de 15,1 points sur les tâches de support pour le coût d'une série d'appels de test.
• Les lignes sensibles à la latence. Parmi les modèles dépassant 65 % sur τ-Voice, c'est le seul à passer sous la seconde avant le premier audio. Tous les modèles proches sur ce benchmark mettent plus de 1,3 seconde.

Et trois cas où je regarderais d'abord ailleurs :

• Pas de développeurs dans l'équipe. Le modèle est une API. Commencez par le Builder, ou par une plateforme comme Retell AI ou Vapi qui ajoute parcours d'appel et analyses. Mon panorama des meilleurs agents vocaux IA compare les offres clés en main.
• Les équipes qui vivent dans un seul helpdesk. Regardez les options natives comme les agents vocaux IA de Zendesk ou les agents vocaux de Freshcaller avant de construire une pile sur mesure.
• Les équipes dont le vrai problème, ce sont les réponses. Si vos agents peinent parce que les règles sont éparpillées en cinq endroits, une meilleure voix lira simplement la mauvaise règle avec plus d'aisance. C'est le point le plus courant de toute liste de problèmes de chatbots.

Si vous hésitez encore à automatiser le support téléphonique, mon guide des agents vocaux pour le support est un meilleur point de départ que n'importe quel modèle seul.

Pour le reste du marché, voyez ma liste de la meilleure IA pour le support vocal ou la page plus large des alternatives à xAI.

Les deux questions posées le jour du lancement

Sous les publications de lancement sur X, les réponses de personnes ayant utilisé des versions antérieures étaient plus concrètes que les applaudissements, et deux d'entre elles revenaient sans cesse.

"Have they made it less verbose?"

Spencer, X

xAI ne publie pas de mesure de verbosité. Ce que disent ses notes de migration, c'est que la 3.0 demande un prompt système bien plus court que les modèles précédents. D'après mon expérience, la plupart des agents vocaux bavards le sont à cause d'un long prompt plein de règles, donc des instructions plus courtes accompagnées d'une ligne comme « répondez en une ou deux phrases » est la première chose que je testerais.

"have they improved the ability to interrupt?"

Rich Brandwein, X

Pour celle-ci, il y a un chiffre. Full Duplex Bench, qui note les pauses et les interruptions, est passé de 95,1 % à 97,0 %, selon Artificial Analysis. Sur une ligne téléphonique, activez la détection de tour server_vad pour que les appelants puissent couper la parole naturellement, ce que la documentation classe parmi les principales recommandations de production.

Et une réponse que j'ai appréciée sous l'annonce d'Elon Musk, que tout acheteur devrait garder en tête en lisant des billets de lancement, y compris celui-ci :

"I bet you say that to all the voice model providers."

Donvalderath, X

Juste. Passez vos propres appels, avec du vrai bruit de fond, avant de faire confiance à un benchmark.

Grok Voice 3.0 parle. eesel sait quoi dire.

Un modèle vocal donne à votre ligne téléphonique un interlocuteur rapide et naturel. Il ne connaît ni votre délai de retour, ni les limites de vos offres, ni les clients qui ont droit au geste commercial. Cette connaissance doit venir de quelque part. Dans les appels de démo d'eesel, la demande qui revient le plus est d'entraîner l'IA sur les anciens tickets de l'équipe, et je pense que cet instinct est aussi le bon pour la voix.

C'est ce que fait eesel. C'est un coéquipier helpdesk IA qui rejoint Zendesk, Freshdesk ou Gorgias, apprend de vos anciens tickets et de votre centre d'aide, et traite la file d'e-mails et de chats qui se trouve derrière toute ligne téléphonique. Avant sa mise en service, vous pouvez le lancer sur vos propres tickets passés et comparer ses réponses à ce que votre équipe a réellement envoyé.

Pour ceux qui construisent, il y a un bel accord avec l'outil mcp de Grok. Chaque espace de travail eesel est aussi un serveur MCP, et eesel mcp token dans la CLI eesel affiche ce dont un client MCP a besoin pour se connecter. La CLI pilote le même agent que vous voyez dans le tableau de bord, chaque commande affiche du JSON, et des agents de code comme Claude Code, Cursor ou Codex peuvent exécuter la configuration pour vous. Je n'ai pas fait tourner eesel derrière une vraie ligne téléphonique Grok, considérez donc cela comme un montage prometteur, et surveillez la latence supplémentaire d'un appel d'outil en pleine phrase.

La tarification est un forfait mensuel fixe de crédits, à partir de 299 $ par mois pour 500 crédits, avec 100 crédits gratuits pour essayer et sans carte. Essayez eesel sur une partie de votre file, pour que la voix qui répond à votre téléphone ait les bonnes réponses à donner.