Comment empêcher mon agent de support IA d'halluciner ?

Ce que signifie réellement « hallucination » pour un agent de support

Une hallucination, c'est lorsque le modèle affirme quelque chose de faux avec la même assurance qu'il affirme quelque chose de vrai. Les grands modèles de langage fonctionnent en prédisant les mots les plus probables, donc quand il n'y a pas de vraie réponse devant eux, ils ne s'arrêtent pas. Ils produisent une réponse fluide, plausible et complètement inventée. Ce n'est pas un bug qu'on peut corriger, c'est ainsi que fonctionne la technologie sous-jacente.

Dans un chatbot générique, une hallucination est gênante. Dans le support, elle est coûteuse. Votre logiciel de service client IA parle pour votre entreprise, à un client, souvent au sujet d'argent, de comptes ou de promesses que vous devez maintenant tenir. J'ai vu un bot au ton assuré dire tranquillement à un client quelque chose qui n'était tout simplement pas notre politique, et le coût n'était pas la mauvaise phrase, c'était le ticket de suivi, la perte de confiance et le collaborateur humain qui a dû tout défaire.

L'un de nos clients, une équipe danoise de télématique automobile gérant le support sur Zendesk, a vécu la version la plus claire de cela. Leur base de connaissances indiquait « nous supportons tous les modèles », donc quand un client a demandé une marque de voiture qui n'était pas dans leur base de données, l'agent l'a joyeusement confirmé. Le modèle n'était pas cassé. Il a lu ce qu'on lui avait donné et a répondu avec assurance. Le problème résidait dans ce qu'il était autorisé à lire et s'il était forcé d'être honnête sur ses sources.

C'est tout le jeu, et c'est pourquoi le reste de cet article porte sur la configuration, pas sur le modèle.

La réponse honnête : empêchez la mauvaise réponse d'être envoyée, pas le modèle de penser

Voici le changement de perspective que la plupart des conseils « comment arrêter les hallucinations IA » ratent. Vous n'obtiendrez pas un modèle qui ne génère jamais un token incorrect. Poursuivre cela est une bataille perdue d'avance. Ce que vous pouvez absolument faire, c'est construire une série de portes pour qu'une mauvaise réponse soit interceptée avant d'être envoyée.

Pensez-y comme une défense en profondeur. Le modèle rédige quelque chose. Avant que ce brouillon devienne une réponse qu'un client lit, il passe par l'ancrage, une vérification de citation, une vérification de confiance et, si nécessaire, un humain. Il suffit qu'une seule porte détecte le problème.

Pourquoi cela compte : une seule réponse manifestement fausse torpille la confiance d'un client dans toutes les autres réponses de l'agent, aussi bonnes que soient les autres. L'objectif n'est donc pas un modèle parfait, c'est un système où le pire cas est « l'IA ne dit rien » plutôt que « l'IA dit quelque chose de faux ». Construisons cela.

La configuration qui empêche réellement une IA de support d'halluciner

Alimentez-la avec vos vraies réponses, pas avec l'internet ouvert

Le premier et plus grand levier est l'ancrage : l'agent ne devrait répondre qu'à partir de vos propres connaissances, pas de ce qu'il a absorbé lors du pré-entraînement. Cela signifie le connecter à votre centre d'aide, vos docs internes, vos macros et idéalement votre historique de tickets résolus, puis le restreindre à ce matériel.

Les tickets résolus sont la source sous-estimée ici. Un centre d'aide dit à l'agent ce que votre produit devrait faire ; vos tickets résolus montrent comment votre équipe répond réellement aux vrais clients dans votre flux de travail de service client, cas limites inclus. Un chatbot de base de connaissances IA qui apprend des deux est bien plus difficile à déstabiliser qu'un entraîné uniquement sur des pages marketing.

Vous pouvez voir à quoi ressemble un agent non ancré en pratique. Un consultant Salesforce évaluant Agentforce l'a dit sans détour :

« De plus, les hallucinations sont vraiment mauvaises, puisque nous n'entraînons pas et qu'il fonctionne sur un modèle général, il donne parfois des informations qui ne sont pas les nôtres. »

Arjun G., avis sur Salesforce Agentforce sur G2

« Des informations qui ne sont pas les nôtres » est le signe révélateur. La solution est de s'assurer que les seules informations disponibles sont les vôtres. L'autre face de l'ancrage est l'obsolescence, donc gardez la source à jour. Comme un autre évaluateur de la même famille d'outils l'a averti :

« Si vos fichiers Content Version (Articles de connaissance) n'ont pas été mis à jour depuis 2021, l'agent IA donnera aux clients des informations obsolètes en toute confiance. »

Muhammad O., avis sur Agentforce Service sur G2

Ancré mais obsolète, c'est son propre type de mauvaise réponse. C'est exactement pourquoi entraîner une IA sur votre base de connaissances est un travail continu, pas une importation unique, et pourquoi une base de connaissances bien entretenue rapporte bien au-delà de l'IA.

Faites en sorte que chaque réponse cite sa source

L'ancrage limite ce que l'agent peut lire. Les citations le forcent à prouver qu'il a réellement lu quelque chose. Si l'agent doit joindre le document ou ticket spécifique dont vient sa réponse, deux bonnes choses se produisent : un réviseur peut vérifier la réponse en un clic, et l'agent n'a nulle part où se cacher quand il improvise.

Le schéma sur lequel j'insisterais : pas de source, pas de réponse. Si l'agent ne peut pas indiquer un passage soutenant sa réponse, il ne devrait pas envoyer la réponse, il devrait escalader. Le cofondateur d'une société legal-tech avec laquelle nous travaillons a expliqué pourquoi c'est non négociable dans leur monde : il y a une ligne fine entre être utile et basculer dans le conseil juridique, et la seule façon de laisser l'IA s'approcher des clients était avec des garde-fous précis sur les sources et une citation transparente sur chaque réponse. C'est un niveau élevé, mais c'est le bon standard pour tout le monde, pas seulement pour les secteurs réglementés.

Définissez un seuil de confiance et routez selon lui

C'est celui qui compte le plus, et c'est la porte qui transforme « faites-moi confiance » en un vrai mécanisme de sécurité. C'est la différence entre un outil de déflexion que vous pouvez laisser tourner et un que vous devez surveiller en permanence, et ça vaut la peine de bien le faire avant de scaler la déflexion de niveau 1. L'agent ne devrait répondre automatiquement que lorsqu'il est confiant et a une source. Tout le reste est rédigé pour un humain ou transmis.

Un responsable CX d'une marque DTC de compléments alimentaires gérant environ 7 000 tickets Gorgias par mois a exprimé la logique mieux que je ne pourrais :

L'IA ne répondra jamais à 100 % des questions, nous a-t-il dit, mais si elle essaie sur tout et écrit juste « désolé, je ne sais pas » à un client, il ne peut pas revenir en arrière et vérifier des milliers de tickets pour voir si elle a fait du bon travail. Il avait besoin d'une IA qui ne gère que les tickets dont elle est sûre, et laisse le reste tranquille. C'est le routage par confiance en une phrase, et c'était le facteur déterminant dans son évaluation.

La version pratique : choisissez un seuil de confiance, envoyez tout ce qui est en dessous à une personne comme brouillon plutôt qu'en réponse automatique, et commencez avec le seuil haut. Vous pouvez toujours le baisser une fois que vous faites confiance à l'agent sur un type de ticket donné. C'est aussi là qu'une bonne escalade de chat IA vaut son pesant d'or, car un « je vais chercher un humain » confiant bat une mauvaise réponse confiante à chaque fois. Si vous comparez cela à une technologie plus ancienne, c'est la ligne la plus claire entre un agent IA et un chatbot à base de règles.

Bloquez les sujets qu'il ne doit jamais aborder

Certains tickets ne devraient jamais approcher l'automatisation du support, et c'est une fonctionnalité, pas une limitation. Les remboursements au-dessus d'un seuil, les suppressions de compte, tout ce qui est juridique, tout ce qui implique un client en colère en pleine escalade. Vous voulez un contrôle explicite pour garder ces catégories exclusivement humaines.

Cela revient constamment dans la façon dont les gens veulent vraiment déployer. Un responsable support nous a dit clairement qu'il y a certains tickets qu'il ne veut pas du tout faire passer par l'IA. La principale préoccupation d'un responsable eCommerce n'était pas que l'IA se trompe sur les faits, mais qu'elle promette trop : « arrêtez de dire aux clients qu'on va les trier, vous ne le savez pas. » Les deux sont en réalité la même demande, à savoir le contrôle sur ce que l'agent est autorisé à faire, pas seulement à quel point il le fait bien. Un bon agent helpdesk IA vous permet de définir ces exclusions dès le départ et de fixer des garde-fous fermes sur ce qu'il peut promettre, comme l'approche d'escalade et de garde-fous de Breeze.

Simulez sur des tickets passés avant de parler à un seul client

Chaque porte ci-dessus est une hypothèse jusqu'à ce que vous la testiez. L'erreur que font les équipes est d'activer l'agent en live sur de vrais clients et d'attendre les incidents. Le mouvement bien plus sûr est de le faire tourner en simulation sur des milliers de vos tickets historiques d'abord.

Une simulation rejoue comment l'agent aurait répondu à des tickets dont vous connaissez déjà le bon résultat. Vous obtenez une couverture par sujet, vous voyez exactement où il aurait halluciné ou escaladé, et vous corrigez les lacunes de connaissances avant que quoi que ce soit ne touche une vraie conversation. Ensuite, vous passez en live progressivement, un type de ticket à la fois.

C'est l'étape sans laquelle nous ne livrons pas à un client, car c'est la différence entre espérer que l'agent est précis et connaître son taux de couverture avant le lancement. C'est aussi ainsi que l'équipe de télématique automobile que j'ai mentionnée a trouvé son problème « nous supportons tous les modèles » avant que les clients ne le fassent, pas après.

Fermez la boucle : chaque correction est une donnée d'entraînement

La dernière porte fonctionne après le lancement. Quand un humain modifie ou rejette un brouillon, ce signal devrait se propager directement à l'agent pour que la même erreur ne se reproduise pas. Les évaluateurs nous posent cette question tout le temps, généralement sous une forme comme « est-ce que vous tracez vraiment quand j'approuve ou rejette une réponse ? » La réponse devrait toujours être oui, car un agent qui apprend des corrections devient plus précis chaque semaine, et celui qui n'apprend pas fait la même hallucination le vendredi que vous avez détectée le lundi. Associez cela à une évaluation régulière des performances de l'agent et vous avez un système qui se resserre avec le temps au lieu de dériver.

Comment savoir que cela fonctionne vraiment

Des garde-fous que vous ne mesurez pas ne sont que de bonnes intentions. Quelques chiffres vous disent si l'agent est honnête :

• Taux de contention ou de résolution sur les tickets auxquels il a répondu. Une résolution élevée avec peu d'escalades est bon signe. Une résolution élevée avec un taux de réouverture croissant signifie qu'il clôture des tickets avec assurance alors qu'il ne devrait pas. Voici comment penser au taux de contention et à la qualité d'escalade ensemble plutôt qu'isolément.
• Taux d'escalade par sujet. Un agent sain escalade davantage sur les catégories ambiguës et moins sur les simples. Si l'escalade est plate sur tout, votre seuil de confiance ne fait probablement rien.
• Réouvertures et CSAT sur les tickets traités par l'IA par rapport à ceux traités par des humains, suivis dans le cadre de vos métriques de service client IA plus larges.

L'intérêt de surveiller ces chiffres est de trouver le moment où la confiance a dépassé la précision, et de baisser le seuil. Bien fait, le taux « je ne sais pas » de l'agent est une fonctionnalité dont vous êtes fier, pas une que vous essayez d'enterrer.

Essayez eesel

Je suis partial parce que je contribue à le construire, mais c'est exactement la configuration autour de laquelle l'agent helpdesk IA d'eesel est conçu. Il apprend de vos tickets passés et docs d'aide dès le premier jour, cite ses sources et utilise le routage par confiance pour ne répondre automatiquement que quand il est sûr et passer discrètement le reste à votre équipe. La partie vers laquelle je vous orienterais en premier est la simulation : vous pouvez le faire tourner sur des milliers de vos tickets historiques et voir sa vraie couverture et précision avant qu'un seul client ne soit impliqué, plutôt que de le découvrir en live.

Cette prudence paie. Pour un client logistique, nous avons résolu 73 % de leurs demandes de niveau 1 le premier mois (agent helpdesk IA d'eesel), et ça fonctionne parce que l'agent laisse tranquilles les tickets qu'il ne devrait pas toucher. Il se connecte à Zendesk, Freshdesk, Gorgias et d'autres, et avec une tarification à l'usage vous ne payez pas de frais par siège pour maintenir un humain dans la boucle. Vous pouvez l'essayer gratuitement et commencer en simulation.