¿Cómo evito que mi agente de soporte IA alucine?

Qué significa realmente "alucinación" para un agente de soporte

Una alucinación ocurre cuando el modelo afirma algo falso con la misma confianza que afirma algo verdadero. Los grandes modelos de lenguaje funcionan prediciendo las palabras más probables, así que cuando no tienen una respuesta real delante, no se detienen. Producen una respuesta fluida, plausible y completamente inventada. Eso no es un error que se pueda corregir, es como funciona la tecnología subyacente.

En un chatbot genérico, una alucinación es molesta. En soporte, es costosa. Tu software de atención al cliente con IA habla por tu empresa, a un cliente, a menudo sobre dinero, cuentas o promesas que ahora tienes que cumplir. He visto cómo un bot con tono seguro le decía tranquilamente a un cliente algo que simplemente no era nuestra política, y el costo no era la frase incorrecta, sino el ticket de seguimiento, el golpe a la confianza y el humano que tuvo que corregirlo.

Uno de nuestros clientes, un equipo danés de telemática vehicular que maneja soporte en Zendesk, experimentó la versión más clara de esto. Su base de conocimiento decía "soportamos todos los modelos", así que cuando un cliente preguntó por una marca de coche que no estaba en su base de datos, el agente lo confirmó alegremente. El modelo no estaba roto. Leyó lo que le dieron y respondió con confianza. El problema estaba en lo que se le permitía leer y si estaba obligado a ser honesto sobre sus fuentes.

Ese es todo el juego, y por eso el resto de este artículo trata sobre la configuración, no sobre el modelo.

La respuesta honesta: evita que la respuesta incorrecta se envíe, no que el modelo piense

Esta es la perspectiva que la mayoría de los consejos sobre "cómo detener las alucinaciones de IA" pasan por alto. No conseguirás un modelo que nunca genere un token incorrecto. Perseguir eso es una batalla perdida. Lo que sí puedes hacer absolutamente es construir una serie de compuertas para que una respuesta incorrecta se detenga antes de ser enviada.

Piénsalo como defensa en profundidad. El modelo redacta algo. Antes de que ese borrador se convierta en una respuesta que lee un cliente, pasa por el anclaje, una verificación de cita, una verificación de confianza y, cuando es necesario, un humano. Con que una compuerta detecte el problema es suficiente.

Por qué esto importa: una sola respuesta demostrablemente incorrecta destruye la confianza del cliente en todas las demás respuestas del agente, sin importar lo buenas que sean las demás. Así que el objetivo no es un modelo perfecto, es un sistema donde el peor caso es "la IA no dice nada" en lugar de "la IA dice algo incorrecto". Construyámoslo.

La configuración que realmente evita que una IA de soporte alucine

Aliméntalo con tus respuestas reales, no con el internet abierto

El primero y mayor factor es el anclaje: el agente solo debe responder desde tu propio conocimiento, no de lo que absorbió durante el pre-entrenamiento. Eso significa conectarlo a tu centro de ayuda, tus documentos internos, tus macros e idealmente tu historial de tickets resueltos, y luego restringirlo a ese material.

Los tickets resueltos son la fuente subestimada aquí. Un centro de ayuda le dice al agente lo que tu producto debería hacer; tus tickets resueltos muestran cómo tu equipo realmente responde a clientes reales dentro de tu flujo de trabajo de atención al cliente, incluidos los casos límite. Un chatbot de base de conocimiento con IA que aprende de ambos es mucho más difícil de desestabilizar que uno entrenado solo en páginas de marketing.

Puedes ver cómo se ve uno sin anclaje en la práctica. Un consultor de Salesforce que revisó Agentforce lo dijo sin rodeos:

"Además, las alucinaciones son realmente malas, ya que no entrenamos y funciona con un modelo general; a veces simplemente da información que no es nuestra."

Arjun G., reseña de Salesforce Agentforce en G2

"Información que no es nuestra" es la señal reveladora. La solución es asegurarse de que la única información disponible sea la tuya. El otro lado del anclaje es la obsolescencia, sin embargo, así que mantén la fuente actualizada. Como advirtió otro revisor de la misma familia de herramientas:

"Si tus archivos de Content Version (Artículos de conocimiento) no se han actualizado desde 2021, el agente IA le dará a los clientes información desactualizada con total confianza."

Muhammad O., reseña de Agentforce Service en G2

Anclado pero obsoleto es su propio tipo de respuesta incorrecta. Esta es exactamente la razón por la que entrenar IA en tu base de conocimiento es un trabajo continuo, no una importación única, y por qué una base de conocimiento bien mantenida da buenos resultados mucho más allá de la IA.

Haz que cada respuesta cite su fuente

El anclaje limita lo que el agente puede leer. Las citas lo obligan a demostrar que realmente leyó algo. Si el agente tiene que adjuntar el documento o ticket específico del que proviene su respuesta, suceden dos cosas buenas: un revisor puede verificar la respuesta con un clic, y el agente no tiene dónde esconderse cuando improvisa.

El patrón en el que insistiría: sin fuente, sin respuesta. Si el agente no puede señalar un pasaje que respalde su respuesta, no debe enviarla, debe escalarla. El cofundador de una empresa de tecnología legal con la que trabajamos explicó por qué esto no es negociable en su mundo: hay una línea fina entre ser útil y cruzar hacia el asesoramiento legal, y la única forma en que permitirían a la IA acercarse a los clientes era con salvaguardas exactas sobre las fuentes y una cita transparente en cada respuesta. Ese es un listón alto, pero es el estándar correcto para todos, no solo para industrias reguladas.

Establece un umbral de confianza y enruta según él

Este es el que más importa, y es la compuerta que convierte "confía en mí" en un mecanismo de seguridad real. Es la diferencia entre una herramienta de deflexión que puedes dejar funcionando y una que tienes que vigilar constantemente, y vale la pena hacerlo bien antes de escalar la deflexión de nivel 1. El agente solo debe responder automáticamente cuando está seguro y tiene una fuente. Todo lo demás se redacta para un humano o se transfiere.

Un responsable de CX en una marca DTC de suplementos que gestiona unos 7.000 tickets de Gorgias al mes lo explicó mejor de lo que yo podría:

La IA nunca responderá al 100 % de las preguntas, nos dijo, pero si lo intenta todo y simplemente escribe "lo siento, no lo sé" a un cliente, no puede revisar miles de tickets para ver si hizo un buen trabajo. Necesitaba una IA que solo manejara los tickets en los que estaba segura, y dejara los demás en paz. Eso es el enrutamiento basado en confianza en una frase, y fue el factor determinante en su evaluación.

La versión práctica: elige un umbral de confianza, envía todo lo que esté por debajo a una persona como borrador en lugar de como respuesta automática, y empieza con el umbral alto. Siempre puedes bajarlo una vez que confíes en el agente para un tipo de ticket determinado. Aquí es también donde una buena escalación de chat con IA rinde su valor, porque un "llamaré a un humano" con confianza supera siempre a una respuesta incorrecta con confianza. Si lo comparas con tecnología más antigua, es la línea más clara entre un agente IA y un chatbot basado en reglas.

Bloquea los temas que nunca debe tocar

Algunos tickets no deberían acercarse a la automatización de soporte, y eso es una característica, no una limitación. Reembolsos por encima de un umbral, eliminaciones de cuentas, cualquier cosa legal, cualquier cosa con un cliente enfadado en medio de una escalación. Quieres control explícito para mantener esas categorías solo con humanos.

Esto aparece constantemente en cómo la gente realmente quiere desplegar. Un responsable de soporte nos dijo claramente que hay ciertos tickets que no quiere pasar por la IA en absoluto. La principal preocupación de un gerente de eCommerce no era que la IA se equivocara en los hechos, sino que prometiera demasiado: "deja de decirles a los clientes que los vamos a solucionar, tú no sabes eso". Ambas son en realidad la misma petición, que es control sobre qué puede hacer el agente, no solo qué tan bien lo hace. Un buen agente de helpdesk IA te permite definir esas exclusiones desde el principio y establecer límites firmes sobre lo que puede prometer, como el enfoque de escalación y límites de Breeze.

Simula con tickets anteriores antes de hablar con un solo cliente

Cada compuerta anterior es una hipótesis hasta que la pruebas. El error que cometen los equipos es activar al agente en vivo con clientes reales y esperar a que surjan problemas. El movimiento mucho más seguro es ejecutarlo en simulación contra miles de tus tickets históricos primero.

Una simulación reproduce cómo el agente habría respondido tickets para los que ya conoces el resultado correcto. Obtienes cobertura por tema, ves exactamente dónde habría alucinado o escalado, y corriges las brechas de conocimiento antes de que cualquiera de eso toque una conversación en vivo. Luego lanzas gradualmente, un tipo de ticket a la vez.

Este es el paso que no entregaremos a un cliente sin él, porque es la diferencia entre esperar que el agente sea preciso y saber su número de cobertura antes del lanzamiento. También fue así como ese equipo de telemática vehicular que mencioné encontró su problema de "soportamos todos los modelos" antes de que los clientes lo hicieran, no después.

Cierra el ciclo: cada corrección es dato de entrenamiento

La última compuerta funciona después del lanzamiento. Cuando un humano edita o rechaza un borrador, esa señal debería volver directamente al agente para que el mismo error no se repita. Los evaluadores nos preguntan sobre esto constantemente, normalmente en alguna variación de "¿realmente lo registráis cuando apruebo o rechazo una respuesta?" La respuesta siempre debería ser sí, porque un agente que aprende de las correcciones se vuelve más preciso cada semana, y uno que no las aprende comete la misma alucinación el viernes que detectaste el lunes. Combina eso con una evaluación regular del rendimiento del agente y tendrás un sistema que mejora con el tiempo en lugar de desviarse.

Cómo saber que realmente está funcionando

Las salvaguardas que no mides son solo buenas intenciones. Unos pocos números te dicen si el agente es honesto:

• Tasa de contención o resolución en los tickets que sí respondió. Alta resolución con baja escalación es bueno. Alta resolución con una tasa de reapertura creciente significa que está cerrando tickets con confianza cuando no debería. Aquí te explicamos cómo pensar en la tasa de contención y la calidad de escalación juntas en lugar de de forma aislada.
• Tasa de escalación por tema. Un agente sano escala más en categorías ambiguas y menos en las simples. Si la escalación es plana en todo, tu umbral de confianza probablemente no está haciendo nada.
• Reaperturas y CSAT en tickets manejados por IA frente a los manejados por humanos, rastreados como parte de tus métricas de atención al cliente con IA más amplias.

El objetivo de observar esto es encontrar el momento en que la confianza superó la precisión, y ajustar el umbral hacia abajo. Hecho correctamente, la tasa de "no lo sé" del agente es una característica de la que estás orgulloso, no una que intentas esconder.

Prueba eesel

Soy parcial porque ayudo a construirlo, pero esta es exactamente la configuración en torno a la que está diseñado el agente de helpdesk IA de eesel. Aprende de tus tickets anteriores y documentos de ayuda desde el primer día, cita sus fuentes y usa enrutamiento basado en confianza para que solo responda automáticamente cuando esté seguro y pase discretamente el resto a tu equipo. Lo primero a lo que te señalaría es la simulación: puedes ejecutarlo sobre miles de tus tickets históricos y ver su cobertura y precisión reales antes de que haya un solo cliente involucrado, en lugar de descubrirlo en vivo.

Esa precaución da sus frutos. Para un cliente de logística resolvimos el 73 % de sus solicitudes de nivel 1 en el primer mes (agente de helpdesk IA de eesel), y funciona porque el agente deja en paz los tickets que no debería tocar. Se conecta a Zendesk, Freshdesk, Gorgias y más, y con precios basados en uso no pagas una cuota por asiento para mantener un humano en el ciclo. Puedes probarlo gratis y empezar en simulación.