Por qué fallan los despliegues de IA
Trabajo la cola de soporte de eesel todos los días, así que veo lo que pasa después de que un equipo activa un agente de IA. El patrón que más me preocupa no es un modelo roto. Es un modelo seguro de sí mismo ante una laguna.
Aquí va un caso real. Un equipo de soporte técnico B2B en Zendesk preguntó a su bot si soportaban el modelo de coche de un cliente. El bot dijo que sí, para marcas que no estaban en su base de datos, porque un artículo de ayuda decía "soportamos todos los modelos". Nada en el modelo estaba roto. El artículo sí. A otro grupo de clientes de pago, su bot les respondía con datos generales de entrenamiento cuando la base de conocimiento no devolvía nada, y en un caso respondió a un cliente con "Oxygen", sacado de la tabla periódica.
Esas son las razones por las que eesel ahora simula cada despliegue con tickets históricos antes de que una IA envíe una sola respuesta. Una reproducción de tus propios tickets pasados detecta la laguna en la base de conocimiento antes que un cliente.
Los errores de abajo vienen de esa cola, de las llamadas de venta en las que los responsables de soporte nos cuentan qué salió mal con su herramienta anterior y de la documentación de los proveedores. Si quieres los pasos de configuración desde cero, la guía de implementación de IA los cubre. Este artículo es la lista de cosas que hay que dejar bien antes del día del lanzamiento.
Error 1: contar la deflexión como resolución
Deflexión significa que el cliente no llegó a una persona en esa conversación. No dice nada sobre si su problema se resolvió. Un cliente que se rinde, un cliente que vuelve a escribir al día siguiente y un cliente que recibió un reembolso real se ven igual en un gráfico de deflexión.
El reporting de los proveedores también puede difuminar esto, y conviene saber cómo antes de construir un panel sobre él. Zendesk documenta un caso en el que un agente de IA de mensajería intentó escalar, no encontró agentes disponibles, creó un ticket de seguimiento y terminó la conversación por su cuenta. El estado de la conversación entonces dice Automated resolution mientras el campo personalizado dice Escalated to agent, según la propia explicación de Zendesk. El cliente sigue esperando, y una de las etiquetas dice que está resuelto.
La facturación de Zendesk sí traza esta línea con cuidado. Bajo los niveles de resolución introducidos el 18 de mayo de 2026, una "assisted escalation" y una "contained resolution" no cuentan contra tu asignación. Solo cuenta una "verified resolution", en la que un LLM revisa la transcripción y confirma que la solicitud se resolvió. Es un modelo de facturación justo. Lo importante es que tu propia métrica de éxito necesita el mismo rigor.
Un profesional en r/customerexperience expresó la distinción con claridad:
"Silence alone is a dangerous proxy for resolution. It's useful operationally, but it's not an experience signal. A bot answer + 72 hours of no follow-up mostly tells you the customer gave up or moved on, not that the problem was fixed."
La solución: decide qué significa "resuelto" antes del lanzamiento. Mi definición de trabajo es un resultado al que puedas señalar (reembolso emitido, dirección cambiada, respuesta confirmada) o ningún contacto repetido sobre el mismo problema en 30 días. Mis compañeros profundizan en la tasa de resolución de IA y en la tasa de deflexión si necesitas las fórmulas.
Error 2: dejar que la IA rellene lagunas con suposiciones
Cuando un agente de IA no encuentra una respuesta, tiene dos opciones: decirlo y traspasar, o producir algo que suene bien. Si no le has dicho cuál, asume la segunda.
Los ejemplos públicos son bien conocidos. En Hacker News se citó la respuesta de un desarrollador de Cursor después de que el bot de soporte de la empresa contara a los usuarios una política de inicio de sesión que no existía:
"Hey! We have no such policy. You're of course free to use Cursor on multiple machines. Unfortunately, this is an incorrect response from a front-line AI support bot."
Y cuando un tribunal canadiense obligó a Air Canada a respetar una política de reembolso que su chatbot se inventó, un comentarista planteó el coste como debería hacerlo un responsable de soporte:
"In this case this could have just been a $650 'bug bounty' had Air Canada issued a quick refund. A reasonable QA expense to find out that your AI agent is misleading your customers."
Las configuraciones en las que confío dejan la regla por escrito. Swiftreg, un vendedor británico de matrículas, usa eesel en Zendesk bajo reglas que escribió el propio equipo. Una consulta en vivo manda sobre la base de conocimiento, los tickets pasados y cualquier cosa que diga el cliente. eesel nunca informa de un reembolso, un envío o una presentación ante el DVLA que una consulta no haya confirmado, un validador comprueba cada respuesta contra los resultados de la consulta antes de enviarla, y cada respuesta pública termina con un pie que dice que la escribió la IA y que puede contener errores.
La solución: dale al agente una alternativa explícita para "no se encontró respuesta" (traspasar, o decir que una persona lo confirmará), una regla de que los datos en vivo mandan sobre los documentos y una lista corta de cosas que nunca puede prometer. La guía de prevención de alucinaciones enumera los ajustes, y esta explicación cubre por qué las lagunas causan la mayoría.
Error 3: dificultar el acceso a una persona
Algunos equipos esconden la opción de "hablar con una persona" para proteger una cola saturada. Entiendo la presión. Aun así sale mal, porque el cliente que no puede salir del bucle del bot no desaparece. Vuelve más enfadado, por otro canal.
Los ajustes existen en todos los helpdesks grandes, por eso es una decisión y no un accidente. En los agentes de IA de Zendesk, la pestaña de comportamiento de mensajería tiene una casilla "Add option to talk to a human" al inicio de la conversación, tras respuestas útiles e inútiles y cuando la IA no puede responder, según el artículo de Zendesk sobre ajustes de traspaso. Gorgias describe que su AI Agent traspasa cuando no puede responder con confianza, se topa con un tema sensible o detecta frustración, con reglas de traspaso que puedes añadir tú mismo en los ajustes de AI Agent.
Un hilo en r/CustomerSuccess preguntó si un bot debería transferir cuando alguien escribe "talk to a human". La respuesta más votada trazó la línea que yo trazaría:
"Deflection is the bot solving the issue so well the person never needs a human. Obstruction is hiding the exit to protect the queue. The first reduces volume sustainably, the second just moves the pain (and usually amplifies it, like you described)."
La solución: traspasa ante cualquier petición explícita, registra cada petición como señal y vigila el tiempo entre "quiero una persona" y que una persona responda de verdad. Como señala ese mismo comentarista, si el 40 % de los chats terminan en una petición de persona, el problema no es el bot; es el contenido o la fricción del producto que hay detrás. La guía de transferir a una persona muestra el lado de Zendesk, y escalado de chatbots cubre los patrones generales.
Error 4: alimentarla con una base de conocimiento desordenada o desactualizada
Un agente de IA solo está tan al día como la última vez que alguien arregló el centro de ayuda. El bot de los modelos de coche del principio era un problema de base de conocimiento: una frase demasiado general escrita para marketing, leída literalmente por una máquina.
Los sospechosos habituales son artículos duplicados que se contradicen, políticas que cambiaron en Slack pero no en el centro de ayuda y artículos escritos para agentes ("revisa el panel de administración") que se citan a los clientes. La propia guía de puesta en marcha de Gorgias dice que AI Agent necesita al menos una fuente de conocimiento antes de poder activarlo y sugiere empezar con guías escritas si partes de cero, lo que indica cuánto pesa el contenido.
Los tickets pasados ayudan mucho aquí, porque muestran cómo responde de verdad tu equipo, no cómo dice el centro de ayuda que debería hacerlo. Cuando eesel se conecta a un helpdesk, lee los tickets históricos junto con los artículos; en Original Bootcamp, una empresa alemana de fitness al aire libre en Freshdesk, eesel responde a partir de unas 1.700 páginas web y 1.100 tickets y artículos de Freshdesk.
La solución: antes del lanzamiento, haz una auditoría de la base de conocimiento breve sobre tus 20 temas de ticket principales, elimina o fusiona duplicados y decide quién actualiza las fuentes de la IA cuando cambia una política. La guía de gestión de cambios de políticas cubre esa última parte, y qué datos necesitas cubre las fuentes.
Error 5: una IA que puede hablar pero no puede hacer nada
Muchos tickets de soporte no son preguntas. Son peticiones: cancelar este pedido, cambiar esta dirección, reenviar esta factura. Una IA que solo puede citar el centro de ayuda responderá "así se solicita un reembolso" a alguien que quería el reembolso.
Esta es la laguna que una prueba de reproducción expone más rápido. Aquí hay una ejecución de eesel Simulation sobre 20 tickets de Zendesk resueltos: 17 de 20 igualaron la calidad de respuesta del equipo, y el hallazgo principal no tenía nada que ver con la redacción.
"La verdadera laguna no son las palabras, son las acciones." Cerca de la mitad de los tickets coincidentes aún necesitaban a una persona para emitir un reembolso, restablecer un inicio de sesión o corregir una dirección de correo. Es algo útil de aprender en la semana uno, no en el mes tres.
El error opuesto es igual de real: darle a la IA acceso de escritura a dinero y cuentas antes de confiar en ella. Un fundador de SaaS en solitario en Reddit dejó que un agente respondiera automáticamente tickets de soporte, vio salir dos reembolsos el primer día que nunca aprobó, retiró el permiso esa misma noche y llegó a una regla simple: "If money moves, a human clicks the button" (r/SaaS). Gorgias también advierte en su documentación de conversaciones de prueba que cuando AI Agent usa una acción en una prueba, puede afectar a datos reales de clientes y pedidos, así que apunta las pruebas a un perfil de cliente ficticio.
Original Bootcamp muestra el camino intermedio. Todo lo que toque una reserva, un pago o la cuenta del socio va hoy a una persona, porque eesel aún no puede ver ese sistema, y el filtro se abrirá una vez que se conecte la nueva API de la empresa.
La solución: enumera las cinco peticiones más comunes de tu cola y decide cuáles puede leer la IA, cuáles puede cambiar y cuáles van siempre a una persona. Empieza con consultas de solo lectura. Los artículos sobre acciones de Gorgias AI Agent e integración de API de agentes de IA cubren cómo se conectan las acciones.
Error 6: probar con preguntas inventadas en lugar de tus tickets reales
La mayoría de los equipos prueban un agente de IA escribiendo diez preguntas cuya respuesta ya conocen. La IA aprueba, porque son las preguntas para las que se escribió el centro de ayuda. Los clientes reales escriben "hi my thing broke again??" con una captura y sin número de pedido.
Los proveedores ofrecen herramientas de prueba útiles, y cada una prueba algo distinto:
| Herramienta | Contra qué prueba | Conviene saber |
|---|---|---|
| Zendesk simulador de conversaciones | Conversaciones de varios turnos generadas a partir de perfiles de cliente y escenarios que escribes tú, o que la IA escribe a partir de tu prompt | Programa de acceso anticipado, solo agentes de IA de mensajería, diseñado para datos ficticios |
| Gorgias Playground | Cualquier mensaje que escribas, como cliente nuevo, cliente existente o ticket existente | Gratis, no toca los informes; la opción "ticket existente" vuelve a ejecutar una conversación real después de cambiar ajustes |
| eesel Simulation | Un lote de tus tickets pasados reales o de casos de prueba generados | Puntúa cada respuesta frente a lo que envió tu equipo y sugiere cambios en las instrucciones |
La opción "ticket existente" de Gorgias es buena y se usa poco. La diferencia con una reproducción completa es la cobertura: un escenario que escribes prueba lo que ya esperabas, mientras que un lote de los tickets del mes pasado prueba lo que los clientes enviaron de verdad. Vale la pena ejecutar ambos. Solo uno te habla de la pregunta que a nadie se le ocurrió escribir.
Un buen resultado de reproducción también te muestra qué traspasar, no solo qué hizo bien la IA. En la ejecución de arriba, los dos tickets que necesitaban a una persona (una importación de 200 estudiantes con los niveles de curso equivocados y una solicitud de piloto de un colegio) se escalaron correctamente. Eso es un aprobado.
La solución: reproduce al menos unas semanas de tickets resueltos, divide la puntuación por tema y arregla el tema más débil antes del lanzamiento. Las pruebas adversariales cubren los casos límite hostiles, y los equipos en Freshdesk también pueden usar una configuración de sandbox para los cambios de configuración.
Error 7: un traspaso que obliga al cliente a empezar de nuevo
Un traspaso que solo dice "el cliente quiere una persona" apenas es un traspaso. El cliente lo explica todo otra vez, el agente vuelve a comprobar lo que la IA ya comprobó y toda la conversación dura más que si la IA nunca hubiera estado.
La guía de escalado de Zendesk recomienda que la IA recoja información como número de pedido, nombre o correo, añada etiquetas, actualice campos e identifique agentes adecuados antes de escalar. Esa es la lista correcta.
"If someone explicitly asks for a human, blocking the transfer usually hurts more than it helps. The real challenge isn't deflection, it's routing with context so the human doesn't start from zero."
La configuración de Swiftreg lo hace con notas internas. Cuando una parte de un ticket pertenece al personal, eesel responde el resto y deja una nota interna sobre la parte de la que se encarga una persona. En un mes envió 1.494 respuestas públicas y dejó 1.055 notas internas en unos 2.100 tickets de Zendesk. Original Bootcamp añade una regla que me gusta: si un mensaje menciona una lesión o una enfermedad, va a una persona aunque la pregunta sobre la reserva se hubiera podido responder.
La solución: escribe una plantilla de traspaso con cuatro campos (quién, qué pidió, qué comprobó la IA, qué debe hacer una persona) y pruébala con tu lote de reproducción. La guía de traspaso de agentes de IA tiene ejemplos de redacción, y los ejemplos de diseño conversacional muestran flujos completos.
Error 8: activar la autonomía total el primer día
La mayor objeción que oigo en las llamadas de venta no es el precio. Es el control. Los responsables de soporte suelen haberse quemado ya una vez, y quieren que la IA solo coja los tickets que pueda manejar. Un responsable de CX de una marca de suplementos DTC en Gorgias, con unos 7.000 tickets al mes, lo dijo así:
"The AI will never be able to answer 100% of the questions, but if it tries and just answers 'sorry I don't know this,' I cannot go and check all my 7,000 tickets to see if the AI actually made a good answer, then the point is a little bit gone. I need an AI who is only handling the tickets that it's confident to handle and all the other ones, leave them alone."
Responsable de CX de una marca de suplementos DTC en Gorgias + Shopify, llamada de venta de eesel
Ese es el argumento a favor de un despliegue por fases. Primero el modo borrador, donde la IA escribe y una persona envía; luego respuestas automáticas en un tema acotado; después el siguiente.
smava es el ejemplo más claro que puedo señalar. Usa eesel en Zendesk desde diciembre de 2024, en dos marcas y unos 27.000 tickets al mes. Entre el 8 de agosto y el 8 de septiembre de 2026, el agente de borradores, cuyo resultado espera la aprobación de una persona, se ejecutó en unos 12.200 tickets. Los agentes de respuesta que preparan respuestas listas para el cliente solo cogen los tickets en los que el cliente no tiene asesor asignado, unos 1.100. La regla de qué tickets califican es un único campo, así que ampliarla es editar un texto, no un proyecto.
La propia lista de verificación de puesta en marcha de Gorgias apunta en la misma dirección a menor escala: en la primera semana, revisa al menos 10 tickets que AI Agent haya gestionado y da feedback sobre los que fallaron.
La solución: ejecuta borradores durante dos semanas y sigue con qué frecuencia los agentes envían un borrador sin editarlo. Activa las respuestas automáticas solo para el tema con la tasa más alta de borradores sin editar. Copiloto de IA para el servicio al cliente explica el modo borrador, y borradores de respuesta con IA en Freshdesk lo muestra en Freshdesk.
Error 9: tratar el lanzamiento como la meta
Tu política de devoluciones va a cambiar. Saldrá un producto nuevo. Un transportista cambiará su página de seguimiento. Cada una de esas cosas hace que algunas respuestas de la IA sean erróneas de la noche a la mañana, y nadie lo nota hasta que se acumulan los contactos repetidos.
Gorgias describe la mejora de AI Agent como un bucle de entrenar, probar, desplegar y analizar, un tipo de conversación a la vez, con un ejemplo de una habilidad de devoluciones con una tasa de traspaso del 30 % que se convierte en el objetivo del siguiente bucle. Swiftreg va más allá: sus instrucciones de eesel se guardan como versiones numeradas, y la siguiente versión se etiqueta como candidata y se despliega mediante el procedimiento propio de Swiftreg en lugar de editarse en vivo.
La privacidad también pertenece a este trabajo continuo, no solo a la revisión de seguridad antes de firmar. Zendesk señala que su simulador de conversaciones está diseñado para datos ficticios y pide evitar nombres y correos reales en los perfiles de prueba. Tus propias comprobaciones deberían preguntar qué puede leer la IA, qué escribe de vuelta en los tickets y quién puede ver los registros. El artículo sobre privacidad de datos del agente de IA de Zendesk cubre los detalles de Zendesk.
La solución: pon una revisión mensual en el calendario. Vuelve a ejecutar la prueba de reproducción con los tickets del mes pasado, lee cada ticket que volvió por el mismo problema y actualiza la base de conocimiento antes de tocar las instrucciones de la IA. Análisis de errores en soporte al cliente ofrece un método para clasificar lo que salió mal.
¿Está tu agente de IA listo para lanzarse?
Marca las puertas a las que puedas responder sí con honestidad. Cada una que quede abierta muestra la corrección que debes hacer antes del lanzamiento.
Qué medir en los primeros 30 días
Una vez que la IA esté en marcha, estos son los números que pondría en una sola página. Ninguno es la deflexión por sí sola.
| Métrica | Qué detecta | Cómo leerla |
|---|---|---|
| Resolución respaldada por un resultado | Rendiciones silenciosas contadas como victorias | Reembolso emitido, pedido cambiado o cliente que lo confirmó |
| Contacto repetido sobre el mismo problema (7 y 30 días) | Respuestas erróneas o parciales | Si sube en un tema, hay un artículo obsoleto o una acción que falta |
| Tasa de traspaso por tema | Temas para los que la IA no está lista | Alta en un tema es lo siguiente que arreglar, no un fracaso |
| Tiempo desde la petición de persona hasta la respuesta de una persona | Una salida escondida o con poco personal | Los malos números aquí cuestan más confianza que cualquier respuesta del bot |
| Tasa de borradores sin editar | Si un tema está listo para respuestas automáticas | Promociona los temas con tasa alta, deja el resto en borradores |
| CSAT en conversaciones solo con IA frente a conversaciones con personas | Diferencias de tono y calidad | Compara los dos, no el promedio combinado |
Un comentarista en r/CustomerSuccess nombró la métrica que yo añadiría a todo panel de lanzamiento:
"The metric I'd watch is request-for-human to human-response time. If that number is bad, or people keep reopening on another channel after the bot, you're not deflecting demand, you're just hiding queue pain."
También ayuda saber por qué factura tu proveedor, porque la unidad de facturación es lo primero que mirará tu equipo de finanzas:
| Proveedor | Unidad de facturación de la IA | Precio publicado |
|---|---|---|
| Zendesk | Automated resolution (solo el nivel verificado, desde el 18 de mayo de 2026) | $1.50 comprometido, $2.00 de pago por uso, según los precios de Zendesk |
| Gorgias | Automated interaction, cuando AI Agent resuelve sin traspaso | $0.85 a $1.00 según el plan, según los precios de Gorgias |
| Freshdesk | Sesión de Freddy AI Agent (una sesión de correo es una ventana de 72 horas) | Las primeras 500 sesiones incluidas una vez, luego $49 por 100, según los precios de Freshdesk |
| eesel | Crédito: un ticket o un chat, sin importar cuántas respuestas o consultas | Desde $299/mes por 500 créditos, según los precios de eesel |
La guía de métricas de servicio al cliente con IA define cada métrica con más detalle, CSAT con IA cubre el lado de las encuestas y coste por resolución repasa el dinero.
Un plan de despliegue de 30 días
Este es el orden que seguiría en una cola típica de correo y chat. Conectar el helpdesk lleva minutos; la mayor parte del mes se va en ganarse la confianza tema por tema.
- Días 1 a 5: conectar y limpiar. Conecta el helpdesk y las fuentes de conocimiento, audita tus 20 temas principales y escribe la regla alternativa, la lista de lo que nunca se promete y la plantilla de traspaso.
- Días 6 a 8: reproducir. Ejecuta la IA contra unas semanas de tickets resueltos. Arregla el tema más débil y vuelve a reproducir.
- Días 9 a 22: borradores. La IA redacta borradores en cada ticket elegible, los agentes aprueban, editan o rechazan. Sigue la tasa de borradores sin editar por tema y qué cambian los agentes.
- Días 23 a 30: un tema en vivo. Activa las respuestas automáticas para el tema con mejor tasa de borradores sin editar. Mantén visible la opción de persona y vigila a diario los contactos repetidos.
- Del día 30 en adelante: el bucle. Añade un tema a la vez, vuelve a ejecutar la reproducción cada mes y devuelve cualquier tema a borradores cuando cambie una política.
La guía de automatizar el soporte con IA profundiza en cada paso, y si aún estás eligiendo herramienta, elegir un agente de IA y criterios de compra de un helpdesk con IA cubren el lado de la compra.
Despliega eesel sin los errores
eesel es un compañero de helpdesk con IA que se une a la cola que ya gestionas en Zendesk, Freshdesk o Gorgias, y su despliegue está construido en torno al orden anterior. Antes de enviar nada, la habilidad Simulation reproduce tus tickets pasados y puntúa cada respuesta frente a lo que tu equipo envió de verdad. Luego redacta borradores, tus agentes aprueban y las respuestas automáticas se activan solo para los temas que se lo han ganado, bajo reglas que escribes en lenguaje sencillo.
Así gestiona smava unos 27.000 tickets de Zendesk al mes con personas aprobando la mayoría de los borradores, y así responde Swiftreg pedidos de matrículas solo a partir de consultas en vivo. Tienes 100 créditos gratis para conectar tu helpdesk y ver borradores reales sobre tus propios tickets antes de pagar nada. Prueba eesel y ejecuta tu primera reproducción esta semana.