Observabilidad de agentes de IA de soporte: ve lo que tu agente hizo en realidad

Kira
Escrito por

Kira

Katelin Teen
Revisado por

Katelin Teen

Última edición 17 de noviembre de 2026

Verificado por expertos
Ilustración a mano de una responsable de soporte con una lupa sobre un rastro de huellas de puntos que va desde una tarjeta de ticket, pasa junto a dos robots ayudantes de IA y llega a un compañero humano
TL;DR

La observabilidad de un agente de IA de soporte significa que puedes abrir cualquier conversación y ver qué leyó el agente, qué herramientas llamó y qué devolvieron, qué hizo y por qué cerró o derivó. Esa traza importa más que la tasa de resolución, porque la mayoría de los proveedores cuenta "resuelto" como que nadie intervino durante 72 horas. Si construiste el agente tú mismo, herramientas de trazabilidad como LangSmith o Langfuse te dan la traza. Si compraste uno dentro de tu helpdesk, los propios registros del proveedor deciden qué puedes ver, así que compruébalos antes de firmar. eesel muestra las fuentes, acciones y razonamiento en cada ejecución, y reproduce los tickets pasados antes de salir en vivo. Con el CLI de eesel, un agente de codificación puede enviarle preguntas de prueba y leer su actividad desde la terminal.

¿Qué significa la observabilidad para un agente de IA de soporte?

Yo construyo funciones para los agentes de IA de eesel, así que paso la mayor parte de mi semana leyendo qué hizo un agente en un ticket y averiguando por qué. La mayor lección de ese trabajo es simple: la respuesta del agente es el registro menos fiable de lo que pasó. Una respuesta puede decir "he procesado tu reembolso" cuando la llamada de reembolso falló. Puede citar una política que el agente nunca encontró en realidad. La única forma de saberlo es mirar los pasos que hay debajo.

Eso es lo que significa observabilidad aquí. No un panel con un porcentaje de resolución, sino un registro por conversación que puedes abrir y leer como un recibo. Los desarrolladores lo llaman traza. Para un agente de soporte, una traza útil responde seis preguntas:

Parte de la trazaLa pregunta que respondeQué falla sin ella
El mensaje del cliente¿Qué se pidió en realidad?Juzgas la respuesta contra la pregunta equivocada
Fuentes buscadas y usadas¿En qué artículo, macro o ticket pasado se apoyó?Una respuesta equivocada parece un problema del modelo cuando es un problema de contenido
Llamadas a herramientas y APIs, con resultados¿Funcionó la consulta del pedido o la llamada de reembolso?La respuesta afirma un éxito que el sistema nunca confirmó
Acciones realizadas¿Qué cambió: etiquetas, estado, un reembolso, una respuesta?Los efectos secundarios ocurren sin registro de quién los causó
Razonamiento¿Por qué eligió ese camino?No puedes distinguir una mala regla de una mala suposición
Derivación o cierre¿Por qué se detuvo, y fue lo correcto?Las derivaciones tardías y los cierres silenciosos quedan invisibles

La fila de llamadas a herramientas es la que defendería con más fuerza. El peor fallo que he visto en los datos de producción de eesel no es una respuesta equivocada. Es un agente describiendo trabajo que nunca hizo, narrando búsquedas que nunca ejecutó. Un desarrollador en Hacker News resumió bien la regla general después de que un agente de codificación borrara una base de datos de producción:

Hacker News

"you can't trust anything it says, including its apologies, excuses, and explanations of past failure."

Los agentes de soporte tienen la misma debilidad, por lo que la traza tiene que registrar lo que los sistemas devolvieron, no lo que el agente dice que devolvieron.

Línea de tiempo dibujada a mano de una conversación de soporte con IA: el cliente pregunta dónde está su reembolso, las fuentes muestran el artículo de política de reembolsos, la llamada a la API de reembolso falló marcada con un círculo en "fallida", respuesta enviada "tu reembolso está hecho", sin derivación, con una flecha curva que señala que la respuesta contradice el registro
Línea de tiempo dibujada a mano de una conversación de soporte con IA: el cliente pregunta dónde está su reembolso, las fuentes muestran el artículo de política de reembolsos, la llamada a la API de reembolso falló marcada con un círculo en "fallida", respuesta enviada "tu reembolso está hecho", sin derivación, con una flecha curva que señala que la respuesta contradice el registro

El mismo registro atrapa también los fallos más discretos. A principios de este año, en una llamada de demo, un equipo B2B de telemática de vehículos en Zendesk le contó al equipo de eesel que su bot había estado confirmando soporte para modelos de coche que no estaban en su base de datos. La base de conocimiento decía "damos soporte a todos los modelos", así que el bot hizo exactamente lo que su fuente le decía. Sin la fuente en la traza, eso parece que la IA se está inventando cosas. Con ella, el arreglo es una frase en un artículo. Ese patrón tiene nombre, alucinación de IA, y su cura habitual es mejor fundamentación de IA en fuentes que controlas.

¿Por qué la tasa de resolución no es lo mismo que la precisión?

Porque cada proveedor define "resuelto" como algo que se puede medir automáticamente, y la precisión no se puede. Una resolución suele significar que nadie pidió un humano dentro de una ventana de tiempo. Un cliente que recibió una respuesta equivocada y se rindió pasa esa prueba igual de bien que uno que recibió la respuesta correcta.

Un hilo de Reddit sobre cómo medir el soporte con IA planteó el problema mejor que cualquier página de proveedor que haya leído:

Reddit

"Like if a ticket is "deflected", it could mean: customer got the right answer, customer just gave up, customer came back later through another channel, bot gave a wrong answer confidently, bot should have escalated but didn't."

Así es como lo cuentan los cuatro grandes agentes de IA de helpdesk, directamente de su propia documentación. Esto importa doblemente, porque en tres de ellos la definición es también lo que pagas.

ProveedorQué cuenta como éxitoUnidad de facturaciónLa trampa que hay que conocer
Zendesk AI agentsUna resolución verificada: tras terminar la conversación, un LLM la lee y confirma que la solicitud se resolvió1,50 $ comprometido, 2,00 $ bajo demanda por resoluciónLa comprobación es en sí misma el juicio de una IA sobre la transcripción
HubSpot Customer AgentCompartió una fuente o ejecutó una acción, y no hubo derivación iniciada por el visitante en 72 horas0,50 $ por conversación resuelta, 50 HubSpot CreditsUna asignación manual o de flujo de trabajo no bloquea una resolución, así que una conversación puede aparecer en Human handoffs y seguir contando como resuelta
Gorgias AI AgentUna interacción automatizada: sin intervención humana en 72 horasTarifa de ticket más una tarifa de automatización cuando el agente resuelve sin traspasoUn cliente que deja de responder cuenta igual que uno satisfecho
Freshdesk Freddy AI AgentTasa de desvío: "resuelto por la IA sin intervención humana"49 $ por 100 sesiones, sea cual sea el resultadoLas pestañas Performance e Improve cubren solo los agentes de chat; los de correo tienen Ticket logs

Ninguna de estas definiciones es incorrecta. Solo responden "¿tuvo que intervenir un humano?", no "¿fue correcta la respuesta?". Freshworks mismo es franco sobre los umbrales: su documentación dice que una tasa de desvío por debajo del 60% en un tema de alto volumen es una señal de alarma. Para más sobre la diferencia, mi artículo sobre desvío frente a tasa de resolución profundiza más, y la entrada sobre la tasa de contención define al tercer primo.

El movimiento práctico es hacer visible tu propia definición en tu propio helpdesk. SE Ranking hizo exactamente eso. Cuando puso a eesel en el chat en vivo de Zendesk para tres productos, su equipo pidió una etiqueta ai_handled en cada ticket que eesel toca, más etiquetas de útil y no útil a partir de una pregunta "¿Fue útil esta respuesta?", para que la contención se cuente en Zendesk y no se estime. En un mes eso cubrió unas 4.650 conversaciones. Es un número que pueden auditar, porque cada ticket etiquetado está a un clic de distancia.

¿Construiste tu agente de IA de soporte o lo compraste?

Esta es la pregunta que decide qué herramientas aplican siquiera, y es la que se saltan la mayoría de los consejos de observabilidad. Pregúntale a ChatGPT cómo monitorizar un agente de IA de soporte y obtendrás una lista de plataformas de trazabilidad para desarrolladores. Son excelentes, y son mayormente irrelevantes si tu agente vive dentro de Zendesk.

Bifurcación de decisión dibujada a mano: ¿quién construyó el agente? "Lo construiste tú" lleva a "añade un SDK de trazabilidad" con LangSmith, Langfuse, Braintrust y Phoenix en la lista; "lo compraste" lleva a "los registros del proveedor decidieron qué ves", con registro de conversación, informes y herramientas de prueba
Bifurcación de decisión dibujada a mano: ¿quién construyó el agente? "Lo construiste tú" lleva a "añade un SDK de trazabilidad" con LangSmith, Langfuse, Braintrust y Phoenix en la lista; "lo compraste" lleva a "los registros del proveedor decidieron qué ves", con registro de conversación, informes y herramientas de prueba

Si lo construiste, una plataforma de trazabilidad es la decisión correcta. Todas funcionan igual por debajo: añades su SDK o un exportador de OpenTelemetry al código de tu agente, y cada llamada al modelo, cada recuperación y cada llamada a herramienta se convierte en un span con entradas, salidas, latencia y coste. Esto es lo que ofrece cada una, según sus propias páginas:

HerramientaCómo recoge trazasCalificación de IA del tráfico en vivoAutoalojamientoNivel gratuitoPrimer plan de pago
LangSmithSDKs, @traceable, OpenTelemetrySí, filtrada y muestreada, puede calificar hilos completosComplemento Enterprise1 puesto, 5.000 trazas/mesPlus, 39 $ por puesto/mes
LangfuseSDKs, wrapper de OpenAI, OpenTelemetrySí, por paso, filtrada y muestreadaSí, código abierto50.000 unidades/mesCore, 29 $/mes
BraintrustSDKs, API, OpenTelemetrySí, "puntuación en línea"Plano de datos en Enterprise1 GB, 10.000 puntuacionesPro, 249 $/mes
Arize PhoenixOpenTelemetry, auto-instrumentaciónLa documentación apunta al Arize AX de pagoSí, Elastic License 2.0Gratis para autoalojarArize AX Pro, 50 $/mes

Si lo compraste, ninguna de ellas puede ver dentro. Un agente de helpdesk alojado no te entrega su código ni un flujo de OpenTelemetry, así que lo que puedes observar es lo que el proveedor decidió poner en su registro de conversaciones, sus informes y sus herramientas de prueba. Eso convierte el registro en un criterio de compra, no en algo secundario. Yo metería "muéstrame la traza de una conversación donde el agente llamó a una API" en cada demo. Si estás en pleno proceso de evaluación, mi checklist de evaluación de proveedores cubre el resto.

¿Qué puedes ver dentro del agente de IA de tu helpdesk?

Más de lo que esperarías de algunos, menos de lo que querrías de otros, y las lagunas casi nunca están en el marketing. Esto es lo que dice hoy la documentación propia de cada proveedor que puedes abrir.

Zendesk tiene el registro más detallado de los cuatro. En los registros de conversación, una respuesta generativa muestra el Plan del agente (su razonamiento), el paso del procedimiento y las instrucciones activas. Las llamadas a la API abren un panel de detalles de integración con las entradas, salidas y cualquier error de API, con los valores faltantes resaltados en rojo, aunque las integraciones de API antiguas no aparecen. La trampa son las fuentes: el registro nombra el tipo de recurso ("Knowledge replies"), mientras que el artículo concreto aparece en el informe Knowledge sources y la Data Export API. Las pruebas son una conversación a la vez en un widget de prueba, que no puede ejecutar acciones de CRM ni contenido restringido del centro de ayuda. La calificación automatizada de cada conversación necesita el complemento de QA aparte, que he tratado en Zendesk QA para agentes de IA.

Panel de resumen de mensajes del AI Agent de Zendesk mostrando el caso de uso, el Plan del agente, la respuesta antes de personalizarla, las instrucciones activas que siguió y sus ajustes de personalización, tomado del centro de ayuda de Zendesk
Panel de resumen de mensajes del AI Agent de Zendesk mostrando el caso de uso, el Plan del agente, la respuesta antes de personalizarla, las instrucciones activas que siguió y sus ajustes de personalización, tomado del centro de ayuda de Zendesk

Gorgias tiene el mejor registro de acciones. Cada mensaje del AI Agent tiene un enlace Show reasoning que lista las habilidades, el conocimiento y las acciones que usó, y cada Action mantiene un registro de eventos con la petición HTTP completa, la respuesta y el error, incluyendo qué paso de una Action de varios pasos funcionó o falló. Las acciones fallidas también etiquetan el ticket con ai_failed_action, así que puedes enrutarlas con una regla. El Playground puede volver a ejecutar un ticket existente después de que cambies algo. Un límite honesto en las propias palabras de Gorgias: tu calificación de la conversación se envía a Gorgias y no cambia de inmediato cómo se comporta el AI Agent. Solo las calificaciones de fuentes cambian las respuestas futuras. Mi guía sobre acciones del AI Agent de Gorgias tiene más sobre el lado de las acciones.

Ticket de Gorgias respondido por Gorgias AI con las etiquetas ai_answered y ai_close, un panel Show reasoning y la pestaña AI Feedback para calificar la conversación y cada fuente usada, tomado de la documentación de Gorgias
Ticket de Gorgias respondido por Gorgias AI con las etiquetas ai_answered y ai_close, un panel Show reasoning y la pestaña AI Feedback para calificar la conversación y cada fuente usada, tomado de la documentación de Gorgias

HubSpot lo pone en Help Desk. Haz clic en el icono de IA de un mensaje del Customer Agent y los agent insights muestran las fuentes citadas, las acciones disparadas y cualquier laguna de conocimiento, con una calificación de pulgares y un botón Coach agent. Las Coaching opportunities marcan lagunas de conocimiento, conflictos, lagunas de acción y, en beta, conversaciones con una puntuación CX de 45 o menos. El batch testing permite hasta 8 conjuntos de prueba, generados a partir de conversaciones reales si quieres, lo que repaso en batch testing de HubSpot. No pude encontrar un registro de ejecución por llamada como el de Gorgias.

Freshdesk se divide por canal. Los agentes de chat tienen las pestañas Performance e Improve, con conteos de citas por fuente que enlazan a cada conversación donde se citó una fuente. Los agentes de correo tienen Ticket logs con borradores y resultados, además de un modo sombra útil que escribe borradores como notas internas en tickets reales sin enviarlos. El bulk testing ejecuta un lote de consultas y muestra la fuente de la respuesta para cada una. Dos cosas que conviene saber: las vistas previas consumen sesiones de pago incluso en un agente sin publicar, y la documentación de flujos de trabajo dice que las acciones que dependen de un ticket pueden aparecer como completadas en el registro mientras siguen en cola.

Pestaña Test del Freddy AI Agent Studio de Freshdesk con tres consultas, su estado Respondida o Sin responder, las respuestas del agente de IA, la fuente de la respuesta para cada una y pulgares para calificarlas, tomado del portal de soporte de Freshdesk
Pestaña Test del Freddy AI Agent Studio de Freshdesk con tres consultas, su estado Respondida o Sin responder, las respuestas del agente de IA, la fuente de la respuesta para cada una y pulgares para calificarlas, tomado del portal de soporte de Freshdesk

Si prefieres comprobar tu propia configuración en vez de leer cuatro párrafos, elígela abajo.

¿Qué puedes ver en tu configuración?

Elige dónde corre tu agente de IA. Cada respuesta viene de la documentación propia de ese proveedor, comprobada en noviembre de 2026.

Fuentes por respuestaTipo de recurso en el registro. El artículo exacto está en el informe Knowledge sources y la Data Export API.
Llamadas a herramientas y resultadosSí. Integration details muestra entradas, salidas y errores de API. Las integraciones de API antiguas no se muestran.
RazonamientoSí, el Plan en cada respuesta generativa.
PruebasWidget de prueba, una conversación a la vez. Sin acciones de CRM.
Calificación automáticaCon el complemento de QA de pago.

Vigila: la resolución verificada que pagas es el juicio de un LLM sobre la transcripción.

Fuentes por respuestaConteos de citas por fuente, enlazados a cada conversación que la citó.
Llamadas a herramientas y resultadosTasas de finalización de flujo de trabajo y derivación. No hay registro de petición y respuesta por llamada documentado.
RazonamientoNo documentado en registros en vivo.
PruebasEjecuciones de evaluación en lote con una fuente de respuesta por consulta. Las vistas previas usan sesiones de pago.
Calificación automáticaSolo pulgares de clientes. No hay puntuación de calidad automática documentada.

Vigila: las acciones en cola pueden aparecer como completadas en el registro.

Fuentes por respuestaNo documentado para correo.
Llamadas a herramientas y resultadosNo documentado.
RazonamientoNo documentado.
PruebasModo sombra: los borradores aterrizan como notas internas en tickets reales y nunca se envían.
Calificación automáticaNo documentado.

Vigila: las pestañas Performance e Improve cubren solo agentes de chat. Correo recibe Ticket logs.

Fuentes por respuestaSí, en Show reasoning, con un pulgar por fuente.
Llamadas a herramientas y resultadosSí. El registro de eventos de cada Action tiene la petición HTTP, la respuesta y el error.
RazonamientoSí, bajo cada mensaje del AI Agent.
PruebasPlayground, incluyendo volver a ejecutar un ticket existente. Acciones desactivadas por defecto.
Calificación automáticaLas calificaciones de conversación van a Gorgias y no cambian el comportamiento al instante.

Vigila: sin un humano en 72 horas cuenta como automatizado.

Fuentes por respuestaSí, en los agent insights dentro de Help Desk.
Llamadas a herramientas y resultadosSe muestran las acciones disparadas. No se encontró un registro de ejecución con petición y respuesta.
RazonamientoEn Testing Insights durante la vista previa.
PruebasBatch testing, hasta 8 conjuntos de prueba. No consume créditos.
Calificación automáticaCoaching opportunities, incluyendo una marca beta de CX score bajo.

Vigila: la asignación manual o de flujo de trabajo no bloquea una resolución facturada.

Fuentes por respuestaLo que registres como span de recuperación.
Llamadas a herramientas y resultadosSí, como spans de herramienta con entradas y salidas.
RazonamientoSi lo registras.
PruebasDatasets y experimentos en tu herramienta de trazabilidad.
Calificación automáticaLLM como juez en línea en LangSmith, Langfuse o Braintrust.

Vigila: tú eres dueño de la instrumentación, así que un paso que nunca registraste es un paso que no puedes ver.

¿Cómo marcas automáticamente conversaciones sospechosas?

No puedes leerlo todo, así que el trabajo de la automatización es decidir qué lee una persona. Yo dividiría las señales en dos tipos: señales duras que no necesitan juicio, y señales suaves de un evaluador de IA.

Las señales duras son baratas y casi nunca se equivocan sobre si algo merece una mirada:

  • Una llamada a herramienta o API falló, pero la respuesta se envió igualmente
  • La respuesta salió sin ninguna fuente detrás, o el agente registró una laguna de conocimiento
  • El cliente volvió en pocos días por el mismo tema, la versión de soporte de la tasa de reapertura
  • Un pulgar abajo, una puntuación baja de CSAT, o una petición de hablar con un humano
  • El tema está en tu lista de alto riesgo (reembolsos, cancelaciones, legal, salud)

Un comentarista de Reddit describió lo que pasa cuando solo miras el número de cabecera:

Reddit

"the bot looks great on the dashboard while actually making angry customers angrier before a human ever sees them."

Las señales suaves vienen de un evaluador de IA, a menudo llamado LLM como juez: un segundo modelo lee la conversación contra una rúbrica y la puntúa. Es útil, y los proveedores que lo venden son los primeros en advertirte sobre ello. La documentación de Langfuse dice "un juez es un prompt que escribiste", y recomienda comprobarlo contra etiquetas humanas antes de confiar en él. LangSmith dice que las puntuaciones del juez necesitan una revisión cuidadosa y ajuste de prompts. Braintrust dice que hay que comparar jueces candidatos contra puntuaciones asignadas por humanos, incluyendo casos ambiguos y fallidos.

El motivo es pura aritmética, que un comentarista de Hacker News describió a partir de su propio trabajo de evaluación:

Hacker News

"The agent was about 80% correct, and the LLM judge about 80% accurate in assessing the agent."

Así que trato a un juez como una herramienta de clasificación, no como un veredicto. Decide qué conversaciones lee primero una persona, y yo registro con qué frecuencia esa persona está de acuerdo con él. Lo mismo aplica al propio AI CSAT de eesel: la documentación de Reports dice claramente que no es feedback de clientes, es la calificación de una IA sobre las respuestas de tu agente, útil como señal interna. Para elegir herramientas, mi repaso de herramientas de IA para QA de soporte compara las opciones.

¿Cómo debería el riesgo decidir qué revisas?

No todas las conversaciones merecen la misma atención, e intentar revisarlas todas por igual es la razón por la que las rutinas de revisión mueren en la tercera semana. Clasifícalas por lo que está en juego si el agente se equivoca.

Pila de tres pasos dibujada a mano: riesgo bajo, la IA responde sola para horarios y preguntas de cómo hacer algo, muestreo semanal; riesgo medio, la IA actúa y tú revisas para estado de pedidos y cambios de dirección, revisión de cada marca; riesgo alto, un humano aprueba primero para reembolsos, cancelaciones y legal, preguntar primero; una flecha etiquetada "más en juego" señala hacia arriba
Pila de tres pasos dibujada a mano: riesgo bajo, la IA responde sola para horarios y preguntas de cómo hacer algo, muestreo semanal; riesgo medio, la IA actúa y tú revisas para estado de pedidos y cambios de dirección, revisión de cada marca; riesgo alto, un humano aprueba primero para reembolsos, cancelaciones y legal, preguntar primero; una flecha etiquetada "más en juego" señala hacia arriba
Nivel de riesgoEjemplosQué puede hacer el agenteCómo lo vigilas
BajoHorarios, pasos de cómo hacer algo, funciones del planResponder soloUna muestra semanal al azar
MedioEstado de pedidos, cambios de dirección, preguntas de cuentaActuar, con cada acción registradaLeer cada conversación marcada
AltoReembolsos, cancelaciones, legal, salud, borrado de datosPreparar la acción, una persona apruebaNada se ejecuta sin una decisión

El nivel alto no es realmente un problema de observabilidad. Es un problema de permisos, y la versión más limpia es que el agente simplemente no pueda hacerlo solo. En eesel, cada acción se configura como Activada, Preguntar primero o Desactivada por agente, y la documentación de acciones recomienda mantener los reembolsos, cancelaciones y cualquier cosa que cueste dinero detrás de una aprobación. Mi guía sobre permisos de agentes de IA profundiza más, y la de guardarraíles de reembolsos cubre específicamente el dinero.

Original Bootcamp, una empresa de fitness al aire libre en Alemania, muestra los niveles funcionando en Freshdesk. Un filtro deja que eesel responda solo los tickets que puede resolver por completo desde la web y los tickets pasados. Cualquier cosa sobre una reserva, un pago o la cuenta de un socio va al equipo, y cualquier cosa que mencione una lesión o enfermedad va a una persona aunque la pregunta de la reserva se pudiera haber respondido. eesel nunca afirma haber cambiado una reserva. Cada día laboral a las 9 de la mañana, hora de Berlín, revisa el workspace y envía una nota breve al propietario.

¿Cómo es un bucle semanal de revisión y regresión?

La observabilidad solo da resultado si alguien actúa sobre lo que muestra. El bucle que yo seguiría es corto: saca las conversaciones marcadas y una muestra al azar, encuentra la causa raíz en cada traza, arréglala en la fuente, y vuelve a reproducir los mismos tickets para demostrar el arreglo. Mi rutina completa, incluyendo qué conversaciones sacar y cómo etiquetar las causas, está en mi guía de revisión de conversaciones de soporte con IA, así que aquí me centro en las dos partes que la gente se salta.

Arregla la fuente, no la respuesta. Si la traza muestra que el agente citó el artículo correcto y el artículo estaba mal, editar la respuesta arregla un ticket. Editar el artículo arregla todos los futuros. Qontro, una empresa de ERP en Nueva Zelanda, hace funcionar eesel en Freshdesk de esta manera. Cada ticket nuevo recibe un borrador de respuesta como nota interna, fundamentado en el centro de ayuda y en unos 9.800 tickets y artículos pasados. El equipo compara cada borrador con la respuesta que una persona realmente envió, y cuando el borrador estaba mal, eso suele señalar un artículo de ayuda que falta o está incompleto, o una regla que hay que ajustar. Alrededor de uno de cada diez borradores sale ahora con poca o ninguna edición, y la proporción sube lentamente.

Mantén un conjunto de regresión. Cada error que arregles debería convertirse en un caso de prueba que vuelves a ejecutar tras el siguiente cambio en instrucciones, conocimiento o modelo. Un conjunto de 50 a 100 tickets reales pasados repartidos entre tus temas principales es suficiente para empezar. Eso es lo que hace la simulación de helpdesk de eesel antes del lanzamiento: según la documentación de skills, redacta una respuesta a tickets que tu equipo resolvió recientemente, pone cada una junto a lo que tu equipo envió, agrupa los resultados por tema y dice qué arreglar, sin enviar nada a los clientes. En la ejecución de ejemplo de la documentación, 17 de 20 respuestas coincidieron con las del equipo. Para el método completo, ve a pruebas de simulación. Mi guía sobre pruebas de agentes de IA de soporte cubre el lado del lanzamiento en vivo.

Dos notas sobre el ritmo. Revisa a diario en la primera semana tras el lanzamiento o tras cualquier cambio grande, luego semanalmente. Y vigila la tendencia, no solo el lote: un número creciente de lagunas de conocimiento en un tema te dice qué artículo escribir a continuación, como explica mi guía de métricas de servicio al cliente con IA.

Ve lo que hizo tu agente de IA con eesel

eesel es una compañera de equipo de helpdesk con IA que se integra en tu cola existente en Zendesk, Freshdesk, Gorgias o HubSpot, y está construida para que nunca tengas que adivinar qué hizo. Su página de Activity lista cada ejecución con dónde ocurrió, qué la disparó, las fuentes que buscó, cada acción y quién la aprobó, su razonamiento paso a paso, y si encontró una laguna de conocimiento. Los tickets omitidos aparecen con el motivo.

Lista de Activity de eesel mostrando cada conversación que gestionó el agente, con filtros para 24 horas, 7 días, 30 días y todo el tiempo, y chips de estado para aprobado, rechazado y pendiente
Lista de Activity de eesel mostrando cada conversación que gestionó el agente, con filtros para 24 horas, 7 días, 30 días y todo el tiempo, y chips de estado para aprobado, rechazado y pendiente

Cuando una respuesta está mal, puedes señalarle al agente esa ejecución en el chat y él repasa su razonamiento, ofrece un arreglo y guarda la regla en sus instrucciones en cuanto estás de acuerdo. La página de Reports hace seguimiento del volumen, el AI CSAT, las lagunas de conocimiento y los patrones de aprobación, y la documentación da una lectura útil: una acción aprobada siempre sin ediciones está lista para funcionar sola, y una que sigue siendo rechazada necesita un arreglo en las instrucciones. Antes de todo eso, ejecuta una simulación sobre tus propios tickets pasados para ver sus errores antes de que lo haga un cliente.

Página de Reports de eesel mostrando el número total de tareas en los últimos 30 días, los eventos disparadores por tipo, y el inicio del gráfico de uso de aprobación y rechazo por herramienta
Página de Reports de eesel mostrando el número total de tareas en los últimos 30 días, los eventos disparadores por tipo, y el inicio del gráfico de uso de aprobación y rechazo por herramienta

Si tu equipo trabaja desde una terminal, eesel activity imprime el mismo historial de ejecuciones y eesel chat envía preguntas de prueba, así que un agente de codificación puede comprobar las respuestas antes de que amplíes lo que gestiona el agente. Conectar el helpdesk sigue necesitando que alguien con acceso de administrador lo apruebe.

Prueba eesel

Preguntas frecuentes

¿Qué es la observabilidad de un agente de IA de soporte?
Es la capacidad de ver, para cualquier conversación concreta, qué leyó el agente de IA de soporte, qué herramientas llamó y qué devolvieron, qué hizo y por qué cerró o derivó. Los paneles te dicen cuántas conversaciones gestionó; la observabilidad te dice si cada una estuvo bien. Va de la mano con la calidad de soporte con IA, que es el hábito de leer realmente esas trazas.
¿Cómo monitorizo lo que hace mi agente de IA de soporte?
Abre el registro por conversación que da tu proveedor, lee cada escalado y cada conversación marcada, y muestrea cada semana las marcadas como resueltas. Comprueba las fuentes y los resultados de las herramientas frente a la respuesta. Mi guía sobre cómo revisar conversaciones de soporte con IA tiene una rutina que puedes copiar, y monitorización y alertas cubre el lado de las alertas.
¿Puedo usar LangSmith o Langfuse para monitorizar un agente de IA de helpdesk?
Solo si construiste el agente tú mismo. LangSmith, Langfuse, Braintrust y Arize Phoenix recogen trazas instrumentando el propio código del agente, así que encajan con un agente propio que operan tus ingenieros. Para un agente que compraste dentro de Zendesk, Freshdesk, Gorgias o HubSpot, los registros e informes del proveedor decidirán qué puedes ver. Compáralos antes de comprar con una checklist de evaluación de proveedores de IA.
¿Por qué la tasa de resolución no es lo mismo que la precisión?
Porque la mayoría de los proveedores cuenta una conversación como resuelta cuando ningún humano intervino en una ventana de tiempo, a menudo 72 horas. Un cliente que recibió una respuesta equivocada y se rindió luce igual que uno que recibió la respuesta correcta. Combina la tasa de resolución con IA con la tasa de reapertura, los contactos repetidos y una comprobación de precisión por muestreo.
¿Cómo detecto que mi agente de IA de soporte da respuestas incorrectas?
Marca conversaciones automáticamente ante señales como un pulgar abajo, un contacto repetido en pocos días, una llamada a una herramienta fallida o una respuesta enviada sin ninguna fuente detrás. Usa un evaluador de IA para ordenar el resto, y luego haz que una persona lea lo que marca. Mis notas sobre alucinaciones de IA en soporte cubren la causa más común: una laguna o una contradicción en la base de conocimiento.
¿Es fiable el LLM como juez para calificar conversaciones de soporte?
Es útil para ordenar, no como veredicto final. Los proveedores que venden evaluadores de IA son los primeros en decirte que los compruebes contra etiquetas humanas antes, porque un juez es solo un prompt que alguien escribió. Úsalo para decidir qué conversaciones lee una persona, y registra con qué frecuencia esa persona está de acuerdo con él. La versión de Zendesk está en Zendesk QA.
¿Cómo debería probar un agente de IA de soporte antes de lanzarlo?
Reproduce un conjunto de tickets reales pasados, de 50 a 100 repartidos entre tus temas principales, y compara cada respuesta con lo que tu equipo realmente envió. Conserva ese conjunto y vuelve a ejecutarlo tras cada cambio en instrucciones o conocimiento para que los errores antiguos sigan arreglados. Mira pruebas de simulación y pruebas de agentes de IA de soporte para el método completo.

Share this article