Observabilidade de agente de IA de suporte: veja o que seu agente realmente fez

Kira
Escrito por

Kira

Katelin Teen
Revisado por

Katelin Teen

Última edição 17 de novembro de 2026

Verificado por especialista
Ilustração desenhada à mão de uma líder de suporte segurando uma lupa sobre um rastro de pegadas pontilhadas que vai de um cartão de ticket, passa por dois robôs ajudantes de IA e chega a um colega de equipe humano
TL;DR

Observabilidade de agente de IA de suporte significa que você pode abrir qualquer conversa e ver o que o agente leu, quais ferramentas chamou e o que elas retornaram, o que ele fez e por que encerrou ou encaminhou. Esse rastro importa mais que a taxa de resolução, porque a maioria dos fornecedores conta "resolvido" como: nenhum humano interveio em 72 horas. Se você construiu o agente, ferramentas de rastreamento como LangSmith ou Langfuse te dão o rastro. Se você comprou um dentro do seu helpdesk, os próprios registros do fornecedor decidem o que você pode ver, então verifique isso antes de assinar o contrato. A eesel mostra as fontes, ações e raciocínio em cada execução, e reproduz tickets passados antes de entrar no ar. Com o CLI da eesel, um agente de código pode enviar perguntas de teste e ler sua atividade pelo terminal.

O que observabilidade significa para um agente de IA de suporte?

Eu construo funcionalidades para os agentes de IA da eesel, então passo a maior parte da minha semana lendo o que um agente fez em um ticket e descobrindo por quê. A maior lição desse trabalho é simples: a resposta do agente é o registro menos confiável do que aconteceu. Uma resposta pode dizer "processei seu reembolso" quando a chamada de reembolso falhou. Pode citar uma política que o agente nunca encontrou de verdade. A única forma de saber é olhar os passos por trás.

É isso que observabilidade significa aqui. Não um painel com uma porcentagem de resolução, mas um registro por conversa que você pode abrir e ler como um recibo. Desenvolvedores chamam isso de rastro (trace). Para um agente de suporte, um rastro útil responde seis perguntas:

Parte do rastroA pergunta que ele respondeO que dá errado sem ele
A mensagem do clienteO que foi realmente perguntado?Você julga a resposta contra a pergunta errada
Fontes pesquisadas e usadasEm qual artigo, macro ou ticket passado ele se baseou?Uma resposta errada parece um problema do modelo quando é um problema de conteúdo
Chamadas de ferramentas e APIs, com resultadosA consulta do pedido ou a chamada de reembolso funcionou?A resposta afirma um sucesso que o sistema nunca confirmou
Ações realizadasO que foi alterado: tags, status, um reembolso, uma resposta?Efeitos colaterais acontecem sem registro de quem os causou
RaciocínioPor que ele escolheu esse caminho?Você não consegue distinguir uma regra ruim de um palpite ruim
Encaminhamento ou encerramentoPor que ele parou, e isso estava certo?Encaminhamentos tardios e encerramentos silenciosos ficam invisíveis

A linha das chamadas de ferramentas é a que eu defenderia com mais força. A peor falha que já vi nos dados de produção da própria eesel não é uma resposta errada. É um agente descrevendo um trabalho que nunca fez, narrando buscas que nunca executou. Um desenvolvedor no Hacker News resumiu bem a regra geral depois que um agente de código apagou um banco de dados de produção:

Hacker News

"you can't trust anything it says, including its apologies, excuses, and explanations of past failure."

Agentes de suporte têm a mesma fraqueza, e é por isso que o rastro precisa registrar o que os sistemas realmente retornaram, não o que o agente diz que retornaram.

Linha do tempo desenhada à mão de uma conversa de suporte com IA: o cliente pergunta onde está seu reembolso, as fontes mostram o artigo da política de reembolso, a chamada à API de reembolso falhou com "falhou" circulado, resposta enviada "seu reembolso está feito", sem encaminhamento, com uma seta curva observando que a resposta contradiz o registro
Linha do tempo desenhada à mão de uma conversa de suporte com IA: o cliente pergunta onde está seu reembolso, as fontes mostram o artigo da política de reembolso, a chamada à API de reembolso falhou com "falhou" circulado, resposta enviada "seu reembolso está feito", sem encaminhamento, com uma seta curva observando que a resposta contradiz o registro

O mesmo registro também pega as falhas mais discretas. No início deste ano, em uma chamada de demonstração, uma equipe B2B de telemática veicular no Zendesk contou à equipe da eesel que o bot deles vinha confirmando suporte para modelos de carro que não estavam no banco de dados. A base de conhecimento dizia "damos suporte a todos os modelos", então o bot fez exatamente o que a fonte dele dizia. Sem a fonte no rastro, isso parece a IA inventando coisas. Com ela, o conserto é uma frase em um artigo. Esse padrão tem nome, alucinação de IA, e a cura costumeira é um embasamento de IA melhor em fontes que você controla.

Por que a taxa de resolução não é o mesmo que precisão?

Porque todo fornecedor define "resolvido" como algo que pode ser medido automaticamente, e precisão não pode. Uma resolução costuma significar que nenhum humano foi solicitado dentro de uma janela de tempo. Um cliente que recebeu uma resposta errada e desistiu passa esse teste tão bem quanto um que recebeu a resposta certa.

Uma thread do Reddit sobre como medir suporte com IA expôs o problema melhor do que qualquer página de fornecedor que já li:

Reddit

"Like if a ticket is "deflected", it could mean: customer got the right answer, customer just gave up, customer came back later through another channel, bot gave a wrong answer confidently, bot should have escalated but didn't."

Veja como os quatro grandes agentes de IA de helpdesk contam isso, direto da própria documentação deles. Isso importa duplamente, porque em três deles a definição também é o que você paga.

FornecedorO que conta como sucessoUnidade de cobrançaA armadilha que você precisa conhecer
Zendesk AI agentsUma resolução verificada: após a conversa terminar, um LLM a lê e confirma que o pedido foi resolvidoUS$ 1,50 contratado, US$ 2,00 por uso por resoluçãoA própria verificação é o julgamento de uma IA sobre a transcrição
HubSpot Customer AgentCompartilhou uma fonte ou executou uma ação, e nenhum encaminhamento iniciado pelo visitante em 72 horasUS$ 0,50 por conversa resolvida, 50 HubSpot CreditsUma atribuição manual ou de fluxo de trabalho não bloqueia uma resolução, então uma conversa pode aparecer em Human handoffs e ainda contar como resolvida
Gorgias AI AgentUma interação automatizada: nenhum envolvimento humano em 72 horasTaxa por ticket mais uma taxa de automação quando o agente resolve sem transferênciaUm cliente que simplesmente para de responder conta igual a um satisfeito
Freshdesk Freddy AI AgentTaxa de desvio: "resolvido pela IA sem intervenção humana"US$ 49 por 100 sessões, qualquer que seja o resultadoAs abas Performance e Improve cobrem só agentes de chat; agentes de e-mail recebem Ticket logs

Nenhuma dessas definições está errada. Elas só respondem "um humano precisou intervir?", não "a resposta estava certa?". A própria Freshworks é franca sobre os limites: a documentação deles diz que uma taxa de desvio abaixo de 60% em um tema de alto volume é um sinal de alerta. Para mais sobre a diferença, meu texto sobre desvio versus taxa de resolução vai mais a fundo, e o verbete sobre taxa de contenção define o terceiro primo.

O passo prático é tornar sua própria definição visível no seu próprio helpdesk. A SE Ranking fez exatamente isso. Ao colocar a eesel no chat em tempo real do Zendesk para três produtos, a equipe pediu uma tag ai_handled em todo ticket que a eesel toca, mais tags de útil e não útil a partir de uma pergunta "Esta resposta foi útil?", para que a contenção fosse contada no Zendesk, não estimada. Em um mês isso cobriu cerca de 4.650 conversas. É um número que eles conseguem auditar, porque cada ticket marcado está a um clique de distância.

Você construiu seu agente de IA de suporte ou comprou?

Essa é a pergunta que decide quais ferramentas se aplicam, e é a que a maioria dos conselhos sobre observabilidade pula. Pergunte ao ChatGPT como monitorar um agente de IA de suporte e você vai receber uma lista de plataformas de rastreamento para desenvolvedores. Elas são excelentes, e são em boa parte irrelevantes se seu agente vive dentro do Zendesk.

Bifurcação de decisão desenhada à mão: quem construiu o agente? "Você construiu" leva a "adicione um SDK de rastreamento" com LangSmith, Langfuse, Braintrust e Phoenix listados; "você comprou" leva a "os registros do fornecedor decidem o que você vê", com registro de conversa, relatórios e ferramentas de teste
Bifurcação de decisão desenhada à mão: quem construiu o agente? "Você construiu" leva a "adicione um SDK de rastreamento" com LangSmith, Langfuse, Braintrust e Phoenix listados; "você comprou" leva a "os registros do fornecedor decidem o que você vê", com registro de conversa, relatórios e ferramentas de teste

Se você construiu, uma plataforma de rastreamento é a decisão certa. Todas funcionam da mesma forma por baixo: você adiciona o SDK delas ou um exportador OpenTelemetry ao código do seu agente, e cada chamada de modelo, recuperação e chamada de ferramenta se torna um span com entradas, saídas, latência e custo. Aqui está o que cada uma oferece, segundo suas próprias páginas:

FerramentaComo coleta rastrosAvaliação por IA do tráfego em produçãoAutogerenciamentoNível gratuitoPrimeiro plano pago
LangSmithSDKs, @traceable, OpenTelemetrySim, filtrada e amostrada, pode avaliar threads inteirasComplemento Enterprise1 assento, 5 mil rastros/mêsPlus, US$ 39 por assento/mês
LangfuseSDKs, wrapper da OpenAI, OpenTelemetrySim, por passo, filtrada e amostradaSim, código aberto50 mil unidades/mêsCore, US$ 29/mês
BraintrustSDKs, API, OpenTelemetrySim, "pontuação online"Camada de dados no Enterprise1 GB, 10 mil pontuaçõesPro, US$ 249/mês
Arize PhoenixOpenTelemetry, autoinstrumentaçãoA documentação aponta para o Arize AX pagoSim, Elastic License 2.0Grátis para autogerenciarArize AX Pro, US$ 50/mês

Se você comprou, nenhuma dessas ferramentas consegue ver por dentro. Um agente de helpdesk hospedado não entrega o código dele nem um fluxo OpenTelemetry, então o que você consegue observar é o que o fornecedor escolheu colocar no registro de conversas, nos relatórios e nas ferramentas de teste dele. Isso transforma o registro em critério de compra, não em detalhe secundário. Eu colocaria "me mostre o rastro de uma conversa em que o agente chamou uma API" em toda demonstração. Se você está no meio da avaliação, minha checklist de avaliação de fornecedores cobre o resto.

O que você consegue ver dentro do agente de IA do seu helpdesk?

Mais do que você esperaria de alguns, menos do que gostaria de outros, e as lacunas raramente estão no marketing. Aqui está o que a documentação de cada fornecedor diz hoje que você pode abrir.

O Zendesk tem o registro mais detalhado dos quatro. Nos registros de conversa, uma resposta generativa mostra o Plan do agente (seu raciocínio), a etapa do procedimento e as instruções ativas. Chamadas de API abrem um painel de detalhes de integração com entradas, saídas e qualquer erro de API, com valores faltantes destacados em vermelho, embora integrações de API legadas não apareçam. A pegadinha são as fontes: o registro nomeia o tipo de recurso ("Knowledge replies"), enquanto o artigo específico aparece no relatório Knowledge sources e na Data Export API. Os testes são uma conversa por vez em um widget de teste, que não executa ações de CRM nem conteúdo restrito do centro de ajuda. A avaliação automatizada de cada conversa precisa do complemento de QA separado, que eu cobri em Zendesk QA para agentes de IA.

Painel de visão geral de mensagem do AI Agent da Zendesk mostrando o caso de uso, o Plan do agente, a resposta antes da personalização, as instruções ativas seguidas e as configurações de personalização, retirado do centro de ajuda da Zendesk
Painel de visão geral de mensagem do AI Agent da Zendesk mostrando o caso de uso, o Plan do agente, a resposta antes da personalização, as instruções ativas seguidas e as configurações de personalização, retirado do centro de ajuda da Zendesk

A Gorgias tem o melhor registro de ações. Toda mensagem do AI Agent tem um link Show reasoning listando as habilidades, conhecimento e ações usadas, e cada Action mantém um registro de eventos com a requisição HTTP completa, a resposta e o erro, incluindo qual etapa de uma Action de várias etapas passou ou falhou. Ações que falham também marcam o ticket com ai_failed_action, então você pode roteá-las com uma regra. O Playground pode reexecutar um ticket existente depois que você muda algo. Um limite honesto, nas próprias palavras da Gorgias: sua avaliação da conversa é enviada à Gorgias e não muda imediatamente o comportamento do AI Agent. Só as avaliações de fontes mudam respostas futuras. Meu guia sobre ações do AI Agent da Gorgias tem mais sobre o lado das ações.

Ticket da Gorgias respondido pela Gorgias AI com as tags ai_answered e ai_close, um painel Show reasoning e a aba AI Feedback para avaliar a conversa e cada fonte usada, retirado da documentação da Gorgias
Ticket da Gorgias respondido pela Gorgias AI com as tags ai_answered e ai_close, um painel Show reasoning e a aba AI Feedback para avaliar a conversa e cada fonte usada, retirado da documentação da Gorgias

A HubSpot coloca isso no Help Desk. Clique no ícone de IA de uma mensagem do Customer Agent e os agent insights mostram as fontes citadas, as ações disparadas e qualquer lacuna de conhecimento, com uma avaliação por polegar e um botão Coach agent. As Coaching opportunities marcam lacunas de conhecimento, conflitos, lacunas de ação e, em beta, conversas com uma pontuação CX de 45 ou menos. O batch testing permite até 8 conjuntos de teste, gerados a partir de conversas reais se você quiser, que eu explico em batch testing da HubSpot. Não consegui encontrar um registro de execução por chamada como o da Gorgias.

A Freshdesk se divide por canal. Agentes de chat têm as abas Performance e Improve, com contagens de citação por fonte que linkam para cada conversa em que uma fonte foi citada. Agentes de e-mail têm Ticket logs com rascunhos e resultados, além de um modo sombra útil que escreve rascunhos como notas internas em tickets reais sem enviá-los. O bulk testing executa um lote de consultas e mostra a fonte da resposta para cada uma. Duas coisas para saber: visualizações consomem sessões pagas mesmo em um agente não publicado, e a documentação de fluxos de trabalho diz que ações dependentes de ticket podem aparecer como concluídas no registro enquanto ainda estão na fila.

Aba Test do Freddy AI Agent Studio da Freshdesk com três consultas, seu status Respondida ou Sem resposta, as respostas do agente de IA, a fonte da resposta para cada uma e polegares para avaliá-las, retirado do portal de suporte da Freshdesk
Aba Test do Freddy AI Agent Studio da Freshdesk com três consultas, seu status Respondida ou Sem resposta, as respostas do agente de IA, a fonte da resposta para cada uma e polegares para avaliá-las, retirado do portal de suporte da Freshdesk

Se preferir checar sua própria configuração em vez de ler quatro parágrafos, escolha abaixo.

O que você vê na sua configuração?

Escolha onde seu agente de IA roda. Cada resposta vem da própria documentação daquele fornecedor, verificada em novembro de 2026.

Fontes por respostaTipo de recurso no registro. O artigo exato está no relatório Knowledge sources e na Data Export API.
Chamadas de ferramentas e resultadosSim. Integration details mostra entradas, saídas e erros de API. Integrações de API legadas não são mostradas.
RaciocínioSim, o Plan em toda resposta generativa.
TestesWidget de teste, uma conversa por vez. Sem ações de CRM.
Avaliação automáticaCom o complemento de QA pago.

Fique atento: a resolução verificada que você paga é o julgamento de um LLM sobre a transcrição.

Fontes por respostaContagens de citação por fonte, linkadas a cada conversa que a citou.
Chamadas de ferramentas e resultadosTaxas de conclusão de fluxo de trabalho e encaminhamento. Nenhum registro de requisição e resposta por chamada documentado.
RaciocínioNão documentado em registros ativos.
TestesExecuções de avaliação em lote com uma fonte de resposta por consulta. Visualizações usam sessões pagas.
Avaliação automáticaSó polegares de clientes. Nenhuma pontuação de qualidade automática documentada.

Fique atento: ações na fila podem aparecer como concluídas no registro.

Fontes por respostaNão documentado para e-mail.
Chamadas de ferramentas e resultadosNão documentado.
RaciocínioNão documentado.
TestesModo sombra: rascunhos chegam como notas internas em tickets reais e nunca são enviados.
Avaliação automáticaNão documentado.

Fique atento: as abas Performance e Improve cobrem só agentes de chat. E-mail recebe Ticket logs.

Fontes por respostaSim, em Show reasoning, com um polegar por fonte.
Chamadas de ferramentas e resultadosSim. O registro de eventos de cada Action tem a requisição HTTP, a resposta e o erro.
RaciocínioSim, embaixo de toda mensagem do AI Agent.
TestesPlayground, incluindo reexecutar um ticket existente. Ações desativadas por padrão.
Avaliação automáticaAvaliações de conversa vão para a Gorgias e não mudam o comportamento de imediato.

Fique atento: nenhum humano em 72 horas conta como automatizado.

Fontes por respostaSim, nos agent insights dentro do Help Desk.
Chamadas de ferramentas e resultadosAções disparadas são mostradas. Nenhum registro de execução com requisição e resposta foi encontrado.
RaciocínioEm Testing Insights durante a visualização.
TestesBatch testing, até 8 conjuntos de teste. Nenhum crédito usado.
Avaliação automáticaCoaching opportunities, incluindo um sinalizador beta de pontuação CX baixa.

Fique atento: atribuição manual ou de fluxo de trabalho não bloqueia uma resolução cobrada.

Fontes por respostaO que você registrar como span de recuperação.
Chamadas de ferramentas e resultadosSim, como spans de ferramenta com entradas e saídas.
RaciocínioSe você registrar.
TestesDatasets e experimentos na sua ferramenta de rastreamento.
Avaliação automáticaLLM como juiz online no LangSmith, Langfuse ou Braintrust.

Fique atento: a instrumentação é sua responsabilidade, então uma etapa que você nunca registrou é uma etapa que você não consegue ver.

Como marcar conversas suspeitas automaticamente?

Você não consegue ler tudo, então o trabalho da automação é decidir o que uma pessoa lê. Eu dividiria os sinais em dois tipos: sinais fortes que não precisam de julgamento, e sinais leves de um avaliador de IA.

Os sinais fortes são baratos e quase nunca erram sobre algo merecer uma olhada:

  • Uma chamada de ferramenta ou API falhou, mas a resposta foi enviada mesmo assim
  • A resposta saiu sem nenhuma fonte por trás, ou o agente registrou uma lacuna de conhecimento
  • O cliente voltou em poucos dias no mesmo assunto, a versão de suporte da taxa de reabertura
  • Um polegar para baixo, uma pontuação baixa de CSAT, ou um pedido para falar com um humano
  • O assunto está na sua lista de alto risco (reembolsos, cancelamentos, jurídico, saúde)

Um comentarista do Reddit descreveu o que acontece quando você só observa o número principal:

Reddit

"the bot looks great on the dashboard while actually making angry customers angrier before a human ever sees them."

Os sinais leves vêm de um avaliador de IA, muitas vezes chamado de LLM como juiz: um segundo modelo lê a conversa contra uma rubrica e a pontua. É útil, e os fornecedores que o vendem são os primeiros a te alertar sobre ele. A documentação do Langfuse diz "um juiz é um prompt que você escreveu", e recomenda verificá-lo contra rótulos humanos antes de confiar nele. O LangSmith diz que pontuações de juiz precisam de revisão cuidadosa e ajuste de prompt. O Braintrust diz para comparar juízes candidatos com pontuações atribuídas por humanos, incluindo casos ambíguos e que falharam.

O motivo é aritmética pura, que um comentarista do Hacker News descreveu a partir do próprio trabalho de avaliação:

Hacker News

"The agent was about 80% correct, and the LLM judge about 80% accurate in assessing the agent."

Então eu trato um juiz como ferramenta de classificação, não como veredito. Ele decide quais conversas uma pessoa lê primeiro, e eu acompanho com que frequência essa pessoa concorda com ele. O mesmo vale para o próprio AI CSAT da eesel: a documentação de Reports diz claramente que não é feedback de cliente, é a nota que uma IA dá às respostas do seu agente, útil como sinal interno. Para escolher ferramentas, meu resumo de ferramentas de IA para QA de suporte compara as opções.

Como o risco deve decidir o que você revisa?

Nem toda conversa merece a mesma atenção, e tentar revisar tudo igualmente é o motivo pelo qual rotinas de revisão morrem na terceira semana. Classifique pelo que está em jogo se o agente errar.

Pilha de três etapas desenhada à mão: risco baixo, a IA responde sozinha para horários e perguntas de como fazer, amostragem semanal; risco médio, a IA age e você confere para status de pedido e troca de endereço, revisão de toda conversa marcada; risco alto, um humano aprova primeiro para reembolsos, cancelamentos e jurídico, pergunte antes; uma seta com a etiqueta "mais em jogo" aponta para cima
Pilha de três etapas desenhada à mão: risco baixo, a IA responde sozinha para horários e perguntas de como fazer, amostragem semanal; risco médio, a IA age e você confere para status de pedido e troca de endereço, revisão de toda conversa marcada; risco alto, um humano aprova primeiro para reembolsos, cancelamentos e jurídico, pergunte antes; uma seta com a etiqueta "mais em jogo" aponta para cima
Nível de riscoExemplosO que o agente pode fazerComo você acompanha
BaixoHorários de funcionamento, passos de como fazer, recursos do planoResponder por conta própriaUma amostra semanal aleatória
MédioStatus de pedido, mudanças de endereço, perguntas sobre contaAgir, com cada ação registradaLer toda conversa marcada
AltoReembolsos, cancelamentos, jurídico, saúde, exclusão de dadosPreparar a ação, uma pessoa aprovaNada é executado sem uma decisão

O nível alto na verdade não é um problema de observabilidade. É um problema de permissões, e a versão mais limpa é o agente simplesmente não conseguir fazer isso sozinho. Na eesel, cada ação é configurada como Ativada, Perguntar antes ou Desativada por agente, e a documentação de ações recomenda manter reembolsos, cancelamentos e qualquer coisa que custe dinheiro atrás de uma aprovação. Meu guia sobre permissões de agente de IA vai mais a fundo, e o sobre salvaguardas de reembolso cobre o dinheiro especificamente.

A Original Bootcamp, uma empresa de fitness ao ar livre na Alemanha, mostra os níveis funcionando no Freshdesk. Um filtro deixa a eesel responder apenas tickets que ela consegue resolver completamente a partir do site e de tickets passados. Qualquer coisa sobre uma reserva, um pagamento ou a conta de um membro vai para a equipe, e qualquer coisa que mencione uma lesão ou doença vai para uma pessoa, mesmo que a pergunta sobre a reserva pudesse ter sido respondida. A eesel nunca afirma ter alterado uma reserva. Todo dia de semana às 9h, horário de Berlim, ela revisa o workspace e envia uma nota curta ao proprietário.

Como é um ciclo semanal de revisão e regressão?

A observabilidade só vale a pena se alguém agir sobre o que ela mostra. O ciclo que eu seguiria é curto: puxe as conversas marcadas e uma amostra aleatória, encontre a causa raiz em cada rastro, corrija na fonte, e reproduza os mesmos tickets para comprovar a correção. Minha rotina completa, incluindo quais conversas puxar e como rotular causas, está no meu guia de revisão de conversas de suporte com IA, então aqui vou focar nas duas partes que as pessoas pulam.

Corrija a fonte, não a resposta. Se o rastro mostra que o agente citou o artigo correto e o artigo estava errado, editar a resposta corrige um ticket. Editar o artigo corrige todos os futuros. A Qontro, uma empresa de ERP na Nova Zelândia, roda a eesel no Freshdesk dessa forma. Todo ticket novo recebe um rascunho de resposta como nota interna, embasado no centro de ajuda e em cerca de 9.800 tickets e artigos passados. A equipe compara cada rascunho com a resposta que uma pessoa realmente enviou, e onde o rascunho estava errado, isso costuma apontar para um artigo de ajuda ausente ou incompleto, ou uma regra que precisa ser ajustada. Cerca de um em dez rascunhos hoje sai com pouca ou nenhuma edição, e essa proporção vem subindo lentamente.

Mantenha um conjunto de regressão. Todo erro que você corrigir deveria se tornar um caso de teste que você reexecuta após a próxima mudança em instruções, conhecimento ou modelo. Um conjunto de 50 a 100 tickets reais passados nos seus temas principais já é suficiente para começar. É isso que a simulação de helpdesk da eesel faz antes de entrar no ar: segundo a documentação de skills, ela redige uma resposta para tickets que sua equipe resolveu recentemente, coloca cada uma ao lado do que sua equipe enviou, agrupa os resultados por tema e diz o que corrigir, sem enviar nada aos clientes. Na execução de exemplo da documentação, 17 de 20 respostas corresponderam às da equipe. Para o método completo, veja testes de simulação. Meu guia sobre testes de agente de IA de suporte cobre o lado do lançamento ao vivo.

Duas notas sobre o ritmo. Revise diariamente na primeira semana após o lançamento ou após qualquer mudança grande, depois semanalmente. E observe a tendência, não só o lote: um número crescente de lacunas de conhecimento em um tema diz qual artigo escrever a seguir, como explica meu guia de métricas de atendimento ao cliente com IA.

Veja o que seu agente de IA fez com a eesel

A eesel é uma colega de equipe de helpdesk com IA que entra na sua fila existente no Zendesk, Freshdesk, Gorgias ou HubSpot, e é construída para que você nunca precise adivinhar o que ela fez. A página Activity dela lista toda execução com onde aconteceu, o que a disparou, as fontes pesquisadas, cada ação e quem a aprovou, o raciocínio passo a passo, e se ela encontrou uma lacuna de conhecimento. Tickets pulados aparecem com o motivo.

Lista de Activity da eesel mostrando cada conversa que o agente tratou, com filtros para 24 horas, 7 dias, 30 dias e todo o período, e chips de status para aprovado, rejeitado e pendente
Lista de Activity da eesel mostrando cada conversa que o agente tratou, com filtros para 24 horas, 7 dias, 30 dias e todo o período, e chips de status para aprovado, rejeitado e pendente

Quando uma resposta está errada, você pode apontar o agente para aquela execução no chat, e ele passa pelo raciocínio dele, oferece uma correção e salva a regra nas instruções assim que você concorda. A página Reports acompanha volume, AI CSAT, lacunas de conhecimento e padrões de aprovação, e a documentação dá uma leitura útil: uma ação aprovada sempre sem edições está pronta para rodar por conta própria, e uma que continua sendo rejeitada precisa de uma correção nas instruções. Antes de tudo isso, rode uma simulação nos seus próprios tickets passados para ver os erros dela antes que um cliente veja.

Página Reports da eesel mostrando o número total de tarefas nos últimos 30 dias, eventos gatilho por tipo, e o início do gráfico de uso de aprovação e rejeição por ferramenta
Página Reports da eesel mostrando o número total de tarefas nos últimos 30 dias, eventos gatilho por tipo, e o início do gráfico de uso de aprovação e rejeição por ferramenta

Se sua equipe trabalha a partir de um terminal, eesel activity imprime o mesmo histórico de execuções e eesel chat envia perguntas de teste, para que um agente de código possa checar respostas antes de você ampliar o que o agente trata. Conectar o helpdesk ainda precisa de alguém com acesso de administrador para aprovar.

Testar a eesel

Perguntas frequentes

O que é observabilidade de agente de IA de suporte?
É a capacidade de ver, para qualquer conversa específica, o que o agente de IA de suporte leu, quais ferramentas chamou e o que elas retornaram, o que ele fez e por que encerrou ou encaminhou. Painéis dizem quantas conversas ele tratou; observabilidade diz se cada uma estava certa. Isso combina com a garantia de qualidade do suporte com IA, que é o hábito de realmente ler esses rastros.
Como monitoro o que meu agente de IA de suporte está fazendo?
Abra o registro por conversa que seu fornecedor oferece, leia todas as escaladas e todas as conversas marcadas, e amostre semanalmente as marcadas como resolvidas. Confira as fontes e qualquer resultado de ferramenta contra a resposta. Meu guia sobre como revisar conversas de suporte com IA tem uma rotina que você pode copiar, e monitoramento e alertas cobre o lado dos alertas.
Posso usar LangSmith ou Langfuse para monitorar um agente de IA de helpdesk?
Só se você mesmo construiu o agente. LangSmith, Langfuse, Braintrust e Arize Phoenix coletam rastros instrumentando o próprio código do agente, então servem para um agente próprio que seus engenheiros operam. Para um agente que você comprou dentro do Zendesk, Freshdesk, Gorgias ou HubSpot, os registros e relatórios do fornecedor decidem o que você pode ver. Compare-os antes de comprar com uma checklist de avaliação de fornecedores de IA.
Por que a taxa de resolução não é o mesmo que precisão?
Porque todo fornecedor define "resolvido" como algo que pode ser medido automaticamente, e precisão não pode. Uma resolução costuma significar que nenhum humano foi solicitado dentro de uma janela de tempo. Um cliente que recebeu uma resposta errada e desistiu passa esse teste tão bem quanto um que recebeu a resposta certa. Combine a taxa de resolução com IA com a taxa de reabertura, contatos repetidos e uma verificação de precisão por amostragem.
Como eu identifico que meu agente de IA de suporte está dando respostas erradas?
Marque conversas automaticamente com sinais como um polegar para baixo, um contato repetido em poucos dias, uma chamada de ferramenta que falhou, ou uma resposta enviada sem nenhuma fonte por trás. Use um avaliador de IA para classificar o restante, e então faça uma pessoa ler o que ele marca. Minhas notas sobre alucinações de IA no suporte cobrem a causa mais comum: uma lacuna ou contradição na base de conhecimento.
LLM como juiz é confiável para avaliar conversas de suporte?
É útil para classificar, não como veredito final. Os fornecedores que vendem avaliadores de IA são os primeiros a dizer para verificá-los contra rótulos humanos antes, porque um juiz nada mais é que um prompt escrito por alguém. Use-o para decidir quais conversas uma pessoa lê, e acompanhe com que frequência essa pessoa concorda com ele. A versão do Zendesk está em Zendesk QA.
Como devo testar um agente de IA de suporte antes de colocá-lo no ar?
Reproduza um conjunto de tickets reais do passado, de 50 a 100 distribuídos entre seus temas principais, e compare cada resposta com o que sua equipe realmente enviou. Mantenha esse conjunto e execute-o de novo após cada mudança em instruções ou conhecimento, para que erros antigos continuem corrigidos. Veja testes de simulação e testes de agente de IA de suporte para o método completo.

Share this article