Uma análise aprofundada da qualidade de resposta do Fin da Intercom

Então, toda a gente anda a falar sobre agentes de IA no atendimento ao cliente, e o Fin da Intercom é um grande nome neste campo. Ele promete tratar de imensas perguntas de clientes de forma autónoma, o que parece ótimo. Mas aqui está a verdadeira questão que todos precisamos de fazer: será que as respostas são boas? Uma alta taxa de resolução não significa muito se a qualidade da resposta do Fin for fraca, deixando-o com clientes insatisfeitos e uma confusão ainda maior para a sua equipa resolver.

Pense nisso, o custo de uma única resposta errada pode ser enorme. Pode quebrar a confiança que trabalhou tanto para construir com um cliente. Este guia analisa em detalhe como o Fin realmente funciona, os desafios de garantir que as suas respostas são sólidas e como uma abordagem mais aberta pode dar-lhe a confiança para realmente apostar na automação.

O que é o Fin da Intercom?

Simplificando, o Fin da Intercom é o agente de IA da Intercom, desenvolvido para equipas de atendimento ao cliente. Utiliza modelos de linguagem de grande dimensão (como a tecnologia por trás do ChatGPT) e liga-se à sua base de conhecimento, como artigos do centro de ajuda, para fornecer respostas conversacionais às perguntas dos clientes. A ideia é que ele atue como a sua primeira linha de defesa, lidando instantaneamente com as perguntas comuns para que os seus agentes humanos possam tratar das questões mais complicadas.

O Fin é uma parte central do Intercom Customer Service Suite, concebido para funcionar em conjunto com o helpdesk e os agentes humanos. Pode usá-lo em chat ao vivo, por e-mail e noutros canais. Foi construído para gerir conversas que podem exigir vários passos, não apenas para dar respostas simples de FAQ.

Porque é que a qualidade da resposta do Fin é a métrica mais crítica para os agentes de IA

Os fornecedores adoram usar as "taxas de resolução", mas se trabalha em suporte há algum tempo, sabe que esse número não conta a história toda.

Como um programador no Reddit sabiamente disse, 'O custo de um falso positivo é muito alto; existe um risco enorme em enviar uma resposta incorreta ao utilizador.'

Reddit

E uma boa qualidade não se trata apenas de acertar nos factos. É uma mistura de várias coisas diferentes:

• Precisão e Relevância: A resposta resolve realmente o problema específico do utilizador com a informação correta?

• Integralidade: Fornece ao cliente tudo o que ele precisa, ou ele é forçado a fazer mais perguntas?

• Tom e Voz da Marca: A IA soa como se pertencesse à sua empresa? Corresponde à personalidade da sua marca?

• Segurança e Limites: A IA está a cingir-se ao que sabe, ou está a inventar coisas (alucinar) e a falar sobre assuntos que não deveria?

Focar-se apenas na taxa de resolução pode enganá-lo. Uma IA pode fechar um ticket dando uma resposta que parece correta mas que está totalmente errada, fazendo com que o cliente volte mais tarde, ainda mais frustrado. Isso apenas inflaciona as suas métricas enquanto prejudica a experiência do cliente. Quando se foca na qualidade da resposta, garante que a sua automação é genuinamente útil e constrói confiança a longo prazo.

Como o Fin da Intercom aborda a qualidade da resposta do Fin

Para seu crédito, a Intercom pensou seriamente em melhorar a qualidade da resposta do Fin. Eles focam-se em algumas áreas-chave, desde a tecnologia a correr nos bastidores até às ferramentas que lhe dão para treino e teste.

O motor de IA Fin: Um processo de vários passos

Nos bastidores, o Fin utiliza um sistema chamado Fin AI Engine™. Não é apenas uma simples ligação a um modelo de IA; é um processo com vários passos concebido para tornar as respostas mais precisas:

1. Refinar a consulta: Primeiro, tenta reformular a pergunta do cliente para a tornar mais clara para a IA.

2. Recuperar conteúdo relevante: Em seguida, vasculha os seus artigos de ajuda e outras fontes de conhecimento em busca de informação relevante.

3. Reclassificar para precisão: Depois, pontua todo o conteúdo que encontrou para escolher as melhores partes a usar.

4. Gerar uma resposta: Usando esse conteúdo mais bem classificado, elabora uma resposta.

5. Validar a precisão: Finalmente, faz uma última verificação para garantir que a resposta é segura e precisa.

Todo este processo destina-se a manter as respostas da IA baseadas no seu conteúdo aprovado, o que ajuda a diminuir o risco de ela sair do guião ou inventar coisas.

Capacidades de treino e teste

O Fin aprende com o conteúdo que lhe fornece, como artigos do centro de ajuda, PDFs e páginas de websites. Também tem uma funcionalidade chamada "Simulações" que lhe permite testar como o Fin irá responder antes de o deixar falar com clientes reais. Pode executar estas conversas fictícias para ver o que o Fin está a pensar, porque está a escolher certas respostas e se passa ou falha num teste específico. É uma boa camada de controlo de qualidade antes de entrar em funcionamento.

Embora estas ferramentas sejam um bom começo, elas também trazem o seu próprio conjunto de dores de cabeça quando se tenta manter a qualidade da resposta alta no dia a dia.

Os desafios ocultos na avaliação da qualidade da resposta do Fin

Mesmo com um sistema inteligente como o Fin AI Engine™, obter e manter uma alta qualidade de resposta é difícil. Quando está a gerir um agente de IA no mundo real, rapidamente se depara com alguns problemas complicados.

O problema da "caixa-preta"

Embora o motor do Fin tenha um processo claro, a IA generativa no seu âmago ainda pode ser imprevisível. Às vezes, pode "alucinar", uma palavra sofisticada para inventar coisas, e afirmar algo completamente errado com total confiança. Como não tem controlo direto sobre o raciocínio final da IA ou o passo de validação, pode parecer uma "caixa-preta". Quando dá uma má resposta, descobrir o porquê pode ser uma verdadeira dor de cabeça, tornando difícil de corrigir e afinar.

A sobrecarga dos testes manuais e da otimização

O simulador do Fin é bom, mas coloca todo o trabalho em si. Tem de criar todos os casos de teste e executá-los manualmente. E à medida que os seus produtos, serviços e políticas mudam, tem de manter essas simulações atualizadas. Para equipas de suporte que já estão sobrecarregadas, quem é que realmente tem tempo para construir e manter constantemente uma enorme biblioteca de casos de teste? Simplesmente não é realista, e pode levar a que o conhecimento da IA se torne lentamente desatualizado e menos preciso.

Os custos imprevisíveis de um modelo por resolução

O preço do Fin de 0,99 $ por resolução parece simples à superfície, mas cria um problema de negócio estranho. O que acontece quando o Fin dá uma resposta de baixa qualidade ou incorreta que tecnicamente "resolve" o ticket porque o cliente simplesmente desiste frustrado? Continua a pagar por isso. Este modelo de preços significa que pode estar a pagar por más experiências dos clientes. Durante um mês movimentado, isto pode levar a uma fatura surpreendentemente grande, sem garantia de que cada uma dessas resoluções foi boa.

Uma forma melhor: Alcançar uma qualidade de resposta superior do Fin com controlos de IA transparentes

Todos estes desafios na avaliação da qualidade da resposta do Fin apontam para uma coisa: as equipas de suporte precisam de mais controlo e transparência das suas ferramentas de IA. Em vez de cruzar os dedos e esperar que uma "caixa-preta" acerte, precisa de ferramentas que lhe permitam construir, testar e usar IA com total confiança.

É aqui que entra uma abordagem diferente, como a que adotamos na eesel AI. Funciona com o helpdesk que já utiliza (como o Zendesk ou Freshdesk) e dá-lhe o controlo direto de que precisa para garantir que cada resposta é boa.

Simular o desempenho em tickets reais

Em vez de ter de inventar casos de teste, e se pudesse testar a sua IA em milhares dos seus tickets de suporte reais anteriores? A eesel AI tem um poderoso modo de simulação que faz exatamente isso. Executa a IA sobre as suas conversas históricas e dá-lhe um relatório claro e baseado em dados sobre o seu desempenho. Pode ver a sua taxa de resolução potencial e a qualidade das suas respostas, rever cada resposta simulada, encontrar lacunas na sua base de conhecimento e ajustar o comportamento da IA antes de ela falar com um único cliente.

Uma captura de ecrã do modo de simulação da eesel AI, que ajuda a garantir a qualidade da resposta do Fin ao testar em tickets reais.

Obtenha um controlo granular sobre a automação

A automação não deve ser uma escolha de tudo ou nada. Você deve estar no comando. A eesel AI permite-lhe definir exatamente que tipos de tickets a IA deve tratar. Pode começar pequeno, deixando-a automatizar apenas as perguntas mais simples e encaminhar tudo o resto. Com um editor de prompts totalmente personalizável, pode definir o tom e a personalidade da IA e definir as ações exatas que ela pode tomar, dando-lhe controlo total sobre a experiência do cliente.

Uma vista das regras de personalização da eesel AI, demonstrando como o controlo granular pode melhorar a qualidade da resposta do Fin.

Mude para um preço previsível e transparente

Vamos falar de preços, porque não devem ser uma fonte de stress. A sua ferramenta de IA não deve penalizá-lo por ter um mês movimentado ou por a IA cometer alguns erros pelo caminho. A eesel AI oferece planos de taxa fixa e diretos, baseados no quanto a utiliza, sem taxas por resolução. Este modelo previsível significa que sabe exatamente qual será a sua fatura todos os meses, para que possa escalar a sua automação de suporte sem se preocupar com custos surpresa de resoluções de baixa qualidade.

Preços do Intercom Fin vs. eesel AI: O impacto na qualidade da resposta

O preço é um fator enorme quando se está a analisar qualquer nova ferramenta. As diferentes filosofias de preços do Intercom Fin e da eesel AI mostram realmente uma forma diferente de pensar sobre parceria.

Uma captura de ecrã da página de preços da eesel AI, que destaca os preços transparentes para ajudar as equipas a focarem-se na qualidade da resposta do Fin.

Procure a verdadeira qualidade da resposta do Fin, não apenas a resolução

Olhe, obter uma alta qualidade de resposta do Fin não é impossível, mas pode parecer uma batalha difícil quando se está a trabalhar com um sistema que o mantém à distância. O risco de dar más respostas aos clientes e os preços imprevisíveis são obstáculos reais para qualquer equipa de suporte que tente fazer um ótimo trabalho.

No final do dia, o melhor agente de IA é aquele em que pode realmente confiar. Essa confiança vem da capacidade de ver exatamente como está a desempenhar, de ter um controlo detalhado sobre o que faz e de ter uma parceria previsível com o seu fornecedor.

Pronto para ver como uma IA mais transparente se comporta nos seus tickets de suporte reais? Inicie o seu teste gratuito da eesel AI e execute uma simulação nos seus dados históricos em minutos.