Análise de chatbot
Análise de chatbot é a prática de medir como um chatbot com IA se comporta, da contenção e da confiança à satisfação e ao tempo de resposta, e usar esses números para decidir o que corrigir em seguida.
O que é Análise de chatbot?
Análise de chatbot é coletar e interpretar os dados que um chatbot com IA gera enquanto conversa com clientes, e transformar isso em decisões sobre a próxima mudança. Os números se dividem em quatro famílias. Volume diz quanto trabalho o bot está absorvendo: conversas, mensagens, visitantes únicos. Qualidade diz o quão bem ele respondeu: pontuações de confiança, a fatia de respostas que o próprio sistema marcou como fracas e o desfecho registrado em cada conversa. Experiência diz como foi do outro lado: avaliações, sentimento, tempo de resposta. Impacto no negócio amarra o resto ao dinheiro: contatos resolvidos sem uma pessoa e quanto teriam custado de outra forma.
A distinção útil não é entre números bons e ruins, e sim entre contadores e decisões. O total de conversas é um contador. Ele sobe quando o marketing teve uma boa semana e não diz nada sobre o bot. Já a fatia de respostas abaixo do limiar de confiança é uma decisão: aponta uma lista concreta de perguntas que a sua base de conhecimento não cobre, e cada uma é um parágrafo que alguém pode escrever hoje à tarde. Um painel cheio de contadores parece informativo e não muda nada. O hábito que vale a pena é perguntar a cada gráfico na tela: o que eu faria diferente se este número se mexesse?
A análise também encerra discussões que, sem ela, correm à base de anedota. Uma captura de tela irritada encaminhada por um colega não prova que o bot está quebrado, e um cliente encantado não prova que ele funciona. Um mês de conversas, agrupadas por tema e pontuadas por desfecho, prova. Essa é a virada de verdade: tocar um chatbot deixa de ser questão de opinião e passa a ser algo em que você pode errar de forma mensurável e depois corrigir.
Como funciona Análise de chatbot
A medição começa na mensagem. Toda vez que o bot responde, o sistema registra a pergunta, a resposta dada, o quanto a etapa de recuperação estava confiante de que a base de conhecimento realmente cobria aquela pergunta, quais trechos foram usados e quanto tempo a resposta levou. O sinal que sustenta tudo aqui é a confiança, porque ela é produzida antes de o cliente reagir. Ela pega uma resposta ruim mesmo quando ninguém reclama, o que é a maior parte das vezes.
As conversas fecham o ciclo. Quando a sessão termina, a plataforma dobra as mensagens em um único registro: quantos turnos foram necessários, quanto durou, se uma pessoa precisou entrar, sobre o que era, como o cliente soava e a avaliação, se houve. É essa a unidade que a maior parte dos relatórios deveria usar, porque clientes não vivenciam mensagens. Vivenciam obter uma resposta, ou não obter.
A agregação então transforma esses registros em uma linha diária por agente com mensagens, visitantes únicos, tempo médio de resposta, satisfação média, confiança média e transferências. É isso que torna barato consultar uma tendência de doze meses. Nessa camada moram duas armadilhas. Números pequenos mentem: uma taxa de contenção de 40 % sobre doze conversas é cara ou coroa, não um achado, então olhe o denominador antes de reagir a qualquer percentual. E médias escondem justamente o que você procura. Uma confiança média de 0,72 pode ser um bot consistentemente razoável ou um bot excelente em nove temas e inútil no décimo. Olhe a distribuição, porque é nesse décimo tema que está o trabalho.
Métricas para acompanhar
O que cada número mede, como é calculado, a faixa esperada e a primeira coisa a verificar quando ele se desloca. Trate as faixas como ponto de partida e não como meta: elas mudam conforme a composição do seu tráfego e conforme a base de conhecimento cobre, ou não, as perguntas que realmente chegam.
Conversas
Quantas sessões distintas o bot atendeu no período. É o denominador de todas as taxas abaixo, não uma conquista em si.
- Como é calculado
- Contagem de conversas iniciadas no período.
- Faixa saudável
- O que o seu tráfego der. Abaixo de umas 30 no período, leia qualquer percentual apenas como direção.
- Quando se desloca
- Perto de zero depois de instalar o widget costuma ser posicionamento, não demanda. Confirme que o widget carrega nas páginas onde as pessoas de fato chegam e que algo convida à primeira mensagem.
Taxa de contenção
A fatia de conversas que terminaram sem uma pessoa entrar, o containment em inglês. É o número para reportar para cima, porque é o que vira carga de trabalho.
- Como é calculado
- Conversas menos conversas transferidas, dividido por conversas.
- Faixa saudável
- Algo entre 55 % e 80 % para um bot de suporte cuja base de conhecimento cobre os temas dele. Implantações novas costumam começar perto de 40 % e subir conforme os buracos são fechados.
- Quando se desloca
- Abaixo de 50 %, leia as conversas transferidas em vez do gráfico. Elas se agrupam, e em geral são dois ou três temas que nunca foram dados ao bot.
Taxa de transferência
A fatia de conversas passadas para uma pessoa. É o complemento da contenção, mas vale acompanhar em separado porque é o número que o seu time sente na prática.
- Como é calculado
- Conversas transferidas dividido por conversas.
- Faixa saudável
- Algo entre 20 % e 45 %. Uma taxa perto de zero é alerta e não vitória: costuma significar que chegar em uma pessoa é difícil demais.
- Quando se desloca
- Uma alta repentina quase sempre é conteúdo vencido. Uma mudança de preço, uma política atualizada ou um produto novo do qual o bot nunca ouviu falar.
Confiança média da resposta
O quanto a base de conhecimento cobria as perguntas que chegaram, pontuado pelo sistema antes de o cliente reagir.
- Como é calculado
- Média das pontuações de confiança por resposta no período, numa escala de 0 a 1.
- Faixa saudável
- Algo entre 0,65 e 0,85. Abaixo de 0,5 um sistema bem construído deveria recusar a resposta em vez de chutar.
- Quando se desloca
- Uma queda lenta costuma indicar que as perguntas mudaram, não o conteúdo. As pessoas começaram a perguntar outra coisa, então leia as pontuações baixas recentes.
Taxa de lacunas de conhecimento
A fatia de respostas que o próprio sistema marcou como mal cobertas. O número mais acionável desta página.
- Como é calculado
- Respostas abaixo do limiar de confiança baixa, dividido por todas as respostas.
- Faixa saudável
- Abaixo de uns 15 %. Abaixo de 5 % é uma base de conhecimento madura.
- Quando se desloca
- Não conserte a taxa, conserte a lista. Cada resposta de confiança baixa carrega a pergunta do cliente que a causou, as perguntas se repetem e um punhado de parágrafos novos costuma mexer o número inteiro.
Satisfação do cliente (CSAT)
O que as pessoas disseram sobre a conversa quando foram perguntadas, normalmente numa escala de um a cinco.
- Como é calculado
- Média das notas dadas, sobre as conversas que foram avaliadas.
- Faixa saudável
- Perto de 4 de 5. Espere que só 5 % a 15 % das conversas sejam avaliadas, o que é normal e não uma falha de medição.
- Quando se desloca
- Leia de ponta a ponta as conversas de uma estrela. Nota baixa raramente é sobre a resposta estar errada. Costuma ser sobre o bot errar com convicção, ou demorar demais para oferecer uma pessoa.
Distribuição de sentimento
A fatia de conversas que no conjunto soam positivas, neutras ou negativas.
- Como é calculado
- Conversas de cada classe de sentimento, dividido por conversas.
- Faixa saudável
- Negativo abaixo de uns 15 %. Tráfego de suporte saudável fica majoritariamente neutro, e tudo bem: as pessoas vieram com uma tarefa, não com um humor.
- Quando se desloca
- Um pico de negativo é um tema, não uma tendência. Filtre as conversas negativas daquela semana e a causa costuma ser uma única coisa quebrada.
Tempo de resposta
Quanto o cliente esperou pela resposta.
- Como é calculado
- Tempo médio da mensagem do cliente até a resposta completa.
- Faixa saudável
- Primeiras palavras visíveis em uns dois segundos quando a resposta é transmitida aos poucos, e resposta completa em menos de dez. Acima disso, as pessoas vão embora.
- Quando se desloca
- Lentidão repentina quase nunca é o modelo. Veja o quanto a etapa de recuperação está trazendo e se há uma chamada a uma ferramenta externa no caminho.
Mensagens por conversa
Quantos turnos foram necessários para chegar a algum lugar. Um indicador indireto de as respostas acertarem de primeira.
- Como é calculado
- Total de mensagens dividido por conversas.
- Faixa saudável
- Algo entre três e seis. Consistentemente acima de oito costuma significar que o bot quase responde e nunca completa.
- Quando se desloca
- Leia algumas das conversas longas. O padrão costuma ser um único detalhe que falta, um preço, um prazo, um país atendido, em torno do qual o cliente fica girando.
Pontuação de qualidade
Um único número composto por conversa, para comparar um período com outro sem ler dez gráficos.
- Como é calculado
- Mistura ponderada da avaliação, de ter precisado ou não de uma pessoa, do desfecho registrado, do sentimento e do tamanho, normalizada de 0 a 1.
- Faixa saudável
- Algo entre 0,6 e 0,8 em média. Use para tendência e para ordenar quais conversas revisar, não como meta a bater.
- Quando se desloca
- Trate uma queda como pista e depois abra os componentes. Um número composto diz que algo mudou. Ele nunca diz o quê.
Por que Análise de chatbot é importante
Sem medição, melhorar um chatbot é chute disfarçado de intuição. Com medição, o ciclo é curto e chato no melhor sentido: ache os temas em que a confiança está baixa, escreva o conteúdo que falta, veja a taxa cair na semana seguinte. A maioria dos bots que as pessoas chamam de ruins não foi mal construída, foi nunca revisada. Ninguém leu as perguntas que o bot não soube responder, e a mesma lacuna ficou lá por um ano.
Medir também é como um chatbot deixa de ser uma linha de custo e vira uma economia que você consegue defender. A conta cabe num papel. Pegue as conversas que o bot conteve num mês, multiplique pelo que um contato atendido por uma pessoa custa para você, ou seja o tempo médio de atendimento do seu time vezes o seu próprio custo horário cheio, e compare o resultado com a mensalidade da plataforma. Mil conversas com 65 % de contenção são 650 contatos que o seu time nunca viu. Se isso vale dez mil ou quinhentos depende inteiramente dos seus números, e o sentido do exercício é justamente que agora você os tem.
Um aviso vale mais do que qualquer faixa desta página. Uma taxa de contenção alta não é automaticamente boa notícia. A contenção conta toda conversa que não chegou a uma pessoa, e um cliente que desistiu e fechou a janela conta exatamente igual a um que recebeu a resposta. Por isso contenção nunca deve ser lida sozinha. Coloque ao lado da satisfação e das mensagens por conversa e os dois casos se separam na hora: conversas resolvidas são curtas e bem avaliadas, as abandonadas se arrastam e não são avaliadas.
Como a Chatloom usa Análise de chatbot
A Chatloom registra tudo isso por padrão, e não como um adicional. Cada resposta carrega uma pontuação de confiança e os trechos que a sustentam, cada conversa carrega desfecho, intenção, sentimento e avaliação, e uma agregação noturna mantém uma linha por agente por dia com mensagens, visitantes únicos, tempo médio de resposta, satisfação média, confiança média e transferências. É isso que mantém rápida a consulta de um ano de tendência.
A seção de análise mostra esses valores por agente e no espaço de trabalho inteiro, com as conversas por trás de qualquer número a um clique. O que vale abrir primeiro é a lista de confiança baixa. Ela traz à tona as respostas que ficaram abaixo do limiar junto com a pergunta do cliente que causou cada uma, e assim transforma a instrução vaga de melhorar a base de conhecimento numa lista concreta de parágrafos a escrever. As conversas podem ser ordenadas por uma pontuação de qualidade composta para achar rápido as piores, os agentes podem ser comparados lado a lado, e um período é exportado em CSV, JSON ou relatório HTML quando alguém quer numa planilha.
A retenção faz parte do projeto e não é um detalhe posterior. Os dados de conversa ficam pela janela configurada no agente, trinta dias por padrão, e depois uma rotina noturna apaga essas conversas e as mensagens delas por completo. Endereços IP de visitantes são guardados com hash e nunca em texto puro. As linhas diárias agregadas sobrevivem a esse apagamento, que é exatamente o arranjo desejável: a linha de tendência vive por anos e a transcrição por trás dela não.
Termos Relacionados
Explore conceitos relacionados para aprofundar seu entendimento.
Perguntas Frequentes
- Qual é a métrica mais importante de um chatbot?
- A taxa de contenção, ou seja a fatia de conversas que terminam sem uma pessoa, porque ela vira diretamente carga de trabalho e custo. Sozinha, porém, não diz nada: um bot que cansa as pessoas até elas irem embora pontua igual a um que resolve as perguntas delas. Leia contenção ao lado de satisfação e de mensagens por conversa e os dois casos se separam na hora.
- O que é uma boa taxa de resolução para um chatbot?
- Para um bot de suporte cuja base de conhecimento cobre de fato os temas dele, entre 55 % e 80 % das conversas terminando sem uma pessoa é uma faixa normal, e implantações novas costumam começar mais perto de 40 % e subir conforme as lacunas são fechadas. A faixa muda bastante com o escopo: um bot que responde sobre um único produto fica bem acima de um que atende tudo o que chega num grande varejista.
- Qual a diferença entre taxa de contenção e taxa de resolução?
- Contenção conta as conversas que não chegaram a uma pessoa, por qualquer motivo. Resolução conta as conversas em que o cliente realmente conseguiu o que veio buscar. Toda conversa resolvida está contida, mas nem toda conversa contida está resolvida, e a diferença entre as duas é feita de gente que desistiu. Contenção é fácil de medir e fácil de ler errado. Resolução precisa de uma avaliação ou de um rótulo de desfecho para ser honesta.
- Como medir o ROI de um chatbot?
- Multiplique as conversas que o bot conteve pelo que um contato atendido por uma pessoa custa para você e subtraia a mensalidade da plataforma. O custo por contato sai do seu próprio time: tempo médio de atendimento vezes custo horário cheio. Bots de vendas pedem uma segunda linha, as conversas que levaram a um agendamento ou a um pedido, e para isso o chatbot precisa estar ligado ao seu rastreamento de conversão existente em vez de contado à parte.
- Quanto tráfego é preciso para a análise de chatbot dizer algo?
- Taxas precisam de denominador. Abaixo de umas 30 conversas no período, trate qualquer percentual como pista e leia as próprias conversas, o que nesse volume dá para fazer e ensina mais do que qualquer gráfico. Perto de 100 por mês, as taxas semanais começam a ficar estáveis o bastante para agir. Abaixo disso, acompanhe contadores e leia transcrições.
- Como usar a análise para melhorar o chatbot de verdade?
- Trabalhe a lista de confiança baixa, não o painel. Ordene as respostas que o sistema marcou como mal cobertas, leia as perguntas que as geraram e repare que elas se repetem: um punhado de temas costuma explicar a maior parte da lista. Escreva esses parágrafos na base de conhecimento e confira a mesma taxa uma semana depois. Depois faça o mesmo com as conversas transferidas, que se agrupam do mesmo jeito.
- Com que frequência revisar a análise do chatbot?
- Diariamente nas duas primeiras semanas após o lançamento ou depois de uma mudança grande de conteúdo, porque é quando as lacunas óbvias aparecem e são baratas de fechar. Semanalmente depois disso: contenção, confiança e o topo da lista de confiança baixa. Mensalmente, compare períodos e faça outra pergunta, se os temas que as pessoas perguntam mudaram, o que costuma indicar que o negócio mudou e o conteúdo não.
- A análise de chatbot é compatível com a LGPD e o GDPR?
- Pode ser, e o que faz diferença são as decisões de projeto. Guarde os dados de conversa por uma janela definida e apague no prazo em vez de guardar para sempre, armazene identificadores de visitante com hash e não em texto puro, e mantenha os números diários agregados, que deixam de ser dados pessoais assim que as transcrições somem, para que o relatório sobreviva ao apagamento. Diga ao visitante o que é guardado: na Europa isso é uma questão de consentimento, separada de avisar que ele está falando com uma IA. A Chatloom usa por padrão uma janela de trinta dias com rotina noturna de exclusão, aplica hash aos IPs dos visitantes e preserva os agregados.
Recursos Relacionados
Construa seu primeiro agente
em menos de uma hora.
Escolha um modelo, conecte seu conteúdo e implante em todos os canais. Seu plano gratuito está pronto quando você estiver.