Analítica de chatbot
La analítica de chatbot es la práctica de medir cómo se comporta un chatbot con IA, de la contención y la confianza a la satisfacción y el tiempo de respuesta, y usar esos números para decidir qué arreglar a continuación.
¿Qué es Analítica de chatbot?
La analítica de chatbot consiste en recoger e interpretar los datos que un chatbot con IA genera mientras habla con clientes, y convertirlos en decisiones sobre qué cambiar a continuación. Los números se agrupan en cuatro familias. El volumen dice cuánto trabajo está absorbiendo el bot: conversaciones, mensajes, visitantes únicos. La calidad dice lo bien que respondió: puntuaciones de confianza, la proporción de respuestas que el propio sistema marcó como débiles y el resultado registrado en cada conversación. La experiencia dice cómo se sintió al otro lado: valoraciones, sentimiento, tiempo de respuesta. El impacto de negocio ata todo lo anterior al dinero: contactos resueltos sin una persona y lo que habrían costado de otra forma.
La distinción útil no está entre números buenos y malos, sino entre contadores y decisiones. El total de conversaciones es un contador. Sube cuando marketing tiene una buena semana y no dice nada del bot. La proporción de respuestas por debajo del umbral de confianza, en cambio, es una decisión: señala una lista concreta de preguntas que tu base de conocimiento no cubre, y cada una es un párrafo que alguien puede escribir esta misma tarde. Un panel lleno de contadores parece informativo y no cambia nada. El hábito que merece la pena es preguntarle a cada gráfico de la pantalla: ¿qué haría distinto si este número se moviera?
La analítica también zanja discusiones que, si no, se libran a base de anécdotas. Una captura de pantalla indignada que reenvía un compañero no demuestra que el bot esté roto, y un cliente encantado no demuestra que funcione. Un mes de conversaciones, agrupadas por tema y puntuadas por resultado, sí lo demuestra. Ese es el cambio de fondo: gestionar un chatbot deja de ser cuestión de opiniones y pasa a ser algo en lo que puedes equivocarte de forma medible y corregirlo después.
Cómo funciona Analítica de chatbot
La medición empieza en el mensaje. Cada vez que el bot responde, el sistema registra la pregunta, la respuesta que dio, cuánta confianza tenía el paso de recuperación en que la base de conocimiento cubría realmente esa pregunta, qué pasajes usó y cuánto tardó la respuesta. La señal que sostiene todo lo demás es la confianza, porque se genera antes de que el cliente reaccione. Detecta una mala respuesta incluso cuando nadie se queja, que es la mayoría de las veces.
Las conversaciones cierran el círculo. Cuando termina una sesión, la plataforma pliega sus mensajes en un único registro: cuántos turnos hicieron falta, cuánto duró, si hubo que llamar a una persona, de qué iba, cómo sonaba el cliente y la valoración si la dio. Esta es la unidad con la que debería trabajar casi todo el reporting, porque los clientes no experimentan mensajes. Experimentan obtener una respuesta, o no obtenerla.
La agregación convierte esos registros en una fila diaria por agente con mensajes, visitantes únicos, tiempo medio de respuesta, satisfacción media, confianza media y derivaciones, que es lo que hace barato consultar una tendencia de doce meses. En esta capa viven dos trampas. Los números pequeños mienten: una contención del 40 % sobre doce conversaciones es un cara o cruz, no un hallazgo, así que mira el denominador antes de reaccionar a cualquier tasa. Y las medias esconden justo lo que buscas. Una confianza media de 0,72 puede ser un bot correcto de forma constante o un bot excelente en nueve temas e inútil en el décimo. Mira la distribución, porque el trabajo está en ese décimo tema.
Métricas que conviene seguir
Qué mide cada número, cómo se calcula, qué rango esperar y lo primero que hay que revisar cuando se desvía. Toma los rangos como punto de partida y no como objetivo: cambian según la mezcla de tráfico y según cuánto cubre tu base de conocimiento las preguntas que llegan de verdad.
Conversaciones
Cuántas sesiones distintas atendió el bot en el periodo. Es el denominador de todas las tasas siguientes, no un logro en sí mismo.
- Cómo se calcula
- Recuento de conversaciones iniciadas en el periodo.
- Rango saludable
- Lo que dé tu tráfico. Por debajo de unas 30 en el periodo, lee cualquier porcentaje solo como orientación.
- Si se desvía
- Cerca de cero tras instalar el widget suele ser un problema de colocación y no de demanda. Comprueba que el widget carga en las páginas donde la gente aterriza de verdad y que algo invita al primer mensaje.
Tasa de contención
La proporción de conversaciones que terminaron sin que interviniera una persona. Es el número que se reporta hacia arriba, porque es el que se traduce en carga de trabajo.
- Cómo se calcula
- Conversaciones menos conversaciones derivadas, dividido entre conversaciones.
- Rango saludable
- Entre el 55 % y el 80 % aproximadamente para un bot de soporte cuya base de conocimiento cubre sus temas. Las implantaciones nuevas suelen empezar cerca del 40 % y subir a medida que se tapan los huecos.
- Si se desvía
- Por debajo del 50 %, lee las conversaciones derivadas en lugar del gráfico. Se agrupan, y normalmente son dos o tres temas que nunca se le dieron al bot.
Tasa de derivación
La proporción de conversaciones que pasan a una persona. Es el complemento de la contención, pero conviene seguirla aparte porque es la que tu equipo nota de verdad.
- Cómo se calcula
- Conversaciones derivadas dividido entre conversaciones.
- Rango saludable
- Entre el 20 % y el 45 % aproximadamente. Una tasa cercana a cero es una advertencia y no un logro: suele significar que llegar a una persona cuesta demasiado.
- Si se desvía
- Una subida repentina casi siempre es contenido caducado. Un cambio de precio, una política actualizada o un producto nuevo del que el bot nunca ha oído hablar.
Confianza media de la respuesta
Hasta qué punto la base de conocimiento cubría las preguntas que llegaron, puntuado por el sistema antes de que el cliente reaccione.
- Cómo se calcula
- Media de las puntuaciones de confianza por respuesta del periodo, en una escala de 0 a 1.
- Rango saludable
- Entre 0,65 y 0,85 aproximadamente. Por debajo de 0,5 un sistema bien construido debería negarse a responder en lugar de adivinar.
- Si se desvía
- Una caída lenta suele indicar que se movieron las preguntas, no el contenido. La gente empezó a preguntar por algo nuevo, así que lee las puntuaciones bajas recientes.
Tasa de brechas de conocimiento
La proporción de respuestas que el propio sistema marcó como mal cubiertas. El número más accionable de esta página.
- Cómo se calcula
- Respuestas por debajo del umbral de confianza baja, dividido entre todas las respuestas.
- Rango saludable
- Por debajo del 15 % aproximadamente. Por debajo del 5 % es una base de conocimiento madura.
- Si se desvía
- No arregles la tasa, arregla la lista. Cada respuesta de confianza baja lleva consigo la pregunta del cliente que la provocó, las preguntas se repiten y un puñado de párrafos nuevos suele mover el número entero.
Satisfacción del cliente (CSAT)
Lo que dijo la gente sobre la conversación cuando se le preguntó, normalmente en una escala del uno al cinco.
- Cómo se calcula
- Media de las valoraciones dadas, sobre las conversaciones que fueron valoradas.
- Rango saludable
- Alrededor de 4 sobre 5. Cuenta con que solo se valore entre el 5 % y el 15 % de las conversaciones, lo cual es normal y no un fallo de medición.
- Si se desvía
- Lee de principio a fin las conversaciones de una estrella. Las valoraciones bajas rara vez van de que la respuesta fuera incorrecta. Suelen ir de que el bot se equivocó con total seguridad, o tardó demasiado en ofrecer una persona.
Distribución de sentimiento
La proporción de conversaciones que en conjunto se leen como positivas, neutras o negativas.
- Cómo se calcula
- Conversaciones de cada clase de sentimiento, dividido entre conversaciones.
- Rango saludable
- Negativo por debajo del 15 % aproximadamente. El tráfico de soporte sano es mayoritariamente neutro, y está bien: la gente venía con una tarea, no con un estado de ánimo.
- Si se desvía
- Un pico de negativo es un tema, no una tendencia. Filtra las conversaciones negativas de esa semana y la causa suele ser una sola cosa rota.
Tiempo de respuesta
Cuánto esperó el cliente a la respuesta.
- Cómo se calcula
- Tiempo medio desde el mensaje del cliente hasta la respuesta completa.
- Rango saludable
- Las primeras palabras visibles en unos dos segundos cuando la respuesta se emite en streaming, y la respuesta completa en menos de diez. Por encima de eso, la gente se va.
- Si se desvía
- Una lentitud repentina casi nunca es el modelo. Mira cuánto está trayendo el paso de recuperación y si hay una llamada a una herramienta externa en el camino.
Mensajes por conversación
Cuántos turnos hicieron falta para llegar a algún sitio. Un indicador indirecto de si las respuestas aciertan a la primera.
- Cómo se calcula
- Total de mensajes dividido entre conversaciones.
- Rango saludable
- Entre tres y seis aproximadamente. De forma sostenida por encima de ocho suele significar que el bot casi responde y nunca del todo.
- Si se desvía
- Lee unas cuantas conversaciones largas. El patrón suele ser un único dato que falta, un precio, un plazo, un país soportado, alrededor del cual el cliente da vueltas.
Puntuación de calidad
Un único número compuesto por conversación, para poder comparar un periodo con otro sin leer diez gráficos.
- Cómo se calcula
- Mezcla ponderada de la valoración, si hizo falta una persona, el resultado registrado, el sentimiento y la longitud, normalizada de 0 a 1.
- Rango saludable
- Entre 0,6 y 0,8 de media aproximadamente. Úsala para la tendencia y para ordenar qué conversaciones revisar, no como objetivo que alcanzar.
- Si se desvía
- Trata una caída como una pista y luego abre los componentes. Un número compuesto te dice que algo cambió. Nunca te dice el qué.
Por qué Analítica de chatbot es importante
Sin medición, mejorar un chatbot es adivinar disfrazado de intuición. Con ella, el bucle es corto y aburrido en el mejor sentido: encuentra los temas donde la confianza es baja, escribe el contenido que falta, mira cómo cae la tasa a la semana siguiente. La mayoría de los bots que la gente describe como malos no están mal construidos, están sin revisar. Nadie leyó nunca las preguntas que el bot no supo responder, así que el mismo hueco lleva ahí un año.
Medir es también cómo un chatbot deja de ser una línea de gasto y pasa a ser un ahorro que puedes defender. La aritmética cabe en un papel. Coge las conversaciones que el bot contuvo en un mes, multiplícalas por lo que te cuesta un contacto atendido por una persona, es decir el tiempo medio de gestión de tu equipo por tu propio coste horario cargado, y compara el resultado con la cuota de la plataforma. Mil conversaciones con un 65 % de contención son 650 contactos que tu equipo no vio nunca. Que eso valga diez mil o quinientos depende por completo de tus propios números, y el sentido del ejercicio es precisamente que ya los tienes.
Una advertencia vale más que cualquier rango de esta página. Una tasa de contención alta no es automáticamente una buena noticia. La contención cuenta toda conversación que no llegó a una persona, y un cliente que se rindió y cerró la ventana cuenta exactamente igual que uno que obtuvo su respuesta. Por eso la contención no debe leerse nunca sola. Ponla junto a la satisfacción y a los mensajes por conversación y los dos casos se separan de inmediato: las conversaciones resueltas son cortas y bien valoradas, las abandonadas se alargan y no se valoran.
Cómo usa Chatloom Analítica de chatbot
Chatloom registra todo esto por defecto y no como un extra. Cada respuesta lleva una puntuación de confianza y los pasajes en los que se apoya, cada conversación lleva su resultado, su intención, su sentimiento y su valoración, y una agregación nocturna mantiene una fila diaria por agente con mensajes, visitantes únicos, tiempo medio de respuesta, satisfacción media, confianza media y derivaciones. Eso es lo que mantiene rápida la consulta de un año de tendencia.
La sección de analítica muestra esas cifras por agente y para todo el espacio de trabajo, con las conversaciones que hay detrás de cualquier número a un clic. Lo primero que conviene abrir es la lista de confianza baja. Saca a la superficie las respuestas que quedaron por debajo del umbral junto con la pregunta del cliente que provocó cada una, y así convierte la instrucción vaga de mejorar tu base de conocimiento en una lista concreta de párrafos por escribir. Las conversaciones se pueden ordenar por una puntuación de calidad compuesta para encontrar rápido las peores, los agentes se comparan uno al lado del otro, y un periodo se exporta en CSV, JSON o informe HTML cuando alguien lo quiere en una hoja de cálculo.
La retención forma parte del diseño y no es una idea de última hora. Los datos de conversación se guardan durante la ventana configurada en el agente, treinta días por defecto, y después un trabajo nocturno borra esas conversaciones y sus mensajes por completo. Las direcciones IP de los visitantes se guardan con hash y nunca en claro. Las filas diarias agregadas sobreviven a ese borrado, que es justo la combinación que quieres: la línea de tendencia vive años y la transcripción que hay detrás no.
Términos relacionados
Explora conceptos relacionados para profundizar en el tema.
Preguntas frecuentes
- ¿Cuál es la métrica más importante de un chatbot?
- La tasa de contención, es decir la proporción de conversaciones que terminan sin una persona, porque se traduce directamente en carga de trabajo y coste. Por sí sola, sin embargo, no dice nada: un bot que harta a la gente hasta que se va puntúa igual que uno que resuelve sus preguntas. Lee la contención junto a la satisfacción y a los mensajes por conversación y los dos casos se separan al instante.
- ¿Qué se considera una buena tasa de resolución en un chatbot?
- Para un bot de soporte cuya base de conocimiento cubre de verdad sus temas, que entre el 55 % y el 80 % de las conversaciones terminen sin una persona es un rango normal, y las implantaciones nuevas suelen empezar más cerca del 40 % y subir según se tapan huecos. El rango se mueve mucho con el alcance: un bot que responde sobre un solo producto se sitúa muy por encima de otro que atiende todo lo que le llega a un gran retailer.
- ¿Cuál es la diferencia entre tasa de contención y tasa de resolución?
- La contención cuenta las conversaciones que no llegaron a una persona, sea cual sea el motivo. La resolución cuenta las conversaciones en las que el cliente consiguió de verdad aquello a lo que venía. Toda conversación resuelta está contenida, pero no toda conversación contenida está resuelta, y la diferencia entre ambas está hecha de gente que se rindió. La contención es fácil de medir y fácil de malinterpretar. La resolución necesita una valoración o una etiqueta de resultado para ser honesta.
- ¿Cómo mido el ROI de un chatbot?
- Multiplica las conversaciones que el bot contuvo por lo que te cuesta un contacto atendido por una persona y resta la cuota de la plataforma. El coste por contacto sale de tu propio equipo: tiempo medio de gestión por coste horario cargado. Los bots de ventas necesitan una segunda línea, las conversaciones que acabaron en una reserva o un pedido, y para eso el chatbot tiene que estar enganchado a tu seguimiento de conversiones existente en lugar de contarse aparte.
- ¿Cuánto tráfico necesito para que la analítica de chatbot signifique algo?
- Las tasas necesitan un denominador. Por debajo de unas 30 conversaciones en el periodo, trata cualquier porcentaje como una pista y lee las conversaciones en sí, que con ese volumen puedes leértelas todas y aporta más que cualquier gráfico. Alrededor de 100 al mes, las tasas semanales empiezan a ser lo bastante estables como para actuar sobre ellas. Por debajo, vigila contadores y lee transcripciones.
- ¿Cómo uso la analítica para mejorar de verdad el chatbot?
- Trabaja la lista de confianza baja, no el panel. Ordena las respuestas que el sistema marcó como mal cubiertas, lee las preguntas que las provocaron y fíjate en que se repiten: un puñado de temas suele explicar la mayor parte de la lista. Escribe esos párrafos en la base de conocimiento y revisa la misma tasa una semana después. Luego haz lo mismo con las conversaciones derivadas, que se agrupan igual.
- ¿Con qué frecuencia debo revisar la analítica del chatbot?
- A diario durante las dos primeras semanas tras el lanzamiento o tras un cambio grande de contenido, porque es cuando afloran los huecos evidentes y son baratos de tapar. Semanalmente después: contención, confianza y la cabeza de la lista de confianza baja. Cada mes, compara periodos y hazte otra pregunta, si han cambiado los temas por los que pregunta la gente, que suele ser señal de que el negocio cambió y el contenido no.
- ¿La analítica de chatbot cumple con el RGPD?
- Puede cumplirlo, y la diferencia la marcan las decisiones de diseño. Guarda los datos de conversación durante una ventana definida y bórralos según lo previsto en lugar de para siempre, almacena los identificadores de visitante con hash y no en claro, y conserva las cifras diarias agregadas, que dejan de ser datos personales una vez desaparecen las transcripciones, para que el reporting sobreviva al borrado. Cuéntale al visitante qué se guarda. En la UE eso es una cuestión de consentimiento distinta de avisarle de que habla con una IA. Chatloom usa por defecto una ventana de treinta días con borrado nocturno, aplica hash a las IP de los visitantes y conserva los agregados.
Recursos relacionados
Construye tu primer agente
en menos de una hora.
Elige una plantilla, conecta tu contenido y despliega en todos los canales. Tu plan gratuito está listo cuando tú lo estés.