Analytique chatbot
L'analytique chatbot consiste à mesurer le comportement d'un chatbot IA, de la résolution sans agent à la confiance, la satisfaction et le temps de réponse, puis à se servir de ces chiffres pour décider quoi corriger ensuite.
Qu’est-ce que Analytique chatbot ?
L'analytique chatbot, c'est collecter et interpréter les données qu'un chatbot IA produit en parlant aux clients, puis les transformer en décisions sur la prochaine modification. Les chiffres se rangent en quatre familles. Le volume dit combien de travail le bot absorbe : conversations, messages, visiteurs uniques. La qualité dit à quel point il a bien répondu : scores de confiance, part des réponses que le système a lui-même signalées comme faibles, et issue enregistrée pour chaque conversation. L'expérience dit ce que ça donnait de l'autre côté : notes, sentiment, temps de réponse. L'impact business rattache le reste à de l'argent : contacts traités sans personne, et ce qu'ils auraient coûté autrement.
La distinction utile ne se joue pas entre bons et mauvais chiffres, mais entre compteurs et décisions. Le total des conversations est un compteur. Il monte quand le marketing a fait une bonne semaine et ne dit rien du bot. La part des réponses sous le seuil de confiance, elle, est une décision : elle désigne une liste précise de questions que votre base de connaissances ne couvre pas, et chacune est un paragraphe que quelqu'un peut écrire cet après-midi. Un tableau de bord rempli de compteurs donne l'impression d'informer et ne change rien. L'habitude qui vaut la peine : demander à chaque graphique affiché ce que vous feriez différemment si ce chiffre bougeait.
L'analytique met aussi fin aux débats qui, sinon, tournent à l'anecdote. Une capture d'écran énervée transmise par un collègue ne prouve pas que le bot est cassé, et un client ravi ne prouve pas qu'il fonctionne. Un mois de conversations, groupées par sujet et notées par issue, le prouve. C'est là le vrai basculement : piloter un chatbot cesse d'être une affaire d'opinion et devient quelque chose où l'on peut avoir tort de façon mesurable, puis corriger.
Comment fonctionne Analytique chatbot ?
La mesure commence au niveau du message. Chaque fois que le bot répond, le système enregistre la question, la réponse donnée, le degré de confiance de l'étape de récupération dans le fait que la base de connaissances couvrait réellement cette question, les passages utilisés et la durée de la réponse. Le signal porteur ici est la confiance, parce qu'elle est produite avant que le client ne réagisse. Elle attrape une mauvaise réponse même quand personne ne se plaint, ce qui est le cas la plupart du temps.
Les conversations bouclent la boucle. Quand une session se termine, la plateforme replie ses messages en un seul enregistrement : combien de tours il a fallu, combien de temps elle a duré, si un humain a été sollicité, de quoi il était question, comment le client sonnait et la note s'il en a donné une. C'est l'unité que devrait utiliser l'essentiel du reporting, parce que les clients ne vivent pas des messages. Ils vivent le fait d'obtenir une réponse, ou de ne pas l'obtenir.
L'agrégation transforme ensuite ces enregistrements en une ligne quotidienne par agent : messages, visiteurs uniques, temps de réponse moyen, satisfaction moyenne, confiance moyenne et transferts. C'est ce qui rend une tendance sur douze mois peu coûteuse à interroger. Deux pièges vivent dans cette couche. Les petits nombres mentent : un taux de résolution sans agent de 40 % sur douze conversations est un pile ou face, pas un constat, alors vérifiez le dénominateur avant de réagir à un taux. Et les moyennes cachent précisément ce que vous cherchez. Une confiance moyenne de 0,72 peut être un bot régulièrement correct, ou un bot excellent sur neuf sujets et inutile sur le dixième. Regardez plutôt la distribution, car c'est dans ce dixième sujet que se trouve le travail.
Les métriques à suivre
Ce que mesure chaque chiffre, comment il se calcule, la fourchette à attendre et le premier point à vérifier quand il dérive. Prenez ces fourchettes comme un point de départ, pas comme un objectif : elles bougent selon la composition de votre trafic et selon la part des questions réellement couverte par votre base de connaissances.
Conversations
Combien de sessions distinctes le bot a traitées sur la période. C'est le dénominateur de tous les taux qui suivent, pas une réussite en soi.
- Mode de calcul
- Nombre de conversations démarrées sur la période.
- Fourchette saine
- Ce que votre trafic donne. En dessous d'une trentaine sur la période, lisez chaque pourcentage comme une simple indication de sens.
- En cas de dérive
- Proche de zéro après la pose du widget, c'est généralement un problème de placement et non de demande. Vérifiez que le widget se charge sur les pages où les visiteurs arrivent vraiment, et que quelque chose invite au premier message.
Taux de résolution sans agent
La part des conversations terminées sans qu'un humain intervienne, ce que l'on appelle containment en anglais. C'est le chiffre à faire remonter, parce que c'est celui qui se traduit en charge de travail.
- Mode de calcul
- Conversations moins conversations transférées, divisé par conversations.
- Fourchette saine
- Environ 55 % à 80 % pour un bot de support dont la base de connaissances couvre ses sujets. Les nouveaux déploiements démarrent souvent vers 40 % et montent à mesure que les trous se bouchent.
- En cas de dérive
- En dessous de 50 %, lisez les conversations transférées plutôt que le graphique. Elles se regroupent, et il s'agit généralement de deux ou trois sujets qu'on n'a jamais donnés au bot.
Taux de transfert vers un agent
La part des conversations passées à une personne. C'est le complément du taux précédent, mais il mérite un suivi propre parce que c'est ce que votre équipe ressent concrètement.
- Mode de calcul
- Conversations transférées divisé par conversations.
- Fourchette saine
- Environ 20 % à 45 %. Un taux proche de zéro est un avertissement et non une victoire : cela signifie généralement que le transfert est trop difficile à atteindre.
- En cas de dérive
- Une hausse soudaine, c'est presque toujours du contenu périmé. Un changement de prix, une politique mise à jour ou un nouveau produit dont le bot n'a jamais entendu parler.
Confiance moyenne des réponses
À quel point la base de connaissances couvrait les questions posées, noté par le système avant que le client ne réagisse.
- Mode de calcul
- Moyenne des scores de confiance par réponse sur la période, sur une échelle de 0 à 1.
- Fourchette saine
- Environ 0,65 à 0,85. En dessous de 0,5, un système bien construit devrait refuser de répondre plutôt que deviner.
- En cas de dérive
- Une baisse lente signifie généralement que les questions ont bougé, pas le contenu. Les gens se sont mis à demander autre chose : lisez les scores faibles récents.
Taux de lacunes de connaissances
La part des réponses que le système a lui-même marquées comme mal couvertes. Le chiffre le plus actionnable de cette page.
- Mode de calcul
- Réponses sous le seuil de confiance basse, divisé par l'ensemble des réponses.
- Fourchette saine
- Sous les 15 % environ. Sous 5 %, la base de connaissances est mûre.
- En cas de dérive
- Ne corrigez pas le taux, corrigez la liste. Chaque réponse à confiance basse porte la question client qui l'a provoquée, les questions se répètent, et une poignée de nouveaux paragraphes déplace en général le chiffre entier.
Satisfaction client (CSAT)
Ce que les gens ont dit de la conversation quand on le leur a demandé, en général sur une échelle de un à cinq.
- Mode de calcul
- Moyenne des notes données, sur les conversations qui ont été notées.
- Fourchette saine
- Autour de 4 sur 5. Attendez-vous à ce que seules 5 % à 15 % des conversations soient notées, ce qui est normal et non un défaut de mesure.
- En cas de dérive
- Lisez de bout en bout les conversations notées une étoile. Les mauvaises notes portent rarement sur une réponse fausse. Elles portent le plus souvent sur un bot qui s'est trompé avec assurance, ou qui a mis trop longtemps à proposer un humain.
Répartition du sentiment
La part des conversations qui se lisent globalement comme positives, neutres ou négatives.
- Mode de calcul
- Conversations de chaque classe de sentiment, divisé par conversations.
- Fourchette saine
- Négatif sous les 15 % environ. Un trafic de support sain est majoritairement neutre, et c'est très bien : les gens venaient avec une tâche, pas avec une humeur.
- En cas de dérive
- Un pic de négatif est un sujet, pas une tendance. Filtrez les conversations négatives de cette semaine-là et la cause tient généralement à une seule chose cassée.
Temps de réponse
Combien de temps le client a attendu la réponse.
- Mode de calcul
- Temps moyen entre le message du client et la réponse complète.
- Fourchette saine
- Les premiers mots visibles en deux secondes environ quand la réponse s'affiche au fil de l'eau, et la réponse complète en moins de dix. Au-delà, les gens partent.
- En cas de dérive
- Une lenteur soudaine ne vient presque jamais du modèle. Regardez ce que ramène l'étape de récupération et si un appel d'outil externe se trouve sur le chemin.
Messages par conversation
Combien de tours il a fallu pour arriver quelque part. Un indicateur indirect de la capacité des réponses à toucher juste du premier coup.
- Mode de calcul
- Total des messages divisé par les conversations.
- Fourchette saine
- Environ trois à six. Durablement au-dessus de huit, cela veut généralement dire que le bot répond presque, et jamais tout à fait.
- En cas de dérive
- Lisez quelques longues conversations. Le motif tient d'habitude à un seul détail manquant, un prix, un délai, un pays couvert, autour duquel le client tourne.
Score de qualité
Un seul chiffre composite par conversation, pour comparer une période à une autre sans lire dix graphiques.
- Mode de calcul
- Mélange pondéré de la note, du recours ou non à un humain, de l'issue enregistrée, du sentiment et de la longueur, normalisé de 0 à 1.
- Fourchette saine
- Environ 0,6 à 0,8 en moyenne. Servez-vous-en pour la tendance et pour trier les conversations à relire, pas comme d'un objectif à atteindre.
- En cas de dérive
- Traitez une baisse comme un indice, puis ouvrez les composantes. Un chiffre composite vous dit que quelque chose a changé. Il ne vous dit jamais quoi.
Pourquoi Analytique chatbot est important
Sans mesure, améliorer un chatbot revient à deviner en appelant cela de l'intuition. Avec la mesure, la boucle est courte et ennuyeuse au meilleur sens du terme : trouver les sujets où la confiance est basse, écrire le contenu manquant, voir le taux baisser la semaine suivante. La plupart des bots que l'on qualifie de mauvais ne sont pas mal construits, ils n'ont jamais été relus. Personne n'a lu les questions auxquelles le bot n'a pas su répondre, et le même trou est resté là un an durant.
La mesure est aussi ce qui fait qu'un chatbot cesse d'être une ligne de coût pour devenir une économie défendable. Le calcul tient sur une feuille. Prenez les conversations que le bot a traitées seul dans le mois, multipliez par ce que vous coûte un contact traité par un humain, c'est-à-dire le temps de traitement moyen de votre équipe fois votre propre coût horaire chargé, puis comparez le résultat au tarif de la plateforme. Mille conversations à 65 % de résolution sans agent, cela fait 650 contacts que votre équipe n'a jamais vus. Que cela vaille dix mille ou cinq cents dépend entièrement de vos propres chiffres, et tout l'intérêt de l'exercice est que vous les avez désormais.
Un avertissement vaut plus que n'importe quelle fourchette de cette page. Un taux élevé de résolution sans agent n'est pas automatiquement une bonne nouvelle. Ce taux compte toute conversation qui n'a pas atteint une personne, et un client qui a renoncé et fermé la fenêtre compte exactement comme un client qui a obtenu sa réponse. C'est pourquoi ce taux ne doit jamais se lire seul. Mettez-le à côté de la satisfaction et des messages par conversation, et les deux cas se séparent immédiatement : les conversations résolues sont courtes et bien notées, les conversations abandonnées s'étirent et ne sont pas notées du tout.
Comment Chatloom utilise Analytique chatbot
Chatloom enregistre tout cela par défaut, et non comme une option. Chaque réponse porte un score de confiance et les passages qui la fondent, chaque conversation porte son issue, son intention, son sentiment et sa note, et une agrégation nocturne tient une ligne par agent et par jour : messages, visiteurs uniques, temps de réponse moyen, satisfaction moyenne, confiance moyenne et transferts. C'est ce qui garde une année de tendance rapide à interroger.
La section analytique montre ces chiffres par agent et pour l'espace de travail entier, avec les conversations derrière n'importe quel nombre à un clic. Ce qui mérite d'être ouvert en premier, c'est la liste des réponses à confiance basse. Elle fait remonter les réponses passées sous le seuil avec la question client qui a provoqué chacune d'elles, et transforme ainsi la consigne vague « améliorez votre base de connaissances » en une liste concrète de paragraphes à écrire. Les conversations se trient par score de qualité composite pour trouver vite les pires, les agents se comparent côte à côte, et une période s'exporte en CSV, JSON ou rapport HTML quand quelqu'un la veut dans un tableur.
La conservation fait partie de la conception et n'est pas une réflexion après coup. Les données de conversation restent le temps de la fenêtre configurée sur l'agent, trente jours par défaut, après quoi une tâche nocturne supprime ces conversations et leurs messages purement et simplement. Les adresses IP des visiteurs sont stockées hachées, jamais en clair. Les lignes quotidiennes agrégées survivent à cette suppression, et c'est exactement l'arrangement souhaitable : la courbe de tendance vit des années, la transcription derrière elle non.
Termes associés
Explorez les concepts associés pour approfondir votre compréhension.
Questions fréquentes
- Quelle est la métrique la plus importante pour un chatbot ?
- Le taux de résolution sans agent, c'est-à-dire la part des conversations qui se terminent sans personne, parce qu'il se traduit directement en charge de travail et en coût. Seul, il ne veut pourtant rien dire : un bot qui lasse les gens jusqu'à ce qu'ils partent obtient le même score qu'un bot qui répond à leurs questions. Lisez-le à côté de la satisfaction et des messages par conversation, et les deux cas se séparent aussitôt.
- Qu'est-ce qu'un bon taux de résolution pour un chatbot ?
- Pour un bot de support dont la base de connaissances couvre réellement ses sujets, 55 % à 80 % de conversations terminées sans humain est une fourchette normale, et les nouveaux déploiements démarrent souvent plutôt vers 40 % avant de monter à mesure que les trous se bouchent. La fourchette bouge beaucoup avec le périmètre : un bot qui répond sur un seul produit se situe bien plus haut qu'un bot qui encaisse tout ce qui arrive chez un grand distributeur.
- Quelle différence entre taux de résolution sans agent et taux de résolution ?
- Le premier compte les conversations qui n'ont pas atteint un humain, quelle qu'en soit la raison. Le second compte les conversations où le client a effectivement obtenu ce pour quoi il était venu. Toute conversation résolue est traitée sans agent, mais toutes les conversations traitées sans agent ne sont pas résolues, et l'écart entre les deux est fait de gens qui ont renoncé. Le premier est facile à mesurer et facile à mal lire. Le second a besoin d'une note ou d'une étiquette d'issue pour rester honnête.
- Comment mesurer le ROI d'un chatbot ?
- Multipliez les conversations que le bot a traitées seul par ce que vous coûte un contact traité par un humain, puis retranchez le tarif de la plateforme. Le coût par contact vient de votre propre équipe : temps de traitement moyen multiplié par un coût horaire chargé. Les bots commerciaux demandent une seconde ligne, celle des conversations ayant mené à une réservation ou une commande, ce qui suppose de brancher le chatbot sur votre suivi de conversion existant plutôt que de le compter à part.
- Combien de trafic faut-il pour que l'analytique chatbot veuille dire quelque chose ?
- Les taux ont besoin d'un dénominateur. En dessous d'une trentaine de conversations sur la période, traitez chaque pourcentage comme un indice et lisez plutôt les conversations elles-mêmes, ce qui est réalisable à ce volume et vous apprendra plus que n'importe quel graphique. Vers une centaine par mois, les taux hebdomadaires deviennent assez stables pour qu'on agisse dessus. En dessous, surveillez les compteurs et lisez les échanges.
- Comment se servir de l'analytique pour vraiment améliorer un chatbot ?
- Travaillez la liste des réponses à confiance basse, pas le tableau de bord. Triez les réponses que le système a signalées comme mal couvertes, lisez les questions qui les ont provoquées et constatez qu'elles se répètent : une poignée de sujets explique en général la majeure partie de la liste. Écrivez ces paragraphes dans la base de connaissances, puis regardez le même taux une semaine plus tard. Faites ensuite pareil avec les conversations transférées, qui se regroupent de la même façon.
- À quelle fréquence consulter l'analytique du chatbot ?
- Tous les jours pendant les deux premières semaines après le lancement ou après un gros changement de contenu, parce que c'est le moment où les trous évidents apparaissent et où ils sont peu coûteux à combler. Chaque semaine ensuite : résolution sans agent, confiance et tête de la liste des réponses faibles. Chaque mois, comparez les périodes et posez une autre question, celle de savoir si les sujets demandés ont bougé, ce qui signale d'ordinaire que l'activité a changé et pas le contenu.
- L'analytique chatbot est-elle compatible avec le RGPD ?
- Elle peut l'être, et ce sont les choix de conception qui font la différence. Conservez les données de conversation pendant une fenêtre définie et supprimez-les à l'échéance plutôt que jamais, stockez les identifiants de visiteur hachés et non en clair, et gardez les chiffres quotidiens agrégés, qui ne sont plus des données personnelles une fois les transcriptions parties, pour que le reporting survive à la suppression. Dites au visiteur ce qui est conservé : dans l'Union européenne, c'est une question de consentement, distincte du fait de lui signaler qu'il parle à une IA. Chatloom applique par défaut une fenêtre de trente jours avec suppression nocturne, hache les IP des visiteurs et conserve les agrégats.