Chatbot-Analytics
Chatbot-Analytics ist die Praxis, die Leistung eines KI-Chatbots zu messen, von Containment und Konfidenz bis Zufriedenheit und Antwortzeit, und aus diesen Zahlen abzuleiten, was als Nächstes zu tun ist.
Was ist Chatbot-Analytics?
Chatbot-Analytics bedeutet, die Daten zu erheben und zu deuten, die ein KI-Chatbot im Gespräch mit Kunden erzeugt, und daraus Entscheidungen über die nächste Änderung zu machen. Die Zahlen zerfallen in vier Familien. Volumen sagt, wie viel Arbeit der Bot auffängt: Konversationen, Nachrichten, eindeutige Besucher. Qualität sagt, wie gut er geantwortet hat: Konfidenzwerte, der Anteil der Antworten, die das System selbst als schwach markiert hat, und das Ergebnis, das jeder Konversation zugeordnet wurde. Erlebnis sagt, wie es sich auf der anderen Seite angefühlt hat: Bewertungen, Stimmung, Antwortzeit. Geschäftswirkung bindet den Rest an Geld: Kontakte, die ohne einen Menschen erledigt wurden, und was diese sonst gekostet hätten.
Die nützliche Trennlinie verläuft nicht zwischen guten und schlechten Zahlen, sondern zwischen Zählern und Entscheidungen. Die Gesamtzahl der Konversationen ist ein Zähler. Sie steigt, wenn das Marketing eine gute Woche hatte, und sagt nichts über den Bot. Der Anteil der Antworten unterhalb der Konfidenzschwelle ist dagegen eine Entscheidung: Er zeigt auf eine konkrete Liste von Fragen, die Ihre Wissensdatenbank nicht abdeckt, und jede davon ist ein Absatz, den jemand heute Nachmittag schreiben kann. Ein Dashboard voller Zähler fühlt sich informativ an und verändert nichts. Die Gewohnheit, die sich lohnt: Fragen Sie bei jedem Diagramm auf dem Bildschirm, was würde ich anders machen, wenn diese Zahl sich bewegt?
Analytics beendet außerdem Diskussionen, die sonst von Anekdoten leben. Ein wütender Screenshot, den ein Kollege weiterleitet, ist kein Beleg dafür, dass der Bot kaputt ist, und ein begeisterter Kunde ist kein Beleg dafür, dass er funktioniert. Ein Monat an Konversationen, nach Thema gruppiert und nach Ergebnis bewertet, ist ein Beleg. Das ist die eigentliche Verschiebung: Einen Chatbot zu betreiben hört auf, Ansichtssache zu sein, und wird zu etwas, worin man sich messbar irren und es dann korrigieren kann.
Wie funktioniert Chatbot-Analytics?
Die Messung beginnt bei der einzelnen Nachricht. Jedes Mal, wenn der Bot antwortet, hält das System fest: die Frage, die gegebene Antwort, wie sicher der Retrieval-Schritt war, dass die Wissensdatenbank diese Frage überhaupt abdeckt, welche Passagen verwendet wurden und wie lange die Antwort gedauert hat. Die tragende Größe ist hier die Konfidenz, weil sie entsteht, bevor der Kunde reagiert. Sie erkennt eine schlechte Antwort auch dann, wenn sich niemand beschwert, und meistens beschwert sich niemand.
Konversationen schließen den Kreis. Endet eine Sitzung, faltet die Plattform ihre Nachrichten zu einem Datensatz zusammen: wie viele Züge es gebraucht hat, wie lange sie gedauert hat, ob ein Mensch hinzugezogen wurde, worum es ging, wie der Kunde geklungen hat und welche Bewertung er gegeben hat, falls er eine gegeben hat. Das ist die Einheit, mit der die meisten Berichte arbeiten sollten, denn Kunden erleben keine Nachrichten. Sie erleben, ob sie eine Antwort bekommen oder nicht.
Die Aggregation macht daraus je Agent eine Tageszeile mit Nachrichten, eindeutigen Besuchern, durchschnittlicher Antwortzeit, durchschnittlicher Zufriedenheit, durchschnittlicher Konfidenz und Eskalationen. Genau das macht einen Zwölfmonatstrend billig abfragbar. In dieser Schicht lauern zwei Fallen. Kleine Zahlen lügen: Eine Containment-Rate von 40 Prozent über zwölf Konversationen ist ein Münzwurf und kein Befund, prüfen Sie also den Nenner, bevor Sie auf eine Quote reagieren. Und Durchschnitte verdecken ausgerechnet das, wonach Sie suchen. Eine durchschnittliche Konfidenz von 0,72 kann ein durchgehend solider Bot sein oder ein Bot, der bei neun Themen brillant und beim zehnten unbrauchbar ist. Schauen Sie stattdessen auf die Verteilung, denn im zehnten Thema liegt die Arbeit.
Kennzahlen, die Sie verfolgen sollten
Was jede Zahl misst, wie sie berechnet wird, welcher Bereich zu erwarten ist und woran Sie zuerst denken sollten, wenn sie abweicht. Verstehen Sie die Bereiche als Ausgangspunkt und nicht als Zielvorgabe: Sie verschieben sich mit Ihrem Traffic-Mix und damit, wie gut Ihre Wissensdatenbank die tatsächlich gestellten Fragen abdeckt.
Konversationen
Wie viele einzelne Sitzungen der Bot im Zeitraum bearbeitet hat. Das ist der Nenner für jede Quote weiter unten, keine Leistung für sich.
- Berechnung
- Anzahl der im Zeitraum begonnenen Konversationen.
- Gesunder Bereich
- Was Ihr Traffic hergibt. Unter etwa 30 im Zeitraum lesen Sie jede Prozentangabe nur als Richtung, nicht als Wert.
- Bei Abweichungen
- Nahe null nach dem Einbau des Widgets ist meist eine Platzierungsfrage und keine Nachfragefrage. Prüfen Sie, ob das Widget auf den Seiten lädt, auf denen Besucher tatsächlich ankommen, und ob überhaupt etwas zur ersten Nachricht einlädt.
Containment-Rate
Der Anteil der Konversationen, die ohne einen Menschen zu Ende gingen, auf Deutsch auch Selbstlösungsquote. Das ist die Zahl für den Bericht nach oben, weil sie direkt auf Arbeitslast abbildet.
- Berechnung
- Konversationen minus eskalierte Konversationen, geteilt durch Konversationen.
- Gesunder Bereich
- Etwa 55 bis 80 Prozent für einen Support-Bot, dessen Wissensdatenbank seine Themen abdeckt. Neue Installationen starten oft bei rund 40 Prozent und steigen, sobald Lücken geschlossen werden.
- Bei Abweichungen
- Unter 50 Prozent lesen Sie die eskalierten Konversationen statt das Diagramm. Sie treten in Gruppen auf, und meistens sind es zwei oder drei Themen, die der Bot nie bekommen hat.
Eskalationsrate
Der Anteil der Konversationen, die an einen Menschen übergeben wurden. Das Gegenstück zum Containment, aber eigenständig zu beobachten, weil es die Zahl ist, die Ihr Team tatsächlich spürt.
- Berechnung
- Eskalierte Konversationen geteilt durch Konversationen.
- Gesunder Bereich
- Etwa 20 bis 45 Prozent. Eine Rate nahe null ist eine Warnung und kein Erfolg: Meist ist die Übergabe schlicht zu schwer erreichbar.
- Bei Abweichungen
- Ein plötzlicher Anstieg ist fast immer veralteter Inhalt. Eine Preisänderung, eine aktualisierte Richtlinie oder ein neues Produkt, von dem der Bot nie gehört hat.
Durchschnittliche Antwortkonfidenz
Wie gut die Wissensdatenbank die gestellten Fragen abgedeckt hat, bewertet vom System, bevor der Kunde reagiert.
- Berechnung
- Mittelwert der Konfidenzwerte je Antwort im Zeitraum, auf einer Skala von 0 bis 1.
- Gesunder Bereich
- Etwa 0,65 bis 0,85. Unter 0,5 sollte ein gut gebautes System die Antwort verweigern statt zu raten.
- Bei Abweichungen
- Ein langsamer Rückgang heißt meist, dass sich die Fragen verschoben haben und nicht der Inhalt. Die Leute fragen nach etwas Neuem, also lesen Sie die jüngsten schwachen Werte.
Wissenslückenquote
Der Anteil der Antworten, die das System selbst als schlecht abgedeckt markiert hat. Die mit Abstand handlungsfähigste Zahl auf dieser Seite.
- Berechnung
- Antworten unterhalb der Konfidenzschwelle, geteilt durch alle Antworten.
- Gesunder Bereich
- Unter etwa 15 Prozent. Unter 5 Prozent ist eine ausgereifte Wissensdatenbank.
- Bei Abweichungen
- Reparieren Sie nicht die Quote, sondern die Liste. Jede schwache Antwort trägt die Kundenfrage bei sich, die sie ausgelöst hat, die Fragen wiederholen sich, und eine Handvoll neuer Absätze bewegt in der Regel die ganze Zahl.
Kundenzufriedenheit (CSAT)
Was Kunden über das Gespräch gesagt haben, wenn sie gefragt wurden, üblicherweise auf einer Skala von eins bis fünf.
- Berechnung
- Mittelwert der abgegebenen Bewertungen über die bewerteten Konversationen.
- Gesunder Bereich
- Rund 4 von 5. Rechnen Sie damit, dass nur 5 bis 15 Prozent der Konversationen überhaupt bewertet werden, das ist normal und kein Messfehler.
- Bei Abweichungen
- Lesen Sie die Ein-Stern-Konversationen von Anfang bis Ende. Schlechte Bewertungen liegen selten daran, dass eine Antwort falsch war. Meist liegen sie daran, dass der Bot selbstsicher falsch lag oder zu spät einen Menschen angeboten hat.
Sentiment-Verteilung
Der Anteil der Konversationen, die insgesamt positiv, neutral oder negativ wirken.
- Berechnung
- Konversationen je Stimmungsklasse, geteilt durch Konversationen.
- Gesunder Bereich
- Negativ unter etwa 15 Prozent. Gesunder Support-Traffic liegt überwiegend neutral, und das ist in Ordnung: Die Leute kamen mit einer Aufgabe, nicht mit einer Stimmung.
- Bei Abweichungen
- Ein Ausschlag ins Negative ist ein Thema und kein Trend. Filtern Sie auf die negativen Konversationen dieser Woche, und die Ursache ist meist eine einzige kaputte Sache.
Antwortzeit
Wie lange der Kunde auf die Antwort gewartet hat.
- Berechnung
- Durchschnittliche Zeit von der Kundennachricht bis zur fertigen Antwort.
- Gesunder Bereich
- Erste Wörter innerhalb von rund zwei Sekunden, wenn Antworten gestreamt werden, die vollständige Antwort innerhalb von zehn. Darüber springen Leute ab.
- Bei Abweichungen
- Plötzliche Langsamkeit liegt fast nie am Modell. Prüfen Sie, wie viel der Retrieval-Schritt heranzieht und ob ein externer Tool-Aufruf im Weg liegt.
Nachrichten pro Konversation
Wie viele Züge es gebraucht hat, um irgendwohin zu kommen. Ein Hilfswert dafür, ob Antworten beim ersten Mal sitzen.
- Berechnung
- Gesamtzahl der Nachrichten geteilt durch Konversationen.
- Gesunder Bereich
- Etwa drei bis sechs. Dauerhaft über acht heißt meistens, dass der Bot fast antwortet und nie ganz.
- Bei Abweichungen
- Lesen Sie ein paar der langen Verläufe. Das Muster ist normalerweise ein einziges fehlendes Detail, ein Preis, eine Frist, ein unterstütztes Land, um das der Kunde immer wieder kreist.
Qualitätswert
Eine zusammengesetzte Zahl je Konversation, damit sich ein Zeitraum mit einem anderen vergleichen lässt, ohne zehn Diagramme zu lesen.
- Berechnung
- Gewichtete Mischung aus Bewertung, Eskalation, festgehaltenem Ergebnis, Stimmung und Länge, normalisiert auf 0 bis 1.
- Gesunder Bereich
- Im Mittel etwa 0,6 bis 0,8. Nutzen Sie ihn für den Trend und um Konversationen zum Nachlesen zu sortieren, nicht als Zielvorgabe.
- Bei Abweichungen
- Behandeln Sie einen Abfall als Hinweis und öffnen Sie dann die Bestandteile. Ein zusammengesetzter Wert sagt Ihnen, dass sich etwas verändert hat. Er sagt Ihnen nie, was.
Warum Chatbot-Analytics wichtig ist
Ohne Messung ist das Verbessern eines Chatbots geraten und nennt sich Intuition. Mit Messung ist die Schleife kurz und im besten Sinne langweilig: Themen mit niedriger Konfidenz finden, den fehlenden Inhalt schreiben, die Quote in der Folgewoche fallen sehen. Die meisten Bots, die Leute als schlecht beschreiben, sind nicht schlecht gebaut, sie sind nie durchgesehen worden. Niemand hat je die Fragen gelesen, die der Bot nicht beantworten konnte, und so blieb dieselbe Lücke ein Jahr lang stehen.
Messung ist außerdem der Weg, auf dem ein Chatbot aufhört, ein Kostenposten zu sein, und zu einer Ersparnis wird, die Sie verteidigen können. Die Rechnung passt auf ein Blatt Papier. Nehmen Sie die Konversationen, die der Bot in einem Monat ohne Menschen erledigt hat, multiplizieren Sie mit dem, was Sie ein von Menschen bearbeiteter Kontakt kostet, also durchschnittliche Bearbeitungszeit Ihres Teams mal Ihrem eigenen Vollkostensatz pro Stunde, und stellen Sie das Ergebnis der Plattformgebühr gegenüber. Tausend Konversationen bei 65 Prozent Containment sind 650 Kontakte, die Ihr Team nie gesehen hat. Ob das zehntausend wert ist oder fünfhundert, hängt vollständig an Ihren eigenen Zahlen, und der Sinn der Übung ist, dass Sie diese Zahlen jetzt haben.
Eine Warnung wiegt schwerer als jeder Richtwert auf dieser Seite. Eine hohe Containment-Rate ist nicht automatisch eine gute Nachricht. Containment zählt jede Konversation, die keinen Menschen erreicht hat, und ein Kunde, der aufgegeben und das Fenster geschlossen hat, zählt genauso wie einer, der seine Antwort bekommen hat. Deshalb darf Containment nie allein gelesen werden. Stellen Sie es neben Zufriedenheit und Nachrichten pro Konversation, und die beiden Fälle trennen sich sofort: gelöste Gespräche sind kurz und gut bewertet, abgebrochene ziehen sich und werden gar nicht bewertet.
Wie Chatloom Chatbot-Analytics einsetzt
Chatloom erfasst all das standardmäßig und nicht als Zusatzmodul. Jede Antwort trägt einen Konfidenzwert und die Passagen, auf denen sie beruht, jede Konversation trägt Ergebnis, Absicht, Stimmung und Bewertung, und eine nächtliche Aggregation hält je Agent eine Tageszeile mit Nachrichten, eindeutigen Besuchern, durchschnittlicher Antwortzeit, durchschnittlicher Zufriedenheit, durchschnittlicher Konfidenz und Eskalationen. Genau das hält ein Jahr Trend schnell abfragbar.
Der Analytics-Bereich zeigt diese Werte je Agent und über den gesamten Workspace, und die Konversationen hinter jeder Zahl sind einen Klick entfernt. Zuerst lohnt sich die Liste der schwachen Antworten. Sie zeigt die Antworten unterhalb der Schwelle zusammen mit der Kundenfrage, die jede davon ausgelöst hat, und macht damit aus der vagen Aufforderung, die Wissensdatenbank zu verbessern, eine konkrete Liste zu schreibender Absätze. Konversationen lassen sich nach einem zusammengesetzten Qualitätswert sortieren, um die schlechtesten schnell zu finden, Agenten lassen sich nebeneinander vergleichen, und ein Zeitraum exportiert als CSV, JSON oder HTML-Bericht, wenn jemand ihn in einer Tabelle sehen will.
Die Aufbewahrung gehört zum Entwurf und ist kein nachträglicher Gedanke. Konversationsdaten bleiben für das am Agenten eingestellte Fenster erhalten, standardmäßig dreißig Tage, danach löscht ein nächtlicher Job diese Konversationen samt ihren Nachrichten vollständig. Besucher-IP-Adressen werden gehasht gespeichert und nie im Klartext. Die aggregierten Tageszeilen überleben diese Löschung, und genau so soll es sein: Die Trendlinie lebt jahrelang, das Transkript dahinter nicht.
Verwandte Begriffe
Vertiefen Sie Ihr Verständnis mit verwandten Konzepten.
Häufig gestellte Fragen
- Was ist die wichtigste Chatbot-Kennzahl?
- Die Containment-Rate, also der Anteil der Konversationen, die ohne einen Menschen enden, weil sie direkt auf Arbeitslast und Kosten abbildet. Allein steht sie allerdings sinnlos da: Ein Bot, der Leute so lange nervt, bis sie gehen, erreicht denselben Wert wie einer, der ihre Fragen beantwortet. Lesen Sie Containment neben Zufriedenheit und Nachrichten pro Konversation, dann trennen sich die beiden Fälle sofort.
- Was gilt als gute Lösungsquote für einen Chatbot?
- Für einen Support-Bot, dessen Wissensdatenbank seine Themen wirklich abdeckt, sind grob 55 bis 80 Prozent der Konversationen ohne Menschen ein normaler Bereich, und neue Installationen starten oft näher bei 40 Prozent und steigen, sobald Lücken geschlossen sind. Der Bereich verschiebt sich stark mit dem Umfang: Ein Bot, der Fragen zu einem einzigen Produkt beantwortet, liegt deutlich höher als einer, der alles auffängt, was bei einem großen Händler eingeht.
- Was ist der Unterschied zwischen Containment-Rate und Lösungsquote?
- Containment zählt Konversationen, die keinen Menschen erreicht haben, aus welchem Grund auch immer. Die Lösungsquote zählt Konversationen, in denen der Kunde tatsächlich bekommen hat, weswegen er kam. Jede gelöste Konversation ist contained, aber nicht jede contained Konversation ist gelöst, und der Abstand dazwischen besteht aus Menschen, die aufgegeben haben. Containment ist leicht zu messen und leicht misszuverstehen. Die Lösungsquote braucht eine Bewertung oder ein Ergebnis-Label, um ehrlich zu sein.
- Wie messe ich den ROI eines Chatbots?
- Multiplizieren Sie die Konversationen, die der Bot ohne Menschen erledigt hat, mit dem, was Sie ein menschlich bearbeiteter Kontakt kostet, und ziehen Sie die Plattformgebühr ab. Die Kontaktkosten holen Sie aus Ihrem eigenen Team: durchschnittliche Bearbeitungszeit mal Vollkostensatz pro Stunde. Vertriebsbots brauchen eine zweite Zeile, nämlich die Konversationen, die zu einer Buchung oder Bestellung geführt haben, und dafür muss der Chatbot an Ihr bestehendes Conversion-Tracking angebunden sein statt getrennt gezählt zu werden.
- Wie viel Traffic brauche ich, damit Chatbot-Analytics etwas aussagt?
- Quoten brauchen einen Nenner. Unter etwa 30 Konversationen im Zeitraum behandeln Sie jede Prozentangabe als Hinweis und lesen stattdessen die Konversationen selbst, was bei dieser Menge tatsächlich geht und mehr aussagt als jedes Diagramm. Ab rund 100 pro Monat werden Wochenquoten stabil genug, um darauf zu handeln. Darunter beobachten Sie Zähler und lesen Verläufe.
- Wie verbessere ich den Chatbot mit Analytics wirklich?
- Arbeiten Sie die Liste der schwachen Antworten ab, nicht das Dashboard. Sortieren Sie die Antworten, die das System als schlecht abgedeckt markiert hat, lesen Sie die Fragen dahinter und stellen Sie fest, dass sie sich wiederholen: Eine Handvoll Themen macht meist den Großteil der Liste aus. Schreiben Sie diese Absätze in die Wissensdatenbank und prüfen Sie dieselbe Quote eine Woche später. Danach dasselbe mit den eskalierten Konversationen, die sich genauso gruppieren.
- Wie oft sollte ich Chatbot-Analytics durchsehen?
- In den ersten zwei Wochen nach dem Start oder nach einer größeren Inhaltsänderung täglich, weil dann die offensichtlichen Lücken auftauchen und billig zu schließen sind. Danach wöchentlich: Containment, Konfidenz und der Kopf der Liste schwacher Antworten. Monatlich vergleichen Sie Zeiträume und stellen eine andere Frage, nämlich ob sich die Themen verschoben haben, nach denen gefragt wird. Das ist meist ein Zeichen dafür, dass sich das Geschäft geändert hat und der Inhalt nicht.
- Ist Chatbot-Analytics DSGVO-konform?
- Das kann es sein, und den Unterschied machen die Entwurfsentscheidungen. Halten Sie Konversationsdaten für ein definiertes Fenster vor und löschen Sie planmäßig statt für immer, speichern Sie Besucherkennungen gehasht statt im Klartext, und behalten Sie die aggregierten Tageswerte, die keine personenbezogenen Daten mehr sind, sobald die Transkripte weg sind, damit die Auswertung die Löschung überlebt. Sagen Sie Besuchern, was gespeichert wird. In der EU ist das eine Einwilligungsfrage und etwas anderes als der Hinweis, dass sie mit einer KI sprechen. Chatloom nutzt standardmäßig ein Fenster von dreißig Tagen mit nächtlichem Löschjob, hasht Besucher-IPs und behält die Aggregate.
Weitere Ressourcen
Bauen Sie Ihren ersten Agenten
in unter einer Stunde.
Wählen Sie eine Vorlage, verbinden Sie Ihre Inhalte und veröffentlichen Sie auf jedem Kanal. Ihr kostenloser Plan ist bereit, wenn Sie es sind.