Analitica chatbot
L'analitica chatbot è la pratica di misurare come si comporta un chatbot con IA, dal contenimento alla confidenza fino a soddisfazione e tempo di risposta, e di usare quei numeri per decidere cosa sistemare dopo.
Che cos’è Analitica chatbot?
L'analitica chatbot consiste nel raccogliere e interpretare i dati che un chatbot con IA produce mentre parla con i clienti, trasformandoli in decisioni su cosa cambiare dopo. I numeri si dividono in quattro famiglie. Il volume dice quanto lavoro sta assorbendo il bot: conversazioni, messaggi, visitatori unici. La qualità dice quanto bene ha risposto: punteggi di confidenza, quota di risposte che il sistema stesso ha segnalato come deboli e esito registrato su ogni conversazione. L'esperienza dice com'è andata dall'altra parte: valutazioni, sentimento, tempo di risposta. L'impatto sul business lega tutto il resto al denaro: contatti gestiti senza una persona e quanto sarebbero costati altrimenti.
La distinzione utile non è tra numeri buoni e numeri cattivi, ma tra contatori e decisioni. Il totale delle conversazioni è un contatore. Sale quando il marketing ha avuto una buona settimana e non dice nulla sul bot. La quota di risposte sotto la soglia di confidenza è invece una decisione: indica un elenco preciso di domande che la tua base di conoscenza non copre, e ognuna è un paragrafo che qualcuno può scrivere questo pomeriggio. Una dashboard piena di contatori sembra informativa e non cambia niente. L'abitudine che conviene prendere è chiedere a ogni grafico sullo schermo: cosa farei di diverso se questo numero si muovesse?
L'analitica chiude anche le discussioni che altrimenti vanno avanti per aneddoti. Uno screenshot arrabbiato inoltrato da un collega non dimostra che il bot è rotto, e un cliente entusiasta non dimostra che funziona. Un mese di conversazioni, raggruppate per tema e valutate per esito, lo dimostra. È questo lo spostamento vero: gestire un chatbot smette di essere questione di opinioni e diventa qualcosa su cui puoi sbagliare in modo misurabile, e poi correggere.
Come funziona Analitica chatbot
La misurazione parte dal singolo messaggio. Ogni volta che il bot risponde, il sistema registra la domanda, la risposta data, quanto il passaggio di recupero fosse sicuro che la base di conoscenza coprisse davvero quella domanda, quali passaggi ha usato e quanto ci ha messo. Il segnale portante qui è la confidenza, perché viene prodotta prima che il cliente reagisca. Intercetta una risposta sbagliata anche quando nessuno si lamenta, il che succede quasi sempre.
Le conversazioni chiudono il cerchio. Quando una sessione finisce, la piattaforma ripiega i suoi messaggi in un unico record: quanti turni sono serviti, quanto è durata, se è stata coinvolta una persona, di cosa si parlava, come suonava il cliente e la valutazione se l'ha data. È l'unità con cui dovrebbe lavorare la maggior parte dei report, perché i clienti non vivono i messaggi. Vivono l'ottenere una risposta, oppure il non ottenerla.
L'aggregazione trasforma poi quei record in una riga giornaliera per agente con messaggi, visitatori unici, tempo medio di risposta, soddisfazione media, confidenza media ed escalation. È questo che rende economico interrogare una tendenza su dodici mesi. In questo strato vivono due trappole. I numeri piccoli mentono: un tasso di contenimento del 40 % su dodici conversazioni è un lancio di moneta, non un risultato, quindi controlla il denominatore prima di reagire a qualsiasi percentuale. E le medie nascondono proprio quello che stai cercando. Una confidenza media di 0,72 può essere un bot costantemente discreto oppure un bot eccellente su nove temi e inutile sul decimo. Guarda invece la distribuzione, perché è nel decimo tema che sta il lavoro.
Le metriche da seguire
Che cosa misura ogni numero, come si calcola, l'intervallo da aspettarsi e la prima cosa da controllare quando si sposta. Considera gli intervalli un punto di partenza e non un obiettivo: cambiano con la composizione del traffico e con quanto la tua base di conoscenza copre le domande che arrivano davvero.
Conversazioni
Quante sessioni distinte il bot ha gestito nel periodo. È il denominatore di ogni percentuale qui sotto, non un risultato in sé.
- Come si calcola
- Numero di conversazioni avviate nel periodo.
- Intervallo sano
- Quello che ti dà il traffico. Sotto la trentina nel periodo, leggi ogni percentuale solo come indicazione di direzione.
- Quando si sposta
- Vicino a zero dopo aver installato il widget di solito è una questione di posizionamento, non di domanda. Verifica che il widget si carichi sulle pagine dove le persone arrivano davvero e che qualcosa inviti al primo messaggio.
Tasso di contenimento
La quota di conversazioni chiuse senza il coinvolgimento di una persona, in inglese containment. È il numero da riportare ai piani alti, perché è quello che si traduce in carico di lavoro.
- Come si calcola
- Conversazioni meno conversazioni inoltrate a una persona, diviso conversazioni.
- Intervallo sano
- Grossomodo tra il 55 % e l'80 % per un bot di supporto la cui base di conoscenza copre i suoi temi. Le installazioni nuove spesso partono intorno al 40 % e salgono man mano che i buchi vengono chiusi.
- Quando si sposta
- Sotto il 50 %, leggi le conversazioni inoltrate invece del grafico. Si raggruppano, e di solito sono due o tre temi che al bot non sono mai stati dati.
Tasso di escalation
La quota di conversazioni passate a una persona. È il complemento del contenimento, ma vale seguirlo a parte perché è il numero che il tuo team sente davvero.
- Come si calcola
- Conversazioni inoltrate diviso conversazioni.
- Intervallo sano
- Grossomodo tra il 20 % e il 45 %. Un valore vicino a zero è un allarme e non una vittoria: di solito significa che raggiungere una persona è troppo difficile.
- Quando si sposta
- Un'impennata improvvisa è quasi sempre contenuto scaduto. Un cambio di prezzo, una policy aggiornata o un prodotto nuovo di cui il bot non ha mai sentito parlare.
Confidenza media delle risposte
Quanto la base di conoscenza copriva le domande arrivate, valutato dal sistema prima che il cliente reagisca.
- Come si calcola
- Media dei punteggi di confidenza per risposta nel periodo, su una scala da 0 a 1.
- Intervallo sano
- Grossomodo tra 0,65 e 0,85. Sotto 0,5 un sistema ben costruito dovrebbe rifiutarsi di rispondere invece di tirare a indovinare.
- Quando si sposta
- Un calo lento di solito significa che si sono spostate le domande, non il contenuto. Le persone hanno iniziato a chiedere qualcosa di nuovo: leggi i punteggi bassi recenti.
Tasso di lacune di conoscenza
La quota di risposte che il sistema stesso ha marcato come mal coperte. Il numero più azionabile di questa pagina.
- Come si calcola
- Risposte sotto la soglia di bassa confidenza, diviso tutte le risposte.
- Intervallo sano
- Sotto il 15 % circa. Sotto il 5 % è una base di conoscenza matura.
- Quando si sposta
- Non sistemare la percentuale, sistema l'elenco. Ogni risposta a bassa confidenza porta con sé la domanda del cliente che l'ha causata, le domande si ripetono e una manciata di paragrafi nuovi di solito muove l'intero numero.
Soddisfazione del cliente (CSAT)
Cosa hanno detto le persone della conversazione quando è stato chiesto loro, di solito su una scala da uno a cinque.
- Come si calcola
- Media delle valutazioni date, sulle conversazioni che sono state valutate.
- Intervallo sano
- Intorno a 4 su 5. Aspettati che venga valutato solo il 5 % o il 15 % delle conversazioni: è normale, non un difetto di misurazione.
- Quando si sposta
- Leggi da cima a fondo le conversazioni da una stella. Le valutazioni basse raramente riguardano una risposta sbagliata. Più spesso riguardano un bot che ha sbagliato con sicurezza, o che ha impiegato troppo a proporre una persona.
Distribuzione del sentimento
La quota di conversazioni che nel complesso risultano positive, neutre o negative.
- Come si calcola
- Conversazioni in ciascuna classe di sentimento, diviso conversazioni.
- Intervallo sano
- Negativo sotto il 15 % circa. Il traffico di supporto sano è in gran parte neutro, ed è giusto così: le persone arrivavano con un compito, non con uno stato d'animo.
- Quando si sposta
- Un picco di negativo è un tema, non una tendenza. Filtra le conversazioni negative di quella settimana e la causa di solito è una singola cosa rotta.
Tempo di risposta
Quanto ha aspettato il cliente per la risposta.
- Come si calcola
- Tempo medio dal messaggio del cliente alla risposta completa.
- Intervallo sano
- Prime parole visibili entro un paio di secondi quando la risposta arriva in streaming, risposta completa entro dieci. Oltre, le persone se ne vanno.
- Quando si sposta
- Una lentezza improvvisa non è quasi mai il modello. Controlla quanto sta tirando dentro il passaggio di recupero e se sul percorso c'è una chiamata a uno strumento esterno.
Messaggi per conversazione
Quanti turni sono serviti per arrivare da qualche parte. Un indicatore indiretto del fatto che le risposte centrino il bersaglio al primo colpo.
- Come si calcola
- Totale messaggi diviso conversazioni.
- Intervallo sano
- Grossomodo da tre a sei. Stabilmente sopra otto di solito significa che il bot quasi risponde e mai del tutto.
- Quando si sposta
- Leggi qualcuna delle conversazioni lunghe. Lo schema di solito è un unico dettaglio mancante, un prezzo, una scadenza, un paese supportato, attorno a cui il cliente continua a girare.
Punteggio di qualità
Un solo numero composito per conversazione, così da confrontare un periodo con un altro senza leggere dieci grafici.
- Come si calcola
- Miscela pesata di valutazione, ricorso o meno a una persona, esito registrato, sentimento e lunghezza, normalizzata da 0 a 1.
- Intervallo sano
- Grossomodo tra 0,6 e 0,8 di media. Usalo per la tendenza e per ordinare le conversazioni da rileggere, non come obiettivo da centrare.
- Quando si sposta
- Tratta un calo come un indizio e poi apri le componenti. Un numero composito ti dice che qualcosa è cambiato. Non ti dice mai cosa.
Perché Analitica chatbot è importante
Senza misurazione, migliorare un chatbot è tirare a indovinare travestito da intuito. Con la misurazione il ciclo è breve e noioso nel senso migliore: trova i temi dove la confidenza è bassa, scrivi il contenuto che manca, guarda la percentuale scendere la settimana dopo. La maggior parte dei bot che le persone definiscono scadenti non è costruita male, non è mai stata riletta. Nessuno ha mai letto le domande a cui il bot non sapeva rispondere, e la stessa lacuna è rimasta lì per un anno.
Misurare è anche il modo in cui un chatbot smette di essere una voce di costo e diventa un risparmio che puoi difendere. Il conto sta su un foglio. Prendi le conversazioni che il bot ha chiuso da solo in un mese, moltiplicale per quanto ti costa un contatto gestito da una persona, cioè il tempo medio di gestione del tuo team per il tuo costo orario pieno, e confronta il risultato con il canone della piattaforma. Mille conversazioni con il 65 % di contenimento sono 650 contatti che il tuo team non ha mai visto. Che valgano diecimila o cinquecento dipende interamente dai tuoi numeri, e il senso dell'esercizio è proprio che adesso quei numeri li hai.
Un avvertimento vale più di qualunque intervallo di questa pagina. Un tasso di contenimento alto non è automaticamente una buona notizia. Il contenimento conta ogni conversazione che non è arrivata a una persona, e un cliente che si è arreso e ha chiuso la finestra conta esattamente come uno che ha ottenuto la sua risposta. Per questo il contenimento non va mai letto da solo. Affiancalo alla soddisfazione e ai messaggi per conversazione e i due casi si separano subito: le conversazioni risolte sono brevi e valutate bene, quelle abbandonate si allungano e non vengono valutate affatto.
Come Chatloom utilizza Analitica chatbot
Chatloom registra tutto questo per impostazione predefinita e non come componente aggiuntivo. Ogni risposta porta con sé un punteggio di confidenza e i passaggi su cui si regge, ogni conversazione porta esito, intento, sentimento e valutazione, e un'aggregazione notturna tiene una riga al giorno per agente con messaggi, visitatori unici, tempo medio di risposta, soddisfazione media, confidenza media ed escalation. È questo che mantiene veloce da interrogare un anno di tendenza.
La sezione analitica mostra quei valori per agente e sull'intero spazio di lavoro, con le conversazioni dietro qualsiasi numero a un clic di distanza. La prima cosa da aprire è l'elenco a bassa confidenza. Porta a galla le risposte finite sotto la soglia insieme alla domanda del cliente che ha generato ciascuna, e trasforma così l'istruzione vaga di migliorare la base di conoscenza in un elenco concreto di paragrafi da scrivere. Le conversazioni si ordinano per punteggio di qualità composito per trovare in fretta le peggiori, gli agenti si confrontano fianco a fianco e un periodo si esporta in CSV, JSON o report HTML quando qualcuno lo vuole in un foglio di calcolo.
La conservazione fa parte del progetto e non è un ripensamento. I dati di conversazione restano per la finestra configurata sull'agente, trenta giorni per impostazione predefinita, dopodiché un processo notturno cancella del tutto quelle conversazioni e i loro messaggi. Gli indirizzi IP dei visitatori sono salvati con hash e mai in chiaro. Le righe giornaliere aggregate sopravvivono a quella cancellazione, che è esattamente l'assetto che vuoi: la linea di tendenza vive per anni, la trascrizione dietro no.
Termini correlati
Esplora i concetti correlati per approfondire l’argomento.
Domande frequenti
- Qual è la metrica più importante per un chatbot?
- Il tasso di contenimento, cioè la quota di conversazioni che si chiudono senza una persona, perché si traduce direttamente in carico di lavoro e in costo. Da solo però non significa nulla: un bot che stanca le persone finché se ne vanno ottiene lo stesso punteggio di uno che risponde alle loro domande. Leggi il contenimento accanto alla soddisfazione e ai messaggi per conversazione e i due casi si separano all'istante.
- Qual è un buon tasso di risoluzione per un chatbot?
- Per un bot di supporto la cui base di conoscenza copre davvero i suoi temi, una quota tra il 55 % e l'80 % di conversazioni chiuse senza una persona è un intervallo normale, e le installazioni nuove spesso partono più vicine al 40 % e salgono man mano che i buchi vengono chiusi. L'intervallo si sposta molto con il perimetro: un bot che risponde su un solo prodotto sta molto più in alto di uno che raccoglie tutto quello che arriva a un grande rivenditore.
- Che differenza c'è tra tasso di contenimento e tasso di risoluzione?
- Il contenimento conta le conversazioni che non hanno raggiunto una persona, per qualunque motivo. La risoluzione conta le conversazioni in cui il cliente ha davvero ottenuto ciò per cui era venuto. Ogni conversazione risolta è contenuta, ma non ogni conversazione contenuta è risolta, e la differenza tra le due è fatta di persone che hanno rinunciato. Il contenimento è facile da misurare e facile da fraintendere. La risoluzione ha bisogno di una valutazione o di un'etichetta di esito per essere onesta.
- Come si misura il ROI di un chatbot?
- Moltiplica le conversazioni che il bot ha chiuso da solo per quanto ti costa un contatto gestito da una persona, poi sottrai il canone della piattaforma. Il costo per contatto lo ricavi dal tuo team: tempo medio di gestione per costo orario pieno. I bot di vendita richiedono una seconda riga, le conversazioni che hanno portato a una prenotazione o a un ordine, e per questo il chatbot va agganciato al tracciamento delle conversioni che già usi invece di essere contato a parte.
- Quanto traffico serve perché l'analitica chatbot dica qualcosa?
- Le percentuali hanno bisogno di un denominatore. Sotto la trentina di conversazioni nel periodo, tratta ogni percentuale come un indizio e leggi invece le conversazioni stesse, cosa che a quel volume puoi fare per davvero e che dice più di qualsiasi grafico. Intorno alle cento al mese le percentuali settimanali iniziano a essere abbastanza stabili da agirci sopra. Sotto, guarda i contatori e leggi le trascrizioni.
- Come uso l'analitica per migliorare davvero il chatbot?
- Lavora sull'elenco a bassa confidenza, non sulla dashboard. Ordina le risposte che il sistema ha segnalato come mal coperte, leggi le domande che le hanno generate e nota che si ripetono: una manciata di temi di solito spiega gran parte dell'elenco. Scrivi quei paragrafi nella base di conoscenza, poi ricontrolla la stessa percentuale una settimana dopo. Poi fai lo stesso con le conversazioni inoltrate, che si raggruppano allo stesso modo.
- Ogni quanto vanno guardate le metriche del chatbot?
- Ogni giorno per le prime due settimane dopo il lancio o dopo un grosso cambio di contenuti, perché è allora che affiorano le lacune evidenti ed è economico chiuderle. Poi ogni settimana: contenimento, confidenza e testa dell'elenco a bassa confidenza. Ogni mese confronta i periodi e poniti un'altra domanda, se cioè si sono spostati i temi su cui le persone chiedono, cosa che di solito segnala che è cambiata l'attività e non il contenuto.
- L'analitica chatbot è compatibile con il GDPR?
- Può esserlo, e a fare la differenza sono le scelte di progetto. Conserva i dati di conversazione per una finestra definita e cancellali secondo il piano invece che mai, salva gli identificativi dei visitatori con hash e non in chiaro, e mantieni i numeri giornalieri aggregati, che non sono più dati personali una volta sparite le trascrizioni, così la reportistica sopravvive alla cancellazione. Di' al visitatore cosa viene conservato: nell'Unione europea è una questione di consenso, distinta dall'avvisarlo che sta parlando con un'IA. Chatloom usa per impostazione predefinita una finestra di trenta giorni con cancellazione notturna, applica l'hash agli IP dei visitatori e conserva gli aggregati.
Risorse correlate
Costruisci il tuo primo agente
in meno di un'ora.
Scegli un template, collega i tuoi contenuti e distribuisci su ogni canale. Il tuo piano gratuito è pronto quando lo sei tu.