Chatbot Analitiği
Chatbot analitiği, bir yapay zeka chatbot'unun nasıl çalıştığını ölçme ve bu sayılara bakarak sıradaki işi belirleme pratiğidir: bota kalma oranı, güvenilirlik, memnuniyet, yanıt süresi.
Chatbot Analitiği Nedir?
Chatbot analitiği, bir yapay zeka chatbot'unun müşterilerle konuşurken ürettiği verinin toplanması, yorumlanması ve sıradaki değişikliğe dönüştürülmesidir. Sayılar dört aileye ayrılır. Hacim, botun ne kadar iş emdiğini söyler: konuşma sayısı, mesaj sayısı, tekil ziyaretçi. Kalite, ne kadar iyi yanıtladığını söyler: güvenilirlik puanları, sistemin kendi zayıf bulduğu yanıtların oranı ve her konuşmaya işlenen sonuç. Deneyim, karşı tarafta nasıl hissettirdiğini söyler: puanlar, duygu, yanıt süresi. İş etkisi ise gerisini paraya bağlar: insana gitmeden karşılanan temas sayısı ve bunların aksi halde neye mal olacağı.
İşe yarar ayrım, iyi sayılarla kötü sayılar arasında değil, sayaçlarla kararlar arasındadır. Toplam konuşma bir sayaçtır. Pazarlama iyi bir hafta geçirdiğinde yükselir ve bot hakkında hiçbir şey söylemez. Güvenilirlik eşiğinin altında kalan yanıtların oranı ise bir karardır: bilgi tabanınızın kapsamadığı somut bir soru listesini gösterir ve bunların her biri, bugün öğleden sonra birinin yazabileceği bir paragraftır. Sayaçlarla dolu bir pano bilgilendirici hissettirir ve hiçbir şeyi değiştirmez. Edinilmeye değer alışkanlık, ekrandaki her grafiğe şunu sormaktır: bu sayı değişseydi neyi farklı yapardım?
Analitik ayrıca anekdotla yürüyen tartışmaları da bitirir. Bir meslektaşın ilettiği öfkeli tek bir ekran görüntüsü botun bozuk olduğunun kanıtı değildir; memnun tek bir müşteri de çalıştığının kanıtı değildir. Konuya göre gruplanmış ve sonuca göre puanlanmış bir aylık konuşma ise kanıttır. Asıl değişim budur: chatbot yönetmek bir görüş meselesi olmaktan çıkar, ölçülebilir biçimde yanılabileceğiniz ve sonra düzeltebileceğiniz bir işe dönüşür.
Chatbot Analitiği Nasıl Çalışır?
Ölçüm mesaj düzeyinde başlar. Bot her yanıt verdiğinde sistem şunları kaydeder: soruyu, verdiği yanıtı, getirme adımının bilgi tabanının o soruyu gerçekten kapsadığına ne kadar güvendiğini, hangi pasajları kullandığını ve yanıtın ne kadar sürdüğünü. Buradaki taşıyıcı sinyal güvenilirliktir, çünkü müşteri tepki vermeden önce üretilir. Kimse şikâyet etmese bile kötü yanıtı yakalar, ki çoğu zaman kimse şikâyet etmez.
Konuşmalar döngüyü kapatır. Oturum bittiğinde platform mesajları tek bir kayda katlar: kaç tur sürdü, ne kadar devam etti, insana devredildi mi, konu neydi, müşterinin tonu nasıldı ve verildiyse puan kaçtı. Raporlamanın çoğu bu birimi kullanmalıdır, çünkü müşteriler mesaj deneyimlemez. Yanıt almayı ya da alamamayı deneyimler.
Toplulaştırma ise bu kayıtları ajan başına günlük satırlara çevirir: mesaj, tekil ziyaretçi, ortalama yanıt süresi, ortalama memnuniyet, ortalama güvenilirlik ve devretme sayısı. On iki aylık bir trendi ucuza sorgulanabilir kılan şey budur. Bu katmanda iki tuzak vardır. Küçük sayılar yalan söyler: on iki konuşma üzerinden yüzde 40'lık bir bota kalma oranı bir bulgu değil yazı turadır, o yüzden herhangi bir orana tepki vermeden önce paydaya bakın. Ortalamalar da tam aradığınız şeyi gizler. 0,72'lik ortalama güvenilirlik, istikrarlı biçimde iyi bir bot da olabilir, dokuz konuda mükemmel onuncuda işe yaramaz bir bot da. Onun yerine dağılıma bakın, çünkü iş o onuncu konudadır.
İzlenecek Metrikler
Her sayının ne ölçtüğü, nasıl hesaplandığı, hangi aralığın beklendiği ve saptığında ilk bakılacak yer. Aralıkları hedef değil başlangıç noktası olarak alın: trafiğinizin bileşimine ve bilgi tabanınızın gerçekten sorulan soruları ne kadar kapsadığına göre değişirler.
Konuşma sayısı
Botun dönem içinde karşıladığı ayrı oturum sayısı. Bu, aşağıdaki her oranın paydasıdır, kendi başına bir başarı değil.
- Nasıl hesaplanır
- Dönem içinde başlayan konuşmaların sayısı.
- Sağlıklı aralık
- Trafiğiniz ne veriyorsa o. Bir dönemde kabaca 30'un altındaysa her yüzdeyi yalnızca yön göstergesi olarak okuyun.
- Saptığında
- Widget kurulduktan sonra sıfıra yakınsa bu genelde talep değil konumlandırma sorunudur. Widget'ın insanların gerçekten indiği sayfalarda yüklendiğinden ve ilk mesaja bir davet olduğundan emin olun.
Bota kalma oranı
İnsana devredilmeden biten konuşmaların oranı, İngilizcede containment. Yukarıya raporlanacak sayı budur, çünkü iş yüküne birebir karşılık gelir.
- Nasıl hesaplanır
- Konuşma sayısından devredilenler çıkarılır, konuşma sayısına bölünür.
- Sağlıklı aralık
- Bilgi tabanı konularını kapsayan bir destek botu için kabaca yüzde 55 ile 80 arası. Yeni kurulumlar çoğu zaman yüzde 40 civarında başlar ve boşluklar doldukça yükselir.
- Saptığında
- Yüzde 50'nin altındaysa grafiğe değil devredilen konuşmalara bakın. Kümelenirler ve genelde bota hiç verilmemiş iki üç konu çıkar.
Devretme oranı
İnsana aktarılan konuşmaların oranı. Bota kalma oranının tümleyeni, ama ayrıca izlenmeye değer, çünkü ekibinizin fiilen hissettiği sayı budur.
- Nasıl hesaplanır
- Devredilen konuşmalar bölü toplam konuşma.
- Sağlıklı aralık
- Kabaca yüzde 20 ile 45 arası. Sıfıra yakın bir oran kazanım değil uyarıdır: genelde insana ulaşmanın fazla zor olduğu anlamına gelir.
- Saptığında
- Ani yükseliş neredeyse her zaman bayatlamış içeriktir. Bir fiyat değişikliği, güncellenen bir politika ya da botun hiç duymadığı yeni bir ürün.
Ortalama yanıt güvenilirliği
Sorulan soruları bilgi tabanının ne kadar kapsadığı. Müşteri tepki vermeden önce sistem tarafından puanlanır.
- Nasıl hesaplanır
- Dönemdeki yanıt başına güvenilirlik puanlarının ortalaması, 0 ile 1 arasında.
- Sağlıklı aralık
- Kabaca 0,65 ile 0,85 arası. 0,5'in altında iyi kurulmuş bir sistem, tahmin yürütmek yerine yanıt vermeyi reddetmelidir.
- Saptığında
- Yavaş düşüş genelde içeriğin değil soruların değiştiğini gösterir. İnsanlar yeni bir şey sormaya başlamıştır, son düşük puanlıları okuyun.
Bilgi boşluğu oranı
Sistemin kendi kapsamı zayıf işaretlediği yanıtların oranı. Bu sayfadaki en eyleme dönük tek sayı.
- Nasıl hesaplanır
- Düşük güvenilirlik eşiğinin altında kalan yanıtlar bölü tüm yanıtlar.
- Sağlıklı aralık
- Yaklaşık yüzde 15'in altı. Yüzde 5'in altı olgun bir bilgi tabanıdır.
- Saptığında
- Oranı değil listeyi düzeltin. Düşük güvenilirlikli her yanıt, ona sebep olan müşteri sorusunu taşır. Sorular tekrar eder ve birkaç yeni paragraf genelde sayının tamamını oynatır.
Müşteri memnuniyeti (CSAT)
Sorulduğunda insanların konuşma hakkında söyledikleri, genelde birden beşe bir ölçekte.
- Nasıl hesaplanır
- Verilen puanların, puanlanan konuşmalar üzerinden ortalaması.
- Sağlıklı aralık
- 5 üzerinden 4 civarı. Konuşmaların yalnızca yüzde 5 ile 15'inin puanlanmasını bekleyin, bu bir ölçüm hatası değil normaldir.
- Saptığında
- Tek yıldızlı konuşmaları baştan sona okuyun. Düşük puanlar nadiren yanıtın yanlış olmasıyla ilgilidir. Genelde botun kendinden emin biçimde yanılması ya da insana geç yönlendirmesiyle ilgilidir.
Duygu dağılımı
Konuşmaların genel olarak olumlu, nötr ya da olumsuz okunma oranı.
- Nasıl hesaplanır
- Her duygu sınıfındaki konuşmalar bölü toplam konuşma.
- Sağlıklı aralık
- Olumsuz, yaklaşık yüzde 15'in altında. Sağlıklı destek trafiğinin çoğu nötrdür ve bu iyidir: insanlar bir ruh haliyle değil bir işle gelir.
- Saptığında
- Olumsuzdaki sıçrama bir trend değil bir konudur. O haftanın olumsuz konuşmalarını süzün, sebep genelde bozulan tek bir şeydir.
Yanıt süresi
Müşterinin yanıt için beklediği süre.
- Nasıl hesaplanır
- Müşteri mesajından tamamlanan yanıta kadar geçen ortalama süre.
- Sağlıklı aralık
- Yanıtlar akarken ilk kelimeler yaklaşık iki saniye içinde, tam yanıt on saniye içinde. Ötesinde insanlar ayrılır.
- Saptığında
- Ani yavaşlama neredeyse hiçbir zaman model değildir. Getirme adımının ne kadar veri çektiğine ve yolda harici bir araç çağrısı olup olmadığına bakın.
Konuşma başına mesaj
Bir yere varmanın kaç tur sürdüğü. Yanıtların ilk seferde tutup tutmadığının dolaylı göstergesi.
- Nasıl hesaplanır
- Toplam mesaj bölü toplam konuşma.
- Sağlıklı aralık
- Kabaca üç ile altı arası. Sürekli sekizin üstündeyse bot genelde neredeyse yanıtlıyor ama tam yanıtlamıyordur.
- Saptığında
- Uzunlardan birkaçını okuyun. Örüntü genelde müşterinin etrafında döndüğü tek bir eksik ayrıntıdır: bir fiyat, bir süre, desteklenen bir ülke.
Kalite puanı
Konuşma başına tek bir bileşik sayı. Böylece bir dönem, on grafik okumadan bir başkasıyla karşılaştırılabilir.
- Nasıl hesaplanır
- Puan, insana ihtiyaç duyulup duyulmadığı, kaydedilen sonuç, duygu ve uzunluğun ağırlıklı birleşimi, 0 ile 1 arasına normalize edilir.
- Sağlıklı aralık
- Ortalamada kabaca 0,6 ile 0,8 arası. Trend için ve incelenecek konuşmaları sıralamak için kullanın, tutturulacak bir hedef olarak değil.
- Saptığında
- Düşüşü bir işaret olarak alın, sonra bileşenleri açın. Bileşik bir sayı bir şeyin değiştiğini söyler. Neyin değiştiğini asla söylemez.
Chatbot Analitiği Neden Önemli?
Ölçüm olmadan bir chatbot'u iyileştirmek, sezgi kılığına girmiş tahmindir. Ölçümle birlikte döngü kısa ve iyi anlamda sıkıcıdır: güvenilirliğin düşük olduğu konuları bulun, eksik içeriği yazın, oranın ertesi hafta düştüğünü görün. İnsanların kötü dediği botların çoğu kötü kurulmuş değildir, hiç incelenmemiştir. Botun yanıtlayamadığı soruları kimse okumamıştır ve aynı boşluk bir yıl orada durmuştur.
Ölçüm ayrıca bir chatbot'un maliyet kalemi olmaktan çıkıp savunabileceğiniz bir tasarrufa dönüşme yoludur. Hesap bir kağıda sığar. Botun bir ayda insana gitmeden karşıladığı konuşma sayısını alın, insanın karşıladığı bir temasın size maliyetiyle çarpın, yani ekibinizin ortalama işlem süresiyle kendi tam maliyetli saat ücretinizle, sonra çıkanı platform ücretiyle karşılaştırın. Yüzde 65 bota kalma oranıyla bin konuşma, ekibinizin hiç görmediği 650 temas demektir. Bunun on bin mi beş yüz mü ettiği tamamen sizin sayılarınıza bağlıdır ve bu alıştırmanın amacı zaten artık o sayılara sahip olmanızdır.
Bu sayfadaki her ölçüt aralığından daha değerli tek bir uyarı var. Yüksek bir bota kalma oranı otomatik olarak iyi haber değildir. Bu oran, insana ulaşmayan her konuşmayı sayar ve vazgeçip pencereyi kapatan müşteri de, yanıtını alan müşteriyle tam olarak aynı şekilde sayılır. Bota kalma oranının asla tek başına okunmaması bundandır. Memnuniyet ve konuşma başına mesajla birlikte okuyun, iki durum hemen ayrışır: çözülen konuşmalar kısadır ve iyi puanlanır, terk edilenler uzar ve hiç puanlanmaz.
Chatloom Chatbot Analitiği Kavramını Nasıl Kullanıyor?
Chatloom bunları eklenti olarak değil, varsayılan olarak kaydeder. Her yanıt bir güvenilirlik puanı ve arkasındaki pasajları taşır, her konuşma sonucunu, niyetini, duygusunu ve puanını taşır, gecelik bir toplulaştırma da ajan başına günlük tek satır tutar: mesaj, tekil ziyaretçi, ortalama yanıt süresi, ortalama memnuniyet, ortalama güvenilirlik ve devretme sayısı. Bir yıllık trendi hızlı sorgulanabilir tutan şey budur.
Analitik bölümü bu rakamları hem ajan bazında hem tüm çalışma alanı için gösterir, herhangi bir sayının arkasındaki konuşmalar bir tık uzaktadır. İlk açılmaya değer yer düşük güvenilirlik listesidir. Eşiğin altında kalan yanıtları, her birine sebep olan müşteri sorusuyla birlikte yüzeye çıkarır. Böylece “bilgi tabanınızı iyileştirin” gibi belirsiz bir öğüt, yazılacak somut bir paragraf listesine dönüşür. Konuşmalar en kötüleri hızlıca bulmak için bileşik kalite puanına göre sıralanabilir, ajanlar yan yana karşılaştırılabilir ve biri tabloda görmek istediğinde dönem CSV, JSON ya da HTML rapor olarak dışa aktarılır.
Saklama süresi sonradan eklenen bir şey değil, tasarımın parçasıdır. Konuşma verisi ajanda tanımlı süre boyunca, varsayılan olarak otuz gün, tutulur, ardından gecelik bir iş o konuşmaları ve mesajlarını tamamen siler. Ziyaretçi IP adresleri ham değil karma olarak saklanır. Günlük toplulaştırılmış satırlar bu silmeden sağ çıkar ki istediğiniz düzen de budur: trend çizgisi yıllarca yaşar, arkasındaki döküm yaşamaz.
İlgili Terimler
Konuyu daha iyi kavramak için ilgili kavramları da inceleyin.
Sık Sorulan Sorular
- En önemli chatbot metriği nedir?
- Bota kalma oranı, yani insana gitmeden biten konuşmaların oranı, çünkü doğrudan iş yüküne ve maliyete karşılık gelir. Yine de tek başına anlamsızdır: insanları bıktırıp gönderen bir bot da, sorularını yanıtlayan bir bot da aynı puanı alır. Bota kalma oranını memnuniyet ve konuşma başına mesajla yan yana okuyun, iki durum anında ayrışır.
- İyi bir chatbot çözüm oranı kaçtır?
- Bilgi tabanı konularını gerçekten kapsayan bir destek botu için konuşmaların kabaca yüzde 55 ile 80'inin insana gitmeden bitmesi normal aralıktır ve yeni kurulumlar çoğu zaman yüzde 40 civarında başlayıp boşluklar doldukça yükselir. Aralık kapsamla ciddi biçimde değişir: tek bir ürünle ilgili soruları yanıtlayan bir bot, büyük bir perakendeciye gelen her şeyi karşılayan bottan çok daha yüksekte oturur.
- Bota kalma oranı ile çözüm oranı arasındaki fark nedir?
- Bota kalma oranı, sebebi ne olursa olsun insana ulaşmayan konuşmaları sayar. Çözüm oranı ise müşterinin aradığını gerçekten aldığı konuşmaları sayar. Çözülen her konuşma bota kalmıştır ama bota kalan her konuşma çözülmemiştir ve aradaki fark, vazgeçen insanlardan oluşur. Bota kalma oranını ölçmek kolaydır, yanlış okumak da kolaydır. Çözüm oranının dürüst olabilmesi için bir puana ya da bir sonuç etiketine ihtiyacı vardır.
- Bir chatbot'un yatırım getirisini (ROI) nasıl ölçerim?
- Botun insana gitmeden karşıladığı konuşma sayısını, insanın karşıladığı bir temasın size maliyetiyle çarpın ve platform ücretini düşün. Temas maliyetini kendi ekibinizden alın: ortalama işlem süresi çarpı tam maliyetli saat ücreti. Satış botlarının ikinci bir satıra ihtiyacı vardır, randevu ya da siparişle sonuçlanan konuşmalar, ve bunun için chatbot'un ayrı sayılması değil mevcut dönüşüm takibinize bağlanması gerekir.
- Chatbot analitiğinin anlamlı olması için ne kadar trafik gerekir?
- Oranların bir paydaya ihtiyacı vardır. Bir dönemde kabaca 30 konuşmanın altındaysanız her yüzdeyi ipucu sayın ve onun yerine konuşmaların kendisini okuyun. O hacimde hepsini okuyabilirsiniz ve bu, herhangi bir grafikten daha fazlasını anlatır. Ayda 100 civarında haftalık oranlar üzerine hareket edilebilecek kadar oturmaya başlar. Altındaysa sayaçları izleyin ve dökümleri okuyun.
- Analitiği chatbot'u fiilen iyileştirmek için nasıl kullanırım?
- Panoyu değil düşük güvenilirlik listesini çalışın. Sistemin kapsamı zayıf işaretlediği yanıtları sıralayın, onlara sebep olan soruları okuyun ve tekrar ettiklerini fark edin: listenin çoğunu genelde birkaç konu oluşturur. O paragrafları bilgi tabanına yazın, sonra aynı oranı bir hafta sonra kontrol edin. Ardından aynısını devredilen konuşmalarla yapın, onlar da benzer şekilde kümelenir.
- Chatbot analitiğini ne sıklıkla incelemeliyim?
- Lansmandan ya da büyük bir içerik değişikliğinden sonraki ilk iki hafta günlük, çünkü bariz boşluklar o sırada yüzeye çıkar ve düzeltmesi ucuzdur. Sonrasında haftalık: bota kalma oranı, güvenilirlik ve düşük güvenilirlik listesinin başı. Aylık olarak dönemleri karşılaştırın ve farklı bir soru sorun: insanların sorduğu konular kaydı mı? Kaydıysa bu genelde işin değiştiğine ve içeriğin değişmediğine işarettir.
- Chatbot analitiği KVKK ve GDPR ile uyumlu mu?
- Olabilir ve farkı yaratan şey tasarım kararlarıdır. Konuşma verisini sonsuza kadar değil tanımlı bir süre boyunca tutup zamanı gelince silin, ziyaretçi kimliklerini ham değil karma saklayın ve günlük toplulaştırılmış rakamları koruyun. Dökümler silindikten sonra bu rakamlar kişisel veri olmaktan çıkar, böylece raporlama silmeden sağ çıkar. Ziyaretçiye neyin saklandığını söyleyin. Avrupa'da bu, yapay zekayla konuştuğunu söylemekten ayrı bir rıza meselesidir. Chatloom varsayılan olarak otuz günlük saklama süresi ve gecelik silme işi kullanır, ziyaretçi IP'lerini karmalar ve toplulaştırılmış verileri korur.