チャットボット分析
チャットボット分析とは、AIチャットボットの働きを自己解決率・信頼度・満足度・応答時間といった数値で測り、その数値をもとに次に何を直すかを決める実務のことです。
チャットボット分析とは？
チャットボット分析とは、AIチャットボットが顧客と会話する過程で生まれるデータを集めて読み解き、次の一手に変えることです。数値は大きく四つに分かれます。ボリュームは、ボットがどれだけの仕事を引き受けたかを示します。会話数、メッセージ数、ユニーク訪問者数です。品質は、どれだけうまく答えられたかを示します。信頼度スコア、システム自身が「弱い」と判定した回答の割合、そして会話ごとに記録された結末です。体験は、相手側でどう感じられたかを示します。評価、感情、応答時間です。事業インパクトは、残りをお金に結びつけます。人手を介さずに処理できた問い合わせ件数と、それが本来いくらかかっていたかです。
役に立つ線引きは、良い数値と悪い数値の間ではなく、カウンターと意思決定の間にあります。会話総数はカウンターです。マーケティングの調子が良かった週には上がりますが、ボット自体については何も語りません。一方、信頼度のしきい値を下回った回答の割合は意思決定です。ナレッジベースが取りこぼしている質問の具体的なリストを指し示しますし、その一つひとつは、誰かが今日の午後にでも書ける一段落です。カウンターばかり並んだダッシュボードは、情報がある気分にさせるだけで何も変えません。身につける価値のある習慣は、画面上のグラフすべてに「この数字が動いたら自分は何を変えるのか」と問いかけることです。
分析は、放っておけば体験談で決着する議論にも決着をつけます。同僚が転送してきた怒りのスクリーンショット1枚は、ボットが壊れている証拠にはなりません。喜んでいる顧客が1人いることも、うまく動いている証拠にはなりません。証拠になるのは、テーマ別にまとめて結末で採点した1か月分の会話です。本当の変化はここにあります。チャットボットの運用は意見の問題ではなくなり、測れる形で間違え、そして直せる仕事になります。
チャットボット分析の仕組み
計測はメッセージ単位から始まります。ボットが回答するたびに、システムは質問、返した回答、その質問をナレッジベースが本当にカバーできていたかという検索段階の確信度、使用した文章、そして回答にかかった時間を記録します。ここで軸になる信号は信頼度です。顧客が反応する前に生成されるため、誰も苦情を言わない場合でも品質の低い回答を捕まえられます。そして実際には、ほとんどの場合、誰も苦情を言いません。
会話は、その輪を閉じます。セッションが終わると、プラットフォームはメッセージ群を1件のレコードにまとめます。何往復かかったか、どれだけ続いたか、人が介入したか、何についての会話だったか、顧客の口調はどうだったか、評価が付いていればその点数までです。レポートの多くはこの単位を使うべきです。顧客はメッセージを体験しているのではなく、答えが得られたか得られなかったかを体験しているからです。
集計は、それらのレコードをエージェントごとの日次1行に変えます。メッセージ数、ユニーク訪問者数、平均応答時間、平均満足度、平均信頼度、エスカレーション件数です。12か月分の推移を安く引けるのは、この作りのおかげです。この層には落とし穴が二つあります。小さい数は嘘をつきます。12件の会話に対する自己解決率40％は、発見ではなくコイントスです。どんな比率でも、反応する前に分母を確認してください。もう一つ、平均は探しているものを覆い隠します。平均信頼度0.72は、安定して及第点のボットかもしれませんし、9つのテーマでは優秀で10個目では役立たずのボットかもしれません。代わりに分布を見てください。仕事があるのは、その10個目のテーマです。
追跡すべき指標
それぞれの数値が何を測っているのか、どう計算するのか、どのくらいの範囲が目安か、そしてずれたときにまず確認する場所をまとめました。範囲は目標ではなく出発点として捉えてください。流入の内訳や、ナレッジベースが実際の質問をどれだけカバーできているかによって変わります。
会話数
期間中にボットが対応した個別セッションの数です。以下すべての比率の分母であって、それ自体が成果ではありません。
- 計算方法
- 期間中に開始された会話の件数。
- 健全な範囲
- トラフィック次第です。期間中およそ30件を下回る場合、どのパーセンテージも方向を示すヒント程度に読んでください。
- ずれたときは
- ウィジェット設置後もゼロに近いなら、たいてい需要ではなく置き場所の問題です。人が実際に着地するページで読み込まれているか、最初の一言を促す仕掛けがあるかを確認してください。
自己解決率
人が入らずに終わった会話の割合で、英語ではコンテインメントと呼ばれます。上位に報告すべき数値はこれです。業務量にそのまま対応するからです。
- 計算方法
- 会話数からエスカレーションされた会話数を引き、会話数で割る。
- 健全な範囲
- ナレッジベースが対象テーマをカバーしているサポートボットで、おおむね55％から80％。新規導入は40％前後から始まり、穴が埋まるにつれて上がっていくのが普通です。
- ずれたときは
- 50％を下回っているなら、グラフではなくエスカレーションされた会話を読んでください。必ず固まって現れますし、たいていはボットに一度も与えられていない2つか3つのテーマです。
エスカレーション率
人に引き継がれた会話の割合です。自己解決率の裏返しですが、単独で追う価値があります。現場のチームが実際に体感するのはこの数値だからです。
- 計算方法
- エスカレーションされた会話数を会話数で割る。
- 健全な範囲
- おおむね20％から45％。ゼロに近い値は成果ではなく警告です。たいていは人への導線が見つけにくすぎることを意味します。
- ずれたときは
- 急な上昇は、ほぼ必ず古くなったコンテンツです。価格改定、更新されたポリシー、あるいはボットが一度も聞いたことのない新商品です。
平均回答信頼度
寄せられた質問をナレッジベースがどれだけカバーできていたかを、顧客が反応する前にシステムが採点した値です。
- 計算方法
- 期間中の回答ごとの信頼度スコアの平均、0から1のスケール。
- 健全な範囲
- おおむね0.65から0.85。0.5を下回る場合、よく作られたシステムなら推測せずに回答を控えるべき水準です。
- ずれたときは
- ゆるやかな低下は、コンテンツではなく質問のほうが動いた合図であることが多いです。新しい話題が聞かれ始めているので、直近のスコアが低い回答を読んでください。
ナレッジギャップ率
システム自身がカバー不足と判定した回答の割合です。このページで最も打ち手に直結する数値です。
- 計算方法
- 低信頼度のしきい値を下回った回答を、全回答で割る。
- 健全な範囲
- おおよそ15％未満。5％を下回っていれば成熟したナレッジベースです。
- ずれたときは
- 比率ではなくリストを直してください。低信頼度の回答には、それを引き起こした顧客の質問が必ず付いています。質問は繰り返されるので、数段落を書き足すだけで数値全体が動くのが普通です。
顧客満足度（CSAT）
尋ねたときに顧客がその会話について答えた評価で、通常は1から5の段階です。
- 計算方法
- 評価が付いた会話について、付けられた点数の平均。
- 健全な範囲
- 5点満点で4前後。評価が付くのは会話全体の5％から15％程度と考えてください。これは計測不具合ではなく通常の状態です。
- ずれたときは
- 1つ星の会話は最初から最後まで読んでください。低評価の原因が「回答が間違っていた」であることはまれです。多くは、ボットが自信たっぷりに間違えたか、人につなぐのが遅すぎたかです。
感情の内訳
会話全体としてポジティブ・ニュートラル・ネガティブのどれに読めるかの割合です。
- 計算方法
- 各感情クラスの会話数を、会話数で割る。
- 健全な範囲
- ネガティブがおおよそ15％未満。健全なサポート流入の大半はニュートラルで、それで問題ありません。人は気分ではなく用事を持って来ているからです。
- ずれたときは
- ネガティブの急増はトレンドではなくテーマです。その週のネガティブな会話だけを絞り込めば、原因はたいてい壊れている一点に行き着きます。
応答時間
顧客が回答を待った時間です。
- 計算方法
- 顧客のメッセージから回答完了までの平均時間。
- 健全な範囲
- 逐次表示なら最初の文字が2秒前後で出て、回答全体は10秒以内。それを超えると人は離脱します。
- ずれたときは
- 突然の遅さは、まずモデルのせいではありません。検索段階がどれだけの量を引いているか、外部ツール呼び出しが経路に挟まっていないかを見てください。
会話あたりメッセージ数
どこかにたどり着くまでに何往復かかったかです。回答が一度で決まっているかどうかの間接的な指標になります。
- 計算方法
- 総メッセージ数を会話数で割る。
- 健全な範囲
- おおむね3から6。恒常的に8を超えるなら、ボットは惜しいところまで答えていて最後まで届いていない状態です。
- ずれたときは
- 長い会話をいくつか読んでください。パターンはたいてい、価格・期限・対応国といった欠けている一点で、顧客はそのまわりを回り続けています。
品質スコア
会話ごとの合成された1つの数値です。10枚のグラフを読まずに、ある期間と別の期間を比べられます。
- 計算方法
- 評価、人の介入の有無、記録された結末、感情、長さを重み付けして合成し、0から1に正規化した値。
- 健全な範囲
- 平均でおおむね0.6から0.8。推移の把握と、読み返すべき会話の並べ替えに使ってください。達成目標として掲げる数値ではありません。
- ずれたときは
- 下落は手がかりとして受け止め、そのうえで内訳を開いてください。合成値は「何かが変わった」ことは教えますが、「何が」は決して教えません。
チャットボット分析が重要な理由
計測しないままチャットボットを改善しようとすると、それは直感の名を借りた当てずっぽうになります。計測があれば、ループは短く、良い意味で退屈です。信頼度の低いテーマを見つけ、足りないコンテンツを書き、翌週その比率が下がるのを確認する。人が「出来が悪い」と言うボットの多くは、作りが悪いのではなく、一度も見直されていません。ボットが答えられなかった質問を誰も読まなかったので、同じ穴が1年そのまま残っていた、というだけのことです。
計測はまた、チャットボットをコスト項目から、根拠を示せる削減効果に変える手段でもあります。計算は紙1枚で足ります。ひと月のうちボットが人手なしで処理した会話数を取り、人が対応した場合の1件あたりコスト、つまりチームの平均処理時間に自社の総原価ベースの時給を掛けた額を掛け合わせ、その結果をプラットフォーム利用料と並べます。自己解決率65％で1000件なら、チームが一度も見なかった問い合わせが650件ということです。それが1万円分の価値なのか、それとも数百円分なのかは、完全にあなた自身の数字次第です。この作業の要点は、その数字がいま手元にある、ということそのものにあります。
このページのどの目安よりも重い注意点が一つあります。自己解決率が高いことは、自動的に良い知らせではありません。この指標は人に到達しなかった会話をすべて数えます。あきらめてウィンドウを閉じた顧客も、答えを得た顧客とまったく同じ1件として数えられます。自己解決率を単独で読んではいけない理由はここにあります。満足度と会話あたりメッセージ数の隣に並べれば、二つはすぐに分かれます。解決した会話は短く、評価も良い。離脱した会話は長引き、そもそも評価が付きません。
Chatloomにおけるチャットボット分析の活用
Chatloomはこれらを追加機能としてではなく、標準で記録します。すべての回答が信頼度スコアと根拠となった文章を持ち、すべての会話が結末・意図・感情・評価を持ちます。さらに夜間の集計が、エージェントごとに1日1行を保持します。メッセージ数、ユニーク訪問者数、平均応答時間、平均満足度、平均信頼度、エスカレーション件数です。1年分の推移を素早く引けるのは、この仕組みによります。
分析セクションは、これらの数値をエージェント単位でもワークスペース全体でも表示し、どの数値の裏にある会話にもワンクリックで移動できます。最初に開く価値があるのは低信頼度リストです。しきい値を下回った回答を、それぞれの原因になった顧客の質問と一緒に浮かび上がらせます。「ナレッジベースを改善しましょう」という漠然とした助言が、これから書くべき段落の具体的なリストに変わります。会話は合成品質スコアで並べ替えて悪いものから素早く拾えますし、エージェント同士を横並びで比較でき、期間はCSV・JSON・HTMLレポートとして書き出せます。誰かが表計算で見たいと言ったときのためです。
保持期間は後付けではなく設計の一部です。会話データはエージェントに設定された期間、既定では30日間保持され、その後は夜間ジョブがその会話とメッセージをまとめて削除します。訪問者のIPアドレスはハッシュ化して保存し、生の値では保持しません。集計済みの日次データはこの削除後も残ります。これが望ましい形です。推移の線は何年も生き続け、その背後の会話ログは残らない、という形です。
よくある質問
- チャットボットで最も重要な指標は何ですか？
- 自己解決率、つまり人が入らずに終わった会話の割合です。業務量とコストにそのまま対応するからです。ただし単独では意味を持ちません。顧客をうんざりさせて立ち去らせたボットも、質問に答えたボットと同じ数値になります。満足度と会話あたりメッセージ数の隣に置いて読めば、この二つはすぐに分かれます。
- チャットボットの解決率はどれくらいあれば良いのですか？
- ナレッジベースが対象テーマを実際にカバーしているサポートボットなら、会話の55％から80％程度が人を介さずに終わるのが標準的な範囲です。新規導入では40％前後から始まり、穴が埋まるにつれて上がっていくことがよくあります。この範囲は対象範囲によって大きく動きます。単一製品について答えるボットは、大手小売に来るあらゆる問い合わせを受けるボットよりはるかに高い位置に落ち着きます。
- 自己解決率と解決率の違いは何ですか？
- 自己解決率は、理由を問わず人に到達しなかった会話を数えます。解決率は、顧客が本当に目的を果たせた会話を数えます。解決した会話はすべて自己解決に含まれますが、自己解決に含まれる会話がすべて解決しているわけではありません。その差を埋めているのは、途中であきらめた人たちです。自己解決率は測るのが簡単で、読み違えるのも簡単です。解決率が正直な数字であるためには、評価か結末ラベルが必要になります。
- チャットボットのROIはどう測ればよいですか？
- ボットが人手なしで処理した会話数に、人が対応した場合の1件あたりコストを掛け、プラットフォーム利用料を引きます。1件あたりコストは自社のチームから出します。平均処理時間に総原価ベースの時給を掛けた値です。営業目的のボットにはもう1行必要です。予約や注文につながった会話で、そのためにはチャットボットを別枠で数えるのではなく、既存のコンバージョン計測につないでおく必要があります。
- チャットボット分析が意味を持つには、どれくらいの流入が必要ですか？
- 比率には分母が要ります。期間中の会話が30件程度を下回るなら、どのパーセンテージもヒント扱いにして、代わりに会話そのものを読んでください。その件数なら全部読めますし、どんなグラフよりも多くを教えてくれます。月100件前後になると、週次の比率が動かす判断に耐える程度に安定してきます。それ未満なら、件数を眺めつつログを読むのが妥当です。
- 分析を使ってチャットボットを実際に良くするには？
- ダッシュボードではなく、低信頼度リストを片付けてください。システムがカバー不足と判定した回答を並べ、それを生んだ質問を読み、繰り返しに気づくことです。リストの大半は、たいてい数個のテーマで説明がつきます。その段落をナレッジベースに書き、1週間後に同じ比率を見てください。次に、同じ要領でエスカレーションされた会話も片付けます。こちらも同じように固まって現れます。
- チャットボット分析はどのくらいの頻度で見るべきですか？
- 公開直後や大きなコンテンツ変更の直後の2週間は毎日です。明らかな穴が表に出るのはこの時期で、しかも埋めるのが安く済みます。その後は週次で、自己解決率、信頼度、低信頼度リストの上位を見ます。月次では期間を比較し、別の問いを立ててください。聞かれるテーマ自体が動いていないか、です。動いていれば、たいていは事業が変わったのにコンテンツが変わっていない合図です。
- チャットボット分析はGDPRや個人情報保護法に対応できますか？
- 対応できます。差が出るのは設計上の判断です。会話データは永久保存ではなく期間を決めて保持し、期限で削除すること。訪問者の識別子は生の値ではなくハッシュ化して保存すること。集計済みの日次データは残すこと。会話ログが消えた後のこの集計値はもはや個人データではないため、削除してもレポートは生き残ります。そして何を保存するかを訪問者に伝えることです。EUではこれは同意の問題であり、AIと話していると伝える義務とは別物です。Chatloomは既定で30日間の保持期間と夜間の削除ジョブを用い、訪問者IPをハッシュ化し、集計データを保持します。