顧客は AI の回答 1 件ごとに 👍 高評価または 👎 低評価を付けられます。その票は集計されてダッシュボードの役立ち度スコアになります。ボットが実際どれだけうまく答えられているかの、走りながらの読み取りです。
評価の対象は AI の回答であって、自社チームではありません。サムズが表示されるのはボットの返信だけで、人間のエージェントの返信は評価されません。つまりこのスコアが測っているのはナレッジベースと AI です。手を打てる品質のシグナルであって、エージェントの成績表ではありません。
仕組み
- AI が回答する。ウェブチャットウィジェットでは、AI の返信ごとに小さな 👍 / 👎 が付きます。
- 顧客が投票する（任意）。タップ 1 回です。必須ではありません。ほとんどの回答は評価されませんが、それで問題ありません。
- スコアが更新される。票は集計され、ダッシュボードの AI bot セクションにある Helpfulness のパーセンテージになります。
パーセンテージを信じる前に、Ratings の件数を確認してください。隣のタイルに、そのスコアが何票から算出されたかが出ています。1 票からの「100% helpful」はほとんど何も語りません。200 票からの同じ数字は語ります。始めのうちはパーセンテージが大きく揺れますが、それは標本が小さいだけで、ボットが崩壊しているわけではありません。
👎 を改善につなげる
低評価は、顧客がくれるものの中で最も有用です。AI が外した質問を指し示しているからです。直す場所はほぼ必ずナレッジソースです。その質問に答えられたはずの記事を追加するか、はっきり書き直せば、次に尋ねた人にはよりよい返信が届きます。
スコアは処理率と一緒に読んでください。AI が処理した割合の高さが good news なのは、役立ち度スコアも健全な場合だけです。そうでなければ、ボットは自信を持って間違った答えを返しています。ダッシュボードは両方を並べて表示します。
評価があることで、AI はブラックボックスではなく改善できるものになります。推移を見守り、低評価の票に次に書くべきことを教えてもらってください。