株式会社NTTドコモ

【運用編】自己解決率を30%向上しながら運用工数を3人月分削減できた理由

導入サービス PKSHA Chatbot
業種 IT・通信
活用対象 一般ユーザー、社員、オペレーター
導入目的 FAQの精度向上、運用コスト削減

マーケティングメディア部 ポータルビジネス担当 梅村 昇平氏
ドコモ・サポート株式会社 スマートライフビジネス支援部 AI支援担当 石川 一美氏

PKSHA Chatbotのダッシュボード機能でレポート抽出の工数がほぼゼロに

PKSHA Chatbotのダッシュボードはどのようにご利用いただいていますか。

梅村様 「配信状況KPI」で対話数や自己解決率を定量的な数値を把握しています。私たちの部署では、チャットボットによる自己解決率を50%以上に高めることをKPIに置いています。PKSHA Chatbotの管理画面ではこうしたデータがビルトインされていますし、グラフでビジュアライズされているので、直感的に誰でもすぐ使いこなすことができます。

石川様 PKSHA Chatbotの「KPIダッシュボード」では様々な指標を見ることができますが、私たちが重視しているのは、お客さまが最初に質問してくれたときに何も答えられないこと、すなわち「初回発話エラー」をなくすことです。せっかく話しかけてくださったお客さまの質問に、まずはできるだけ答える体制を整えようと、日々回答内容を工夫しています。

PKSHA Chatbotの場合、レポートもメンテナンスもツール一つで完結しているので助かっています。もともと利用していたチャットボットでは、生ログをダウンロードし、データを分析・処理してから、レポート作成やメンテナンスをしていました。PKSHA Chatbotはダッシュボード上で必要なKPIデータのほとんどを取得できるので、レポート作成工数が0.4人月から0.06人月へと、大幅に圧縮できました。

PKSHA Chatbotのメンテナンス支援機能でチューニング工数を9割削減

日々PKSHA Chatbotのメンテナンスはどのように運用されていますか。

石川様 PKSHA Chatbotのダッシュボードにはチャットボットをユーザーにご利用いただいた結果の対話ログが蓄積されていきます。うまく回答できなかった対話ログは「NGチャット振り分け」に振り分けられるため、毎日内容を確認して正しい回答に紐付けています。大体日々250件程度のNGチャットログが発生しますが、2時間程度でチューニングできています。

梅村様 チューニング作業はPKSHA Chatbotにリプレイスすることで0.7人月ほど削減できました。

FAQの追加・シナリオ化作業も大幅に効率化を実現

PKSHA ChatbotのFAQ追加はどのようなルーティンで行っていますか。

石川様 前述の通り、「初回発話エラー」の最小化を重視しているので、NGチャットのチューニングに加え、適切な回答がない場合は公式FAQから活用できそうなFAQを探してきて追加しています。

他にもお客さまの曖昧な質問、例えば「画面が割れた」といった質問には、修理方法のご案内、補償のご案内、買い替えのご案内など何パターンかの回答が考えられます。こうしたログが見つかった場合、シナリオ化してお客さまが求める答えを切り分けし、適切な回答ができるようにしています。

梅村様 正確な稼働時間の比較は難しいのですが、概算で2人月くらいFAQの追加にかかる工数は減っていますね。

石川様 従来のキーワードマッチング型ですと、例えば既存のFAQに300問あり、そこに200問分のFAQを追加しようとすると、質問と回答が干渉しないよう500問分のFAQをチューニングする必要があります。

以前はこうしたチューニング作業には2~3カ月かかっていましたが、PKSHA Chatbotを活用することにより、1週間ほどで完了するようになりました。そのおかげで劇的に事業スピードを早めることができました。

自己解決率にも大きな変化がありました。PKSHA Chatbotの導入前、自己解決率は50%前後でしたが、導入後すぐ70%まで向上、今では83%まで上昇しています。

自己解決率を向上させるために工夫していることは?

石川様 PKSHA Chatbotには、お客さまの質問に対して「この回答で良かったですか?」とアンケートを取る機能があります。さらに、「いいえ」とお答えになったお客さまに対して「いいえと答えた理由をお教えください」と、もう一度アンケートを出すことができるんです。

回答がわかりにくかった、的を射ていなかった、回答内容が不足しているなどの、「いいえ」の原因を見て、回答内容を見直すようにしています。

また、毎日更新されているNTTドコモホームページに掲載されている「公式FAQ」の内容に合わせて、PKSHA Chatbotのデータベースに登録されているFAQの内容を更新したり、チャットボットのシナリオ分岐を更新したりしています。

PKSHA Chatbotでは新しいFAQの追加が気軽に短時間で行えるため、こうしたメンテナンス作業も手軽に素早く実施できるようになっています。そのせいか、最近新しいサービスを追加したり、他の部署からもPKSHA Chatbotの導入を検討したいという声が上がるなど、拡大のスピードが上がってきています。

社名 株式会社ドコモ
事業内容 携帯電話サービス、光ブロードバンドサービス、コンテンツ配信、システム開発・販売・保守受託など
設立 1992年7月1日
従業員数 8,847名(当社グループ46,506名)(2022年3月31日現在)
URL https://www.docomo.ne.jp/corporate/

この事例でご利用いただいている製品はこちら!