【事例本編】キーワードマッチング型チャットボットからリプレイス、1,000件を超えるFAQに対応し自己解決率30%向上

1,000問以上に及ぶFAQの精度向上が鍵に

PKSHA Chatbot導入前に抱えていた、「my daiz™」の課題についてお教えください。

梅村様　PKSHA Chatbot導入前から「my daiz™」には既存のチャットボットが搭載されていました。しかし、既存のチャットボットはFAQの数を一定数まで増やすと、回答精度が下がってしまうという課題を抱えていました。

当時300問程度のFAQが搭載されていましたが、当社が必要とするFAQ数としては全く足りていませんでした。

石川様　実はNTTドコモ全体で、10,000件以上のFAQが存在します。公式のFAQだけで1,000問近く、それに加えて「d払い」「dポイントクラブ」などサービスごとに各100～200問のFAQが存在していました。

また、既存のチャットボットはFAQの数が増えるほど、FAQ追加やメンテナンスの工数が増大する課題がありました。

カスタマーサポート全体としては、どのような課題がありましたか。

梅村様　これまでわからないことがあった際、ドコモの公式サイトに掲載されている「よくあるお問い合わせ」ページや、コールセンターに電話をかけて解決するお客さまが大半でした。そこに、AIエージェントで問い合わせに答えられるようになれば、新たな問い合わせ窓口ができるに等しく、より多くのお客さまに対応できるようになると考えました。

導入前の検証で大幅な精度向上と工数削減を確信

新たなチャットボットを選定する上で、どのような点を重視しましたか。

梅村様　まず当社のニーズに合う3社のチャットボットを候補に上げました。そして、チャットボットの回答精度、チューニングやメンテナンスに必要な運用工数、運用含めたトータルコストの3点を軸に比較検討しました。回答精度の比較においては社内でユーザーテストを行い、リアルな回答精度の比較を行いました。

石川様　PKSHA Chatbot導入前のチャットボットはキーワードマッチング型でした。一般的にキーワードマッチング型では、大量のFAQを追加し新しくFAQを追加した際に他の質問文に干渉して精度が低くなる傾向があります。PKSHA Chatbotは機械学習型のため、キーワードマッチング型の課題をシステム側ですべて調整してくれるため、大幅に工数が抑えられる期待が持てました。

実際に運用を行う私たちのチームは、派遣社員3人、社員2人で構成されています。どのメンバーもこの業務に関わるようになってはじめてチャットボットの勉強をした者ばかりで、エンジニアではありません。PKSHA Chatbotの管理画面では、運用やチューニングに必要な要素が全て整理されているため、そうしたメンバーでも使いこなせそうだと感じました。

梅村様　大量のFAQを登録するという条件のもとでは、PKSHA Chatbotの精度は既存チャットボットより非常に高く、さらにコストの観点でも、ライセンス料金と運用工数を合計した総コストが最も低いことが明確になりました。これが決め手になり、PKSHA Chatbotの導入を決定しました。

回答精度の比較では、どのようなユーザーテストを行いましたか。

梅村様　チャットボット業務に携わっていない40人の社員をピックアップし、ユーザーテストを実施しました。具体的には、PKSHA Chatbotが様々な言い回しの質問に正しく回答できるかについて、性能評価を行いました。

石川様　ユーザーテスト参加者には、登録されているFAQの質問文に対して、様々な言い回しでテストユーザー1人につき10回ずつ質問を投げかけてもらいました。

例えば、携帯電話が故障した、というシチュエーションなら「携帯電話、故障した、補償使える？」「修理するにはどうすればいい？」といった、登録していない質問文をあえて投げかけてもらうようにしましたね。

ほんの１週間ほどのユーザーテストでしたが、PKSHA Chatbotの精度が大幅に高いことが実証されました。まったくチューニングしていない初期状態でも88%の回答精度、その後チューニングした結果、99%まで回答精度を向上できたため、自身を持ってお客さま向けにリリースできました。

PKSHA Chatbotを多様なサービスに展開

現在、PKSHA Chatbotの対話エンジンをどのようにご活用いただいていますか。

梅村様　導入当初はドコモホームページに掲載されている公式FAQに応答できるチャットボットとしてスタートしたのですが、現在は「d払い」や「dポイントクラブ」、契約内容の変更手続きを行う「オンライン手続き」のサイトなどに関する問い合わせに応答できるよう拡張しています。また、このチャットボットを様々なサイトからも同時にアクセスできるよう様々な場所にリンクを設置しています。精度の高いPKSHA Chatbotを有効活用して、少ない工数でより多くのお客さまのご要望にお応えできる体制を整えています。

導入する際も、スムーズに進めることができましたか？

石川様　導入からオンボーディングに至るまで、PKSHAの方々のサポートが万全だったことが特に印象的です。

導入する際は、もともと300問ほどあったFAQを、720問に増やしました。最初に導入する際、720問のFAQをすべてPKSHAのコンサルタントにお渡しして、すべて初期チューニングしていただいたため、私たちが手を動かす必要はほぼありませんでした。今では1,000問を超えるFAQを取り揃えることができています。

導入時は、FAQの整備と同時に社内のセキュリティ診断を通さねばなりませんでしたが、その回答作成や書類整備も、PKSHAのコンサルタントのみなさんが全面的にバックアップしてくださいました。そのおかげで、通常３カ月かかるセキュリティ診断のプロセスを、1カ月足らずで進めることができました。

「my daiz™」とPKSHA Chatbotのシステム連携についても、様々なWeb APIの仕様書が用意されており、PKSHAのエンジニアの方々から手厚い技術サポートをいただきました。その結果、導入決定からリリースまで３カ月足らずで進めることができました。

導入後の効果はいかがでしたか?

石川様　チャットボットのKPIとして自己解決率50%を目指して運用していましたが、PKSHA Chatbotにリプレイスする前は達成が難しい水準でした。しかし、PKSHA Chatbotを導入してすぐに70%を達成し、いまではチューニングの結果、83%まで自己解決率を高めることができています。

更に運用工数が劇的に減少していまして、リプレイス前と比べると2〜3人月の運用工数削減に至っています。

>>NTTドコモ様運用詳細編の記事はこちらから

梅村様　導入後も、速いペースで機能追加がされています。当社のリクエストだけでなく、PKSHA Chatbotを利用している他社のリクエストで便利な機能が追加されていくのも、SaaSならではの利点だと感じます。

今後の展望は？

梅村様　私たちの部署で活用した実績が評価され、他部署からもPKSHA Chatbotを使ってみたいというオーダーがたくさん寄せられています。

コールセンターを管理しているフロント支援部という事業部で、PKSHA Chatbotを導入することが決まりました。他部署に広げていくためにも、チャットボットのみならず、コールセンターの負荷が軽減できた、着電数を減らすことができたといった副次的な効果も見ていきたいですね。

チャットボットで解決しきれない質問をいだたいた場合は、シームレスに有人チャットへ接続する体制も整えたい。最終的には、カスタマーサポートのDXを実現し、有人チャットとAIによるチャットボットのハイブリッド型カスタマーサポートを実現したいと考えています。