ユーザがフィードバックを容易に提供できて、そのフィードバックを自動収集可能にすれば、より多くのフィードバックを短期間に得られるようになる。AIを導入することにより、大量のフィードバックを解析して洞察を得ることや、トレンドを視覚化することも可能になる。こうして得た情報の共有が、プロダクトの拡張やユーザの抱える問題の解決といったアクションを広範にサポートするのだ。
Joyn GmbHのリサーチ・アンド・インサイトディレクタであるKilian Hughes氏はAgile Testing Days 2020で講演し、同社がユーザ重視のプロダクトを開発する上で、ユーザのフィードバックをどのように収集し、利用しているかについて語った。
現在のプロダクトに関するフィードバックを定期的に受け取ることができるよう、ユーザの便宜を図らなくてはならない、とHughes氏は説明する。
当社の基本的原則のひとつに、ユーザのフィードバック提供を極限まで容易にする、というものがあります。
例えば、ビデオストリーミングアプリのユーザは、アプリをシェイクするだけで — オーバーレイが現れて — フィードバックを入力できるようになっています。スクリーンショットやログファイルは自動的に収集されるので、ユーザが意識する必要はありません。
ユーザからのフィードバックは、AIを活用したツールであるcaplenaに自動アップロードされる。テキストによる回答はコード化した上で意味解析され、洞察を得るために分析される。同社にとってAIの使用にはメリットがある、とHughes氏は言う。
テキストの意味解析にツールを使用することで、大量のフィードバックの処理が可能になります。作業の品質も向上しますし、このタスクに要する時間も低減できます。
洞察を行動につなげるために、同社では、TVダッシュボードや週次のインサイトニュースレター、さらにはポスターを作ってオフィスの壁に貼り出すことで、情報の共有を図っている。
ユーザの声を聞くことは自社のプロダクトについて学ぶことだ、とHughes氏は言う。ユーザが将来的な機能として望んでいるのは何かを知るためや、バグの内容について詳しく知るために、フィードバックが役立っている。
フィードバックの収集と大量のデータの解析、行動可能な洞察の獲得について、Kilian Hughes氏にインタビューした。
InfoQ: ユーザフィードバックはどうやって収集するのでしょうか？
Kilian Hughes: AppstoreやPlaystore、当社のJoyn Webサイト、モバイルアプリからフィードバックを獲得しています。Webサイトとアプリに関しては、専用のフィードバックツール(Usersnap & Instabug)を使用しています。データは自動的にデータベースにアップロードされ、以降の意味解析に使用されます。
当社は毎週600～800件、多い時には1,000件という、非常に多くのフィードバックを収集しています。フィードバックの10パーセント程度は、内容が不明瞭であったり、ユーザが見ているコンテンツの特定の要素に対するコメントであったりするため、当社にとって有用なものではないのですが、それらを除いても、有意義な洞察を得たり、トレンドを見つけたり、定量的なデータ比較を行ったりするには十分な数のフィードバックが入手できています。
InfoQ: フィードバックの解析には、どのようなテクニックやツールを使っているのでしょう、それはどのような理由からですか？
Hughes: フィードバックの解析には、AIを活用したcaplenaというツールを使っています。ユーザのフィードバックは、Appstoreや当社のWebサイト/アプリから自動的にcaplenaにアップロードされます。
テキストによる回答をコーディングする一般的なプロセスと同じように、最初のステップとして、基礎となるコードブックを定義する必要がありました。これは"機能"や"技術"といったカテゴリを最初に定義した上で、"マルチオーディオ"や"chromecastサポート"といったサブカテゴリを定義する、というものです。
定義が終わると、正しいコーディングを行うためにAIのトレーニングを開始しました。これはcaplenaの持つ自動プロセスのひとつです。AIがデータセットにコードを適用して、私たちがそれを修正します。つまり、正しいコードがアサインされていることをチェックして、必要があれば変更するのです。
いくつかのコードをチェックすると、AIが私たちのフィードバックを使って、まだレビューの完了していない回答を再度コード化します。私たちが次のコードに目を通して、その品質を再度確認すると、AIが適用されたコードをスクリーニングして、必要に応じて変更を加えるのです。
最近の私たちの作業は、コーディングの品質をチェックし、必要ならば別のコードをアサインすることや、新たなサブカテゴリが登場した時のコードブックの更新が中心となっています。
InfoQ: 洞察を実行可能にする上で、フィードバックはどのように使用されているのでしょう？
Hughes: 私たちの仕事は洞察を提供して終わるのではありません。洞察がプロダクトを変えていくことを見たいのです。これは私たちにとって非常に重要なことです。ですから、私たちが特定した洞察への意識を高めることは極めて重要です。TVダッシュボードを使って全社で洞察を共有する、週次のインサイトニュースレターを配布する、ポスターを作ってオフィスの壁に貼り出す、といった複数の方法でこれを実施しています。
当然ですが、プロダクト部門や技術部門と緊密に連携して、関連する洞察を関係者と直接共有することも重要です。彼らが問題を理解すれば、自分たちのスプリントの中で優先順位を付けて修正してくれるからです。一例を挙げましょう — ライブTVストリームが揺れるというフィードバックをユーザから受けたのですが、問題を再現することができなかったことがありました。そこで問題をもっと深く突き詰めて、フィードバックツール経由で収集したスクリーンショットを確認した結果、特定のデバイスでEPG(電子番組ガイド)を開いた時にだけ、その問題の発生することが分かったのです。その結果、バグを修正することが可能になり、ユーザにも喜んでもらえました。
InfoQ: 一連の活動から何を学びましたか？
Hughes: ユーザの声を聞くことで、ユーザや私たちのプロダクトについて多くのことを学びました。ユーザがプロダクトの何を気に入っているのか、今後の機能についてどのように優先順位を付ければよいのか、といったことが分かりましたし、何よりもバグを深く理解することができました。
機能に関して、Joynをローンチした後に最初に分かったのは、ユーザがChromecastのサポートを強く望んでいることでした。従ってそれが、ローンチ後に開発する最初の機能になりました。まさにユーザのおかげです。
フィードバックの収集や分析の方法についても、多くのことを学びました。例えば、私たちは最初、すべてのフィードバックを手作業でスプレッドシートに貼り付けて、それをcaplenaにアップロードすることでコード化を行っていたのですが、その後このプロセスが最適化されて、フィードバックをcaplenaに自動的に送り込めるようになりました。最初から完全装備のソリューションを構築するよりも、最初は単純なバージョンを素早く立ち上げて、それを最適化するべきだ、と今では強く思っています。
さらに現在は、週次のフィードバックメールの代わりとして、もっと短いslackメッセージを使用するテストを行っています。同僚からどのようなフィードバックが得られるのか、見てみたいと思います。