計測は、科学的知識の根幹です。また、ユーザー体験を理解し、体系的に改善する鍵でもあります。
しかし、数値だけですべての問題が解決されるわけではありません。指標を変動させるものを理解する必要があります。
外科医は患者の脈拍や血圧を測ることで、健康状態の良し悪しを示す指標が得られますが、それ以上にその数値に影響を与えているものを理解しなければなりません。 同じ論理がUXリサーチにも適用されます。
SUS、NPS、タスク時間、完了率、SUPR-QなどのUXの指標を使用することについては大賛成です。これらの指標を使うことは大切な第一歩ですが、体験の中から問題を見つけて解決するためには、次のステップとして、その数値に影響しているもの、数値の裏にある「理由」を理解することが不可欠です。 その「理由」を解明するために、この記事では５つの方法を紹介したいと思います。
１. 言葉の分析
アンケートやWebでのインターセプト法、遠隔のユーザビリティテストでは、参加者の自由記述欄を設ける必要があります。この方法は、数値の理由を理解する第一歩として最適です。回答者がアンケートに批判的な目線で答えて、高評価をつける可能性が低い場合は、選択式の問題の直後に質問することで、回答の理由を調べることができます。
回答を分類して符号化することで、体系的に評価することができりようになります。しかし、参加者の発言の一部をざっと読むだけでも、高評価や低評価の要因について何らかのヒントが得られるのです。
たとえば、ビジネスソフトウェアのベンチマーク調査において、私達は参加者が使用した製品を他人におすすめする可能性を調べ、彼らにつけた点数について簡単に説明するよう求めました。低評価をつけた回答は特に役立ちます。 ある回答者は批判的な目線で、Learning Management System（LMS）ソフトウェアの Canvasに11点満点で５点のスコアをつけ、次のように述べました。
Canvasは、電子メールよりもパーソナルに生徒と繋がることができますが、依然として大きな問題があります。Canvasのレイアウトはひどいもので、ユーザーは画面の左側にあるメニューを閉じるオプションが必要です。適切なLMSプログラムではありますが、正直黒板のほうが使いやすいですね。
このコメント１つを取っても、たくさんの知見があります。低評価があったからと言って、すぐにソフトウェアを作り直す必要はありませんが、以後の調査に役立つのは確かでしょう。
２. ログファイルとクリック傾向
Webサイトのユーザー体験を測定するために、ユーザーがクリックした場所やページに費やす時間、訪問したページ数を調べると、タスク時間が長すぎる理由やタスクの完了率が低い理由を知ることができます。
また、ログファイルを使用すると、参加者が間違ったページに移動したかどうかを素早く確認することもできます。リンクを踏んでしまって偶然移動してしまったり、タスク中にFacebookを閲覧して意図的に移動したりすることもあるでしょう。後者の場合は、参加者の反応を除外する理由として十分と言えます。
数年前にbudget.comが行ったWebサイトの遠隔のベンチマーク調査では、ユーザーの１人だけが、作業時間が非常に長い理由を理解するのに苦労しました。タスク時間は、効率を示す重要な指標です。ログファイルとクリックを調べたところ、ユーザーは別のWebサイトのアンケートに妨害されていたことが明らかになりました。
図１：Budget.comベンチマーク調査におけるタスク時間の分布。ログファイルを分析したところ、参加者が別のアンケートに妨害されたことが原因だと明らかになりました。
３. ヒートマップとクリックマップ
遠隔のユーザビリティ調査を実施している場合、人々がクリックした場所を知ることで、タスクの失敗の理由と長いタスク時間について多くの知見を得ることができます。一般的に、最初のクリックは、タスクの成功率と強い相関があります。
Google AnalyticsやClicktaleを使用してログファイルを視覚化することで、ある程度は最初のクリックを確認できます。クリックマップは、ユーザーがクリックした場所を表示することもできます。 MUIQのクリックマップ（図２）は、一部の参加者がホテルの予約に手間取った理由をわかりやすく示していました。ヒートマップとクリックマップは、限定されたページセットを持つプロトタイプをテストする場合に役立ちます。というのも、これらのプロトタイプにおける初期のインタラクションは、機能がすべて実装された製品の動作を予測できるからです。
図2：Hyatt.comで予約を試みる参加者のクリックマップ
４. ビデオとセッションレコーディング
クリックマップやヒートマップなどの画像が1,000の言葉に値するなら、参加者が何をしているのか録画したものは、少なくとも10,000の言葉に値します。遠隔調査では、参加者と同席しないと、タスクの完了を評価したり、ほかの指標が高くなったり低くなったりする理由を理解することが難しくなります。
数値の背後にある理由を解明するのに役立つ最善の機能の１つは、参加者がタスクを試行している様子をビデオに撮ることです。私たちのMUIQ調査プラットフォームのようなセッション記録ソフトウェアには、この機能があります。150人の参加者に５つのタスクを実行してもらうような、数百、数千の動画を見直すのは非合理的ですが、戦略的にいくつかのビデオを選択するだけでも、根本的な原因を十分に理解することはできます。
たとえば、以下のGIF画像は、SUPR-Qデータ収集の一環として、YelpのWebサイトで実施したベンチマーク調査においてMUIQで撮影したものです。 Yelpは人気のレストランレビューサイトですが、OpenTableなどのWebサイトと競合するために予約システムを拡張しています。
遠隔調査において参加者は、ソルトレークシティでタイ料理のレストランを見つけるよう尋ねられました。 しかし結果的に、49％しかタスクを完了できませんでした。半数が失敗した理由を突き止めようと、いくつかのセッションの動画を調べてみると、何人かのユーザーがフィルターに苦労していることを発見しました。以下の例は、セッションの動画2.5分の中の30秒です。
クリップの要約：
- 参加者は、「タイ料理」と記入して、ソルトレークシティのタイ料理レストランを検索し、「予約を取る」のフィルタを選択します。問題は、このフィルタがYelpのWebサイトを通して予約を受けるレストランだけでなく、一般的に予約を受け入れているレストランをすべて表示することです。
- その後参加者は、（正しく）「予約する」オプションを選択しますが、このオプションを選択したとき、「タイ料理」という検索基準が消えてしまっていることに気付きません。そして、ソルトレークシティでYelpの予約を受け入れている、タイ料理を含むすべてのレストランが表示されます。
- 参加者は再び「タイ料理」と検索しますが、今度は「予約する」オプションのチェックが外れてしまい、振り出しに戻ります。
- 最後に、参加者はもう一度「予約する」オプションを選択しますが、それによって再度「タイ料理」という検索基準が消え、参加者はタスクを終了してしまいました。ポストタスクのSEQの点数が低いことから示唆されるように、この経験に不満をもつ可能性は高いでしょう。
動画を使用することで、結果的に体験の測定結果（低い完了率）とその改善方法（フィルタリングのインタラクション）の両方を得ることができました。
５. 対面でのフォローアップ
おそらく、人々がWebサイトやソフトウェアでとる行動や振舞いの理由を理解するもっとも効果的な方法の１つは、直接質問することです。人々のとる行動や発言は必ずしも同じではありませんが、多くの共通点があり、指標がどうしてそのようになったのかという疑問の多くを説明できます。
アンケートと遠隔調査の参加者に、フォローアップ調査に参加してくれるかどうかを尋ねるだけで、多くの理由を解明することができます。通常遠隔で実施される対面でのフォローアップでは、参加者に調査にもう一度訪れてもらい、質問の返答中やタスクの実行中にどのように思ったか、思い出してもらうように求めます。
このプロセスにより、思考を言葉に出すことの威力が存分に発揮されて、参加者の思考をより簡単に描写することができます。一方、このアプローチの明らかな欠点は、ステップが増えるためセッション終了までに時間がかかり、結果として費用もかかることです。しかし、数値の背後にある理由が十全に理解できることを踏まえれば、時間が許す限り支払う価値があることがわかるでしょう。
