タスク完了率は、基本的なユーザビリティ指標のひとつであり、インターフェイスの使いやすさを定量化するもっとも一般的な方法です。もしユーザーが達成したいことが完了できなければ大問題となります。
ユーザーがタスクを完了しているかどうかを判断することは単純なように思えます。しかし、実はそう簡単ではありません。
ユーザー行動など実用に基づくデータかユーザビリティテストなどのシミュレーションに基づくデータかによって、タスクを完了したと判断する方法は異なります。タスク完了が成功したか失敗したかの判断方法にも同様のことが言えます。
そこで今回は、ユーザーが無事にタスクを完了できているか判断する方法を紹介します。
実用に基づくタスク完了
「実用」という言葉から想像できるように、ユーザーがどのような選択をしてどのような行動を取ったかの記録や、ユーザー自身が報告したデータなどからタスク完了を判断することができます。
記録と観察
商品の購入、クリックしたボタンや開いたURL、ファイルの開封など、ユーザーの取る行動はすべて追跡可能な記録が残るので、効果を測定するのに理想的です。ログファイルやGoogleアナリティクス、またはClicktaleなどのWebサイト追跡ソフトを使えば、ユーザーの行動データを電子的に収集することができます。
２つ目の選択肢は、ユーザーがタスクを試みる様子を直接、もしくは遠隔操作で観察することです。たとえば、小企業のオーナーがQuickBooks（経理ソフトウェア）を使うところを観察すれば、四半期報告書機能が正しく使われているか、つまりタスクが達成されているかどうかわかります。しかし、残念ながら私の経験上、観察対象となる十分なユーザー数を確保しにくいため、この手法はあまり適切ではありません。そのため、ほかの代替案を検討する必要があるでしょう。
自己報告
実用に基づきタスク完了を判断する非常に簡単な方法は、ユーザーに尋ねることです。参加者を募ってアンケートやインタビュー、インターセプト、トップタスク分析、ダイアリースタディを実施すれば、直近でアクセスしたWebサイトや使用したアプリで、アクションを完了できたかどうか分析できます。
この方法が特に効果的なのは、トップタスク調査です。初めに、参加者はどのタスクがもっとも重要かを示します。そして、直近でWebサイトを訪問した際、提示したタスクを達成できたかどうか思い出します。
自己報告によるタスク完了データがどの程度正確かを断定するにはさらなる調査が必要です。しかし、不足しているほかのデータを埋める手がかりになります。また、自己報告に基づくタスク完了は実際より高くなる傾向にあるということを私たちは発見しましたが、それでもほかのテストに比べるても有益な情報をもたらしてくれます。タスクが具体的で、かつ最近試行されたものであればあるほど正確なデータを得ることができます。
シミュレーションに基づくタスク完了
実用に基づくデータを集める際の複雑さや制約を考えれば、より一般的な方法はユーザー行動をシミュレーションすることです。シナリオを作り、ユーザビリティテストをユーザーに行うことでシミュレーションができます。
モデレートされたテスト
ユーザビリティテストにおいてユーザーのタスク遂行を観察する場合、ファシリテーターか観察者がユーザーが必要な手順を完了しているかを確認します。その際、事前にタスクの成功基準を提示しておきましょう。たとえば、インボイスを整理したり、識別番号をもとに製品を正しいところに配置したり、データベースに連絡先を追加するなどです。しかし、成功基準がどれだけ具体的であろうと、参加者の行動やタスク達成する方法のひとつひとつは予測できません。
ユーザーを観察することで、予期せぬ方法や行動が成功につながるかどうかをファシリテーターが判断することができます。それに加え、URLを開くといった定められたタスクの成功ではなく、より自由で制限のないタスクを試行することができます。たとえば、ECサイトでユーザーがTVを見つけられるかを調べたいとします。その場合、ユーザーにTVを選んでもらった後に、ユーザーにヒアリングをすることで選ばれたTVがニーズを満たしているかを判断できます。
こういったイベントを記録することで、タスク完了を検証して再考できるようになります。そのためモデレートされたテストは、シミュレートに基づくタスク完了を測定する最適な方法なのです。もちろん問題点は、実験に時間と費用がかなりかかるので、参加者数や地理的な制限が生じることです。
モデレートされていないテスト
MUIQのような、モデレートされていないユーザビリティテストのプラットフォームを使えば、多くのユーザーからすぐにデータを収集することが可能になります。しかしその代償として、タスク完了が測定しづらく、テストできるタスクや成功基準の範囲が狭くなります。モデレートされていないテストのためにタスクシナリオを書くというテーマについては、Beyond the Usability Labを参照してください。以下では、モデレートされていないテストのタスク完了を測定するための方法を紹介します。
- 質問して確認する方法
テストで、タスクをうまく達成した場合のみに得られる情報について参加者に質問しましょう。たとえば、ECサイトで４つ星評価の40ドル以下のミキサーを探すというタスクであれば、見つけたミキサーのブランド名を書いてもらうといったものです。そのようなシナリオであれば、基準を満たす正しい答えの数は通常１つか２つに限られます。タスク成功は、「その他」の項目を含む複数選択式の問題に対する参加者の反応を見れば測定できます。質問して確認する方法は、遠隔操作のモデレートされていないテストでタスク完了を評価するのにもっとも一般的なのでおすすめです。
- URLで確認する方法
特定のURLがクリックされることが、タスク成功の証拠になります。MUIQなどのソフトウェアを使い、URL全体や一部分をマッチングすることで、タスク完了を測定することができます。たとえば、タスク完了の基準となる製品やページが１つだけあるのであれば、参加者がそのページを見つけることでタスク成功となります。このアプローチは、限定されたページ数やURL成功例のあるプロトタイプを評価する場合に、非常に有効です。
しかし、大規模Webサイトの多くは、目標にたどり着くまでに複数の選択肢があり、製品や情報のページもたくさんの種類があります。その結果URLが異なるせいで、この方法を使うと疑似故障となる確率が高くなってしまうのです。このような理由から、疑似故障を最小限に抑えるためにも。URLで確認する方法は二次的方法として、あるいは質問によるほかの証拠を併せて利用します。
- 自己報告
実際の利用経験を思い出すときと同様、モデレートされていないテストの場合でも、参加者にタスクを達成できたかどうかのアンケートを取ることが可能です。とてもシンプルですが、前述した通りあまり正確ではありません。参加者は過信していたり、自らの失敗に気づかない傾向にあります。
もし事業計画の問題のせいでこの方法しか使えない場合は、何もしないよりはマシです。しかし、競合分析における完了率の相対的な目安にしかならないでしょう。
- セッションの記録
モデレートされていないテストにおける、参加者の画面記録があるならば、ユーザーが何をして、Webサイトのどこへ行くかなどを見ることで、モデレートされたテストと同等のクオリティの結果を得ることができます。MUIQのプラットフォームはイベントとデスクトップやモバイル、ネイティブアプリ画面の記録ができます。これはとても良い機能ですが、たくさんのビデオを見るのに時間がかかるため、この方法を第一の方法として使いたくはありません。
- ほかの選択肢
アンケートやURL、セッション記録などで検証することができないものの、自己報告以上の完了率を得たい場合もあります。たとえば、参加者が銀行のアカウントにログインするときや、携帯アプリにアクセスしているとき、もしくは録画を禁止するWebアプリやカスタマイズされた情報を利用するとき、質問による検証の信頼性を欠きます。
タスク成功のインジケータになるほかの選択肢としてあげられるのは、参加者にスクリーンショットを撮ってもらい、ファイルやスクリーンショットをアップロードしてもらうか、メールで送ってもらうというものです。どちらもテクノロジーや参加者のプライバシーという難点があるため、これは最終手段でしょう。タスク完了について客観的に評価できる、唯一の方法であるかもしれません。
まとめ
タスク完了は、タスクが成功したかしなかったかを決定するだけのシンプルな査定でありながら、測定は難しいです。データが実用に基づくか、シミュレーションに基づくかによって、タスク完了の評価方法に違いが出てきます。シミュレーションの場合は、さらにモデレートされているかされていないかで、評価方法を検討しなければなりません。実用とシミュレーションによる両方の観察ができるときは、タスクシナリオを書いたりタスク成功を評価するのがより自由になります。
また、モデレートされていないテストの場合、アンケートやURLによる確認が主な方法となります。ほかに手段がないときは、タスク完了の自己報告が何もないよりはマシではありますが、結果が誇張されている場合がほとんどです。多くのUX手法と同様に、効果を測定するのにアプローチを組み合わせてみてください。たとえば、参加者に確認のアンケートを取り、クリックしたURLの記録を見て、必要に応じたセッション記録を見返してみるといったものです。
