Steve Jobs氏がかつてこう言いました。
デザインにとっては、どう見えるか、どう感じられるかだけではなく、どのように機能するかが重要なのです。
業界の偉大な先人たちは、デザインがいかに機能的であるべきか、良いユーザビリティを持つべきかについて語ってきましたが、それでもなお、デザインは開発プロセスの中の見た目に関わる部分のみが扱われていました。
その論争全体を置いておくとしても、デザインのユーザビリティは盛んに話題に上るテーマです。開発するものがソフトウェアであれWebサイトであれアプリであれ、デザインのユーザビリティはプラットフォームの成功度合を計測する際に考慮される基準です。そしてユーザビリティを計測するには、ユーザビリティテストが最適です。
出典:Dilbert.com
一方でユーザビリティテストについては、「形成的テスト」と「総括的テスト」の間で激しい論争が起こっています。人々は根拠を持った上でどちらかの主張に分かれていますが、それぞれのテストは多くの点が異なるため、どちらのテストがより必要かという議論は膠着状態にあります。
開発プロセスにおいてより重要なのはどちらなのでしょうか。それを知るためには、両者を比較して違いを理解するしかありません。ですがその前に、それぞれのテストの意味を考えてみましょう。
形成的ユーザビリティテストとは何か
形成的な手法はデザインプロセス、開発プロセスの初期段階で使われるものです。UIデザインに関する問題を特定し、開発プロセスの主たる段階においてそれらを解決するための解決策を提供します。
形成的なユーザーテストは、どちらの機能がより便利かを決めるための優れたツールであると考えられており、プロダクトのデザインにおける決断に大いに影響します。５人から７人のユーザーグループを用いて、主にプロダクトの良質なユーザー体験をデザインするために使われます。
テスト実施者がプロダクトのデザインに関わる問題を発見するたびに、その発見に基づく開発プロセスが繰り返されます。形成的テストの中で集められたデータは観察から得られるものであり、多くがデザインの「質」に関わる部分となるので、定性的ユーザーテストとも呼ばれます。
では、総括的なテストについても見てみましょう。
総括的ユーザビリティテストとは何か
総括的なユーザーテストでは、デザインのユーザビリティを間接的に評価します。この際、テスト実施者のグループはタスクを与えられ、彼らのパフォーマンスによってデザイン要素におけるユーザビリティの割合が測定されます。
総括的なユーザーテストは、プロダクトがマーケットに出されてから実施されます。テストは10人以上のグループによって行われ、これによって集められるデータはデザインの定性的な面についてではなく、定量的な面（たとえば、途中で壁に当たることなくプロダクトを使うことができる人の割合）についてのものです。このことから、総括的なユーザーテストは定量的ユーザーテストとも呼ばれます。
形成的テストと総括的テストの違い
ここまで見てきますと、形成的ユーザーテストと総括的ユーザーテストの間には大きな違いがあることは明らかです。調査の設定、分析手法、得られるデータなど、両者の間には数多くの違いがあります。以下に、その違いの中のいくつかを詳しく説明します。
どんな疑問に答えるのか
ユーザビリティテストを行う理由の１つは、デザインの有効性を確かめるためです。そして、形成的テストと総括的テストの大きな違いは、どんな疑問に答えるのかという点です。
形成的（定性的）ユーザーテストは、デザインの使い勝手についての、「なぜ」「どのように」という疑問に答えるものです。このテストはデザインプロセスの初期段階において実施されるもので、テストによって明らかになるのは「なぜ何かが上手く機能していないか」という疑問に対する答えです。テストを実施するユーザーがあるアクションを起こそうとしてつまずくとき、デザインが機能していない理由を探します。そしてその理由が見つかれば、その問題に対するソリューションも見つかるのです。また、ユーザージャーニーをマッピングするのに役立つ、９つのステップからなるUI・UXガイドラインも参照してください。
一方、総括的（定量的）ユーザーテストは、「どのくらいか」という疑問に答えるものです。定量的テストは多くのユーザーに対して実施されるもので、集められたデータによってプロダクトのデザインの使い勝手を評価します。総括的な調査によって開発チームは、プラットフォームにおいてユーザーの何パーセントが特定のアクションを起こす際に壁にぶつかっているかを知ることができます。この統計データがあれば、チームはユーザーのニーズに従ってプラットフォームをデザインし直すことができます。
定性的なデータも定量的なデータもいずれも、デザインエレメントが機能しているかどうか、そしてどうすれば改善することができるかを突き止めるために集められるものではありますが、別々のユーザビリティテストが用いられるのは、それらが別々の答えをもたらすためです。
いつ使われるのか
両方とも、デザインのユーザビリティを理解し、改善するために行われるテストではありますが、開発プロセスの中の別々の段階で実施されます。
形成的（定性的）テストはデザインと開発の初期段階に実施されます。このテストは、開発者が使っている主要なデザイン要素が上手く機能するかどうかを確かめるため、プロダクトをデザインする場合に実施するのがもっとも効果的です。形成的なテストはまた、Minimum Viable Product（実用最小限のプロダクト）の場合にも実施されます。初期段階に形成的テストを行うことで、開発者は機能的なデザインを持つプロダクトをマーケットに出すことができるのです。
総括的（定量的）テストはプロダクトが完成し、マーケットに出されたあとで実施されます。このプロセスはデザインを改善するためと言うより、デザインを評価するためのものです。定量的なデザインテストを行って、開発者は形成的テストをクリアしたデザインエレメントが世の中のより多くのオーディエンスに対して有効かどうかを知ろうとします。総括的テストにはコストがかかるので、世の中の多くの企業は自前のオンラインプラットフォームでこのテストを実施することを躊躇しています。しかし、定量的なデータは実に統計的に重要なものであり、そしてターゲットとなるユーザーに対するデザインの有効性について重大な気づきを与えてくれるものなのです。
何を達成できるのか
両者の間には、どんな疑問に答えるのか、いつ行うべきなのかという点で大きな違いがあるのですから、達成できることにもそれぞれ重大な違いがあると言わざるを得ません。
ここまで、それぞれのテストがいつ使われるのか、どんな疑問に答えるものなのかについて検討してきました。これを踏まえれば、形成的テストと総括的テストの目的の違いを理解することは非常に簡単です。
デザインの見直しのプロセスは既存のデザインを評価することから始まるため、上の図では最初のステップが総括的テストになっています。デザイン要素が評価され、データが集められたら、何がうまくいっていないのか、どこで多くのユーザーが苦労しているのかがわかります。そうしたら次のステップに進んで、プラットフォームに追加すべき新たなデザイン要素を知るために定性的テストを実施します。
プラットフォームのデザインの見直しが済んだら、今度は新たなデザインがうまく機能することを確かめるために２つのテストが繰り返されます。このプロセスによって、総括的テストと形成的テストの目的が明らかになります。総括的テストが大量のデータを集め、デザインを評価する一方で、形成的テストはデザインプロセスの中で素早くデータを集めることができます。
メソッドの違い
これらのメソッドの違いこそが、２つのユーザビリティテストの違いを生み出しているものです。どちらもユーザー体験を扱う調査ではありますが、大きな違いはそのデータの集め方です。
いずれのメソッドも、３つの柱で成り立っています。つまり、参加者の数、調査条件の柔軟性、使われる手段です。
形成的テストでは、参加者の数は限られており、「マジックナンバー」である５人を超えることはほとんどありません。調査の条件はかなり柔軟で、テストの間に決められたテスト環境を厳守する必要すらありません。データは思考発話法を使って集められ、テストの中でプロダクトやサービスを使うユーザーは口頭でフィードバックをします。
総括的テストでは20人以上のユーザーに１つのタスクを試してもらいます。調査の条件は厳格に管理され、各セッションは開発チームが適当であるとあらかじめ決めた条件の下で行われます。定性的テストの中で集められるデータは統計的なもので、多くの場合、思考発話法は使われません。総括的テストで集められるデータは形成的テストで集められるデータよりもかなり正確です。
何が得られるのか
定性的なデータがあれば、開発者はデザインの長所と短所を見つけることができます。しかし、このデータがどれだけ便利でも、確固たるものではありません。形成的テストの結果は、世の中のユーザーを正しく代表しているとは言い難い少人数のユーザーを対象とした不規則なテストです。その上、定性的テストは開発者の専門知識と、彼らの目線によるユーザーとUI要素の問題の解釈に基づいています。デザインの初期段階において形成的テストによるデータが大変便利なのもこの点なのですが、それでも十分に信頼できるものではありません。
しかし定量的調査は、定性的な調査に比べて確実な成果を上げることができます。定量的調査のプロセスには多くのユーザーが関与しており、ターゲット層全体をより良く表しているためです。データは恣意的に選別されたものではなく、統計的な手法によって集められたものなので、開発チームはデザインの誤差の範囲を理解することができ、多くのユーザーが困っているポイントを知ることができます。これによって、プラットフォームにおけるデザインの欠点についてより良い対策を取ることができるのです。
結論
多くの違いがあるものの、定量的テストと定性的テストは相互に補完するものです。形成的（定性的）な調査はデザインがうまくいっていない理由を直接的に示し、総括的（定量的）調査ではデザインの失敗の理由について、より確固とした、客観的な気づきを与えてくれます。そして集められたデータを分析すれば、テスト全体を意味のないものにしかねないようなノイズに悩まされることなく情報を得ることができます。だからこそ、デザインを完全なものにするためには両方のテスト手法が必要なのです。
