思考発話法が被験者の行動に与える影響の調査

Jeff Sauro

Measuring Uの創設者。シックスシグマに熟練した統計学分析者であり、ユーザーエクスペリエンスを定量化したパイオニアでもあります。

この記事はMeasuring Uからの翻訳転載です。配信元または著者の許可を得て配信しています。

DOES THINKING ALOUD AFFECT WHERE PEOPLE LOOK?

思考発話法(シンキング・アラウド)は、UX調査において有効なツールです。主に被験者の思考プロセスを理解するために使われますが、インターフェイスの問題点を明らかにすることもできます。

行動科学の分野では、思考発話法には1世紀前までさかのぼれるほど豊富な前例が存在します。ですがそれほど価値が認められているのにも関わらず、常に議論が絶えないものでもあるのです。被験者に提示するアクティビティによっては、被験者に思考発話法を行ってもらうことで被験者の行動に変化が出てしまうと述べる調査も存在します。

しかしさらに調査を進めると、行動にどのような影響を及ぼすかは、どんな質問を問いかけるか、どのような背景で行われたかということに大きく左右されることがわかりました。そのため、思考発話法が被験者にもたらす効果を、大雑把に一般化することには注意が必要です。

思考発話法がもたらす効果を評価する方法は、以下のようにたくさんあります。

  • 明らかにしたユーザビリティ上の問題の数と種類
  • タスクの指標(タスク完遂率、時間、クリック数など)
  • 被験者がどの部分を見ているか
  • 被験者が、ある要素をどれくらいの長さ見ているか
  • どれくらい理解できているか、覚えているか
  • 購買行動
  • 標準化されたアンケートの点数

思考発話法の効果を調べる際にまず始めにやるべきことは、人がWebページをどのように見ているか、またどの部分を見ているかを知ることです。もし思考発話法を用いることで、被験者がページの各部分を異なる体系として見ていたら、ほかの指標に影響している可能性が高いと言えるでしょう。たとえば、タスクにかかった時間、ユーザビリティの問題が起こってしまったこと、標準化したアンケートから集められた態度に関する指標などです。

まずは被験者の視線のトラッキングから始めるのが良いでしょう。なぜなら、タスク完了率のような鈍い指標に比べ、視線のほうが微妙な変化にも敏感だからです。

先行研究

どの部分をどうやって見ているかを調べた、従来の思考発話法(リアルタイムな思考発話法やCTAと呼ばれる)を調査した結果はまちまちです。Eger氏によると、リアルタイムな思考発話法を実施するよりも、被験者が自身の視線を追ったビデオを見ながら思ったことを口に出すほう(回顧法に近く、回顧的な思考発話法と呼ばれる)が、問題点が多く見つかることが判明したそうです。また思考発話法を行うと、完遂したタスクの数が減少し、若干ですがタスクにかかる時間が長くなることもわかりました。しかし、この結果では被験者の視線の経路にどのように影響しているか、または影響していないかは示されませんでした。

Hertzum氏らの研究によれば、思考発話法を実施している場合、被験者はタスク完了までにより長く時間がかかり、精神的な負荷が増えることがわかりました。また、被験者が視線を向ける先にも変化が起きていました。そこで彼らは思考発話法を、昔ながらの方法(Ericsson氏とSimon氏によって解説されている)と、今日実践されている「ゆったりした思考発話法」の2つに分けました。

ゆったりした思考発話法を実践している間では、評価タスク中に眼球が動く(断続的な)時間が短いことがわかりました。これはこの手法が視覚探索に要する時間を減少させる働きがあることを示唆しています。

また、Ogolla氏の調査によれば情報が少ないタスクにおいて被験者に思考発話法を実施してもらうと、視線を止めることが増え、スクリーンをよりじっくり見る様子が確認できたそうです。これは、参加者が思考発話法の際には、タスクを始める前に「調査」をするように、「もっと詳しく見る」ことを示唆しています。

Romano Bergstrom氏とOlmsted-Hawala氏は、95人の成人にアメリカ合衆国国勢調査局のWebサイトを閲覧してもらう調査を行いました。その結果によると、思考発話法が被験者が見るWebサイトの場所に影響を及ぼすことが判明したのです。彼らによれば、被験者がリアルタイムな思考発話法を行ったか回顧的な思考発話法を行ったかによって、Webサイトの上部と左部のナビゲーションに視線を固定する回数に違いが出ることが判明しました。

違いがもっともはっきりと表れたのは高齢層と若年層、そして若年層の中ででした。たとえば、若い大人は思考発話法を行った場合、ナビゲーションで視線を2倍固定していました。

調査

私たちは、被験者がWebサイトのどの部分をどうやって見るのかに対して、思考発話法がどのような影響を及ぼすか、もっと理解を深めたいわけですが、一方でさまざまなWebサイトやレイアウトの違いも包括した調査にしたいと考えました(Bergstrom氏 と Olmsted-Hawala氏のさらなる研究への提案も行いたいのですが)。

サイト間での変動を最小限にするため、私たちはコアの部分から調べ始めました。Webサイトのホームページを見ていくことです。これまでの調査から、Webサイトの第一印象は、態度の測定やタスクの成功に大きな影響を与えることがわかっています。ですが、思考発話法を用いると、人々がホームページのどこを見るかに影響があるのでしょうか?

私たちは以下の20の企業のホームページを選び、コロラド州デンバーのラボでSMIアイ・トラッカーを用いて被験者の視線を測定する実験を行いました。

1-800-Flowers
Apple
Boston Proper
Container Store
Crumpler
Fry’s
FTD
Home Depot
L.L.Bean
Lowe’s
Michaels
Microsoft
Payless
Pier 1 Imports
ProFlowers
Shutterfly
Snapfish
ToysRUs
Vistaprint
Zappos

被験者間のばらつきの影響を抑えて統計的検出力を高めるために、被験者内調査を設定しました。ランダムに選出した13人の被験者に20個すべてのWebサイトを見せました。このとき参加者には無作為に10個のWebサイトを割り当てて思考発話法をうながし、残りの半分を閲覧するときはそのような指示をしませんでした。

注目するエリア

複数のWebサイトを用いることの難しい点は、Webサイトによってレイアウトが大きく異なるということです。よりナビゲーションが顕著だったり、ヒーロー・イメージやロゴを持つWebサイトもあったりします。たとえば、Apple社のWebサイトにはサイド・ナビゲーションがありません。その中でも、私たちは以前の研究でも述べたように、ほとんどのWebサイトに共通する4つの関心領域(AOI)を定義しました。その4つとは上部ナビゲーション、サイド・ナビゲーション、企業のロゴ、そしてメインコンテンツエリアです。図1でZappos社のWebサイトを例に4つのエリアを示します。

図1:Zappos社のホームページ上の関心領域。

Webサイトを見ながら思考発話法を実施するように指示された被験者には、モデレーターに興味をひかれたところや良かった点、悪かった点など、なんでも伝えるよう求めました。5秒間ホームページを見てもらったあと、被験者は何をWebサイトで見たか簡単な質問がされ、 8 SUPR-Q itemsに答えます。私たちが最初に用いた従属変数は、関心領域に視線が固定される回数と合計時間でした。

結果

調査のサンプルサイズは小さいですが、それでも被験者が思ったことを口に出しているかどうかで、Webサイトの見方に統計的に明らかな変化が表れました。図2はすべてのサイトにおける、被験者が思考発話法を実践した場合とそうでない場合の、ヒートマップです。20個のWebサイトで、被験者たちがどこに視線を留めていたのかがわかります。

図2:被験者が思考発話法を行わなかった場合(左)と行った場合(右)の視線固定を表したヒートマップ

Zappos社のWebサイトでは、視線固定のパターンが少し異なっているのが次の図3でわかります。

図3:ZapposのWebサイトで起きた視線固定のヒートマップ

関心領域別の違いを見てみると、上部ナビゲーションと左部ナビゲーションにおいて異なったパターンがいくつか存在しました。

上部ナビゲーション

図4は、参加者が思考発話法を実施した際の上部ナビゲーションにおける視線の平均滞留時間と平均固定回数の差を示しています。

図4:上部ナビゲーションにおける視線の滞留時間と固定回数

思考発話法を実施すると、上部ナビゲーションにおいて、視線を固定する回数が少なくなり(1.4 : 2 ; p=.002)滞留時間が短くなる(353s : 552 ms ; p=.008)ことがわかりました。つまり、思考発話法を行った場合、被験者が上部ナビゲーションを見る時間が30%減少しているのです。

左部ナビゲーション

対して左部ナビゲーションでは、視線を留める回数がわずかに増え(2.5 : 1.9 ; p=.12)平均滞留時間が長くなっている(1022 ms : 577 ms ; p = .02)ことがわかりました。滞留時間が77%も増加しているのです。図5ではこの違いを示しています。

図5:レフト・ナビゲーションで起きた視線の固定回数と滞留時間の違い。視線の固定回数はそこまで差はないことがわかります。

議論

今回の研究では思考発話法を用いた際、被験者は上部ナビゲーションから左部ナビゲーションへ視線を移す傾向があることが判明しました。

この結果は、Bergstrom氏とOlmsted-Hawala氏が行った調査から得られた知見と部分的に一致しています。彼らは、被験者が思考発話法を行っているときには、上部ナビゲーションと左部ナビゲーションの両方で、一般的に視線の固定回数が増加することを発見しました。ですから、どちらの調査も思考発話法を実施すると明確に効果が現れることを示している一方で、視覚の焦点が移行することについては、両者の間で一貫性はありません。

今回の研究で複数のWebサイトを用いたことのメリットは、今回明らかにした傾向が1つのWebサイト(Bergstrom氏とOlmsted-Hawala氏の研究におけるアメリカ合衆国国勢調査局のWebサイト)のデザインによって生じた結果である可能性が低いことです。

思考発話法によって違いが生まれた理由の1つとして仮説を立てるとすれば、被験者は研究者に説明するときにスクリーンから目を離しているか、もしくは説明するエリアだけを見ている可能性があります。

移行についてもう1つ説明するならば、被験者は読む必要があるものを探して、早々に上部ナビゲーションから離れ、左部ナビゲーションに移るようです。これは主に、被験者があとでWebサイトの概要を聞かれると知っていることが要因です。この先の調査では今回明らかにしたパターンは常に同じなのかどうかについて調査していけるでしょう。

今回の調査の欠点と今後の調査について

以下は今回の調査の欠点や、この先取り組むことができる改善要素です。

  • ホームページ:今回の調査では、すべてのWebサイトではなく、ホームページのみを扱いました。また、ホームページで思考発話法を実施している間は、被験者にタスクを課しませんでした。今後の調査では、被験者に5秒間ただホームページを見てもらうのではなく、タスクに関わったときにも結果が持続するかどうかを調査していけるでしょう。
  • 被験者内調査における持ち越し効果:この調査が被験者内要因をはらむせいで、Webサイト(計20のWebサイトのうち10個で思考発話法を実施)を連続して閲覧することによって、被験者に異なったふるまいをさせていたかもしれません。たとえば、いくつかWebサイトを閲覧したあとには、被験者は閲覧したWebサイトについて覚えていることを聞かれると知っていることになります。ですから被験者はWebページの特定の場所(左部ナビゲーションのようなエリア)を体系的に見る戦略を立てているかもしれません。しかし被験者たちは思考発話法を行ったときとそうでないときで、それぞれ同じ数のWebサイトで、同じ質問に答えています。したがって不必要な持ち越し効果が、どちらの場合にも均等に表れていることになります。
  • 視線のパターンが異なるからと言ってほかの指標には関連していない可能性がある:異なる視線の経路を辿っているからといって、タスク完了率、タスクにかけた時間、態度や購買行動などの別の行動に、必ずしも結びつくとは限りません。今回の調査によって思考発話法が被験者が見る場所に影響があることが強固になりました。また、ほかの調査によって思考発話法の指標によって違いが生まれることが発見されました。ですからこの先の調査では、思考発話法がほかの指標に与える影響についてより深く調査していけるでしょう。

おわりに

今回の調査結果から、思考発話法は、最初の5秒間でWebのホームページのどの部分をどのくらいの間見たかに影響することがわかりました。被験者がどこを見ているかに影響するという点は、被験者がどのように指示されたかにもよりますが、少なくともある程度はこれまでの調査結果と一致する部分でもあります。

またこの研究では、思考発話法を実施すると、被験者の視線の経路が上部ナビゲーションから左部ナビゲーションへ移行する傾向がありました。ですが異なったタスクやWebページでも、この結果が持続するかどうかは不明確でした。

今回の結果は、思考発話法はどこを見ているかなどのふるまいに影響するという、これまでの研究を強化するものでした。しかしほかの研究者も述べているように、これは思考発話法を禁止したほうが良いという意味ではないと思います。被験者の行動に微小な変化が生まれることを踏まえたとしても、被験者の思考が理解でき、ユーザビリティの問題が明らかになる思考発話法の性質は重要です。

この研究結果からの知見としては、人々がホームページのどこをどれくらいの間見るのかを測定する正確な基準が必要な場合には、思考発話法は用いないほうか良い、ということでしょう。