オンラインパネルを使用する際の8つの注意点

Jeff Sauro

JeffはMeasuring Uの創設者。シックスシグマに熟練した統計学分析者であり、UXを定量化したパイオニアでもあります。

この記事はMeasuring Uからの翻訳転載です。配信元または著者の許可を得て配信しています。

8Things to Consider When Using Online Panels (2017-03-21)

オンラインパネル調査は、市場調査やUXリサーチに必要なデータを素早く収集するのに有効な手段です。多くの人がオンラインパネル調査を使用しています。

しかしながら、パネルメンバーの特徴やデータの信頼度、正確性など、パネルの詳細はあまり知られていません。

調査の内部に関するデータはあまり公開されていませんが、リサーチャーに見識を提供するため、私たちは独自の研究を重ねたり、文献などから資料を集めたりしました。この記事では、オンライン調査でパネルを使用する際に考慮すべき8つの事項を紹介します。

1. 参加者は複数のパネルに所属する

Op4GTolunaCintSSIResearch NowHarrisなど、オンラインパネルのプロバイダには多くの選択肢があります。参加者は簡単に複数のパネルと同時に契約することができます。実際、あるメタアナリシスは参加者の半数が、5つまたはそれ以上のパネルに属していることが発見されました。これは、少数の参加者が参加者全体において不釣り合いなほど多くの割合を占めていることを意味しています。複数のパネルに参加すれば、パネルメンバーはより多くの研究に関わることができるので報酬を得る機会が増えます。

2. 複数のパネルへの参加は結果に影響する

複数のパネルに所属することは、必ずしも悪いことではありません。しかし、参加者が重複して調査に関わることで結果に影響を及ぼすことがあります。

このような参加者は、ブランドの認知度が平均以上で、商品を購入する意欲が高い傾向にあることがわかりました。また年間を通して多くの調査に参加できるので 、調査を素早く終わらせたり、自由回答の問いには簡潔に回答したりなど、複数のパネルに所属する参加者は真面目に回答をしない傾向にあります。

3. パネルへの参加期間も影響がある

ある研究により、新規の参加者が商品を推奨する確率が50%なのに対して、3年以上の長期の参加者は37%であり、推奨する可能性が低いことがわかりました。ケースごとの原因があるとしても、これは調査に慣れてしまい刺激に反応しにくくなっていることと関係していると考えられます。

そのこと自体は悪いことではありません。一般的に参加者は、商品の購入や推薦などの行動を行う可能性を過大評価する傾向にあります。ここで問題になるのが、パネルの回答者が商品を推薦してくれる可能性が高い新参者なのか、パネルに親しみすぎたことで商品の推薦をする可能性が低い上級者のかどうかの識別がされていないことです。

4. 平均オンライン調査時間は約17分

研究にかかる時間の長さには、参加者のドロップアウトが主に関係します。11個のパネルのメタアナリシスでは、研究の平均調査時間は17分で、研究の約半数は20分かそれ以上、またそのうち13%が30分以上の時間を要することがわかりました。平均調査時間は私たちの研究を少し上回りましたが、パネルメンバーが行っているほかの研究と比較することで、長すぎる調査時間の明確な基準を答えることができます。

5. 推定値には幅がある

調査においては、一般集団の態度や行動を推定する必要性があります。オンラインパネルから抽出されたサンプルは、一般集団を推定するために利用されます。これを点推定と呼びます。研究はさまざまな点推定があることを示し使用されているパネルや有名な外部ベンチマークによって、推定数値がかなり変動することがわかりました。

購入意志やブランド認知度などの点推定の指数が15〜18%ほど変動することは、珍しくありません。この誤差は、人口統計や喫煙と新聞購読などの行動調査、ブランド認知度、購入可能性など、さまざまな研究で見られました。

6. UXメトリクスにも幅がある

SUPR-QNPSなどのUXメトリクスの点推定も、パネルや一般集団の人口統計、サイコグラフィック変数の間で異なりました。平均的な差は3%〜10%でしたが、差が20%を超えることもあります。 UXメトリクスの本質的な性質であるにも関わらず、推定数値の誤差は私たちの予想を下回りました。

7. パネルを変えることで推定も変わる

パネル間の推定値の誤差は、実際の人口推定値の誤差を上回る可能性が高いです。そのため、製品やブランド志向を推薦するのに時間をかけて比較調査する場合は、パネルを変更しないことをすすめます。しかし、パネルの変更は避け難いです。過去のデータと比較するためにパネルを変更した場合は、調査結果の解釈方法も変更されたことに注意するよう、結果を見る人に知らせます。また、認知されているパネルの場合は、特徴の違いの情報を読者に提供しましょう。

8. 非確率標本よりも確率標本

ほとんどのオンラインパネルは非確率標本と呼ばれています。オンライン広告やスノーボールサンプリングリバーサンプリング、直接登録によってメンバーを取得するからです。また非確率標本は一般集団からサンプルをとることはほとんどありません。

反対に、確率標本は名前が示すように、全人口が必ず一回は回答者に選ばれる機会をもつことを保証しています。確率標本を使う企業は、一定レベルの統計学的代表性を確保するため、リーチしにくい母集団への対策を講じます。私たちの予想通り確率標本はあまり使われません。しかしながら、外部のベンチマークと綿密に照合することによって、非確率標本よりも優れた結果を残すことが多いです。