ユーザーアンケートの作成は非常に難しい仕事です。
私が所属するUser ConversionというチームはUXリサーチャー、心理学者、UXデザイナーやWebアナリストなどの複数の専門家で構成されていますが、これだけの専門家を抱えていてもなお、アンケートの作成は難易度の高いタスクなのです。
アンケートの有用性、効率についての見直しをしたとき、そもそもの設計からアンケート対象者、そして後の分析に至るまで、毎回同じような失敗が見られます。
今回はアンケートの失敗においてみられる５つの要因について紹介します。
１．アンケートの目的があいまい
アンケートの作成においては、まず２つの目的が存在します。
1. アンケート全体の目的
2. 個別回答の目的
特に後者の「個別回答の目的」を正しく定めるほうが特に難しいと感じます。
個別の質問一つ一つに目標を設定することで、各質問が何を達成すべきなのかが明確になります。
多くの場合、「あなたは以前に競合会社の何か商品を使用したことがありますか？」や「今日はどのような方法でこのサイトを見つけましたか？」などのよくある質問を投げかけがちですが、実際のところ自身に同じ問いをしてみるとそこまでインサイトが得られるわけでも無いことに気づきます。もちろん、このような質問は深堀するのには良い場合もあります。ですが、まずは各質問に対して自身でこのように質問してみてください。
「この質問によってどんなインサイトが得られるのか？」
Make Mention社のコンバージョンコピーライターであり、主任であるJen Havice氏は「自分が単純に答えが知りたいだけの質問に時間を無駄に使ってはいけない。答えを知る必要がある質問を見極めるべきだ」と言います。
コンバージョンを最適化するためには、常に「この問いは自身に何を与えてくれるだろうか」と問いかけてください。そして常に自分のアンケート設計に対して効率を求めるようにしてください。
２．評価の尺度が読み取りづらい
「アンケート設計において、とても基本的な間違いがたくさん見られます。中でも５段階評価などの尺度に関する間違いが一番多いのです」とRob Balon博士は述べます。
Balon博士はリサーチとマーケティングに関する書籍の著者であり、Bloomberg FinancialやDell Computersを初めとする様々な顧客に対し、市場のリサーチやコンサルティングを手掛けるThe Benchmarking社のCEOでもあります。彼は尺度の間違いが最も頻度が高いと説明しています。
簡単にいうと、５段階評価を採用する際に、評価が最高値である「５」と最低値である「１」がでてしまう時です。ConversionXLの記事では、調査の尺度の最良実施をいくつか詳しい詳細の中で説明しています。さらに具体的に言うと、UIEのJared Spool氏は、５尺法（リッカート尺度）で、「人はただ満足、不満の２択であるはずがありません。従って、「少々」や「極めて」等の形容詞を付加することでより明確化します。
彼は「大変満足している」「食べやすい」などの表現についても、無意味な用語であると述べています。むしろ「大喜び」や「失望」のような、利用者の容認だけではなくもっと、利用者の考えや感情が読み取れるような言葉を使っていきましょう。
３．質問の意図が伝わりづらい
アンケートにおいて文体や表現が関係ないと思ったら大間違いです。仮説を前提した言い回しやユーザーを規定するようなものは危険です。
アンケートの文を作成する際には、適切な表現であること、そして聴衆者や調査そのもの、また個々利用者の考え方に関連していることが必要なのです。
例として、食品のウェブサイトを制作した弊社のクライアントの一つを例に挙げるとします。サイトの中に、「VLCD」や「ケトーシス」のような含有物の用語を使用し、専門用語を載せていました。
食品専門家でない私達には、そのような専門的用語の意味が全く分かりませんでした。対象者に、調査内で使用されている言葉を評価してもらったところ、全文章の20％の用語が理解されていないことが分かりました。この状況は２つの可能性を示唆しています。これらの用語はアンケート対象者に対応できていないのか、あるいは調査に関連しないアンケート対象者を集めてしまったのか、のどちらかです。
My Market Research Methodsの2011年の記事では、「調査で使用する言葉を組み立てる際には、説明する必要がほとんどないような一般的で、シンプルな単語を使うべき」とあります。
「よく」や「時々」、また「最近」のような単語はすべて解釈の仕方次第であり、受け手によって意味が異なります。
例えば、「車の保険に最近入りましたか？」と「最近食料を買いに行きましたか？」という質問を比較してみるとします。聞き手側のとらえ方は質問の文脈によって異なります。車の保険での「最近」は「月」単位での話である一方、食品購入で文脈で使用された同じ用語は「日」単位となるでしょう。単語そのもの自体が主観的ではありますが。
４．対象者が定まっていない
アンケート文の表現とも関連しますが、アンケートで大事なのは対象者が誰かということです。質問の投げかけ方によっては、返答に大きく偏りが生まれる可能性があるということです。簡潔にいうと、「誰」に聞くかということは「どのような方法」で聞くかと同じように重要だということです。
例えば私の職場では、常に「見込みの顧客」と「既存の顧客」の両方に対して調査をします。これは２つの顧客が似たような顧客の声を持っていながらも全く異なるペルソナのユーザーだからです。
弊社ではこのセグメントを更に細分化することも可能です。６ヶ月前に購入した利用者と比べて、つい最近購入した利用者とでは、間違いなく反応が変わっているでしょう。この点において、各区分において最も最善で有益な情報を引き出すために、より的を絞るべきです。
例をとると、利用者に対してさらなる理解を目指しているNoah Kagan氏のMonthly1k.comによると、Kagan氏は「調査の中で最も役に立つと証明されたのは、【誰】に調査するかということでした。」彼が調査したのは、メールを開いて、クリックしたが購入しなかった人々を対象とし、質問はたったの４個でした。
５．アンケートが長い
上記の間違い全てが積み上がると設問が増えていき、アンケート自体を長くしてしまいます。もし調査について正しく記述する術を知っていたら、より効率の良い質問ができるでしょうし、それによって、より早く正しい答えが導きだせるでしょう。
長い調査を行うと結果はどうなるのでしょうか？ コンバージョン率は下がり、また、Rob Balon氏「中心化傾向のエラー」と呼ぶ現象が起きます。このエラーは精神的疲労が出ているときに起こります。中心化傾向とは、１－５までの評価値があった場合、利用者が３を最もよく選んでしまうことを指します（誰もが経験したことがあるのではないでしょうか？）
Survey Monkeyは2011年に、「アンケートの質問の数と、各質問に答えるために費やす時間との関連は直結しない」ことを発見しました。質問数を増やすと、より短い時間で各質問に答えます。では、適切な調査の長さはどれくらいなのでしょうか？
弊社の経験から言うと、答えは「文脈による」です。よって、「調査において何個の質問にすることが正しいのか」という質問に意味はありませんが、「調査において、どのように最適な質問数を算出すべきか？」という質問にすべきでしょう。質問の数に対しての各質問にかかった時間です。
質問の数に対し、各質問を答えるのにかかった時間（Surveymonkeyより）
まとめ
自社でオンライン調査をしたり、他者がどのように調査しているか観察したり、また単純に研究をすることを通して、よくある失敗は大体この５つしか見られません。「失敗」というのは何が間違っているかを明確にし、正せる余地があるということです。
しかしながら、アンケートはユーザーの認識、考え方について尋ねていくことになりますので、そうした主観的な内容の「間違い」や「正しさ」を判断できるのかという点については非常に難しく、論争を呼ぶところでもあります。それでも、上記に挙げたガイドラインは守っていただくことをおすすめしますし、他にも参考にすべき投稿もありますので探してみると良いでしょう。
最終的に「良い」アンケートの設計は、ビジネスゴールをより深く理解することにつながりますし、調査の方法そのものも、あなたの目標達成に導くことでしょう。
（画像：Scott Brown- Creative Commons）
