全体「象」を見よ! サイロ化されたユーザーリサーチの罠

Lou Rosenfeld

Louは、Rosenfeld Mediaの創設者、「ワールドワイドウェブのための情報アーキテクチャー」の共同執筆者、及び「あなたのサイトのための検索アナリティクス」の執筆者です。

この記事はA List Apartからの翻訳転載です。配信元または著者の許可を得て配信しています。

Seeing the Elephant: Defragmenting User Research (2013-08-27)

シリコンバレーでの信じられない瞬間

私と同じように、年齢が40歳以上で、且つユーザーリサーチを行ってきた人なら共感してもらえるかもしれませんが、私は過去の貴重な数十年間を、ユーザーの行動や意見がデザインにおいて軽視されるような、いわば荒地のような場所をさまよって過ごしていました。

なので、およそ5年前にシリコンバレーのとある大手テクノロジー企業の廊下をうろついて(コンサルしていたのです)いた時は驚いたのです。皆さんはおそらくこの企業を知っていると思います。実際、皆さんはこの企業の製品を使用した経験について、辛辣に苦言を呈したことがあるのではないでしょうか。もちろん、私はそこでユーザーリサーチもろくにされておらず、ユーザーのニーズに対してもほんのわずかな気遣いしかないような現場を想定していたのです。

ところがそこで私が目にしたのは、惜しみない投資による活気ある優秀な人材の揃った研究チーム(その多くは博士号を取得している)の数々で、彼らは以下の項目を含むUXを研究するために、考えられるあらゆる方法を実践していたのです:

・ブランド体系調査
・コールセンターのログ解析
・カード分類検査
・クリックストリーム分析
・現地調査
・フォーカスグループ
・市場調査
・メンタルモデル・マッピング
ネットプロモータースコア調査
・検索アナリティクス
・ユーザビリティーテスト
・顧客へのアンケート調査

その企業はこれら全ての調査において、自社のユーザーが何を考え、そして何をしているのかを明らかにするために行っていました。しかしそれでも、この企業の製品は世間から嫌われていました。

これは一体なぜでしょうか?

盲人と象の寓話

皆さんは「群盲象を評す」という寓話を聞いたことがあるかもしれません。数名の盲人がバーに入り、その後彼らは象に遭遇します。1人は象の鼻を触り、これはヘビだと答えました。別の盲人は脚を触り、これは木だと主張しました。このようにそれぞれが別々の感想を主張し合います。しかし、誰も全体像を把握することができません。

800px-Blind_monks_examining_an_elephant

この企業のチームの各メンバーも、この盲人たちと同じです。一人一人がそれぞれ鼻や脚に対して素晴らしい調査や分析を行っていますが、誰も象を見ていないのです。結果は支離滅裂で、多大な費用をかけた部分的な回答の収集となり、そして識見が明らかに欠落しています。

ビッグデータは一旦忘れましょう。今まさに私たちが直面している大きな問題は、サイロ化されたユーザーリサーチチームによってもたらされた断片化されたデータなのです。1つシンプルな例を挙げてみましょう:あるチームが、自社サイトの主な問題を診断するために、ショッピングカートのコンバージョン率のような行動データに依存していたとします。しかし、彼らはソリューションを提案することができません。一方で、この会社の廊下を進んでいくと、別のチームが様々なツールを利用して必要なソリューションを作成、設計及び評価していました。残念ながら、彼らは問題について詳しく理解していません。なぜなのでしょうか?

それは、これらの2つのチームがお互いに相手の存在を知らない可能性があるからです。または、彼らが自分たちの組織から互いにコミュニケーションを取ることを推奨されていないのかもしれません。もしくは、たとえコミュニケーションを取りたいと考えていたとしても、合理的な対話を持つための十分な共通の文化的レファレンスや言語を共有していない可能性もあります。よってチーム間の統合が起こらず、従来のやり方を一変させるような識見を得る機会を逃し、そして製品やサービスは引き続き好ましくない状態となってしまうのです。

私はシリコンバレー以外のあらゆる種類の業界や場所でも、同じ問題に直面してきました。Aarron Walter氏が運営しているMailChimpのような比較的小規模の企業でさえ、断片化されたユーザーリサーチに苦戦しています。

ユーザーリサーチに現在投資している組織は、自分自身に賞賛を送りたい衝動を抑えなければなりません。なぜなら、まだレベル1の段階に到達しただけに過ぎないからです。彼らをより高い段階、目標が単に調査を遂行することではなく、実際のデザインに関する問題を解決する識見に到達することであるという段階まで進化させるために、私たちはどのようなサポートができるでしょうか。

私はこれに適切な答えがあればと願っていますが、それほど単純なものではありません。

それでも、私たちはこの盲人たちを対話させる状況を生み出すことができます。バランス、ケイデンス、コミュニケーション及び視野の4つのテーマを意識的に取り組むことによって、たとえ組織全体が関わらなくても、貴重な(そして多大な費用がかかっている)ユーザーリサーチによって明らかにされた問題を、研究者たちとデザイナーたちが協力して解決するのをサポートすることができるかもしれません。

1. バランス:研究のサイロ化を回避する

私たちが自分の熟知している、手足のように使用できるツールを好むように、大規模な組織は多くの場合、自分たちに内在するバイアスを反映した研究方法を利用します。例えば、エンジニアリングが得意な組織は、自分たちにとって「不明瞭な」エスノグラフィー調査よりも、ツールを使用したアナリティクスプラットフォームにより多く投資する可能性があります。

もし皆さんが1人の盲人だけの話を聞くとすれば、顧客や顧客が住んでいる世界の不完全かつ不均衡な見解に行き詰ってしまうでしょう。これは非常にリスクを伴う組織の行動です。異なる研究サイロか同時に生じた興味深いパターンの特定(及び確認)を逃してしまうでしょう。そして何か新しい、重要なことを学ばなくなってしまうかもしれません。

研究方法とツールの健全なバランスは、「象」を実際に見るチャンスを与えてくれるのです。シンプルなように聞こえますが、残念なことに大規模な組織では以下の2つの理由から上記のことは珍しいものとなっています:

  1. 自分たちが何を知らないかを理解していない。例えば、数多くの現地調査を行ってきたにもかかわらず、A/B テストについては何も知らないかもしれません。
  1. いつ、何を使用するべきかを理解していない。どの方法を使い、どのように組み合わせるべきか、判断が難しい手法が実にたくさんあります。

自分になじみのあるもの以外のユーザーリサーチ方法を紹介してくれるような素晴らしい本はたくさんあります。例えば、「UXの観察」及び「デザインの普遍的な方法」は、ヒューマンコンピューターインタラクションの世界から、皆さんが研究方法の一覧を作成するのをサポートしてくれます。一方、「ウェブアナリティクス:1日1時間」は、ウェブアナリティクスの方法について前者と同様のサポートをしてくれます。

しかし、様々な研究方法を並べた長いリストだけでは、良いバランスに到達するためにどの方法を使用すればよいかはわかりません。全体像を理解するために、多くの研究者たちが包括的な解釈基準を綿密にまとめることを始めました。

最も広範囲にわたり、かつ有益な図表のうちの1つは、Christian Rohrer氏の「ユーザーリサーチ方法の概観」です。これは、定質定量、及び態度(人々が何を発言するか)対行動(人々が何をするか)という、2つの相反する組み合わせによって概説された4つの象限内に、研究方法を表現しています:

user-research-methods-3d

Christian の「概観」を、ユーザーリサーチプログラムの監査ツールとして使用しましょう。まず自分が既に何をもっているかを考えるところから始めて、この図表を使用して自分の組織が既に使用している既存のユーザーリサーチツールキットの一覧を書き出してみましょう。その後、自分の技法において欠落しているものを特定します。例えば、もし自分のユーザーリサーチ方法が全て4つの象限のうちの1つだけに集まっている場合は、自分以外の盲人を探しに行かなければなりません。

2. ケイデンス:質問と答えのリズム

現状をより良く理解しようとした場合、継続的に様々なアプローチを取ると思います。ユーザーリサーチも同じで、時々行うだけではきちんとその役割を果たしません。ユーザーの現実というものは常に流動的であり、リサーチ工程もその流れに追いつく必要があります。それでは、どのような研究をいつ行えばよいのでしょうか?

Christianの図表は空間的にユーザーリサーチ方法を分類・整理してくれますが、リサーチケイデンスという手法を用いればそれをさらに時間軸において整理できます。1つのケイデンスは、それぞれの研究方法の頻度や継続期間を表示します。ユーザーリサーチャーのWhitney Quesenbery氏が作成したシンプルな例を1つ挙げてみます:

quesenbery-cadence2

Whitneyのリサーチケイデンスは複数の研究方法を組み合わせており、それぞれの継続期間と研究方法をどれくらいの頻度で実施するべきかについて綿密にまとめています。これにより、組織による今後の研究活動からどんなアウトプットが期待できるかを知ることができ、そして他の研究がどのようなタイミングで実施できるかを検討するのに役立ちます。

リサーチケイデンスを構築するためには、まず自分の組織の研究方法を時間と労力の観点から優先順位をつけていきます。簡潔かつ費用がかからない方法は、より頻繁に実践することができるでしょう。また、リサーチケイデンスを省略することも可能です。自分の組織の様々なユーザーリサーチサイロで、既に活用されている既存の研究の流れを探して(及び統合して)みましょう。

その後、有益な手法、与えられた予算、人材、及びその他の資源制約の中で、各方法がどれくらいの頻度で実践することができるかを検討します。また、タイミングにおける相違も調べてみましょう。もし研究が毎日、または毎年行われるのであれば、毎月、または四半期毎に新しいデータを収集する機会を探してみましょう。

以下に研究の流れのサンプルをご紹介します。自分の組織が異なる研究方法を複数組み合わせたものを活用すると仮定すると、研究工程は以下のように変わるでしょう:

 毎週 
 コールセンターデータの傾向分析2 – 4時間
(行動/量的)

 タスク分析

 4 – 6時間
(行動/量的)
 四半期毎 
 アナリティクスデータの探索的分析 8 – 10時間
(行動/質的)
 ユーザー調査 16 – 24時間
(態度/量的)
 毎年 
 ネットプロモータースコア研究 3 – 4日
(態度/量的)
 現地調査 4 – 5日
(行動/質的)

私たちのリサーチケイデンスのバランスを維持するために、 Christianの2つの相反する組み合わせから要素をカテゴリーに追加しました。

バランスとケイデンスによって、組織が盲人たちに適切に、そして定期的に交流して対話をさせることをサポートすることができます。しかし、どのように異なる研究者間の対話を可能にし、実際に自分たちの仕事を共有及び統合してもらうように促せばよいのでしょうか?

3. コミュニケーション:研究者たちを対話させる

人に会話をさせることは、口で言うほど簡単ではありません。もしユーザー研究者がHCIの経歴を持っており、アナリティクスチームのメンバーはほとんどエンジニアだとしたら、彼らの言語や骨組のバックグラウンドが違いすぎて、生産性のある会話をするのは絶望的かもしれません。

ピジン言語を作る

会話を成功させるためには、少なくともいくつかのリファレンスや語彙を特定し共有することが役に立ちます。実際に、異なる経歴を持つ研究者たちが互いを理解し合い、そして最終的には協力し合うことを可能にする「ユーザーリサーチのピジン言語」のようなものを開発してみましょう。
※ピジン言語:現地人と貿易商人などの外国語を話す人々との間で異言語間の意思疎通のために自然に作られた接触言語

社会学で用いられる概念であるバウンダリオブジェクトは、ここでは有益となる可能性があります。バウンダリオブジェクトとは、正確には同じものではないが非常に似ているため、グループ間での生産性のある会話を可能とする、異なる分野から派生した2つの項目のことを指します。例えば、ペルソナ市場区分、または目標KPI(重要業績評価指標)は、バウンダリオブジェクトであると考えることができます。

『ゲームストーミング』と『繋がった企業』の共同執筆者であるDave Gray氏は、このアイデアをさらに発展させて、共通概念のより徹底した境界マトリックスを特定するための簡潔なプロセスを開発しました。

Gray-boundary-matrix

Daveのプロセスは共通概念や言語を特定するのに役立ちますが、たとえ自分と自分の同僚が(例えば)英語を話すとしても、ユーザーリサーチに関しては同じ言語で話していないということを広く認知することは、思わぬ幸運であるといえます。上記のことを理解することで、多少とも互いに顔を合わせることがずっと容易になるでしょう。

互いの話を語る

共通言語は、効果的で、かつ多分野にまたがる対話を持つことを容易にしてくれます。よって、対話の価値を例示するような話をするのです。皆さんは、盲人たちに会話をさせることが持つパワーを示すような話をすることができますか? 熟練した語り手であるJared Spool氏の話を1つご紹介しましょう。これは、彼が私に10年ほど前に聞かせてくれた話です。

米国のある大手衣料販売企業におけるアナリティクスチームは、自社のサイトの検索ログを分析していた時、自社製品のSKUに対する検索がたくさんあり、しかしそれら全ての検索結果がゼロとなっていたことを発見しました。ショックを受けた彼らは、すぐさまSKUをカタログの製品ページに追加しました。しかし、彼らは当初顧客がどうやってSKUを見つけたのかを理解することができませんでした。結局、SKUはサイト上のどこにも表示されていませんでした。

アナリティクスチームは何が起きているかを説明することはできましたが、その理由を説明することはできませんでした。そこで彼らは、この問題を詳しく調べるために、現地調査を実施してくれるチームの協力を得ることにしました。現地調査の結果、顧客は実際のところ、製品の閲覧とSKUの取得のために、長年馴染みのある心強い味方である、紙のカタログに頼っていたこと、そしてフリーダイヤルよりもはるかに安全で簡単に注文ができると思われている、最新のウェブサイト経由で発注していたことがわかったのです。

この話はクロスチャネルなUXの興味深い例であると言えるかもしれません。しかし今回の話においては、完全に分離されたチームによって使用されている、検索アナリティクスと現地調査という2つのユーザーリサーチ方法が非常に異なっているものであるものにも関わらず、組み合わせた時にもたらされる価値を証明してくれるエピソードでもあります。

見知らぬ人にはキャンディーを買い与える

もちろん、時には分野にまたがる対話をもたらすことがそれほど難しくない場合があります。ただ、ちょっとした賄賂を利用する必要があるかもしれません。

アウトドアブランドREIで何年にもわたってデザイン、IA及びUXグループを率いてきたSamantha Starmer氏は、対話の生成における自分の経験を、マーケティング部門の自分と相対する関係にある人たちと関連付けて考えています。Samanthaは、REIのオフィス内を定期的に移動してマーケティング部門の建物へ行き、彼らが戦略会議室や個室の壁に貼っている研究内容を覗き見るようにしていました。彼女は、知り合いになりたいと考えているマーケティング部門の人にはキャンディーを買い与えたりさえしました。彼女は、彼らをカジュアルな人間味のある方法で対話し、情報を共有させるためにできることを全てしたのです。

Samanthaのゲリラ戦術による努力は、すぐに実を結びました。彼女のチームはマーケティング部門だけでなく、CXに関わっている全ての人たちとの人間関係を構築したのです。カジュアルなランチが部署を超えた定期的なミーティングの開催をもたらし、そしてさらに重要なことに、研究データや新しいプロジェクト、そして顧客対応のデザイン業務を複数のチームで共有するようになったのです。最終的にSamanthaの取り組みが、印刷媒体、デジタル、コールセンター、そして実店舗という複数のチャネルにおけるウェブアナリティクス、市場調査、そして顧客調査をまとめる、中央集権化された顧客に関する識見のチームを生み出すのに役立ったのです。

4. 視野:理解して、機能させる

これまで、私たちはバランスの取れたひとまとまりのユーザーリサーチツール及びチーム、統合による仕事の連動、そして異なるチーム間でより良い、そしてより生産性のある会話を持ってもらうことの必要性について見ていきました。しかし、それは流動する極めて部分的要素です。私たちは全体像をどのように理解すればよいのでしょうか?

Christian Rohrer氏の図表は、私たちが混乱している環境への理解を促すことによって、全体像の理解に役立つ可能性があります。また、マッピングのプロセスは、事実上これまで組み合わされることのなかったものの統合に役立つということもわかったと思います。

しかし、図表には制約もあります。図表は維持することが難しく、思い通りに操作することができないのです。この制約を克服するために、MailChimpのチームは、意味形成に至るまでの全く異なる工程を採用しており、ユーザーリサーチデータと調査結果を共有するためのコンテナとして、Evernote を活用していました( A List Apartから発行された、Aarron Walter氏の記事「Connected UX当サイトにて翻訳済み)」を参照)。実際非常に便利なツールとして機能しており、全てがMailChimpの集合的なユーザーリサーチとなっています。しかし、図表とは異なり、MailChimpのユーザーリサーチの「地図」を視覚的に理解することが困難となります。

図表とデータを保存するコンテナを組み合わせるのは、理に適っているでしょうか? 例えば車のダッシュボードは図表のように方向付けがわかりやすく、かつコンテナのように機能性があります。ダッシュボードは、組織の複雑な状況に直面し、理解及び対処をするためのより良い方法を求めている多くの先導者たちにとって魅力的なものとなっています。しかし、車のダッシュボード単体では、自分の車を操縦はできないことを忘れないでください。他のデザインメタファーとおなじように、ダッシュボードは過剰に機能を詰め込み過ぎると、崩壊する傾向にあります。

おそらく、デザイナーや開発者、そして研究者たちによって構成された優秀なチームの中には、ダッシュボードのようなわかりやすい整理をされているか否かにかかわらず、ユーザーリサーチの図表及びコンテナを組み合わせることを成し遂げることができるチームもあるでしょう。同時に、図表とコンテナの両方の開発に取り組む必要があります。

まとめ

バランス、ケイデンス、コミュニケーション、視野というこれらのテーマは、自分の組織のユーザーリサーチチームを対話、統合させ、そして最終的には強力な識見を生み出すように位置づけるための枠組みを提供してくれます。よって、友人を作り、会話をし、そして自分の馴染みのある領域から外へと踏み出してみてください。一歩下がり、自分と、自分とは対照的な立場にある人たちがいつ、何をしているのかを見てみましょう。そして、どの種類のユーザーリサーチが自分の組織の中で行われているか、または行われていないかを図表やその他の図に書き出してみてください。

そこまで完了すると、上級幹部たちを対話させる準備が整います。上級幹部たちに、どのような論拠や証拠が決断を下す工程で役立つかを尋ねてみましょう。そして、彼らに現在存在している、不完全でサイロ化された研究環境の図表を提示しましょう。バランスとケイデンス、コミュニケーション、そして視野が大きな違いを生み出すのに役立つでしょう。


イベント

2017/12/05(火)
Design Thinking Square