テクノロジーがヘイトの温床になるとき

Tatiana Mac

Tatianaは社会の多様性を描き出すために活動しているデザイナーです。

この記事はA List Apartからの翻訳転載です。配信元または著者の許可を得て配信しています。

Canary in a Coal Mine: How Tech Provides Platforms for Hate

2019年3月に起こったクライストチャーチにおけるテロは私たちに、白人至上主義が現実に存在すること、そしてテロリストは社会の周縁ではなく、私たちにとってもっとも神聖な信仰の場にも現れるということを思い知らせました。人々はネットユーザーに、彼の地で起こった大量殺人を記録した動画や、白人至上主義のテロリストが書いた悪意に満ちたマニフェストを拡散しないように求めています。自分が残したヘイトメッセージを世界の果てまで広げることこそが、テロリストの望みなのです。

いまの時代、私たちは自宅に居ながらにして、大量殺人やヘイトクライムの様子を動画で見ることができます。子どもたちさえ、こうした動画にアクセスすることができるのです。

ムスリムではない、この出来事からは遠い場所にいるような私でも、事件の犠牲になったムスリムのコミュニティの人たちのことを考えると胸が痛みます。だからこそ、このような出来事に対して私たちの業界が果たすべき役割は何なのかということを考えるのです。

この記事を書いている時点(2019年の当時)で、YouTubeはこの動画を禁止、削除できていません。いま検索すれば(絶対におすすめしませんが)、他のちょっとしたリスクを伴うコンテンツに付けられるのと同程度の注意喚起が付けられた動画が見つかるでしょう。そんな注意喚起は簡単にすり抜けることができ、人々が殺害される動画を見ることができてしまうのです。たとえその動画が見つかって削除されたとしても、新たな動画がアップロードされます

動画の削除担当者は薄給を得るために、この衝撃的な内容を何度も繰り返し見なければなりません。報道機関はその動画を記事に貼り付け、悪意に満ちたマニフェストを書き出しています。こんなことをしてなにになるというのでしょうか。

私がジャーナリズムの授業で教えられたのは、写真や動画、インフォグラフィックスといったメディアは、伝えたいストーリーに添えるもの(あるいは積極的にストーリーを強化するもの)であり、言葉では伝わらないなにかをストーリーに付け足すために使われるものであるということです。

読者に凶行の残虐さと結末を理解してもらうために、果たして動画を見せる必要があるのでしょうか? 自分たちと同じ人間が命を奪われるさまをみれば、読者がもっとましななにかを得られるのでしょうか? 動画を見せることで何百万という人に心理的な痛みを与えるというのに?

こんなことをしても誰の得にもならないのです。

大量殺人の主導者には、その計画に加わるように呼びかけた者もいました。一方で報道機関は、利益を上げるためならそんな常軌を逸したクリックであっても喜んで求めます。私たちネットに関わる人間はどうかというと、ネットのプラットフォームを通して、犯罪者の行いに信用を与え、代行し、彼らの利益のおこぼれに預かっています。テクノロジーが、ヘイトクライムに資金を与えている共犯者なのです。

クライストチャーチの事件は、私たちがつくっているツールやプロダクトが害意と憎悪のために使われている無数の例の中の1つに過ぎません。

FacebookとCambridge Analyticaのスキャンダルは、2016年の大統領選挙の結果に重大な影響を与えました。白人至上主義者が人種についての偽科学を体系化するために使っている「科学的人種主義」というコンセプトが、無自覚に白人至上主義の一端を担ってしまっている人たちにどのように響くのか、Facebookのプラットフォームを使ってテストされたのです。根っからの白人至上主義者たちにはこのような遠回しな言い方は必要ありません。これが、過激化の仕組みなのです。

上の記事において説明されているような戦略は別に新しいものではありません。ソーシャルメディアのプラットフォームが登場する以前から、差別者によるプロパガンダは存在していました。私たちが意識しなければならないのは、私たちがその力を十分理解しないままに、彼らが使える強力なツールをつくってしまっているということです。たとえば、AI によって人間の顔をつくることもできます。私たちのテクノロジーは、自分たちがその影響についてじっくり考える暇もないほどの恐るべきスピードで進化しているのです。

長い時間をかけて磨き上げられた白人至上主義の喧伝方法と、テクノロジーが可能にした個人の受け取り方を操作する力、そして民主化され、匿名化されてきた影響力を合わせて考えてみましょう。

新しいテクノロジーがもたらす予期せぬ結果を描いたドラマ、「Black Mirror」で起こっていることは、私たちにも起こることなのです。

言論の自由と生きる自由

テック業界は、他の誰よりも熱心に合衆国憲法修正第一条の権利を保護していることを繰り返し証明してきました(この機会に、この修正第一条は民間の金もうけ会社から保護するものではなく、言論の自由を廃止する政府から国民を保護するものであることを思い出しましょう)。

Evelyn Betrice Hall氏は、『The Friends of Voltaire』という本の中で、「私はあなたの言うことに賛成しない。しかしそれを言うためのあなたの権利については命を懸けて擁護する」と書いています。Evelynのこの言葉は私たちが、あらゆる権利よりも優先して擁護しなければならないことを端的に表しています(この言葉は哲学者ヴォルテールのものと誤解されることが多いのですが、実際はEvelynがヴォルテールのイデオロギーを説明するために書いた言葉です。)

これについての論拠はしっかりしたものです。私たちは、私たち自身が望む権利と同じ権利を、他の人すべてに我々は他の皆に我々自身のために望む同一の権利を与えなければなりません。99u誌の元編集者Sean Blandaは、「反対側の立場」について思慮深い記事を書いています。彼は、自分たちのように考えない人々に対して私たちは寛容ではないかもしれないが、いつ自分がその立場になるかわからないのだから、寛容でなければならないのだと言います。理論としては私も賛成です。

ですが、あるグループに一定の権利(たとえば白人至上主義者にとっての言論の自由)を認めることが、他のグループの権利(たとえばあらゆる有色人種の生きる自由)をはっきりと侵害するような場合はどうでしょうか。

James Baldwin氏は次のような言葉でこの考えを表現しています。「誰かに認められないとしても、その気持ちがその人の人間性、私が生きる権利を侵害し、否定するもので無いのであれば、私たちは互いに愛情をもつことができる」。

2つの権利が共存できないような場合、私たちは道徳的なジレンマを抱えてしまうようです。

私たちは、すべてのユーザーが言いたいことを言える権利を守るべきなのでしょうか。それとも、すべてのユーザーをヘイトから守るべきなのでしょうか。このようなジレンマがあるからこそ、テック業界はたびたび、この問題を見て見ぬ振りをしてきたのです。TwitterとFacebookなどはまさにその渦中のサービスであり、彼らのようなプラットフォームにおいては、ヘイトスピーチが何ら規制されることなく蔓延っています。

CEOのJack Dorsey氏は、何でも言うことができるTwitterというプラットフォームと、それがプライバシーと安全に及ぼす問題について尋ねられたとき、次のように答えました。

まずユーザー自身が安心して考えを言えるという状態でなければ、パブリックな会話を提供することはできないですし、表現の自由を擁護することはできないと信じています。ユーザーが沈黙を強いられていないからこそ、サービスを提供できるのです。

Jack、そしてTwitterは人々を沈黙させることではなく、表現の自由を守ることに強い関心をもっています。彼の考えに従えば、ユーザーが何でも言いたいことを言えるようにすることが彼にとっての成功となります。Instagramが導入したようなAIを使った悪意のある投稿のフィルタリング機能を導入できなかったことについて尋ねられたとき、彼は「AIが、悪意があると判断した理由をどう説明するかが最大の問題だった」と答えました。やはり、彼は悪意のある投稿の被害者を守ることよりも、まず言論の自由を守る、すなわち悪意のある投稿者を守るという立場を取っているのです。

しかし、彼のこの姿勢は一貫しているわけではありません。白人ナショナリストとISISのソーシャルメディアの使い方を比較したGeorge Washington Universityの研究によれば、ISISにはTwitterの言論の自由は認められていませんでした。1,100のISIS関連のアカウントが停止されている一方で、ISIS関連よりもツイート数25倍、フォロワー数7倍の規模をもつナチスや白人ナショナリズム、白人至上主義に関するアカウントについてはわずか7個のアカウントが停止されているだけです。Twitterは、非常に数が多くしかも急成長しているナチスや白人至上主義関連のアカウントを認めておきながら、数も少なければ活動も少ない、さらには影響力も小さいISIS関連のアカウントを、何らかの理由で「ふさわしくない」と道徳的に判断したということになります。

つまりTwitterは、言論の自由を全面的に守るわけではないということを証明したのです。結論として言えるのは、Twitterは意図的に白人至上主義を擁護しているか、単にそれが危険だとは思っていないということだけです。実情がそのどちらであっても(見当はついていますが)、白人至上主義がTwitterをはじめ、多くのプラットフォームで横行しているという事実が変わるわけではありません。

ここで少し考え方を変えて、Twitterが本当に公平に、言論の自由を支持していると考えてみることで、中立的で公正な立場からこの論理的課題を解決してみましょう。先に示した権利の二分法の例に戻ると、言論の自由という権利と安全と生存の自由という権利はどちらかが優勢で、どちらかの権利と権力は支配的なグループ、またはイデオロギーの手に落ちることになります。

なんとなくお気づきでしょうが、あなたがあからさまな白人至上主義者であろうとなかろうと、この場合の支配的なイデオロギーは白人至上主義です。白人至上主義はそもそも、Twitterを初めとする多くのプラットフォームが生まれ、いまも存在する国、アメリカ合衆国の建国の精神に織り込まれていました(私は別に、白人至上主義が世界の他の部分には存在しないと言っているわけではありません。実際に、最近でもクライストチャーチでテロ攻撃が起こったわけですから。ただ私は、私の居住経験と、これらの企業のうちほとんどがアメリカで事業を行っていることから、意図的に話をアメリカに限定しているのです)。

Facebookは言論の自由をコントロールする方法を検討するために、白人至上主義について社員を教育しようとしましたが、それは次のようなおかしな内容でした。

白人ナショナリズムと、白人のみによる国家を求める姿勢は、他に存在する守られるべき権利を明確に排除しない限り、Facebookのポリシーには反しない

「白人ナショナリズム」は、「白人至上主義」を少し緩やかにしただけの同義語であり、この言い方があると人種差別主義者は他の人種をより憎みやすくなります。白人ナショナリズム(白人至上主義)はその定義からして、有色人種を一掃することをあからさまに掲げています。ですからFacebookは、白人ナショナリズムの発言は排他的であり、したがってポリシー違反であると考えるべきなのです。

Jackや、FacebookのCEOであるMark Zuckerberg氏がなにを言おうが、彼らがどんなおざなりの、心がこもっていないお悔みの言葉を口にしようが、行動しないということは1つの行動なのです。

ヘイトスピーチに関して行動しないことを正当化するために、利用規約や許容できる使用方針を用いる企業は、結果として白人至上主義を容認し、これが永続することを助けています。彼らのポリシーは、そこに集まっている人間が自分たちの理想を擁護するために書いたものなのです。彼らが使うメッセージは、言論の自由を保護しているという内容かもしれませんが、ヘイトスピーチは言論の自由の1つの形態です。つまり彼らは、実質的にヘイトスピーチを擁護していることになります。少なくとも、イスラム国ではなく、白人至上主義のためにはそうなっています。

彼らを突き動かしているものが恐れ(上客であるナチやそのシンパを失うという恐れ)であっても、憎しみ(なぜなら彼らのCEOは白人至上主義者なので)であっても、それが与える影響は変わりません。ヘイトスピーチは彼らのプラットフォームによって容認され、有効化され、強化されているのです。

「そんなつもりではなかった」

プロダクトの作り手たちはこんなふうに考えるかもしれません。「ちょっと待ってよ。なにもヘイトのためにプラットフォームをつくったわけじゃないよ。そんなふうに使われるなんて考えもしなかったんだ」、と。

意図していなかったからといって、その影響が無くなるわけではありません。

つくったときにはそのような悪い使い方を想定できなかったからというだけで、私たちは責任を免れることはできません。ナチスの手助けをするという明確な意図をもってこれらのプラットフォームをつくったわけではなく、彼らの憎しみを広めるために使われることを想像したわけでもなくても、実際にプラットフォームはそのような使われ方をしているのです。

私たちがプロダクトをつくった者である以上、ユーザーに危害を加えようとしている、あるいはすでに危害を加えている機能を停止することでユーザーの安全を守ることは私たちの責任です。さらに言うならば、そもそもこれを防ぐためには、プラットフォームを構築する前にこのことを考えるべきなのです。

私たちが答えるべき問いは、「人々が自分自身を自由に表現できる場所をつくったか」ではなく、「誰もが安全に存在できる場所をつくったか」ということです。支配的なグループが他のグループに対する憎悪を煽り、助長するような場所をつくってしまったとしたら、安全な場所をつくることができなかったということです。憎しみに満ちた言論は心に傷を与えるだけでなく、ついにはあのクライストチャーチのような事件につながるのです。

私たちは、言論の安全を守るべきなのです。

ドミノ効果

今週、Slackが28のヘイトグループの利用資格を停止しました。私にとってもっとも注目すべきことは、彼らグループは利用規約に少しも抵触していなかったということです。Slackはこれに関して声明を出しています。

ヘイトグループによるSlackの利用は、私たちがSlackで信じていることすべてに逆行しており、私たちのプラットフォームでは歓迎しません。(中略)Slackを使ってグループや個人の存在そのものに対する憎悪や暴力を扇動することは、私たちの価値観やSlackの目的そのものに反しています。

まさにその通りです。

Slackのようなテック企業が特定のグループに対して自社のソフトウェアの使用を禁止するのは違法ではありません。なぜなら彼らは私企業であり、彼らの企業としてのビジョンに沿わないユーザーを規制することができるからです。レストランで言うところの「裸足でのご来店はご遠慮ください」というやり方を、テック業界でもやっているということです。

Slackは、白人至上主義を広めるための効率的な方法を提供することなどによって、ナチスの活動環境をサポートすることは、インクルージョンを中心とした同社の方針とおそらく一致しないだろうと結論付けたのです。Slackはまた、白人至上主義にもっとも悪影響を受けている有色人種の従業員が、積極的かどうかにかかわらず、それをサポートしている会社で働くことをどう感じているかを考えたのだろうと思います。

Slackの例が注目すべきであるのは、彼らが迅速に、独自の判断で行動を起こしたことです。Slackは、一部のユーザーの言論の自由よりも、ユーザー全体の安全を選んだのです。

白人至上主義を助長していると言われても、すべての会社がこのように人権保護団体やユーザー、従業員の声を聞いて動きを見せるわけではありません。

PayPalは、ヴァージニア州シャーロッツヴィルの衝突(2017年8月に白人至上主義者グループとそれに抗議するグループが衝突し、女性1人が死亡した事件)のあと、反差別団体であるSouthern Poverty Law Center(SPLC)がその白人至上主義者グループを明確に「ヘイトを助長している」として非難したあとに、そのグループをサービスから排除しました。SPLCは実に3年も前にこの事実を特定していたのですから、PayPalは彼らの意見を3年間無視していたことになります。

残念ながら、白人至上主義のように明確に、芯から間違っているような対象に対して企業がこのような「スタンス」を取ることはほとんどありません。テック業界には暗黙の了解があって、行動を取らないことを容認しているのです。

Facebookが差別者の政治的なプロパガンダに対してなにもしなかったら、YouTubeがPewDiePie(白人至上主義者のチャンネルを紹介した人気YouTuber)に対してなにもしなかったら、あるいはTwitterが黒人女性に対する謂れのない中傷に対して何もしなかったら、業界のより小規模なプレイヤーたちにとっては「自分たちもなにもしなくてもいいんだ」というメッセージになります。

テック業者は同業者の行動に影響を与えます。Airbnbがシャーロッツヴィルの集会に参加したと思われるユーザーをスクリーニングによって排除したように、問題が起こった場合は他社も追随します。GoDaddyがDaily Stormer's(ネオナチのサイトと言われる)のドメイン登録を削除すると、移転先として打診を受けたGoogleも同じ対応を取りました。

SlackやAirbnbのように、1つの企業が何らかの役割を果たそうと決断すれば、他の企業はFOMO(Fear of missing out=取り残されることへの恐怖)を抱くのです。周りが正しいことをして、歴史の正しい側に立っている中で、自分たちだけが取り残されることを恐れるのです。

FOMOを抱くよりも、行動を起こす

これらの企業が起こした行動はすべて、1人の個人から始まったものです。自分もその動きに参加したいと望む人のために、出発点となるようないくつかのポイントを紹介します。このリストは網羅的なものではありませんので、この簡易なサマリ以外についても調べてみてください。

1. 自分個人に対する白人至上主義の影響を理解する

あなたが有色人種であったり、性的少数者や障がい者、トランスジェンダーであったりしたら、これについてはよくわかるでしょう。

もしそうではなくて、いわゆるマジョリティに属する人であれば、白人至上主義がどのようにあなたを守り、あなたにとって有利に機能しているのかを理解する必要があります。簡単な作業ではありませんし、慣れない、不愉快な作業ですが、幸いなことに非つねに便利なリソースがいくつかあります。いろいろあるのですが、お気に入りは次のようなものです。

  • Seeing Whiteのポッドキャスト
  • Ijeoma Oluo『So you want to talk about race』
  • Reni Eddo-Lodge『Why I'm no longer talking to white people about race』
  • Robin DiAngelo『White Fragility』

2. 自分の会社の立ち位置を理解する

(利用規約やプライバシーポリシーを読んだり、安全と言論の自由に対するCEOのスタンスを見定めたりする)

これらのポリシーはベースラインに過ぎませんし、Slackの例ではあまり関係が無い要素でしたが、自分の会社の実態を知ることが重要なのです。従業員としてのあなたの行動と決断が、会社の背後にあるイデオロギーを擁護したり、擁護しなかったりするのです。会社のイデオロギーが擁護するに足るものなのか、あなた自身の考えに沿うものなのかどうかよく考えてみましょう。会社のことが良くわかってくれば、ポリシーに反した行動や、反倫理的な行動を許容しているポリシーに気が付きやすくなります。

3. 自分の行動をつねに批判的な目で検証する

自分の役割に対して会社はあまりにも巨大だと思うかもしれません。あなたはほんの小さなアルゴリズムのメンテナンスを担当しているだけかもしれません。ですが、そんなアルゴリズムが悪用されることについて考えてみてください。私の場合は、次のようなことを確認するようにしています。

  • このプロダクトで利益を得るのは誰だろうか。誰が傷つくだろうか。
  • これが人を傷つけるのに使われるとしたら、どのように使われるだろうか。
  • 誰かを排除していないか。誰かを忘れていないか。
  • 誰のために、なにを守るのか。それは公平だろうか。

4. なにかに気づいたら、声を上げる

もしあなたの会社が誰かを傷つける、あるいは傷つける可能性のあるなにかをつくっていると思うのならば、声を上げることがあなたの責任です。もちろんリスクがあることはわかっています。仲間外れにされるかもしれませんし、解雇される可能性だってあるでしょう。自分の安全を守ることが最優先です。ですが、なにかをしなければならないこともまた事実なのです。

  • そうしたリスクがあまり高くないと思われるような人をみつける。もし自分が白人でも黒人でもなければ、同じように声を上げたがっている白人をみつける。もし自分が会社に来たばかりの白人であれば、古株の白人従業員をみつける。一方でまた、他の人に対して自分の方が相対的に有利な状況であれば、自分で声を上げることがもっとも安全な選択肢であるかもしれない。
  • 同じように感じている仲間、意見書を書いてくれるような仲間を集める。
  • もし事案が非公開でないならば、社外において影響力がある人をみつけて、意見を発信してもらう。

5. もっとも危険にさらされているグループから聞こえる声であれば特に、どんなに小さな声でも、不安の声に耳を傾ける

ユーザーや同僚が危険を感じているなら、その理由を理解しなければなりません。些細なことについては最初のインパクトが限定的なので、取るに足らないと思ってしまうことが多いでしょうが、ヘイトはほんの小さな隙間から芽生えるものなのです。人種に関する無神経なコメントを1つでも許せば、結局はヘイトスピーチを許すことになります。もし誰かが、特に、社会から疎外されたグループの誰かが問題を提起したら、あなたはそれを注意深く聞いて、その影響を理解する必要があるのです。

特に最後のポイントがもっとも重要です。

私が言っていることは別に新しい内容ではありません。同じような記事は何度も書かれています。私のような有色人種の女性は記事だけではなく、デザインのレビューにおいても、主要なステークホルダーとのミーティングにおいても、SlackのDMにおいてさえ、同じような不安を表明してきました。ずっと警鐘を鳴らしてきたのです。

それでも世界には、白人至上主義がはびこっています。

白人至上主義はこの国の成り立ち、企業の行動原理、指導者のあらゆる面に深く染み付いています。あなたがそう思わないとしたら、それは世の中に注意を払っていないか、意図的に真実を見ないようにしているだけです。

性的少数者、ムスリム、障がい者、トランスジェンダーの女性、そして、この運動によってもっとも影響を受けている黒人以外の有色人種は、もっとも切実に不安の声を上げています。声を上げるためには安全な場所から出て、表舞台に立たなければなりませんが、そのリスクを取っても声が届いていないのです。

私たちの声を封じることは、白人至上主義者にとって数ある効果的な手段のうちの1つです。会話に加えてもらえなかったり、重要な決定の場に招かれなかったりと、あらゆる場面で発言させてもらえないことが攻撃になっているのです。

テック業界において、私は炭坑のカナリアのような気分になります。私は坑夫たちに有害物質の存在を知らせるために歌を歌ってきました。有害物質に対する感覚は、私の命がかかっているからこそ研ぎ澄まされているのです。

しかし坑夫たちは私を見て、私が生きてきた人生は贋物だと言うのです。それは彼らが考える「人間」には当てはまらないと言うのです。なぜ私が歌っているのか、彼らは理解してくれません。

もしテック業界においてもっとも高い地位にある人々(白人で男性のCEO)が、もっとも虐げられている人々(性的少数者、障がい者、トランスジェンダー、有色人種)の声を聞かなかったら、坑夫たちもまた、カナリアと同様に死に絶えてしまうでしょう。


Welcome to UX MILK

UX MILKはより良いサービスやプロダクトを作りたい人のためのメディアです。

このサイトについて