スタンフォード大生は人文学の講義に耐えられない　ー人類のためのテクノロジーを生むために一番大切なことー

コンピュータサイエンスのイノベーションを象徴する地・シリコンバレーに多数の人材を送り出すスタンフォード大学では、多くの学生がリベラルアーツや倫理の講義を忍耐強く受けることができなくなり、大学を中退するようになっている。
スタンフォード大に入学した”神童”アーロン・スワーツは、数週間だけ続けたオンラインジャーナルにこう不満を書き連ねた。「人文学は、この程度の学問なのか。これならRSSのディベートのほうがましだ」

シリコンバレーの富豪を人生のロールモデルとして賞賛し、民主主義や人類の尊厳やモラルについて考えることを時間の無駄とする学生たち。
今AIが既に人間のコントロールを超えようとしているなか、わたしたちはその”力”を保持し推進する人々にどんな教育を施し、どんなメッセージを訴えることができるか。
今こそ我々は立ち止まり、これからの子供たちのために考えなくてはならないだろう。

“億万長者はわたしのロールモデル”

哲学者ロブ・ライヒ、エンジニアのメラン・政治学者ハサミ、ジェレミー・Ｍ・ワインスタインによる著作『システム・エラー社会ー「最適化」至上主義の罠ー』（以降略『システム・エラー』）は、スタンフォード大での若い学生たちの様子に危機感を覚えた三名が立ち上げた、同大で最も聴講者の多い講義の内容を書籍化したものである。
同書はポストコロナである２０２２年に出版されたものだが、今日のＡＩを巡る状況や、テクノロジーとホワイトハウスを巡る状況に照らし合わせても、その内容は普遍的だ。

この本の核心は、”テクノロジーの問題は、企業が何を最適化し何を価値あるものとみなすかという、社会的・政治的な問題でもある”、という点だ。そして、シリコンバレーが重視してきた効率性、最適化、利益追及などが、人間の尊厳や民主主義など、数値化しにくい価値を犠牲にしていると論じる。

彼らによれば、スタンフォードの若い学生は情熱的にこう言うという。
「毎年の新入生オリエンテーションには、テック企業の億万長者を招きます。彼らは、この大学の新入生が何をなしうるかの規範であり、学生が望む人生を体現しているからです」

キャンパスではイノベーションやディスラプションといった言葉がもてはやされ、多くの学生がテクノロジーは万能であり全てを解決すると信じている。彼らは着心地の良い服を着て、シリコンバレーの億万長者を礼賛し、人文学を役に立たない学問と切り捨て、大学を留まる意味の無い場所と位置づける。

これはスタンフォードだけでなく、多くの場所で共通している。３名の教授たちはこのキャンパスの空気を覆すため、テクノロジーを操る上で自覚せねばならない倫理観を社会科学を用いて学生たちに鋭く問いかけることにした。

こうした問題は実社会に大きく影響を与えている。　例えばUberへの投資で著名な投資集団のスコット・スタンフォードはNHKでの2017年のインタビューでこう語る。

「私たちはより効率化する方法を常に探しているんだ。経済学でいうところの生産性だね。労働力が変わらないのに成果物は増える。そして利潤 成長 波及 創造的破壊を追究する。いかにして効率的な進化がなされない古い産業を駆逐するか。ー略ーそれがイノベーションだ。そして消費者をハッピーにするんだ」

“駆逐”という強い言葉を使った彼にとっては、2017年NYで既にUberにシェアを奪われたイエローキャブドライバーの大量失業が深刻化していたことなど、競争に負けた弱者について考える必要もない、取るに足らない問題だったに違いない。

マーク・ザッカーバーグの「Move fast and break things（素早く動き、物事を壊せ）」というFacebook初期の標語は、シリコンバレーの技術至上主義を考えるうえで、非常に象徴的な事例だ。素早く技術革新を追い求める中で、その弊害は詳しく検証されないまま実装されていく。このカルチャーの中で生まれた投稿表示の最適化は、偏った政治的言説や差別的思想に繋がる情報を拡張し、実際にミャンマーで発生したロヒンギャの深刻な迫害を激しく助長した。

これだけの問題がテクノロジー至上主義と資本主義の間で起こっても、パランティア・テクノロジーズは米国の移民・関税執行局（ICE）による移民の追跡や強制送還を支援するシステムを作り、AIの安全性より進歩を重視するOpenAIは更なるAI開発を突き進めている。

問題はもっとずっと深刻だし、資本主義と利益追求とテクノロジーと最適化は黄金のハーモニーを掻き鳴らし、私たち人類の良心を僅かに削り取りながら、拡張を続けている。

測れないことのなかに善きことがあるなら

AIが加速的に進化し新しい局面を迎えるテクノロジストたちは今、どんな指標を持ってこの先の道を進むべきか。『システム・エラー』で扱われている問題点を再認識する必要がある。

1, 測定できるものが、重要なものとは限らない

本書の中心概念は、シリコンバレーの optimization mindset（最適化思考） だ。
エンジニアリングでは、ある目標を設定し、その達成度を測定し、より効率的な方法を探すことが重視される。これは技術開発において強力な手法だ。しかし、問題は、最初に設定された目標そのものが適切なのか十分に問われないことである。

たとえば、SNSでユーザーの滞在時間を最大化する、配送サービスで配達速度とコスト効率を最適化する、といった目標だ。しかし、滞在時間が長いことはかならずしも、利用者が幸福であることを意味しない。配達が速くても労働者が過酷な環境に置かれているかもしれない。

つまり、最適化の対象を間違えれば、間違った目的を非常に効率よく達成してしまうということだ。

著者たちの議論を簡潔に表すなら、技術者は「どうすれば実現できるか」だけでなく、「そもそも何を実現すべきなのか」を考えなければならない。

2, 置き換えられる社会にとっての善

技術者が優れた製品を作ろうとしても、その製品を取り巻く経済システムが、必ずしも社会にとって望ましい方向へ開発を導くとは限らない。

シリコンバレーのベンチャーキャピタルを通じた資金調達や、企業の利益追求が、テクノロジーの開発目的を狭める可能性もある。

たとえば、ある技術が社会に大きな利益をもたらすかどうかよりも、ユーザー数をどこまで増やせるか、どれほど早く市場を独占できるか、投資家にどれだけ大きなリターンをもたらせるか、というような指標が優先される。ここで重要なのは、利益を追求すること自体が悪いという話ではなく、問題は、利益を生むことが”社会にとって価値のあること”の代替となってしまう点だろう。

そうなると社会的に必要な技術であっても、利益を十分に生まなければ投資されないことがある。逆に、社会に悪影響を与える可能性があるサービスでも、急速にユーザーを獲得できれば、大規模な投資を受けて成長することもある。
技術の進歩を左右するのは、どの技術に資金が流れ、誰がその開発方針を決めるのかという、経済的な権力の問題もあるのだ。

3, 「速く動き、破壊せよ」

前章でも触れた、シリコンバレーの有名な標語 Move fast and break things は、既存の制度や慣習に縛られず、素早く実験し、失敗から学ぶという点では革新的だ。しかし、破壊されるものが企業内部の仕組みではなく、社会のインフラや人々の生活である場合、話は変わってくる。

著者たちが問題にしているのは、イノベーションを優先するあまり、負の影響を十分に考慮しないまま技術が社会に実装されてしまうことだ。

たとえば、 利便性の高いサービスを提供するために、大量の個人データを収集することでプライバシーの侵害が起きる。 アルゴリズムが既存の社会的偏見を学習し、融資などで不公平な判断を行うという差別の再生産も起こっている。注目を集めるコンテンツが優先され、誤情報や分断を促す情報が広がる。自動化による効率化が、労働者の雇用や仕事に対する主体性を損なったり、失業に繋がる側面もある。
こうした問題は、単に「技術が未熟だった」という理由だけでは説明できない。製品の設計や事業モデルが、何を成功とみなし、どのような損害を許容するかという判断を含んでいるからだ。

ここには、企業はイノベーションによる利益を獲得できる一方で、その失敗による社会的なコストは、利用者、労働者、地域社会などに転嫁されるという、重要な非対称性がある。

4, テクノロジーは中立でない

アルゴリズムは、入力データに対して計算を行う仕組みだ。しかし、何を入力とするか、何を予測するか、どの結果を成功とみなすか、誰の損失を許容するかは、人間や組織が決めている。

たとえば、採用AIを考えてみる。

技術的な問いとして、応募者の将来の業績を、どれだけ正確に予測できるか？

倫理的・社会的な問いとして、何を業績と定義するのか？ 過去の採用実績を正解としてよいのか？ 特定の属性の人々が不利になる場合、精度の高さを優先してよいのか？

過去の採用実績に偏りがあれば、それを学習したシステムは、その偏りを再現する可能性がある。過去の人事評価を正解として設定した場合、その評価自体に含まれていた差別や偏見まで、合理的な判断として自動化されてゆくだろう。

これは、アルゴリズムの性能を改善するだけでは解決できない問題だ。なぜなら何を正解とするかという社会的な判断そのものを見直す必要があるからだ。

5, テクノロジストだけが決める社会

本書のなかでも特に重要だと考えるのは、テクノロジーの問題を、個々の製品の善し悪しではなく、民主主義と権力の問題として捉えている点だろう。

巨大テック企業は、社会に広く利用されるプラットフォームや情報インフラを運営している。その設計や運用方針は、情報の流通、公共的な議論、雇用、人々のプライバシーなどに大きな影響を及ぼしている。

しかし、その方針を決めるのは、多くの場合、企業の経営陣や技術者、投資家だ。つまり、社会全体に影響する決定が、社会全体による民主的な議論を経ずに行われることがあるということだ。

一部の企業が、社会の情報環境や技術的な選択肢を左右し、 アルゴリズムや事業判断が社会に与える影響について、十分な説明がなされない。また技術の普及速度に対して、政府や制度の対応が遅れており、いったん社会基盤となったサービスから、個人が簡単に離れられなくなる。

著者たちは、技術の未来は不可避なものではなく、私たちが集団的に方向づけられるものだと主張している。技術者だけでなく、市民や政策立案者も、その決定に関与する必要があるのだ。

憎悪を増幅する装置に倫理を埋め込むように

では、どのような解決策が考えられるか。著者らの回答はシンプルに３つで、技術開発の仕組みそのものを変えることを提案している。

１． 開発の初期段階から倫理を組み込む

製品が完成してから倫理的な問題をチェックするのではなく、何を解決するための技術なのか、誰にどのような影響を与えるのかを、設計段階から考える。

２．政策と規制を通じて、企業のインセンティブを変える

個々の技術者の良心に頼るのではなく、プライバシー保護、公正性、安全性、説明責任を制度的に確保する。

３． 市民が技術の方向性を決める議論に参加する

技術開発を専門家だけの領域とせず、どのような社会を望むのかという公共的な議論につなげる。これらは、技術者、企業、政府、市民のそれぞれが責任を担うという考え方である。

何を技術的に実現できるか？何を実現することが望ましいのか？何を望ましいとするかを誰が決めるのか？シリコンバレーのイノベーション文化は、第一の問いに圧倒的な力を注いできた。しかし、第二と第三の問いを十分に考え実装する時はまさに今だ。

そして、この問題はAIの時代にいっそう重要になるだろう。

Facebookのアルゴリズムについて、2018年4月の米上院公聴会で、ザッカーバーグは自社の責任を十分に広く捉えていなかったことを認めた。彼は、当初は人々にツールを提供し、それを使って人々が良いことをするのを支援するのが自分たちの責任だと考えていたが、根本的な問題は自社の責任を「ツールを作ること」に限定していた点だったと説明した。

倫理的な失敗が、必ずしも誰かの明確な悪意から始まるわけではない。

企業の開発者が、サービスを速く改善しようとする。経営者が利用者を増やし、より多くの人にサービスを届けようとする。それぞれの判断は、個別に見れば合理的かもしれない。しかし、それらを組み合わせたシステムが、特定の集団への憎悪を増幅するなら、個々の担当者が意図していなくても、社会的に深刻な結果が生じ得える。わたしたちはこれを肝に銘じ、自制し、参画し、自分たちでコントロールしなければならない。

スワーツの死がわたしたちに教えたこと

前章でリベラルアーツの講義に失望していたスタンフォードの神童、アーロン・スワーツは、その後数奇な運命を辿る。

彼はそれでもスタンフォードに在学していた短い間、テクノロジーだけではなく、社会学、言語学、人文学の様々な講義に出席していた。
１年生在学中に立ち上げた企業がRedditと合併し、二年後に売却されたことでスワーツは若くして金持ちになった。Redditは今日までインターネットで最も人気のあるサイトのひとつである。

しかしスワーツは異色の存在で、金儲けよりテクノロジーと、それをどう使って社会を変革できるか、ということに興味があった。２００８年、「情報は力である」と『ゲリラ・オープン・アクセス・マニフェスト』で宣言した彼はこう続ける。

「ただしあらゆる力と同様、これを独り占めしたがる連中がいる……。しかし、この特権を独り占めする必要はないし、道徳的に許されない。あなたには、この力を世界と共有する義務がある」

彼はコーディングやインターネットプロトコルに対し、自由・平等・正義という言葉を掲げることを好み、政治の透明性を高める草の根運動や、ネットの中立性を損ないかねない連邦法の制定に講義する活動団体を立ち上げるなど、勢力的に、テクノロジーによる社会変革を実行していった。学術論文へのオープンアクセスも、彼が実現に情熱をそそいだひとつだった。

彼はオンラインジャーナルコンテンツの閲覧に大学の構成員になるか多額の料金を支払う必要がある状況に不満を抱き、情報アクセスの平等性を実現しようと、MITのネットワークからアクセスできた学術リポジトリの何千ものジャーナルデータをダウンロードし始めた。当然このダウンロードは法律違反であり、スワーツはMITの警備員に逮捕され、禁錮５０年の最高刑を言い渡された。彼はうつ状態に陥り、司法取引の準備が進められる中、ブルックリンのアパートで自ら命を絶った。まだ２６歳だった。

スワーツは生前テクノロジー界の英雄であり、エバンジェリストとして人々から崇敬されていた。テクノロジストたちには民主主義的傾向があり、力を”善きこと”に使おうと模索していたのだ。
スワーツの死後１０年もたたぬ今、スタンフォードやシリコンバレーで彼について語る人はいない。
スワーツの死と忘却は、今何を思い起こし、軌道修正すべきなのか、私たちに訴えかけている。

参考文献

ロブ・ライヒ、メラン・サハミ、ジェレミー・M・ワインスタイン「システム・エラー社会ー『最適化』至上主義の罠ー」NHK出版、2022年

NHK「欲望の資本主義２０１７　～ルールが変わるとき～」

Facebook CEO Mark Zuckerberg FULL testimony before U.S. senate
https://www.youtube.com/live/pXq-5L2ghhg?si=O6SmxJWBfClT_J9r