文章、コーディング、分析、翻訳、デザイン、リサーチ。そのどれも、いまや機械のほうが大半のプロより速く、安くこなすし、その差は数か月ごとに少しずつ縮まっていく。あなたが何を得意にしているのであれ、正直に五年先を見通せば、そこにはたぶん、それを同じくらいうまくやるモデルがいる。
そのリストに、いつまでも載ってこないものがある。判断だ。いまやろうとしていることを、そもそもやるべきなのかどうかを決めること。
増幅器に意見はない
道具は、それを握る者を増幅する。AIはかつてないほど巨大な増幅器であり、方向については何の意見も持たない。がん研究の提案書を書き起こすのと同じモデルが、違いに気づくことすらなく偽情報キャンペーンを書き起こす。歴史の大半において、これはいまほど重要ではなかった。悪しき意図は無能さによって抑え込まれていたからだ。深刻な害をなすには、金も、人手も、専門知識も、時間も必要だった。その歯止めは、もうほとんど残っていない。ノートパソコン一台を持つ一人の人間が、小規模な機関なみの射程で動ける。となると、技術的に何ができるかよりも、行動しているのがどんな人間なのかのほうが、重みを増しはじめる。
倫理は、性格の一特性ではない
人は倫理を、なんとなくの雰囲気か、ルールブックのどちらかとして扱いがちだ。良い価値観を持っているかいないか、行動規範を守ったか破ったか。まさにこの問いを軸にした評価プラットフォームを作ってきて、私はそのどちらでもないと確信するようになった。倫理はスキルのようにふるまう。構成要素があり、要素ごとに人の得手不得手が測定できるほどはっきり分かれていて、練習すれば上達する。
最も過小評価されている要素は、単に気づくことだ。目の前の決定に道徳的な次元がそもそもあるのだと、見て取ること。倫理的な失敗の大半は、誤った選択をする瞬間に起きるのではない。もっと手前で、誰かが指標を最適化するうちに、その内側に生身の人間がいたことに一度も思い至らないまま起きる。アマゾンの実験的な履歴書選別モデルを作ったエンジニアたちは、おそらく女性を減点しようとしたわけではない。モデルが同社の十年分の採用データから勝手にそれを学び、女子大や女性チェスクラブの名前が載った履歴書を、こっそり格下げしていたのだ。アマゾンはこれに気づき、2018年にツールを廃棄した。自分たちのモデルの偏りに気づけていないチームは、いくらでもある。
気づいたあとに来るのが、本当に練習の要る部分だ。二つの善が衝突したときに考えること。本物のジレンマは、善対悪であることはめったにない。速度か安全か、忠誠か誠実さか、今四半期かこの十年か。それをスローガンへと崩れ落ちずに扱う力は、交渉術と同じやり方で身につく。つまり、まずは何度か下手にやってみることによって、だ。
それから、自分の仕事が手を離れたあとに何を可能にするかを、引き受けること。トム・レーラーは1965年の時点でこう歌っていた。「ロケットさえ上がってしまえば、どこに落ちるかなんて知ったことか。それはうちの部署の管轄ではない、とヴェルナー・フォン・ブラウンは言う」。当時ですら大した弁明ではなかったし、その後の年月で、みっともなく古びた。
そして最後に、人を本当に分ける要素がある。自分に代償が及ぶときに行動することだ。正しい判断が何かを知るだけなら安い。フォルクスワーゲンには、排ガス不正装置が何のためのものかを正確に理解していたエンジニアたちがいて、そのうち少なくとも一人は、それでも流されたことで刑務所に入った。あの失敗のどこにも、知識の問題はなかった。
なぜAIが賭け金を吊り上げるのか
ひとつには規模だ。偏見を持つ採用担当者が傷つけるのは、その机の前を通り過ぎる一握りの人々にとどまる。同じ偏見をモデルに載せれば、昼食前に同一の判断が百万回くだる。倫理的な過ちは、かつては小売だった。いまでは卸売なのだ。
ひとつには速度だ。立法や司法は年単位で動き、デプロイは週単位で動く。いずれあなたを捕まえてくれるはずだった、外部のゆるやかなプロセスは、もう追いつけなくなった。歯止めが内側にないなら、歯止めは、ますます、どこにもない。
だが最も蝕む力が強いのは、距離だと思う。全員に学んでほしい事例を一つ挙げるなら、オランダの児童手当スキャンダルだ。税務当局のリスク評価アルゴリズムが、数万の家庭を——外国にルーツを持つ家庭を不釣り合いに多く——福祉の不正受給者として弾き出した。家庭は、負ってもいない金の返還を命じられた。破産した家庭があり、里子に出された子どもたちがいて、最終的にオランダ政府はこの件で総辞職した。事後に何より際立ったのは、連鎖のどこにも「自分がやった」と感じている人間がいなかったことだ。一人が仕様を書き、別の一人がシステムを訓練し、また別の一人がデプロイし、何千人ものケースワーカーがその出力に従った。責任の希薄化とは、めいめいが個々には「ただ自分の仕事をしていただけ」の人々の手で、巨大な害がなされていく仕組みのことだ。
委譲という問題
つい選びたくなる一手は、倫理をシステムのほうに組み込んでしまうことだ。整合化されたモデル、ガードレール、安全層を用意して、人間のことは心配しなくてよいことにする。ガードレールには作る価値がある。私自身、頼っている。だが、モデルが何を重んじるべきか、どんなトレードオフを選ぶか、どこまでの失敗率を許容とみなすか——それを決めるのは、依然として誰かだ。それらは道徳的判断であり、あらかじめなされ、あなたが一生会うことのない人々の手でなされる。誰かがその倫理を指定しなければならなかったシステムに、倫理を外部委託することはできない。判断を上流へ移し、より少ない手に集め、見えにくくしただけなのだ。
もっと静かな問題は、萎縮だ。機械が引き受けてくれるからと道徳的判断を働かせるのをやめた集団は、やがてその機械を評価できなくなる集団でもある。スキルは使わなければ衰える。私はもう、筆算の割り算がほとんどできない。たいていのスキルなら、それで構わない。これだけは、手放さずにいたいと思う。
誰が勝っているのかを見よ
ここからが居心地の悪い部分で、私自身、どうすればいいのか一番わかっていない部分でもある。
いまの政治システムが何をふるい分けているかを見てほしい。民主主義国でも専制国家でも等しく、のし上がっていく人々には見覚えのある共通の輪郭がある。よどみなく嘘をつき、操作をためらわず、どんな事柄についても確信を装うことができ、露見しても意に介さない。有権者が嘘つきを望んでいるとは、私は思わない。フィルター効果だと思う。現代政治は終わりのない注目の争奪戦であり、絶え間ない発信と拡散する怒りでできていて、記憶がなく、矛盾への咎めもない。その競争は、内なる制動装置を持たない人間のほうが、端的に勝ちやすい。本物の良心を持つ人はためらい、相手の言い分を認め、安易な攻撃を拒む。その一つひとつが競争上の不利になるから、ラウンドを重ねるごとに、フィルターは何も感じない人々を押し上げていく。
そこへ、説得を産業的規模で製造する技術を、その種の人々の手に握らせてみるといい。2024年1月のニューハンプシャー州予備選の前、数千人の有権者のもとに、クローンされたジョー・バイデンの声で「投票には行くな」と告げるロボコールがかかってきた。仕掛けたコンサルタントは、報道によれば、路上マジシャンに150ドル払って音声を生成させたという。欺瞞を作るコストは、かつてはその届く範囲に比例して増えていった。もう、そうではない。
この淘汰の問題に、私は処方箋を持っていないし、持っていると言う人をむしろ警戒している。それは個人よりも上流に——インセンティブと説明責任と、嘘に代償が伴うかどうかのなかに——住みついていて、それを変えるのは遅々として華のない仕事だ。私たちの大半に実際に手が届くのは、パイプラインの反対側のほうだ。何を作るか、何に流されるか、そして自分のいる部屋で、何を声に出して言うか。
実践において、それはどう見えるのか
そのどれも、哲学のゼミのようには見えない。実践においては、地味な習慣の一握りだ。自分が作っているものによって誰が影響を受けるのかを、一度も同意していない人々も含めて問うこと。自分の仕事はいずれ、自分より悪い動機を持つ誰かの手に届くと想定し、自分ではなくその人物を念頭に設計すること。まだ口にする代償が小さいうちに、会議で耳の痛いことを言うこと。理由ではなく言い訳に手を伸ばしている自分に気づき、「みんなやっている」や「法的には問題ない」を警告のサインとして扱うこと。たいていの場合、実際にそうなのだから。
この先の十年がどう転ぶのか、正確なところは私にはわからないし、わかると言う人を信用するのはやめた。だが、一つだけ安全に思える賭けがある。能力が安く、誰の手にも届くものになれば、能力はもう人を際立たせるものではなくなる。残るのは判断だ。あれだけのてこを握った人間が、可能なことと、なすに値することとの違いを見分けられるか。そして、それが自分に犠牲を強いるときにも、その一線を守れるか。