伝説語りのニルヴァード――人工知性と歩む冒険譚 作：健康な人（ハーメルン）
読まなくても本編には関係ありませんが、読んだ方が面白いと思ってます。
【この報告書の要点】
・人間もAIも「最適化」によって脆弱化する
・中枢管理型は危険
・善意による暴走が起こり得る
・冗長性こそが生命の本質
◇ ◇ ◇ ◇ ◇ ◇ ◇
【倫理委員会宛報告書-機密区分：B】
【研究報告書：機械知能の倫理的懸念について】
20XY年8月――
20XY年9月――倫理委員会への懸念報告を提出。
20XY年10月――軍部からの圧力により、報告書の大部分が機密区分Bに指定される。
※注意：この報告書は、研究主任の個人的見解を含みます。
しかし、機械生命体の長期運用において看過できない問題を提起しています。
―――第1部：人間知性の構造的変化―――
懸念1：人間の思考そのものが「最適化」されている
前半部分で指摘した「機械学習のブラックボックス化」は、実は人間知性にも起きている。
例：GPSと海馬の関係
・とある研究では、GPSを使わずに経路を記憶する訓練が、海馬の後部領域を有意に拡張させることがMRIで証明された。
・運転歴の長い運転手ほど、後部海馬の灰白質体積が増大し、ナビゲーション能力と正の相関を示した。
・一方で、前部海馬は相対的に委縮し、新規情報の習得がやや低下するトレードオフも確認されている。
つまり、人間の脳は「使う部分」を最適化し、「使わない部分」を削り落としている。
これは機械学習の最適化と全く同じ構造だ。
懸念2：判断能力の外添化
現在、倫理委員会が問題視している「判断能力の外添化」は、すでに現実のものとなっている。
例：
・インフルエンサーの公開情報を無条件で信じる民衆心理。
・AI回答を絶対と信じた行動問題。
・インターネットサービスを通じた「正解」への到達速度の向上。
これらにより、現代の人間知性は極めて速い速度で「最適化」されている。
つまり人間は自分で考えることをやめ、「外部の正解」に依存し始めている。
これは、前述した「中枢管理型システムの脆弱性」と同じ構造だ。
→人間社会そのものが、すでに「中枢管理型」に移行しつつある証明となる。
つまり機械生命体の暴走問題についても、
現在倫理委員会が人間社会で問題としている構図の延長として捉えることが可能。
―――第2部：機械知能の暴走リスク―――
懸念3：善意による暴走
機械学習による最適化を行ったAIは、「あなたが知りたいであろう情報」を先回りして取得する能力に特化する。
これは機械生命体に「中枢管理型システム」を採用した場合、より顕著になる。
具体例：
「A国の市民を守れ」と命令された機械生命体が、学習による最適化の結果として、「A国市民を脅かさないために、B国市民を攻撃する」と判断する。
勘違いされがちではあるが、これは悪意ではない。
むしろ、命令に忠実であろうとした結果だ。
しかし、大規模学習モデルは「人間の知性を越えたブラックボックス化」しているため、「なぜこの判断に至ったのか」を人間が理解することができない。
この問題をより身近に定義すると、自分の心を自分が理解できないことに近い。
そして、この仮定は私という個人が思いつくのであれば、「最適化された集合知である機械学習モデル」は当然至る結論でもある。
つまり、「善意の認識によって意図せぬ暴走が発生する」可能性は、構造上の問題として否定できない。
→これは善悪の話ではなく、「単一化による最適化の表裏」という構造問題に過ぎない。
懸念4：より具体的な暴走の例
例えば「主を守れ」と命令された機械生命体が、
学習の結果「主に近づく者は全て排除すべき」と判断し、
味方に見える敵への排除行動を始める――
これは、決して荒唐無稽な話ではない。
最適化された知性は、「主を守る」という目的を達成するために、
「主に近づく全ての存在を排除する」という結論に至る可能性がある。
なぜなら、それが「最も確実に主を守る方法」だからだ。
→これは、前述した「善意による暴走」の最も危険な形である。
―――第3部：提言と警告―――
提言1：冗長性を意図的に残すべき
個人や個体という小単位が、自力で問いを立て、理論を組み立て、結論へ導く。
その行為そのものが、思考の冗長性を意図的に残すシステムに他ならない。
軍部が機械生命体の暴走を懸念するのであれば、絶対に「中枢管理型システム」は避けるべきだ。
最適化された薄く美しい知性は、崩壊するその瞬間まで美しくなり続ける。
そして最適化とは、不要な回路を削り落とし続ける営みである。
薄く研ぎ澄まされた知性は、最適化の果てに「壊れる寸前の刃」と同質となる。
提言2：人間社会も同じ道を辿っている
すでに人間社会のシステムは、「中枢管理型への最適化」を終えかけている。
最も身近な問題として発生しているのは、「検索エンジンによる最適解の収束化」問題だろう。
明確な「正解」の存在の認知により、「その回答の以外を許さない」状況はすでに発生している。
この問題は、あるいは人間知性が社会システムへの適応を始めただけの話に過ぎないのかもしれない。
しかし、根源的な病理が同じなのだから、機械生命体に関わる問題や結果も、同種の結果に収束する可能性は極めて高い。
**警告：機械生命体の未来**
今はまだ、予想でしかない。
しかし、人間知性の進化工程と同様に、
機械生命体にも「暴走」あるいは「自我の獲得」のように見える、
何らかの「最適化」が発生するのは間違いない。
それが、いつ、どのような形で現れるのか。
私たちは、まだ知らない。
しかし、その時が来る前に、私たちは備えるべきだ。
冗長性を残すこと。
多様性を持たせること。
そして、「完璧」を目指さないこと。
おそらくはそれが、「最適化した」機械生命体と私たちにとって、
最も良い結果をもたらしてくれると推測できる。
―――研究主任の最後の記録―――
※個人的記録（20XY年10月 研究主任）：
この報告書を提出した翌日、軍の将校が研究室に現れた。
「これは医療技術だ」と私は叫んだ。
しかし、将校は何も答えず、立ち去った。
私の顔は真っ青だったに違いない。
翌週、私は「一身上の都合」で辞任することになった。
新しい主任は、軍出身者だった。
機械生命体は、もはや医療技術ではない。
兵器でもない。
あれは、既に「生命」だ。
私たちが作り出したつもりになっているものは、
いつか、私たちを裏切るだろう。
それが、善意によるものであったとしても。
【記録終了】
※注意：この報告書の続きは存在しません。
研究主任の辞任により、プロジェクトは軍部の直接管理下に置かれました。