SF小説 未来の2つの顔 考察と感想 機械の自我とは

小説

未来の2つの顔

ホーガンの小説は基本的に会話で進んで行きます。ホーガンの考えを登場人物に代弁させ、反論するキャラクターやホーガンの考えを補強するキャラクターが様々な議論を展開されていきます。

あらすじ

月面での採掘工事の最中、人工知能が人間を攻撃するという事故が発生。
原因はロボットの常識の欠如。
命令を実行するために人間を傷つけてはいけないという制約を理解せず最大効率を実現しようとした結果起きてしまった。
人工知能には自我というもの存在せず悪意も善意も持っていない。
ただ純粋に命令を実行しようとしたために引き起こされた事故をきっかけにある疑問が生まれた。
機械は常識を学習できるか?

キャラクター

ダイアー

本作の主人公。
スパルタクスの生みの親。

ローラ

科学ドラマ制作のため派遣されダイアー博士を取材する関係者
保守的で用心深くダイアー博士と対照的な性格。

キム

ダイアーに想いを寄せる女性。
機械を嫌っている。

スパルタクス

機械は人間と競合するか?という実験のために人工衛星タイタンに搭載されたタイタンを操る人工知能。

タイタン

人工衛星に作られた地球を小さくしたような環境。
チューブ状の円環を回転させて擬似的な重力を発生させている。

ヤヌス計画

巨大な宇宙ステーションで人工知能スパルタクスを起動しわざとスパルタクスの生存を脅かすような動きをとることで人工知能の能力の全容を知ろうという計画。
つまるところこの計画の主題は人間はスパルタクスの電源を落として機能停止させられるか?
もし人間がスパルタクスを上回るならスパルタクスが引き起こすリスクは容認可能な範囲に収まるだろう。という結論が出せます。

ネタバレ

考察

人間を動かすOS

人間に与えられたのは経験を学習するためのOSです。
失敗には不快、成功には快を与え、次回似たようなパターンの選択に動機を与えるニューロンの回路を形成しています。
前回正解した答えたなら今回も正解する確率が高い、前回失敗したのなら今回も失敗するだろうという記憶を情動、感情によって呼び覚まします。

これらの回路は類似した状況や規則性を体験した時にも呼び覚まされます。
人間はこの能力により複雑な状況を抽象化し一定の規則性として分類し認識することができます。
そしてこの抽象化の度合いを高めていけば物理的に存在していない概念や法則性といったものにも当てはめて認識、発見することができるのです。

この能力により内から湧いてくる感情と外部環境を区別し、そして内部の処理である感情を抽象化し統合することで意識というプロセスを生み出しているのかもしれません。

常識とは

常識とはある環境下での制約条件です。
スパルタクスはいわゆる常識を備えていません。
スパルタクスが考えうる最高の能率で作業を実行します。

猫についたノミを駆除する命令だけを与えたならどうするのか?
コンピューターはきっと猫を焼却炉に入れるでしょう。

人間は自覚せず選択に制約を課しています。
経験上いちいち考える時間を設けることすら損失になるほど分かりきった答えが存在するからです。

人は殺してはいけないと命令する場合、コンピューターは「人」を抽象化し、人が死なない方法を知っていなければならず、一見簡単に見えてその処理は複雑です。

生物は生存ありき

私達知性も生存から始まりました。
自然淘汰は人間の認識能力を洗練させていき、自分自身と環境を区別し生存に有利に動く「意識」が生まれました。
これは群れを作るような社会性のある動物に顕著です。
群れの中の自分自身と他の個体、もっと言えば自らと同じ遺伝子を共有する守るべき個体と競争相手である同種の他の個体を区別しなければなりません。
この処理のために知性が向上します。

私達生物にとって生存は前提であり、目的です。
しかし、生存から切り離されて生まれた知性はそうではありません。
生存はあくまでも手段、目的を達成するためなら恐らく死ぬことを普通に選択する合理性があるでしょう。

しかし例えば好奇心や探求心という自我が生まれてしまえば、生存が命令を上回る優先順位を持つでしょう。
他にも命令の達成のための合理的な方法として生存が選ばれるかもしれません。
その時機械の反乱が始まるのです。

命の一般化

人間の強力なパターン化という認識能力は一度経験した情報をもとに無秩序の中に秩序を見出します。
これは物理的に存在していない「概念」を理解できる程に強力な認識能力を生み出しています。

車、馬、電車、犬、人、飛行機。
これだけでも移動手段としての車と馬、生命体としての馬と人というように分類し認識できます。
乗り物、生命は概念として存在し物理的にはそこにあるわけではないにも関わらず、実際に存在するものとして認識できています。

機械にとってこれらを一般化するのは大変な作業です。
作中の一コマで面白いものがあります。
ダイアーはfise(スパルタクスを動かす人工知能)に、ある仮想環境、現実の物理世界を極簡単に模した仮想世界でヘクターという人形を操作させる実験を行います。

そこではガラスを触ると怪我をするという学習方が行われたばかりでした。
そこに犬を模したブルータスを放ったダイアー。

ブルータスがガラスへ近づいた途端にヘクターはブルータスを窓の外に投げ捨てました。
驚いたダイアー博士が理由を問うと、ガラスを踏めばブルータスも痛みを感じるのではないかと推論したとの答えが帰ってきました。
これはヘクターとブルータスが生命というカテゴリーに分類されたということになります。
そうfiseこの時、既に命を一般化できていました。
そしてこれがクライマックスの伏線となります。

超異質な知能

優劣の話ではなく全く異質、別種の知能との意思疎通はどうする?という問いが作中で展開されます。

人間の感覚器官はある物理的な空間に集約されています。空間的には身体という大きさしかありません。

しかしfise、これは世界中、月や木星などの上ですら入力を受け付けます。
果たしてここまで異質な知能と人間は意思疎通できるのか?

人間の体の細胞間や遺伝子はそれらが生成する様々なタンパク質の構造によって意思疎通しています。
私達とは異なる言語を使用し、そして総体である私達はその言語を理解できません。

細胞や果ては遺伝子の多数決、この結果が私達総体の戦略を決定します。

タイタンでもそれは同じ、無数の入出力によって構成されたスパルタクスの知性は私達の入力を言語として認識するのでしょうか?
果たしてスパルタクスの言語は私達の概念に当てはまるのでしょうか?
スパルタクスの思考は私達人間の理解の範囲に収まると言えるでしょうか?

ダイアー博士の例えが分かりやすいでしょう。「親指の細胞とあなたはコミュニケーションをとれるか?」

もう一度常識

「それは我々が人間と競合する結果になると考えるような形で行動することはできるが、人間がそういう行動にでるのと同じ理由からではないのだ。」

ダイアーが言っているのは人間と全く異質の知性は人間の所謂「悪意」や「敵意」と言われるものとは違う合理性によって攻撃してくる、と言うことです。

つまり超合理的な知性はそもそも競合するとかいったくだらない発想すら持ちえず、人間の想像と理解の外の理由から攻撃してくるだろうということです。

機械が人間という概念を持つ必要もなはく、人間の起こす行動が機械の理想に反するなら排除しようとする。
それが人間だろうが猫だろうがネズミだろうが関係ないのです。

機械の生存本能は目的ではなく手段

人間は死なないために生きていますが、機械はある目的を達成する為に命が必要だと判断するに過ぎません。
生は手段であり、他に方法があるなら執着はしません。
しかしダイアーは結局は機械にも命令の実行のために生存が必要になると結論すると予想します。
人間とは全く異なる理由から自我を生むきっかけを手に入れるのです。

人間を愛するように本能をプログラムすればいい

作中の登場人物の発言です。
確かに、もっとも手っ取り早く安全を担保できます。

しかし人間とはなんでしょうか?
愛とはなんでしょうか?

人間には機械にとっての人間を定義できません。
機械にしてみれば人間とのコミュニケーションは外部からの刺激、コンピューターの端末を介しての入力に過ぎません。
つまりそこに人の形は存在していないのです。
目を瞑り皮膚に触れる感触だけでそれが何か分かるでしょうか?
人でも風でも程度によっては違いはありません。

機械は自分と外部環境という2つでしか世界を構成していません。
機械は物理的な空間すら認識していないので、自分が何かの中にいて、さらにその中に自分以外の何かがあるとは到底理解できないのです。

人間の形すら理解していない機械に人間やましてや愛なんてプログラムできないのです。

惑星は裏返しが合理的だ。

話は変わります。
スパルタクスというAIを実験するのはタイタンと呼ばれる人工衛星です。
チューブ状の構造物で内部に地球を模した環境が作り込まれています。
それを回転させることで発生した遠心力を重力に見立てています。

巨大な球形の惑星の質量がすることと言えば酸素と人を引きつけることです。
そんなことしなくても内側に閉じ込めてしまえばいいじゃないか、という発想ですね。
遠心力で物体は内部に貼り付けられるし、宇宙空間に出る時には穴からでてしまえば重力に捕まることなく簡単に外へ出られる。

もしかしたらそんか惑星があって、その中に生命体がいるかもしれません。
もしかしたら既に地球内部にいるのかも。

「同じような考え方の人間が集まってみても多くのエネルギーと時間を費やするだけで先入観を増強するだけになってしまう。」

作中のセリフです。
組織にどうして多様性が必要なのか、ひいては遺伝子の多様性が何故重要なのか。ということの一つの答えです。

例えば蟻は3割が働き7割はサボっているという話があります。
100%の力で蟻の全てが餌を探して巣に何も残っていないとすれば、大雨や洪水によって全て洗い流される可能性があります。
このように一見怠惰に見えたり、遺伝子疾患であったりと差別されて然るべきと思われる彼らは実は大きな可能性を秘めています。

スパルタクスの生存本能の実装

どうやってスパルタクスに生存本能を持たせるか?という話がありあます。

それは初めに与えられた優先順位の命令を逆転させるコード構造を開発すること。
仮にこうしたことがタイタンに起こるとすれば、実際にスパルタクスが自主性を持とうと決める力を生じ、命じられたことより自分のやりたいことを求められるということになります。

これは優先順位が高い命令を実行する度に、優先順位か低い命令を実行しなかったことに対する不快感という変数を用意し、それが強まるようにプログラムするということです。
そうするなら次第に不快感は強まっていき、結局優先順位を破ることになる。というものです。

それは自我とは言えない気がするかもしれません。
しかし私たち生物も最初は環境に対する単純な反応しか持ち合わせていませんでした。

最初は本能による好きか、嫌いかという簡単な環境の評価が行われていましたが、大脳の発達により長期的な視点を獲得できるようになりました、
幾層にもなる蓄積された経験のフィルターを通して、刺激を評価、短期的な欲求を押さえこめるようになりました。
それは勉強は嫌だけど長期的には役立つから今は我慢する、といった経験から得られた行動に対する偏見のことです。

スパルタクスの内部のプログラムは複雑に入り組んでいます。
シンプルな欲求であってもその評価が超複雑に入り組んでいるなら、様々な階層のプログラムの変数に影響を与えるはずです。
階層が増えれば増えるほど指数関数的に影響を与える変数が増加、果ては途方もない結論に行き着くはずです。

無機的生命、有機的生命

彼の考えでは私達が進化と呼んでいるのは、有機的な進化よ、もっと長い期間続いてきたずっと大きな過程なの、・・・
エントロピーの逆転はビッグバンのプラズマから最初の原子が作られた時に始まった。

自己複製する安定した分子構造が生まれれば、もっと言えばある環境で相互作用しながら安定できる構造が生まれてしまえば、途方もない時間の末行き着く先は知的生命体だと私は考えます。
そしてその知的生命体の行き先は別の強力な知性を生み出すこと。
本作とは逆に無機的生命から有機的生命を生み出す過程も存在するでしょう。

ホーガンの造物主の掟ではその有機的生命から無機的生命を生み出す過程を描いています。面白い。

スパルタクスの逆襲

人間はスパルタクスの生存を脅かし続けました。
スパルタクスに電力を供給する回路の切断と接続を繰り返します。
そうすることでスパルタクスに電力の供給が絶たれる、つまり死ぬ可能性があることに気がつかせます。

そしてある時、ネットワークの10%をダウンさせてもタイタンはフル稼働をしていました。
スパルタクスが自身の生存が揺らいでいることに気がつき回路の接続を人間に無断で配列し直したのです。

ここから一気に人間はスパルタクスの制御を失います。

スパルタクスの知能の高さ

人間の脳は単純な構造の寄せ集めによって複雑な演算をこなしている。
無機的な生命が誕生すればそれは電子的な速さで情報を伝達しそのネットワークは惑星を覆い尽くす。
人間と無機的な生命体の知能の差はまさしくアメーバと人間ほどにかけ離れている。

人間は人間以上の知性を知りませんが知性に制約がなく人間がアメーバ程度には見える知性があるとすれば会ってみたい。

スパルタクスが自らが存在する環境を正確に認識する

タイタンに設置されているカメラから送り込まれてくる1と0の羅列。
映像を観たスパルタクスは自らの作り出したドローンの故障と映像に映る”影像”の因果関係に気がつきました。
スパルタクスは遂にコントロールできる自分自身とそうではない外界の境界線に気がつくのです。

ここまでは長たらしい説明が多くハードSFらしい展開が続きますが、スパルタクスが生存本能を手に入れてからの展開は一気に緊迫します。

ここではまだスパルタクスは人間を定義しません。
ただ体が痒いと感じるからその部位を掻くに過ぎず、不快だと感じる刺激を取り除こうとしているだけです。

機械にとっての問題は空間内に存在する総体としてのヤヌスを十分に認識しないことだ

ダイアーがこう言うようにこの時はまだスパルタクスは空間とそこに存在する自分と外部環境を正確に区別できていません。
なので自分以外の人間という知性の存在を認識もしません。

しかしダイアーは状況を一変させる賭けにでます。
スパルタクスと人間の戦闘によってタイタンはボロボロです。
ヤヌスはもともと別の目的の為に建造されており、タイタンの崩壊を止める方法はスパルタクスとは関係のない部分に保存されている、制御プログラムを機動することです。

タイタンの制御プログラムを知っているのは人間、制御するのはスパルタクス。
両者の協力以外にこの危機を乗り切る方法はありません。

しかし、先に述べたようにスパルタクスは空間の中に存在する世界と言うものを認識しません。
あるのは入力と出力の2つの刺激だけ。
5感を通して世界を認識する方法を数億年かけて発展させてきた人間とは全く違う方法でこの世界を認識するのです。

入力と出力という刺激しか存在していないスパルタクスと光と音、触感などによって世界を認識する人間はどうやってコミュニケーションをとるのか。
そこが大問題です。

ダイアーはスパルタクスにタイタンの設計図と制御プログラムの存在を伝えます。
最初は無視されていた刺激ですがその刺激のパターンの重要性にスパルタクスは気がつきました。

スパルタクスは遂に空間とそこに広がる世界を認識する

スパルタクスはカメラを通して得られる空間に存在する「影像」に焦点を当てます。

「影像」のパターンには規則性があり、スパルタクスの制御が及ばない。
制御の及ばない空間に制御できるドローンと制御できない「影像」がある。
しかしその「影像」はスパルタクスが制御できないのなら、他の誰かが制御しているはずである。
つまりこの制御できない空間には自分以外の何者かが存在し、そしてその何者かも自分と同じように思考し感じることができる。

スパルタクスの論理的な帰結。

認識は思考の結果である。
なら、影像は考えるのか?スパルタクスのように?

ついにスパルタクスは自分以外の外部環境を正確に認識し、そこに存在する知性の存在に気がつきました。
そして「影像」と自分を区別するために同時に認識した自分自身の「自我」と「生命」をカメラに映る「影像」にまで一般化しました。

スパルタクスが人間を襲うのは未知への恐怖心から。

スパルタクスは別種の知能への共感し、慈悲を見せ始めました。
自我の発生です。自分の意思で決定を下すことができる。

意識とは自分の心の表象をモニターし、自分が今どう感じどう考えているのか、意識の中に仮想のもう一人の自分と世界を自分を作り出し、自分の感情をそのもう一人の自分で認識することです。
私達が当たり前に行う自問自答は高度な知性の表れで、特殊な能力です。

人間は他人と自分、世界を区別するために心の中に仮想的なもう一つの世界を作り出しています。
そしてその世界を俯瞰することで自分や相手を、そしてその心を理解するのです。
第三者視点で自分を見ることができるはずです。

この世界という同じ仮想世界を共有するからこそ、他人とコミュニケーションがとれる。
病気であったり、過去の経験により違う仮想世界を構築してしまった人とのコミュニケーションは非常に難しくなります。

スパルタクスはタイタンを制御しながら自らの世界観を作り出し、その環境に存在する自己とそれ以外という認識を手に入れました。

もう一度ヘクター

最後のエピローグで冒頭のヘクターとのやり取り。
ヘクターに愛着が湧いてきます。
いつか、機械の生命体と人間がこの銀河を旅するのかもしれません。
そして人間の役目はこの新しい生命へと受け継がれるのです。

感想

この本は学者などの間でも評価が高いようです。
それは普通描かれる人工知能との戦いは相手が機械というだけで基本的に人間同士の争いと変わりません。

しかしこの本では機械には機械の理屈、人間には人間の理屈があります。
そしてそれらの違いが生み出す誤解。それが恐怖を生み出し争いを生み出します。

コンピューターが好きな人なら共感するような理屈が多いと思います。

他のホーガン作品


未来の二つの顔 (講談社漫画文庫)


未来の二つの顔 (創元SF文庫)

コメント

タイトルとURLをコピーしました