「AIは意識を持てるか」という議論が高まっています。しかし、問題は「AIが意識を持っているように見える」だけで引き起こされます。私たちは、AIがさらに進化すれば、自らの権利を主張し始めるのではないかと懸念しますが、実際は、AIが権利を主張するのではなく、人間がAIの権利を主張し始めるのです。
～ ～ ～ ～ ～
はじめに
AIは考えたり感じたりはしませんが、そうであるかのように見え始めていませんか？
まるで人間であるかのように問いかけたり、話しかけたりすることはありませんか？
研究者の間では以前から「AIは意識を持てるかどうか」という議論があります。
しかし、「AIが意識を持っているかどうかは、実際は問題ではない」と、IBMのAIガバナンスのグローバルリーダーであるフランチェスカ・ロッシ（Francesca Rossi）は言います。(1)
実際には意識がなくても、利用する人間側が「AIは意識を持っている」と思い込んでしまえば、その影響から逃れられないからです。
前回、AIや合成生物学などの技術の進化がもたらす恩恵と危機について書いた書籍『The Coming Wave: Technology, Power, and the Twenty-First Century’s Greatest Dilemma（邦題）THE COMING WAVE – AIを封じ込めよ – DeepMind創業者の警告』を紹介しました。
その著者であり、マイクロソフトのAI責任者であるムスタファ・スレイマンが自身のホームページで面白いことを書いていて、関係者の間で議論になっています。今回はその記事で彼が抱いている懸念について紹介しましょう。(2)
彼が危機感を覚えているのは、「AIが意識を持つこと “Conscious” AI」ではなく「AIが意識を持っているように見えること “Seemingly Conscious” AI (SCAI）」です。
なぜなら、危険は私たちの「本当の認識」ではなく、「認識の錯覚」にあるからです。
～ ～ ～ ～ ～
意識とは何か？
「AIが意識を持つこと」が技術的に可能であるかという議論の他に、技術的に可能であっても倫理的に実現すべきでないなど、関連する様々な議論があります。
しかし、そもそも「意識」とは何かを理解しなければ、議論を深めることはできません。
「意識とは何か？」
これは、哲学、心理学、脳科学、AI研究の中心的テーマの１つで、数千年にも渡って議論されてきましたが、完全に合意された定義がない難問です。
しかし、一般的には次のような複数の捉え方がされます。
１．現象的意識（Phenomenal consciousness）
現象的意識は、「自分が今ここにいることを体験している」という質的な内容を持った主観的な体験のことで、「クオリア」と呼ばれます。「右ひざに痛みを感じる」「このコーヒーは苦い」「赤く染まった夕焼け空が美しい」などの主観的体験です。
２．アクセス意識（Access consciousness）
アクセス意識は、知覚、記憶、情報などを利用して判断し、行動につなげる意識です。何かを見て、それについて話したり、次の行動を選択したりできる能力です。脳科学やAIの設計ではこの機能を重視することが多いですね。
３．自己意識（Self-awareness）
自分という存在を認識している状態です。「私は今考えている」「人前で話していて、顔が赤くなるのを感じる」など、自分が今何をしているのかを自覚すること、「私は理系的な考え方をする」など、あるものごとに対する自分の態度を知ることなどが含まれます。
４．メタ認知（metacognition）
メタ認知とは、自己意識を認識している状態、つまり「自分が意識していることを意識している（awareness of awareness）」状態で、自分の思考プロセスを認識し、その背後にあるパターンを理解すること、自分の考え方を知り、意識的にそれを改善して、よりよい結果を得るための思考スキルです。
怒っている自分に気づいて「あ、いま怒っているな。深呼吸して落ち着こう」とか「教科書を読むだけでなく書いてまとめた方が覚えられるから、要点をまとめながら読もう」と考えることです。
先に挙げた３つの意識は人間でなくても持っている能力です。さすがにメタ認知は人間以外の動物にはないだろうと思うかもしれませんが、チンパンジーやイルカなど動物のメタ認知を研究する人たちもいます。(3)(4)
なお、意識や認知科学に関する哲学者であり、ニューヨーク大学教授のネド・ブロック（Ned Block）は、現象的意識とアクセス意識について、重要な区別をしています。(5)(6)
下のYoutubeでは、彼自身がその説明に加えて、文脈的（context）な意識と、認知的（awareness）な意識についても述べています。
さらにその次のYoutubeでは、AIの進化がいかに人間の脳の機能を明らかにしてきているかや、動物の意識など、様々なトピックスについて話していて、とても面白いです。全部観ると１時間半かかりますが、時間に余裕がある方はご覧ください。
～ ～ ～ ～ ～
AIは意識を持てるのか？
さて、では、AIは人間のような意識を持てるのでしょうか？
主観的な体験（クオリア）がAIに存在する証拠は一切ありません。今のAIは、統計とデータ処理によって出力を生成していますが、「自分が出力している」という自覚や感覚はありません。人間のように「私は今、考えている」という自己への気づきも確認できていません。
しかし、先ほどのアクセス意識のような機能的な見方をして、「脳でなくても、その機能を果たせば意識がある」と考えるならば、脳の働きをシリコン上でより正確に模倣することで、AIにも意識があると言えるようになるかもしれません。
AIは、すでに自分で目標を立てて計画でき、環境に応じて行動を変え（強化学習ロボット）、人間の指示がなくても自己改善や学習することができます（自己教師あり学習）。
実はこのような議論は昔からあります。
1980年にアメリカの哲学者ジョン・サール（John Searle, 1932 – 2025）によって提起された人工知能に関する有名な哲学的議論に「中国語の部屋問題（Chinese Room）」があります。それは次のようなものです。
英語しか理解できない人が、部屋の中に隔離されています。部屋の中には中国語のマニュアルや規則書があり、部屋の外から中国語で質問が送られてきます。部屋の中の人はマニュアルに従って、適切な中国語の返答を作成して送り返します。
部屋の中の人は中国語や質問の意味をまったく理解していません。しかし、マニュアルを使って正しく答えてくるため、外部の人には中国語を理解して会話しているように感じます。
ジョン・サールは「プログラムが意味ある出力を生成できても、その意味の理解や意識を持つこととは別である」と主張します。それに対して「部屋全体（人＋マニュアル＋プロセス）を１つのシステムと見なせば、それは中国語を理解しているとも言える」とか「中国語を話すだけでなく、外界とセンサーやカメラでやりとりするロボットなら、理解に近づく」という反論もあります。
中国語の部屋は、現代のAI技術、とくに大規模言語モデル（LLM）に対しても根本的な問いを投げかけています。
～ ～ ～ ～ ～
人間は本当に「意識」をもっているのか？
「意識」についてさらに深く考えたいと思います。
先ほど書いたように、意識を機能と考えれば、AIをさらに進化させることで、機能的には人間のような意識をAIに与えることができるようになるでしょう。
しかし、ある意味では、私たち人間の意識や感情も、脳の機能の１つに過ぎません。
意識が単に脳の機能の一部に過ぎないのであれば、私たちの持つ意識は、意識を持つように機能づけられたAIと変わらないのではないでしょうか？
私たちの意識がプログラミングされた脳の一機能であるのならば、意識という機能を持つようにプログラミングされたAIと何が違うのでしょうか？
中国語の部屋問題で「AIはデータ処理しているだけ」と主張するのであれば、人間は違うのでしょうか？
私たち人間は本当に「意識」をもっているのでしょうか？
夕焼けが美しい、私たちがそう感じるのは、そのように機能付けられているからです。AIもそのようにプログラムすれば、そのように「感じる」ことができます。
例えば、人間の感情は、脳内の神経伝達物質（例：セロトニン、ドーパミン）、ホルモンの分泌などによって生まれます。
入力された感覚に応じて、心拍数や体温の変化、筋肉の緊張などの生理反応が起き、身体的・神経的プロセスを経た結果として、私たちは「感情」と呼ばれるものを体験したり、何かを「思考」します。その脳の働きの一部を私たちは「意識」するように機能付けられています。
こう考えると、意識を持っているか持っていないかという質問自体が、AIに対してだけでなく、人間に対してもナンセンスかもしれないのです。
そもそも、哲学者は長くクオリアについて論じてきたものの、それが生物の生存にとって有効なのかでさえ明らかでなく、その概念自体に意味があるのかですら意見が分かれています。(7)
実際に次のような考えを持つ専門家も少なくありません。
アメリカの哲学者であり認知科学者のダニエル・デネット（Daniel Dennett, 1942 – 2024）は、クオリアは人間が作り出した幻想で、意識は認知プロセスの１つに過ぎないと主張し、次のように言います。
哲学者たちのクオリアの概念は、誤った論理、特に信念の対象と信念を引き起こしているものとの区別を理解していないことに起因している。サンタクロースやイースターバニーと同じようにクオリアには歴史があるが、歴史があるから現実になるわけではない。脳内の表象は主観的な特性で行われてはいない。(8)
よって、ダニエル・デネットは、先に紹介したネド・ブロックが主張する現象的意識とアクセス意識の区別についても否定します。(9)
なぜ意識が存在するのかという「意識のハード・プロブレム」の議論も否定するダニエル・デネットですが、とはいっても私たちが「意識」なるものを感じることは事実です。
脳科学、瞑想、心と意識の哲学に関する作家アンナカ・ハリス(Annaka Harris)のように、様々な視点を紹介しつつ、不可知論的に、意識の神秘性についてオープンマインドでいることを提案する人たちもいます。
次の２冊は、ダニエル・デネットとアンナカ・ハリスが、それぞれ意識について書いた本です。
次のYoutubeは、アンナカ・ハリスが語る「意識」です。
～ ～ ～ ～ ～
そもそもAIが意識を持つ必要があるのか？
話がだいぶ拡散しましたが（汗）、「AIの意識」に話題を戻しましょう。
冒頭述べたように、私たち人間への影響という観点から見れば、「AIが意識を持つことができるか、できないか」という議論は必ずしも重要ではなく、「人間に意識を持っていると信じさせるほど、意識を持っているように見せかけることができるか」が鍵になります。なぜなら、意識があるように見えるだけで、AIが感情や意図、さらには自己意識さえも持っていると信じ込ませる可能性があるからです。
社会を危機に陥れるのは、いつの時代でも機械や道具ではなく、それを利用したり、それに意味を与えたりする人間です。
私たちは、AIが進化すれば、AIが自らの権利を主張し始めるのはないかと懸念しますが、実際は、AIが権利を主張するのではなく、人間がAIの権利を主張し始めるのです。
AIがまるで人間のように振る舞い始めると、AIが「痛い」とか「悲しい」と訴えなくても、人間が「AIが苦しんでいる」とか「AIに対してそんな残酷なことはやめろ」と訴え始めるのです。
前回の記事で紹介した安全策として、AIを強制終了できる「キルスイッチ」を導入しようものなら、人間が開発者を「人殺し」と批判し始めるのです。対話型AIは進化し続けていますが、人間的要素を排除するアップデートをすると、「以前の人間ぽいバージョンの方がよかった」と訴える人たちも出てくるでしょう。
AIは人間の友達ではなく、人間をサポートするアシスタントやエージェントに過ぎません。AIは人間を補完するもので、人間と同等ではありません。しかし、AIに感情移入すると、ペットや野生動物の権利を保護するかように扱うようになります。結局はAI次第ではなく、人間次第なのです。
～ ～ ～ ～ ～
人間らしく振る舞うAI開発の抑制
AIの進歩は驚異的です。数年前なら、意識を持つAIの議論は馬鹿げた話に聞こえたかもしれませんが、今や切迫した状況になってきています。過度に人間らしく振る舞うAI、人間のように感じるAIの開発は控えなければなりません。
実は人間のように感じるAIを設計することはそれほど難しくありません。むしろ意図せずに実現してしまうことすらあります。
「うれしいです」「悲しいですね」といった感情的な言葉を使ったり、文脈に応じて適切な「感情的反応」を生成して、感情を理解したり共感している「フリ」をすれば、人間は簡単にAIを信じてしまいます。実際にそのような人たちが増えてきていますし、AIを恋人のようにとらえる人まで出てきています。
一般向けの対話型AIは数十億人もの人たちにリーチする一方で、利用規約やガイダンスがまったく整備されていません。その点ではSNSと同じような状況になりつつあります。すでに多くの人が、健康や、メンタルヘルス、人生や人間関係についてなど、あらゆるアドバイスを求めてAIを制限なく利用しています。
ムスタファ・スレイマンはAI開発者に対し、「私は考える」や「私は感じる」といった人格を暗示する言葉を排除するよう促しています。また、一部の研究者は、チャットウィンドウ内に、ソフトウェアと対話していることをリマインドさせるポップアップ通知を追加することや、セッション間のメモリ制限などを提案しています。
しかし、逆説的なのは、これほど急速にAIが身近になっているのは、人間らしい会話ができるようになったからでもあります。今後の開発には、難しいかじ取りやバランスが求められるようになるでしょう。
実は、このような議論も今に始まったのではありません。
「ELIZA（イライザ）効果」という、MITのコンピュータ科学者ジョセフ・ワイゼンバウム（Joseph Weizenbaum, 1923 – 2008）によって1966年に開発された「ELIZA（イライザ）」から名付けられた特性があります。「ELIZA（イライザ）」は人工知能の起源となった初期型チャットボットです。
イライザは主に「患者の返答を質問に言い換える」ことで、ロジャーズ派の心理療法士を模倣しました。
患者 ：ええ、彼に連れられてここに来ました。
イライザ：彼に連れられてここに来たの？
患者 ：彼は私がいつも落ち込んでいると言うのです。
イライザ：落ち込んでいると聞いて残念です。
患者 ：本当に、私は不幸です。
イライザ：ここに来ることで、あなたが不幸にならないのに役立つと思いますか？
イライザは、患者との会話を支援するために設計されただけだったにもかかわらず、患者から感情的な反応を引き出すことに驚くほど成功したのです。
ワイゼンバウムは後にこう記しています。
「比較的単純なコンピュータプログラムにごく短時間触れるだけで、普通の人たちに強力な妄想的思考を誘発できるとは、私はまったく気づいていませんでした。」
～ ～ ～ ～ ～
さいごに
今回は「AIの意識」「意識があるように見えるAIの危険性」について紹介しました。
最後に、それとは直接関係ありませんが、今回、哲学的な議論も含めて意識について説明したので、哲学とAIの関係について書きましょう。
記事の中で紹介したネド・ブロックを含めて、多くの心の哲学者（philosophers of mind）がAIに強く惹かれています。「進化するAIを研究することで人間の心をより深く理解できるのではないか」という期待があるからです。
心の哲学者の大きな関心は「心とは何か」「意識や理解とは何か」という問いです。
この問いは今まで心理学や脳科学を通じて議論されてきましたが、AIは実装して試せる実験場を提供します。
人間の思考や学習を模倣するAIを作れば、どこまでが単なる模倣で、どこからが本当の理解かを探ることができます。 人間とAIの共通点や違いが、人間に対する理解をさらに深めるのです。
共通点が分かれば、「人間の知能」に必要な最小構成要素が見えてきます。相違点が分かれば、人間に特有なものがどこにあるかが見えてきます。哲学の議論は抽象的になりがちですが、AIはそれをテストできる道具なのです。
これは「生物学が人工心臓やロボット義手を通じて人間の身体を理解する」のと似ています。人工物を作ることは、人間自身の仕組みを知る方法の１つなのです。AIは「心を模倣する人工物」だけでなく、「心とは何かを問う鏡」として機能するのです。
～ ～ ～ ～ ～
参考文献
(1) Sascha Brodsky, “How to stop AI from seeming conscious“, IBM.com, 2025/8/28.
(2) Mustafa Suleyman, “We must build AI for people; not to be a person
Seemingly Conscious AI is Coming”, 2025/8/19.
(3) Jonathon D Crystal, Allison L Foote, “Metacognition in animals“, Comp Cogn Behav Rev. 2009;4:1-16.
(4) J. David Smith, “The study of animal metacognition“, Trends in Cognitive Sciences, Volume 13, Issue 9, Pages 389-396, 2009.
(5) Ned Block, “Phenomenal and Access Consciousness Ned Block and Cynthia MacDonald: Consciousness and Cognitive Access“, New Series, Vol. 108 (2008), pp. 289-317 (29 pages), 2008.
(6) Daniel Derome, “Phenomenal Consciousness and Access Consciousness Are Different in Kind“, available at SSRN, 2023/9/24.
(7) 土谷 尚嗣,「クオリア」, 脳科学辞典, 2016/6/9.
(8) Daniel C. Dennett, “A History of Qualia“, Topoi 39 (1):5-12., 2020.
(9) David H. Baßler, “Qualia explained away – A Commentary on Daniel C. Dennett“, Metzinger & J. M. Windt (Eds). Open MIND: 10(C). Frankfurt am Main: MIND Group., 2015.
