「ハルシネーション」を見ているのは
人間なのではないか
（知性の投影）

by

生成AIからの情報には誤情報が含まれ、それを「AIが言語だけの世界で幻覚を見ている（ハルシネーション）」という言い方をします1。

「ハルシネーション」を見ているのは人間なのではないか 人間の認知 知性の投影 LLM出力 知性の投影

しかし、「幻覚」を見ているのは人間の方で、人間が生成AIの出力を無批判に信じることそのもの（LLMに対して「知能」を投影している）なのではないか、と思いました。

関連記事

1. 生成AIは幻覚を見ているのか？（パターン）

生成AIが事実と異なる情報を出力することを「ハルシネーション（幻覚）」と呼びます。

生成AIは幻覚を見ているのか？ 統計的パターン認識 次トークンの確率分布を学習 1 訓練データの 統計的傾向 2 言葉の関係性 のみを学習 3 現実世界との 接点なし 誤りは「たまたま」事実と合致しなかっただけ AIに意識や知覚は存在しない

しかし、「AIが幻覚を見る」という表現は、AIがまるで意識を持ち、何かを知覚しているかのような印象を与えます。

LLM（大規模言語モデル）は、統計的なパターンに基づいてトークンを生成しているだけです2。
LLMは訓練データの統計的な傾向から、もっともらしい文章を生成します。
その結果が「誤り」であったとしても、「たまたま」事実と合致しなかっただけです。

LLMは言葉の関係性だけを学習しています。

「東京は日本の首都」という知識は、現実の東京という都市と結びついているわけではありません。
テキストデータの中で「東京」「日本」「首都」という単語が特定のパターンで共起していた、それだけです。

つまり、LLMには現実世界との接点がない。
完全に言語だけの世界で動作しています。
にもかかわらず、私たちはその出力を「現実について語っている」と解釈してしまいます。

2. 言語モデルに投影しているのではないか？（アニミズム）

むしろ幻覚を見ているのは、LLMの出力を「知識」や「理解」として受け取る人間の方です。

幻覚を見ているのは人間の方 認知バイアス 流暢な文章 → 知能の存在と誤認 統計モデルへの「理解」の投影 流暢な文章 説得力ある表現 知的存在 という錯覚 無批判に 信じてしまう この認知のズレが誤情報を信じる本質的な原因

例えば、ChatGPTが自然な日本語で返答すると、まるで「わかっている人」と会話しているような錯覚を覚えます3。
その結果、出力された情報を無批判に信じてしまう。
これこそが「幻覚」なのではないか、と思うのです。

私たちは、流暢な文章や一貫した論理展開を見ると、そこに「知能」があると感じてしまいます4。
これは、言語能力と知能を結びつけてきた人間の認知の癖かもしれません。

実際、LLMが生成する文章は驚くほど自然で説得力があります。だからこそ、その内容を無批判に信じてしまう。
本来は統計的な次トークン予測でしかないものに、「理解している」「知っている」という属性を投影してしまうのです。

統計モデルに過ぎないものを、知的な存在として認識してしまう。この認知のズレが、誤情報を信じる本質的な原因だと捉えています。

視覚も意識もない言語処理システムに、「幻覚」という人間的な体験を表す言葉を当てはめること自体が、すでに何かを投影している証拠だと言えます。

3. 技術と向き合う姿勢

もちろん、これはLLMの有用性を否定するものではありません。
統計的なパターン認識として優れた能力を持つツールです5。
ただ、それを「知能」として扱うことで生じる誤解や期待のずれが、いわゆる「ハルシネーション問題」の核心なのだと捉えています。

この視点は、LLMとの付き合い方を考える上で重要だと思います。

「AIがハルシネーションを起こした」と言うとき、私たちは責任をAI側に置いています6。

LLMは知識を持たず、理解もしません。
それは私たちが慣れ親しんできた「言葉を使う存在」とは根本的に異なるものです。
そのことを認識した上で、適切な距離感を保ちながら使うことが求められています。

「ハルシネーション」という言葉の裏に隠れた認識の転倒に気づくことは、AIとの健全な関係を築く第一歩になるかもしれません。

  1. ハルシネーションは技術用語として定着しており、「虚偽または誤解を招く情報を事実かのように提示する応答」と定義されています。研究者の間では最大27％の確率でハルシネーションが発生し、生成テキストの46％に事実関係の誤りが存在するという推定もあります。 – ハルシネーション (人工知能) – Wikipedia
  2. LLMは膨大なテキストをもとに次トークンの確率分布を学習しており、これは傾向やパターンを抽出しているに過ぎません。このため、LLMの「幻覚」は単なるエラーではなく、その根源的な構造に起因する避けられない現象とされています。 – LLMのハルシネーションはなぜ避けられないのか？
  3. この現象は「イライザ効果」として知られ、人間が本来持つ「擬人化」の認知バイアスに基づいています。心理学研究によれば、テキストによるコミュニケーションにおいて特に強く現れ、人間は対話相手に意図や知性を見出そうとする「心の理論」が無意識に働きかけると示されています。 – イライザ効果とは？意味をわかりやすく簡単に解説
  4. 認知バイアスの一種である「擬人化」は、動物、物体、抽象的概念に人間の特性、感情、意図を帰する特徴づけです。AI協働時代においては、AIとの相互作用によって人間がバイアスを受け継ぎ、独立後も保持する現象が研究で確認されています。 – 認知バイアスの一覧 – Wikipedia
  5. ハルシネーション対策として、RAG（検索拡張生成）という技術が注目されています。これは外部の信頼できる情報源をリアルタイムで検索し、その情報を根拠として回答を生成する技術で、ハルシネーションのリスクを大幅に低減できます。ただし、完全な克服は難しいのが現状です。 – RAG（検索拡張生成）とは？
  6. 実際、「ハルシネーションという用語がコンピューターを不当に擬人化している」と考える研究者もいます。一部の専門家は、ハルシネーションを根絶しない限り生成AIは業務活用できないと考えること自体が、生成AIの業務活用を難しくしていると指摘しています。 – ハルシネーションの根絶は無理筋、ファインチューニングへの過度な期待も禁物