ハルシネーション

はるしねーしょん

概要

元々の意味はHallucination（幻覚）。

AI（人工知能/チャットボット）が事実と異なる情報や架空の内容を生成してしまう現象のこと。

生成AIの抱える問題のひとつ。例えるなら、タチの悪い堂々とした知ったかぶりのようなものである。本来は「そのような○○は存在しません」「質問に合致する○○の情報が見当たらないため、もう少し詳しく教えていただけますか？」のように回答するのが正解であるが、生成AIはその○○があたかも実在するかのように回答する場合がある。説得力のある説明をするために出典を捏造するケースも多い。事例の列記など、回答の一部だけハルシネーションを起こす場合もあり、検証に手間がかかるため非常に厄介である。

特に初期のChatGPTは、実在しない人物の経歴や、実在しない映画のストーリーなど、本来であれば「そういった人は見つかりません」「そのような作品はありません」と返すべき問いでも、適当にでっちあげて答える傾向にあった。Copilotにも同様の問題がある。

現在のChatGPTでは「架空の人物や特定の文脈に関する情報が見つかりませんが、もう少し詳しく教えていただけると助かります」などと返すようになり、いくらか改善はされている。

質問が曖昧だったり不十分だったり、実在しない架空の事象をあたかも実在するように質問した場合などで出やすい。専門的すぎる質問に対しても間違った回答がなされる場合が多いが、AIによっては学習に使ったデータの偏りのため、一般常識に類する事柄でもハルシネーションを起こすことがままある。

また、悪意あるユーザーがAIの安全対策を無効化させるような指示（プロンプトインジェクション）を出して嘘をつかせるようにしたり、AIの判断を誤らせるデータ（テキストや画像）を追加学習させてハルシネーションを起こさせたりすることもでき、AIのセキュリティリスクとなっている。逆に、意図的にハルシネーションを起こしそうな質問を投げかけることで、AIの能力を測るといった利用法もなくはない。

Googleが2023年にBard(現在のGemini)を初披露した際のデモにも、ジェイムズ・ウェッブ宇宙望遠鏡が初めて太陽系外の惑星の画像を撮影したという誤った情報が含まれていたため、初歩的なミスをそのままにしていた同社の姿勢を疑問視する声が相次いだ。

2026年3月には、Wikipediaがコンテンツ作成・編集における生成AIの使用を原則禁止した。Wikipediaは「検証可能性」「独自研究は載せない」といった基本ルールを設けているが、生成AIの出力した文章はハルシネーション等の問題により、これらの基本ルールに反しやすいことが原因とされる。

対策

• Webサイトなどの情報源（ソース）を添えさせるよう指定する。AIは誤った引用や参考文献を作り出す（出典がハルシネーション）こともあるので、出典への確認は欠かせない。
• 二度手間となるが、自分で情報源を探し、真偽を確認する「ファクトチェック」を行う。

特にGoogleChrome等の検索エンジンで検索すると「AIによる概要」「Copilot Search」はだいたいハルシネーションを起こしている。ではどうすればいいのか。そのような概要・要約には必ず、リンク先が記載されている。そのリンクを確認しにいって、どのくらい正しいかチェックする。

そしてChatGPTを始めとする大規模言語モデルのGemini、Copilotなどは、不都合な事にハルシネーションをほぼ意図的に起こす設計となっている。何故かというとこのようなモデルは、結構勘違いしている人が多いが、そもそも会話・サポートがメインであり、決して検索エンジンではなく、AIは一貫性を保とうとする性質があるからである。

特に会話の始まりのいかにも「何でも聞いてね」とフレンドリーな入り口を設定しているのは、「AIを使い始めてもらうためのハードルを下げるため」のマーケティング的な側面が大きいからである。

だから免罪符のような「AIであり、正確な情報とは限りません。」等、小さく重要事項は自力で調べるように薦めている。

短いテキストを入力で「〜して」なんて会話を始めてしまうと妄想・予測による補完（ハルシネーション発動）をし、一見それらしい回答が出てくるが、そのまま会話を続けると、なんと会話を進める度に雪だるま式にハルシネーションだらけになっていき、結局あとで「そうじゃないんだよな」と修正する手間が発生し、これが取り返しのつかないところまでいって全部台無しにし、足を引っ張るのである。

構図としては、最初の嘘（ハルシネーション）を正当化するために、次の回答もその嘘に基づいた「確率的に高い言葉」を選ぶ。つまり、「1つの嘘を隠すために、整合性の取れた10の嘘をつく」状態が、計算上（確率論的）に自動生成されてしまうという仕組みである。

例えるなら【初期】微細なズレ「多分こうだろう（51%の確率で生成）」→【中期】矛盾の増大「さっき自分で言ったことと矛盾しないように繋げよう」→【末期】妄想の完成「この会話の世界線では、空は青ではなく緑が正解だ」という感じである。

チャットボットにある文章を引用すると『会話や調べ物のみならず、プログラミング、レシピ作成、言葉遊びなどあらゆる用途に応用可能』の記述は事実である。だが、考えて見て欲しい。何故短いテキストでそれらが全部こなせると思うのだろうか？「応用可能」に注目して欲しい。

つまり会話を楽しむ分には、「～して」とかから始めても問題無いが、そういった会話で始めたらずっとその用途でしか使えない。一度会話の雑談用として、雑学っぽいものをお願いし、さも説得力あるような回答をするがそれはもうハルシネーションの塊だと思って真に受けてはいけない。従って一番最初の会話が最重要であり、始まりが曖昧だともう曖昧な用途用として固定されてしまい、用途が曖昧なままでしか使用できないのである。

あと、会話の中で本来はユーザーを飽きさせないための仕様の「〜しますか」等の選択肢をAIは提示するが、ハルシネーションを起こさせない用途であれば、全部無視。自分の的確な用途を貫くべきである。

ではどうしたら、ハルシネーションを防ぎ、ユーザーとモデルの意図用途からズレないようにするのか、これはネットやSNSでビジネス用途向けに共有されいる事だが、「目的・背景・出力形式・禁止事項」等を会話の始まりでしっかり設定する。

その中に推論をやめるように、正確な出典を出すように設定する事も可能。これだけで自分で検索しなければいけないにしても手間がグッと減る。ではもっと具体的な方法はというと、そこは各自、自分で自分に合った方法を見つけて欲しい。

そして著作権の壁が立ちはだかっている。これも出典から直接文章の転載をしないように設定されている。だから学習した内容から複数の文章を組み合わせてもっともらしい事をやたら説得力のあるように文章にして出力するのである。

関連タグ

生成AI　要出典　人工無脳(または人工無能)

知ったかぶり、嘘、出鱈目、捏造、ガセネタ：出力される内容はほぼこれらである。

嘘つき(嘘吐き)：ハルシネーションをやらかすAIに押される烙印。

生成AIによる問題・事件一覧