ハルシネーションの事例7選|企業・団体で起きた原因3型と対策

ハルシネーションの事例7選|企業・団体で起きた原因3型と対策

記事の要約

  • ハルシネーションの事例とは、生成AIが事実に基づかない内容をもっともらしく出力し、組織の発信物や提出物に混入した出来事のことです。事実関係を確認できた7件を扱います。
  • 7件は架空の出典を生む「学習データ型」、文書を検索して答える仕組み(RAG)の不備による「RAG不備型」、確認工程が無い「検証不足型」に整理でき、複数の型が重なる事例が大半です。
  • 責任はAIではなく発信した側に向かい、裁判所や審判所(=紛争を裁く公的機関)は提出・掲載した者が正確性を担うと判断しています。チェックリストで自社に起こりうる型を特定できます。

「生成AIの誤りで実際に何が起きたのか、社内説明に使える具体例が欲しい」。AI導入を推進する部門や情シス(情報システム部門)・法務から、こうした相談が増えています。事例を集めた記事は多いものの、出典が二次情報にとどまり、社内資料に引用しづらいのが実情です。

本記事では、裁判所の命令や当事者の公式声明といった公式文書または報道で事実関係を確認できたハルシネーションの事例を7件選び、何が起き、どう決着したかを事実だけで整理します。そのうえで原因を3つの型に分け、自社で起こりうる型を見極めるチェックリストを示します。

東京大学松尾研発のAIスタートアップとして製薬・製造業の生成AI開発を手がける弊社は、PoC(概念実証。=本格開発の前に小規模に試す検証のこと)の段階で誤答の型を洗い出す工程を置いています。読み終えたとき、自社で優先して潰すべき型が判断できるはずです。

ハルシネーションとは?事例を読む前に押さえる3つの前提

ハルシネーションとは?事例を読む前に押さえる3つの前提の解説図

ハルシネーションとは、生成AIが事実に基づかない内容を、もっともらしい文章や数字として出力する現象です。誤りの見た目が正しい出力と区別できない点が、従来のシステム障害と決定的に異なります。

前提の1つ目は、ハルシネーションはモデルの欠陥ではなく性質だという点です。大規模言語モデル(=生成AIの中核となる、大量の文章で学習したAIのこと)は「次に来る確からしい語」を予測して文章を作るため、根拠が無い問いにも空白を埋めるように答えます。

2つ目は、責任は出力したAIではなく発信した組織に向かうという点です。後述する裁判所や審判所は、提出・掲載した側に正確性を担う義務があると判断しました。

3つ目は、対策は用途ごとに異なり、万能の一手は無いという点です。総務省と経済産業省の「AI事業者ガイドライン(第1.2版)」も、RAG(検索拡張生成。=文書を検索し、その内容を根拠に答えさせる仕組み)でハルシネーションの抑制が期待されると注記しつつ、人間の判断を介在させる適正な利用を求めています。

参照元:総務省・経済産業省「AI事業者ガイドライン(第1.2版)」(2026年3月)

ハルシネーションの事例7選|企業・団体で実際に起きたこと

ハルシネーションの事例7選|企業・団体で実際に起きたことのイメージ図

ここからは、公式文書または報道で事実関係を確認できた7件を、法務・顧客対応・検索・報道・金融解説・学術・観光の順に紹介します。いずれも、責任はAIではなく提出・掲載した側に向かいました。

報道でしか確認できない部分はその旨を明記し、各事例の末尾に原典へのリンクを置いています。社内資料にはそのまま出典として使えます。

1. 米国の弁護士がChatGPTの架空判例を裁判所に提出(法務)

存在しない判例を引用した反論書面が、制裁の対象になりました。2023年、米連邦地裁の航空会社を相手とする訴訟で、原告側の弁護士がChatGPTで調べた判例を反論書面に引用しました。その判例は複数が架空で、引用文も作られたものでした。

同年6月22日の制裁命令(=裁判所が違反者に罰を科す決定)で、裁判所は弁護士2名と法律事務所に連帯して5,000ドルの罰金を命じました。命令は「信頼できるAIツールの利用自体に不適切な点は無い」としつつ、提出物の正確性を担う門番の役割は弁護士にあると明記しています。

参照元:米ニューヨーク南部地区連邦地裁「Mata v. Avianca, Inc. 制裁に関する意見と命令」(2023年6月)

2. エア・カナダのチャットボットが運賃規定と異なる案内(顧客対応)

チャットボットの誤案内に対し、企業が賠償を命じられました。2022年11月、忌引運賃を調べた利用者に、エア・カナダ公式サイトのチャットボットは「搭乗後でも、発券日から90日以内に申請すれば忌引運賃を適用できる」と回答しました。同社の規定では事後申請は認められていませんでした。

ブリティッシュコロンビア州民事解決審判所(=カナダの少額紛争を裁く公的機関)は2024年2月14日、同社に計812.02カナダドルの支払いを命令しました。同社の反論を、審判所は「チャットボットを別の法的主体のように扱う主張」と評し、ウェブサイトの一部として掲載情報すべてに責任を負うと退けています。

参照元:British Columbia Civil Resolution Tribunal「Moffatt v. Air Canada, 2024 BCCRT 149」(2024年2月)

3. GoogleのAI Overviewsが風刺記事や掲示板を根拠に誤答(検索)

検索結果のAI要約が、風刺や掲示板の冗談を事実として提示しました。2024年5月、Googleが米国で提供を始めたAI Overviews(=検索結果の最上部にAIが要約を示す機能)で、奇妙な回答や不正確な回答が相次ぎ、同社は同月30日の公式ブログでこれを認めました。

Googleが挙げた原因は、情報の空白・風刺記事の誤認・掲示板の皮肉な投稿の採用の3点です。情報の空白とは、信頼できる情報源が少ない話題のことです。対策として、ユーザー投稿の利用制限や健康分野の表示制限など12件以上の技術的改善を公表しました。

参照元:Google「AI Overviews: About last week」(2024年5月)

4. 新聞の特集に実在しない書籍の推薦リストが掲載(報道)

外部から仕入れた特集面に、生成AIが作った架空の本が並びました。2025年5月18日、米シカゴ・サンタイムズ紙の夏季特集の読書リストに、実在しない書籍が掲載されました。特集は外部から購入したもので、編集部の確認を経ていませんでした。

同紙は5月20日の声明で、配信会社のフリーランス制作者がAI利用を開示せずに制作したと説明し、内容の不正確さと外部制作の不開示を「容認できない」と表明しました。電子版からの削除と当該号の非課金、第三者コンテンツにも編集基準を課す方針変更を公表しています。

参照元:Chicago Sun-Times「Chicago Sun-Times response to May 18 special section」(2025年5月)

5. CNETがAIで下書きした金融解説記事に誤りが見つかり訂正(金融解説)

AIが下書きした77本の解説記事の一部で、事実誤認が見つかりました。米テクノロジーメディアのCNETは2022年11月から、社内開発のAIエンジンで金融サービスの基礎解説を作る試験を始め、77本を公開しました。

1本の記事で事実誤認が指摘されたことを受けて全記事を監査した結果、ほかにも訂正が必要な記事が見つかり、一部は大幅な修正を要しました。同社は2023年1月25日、編集長名の記事で誤りを認め、AIツールの利用を一時停止しました。

参照元:CNET「CNET Is Testing an AI Engine. Here’s What We’ve Learned, Mistakes and All」(2023年1月)

6. 医療倫理誌が存在しない参考文献を含む論文を撤回(学術・医療)

生成AIで集めた参考文献が実在せず、掲載論文が撤回されました。英国の学術誌『Journal of Medical Ethics』は2026年5月下旬、製薬分野のAI活用の倫理を論じた論文の撤回通知を公開しました。

撤回の理由は、著者が生成AIで参考文献を特定し、実在を確認しなかったこと、文献の一部が存在しないことです。通知は査読(=専門家による掲載前の審査)過程の操作の証拠にも言及しています。

医療・製薬では根拠文献の実在が議論の前提であり、架空引用は結論の信頼を失わせます。

参照元:Journal of Medical Ethics「論文撤回通知(Retraction)」(2026年5月)/Retraction Watch「報道記事」(2026年)

7. 福岡の観光キャンペーンサイトが実在しない施設を紹介(観光)

生成AIで作った観光記事が、自治体の名義後援を失う結果になりました。2024年11月、福岡県の魅力を発信するキャンペーンサイト「福岡つながり応援」で、実在しない施設など誤った情報が多数見つかりました(報道による)。

運営会社は公式Xで、生成AIを活用して記事を作成し、人的確認のうえ発信していたと説明して謝罪しました。名義後援(=金銭や人の支援を伴わない名前だけの後援)をしていた福岡市は11月14日付で後援を取り消しました(いずれも報道による)。

参照元:J-CASTニュース「AI使用で誤情報垂れ流し…福岡県キャンペーンの運営会社謝罪&記事削除」(2024年11月)/西日本新聞「AIの福岡観光誤情報サイト 福岡市が後援取り消し」(2024年11月)

ハルシネーションの事例に共通する原因の3つの型

ハルシネーションの事例に共通する原因の3つの型の解説図

7件を並べると、業種は違っても原因は3つの型に収まります。主因の型を見分けると、優先する対策が決まります。7件を型に当てはめると次の表になります。

事例学習データ型RAG不備型検証不足型
1. 架空判例主因-重なる
2. 運賃の誤案内-主因重なる
3. AI要約の誤答-主因-
4. 架空の書籍主因-主因
5. 金融解説の誤り主因-重なる
6. 架空の文献主因-重なる
7. 架空の施設重なる重なる主因

第1の型は、モデルの知識だけで答えさせる「学習データ型」です。判例・文献・書名のように固有名詞と出典が結び付く情報は学習データ(=モデルが事前に読み込んだ文章の集まり)に部分的にしか含まれず、モデルは断片をつなぎ合わせて「ありそうな」出典を作ります。

事例1・4・6に共通する構図で、事例5の数値や社名の誤りも同じ型に含まれます。

第2の型は、参照する情報が不足または不整合な「RAG不備型」です。参照先に古い規定や風刺記事が混ざれば、AIはそれを根拠として採用します。事例2・3がこの型で、対策は規定文書の版管理(=どれが最新版かを管理すること)と参照元の限定です。

原因の切り分けは「RAG導入で精度が出ない3つの原因と改善手順【2026年版】」で解説しています。

第3の型は、人の確認工程が設計に無い「検証不足型」です。事例4は外部制作物を無審査で掲載し、事例7は「人的確認のうえ発信」と説明しながら実在しない施設を見落としました。プロンプト(=AIへの指示文)の工夫では解決せず、誰がどの基準で確認し、誰が公開を止めるかを決めることが対策です。

自社で起こりうる型を見極める対策チェックリスト

自社で起こりうる型を見極める対策チェックリストの解説図

自社のAI活用でどの型が起こりやすいかは、用途と運用の形で判断できます。次の項目に1つでも該当すれば、その型の対策を優先してください。

  • (学習データ型)判例・論文・法令など、出典を伴う回答をAIに求めている
  • (学習データ型)出力に含まれる固有名詞や数字を、原典と照合する工程が無い
  • (RAG不備型)チャットボットが規定文書の最新版を参照しているか確認していない
  • (RAG不備型)回答に根拠の文書箇所が表示されず、利用者が確かめられない
  • (検証不足型)生成物の確認担当者と確認項目が文書化されていない
  • (検証不足型)外部委託物のAI利用の有無を契約で確認していない
  • (検証不足型)誤りが見つかったときの公表・訂正・停止の手順が決まっていない

チェックで型が見えたら、次は対策の選び方です。RAG・プロンプト設計・人の確認工程をどう組み合わせるかは、親記事の「ハルシネーション対策とは?原因と安全なAI活用法を徹底解説」で原因別に整理しています。

社内ルール化には「生成AIガイドラインの作り方|企業の事例11選と必須項目2026」も参考になります。

このように、7件の事例はいずれも本番で初めて誤りの型が分かったことで被害が大きくなりました。こうした課題に対し、弊社は大規模開発の前にAIの精度と誤答の型を確かめるPoCサービス「ココロミ」を提供しています。

SOLIZE PARTNERS株式会社とは、設計ナレッジの提案支援と3D CADデータの自動生成の2テーマで、熟練技術者の暗黙知をAIが扱えるかを検証しました。業務特有の誤りを本番前に把握したい場合は、PoCの設計段階からご相談いただけます。

参照元:株式会社EQUES「SOLIZE PARTNERS株式会社 導入事例」

ハルシネーションの事例に関するよくある質問

ハルシネーションの事例に関するよくある質問

Q. ハルシネーションは最新モデルを使えば無くなりますか?

無くなりません。モデルの更新で頻度は下がる傾向にありますが、確からしい語を予測して文章を作る仕組みは変わらないためです。モデル選定より、出典の照合と確認工程の設計に投資するほうが効果を見込めます。

Q. 社内利用だけなら事例のような問題は起きませんか?

社内利用でも起きます。会議資料や稟議書に架空の統計や文献が入れば、意思決定が誤った前提で進みます。社内資料にも出典の実在確認を求めるルールが必要です。

Q. 誤りが外部に出てしまったとき、何を優先すべきですか?

事実の訂正、影響範囲の公表、再発防止の工程追加の3点です。事例4のサンタイムズ紙は2日後に声明を出し、削除・非課金・方針変更を同時に示しました。AI利用を隠すと信用面の損失が広がります。

Q. 事例を社内説明に使うとき、どの点を強調すべきですか?

「AIが間違えた」ではなく「確認工程が無かった」と伝えることです。事例1の裁判所も、AIの利用自体ではなく、提出前の確認を怠り、指摘を受けた後も架空判例を撤回しなかった点を制裁の理由にしました。対策費は確認工程の設計費だと整理すると議論が前に進みます。

まとめ

まとめ

ハルシネーションの事例7件は、架空の出典を生む学習データ型、参照情報が不整合なRAG不備型、確認工程の無い検証不足型という3つの原因に収まります。一次情報が示すのは、AIが生成した内容でも発信した組織が正確性を担うという一点です。

  • 7件は法務から観光まで業種を問わず起き、いずれも発信した組織が責任を負う形になった
  • 原因は3つの型に分けられ、型ごとに出典照合・参照データ整備・確認工程の設計という対策が対応する
  • 自社で起こりうる型はチェックリストで特定でき、本番前のPoCで誤りの型を洗い出すことが被害を防ぐ近道になる

ハルシネーションの事例から学ぶべきことは、AIを使わない理由ではなく、どの工程に確認を置くかという設計の問題です。自社でどの型が起こりやすいか判断に迷われる場合は、お気軽にご相談ください。最後までお読みいただき、ありがとうございました。

誤答の型をPoCで確かめませんか

AI PoCサービス「ココロミ」で、本番前にAIの精度と誤答の型を実測します。まずは無料相談からどうぞ。

一覧に戻る

まずはお気軽にご相談ください

お問い合わせはこちら