記事の要約
- AI導入の失敗とは、ここではPoC(=本番開発前の小さな技術検証)で動いたAIが、本番移行や運用の段階で停止・廃止されることです。後の段階ほど影響は社外へ広がります。
- 原因が確認できる5件は、開発時のデータと本番の現実のずれ、予測の誤差を事業が吸収できないこと、誤った出力や不当な処理の責任を運用で負えないことの3つの型に整理できます。
- 防ぎ方は、本番条件での再評価、誤差の許容範囲と撤退条件、運用の責任者と停止手順を移行前に決め、対象を絞って段階的に広げることです。
「PoCでは十分な精度が出たのに、本番で使い始めたら苦情が相次いだ」。AI導入の失敗とは、本記事では、PoCでは動いたAIが、本番移行や運用の段階で止まる、または廃止されることです。
本記事では、本番移行と運用の段階で止まった失敗事例6件を、企業の発表や報道、学術誌、規制当局の処分から取り上げます。原因は確認できる範囲だけを扱い、自社の計画を点検できるよう、原因の型と防ぎ方を整理します。
東京大学松尾研発のAIスタートアップとして製薬・製造業のAI開発を手がける弊社の見方を交えて解説します。
目次
AI導入の失敗はPoC・本番移行・運用の3段階で起こる

AI導入の失敗は、PoC・本番移行・運用の段階ごとに性質が異なります。後の段階ほど、失敗の影響は大きくなります。
| 段階 | 起きること | 影響が及ぶ範囲 |
|---|---|---|
| PoC | 判断材料が揃わず次に進めない | 検証の費用と期間 |
| 本番移行 | 検証時と本番の条件の違いで精度や採算が崩れる | 開発投資と展開計画 |
| 運用 | 誤った出力や不当な処理が利用者に届く | 顧客・法的責任・事業 |
影響が広がるのは、AIの出力を受け取る人が社外へ広がるからです。PoCの誤りは検証チームの中で止まりますが、運用中の誤りは顧客や市民に届きます。苦情や外部の指摘で見つかれば、訂正や補償、行政処分の対象になり得ます。
AIを導入・試験利用する国内企業のうち、効果が期待以上か期待どおりと答えたのは合計31.8%にとどまります(IPA『DX動向2026』)。最も多いのは「一定の効果はあった」の50.6%で、効果は出ていても期待には届かない企業が半数を占めます。
同じ調査では、運用上の課題として「適切な利用を管理するためのルールや基準の作成が難しい」が39.7%でした。ルールがないと、誤りが出ても誰が止めるかが決まらず、誤りが利用者に届き続けます。
海外でも、業務特化型の生成AIを検討した組織は60%、本番に至ったのは5%とする報告があります(MIT Project NANDA)。大半が本番に至っていないため、経営層が見るべき指標は、導入率より本番で使い続けられているかどうかです。
本記事が扱うのは本番移行と運用の段階で、PoC段階の失敗は「PoC失敗の事例5選|本番に進まない原因と防ぎ方【2026年】」で整理しています。
参照元:独立行政法人情報処理推進機構「DX動向2026」(2026年7月)/MIT Project NANDA「The GenAI Divide」(2025年7月)
AI導入の失敗事例6選|本番移行と運用で止まったケース

本番移行と運用で止まった、または問題が明らかになった事例は、Amazonの採用AI、マクドナルドの音声注文、Epic Systemsの敗血症予測、Zillowの住宅買取、ニューヨーク市のチャットボット、オランダ税務当局のリスク判定の6件です。
原因は、当事者の発表・学術論文・規制当局の判断・報道で確認できる範囲だけを書き、理由が非公表の事例はその旨を明記します。
弊社の整理では、前半の2件が本番移行、後半の4件が運用の段階です。前半は「学習や検証に使ったデータは本番の対象と同じか」、後半は「誤りが届いたとき誰が止めるのか」を自社に問うと、計画の点検に使えます。
1. Amazon:性別に偏った採用AIを修正しきれず開発チームを解散
Amazonは2014年から履歴書を採点するAIを開発していましたが、技術職の候補者を性別に中立に評価できていないことが判明しました。学習に使った過去10年分の応募書類の大半が、男性からのものだったためです。
同社は特定の語に左右されないようプログラムを直しましたが、別の方法で偏った選別をしない保証はなく、経営陣が計画に見切りをつけて2017年初めまでにチームを解散したとされます(ロイター)。Amazonはこのツールについてコメントしていません。
2. マクドナルド:100店舗超で試したIBMとのAI音声注文の提携を終了
マクドナルドは2021年からIBMとAI音声注文を試験導入し、100店舗超のドライブスルーで運用していました。2024年6月、加盟店向けの文書で、試験店舗の運用を7月26日までに停止すると伝えています。
この文書が挙げた理由は「音声注文の解決策をより広く探る」ことで、終了の具体的な原因は明らかにされていません。約3年、100店舗超で試しても全店展開に進まなかった事実は、試験の規模と本番移行の判断は別物だと示しています。
3. Epic Systems:数百の病院が使う敗血症予測AIが外部検証で精度不足
Epic Systemsの敗血症予測モデルは、数百の米国病院で使われていた運用中のAIです。ミシガン大学の外部検証では、AUC(=上限は1で、当て推量でも0.5になる判別性能の指標)が0.63で、開発元が示す0.76〜0.83を下回りました。
アラートは入院患者の約18%に出る一方、敗血症患者の67%を検知できず、現場に大きなアラート疲れを生むと論文は指摘しています。警告が多いのに見逃しも多いと、現場は警告に反応しなくなります。
研究者は、差の一因を発症時点の扱いの違いに求めています。一般に、いつの予測を数えるかで精度は変わるため、開発元の数字は自社の条件で測り直します。
4. Zillow:住宅価格の予測誤差を吸収できず住宅買取事業から撤退
Zillowは、住宅価格の予測にもとづいて住宅を買い取り、再販する事業を運営していました。2021年第3四半期には、将来の販売価格の見込みを上回る価格で買い取った在庫について、約3億400万ドルの評価減を計上しています。
同社は2021年11月に事業の撤退と従業員の約25%の削減を発表しました。CEOは住宅価格の予測の不確実性が想定をはるかに上回ったと説明し、事業を拡大すると収益と財務の変動が大きくなりすぎると判断しています。
5. ニューヨーク市:法律に反する助言を返した事業者向けチャットボットを停止
ニューヨーク市は2023年秋、市の規則を案内する事業者向けの生成AIチャットボットを公開しました。2024年3月の報道で、雇用主が従業員のチップの一部を取れるなど、法律に反する回答が見つかっています。
市は免責表示を加えて運用を続け、答える質問の範囲も絞ったとみられます。2026年1月、新市長は「機能的に使えない」うえ費用もかかるとして停止を表明し、現在のページはベータテストの終了を告げています。
生成AIの誤回答の例は「ハルシネーションの事例7選|企業・団体で起きた原因3型と対策」で紹介しています。
6. オランダ税務当局:国籍データを使ったリスク判定に制裁金275万ユーロ
オランダ税務当局は、保育手当の申請者が不正の「リスク」になるかを調べる処理で、二重国籍のデータをアルゴリズムで扱っていました。2014年に消去すべきデータが、2018年時点で約140万人分残っていました。
同国のデータ保護当局は2021年12月、この処理を違法かつ差別的と判断し、275万ユーロの制裁金を科しました。長官は、制裁金で被害を元に戻せるものではないとコメントしています。
この種の処理では、消す期限と点検の担当を決めない限り、使ってはならないデータは残り続けます。
参照元:CNBC(Reuters配信)「Amazon採用AIの廃止」(2018年10月)/NBC News「マクドナルドのAI注文テスト終了」(2024年6月)/JAMA Internal Medicine「敗血症予測モデルの外部検証」(2021年6月)/Zillow Group「2021年第3四半期決算とZillow Offers撤退」(2021年11月)/The Markup「市のAIチャットボットの誤回答」(2024年3月)、「チャットボットの停止」(2026年1月)/ニューヨーク市「NYC Chatbot」/NOS「税務当局への制裁金」(2021年12月)
本番で止まる原因は3つの型に分かれる

弊社の整理では、原因が確認できる5件は、データと評価のずれ、事業が吸収できない誤差、責任と統制の不足の3つの型に分かれます。いずれも、PoCの精度だけを見ていると見落とす論点です。
- 第1の型:Amazon、Epic
- 第2の型:Zillow
- 第3の型:ニューヨーク市、オランダ
第1の型は、開発時のデータや評価が本番の現実とずれることです。AmazonのAIは過去の偏りを学び、Epicのモデルは外部の病院で開発元の精度を再現できませんでした。
学習データ(=AIに判断の仕方を覚えさせるためのデータ)が一部の時期や現場に偏ると、本番では学習時になかった傾向のデータが増え、同じ精度は出にくくなります。製造の現場なら、特定ラインの画像だけで作った検査AIを全ラインへ広げる場面です。
第2の型は、予測の誤差を事業が吸収できないことです。Zillowは、事業を拡大すると収益と財務の変動が大きくなりすぎると判断しました。この型では、予測が外れるたびに損失が出るため、件数を増やすほど損失の合計も膨らみます。
第3の型は、誤った出力や不当な処理の責任を運用で負えないことです。弊社の整理でこの型に入れたニューヨーク市は、免責表示を加えて運用を続けましたが、2026年1月に新市長が「機能的に使えない」ことと費用を理由に停止を表明しました。オランダ税務当局では、消すべきデータが判定の処理に残りました。
一般に、免責表示は責任の所在を示すだけで、誤った回答は減らしません。利用者は回答を前提に動くため、誤りはそのまま損失になります。
問題が見つかった後の対応は、事例では中止、継続後の停止、撤退に分かれました。誤りが顧客や法令に関わるなら、続ける間も誤りが届くため、まず止めます。再発を防げる見通しが立てば範囲を絞って再開し、損失を事業が吸収できないなら撤退を選びます。
本番で止めないための防ぎ方|移行前に決める4つのこと

本番で止めないための防ぎ方は、弊社の見方では、本番条件での再評価、誤差の許容範囲と撤退条件、運用の責任者と停止手順、段階的な展開の4点を本番移行の前に決めることです。
第1に、本番と同じ条件のデータで再評価することです。対象期間・拠点・入力形式を本番に合わせて精度を測り直します。この工程を飛ばすと、開発元の数字と現場の実感が食い違ったまま運用が続きます。
第2に、誤差の許容範囲と撤退条件を事業の数字で決めることです。誤り1件の損失と想定件数から許容できる誤差を逆算し、超えたら止める条件を文書にします。文書がないと、問題が出た後は投じた費用を惜しんで、止める判断が遅れます。
指標の決め方は「PoC評価指標の決め方|成功基準・KPI例と3層モデル2026」で解説しています。
第3に、運用の責任者・監視・停止手順を決めることです。出力を点検する人と、止める決定をする人を、それぞれ名前で決めます。止める権限を持つ人が決まっていないと、誤りに気づいても運用が続きます。
どの兆候で止めるかも、運用ルールとして文書にします。例は、利用者や外部からの誤りの指摘、開発時の数字と現場の実感の食い違い、使ってはならない属性のデータの混入です。
第4に、範囲を絞って始め、段階的に広げることです。一度に全社展開すると誤りの影響も一度に広がりますが、対象を限定すれば小さく抑えられます。
ロート製薬株式会社(品質統括部)は、全面自動化は現実的でないと判断し、「まずは30〜40%でも業務効率化」を目指す発想に切り替えました。製品スペック(仕様書)作成の自動化から、生成AI活用を始めています。弊社のAI×DX寺子屋でスモールスタートを切り、手応えを感じている段階です。
弊社はAI PoCサービス「ココロミ」で、PoCの計画づくりから評価、次の段階のロードマップ策定までを支援しています。
社内に相談できる専門家がいない段階では、AI・DXの困りごとをチャットで相談できる「AI×DX寺子屋」もご利用いただけます。
参照元:株式会社EQUES「ロート製薬株式会社 導入事例」
本番移行前に確認するチェックリスト

防ぎ方の4点を、本番移行の承認前の確認項目にします。1つでも空欄があれば、承認を保留して埋めることをおすすめします。かっこ内は、空欄のまま進めると起きることです。
- 本番と同じ条件のデータで精度を測り直したか(検証時の数字が現場で出ない)
- 学習データに過去の偏りや、使ってはならない属性が含まれていないか(偏った判定が繰り返される)
- 誤り1件の損失と想定件数から、許容できる誤差を試算したか(損失が膨らんでも気づけない)
- 撤退条件を数値で文書化し、経営層と現場が合意しているか(止める判断が遅れる)
- 出力を点検する責任者と、停止を決める権限者が決まっているか(誤りに気づいても止まらない)
- 対象業務と利用者を限定した段階的な展開計画か(誤りの影響が一度に広がる)
判断材料を経営層に伝える構成は「PoC報告書の書き方|経営判断に使える7項目の構成とテンプレート」が参考になります。
AI導入の失敗に関するよくある質問

Q. PoCで精度が出たAIが、本番で精度を落とすのはなぜですか?
PoCと本番で、入ってくるデータの条件が違うためです。本番と同じ条件のデータで測り直してから展開します。
Q. 生成AIのチャットボットは、免責表示を出せば運用を続けられますか?
免責表示は誤った回答を減らさないため、それだけでは続けられません。回答範囲の限定や人による確認を組み合わせます。
Q. 経営層は本番移行の承認で何を確認すべきですか?
精度の数字に加え、本番条件での評価結果、誤差による損失の試算と撤退条件、運用の責任者と停止手順、段階的な展開計画の4点です。
まとめ

PoCを通過したAIも、本番移行や運用の段階で止まることがあります。要点は次のとおりです。
- AI導入の失敗は3段階で起こり、後の段階ほど影響が社外に広がる
- 原因が確認できる5件は、3つの型に整理できる
- 本番条件での再評価、撤退条件、運用の責任者と停止手順、段階的な展開の4点で防ぐ
本番移行の計画を見直したい段階でも、お気軽にご相談ください。最後までお読みいただき、ありがとうございました。
AI導入を本番で止めないために、PoCから相談しませんか
AI PoCサービス「ココロミ」はスリムプラン月々99万円〜・スタンダードプラン月々250万円〜の月額制です。まずは無料相談からどうぞ。