PIC/S Annex 22から考えるGMP領域のHuman-in-the-Loop ~AI活用と人の責任~

PIC/S Annex 22 Human-in-the-Loop AI活用

記事の概要

PIC/S Annex 22は、GMP領域でAIを活用する際の新たな管理の考え方を示したガイダンスです。本記事では、Annex 22が求めるHuman-in-the-Loop(HITL)の考え方を中心に、AIモデルの位置づけ、人の判断責任、記録管理、教育訓練の重要性を解説します。逸脱調査や製造記録レビューなどの具体例を交えながら、GMPにおける現実的なAI導入の進め方を整理します。

はじめに

昨今、あらゆる業界でAI活用が話題となっています。とりわけ製薬業界では医薬品は人命に大きな影響を与えることから慎重論が続いていましたが、いよいよ製薬企業でもAI活用をしていくことが現実的なテーマになっています。

実際、製薬企業のお客様からEQUESへの相談件数は、昨年比約2倍のペースで推移しており、私たちも製薬業界でのAI活用の注目度の高さを実感しています。

GMP領域におけるAI活用のアイデアとしては、逸脱調査の支援、監査証跡レビュー、製造記録レビュー、SOP作成、教育資料の作成・・・など、GMP業務のさまざまな場面でAIを使える可能性があります。

しかし、GMP領域ではAIに対して、どこでも活用して良いというオープンなマインドでは決してありません。その理由は、AIの出力が製品品質、データインテグリティに影響する可能性がある以上、患者様の健康への影響が考えられ、このことから慎重にならざるを得ません。その中でAIを活用していくためには、AIの出力結果を誰が、いつ、どのように判断したのかを明確にしなければなりません。

そこで重要になるのが、Human-in-the-Loop (HITL) :ヒューマン・イン・ザ・ループの考え方です。HITLをひとことで説明すると、AIの出力を人が確認し、必要に応じて修正し、最終的な判断責任を人が担う仕組みです。

HITLは、単にAIの結果を人が最後に見るという意味ではありません。AIが支援する範囲、人が判断する範囲、人が確認すべき基準、判断の記録方法をあらかじめ設計することです。

本記事では、 2025年7月にドラフト版として発出されたPIC/S Annex 22に記載されているHITLの考え方を踏まえながら、GMP領域でAIを活用する際のHITL設計について整理します。

「GMPで生成AIを使えるのか」「Annex 22ではAIをどう管理すべきか」「Human-in-the-Loopをどのように記録すべきか」といった疑問に答える構成にしています。

PIC/S Annex 22の基本的な位置づけ、GMP領域におけるAIモデル管理、Human-in-the-Loopの意味、そしてHITLを形骸化させない実務上のポイントを解説します。

特に、生成AIやLLMをGMP業務に導入する際に、人の確認、教育訓練、監査証跡、変更管理をどのように考えるべきかを整理します。

PIC/S Annex 22とは何か

PIC/S Annex 22は、GMP領域における人工知能の利用に関する新しい考え方を示す文書です。AIモデルが医薬品や原薬の製造に関わるコンピュータ化システムに組み込まれ、患者安全、製品品質、データインテグリティに直接影響する場合を想定しています。

位置づけとしては、コンピュータ化システムに関するAnnex 11を補完するものと考えると理解しやすいでしょう。Annex 22では、主に以下のような事項が扱われています。

  • AIモデルの意図した用途
  • 受入基準
  • テストデータとその独立性
  • 説明可能性・信頼度
  • 運用時の変更管理やモニタリング

これは、AIを単なるソフトウェア機能としてではなく、品質に影響し得るシステム要素として管理する考え方です。特に重要なのは、AIの用途を明確にし、その用途に対して適切にテストし、運用後も性能を監視するというライフサイクルの視点です。

PIC/S Annex 22が示す慎重なAI活用

Annex 22では、クリティカルなGMP用途において、AIを無制限に使うことを前提としていません。

対象として想定されるのは、主に静的なモデル、つまり運用中に自動的に学習し続けないモデルです。

また、同じ入力に対して同じ出力を返す決定論的なモデルが前提とされています。

一方で、運用中に継続的に学習する動的モデルや、同じ入力でも出力が変わり得る確率的なモデルについては、GMP用途としてクリティカルな範囲では慎重な扱いが求められます。

生成AIや大規模言語モデル、いわゆるLLMについても、患者安全、製品品質、データインテグリティに直接影響するクリティカルなGMP用途には使用すべきでないという考え方が示されています。

ただし、非クリティカルなGMP支援業務であれば、適切な資格と訓練を受けた人が出力の妥当性を確認することを前提に、HITLの形で利用を検討できる余地があります。

ここで重要なのは、AIを使えるか使えないかを一律に判断するのではなく、用途の重要度とリスクに応じて管理レベルを変えることです。

Human-in-the-Loopは「人が最後に確認する」だけではない

HITLという言葉は便利ですが、誤解も生じやすい言葉です。AIの出力を人が最後に眺めるだけでは、GMP上のHITLとしては不十分です。GMP領域で求められるHITLとは、人の責任が明確であり、人が何を確認すべきかが手順化され、その確認結果が記録として残る状態を指します。

たとえば、AIが製造記録のレビューを支援する場合、AIが指摘した箇所だけを確認すればよいのか、AIが指摘しなかった箇所もサンプリングして確認するのかを決める必要があります。

また、AIが「問題なし」と出力した場合でも、人がどの範囲を確認し、どの根拠に基づいて問題なしと判断したのかを記録しなければなりません。

HITLは、AIの責任を人に押し付ける仕組みではありません。人が適切に判断できるように、AIの役割、限界、確認方法を設計する仕組みです。

Annex 22から読み解くHITLの実務要件

Annex 22では、AIモデルが人の意思決定に入力を与える場合、意図した用途の説明の中にオペレーターの責任を含める考え方が示されています。

AIを使う業務では、モデルの性能だけでなく、人がどのようにその出力を扱うかまで含めて業務プロセスを設計する必要があります。

また、HITLを前提にAIモデルのテスト負荷を軽減する場合には、オペレーターの訓練と一貫したパフォーマンスを、通常の手作業プロセスと同じように監視することが求められます。

つまり、「人が見るからAIの検証は簡単でよい」という話ではありません。人による確認が本当に機能しているかを確認する必要があります。運用段階では、AIが人の判断に入力を与える場合、そのプロセスの記録を残すことも求められます。

プロセスの重要度やAIモデルのテスト水準によっては、AIのすべての出力について一貫したレビューやテストを行う必要がある場合もあります。

HITLは、AI活用を緩く認めるための抜け道ではなく、AIを安全に使うための管理手段です。

Human-in-the-Loopにおける人とAIの役割のイメージ
画像は生成AIを用いて作成しています。

GMP業務でのHITL設計のアイデア例

逸脱調査支援AIを例に考えてみます。AIが過去の類似逸脱、想定原因、確認すべき記録、CAPA候補を提示する場合、調査担当者はその内容を参考にできます。しかし、最終的な原因特定や品質への影響評価は、人が製造記録、試験結果、手順書と照合して判断する必要があります。

この場合のHITLでは、AIが提示した候補を採用したのか、修正したのか、却下したのかを記録します。監査証跡レビュー支援AIでも同じです。AIが異常なログを抽出したとしても、そのログが実際に問題を示すものなのか、正当な操作なのかは人が確認します。

AIの指摘を確認した結果、問題なしと判断した場合にも、その理由を残す必要があります。SOPドラフト作成AIや教育資料作成AIのような非クリティカル支援業務では、AIの文章をそのまま承認文書にするのではなく、担当者やQAが内容を確認し、会社の手順、用語、規制要件に合うよう修正します。

このように、HITLの設計では、AIの出力をどの業務判断に使うのか、その判断が品質にどの程度影響するのかを明確にすることが出発点になります。

HITLを形骸化させないためのポイント

HITLは、設計を誤るとすぐに形骸化します。よくある失敗は、人が確認したことになっているが、実際にはAI出力をほぼそのまま採用しているケースです。もう一つの失敗は、確認者が何を見ればよいのか分からず、レビューの粒度が人によってばらつくケースです。

これを防ぐには、確認観点を具体化する必要があります。たとえば、AIの出力が承認済みSOPと矛盾していないか、未確認の推測が含まれていないか、品質判断に必要な根拠が示されているか、といった観点です。また、AIの出力を採用、修正、却下した理由を記録する運用も重要です。

理由を残すことで、人が実質的に判断したことを示せます。さらに、確認者に対する教育訓練も欠かせません。AIの一般的な限界、ハルシネーション、入力情報への依存、機密情報の扱い、GMP文書への転記時の注意点を理解していなければ、HITLは機能しません。

QAによる定期的なレビューも有効です。HITL記録をサンプリングし、AI出力の採用理由や修正内容が適切に残されているかを確認することで、運用のばらつきを抑えることができます。

AI活用を進めるための現実的なステップ

GMP領域でAIを導入する場合、最初から重要な品質判断にAIを組み込む必要はありません。まずは、非クリティカルな支援業務から始めるのが現実的です。たとえば、教育資料のたたき台作成、SOP改訂時の比較補助、逸脱調査の観点整理、監査準備のチェックリスト作成などです。

これらの業務で、AIの出力を人が確認し、修正し、採否理由を残す運用を試行します。そのうえで、ユースケースごとにリスクを評価し、必要な記録、レビュー、教育、承認フローを整備します。AIツールの選定やベンダー管理、アクセス管理、ログ保管、モデル変更時の影響評価も段階的に整備していく必要があります。

重要なのは、AI活用を現場任せにしないことです。GMP業務の領域では、個人の工夫としてAIを使う段階から、品質システムに組み込まれ管理されたAI利用へ移行することが求められます。

まとめ

AI活用という言葉から、業務の自動化や人の削減を連想するかもしれません。しかし、GMP領域におけるAI活用の本質は、人を外すことではありません。人がより良い判断を行うために、AIをどのように使うかを設計することです。

PIC/S Annex 22の考え方は、AIを品質システムの外側にある便利ツールとして扱うのではなく、意図した用途、検証、説明可能性、運用管理、記録を備えた管理対象として扱う必要性を示しています。

HITLは、その中心にある考え方です。AIに任せる範囲と、人が責任を持つ範囲を明確にし、人の判断を記録として残すことで、AI活用はGMP領域でも現実的な選択肢になります。AIを安全に使うために必要なのは、過度な期待でも過度な禁止でもありません。

リスクに応じた用途設定、実効性のあるHITL、そして監査に耐える記録です。GMP領域のAI活用は、人の判断を置き換えるものではなく、人の判断を強化するものとして設計すべきです。Annex22はドラフト段階ではありますが、今のうちからGMP領域でのAI活用の設計を考えておくことが重要ではないでしょうか。

参考資料

PIC/S, Annex 22: Artificial Intelligencehttps://picscheme.org/docview/9715

ここまで解説してきた製薬企業における生成AI導入を力強くサポートするのが、私たち株式会社EQUESです。

EQUESのミッション:研究と実践をシームレスに繋ぎ、より良い解を社会に実装する

東京大学松尾研究室出身のAIの専門家のメンバーを中心に設立

ISO/IEC 27001:2022認証取得:国際的な基準で安心のセキュリティ体制

私たちは単に技術を提供するだけでなく、お客様の隣で一緒に走り続ける「伴走型技術開発」を最も大切にしています。

課題発見から内製化まで一貫してサポート

弊社の強みは、戦略立案から開発、そして最終的な内製化まで、AIプロジェクトの全フェーズを一気通貫でご支援できる点にあります。

AI×DX寺子屋

AI×DX寺子屋:東大出身のAI専門家集団にチャットで相談し放題

「社内に専門家がいない」というお悩みに応えるサービスです。月額20万円から、東大出身のAI専門家集団にチャットでいつでも相談し放題。ベンダー選定のセカンドオピニオンとしてもご活用いただけます。

ココロミ(PoCサービス)

「まずは小さく試したい」というニーズに応え、月々250万円から本格的なPoC(概念実証)を実施。リスクを抑えながらAI導入の第一歩を踏み出せます。

製薬SaaS QAI Generator

QAI Generator:製薬QA文書をAIが一発生成

特に弊社の強みである製薬分野では、品質保証(GMP)の文書作成業務を効率化するSaaSも提供。GENIACにも採択されるなど、高い評価をいただいています。

AI導入のパートナー選びで迷われているなら、ぜひ一度、私たちEQUESにご相談ください。お客様の課題に真摯に寄り添い、最適な解決策をご提案します。

一覧に戻る

まずはお気軽にご相談ください

お問い合わせはこちら