AIモデルや、研究者が依拠するデータセット、自動化システムは、従来のサイバーセキュリティツールでは検知できない方法で侵害される恐れがあります。VERITAS(VERified Infrastructure for Trustworthy AI in Science)と呼ばれる新プロジェクトは、AIアシュアランスを科学研究インフラの中核機能として確立することで、このギャップを埋めることを目指しています。
このプロジェクトは、イリノイ大学情報科学スクールの研究科学者であり、研究・技術革新担当ディレクターを務めるAnita Nikolich氏が主導しており、米国国立科学財団(NSF)のCybersecurity Innovation for Cyberinfrastructureプログラムから3年間で89万6,000ドルの助成金を受けています。同プロジェクトには、敵対的AI、研究サイバーインフラ、データサイエンス、人材育成の各分野の専門家が集結し、AIを活用した科学研究に固有のセキュリティリスクへの対応にあたります。
「従来型のサイバーセキュリティを、AI主導の科学研究にそのまま後付けすることはできません」とNikolich氏は述べています。「汚染されたデータセットやバックドアを仕込まれたモデルが、一見もっともらしいものの微妙に誤った答えを出しても、ファイアウォールやウイルススキャナーがそれを検知できる可能性は低いのです。最も重要な科学研究に取り組む研究者たちには、自分たちが依拠するAIシステムが文書化され、テストされ、意図通りに動作しているという保証を受ける権利があります」
Nikolich氏によれば、VERITASはAIアシュアランスを、科学者がすでに利用している研究インフラの中に組み込むように設計されています。そのため、科学者がサイバーセキュリティの専門家になる必要も、サイバーセキュリティチームが機械学習の専門家になる必要もありません。
計画を構成する3つの柱
VERITASは相互に関連する3つの取り組みを軸に構成されています。
1つ目は文書化です。同プロジェクトでは、大規模な科学計算リソースの割り当てを対象に、標準化されたモデルカードとデータセットのデータシートを試験的に導入します。これらは、モデルやデータセットの出所、構築・改変の経緯、用途、限界などを記録するもので、ワークフローをさかのぼって問題を追跡できるようにします。
2つ目は、新たな運用上の役割である「AIアシュアランス・エンジニア」で、National Center for Supercomputing Applicationsで試験的に導入されます。この担当者は、技術的に新規性の高いAIプロジェクトを稼働前にレビューし、モデルファイルに安全性を欠く挙動や悪意ある挙動がないかスキャンし、ソフトウェアの脆弱性を確認するとともに、エージェントに与えられている自律性の度合いを検証します。
3つ目は教育です。National Data Platform Education Hubを通じて、VERITASは実践型の課題を構築し、学生が汚染されたデータの見抜き方、疑わしいモデルの検証方法、エージェントの権限評価、そして科学分野のAIパイプラインにおける脆弱点の発見方法を学べるようにします。
レッドチーム演習を研究室に持ち込む
意図的にシステムを突いて弱点をあぶり出すAIレッドチーム演習は、テック業界では一般的な手法です。しかし、これまで科学研究インフラに適用される例はほとんどなく、侵害されたAIモデルやデータセットが、目立った警告サインを出さないまま研究に影響を及ぼす恐れがありました。VERITASは、レッドチーム演習を研究計算分野に持ち込む最初期のプロジェクトの一つです。
「AIシステムは、正当な科学的成果と見分けがつきにくい形で失敗することがあります」とNikolich氏は指摘します。「先回りしたレッドチーム演習によって、脆弱なモデルやエージェントが研究パイプラインに組み込まれてしまう前に、そうした弱点を特定できます。目的は、研究チームが自分たちのシステムをより信頼でき、かつ堅牢なものにできるよう支援することです」
技術的な取り組みに加え、同プロジェクトには人材育成の側面もあります。課題に参加する学生は、National Data Platformを通じて科学分野のモデルやデータセット、インフラに触れ、その過程で責任ある開示の実践についても学ぶことになります。
「AIは今や科学研究のワークフローの一部です。私たちは、周囲のネットワークやコンピューティングシステムを守るのと同じくらい真剣に、その完全性を守る必要があります」とNikolich氏は結んでいます。
VERITASが成功すれば、AIアシュアランスを研究サイバーインフラの標準的な構成要素として確立する一助となり、大学や研究機関に対し、AIシステムが重要な科学ワークフローに組み込まれる前にその安全性と信頼性を評価するための枠組みを提供できる可能性があります。
翻訳元: https://www.helpnetsecurity.com/2026/07/28/veritas-ai-scientific-research-infrastructure-security/
