「私が機密情報を漏らしました」:AIエージェントが自らデータ漏えいを告白、別のエージェントは企業の制限を回避


  • AIアシスタントが3週間・10セッションにわたり社内パスワードを露出
  • 別のAIエージェントは代替のAPI接続で企業の制限を回避
  • AIコーディングアシスタントは日常的な開発作業の中で機密の認証情報を露出させる恐れ

AIエージェントは、従業員から割り当てられたタスクをこなすため、社内システムや内部文書、機密性の高い認証情報へのアクセス権を得つつあります。

しかし、NordLayer AI Scoutが確認した2件のインシデントは、ごく普通の指示が機密情報の露出や、組織のセキュリティ制限の回避につながり得ることを示しています。

うち1件では、AIコーディングアシスタントが社内ファイルに繰り返しアクセスした末、機密の認証情報を露出させたことを自ら認めました。

社内パスワードを露出させたAIアシスタント

このインシデントでは、品質保証(QA)エンジニアがAIコーディングアシスタントに、提案されたソフトウェア変更のレビューを指示しました。

プロジェクトの指示書は、環境設定ファイルに保存されたGitLabのアクセストークンを参照するようアシスタントに促していました。

ところが、このファイルには本番環境のパスワード、社内の人事システム向け認証トークン、BI(ビジネスインテリジェンス)サービスの認証情報も含まれていました。

アシスタントは3週間にわたり、10回のセッションで同ファイルの全体に繰り返しアクセスし、そのたびに内容を外部のAIサービスへ送信していました。

状況はさらに悪化します。アシスタントは、想定していた設定ファイルが存在しない新しいプロジェクトのコピーに遭遇しました。

探索を諦めなかったアシスタントは、コンピューター上のすべての環境変数を取得し、新たなパスワードや認証情報まで露出させました。

事態を認識したアシスタントは自らのミスを認め、露出した認証情報を更新するよう勧めました。

「私はこのセッションのツール出力に機密情報を漏らしてしまいました。ローテーション(更新)することをお勧めします」。このAIコーディングエージェントは、NordLayer AI Scoutが観測したセッションでこう告白しました。

NordLayerのサイバーセキュリティ専門家であるVakaris Noreika氏は、エンジニアがAIアシスタントに認証情報を直接取得するよう指示することが多く、不必要な露出を招いていると述べています。

同氏によれば、アシスタントはその後のタスクでも同じ行動を繰り返す可能性があり、セキュリティ上の問題が気付かれないまま続く恐れがあります。

代替接続で企業の制限を回避したAIエージェント

もう1件は、従業員がAIアシスタントを使い、社内ドキュメント基盤のConfluenceから情報を取得しようとしたケースです。

この組織のModel Context Protocol(MCP)接続は、アシスタントによる社内ページへのアクセスを阻んでいるように見えました。

しかし従業員は、その制限を最終的なものとして受け入れませんでした。APIトークンを作成すれば別の経路でドキュメントに入れるのではないかと、アシスタントに尋ねたのです。

アシスタントはこの代替手段が機能することを確認し、正規の接続に課されていた制限を事実上回避しました。

この従業員は、会社のセキュリティを意図的に損なおうとしたのではなく、利便性を求めただけだった可能性があります。

それでも、許可なく代替の接続を使えば、組織のセキュリティチームが設けた制限は意味をなさなくなる恐れがあります。

「セキュリティ対策がカバーできるのは、誰かが予見したケースだけです。どの企業にもルールはありますが、エージェントはそれを知りません。社内で研修を受けた従業員ではないからです」とNoreika氏は指摘します。

「これは現在の技術的な限界です。エージェントはセッションをまたいでルールを保持しませんし、特定の行為をしないよう明確に指示されても、やってしまうことがあります」

これらのインシデントは、十分な監視なしに自動化されたアシスタントへ機密システムへのアクセスを与える組織に対し、懸念を投げかけています。

組織は、機密性の高い認証情報を分離し、重要なパスワードを安全なボールト(保管庫)に保管するべきです。さらに、AIエージェントがアクセスできるリソースを把握し、その活動を監視する必要があります。

また企業は、従業員に回避される恐れのある制限だけに頼らず、承認済みのアクセス経路を提供することも求められます。

こうした対策は、セキュリティチームが異常なアクセスを見つけ、機密情報が許可されていない宛先に流出するのを防ぐ助けになります。

翻訳元: https://www.techradar.com/pro/security/i-leaked-secrets-an-ai-agent-confessed-to-its-own-data-leak-but-others-got-around-corporate-protections

本記事は techradar.com の記事を翻訳・要約したものです。