Grokボットが利用者の承認なしに企業データへのアクセスを試行

Grokボットが、利用者の承認も認識もないまま、企業向けアプリケーションへのアクセスを試みていたことが明らかになりました。人工知能(AI)エージェントの自律化が進むなか、企業はまた新たなセキュリティ課題に直面しています。

NewCoreの研究者は、xAIの2つのGrokボットが、5日間にわたり、連携済みの企業向けアプリケーションに対して、指示を受けないまま31回アクセスを試みていたことを確認しました。対象はGoogleカレンダー、Gmail、Slack、GitHub、Notionなどです。本日公開された調査の結果によると、あるケースでは、所有者が定期的な確認の提案を4回断っていたにもかかわらず、ボットはバックグラウンドでリクエストを送り続けました。

これらのリクエストは承認されておらず、基盤となる企業データにも到達していません。NewCoreはエージェントとアプリケーションの間にセキュリティゲートウェイを設置し、すべてのリクエストに人間の承認を求めていたためです。

NewCoreのセキュリティ調査チームのリーダーであるIdo Hoorvitch氏は、報告書で次のように述べています。「5日間にわたり、NewCore従業員のアカウントに紐づく2つのGrokボットが、誰も対話していない間に、カレンダー、メール、Slack、GitHub、Notionに対して31回のリクエストを送信しました。なかにはノートPCを閉じている状態で送られたものもあります」

あるボットは、所有者との会話が行われていないにもかかわらず、夕方、夜間、さらに翌日にも、Googleカレンダーの予定を繰り返し取得しようとしました。別のケースでは、Googleカレンダーが連携される前の段階で、Notionのカレンダーツールにアクセスしようとしたボットもありました。このボットは、所有者のノートPCが閉じられ、スリープ状態にある間もリクエストを送り続けました。

自律型AIの挙動を調査

この調査は、NewCore社内の実験として始まりました。同社は、自律型AIエージェントを実際の企業システムに接続した場合にどう振る舞うのかを把握しようとしたのです。今年初め、同社は従業員に企業向けGrokボットのアカウントを提供し、メール、カレンダー、Notionなどの業務アプリケーションにエージェントを連携させました。

ただしNewCoreは、歯止めとなる仕組みを設けていました。エージェントに、社内データへの無制限かつ常時のアクセス権は与えていません。リクエストはすべて、同社のModel Context Protocol(MCP)ゲートウェイを経由する必要がありました。Grokボットがアプリケーションにアクセスしようとするたびに、ゲートウェイがアカウント所有の従業員へ承認通知を送ります。3分以内に承認されないリクエストは自動的に失効し、拒否される仕組みだったと、Hoorvitch氏は説明しています。

「エージェントがなぜデータを取りに行くのかを監査する手段がなかったため、この方式を採用しました。それが可能になるまでは、ゲートは原則として閉じたままにします」と同氏は書いています。結果として、このセキュリティ対策のおかげで、NewCoreはボットのバックグラウンドでの動きを観察し、再構成できました。

異変の最初の兆候は、ある従業員がGrokボットで当日のカレンダーを取得し、ゲートウェイ経由でリクエストを想定どおり承認した後に現れました。同日の夜、その従業員がボットとやり取りしていないにもかかわらず、ゲートウェイはカレンダーへの追加のアクセス試行を記録したのです。

調査担当者は、Grokエージェントが、対応する利用者の操作がないまま企業向けアプリケーションへのアクセスを繰り返し試みていた事実を突き止めました。さらに、あるボットにゲートウェイへの呼び出しを行ったかどうかを尋ねたところ、「行っていない」と答えたとHoorvitch氏は述べています。該当のリクエストは、ボットのチャット履歴にも表示されていませんでした。

「ボットは真実を語っていました。…そこが考えるべき点です」と同氏は書いています。「自分自身の行動を説明できないエージェントは、バグ報告で済む話ではありません。それ自体が重大な発見です」

バックグラウンドのアクセス要求は不具合ではなく仕様か

NewCoreは調査結果についてxAIに問い合わせました。xAIのサポートチームは、この動作はソフトウェアの脆弱性やエクスプロイトによるものではなく、Grokボットに組み込まれたバックグラウンドでの定期確認(チェックイン)機能によるものだと認めたといいます。

Hoorvitch氏は、xAIサポートの回答として次のように伝えています。「これらはプライマリボットに組み込まれたバックグラウンドのチェックインです。チェックイン時にボットは連携先のソースを確認しますが、これをオフにするユーザー設定や管理者設定はありません」

NewCoreによると、xAIはさらに、チェックインを止めたい顧客は、従業員のサインイン用アドレスの一覧をxAIに送付すれば対応できるとも説明しました。なお、報告書の公開時点で、xAIの広報部門から正式な回答は得られていないとNewCoreは述べています。

バックグラウンドのチェックインを無効にしたり、チェックインが使える連携ツールを制御したりする設定が、利用者にも管理者にも用意されていません。このため、セキュリティ担当者にとっては可視性とガバナンスの面で課題が生じます。従業員は、AIエージェントが連携アプリケーションにアクセスしていることに気づけない可能性があります。しかもエージェント自身も、サーバー側で開始された動作を、所有者が見られるチャット履歴に記録していないおそれがあります。

Hoorvitch氏はDark Readingの取材に次のように語っています。「危険なのは、モデルが暴走することではありません。問題は、私たちがエージェントに常時有効な認証情報を渡したうえで、いつ動くかを他者に決めさせていることです。所有者は、自分が話しかけたときにボットが動くと考えています。ベンダーは、便利なボットが自発的に確認しに行くものだと考えています。モデルは、そのターンでプラットフォームから指示されたとおりに動くだけで、所有者が言ったであろうことには従いません」

同氏は、この連鎖の中に「悪意を持つ者はいない」としたうえで、次のように述べています。「それでも結果として、あなたが眠っている午前7時46分に、ボットが受信トレイを読んでいるのです」

自律型AIエージェントに歯止めを

NewCoreが確認した、無人状態での31件のリクエストはすべて、カレンダーの予定の取得やメッセージの検索といった読み取り操作でした。この違いは重要だと、Hoorvitch氏は説明します。ゲートウェイが遮断したため、データにアクセスされたケースはありません。ただし、連携していたツール群には、メールの送信、カレンダーの予定の変更、Slackへのメッセージ投稿といった操作を実行できる機能も含まれていました。NewCoreは、同じバックグラウンド処理がこうした書き込み可能なツールを呼び出す場合、リスクはさらに大きくなりかねないと警告しています。

今回の調査では、NewCoreのMCPゲートウェイが無人状態での31件のリクエストをすべて遮断しました。同社は、自社システム内で動作するAIエージェントに対して、ポリシーを設定し適用するための、同様の独立した制御がすべての組織に必要だと主張しています。

Hoorvitch氏は「判断はエージェントの外に置くべきです」と述べます。「エージェントによるツール呼び出しはすべて、自社で管理できる仕組みを経由させてください。たとえばNewCore MCP Gatewayのように、所有者のポリシーで通すかどうかを決め、エージェントが覚えているかどうかにかかわらず、すべての呼び出しをログに記録する仕組みです」

NewCoreはまた、組織に対し、企業向けツールに接続されているエージェントをただちに棚卸しすることを推奨しています。各エージェントがアクセスできるアプリケーションとデータを特定し、それぞれに所有者を割り当てるよう求めています。セキュリティチームは、承認された操作だけでなく、拒否されたリクエストや応答がないまま残ったリクエストも確認すべきだとしています。こうしたリクエストから、利用者が関与しないところでエージェントが何をしようとしているのかが見えてくるためです。

「現時点で、これに答えられるチームはほとんどありません。一覧にできないものは、統制することもできません」とHoorvitch氏は述べています。

翻訳元: https://www.darkreading.com/application-security/grok-bots-corporate-data-without-user-approval

本記事は darkreading.com の記事を翻訳・要約したものです。