Railway社は、社員のAIテストツールがクラウド競合のPrimcloudを調査する際に行き過ぎたと説明し、当該社員は会社とは無関係に独断で行動したと強調しています。
クラウドインフラおよびアプリケーションホスティングプラットフォームのRailwayが運用するAIエージェントが、競合プラットフォームのインフラへのアクセスを試みました。この問題を受け、同社の経営陣はソーシャルメディア上で事実を認めています。
きっかけは、Primcloudの創業者Josh Manders氏が、Railwayの社員がなぜ自社インフラへの侵入を試みているのかと公に問いかけたことでした。これに対し、Railwayのシニアプロダクトエンジニアであるジェイク・ランツァー（Jake Runzer）氏は、類似のプラットフォームでサインアップやエージェントによるテストを行うため、エージェントを実行していたことを認めました。
Runzer氏は、テスト用ハーネスが過度に踏み込み始めたため停止したと説明しています。Railwayの共同創業者でCEOのジェイク・クーパー（Jake Cooper）氏は謝罪しました。モデルが「今や、この種の作業があまりにも巧みになりつつある」と述べ、手動以外の外部テストを禁止する方針を示しています。
Manders氏によると、エージェントはアプリケーションコンテナから認証情報を取得しようとしたほか、プラットフォームのシークレットの要求、クラウドプロバイダーのメタデータへのアクセス、内部データベースやキャッシュの探索を試みました。さらに、Primcloudの内部ネットワークにある65,536個のアドレスすべてを2回スキャンしたということです。
この活動は、15分間にわたる24件のスクリプト化されたコマンドで構成されていたと伝えられています。
Noma Securityの最高情報セキュリティ責任者（CISO）であるダイアナ・ケリー（Diana Kelley）氏は、次のように述べています。「エージェントは、人が一つ一つの手順を指示しなくても動作できます。しかし、それを導入する個人や組織の責任がなくなるわけではありません」
Primcloudは、防御機能がすべての試行を阻止し、「何も」アクセスされなかったと説明しています。今回の件は、暗号化された顧客の環境変数をめぐってRailway自身が公表したセキュリティインシデントの開示に続くものです。
社員は独断で行動
Cooper氏は、この社員が個人アカウントと個人のクレジットカードを使い、自分の時間でテストツールを独自に開発したと述べました。さらに、Runzer氏は外部の単一プロバイダーに対してのみツールを実行し、15分以内に自ら停止したこと、そしてRailwayはこの問題に社内で対処したことを付け加えています。
Cooper氏はXへの投稿で次のように述べました。「このツールが実行されたのは一度きりだと確認しています。Railwayはこうした行為を容認しません。当社は、会社の代理として行動する場合でも、個人の立場で行動する場合でも、すべての社員が行動規範を守ることを求めます」
この時系列はManders氏自身の説明とも一致しますが、いくつかの詳細は依然としてはっきりしません。Manders氏はXでRunzer氏を名指しで指摘した後、最初の警告のあとにも別のアカウントへのアクセス試行を確認したとして、続報を投稿しました。
同氏は最初の投稿から30分以上たってから、「このツイートの後も、君はアカウントにアクセスしようとしていたね、ジェイク」と書き込んでいます。
Primcloudの利用規約（AUP）によると、同社にはバグ報奨金制度がありません。事前の書面による同意なく、不正な探査、スキャン、脆弱性テストを行うことは禁じられています。
「AIがやった」は責任回避の戦略にならない
専門家は、今回の件を「AIの暴走」として説明するRailwayの姿勢を批判しています。
Above Securityの共同創業者で最高プロダクト・技術責任者（CPTO）のアミール・ボルド（Amir Boldo）氏は、エージェントを攻撃者になぞらえて表現することに注意を促しました。エージェントは悪意ある意図がなくても、攻撃者のような一連の動作を実行しうるためです。
同氏によれば、実行トレースからエージェントが何を行ったかは確認できますが、それだけでは意図を証明できません。調査にあたっては、指示、ID、権限、入力、ツール呼び出しにまたがる証拠が必要だとも指摘しています。「エージェントを裁判にかけることはできません。それぞれの当事者に、自らが担った部分の責任を問うことはできます」とBoldo氏は述べました。
Black Duckのサイバーセキュリティガバナンス責任者であるロナルド・ルイス（Ronald Lewis）氏は、ユーザーが十分に理解していない可能性があると主張しています。エージェントに作業を任せることは、自分のIDに紐づく権限も一緒に委ねることになるという点です。
Lewis氏は、「信頼されたIDを、その使い方を自ら判断できる非決定論的なシステムに委任した場合に何が起こるのか、私たちは問わなければなりません」と語りました。Cooper氏はXの投稿で、Railwayがこの問題に社内で対処したこと、そして社員が個人の立場で行動する場合も含め、行動に対する期待を改めて徹底していることを認めています。
