AIと機械学習
AIエージェントは信頼できない——危険な権限を与えてはいけません
セキュアなエージェントフレームワーク「NanoClaw」が、サプライチェーンプラットフォームのJFrogと提携しました。これにより、AIエージェントがJFrogの審査済みレジストリからリソースを取得できるようになります。
NanoClawの開発者でNanoCo AIの共同創業者であるGavriel Cohen氏は、この提携をサンフランシスコで木曜日の夜に開催されたJFrogのイベントで発表しました。同イベントはワールドカップのパブリックビューイングで締めくくられました。
Cohen氏によると、OpenClawやNanoClawといったClawエージェントの特徴のひとつは、自身が持っていないツールやリソースを外部から取得することで、自律的に機能を拡張できる点にあります。
既知のローカルデータへのアクセスに手動承認プロセスが設けられている場合は問題ありませんが、npmパッケージの取得となると話は別です。NanoClawのようにエージェントがサンドボックス化・隔離されている場合でも、コンテナ内の悪意あるコードが有害な動作を引き起こす可能性は残ります——たとえ活動範囲が制限されていたとしても。
また、開発者が特定のパッケージに詳しくないケースも多く、そのパッケージが正規のもので改ざんされていないかを十分に確認するには時間がかかる、とCohen氏は指摘します。
「そこでJFrogと手を組み、NanoClawをJFrogのレジストリと統合しました」とCohen氏は語ります。
この連携により、エージェントが信頼できないコンテンツにさらされるリスクを低減できます。エージェントが新しいツールやライブラリをダウンロードする際、そのソフトウェアは審査済みのソースから提供されます。
さらにCohen氏は、NanoClawエージェントを活用してプルリクエスト（PR）を処理する自社開発のシステム「エージェントファクトリー」の提供開始も発表しました。
このエージェントファクトリーは、AIコーディングエージェントの普及によって急増したプルリクエストのトリアージを目的としています。
「今やコーディングエージェントをリポジトリに向けて『このリポジトリにプルリクエストを開いて』と指示するだけで簡単にPRを作れます」とCohen氏は説明します。「一方でメンテナーの立場からすると、オープンソースプロジェクトを本当に活用している人からの質の高いコントリビューションと、（自動化された手段で）評判を積み上げようとしているだけの人のPRを見分けるのが非常に難しいのです。この課題に対処するため、NanoClawへのすべてのコントリビューションをレビューするエージェントファクトリーを構築しました。」
このエージェントファクトリーは、実際のプルリクエストではPR Factoryと呼ばれています。NanoClawで構築され、永続ストレージ付きの仮想マシンを提供するサービスexe.dev上でホストされています。
「PRが作成されると、ファクトリーはそれ専用のワーカーエージェントを起動し、Slackにスレッドを投稿します。ワーカーは変更内容をトリアージし、差分をレビューし、テスト計画を提案します」とCohen氏はドキュメントで説明しています。「重要な操作は何も自動では実行されません。マージ、テスト実行、クレデンシャルを必要とするGitHubアクションはいずれも、スレッド上に承認カードとして表示され、担当者が承認をクリックして初めて実行されます。」
Cohen氏は、サニタイズされていないPRにはプロンプトインジェクションや危険なコードが含まれる可能性があり、このアプローチを「狂気の沙汰」と感じる開発者もいるだろうと認めつつ、会場に集まった開発者たちにスクリーンに映し出されたある文言を見たことがあるか問いかけました。「絶対に、絶対に、絶対にこれをしてはいけない。」
AIエージェントの設定や運用に携わったことのある開発者なら、Claude.mdのような設定ファイルでこの種の記述を目にしたことがあるでしょう。このファイルは、エージェントや基盤モデルへの指示として読み込まれます。
「Claude.mdファイルに『重要: 本番データベースをdropするコマンドは絶対に実行しないこと』といった記述があったとします。これは二つのことを示しています。そのエージェントが過去に本番データベースを削除したことがある、ということ。そして、今でも再びやってしまう可能性があるということです。だからこそ、その指示が存在しているのです。」
この言葉に、会場から苦笑いが漏れました。
Cohen氏はさらに、エージェントは再び同じことをやりかねないと述べました。指示は、セキュリティや安全性を担保する手段にはなりえないからです。
「指示はエージェントのAIを有益な出力へ導くためのものであって、安全機構ではありません」と同氏は語ります。「エージェントに望ましくない行動を確実に防ぐ唯一の方法は、その行動を取らせないこと——つまり、そもそもその能力を与えないことです。」
それこそが、NanoClawの存在意義です。®
