自律型AIの採用が増加しているが、リスクがある

自律型エージェントAIは新しい効率をもたらすことができますが、セキュリティと一貫性のある出力に関する懸念はまだ解決されていません。

今年初めの2つのAIリリースにより、ユーザーはコントロールを手放し、自律型エージェントツールにタスク実行を委ねるよう促されています。IT責任者はその結果に対処する準備ができている必要があります。

Anthropicは1月にmacOS向け、2月にWindows向けにエージェントプラットフォームClaude Coworkをリリースしました。また開発者のPeter Steinberger(現在OpenAIに所属)が2025年末にローンチしたオープンソースプロジェクトOpenClawの使用は今年初めに急速に増加しました。

ほとんどの組織は人間の作業を拡張するAIの導入に焦点を当てていますが、ITコンサルティングおよびデジタル変革企業The Adaptavist Groupのイノベーションリーダーで元CIOのNeal Rileyによると、昨年後半以降、自律型エージェントAIへの関心は大幅に急増しています。

金融サービスやヘルスケア業界の伝統的にリスク回避的な企業を含む多くの組織が、ワークフロー再構築を目指す中で自律型AIの実験を開始していると、Rileyは述べています。

予期しない結果と自律型エージェントがシャドウAIとして動作することへの懸念があるにもかかわらず、エージェントAIの早期採用者は、例えば技術チームを介さずに非技術者がマイナーなIT問題を解決できるようにする力の乗数として、この技術が大きな潜在力を持つと見ています。

「2026年に向けて、私たちはこれらのプロセスがより自律型になり、非常に厳密で規制された方法でこのレベルのコントロールを可能にしながら、これらのシステムにその自律性を持たせることに多大な投資を行っている人々を目撃し始めています」とRileyは言います。「この分野で大幅な増加が見られています。」

誰もが使える自律型ボット

OpenClawとClaude Coworkはこの近づく革命の最前線にあり、ユーザーがAIを活用してコンピュータ上のワークフローを自動化できるようにしています。OpenClawボットはClaudeやOpenAIのGPTモデルなどの外部の大規模言語モデル(LLM)AIと統合され、ユーザーはWhatsApp、Telegram、Discordなどのメッセージングサービスで実行されるチャットボットを通じてアクセスします。

ユーザーはClaude Coworkにアプリケーションとファイルへのアクセスを許可し、次にAIにタスク完了を指示します。Coworkはユーザーのコンピュータ上のファイルにアクセスし、Slackなどのアプリからコンテキストを取得し、ウェブを閲覧することで、ファイルの整理、スプレッドシートの作成、レポートの準備、メモの分析ができます。Anthropicによると、Claudeがアクションを起こす前にユーザーに計画を示して承認を待ちます。

それでも、一部のユーザーはこれらの自律型エージェントに高いレベルのコントロールを与えており、厳しい制限なしにコンピュータの制御を譲ることにはリスクがあります

Meta AIセキュリティ研究者のSummer Yueは2月後半に、OpenClawが彼女のメールインボックスをクリーンアップするよう要求した後に彼女のメールインボックスを削除しようとしたツイートしました。「OpenClawに『行動する前に確認してください』と言って、インボックスを削除するスピードランを見るほど謙虚にするものはありません」と彼女は書きました。

彼女は初心者の過ちを認めました。「結局のところ、アライメント研究者も不整合の影響を受けません」と彼女は書きました。「このワークフローが何週間も私の試験用インボックスで機能していたので自信過剰になりました。実際のインボックスは違います。」

Yueのツイートへの最高の返信の1つは、チンパンジーに銃を渡している誰かの画像でした。

研究者たちはOpenClawの複数のセキュリティ欠陥(プロンプトインジェクション攻撃への脆弱性を含む)を発見しています。

大きなリスク、大きな報酬

ここに問題があります。AI専門家は自律型AIとの巨大な潜在的利点を見ています — 大規模な職場の効率化の可能性があります — しかしリスクは大きいです。

Rileyはセキュリティの懸念とユーザーが予期しないアクションをエージェントAIが取得する可能性の両方を認めています。ユーザーはまだ自律型AIが人間よりも速く安く仕事をこなすのを見ていません — トークンは高価です — しかし技術はより良い形で仕事の性質を再構築する可能性があるとRileyは言います。

「利点について話すとき、それは確かに今日起こっている仕事を置き換えていますが、ほぼそれは副産物です」と彼は言います。「それが実際に可能にするのは、チーム全体で情報をやり取りしながら以前とは異なる方法で調整することで、それらをより速く、より良い品質で実現することです。」

自律型AIにより、組織は人間のワークフォースを新しいタスクに再配置し、多くの退屈な作業を取り除くことができるでしょうと支持者は言っています。

これらのエージェントシステムの多くを信頼し始めることができたら、多くの場合、人間がするより速くまたは良くありません」とRileyは言っています。「それが行うのは、人間が関与する必要がないということで、それは彼らが他の仕事に取り組むことができるという意味です。」

AI データ統合プロバイダーbemのCTOであるUpal Sahaによると、多くの企業はまだ自律型AIの初期段階にあります。大きな課題の1つは、AIにビジネスの仕組みを理解させることです。

「ほとんどの企業内では、プロセス、データ、決定の間の関係が清潔に記録されていません」と彼は付け加えます。「その知識はチームと個人全体に存在しています。エージェントは非常に有能である可能性がありますが、その操作上下文がなければ、多くの場合実行するのではなく推測しています。」

速度は自律型エージェントの大きな潜在的利点ですが、Sahaは欠点の1つでもあると指摘しています。

「彼らが正しい下文を持っていれば、数時間の手動操作作業を数秒に圧縮できます」と彼は付け加えます。「欠点は同じ速度が誤りを増幅する可能性があることです。エージェントがワークフローまたはデータ構造を誤解した場合、スケールでその誤りを繰り返す可能性があります。」

リスクにもかかわらず、市場はエージェントAIに向かって急速にシフトしており、AI生成コンテンツプロバイダーBlogBusterのAI研究開発責任者であるRussell Twilligearは、今後2年以内に大規模採用が来ると言っています。

「私たちはテキストのみを生成するシステムから、実際に複数ステップの作業を実行できるシステムへのシフトを目撃しています」と彼は言っています。「最大の利点は、自律型エージェントが単純なプロンプトに答えるだけではないということです。情報を収集し、システムを更新することで、意図から実行に移行できるのです。」

ただし、自律型エージェントが正しくない方法で実装された場合、危険があるとTwilligearは付け加えています。

「最大の欠点は、これが制御できるより速くスケーリングするつもりだということです」と彼は言っています。「それは各新しい統合のセキュリティリスクと障害を意味します。」

セキュリティと監視が克服すべき主要な問題であると彼は付け加えています。「エージェントがメール、ファイル、ブラウザなどにアクセスできる場合、苦しみの世界を開いています」とTwilligearは言っています。「問題はこれすべてが起こっている速さです。最近のセキュリティレポートは多くの企業がAIエージェントの監視さえ持っていないことを示しています。私にとって、それは本当に狂気です。」

実験を許可する

自律型エージェントを展開するIT責任者は、堅牢なコントロールを導入し、データがクリーンでアクセス可能であることを確認し、アプリの権限が正しく構成されていることを確認する必要があると、The Adaptavist GroupのRileyは言っています。

セキュリティと出力の懸念にもかかわらず、Rileyは差し迫った採用のため従業員が新興技術で実験することを許可するようIT責任者に勧めています。AIトレーニングに投資する企業と従業員に技術を試させる企業は、導入からより良い結果を得る傾向があります。

「これらすべてのツールが利用可能で、人々は今それらがどのように機能するかを理解しようとするべきです」と彼は言っています。「これらは非常に速くリリースされるため、10年前にITソフトウェアで得たようなオンボーディングと有効化は単にありません。これに対する誰ものアプローチは、ちょうどそれで遊んで、それがどのように機能するかを理解することです。」

翻訳元: https://www.csoonline.com/article/4146661/autonomous-ai-adoption-is-on-the-rise-but-its-risky-2.html

ソース: csoonline.com