米政府機関、暴走するAIエージェントへのインシデント対応の実践指針を公表
複雑なエージェント型システムを効果的かつ効率的に使いこなすことはあらゆる組織にとって重要ですが、そうしたシステムの 暴走 を見抜き、防ぎ、そこから復旧することは、組織の存続にかかわる必須事項になりつつあります。 NIST、NSA、CISAは、AIエージェントが予期せぬ有害な動作をする可能性が高まっていると認識していま
タグ: 超知能
米政府機関、最先端AIシステム向けにサイバー対策と独立テストを推奨
米連邦政府は、サンドボックス型のテスト環境でAIエージェントを安全に運用するため、AI企業に対して業界標準をさらに整備するよう呼びかけています。 米サイバーセキュリティ・インフラストラクチャセキュリティ庁（CISA）、国家安全保障局（NSA）、商務省の超知能イノベーション・標準推進センター（CAISSI）は、共同ガイ
トランプ大統領とテック大手、AI安全性に関する自主的合意を締結
AI大手6社の経営トップが、今週ドナルド・トランプ大統領と交わした自主的な合意に基づき、フロンティアAIシステムの開発に関する安全対策を強化することを約束しました。この「超知能に関するホワイトハウス合意（White House Accord on Super Intelligence）」は、各社に対し、社内の安全管理体
超知能を「牢獄」に閉じ込められるか
AIセキュリティ最大の過ちは、「箱は破られない」と思い込むことかもしれません。壁を築き、検証し、突破されることを前提に備えるべきです。 AIの封じ込めは不可欠です。しかし、エージェントが通信し、ツールを使い、実際のシステムに作用
Anthropic CEOダリオ・アモデイ氏、AI業界は安全対策が追いつく時間を確保すべきと訴える
Anthropicの最高経営責任者(CEO)は土曜日、人工知能(AI)業界は急速な開発ペースを緩め、安全対策が追いつくための時間を確保すべきだと述べました。ダリオ・アモデイ氏は、こうした減速がなければ、今後6カ月から12カ月以内にAIがエージェントの大群を率いてインターネット全体を乗っ取る能力を持つ可能性があると警告
AIは今後10年以内に人類を滅ぼしてしまうのでしょうか
The Wall Street Journalの報道によれば、企業間の競争が技術各社を「自己改善型モデル」の開発競争へと駆り立てており、その結果、人間の制御が及ばない事態に陥りかねないとの懸念がAI研究機関内部で高まっているといいます。 AnthropicとOpenAIの両社で研究職を務めた経験を持つAI研究者の