今この瞬間もどこかで、Mac Miniが棚の上で誰かの雑用をこなしています。誰も見張ってはいません。ターミナルでバージョン番号を読み取り、Safariに移動してリリース年を調べ、静かにリマインダーを登録する——人間なら3つのアプリをまたいで90秒ほどぶつぶつ言いながらこなすような、あの地味な作業です。この機械は何時間も黙々と動き続けます。キーボードに手を置きながら、部屋には誰もいないAIエージェントです。
誰もいないところで実際の作業をこなす常時稼働のMacというこのイメージは、これまでのAI研究の多くが見過ごしてきた前提です。この分野の視線はLinuxサーバーやWindowsデスクトップに向けられがちで、人々が夜通し稼働させているApple製プラットフォームに言及されることはほとんどありません。MacAgentBenchはこの盲点を埋めようとする試みですが、まず明らかになったのはやや拍子抜けする事実です。これらのエージェントが叩き出す華々しい数字は、その大半が誰かが事前に用意しておいた「レシピ」に由来しているのです。
ベンチマークが測定するもの
MacAgentBenchは、NotesやCalendarからTerminal、VS Codeに至るまで、25個のmacOSアプリケーションにまたがる676件のタスクをカバーしています。それらのタスクのうち約60パーセントは、ターミナルでバージョン番号を読み取ってからアプリのインターフェース経由でリマインダーを設定するといった具合に、一つの作業の中でGUI操作とコマンドライン操作の両方を求めるものです。各タスクは、Dockerコンテナに詰め込まれた小さなmacOS仮想マシンの中で実行されます。コンテナの起動には約30秒しかかからず、共有のベースイメージの上に自身の変更のみを記録する仕組みのため、1台のサーバー上で多数のタスクを同時に走らせることができます。
採点は決定論的な方式を採っています。ルールベースのスクリプトがマシンの最終状態——ファイルの中身、アプリのデータ、システム設定——を検査し、常に同じ方法で結果を返します。複数のアプリにまたがるタスクについては、スコアがチェックポイント単位に分割され、それぞれが一つのサブゴールをカバーします。そのため4つのステップのうち3つを完了した実行には部分点が与えられます。
モデルよりもフレームワークが重要
この設計は、通常は一緒くたに語られがちな2つの要素をきちんと切り分けています。推論を担うモデルと、そのモデルに「手」を与えるフレームワークです。フレームワークはモデルにコマンドライン、スクリプティングへのアクセス、そして事前に書かれた一連のスキル群を与えることができます。フレームワークを固定してモデルだけを入れ替えれば、そのスコアがどこから来ているのかが見えてきます。
その数字が物語っています。OpenClawと呼ばれるハーネス内で動作するClaude Opus 4.6は、1回目の試行でタスクの73.7パーセントを解決しました。同じモデルをスクリーンショットとマウス・キーボード操作のみで動かした場合は39.2パーセントにとどまりました。素の環境ではGPT-5.4が58.4パーセントで首位に立ち、Claudeを上回っていました。フレームワークのサポートがこの順位を逆転させたのです。
スキルライブラリが仕事の大半を担っている
この大きな数字の裏にはからくりがあります。OpenClawには、コマンドラインツールを使ったリマインダー管理やGitHubからのIssue取得といった、よくある作業向けの用意されたレシピ集が同梱されています。タスクがそうしたレシピのいずれかに一致した場合、Claudeを使ったOpenClawは89.4パーセントに達しました。そのレシピを取り除いて同じ作業を素のスクリーンショットエージェントに与えると、55.9パーセントに落ち着きました。ここまではハーネスにとって好結果です。
問題は、誰もレシピを書いていないタスクです。そうしたタスクでは、ハーネスの優位性は完全に失われ、ほとんどのモデルで素のエージェントを下回る結果になりました。凝った足場が、かえって邪魔になり始めたのです。これは誰もが立ち止まって考えるべき発見であり、研究者たちはこう述べています。「この優位性は主にフレームワークの設計ではなく、スキルライブラリによってもたらされている」。言い換えれば、あの見栄えの良いデモがうまくいくのは、誰かがすでにその厳密な作業を事前に解決済みだからです。ベンダーの誰も見たことのない、あなた自身の込み入ったワークフローを与えれば、その輝きは消え失せます。
うまくいくときもあれば、いかないときもある
ある作業をこなせるエージェントと、寝ている間にその作業を任せられると信頼できるエージェントの間には違いがあります。最良のセットアップに各タスクを4回挑戦させれば、少なくとも1回は85.2パーセントを解決しました。ところが同じタスクを4回すべて正しくこなすことを求めると、その数字は58.6パーセントまで落ち込みます。棚の上で誰もいない中で唸りを上げているMac Miniにとって、このばらつきこそがすべてです。ほとんどの朝はうまくこなすエージェントでも、誰も見ていないある火曜日には失敗するかもしれず、無人のマシンでの静かな失敗は、ダッシュボードではなくサポートチケットで初めて発覚するものなのです。
チェックポイント採点は、さらに奇妙な事実を浮かび上がらせます。2つのモデルがまったく同じ合格率に着地しても、実際にこなした作業量は異なる場合があるのです。単純な合格・不合格のスコアではこうした違いが埋もれてしまいます。ファイルをあちこち動かすような作業は、ほぼすべてのエージェントがこなせました。一方、デスクトップ作業を離れてウェブ上の事実を調べに行く作業は、彼らが何度もぶつかる壁であることが分かりました。これは全項目の中で最も難しい単一の課題です。
なぜAppleのデスクトップがこの用途に適しているのか
macOSは、アプリを操作するAppleScript、インターフェースを読み取るAccessibility API、そしてその下にあるUnixコマンドラインという、幾層にも重なった自動化スタックを備えています。エージェントは各ステップにおいて最も手早い経路を選び、必要に応じてシェルコマンドとクリック操作を組み合わせることができます。この柔軟性の広さこそが、そもそも常時稼働のデプロイメントをMacハードウェアへと引き寄せる理由の一つです。
このベンチマークには注意すべき限界もあります。676件のタスクは、手作業で構築された169件のオリジナルタスクから派生したもので、それぞれが指示文の言い換えとパラメータの入れ替えによって4つのバリエーションに拡張されています。仮想マシンはApple GPUのサポートなしで動作し、macOS Tahoe 26という単一のリリースに固定されているため、バージョンが変わればアプリの挙動やスクリプティングインターフェースの見直しが必要になるでしょう。
安全性についての捉え方も地に足の着いたものです。著者らは、これらのエージェントは「原理上、適切な安全策なしにユーザーのシステム上に展開された場合、不正なファイルアクセスや認証情報の窃取といった機密性の高い操作を自動化するために悪用され得る」と記しています。実運用に向けた彼らの指針は、「明示的なユーザーの同意、権限の境界線、そして監査ログ」を伴う形でのみ展開すべきだというものです。
実務でエージェントの導入を検討している人であれば、ここから得られるいくつかの習慣を活用できるでしょう。自分自身のタスクでテストすること。ベンダーのスキルライブラリの中身を確認すること。実行が成功する頻度を見極めること。そして、エージェントが本番システムに触れる前に、その全体をサンドボックス化することです。
翻訳元: https://www.helpnetsecurity.com/2026/07/08/macos-ai-agents-automation/
