MetaはMuseの機能をさらにMacデスクトップに押し上げました。スマートフォンやウェブプラットフォームと比べて、デスクトップシーンが注目に値するのはチャットウィンドウではなく、AIエージェントがアプリやファイル、画面上のテキストとやり取りし始めたことです。パーソナルエージェントとオペレーティングシステムの境界は急速に狭まっています。
Museはローカルコンピュータの使用を開始しました
MetaはMeta AI for Mac Betaをリリースしました。公式発表によると、ユーザーはデスクトップ上の任意のウィンドウをリアルタイムコンテキストのためにMeta AIに渡したり、他のアプリで直接音声入力を使ったりできます。
Muse自体は、タスクを遂行できる個人AIエージェントとして位置づけられています。ウェブページの閲覧、フォームの記入、メール送信、購入完了、メールやカレンダー、その他のサービスへの接続が可能です。Metaは、メッセージの送信、購入、情報共有などの重要な操作においては、ユーザー設定に従って承認を得る必要があることを強調しています。
これはコンピュータ使用に該当しますか?
能力の境界という観点から見ると、Museはすでにコンピュータ使用に非常に近い状態にあります。MetaはMuse専用のMuseセキュアVMを搭載しており、エージェントはブラウザを起動し、ツールを呼び出し、多段階のタスクを実行し、アプリケーション終了後も作業を続けることができます。
Metaはまた、Museのブラウザサブエージェントがウェブページのアクセシビリティツリーを読み取り、Chrome DevToolsプロトコルを通じてブラウザを駆動していることを明らかにしました。これは従来のチャットボットではなく、実際の実行環境を持つエージェントシステムであることを意味します。
しかし、現在Mac側で公に示されている機能は、より具体的には、ウィンドウコンテキストの読み取りとクロスアプリ支援です。すでに一般的なコンピュータ使用エージェントのように、ローカルアプリケーションでマウス、キーボード、GUIを継続的に制御できるかどうかは、Metaが完全に明らかにしていません。
Metaはエージェントのエントリーポイントをデスクトップに配置しています
Museの特別な点は、タスクをユーザーのMacだけに依存しない点です。多くの自動化は実際にMuseのSecure VM上で動作しており、各ユーザーはブラウザ、ストレージ、CPU、エージェントのランタイム環境を含む独立したクラウド仮想マシンを持っています。
この「クラウドエージェント+デスクトップコンテキスト」アーキテクチャは、単にマウスクリックをシミュレートするよりもスケーラブルかもしれません。AIはコネクター、CLI、ブラウザを呼び出しつつ、ユーザーのコンピュータが提供するコンテキストを活用して長期的なタスクをバックグラウンドで実行し続けます。
デスクトップAIが支配権を巡って競い合い始めました
かつてはデスクトップAIの競合は、迅速な起床機能、書き込み支援、画面理解に主に焦点が当てられていましたが、今では「ユーザーのタスクを本当に完了できるかどうか」に焦点が移っています。
Museはこの問題をさらに推し進めています。エージェントがメール、カレンダー、ブラウザ、さらにはコンピュータ環境の権限を得ると、モデルの能力は基盤に過ぎません。権限管理、認証情報のセキュリティ、運用監査が長期的な製品運用の鍵となります。
もしMetaがMuseとネイティブMacアプリ間の運用権限を拡大し続けるなら、次のデスクトップAIのフェーズは「デスクトップ上のコパイロット」ではなく、ユーザーのためにデジタル世界を継続的に操作する権限を持つ個人エージェントになるかもしれません。
