ELab-Zero 包括的分析:ローカル展開可能なモバイルGUIエージェントスタック

1. 抽象

GELab-ZeroはStepFunのオープンソースGUIエージェントソリューションで、主にAndroidモバイルアプリケーションの自動化操作とインテリジェントなインタラクションのための「model + engineering infrastructure」の完全なスタックを提供します。 このプロジェクトには、ローカルで動作可能な4B GUIエージェントモデル、推論やデバイス管理スクリプトのワンクリック展開、複数電話タスク配布とトラック記録のサポート、AndroidWorldやAndroidDailyなどのベンチマークで高い成功率を達成していることが含まれており、研究者や企業がモバイルエージェントの実験やプロトタイプ検証を行うのに適しています。

2. コア機能

1. 完全なモデル+インフラ:同時に、オープンソースの推論サービス、エージェントランタイム、可視化ツールは、エンジニアリングアクセスの閾値を下げます。
2. ローカル4Bモデル:GELab-Zero-4B-previewは、レイテンシとプライバシーを考慮しつつ、消費者向けGPUやハイエンドCPUでの動作をサポートします。
3. マルチデバイスおよびタスク分散:複数のAndroidデバイスをサポートし、タスクを並列実行し、インタラクショントラックを自動的に記録し、再現やデバッグを容易にします。
4. 複数エージェントモード:ReActループ、マルチエージェント協働、スケジュールされたタスクなどの組み込みモードで、レコメンデーション、クエリ、オーダーなどの複雑なプロセスをカバーします。
5. 公開ベンチマークとデータ:AndroidDailyの実生活シナリオデータを提供し、複数のGUIベンチマークでSOTAより先行またはそれに近いパフォーマンスを行ってください。

3. インストール

1. 環境の準備:Python 3.12+の使用が推奨されており、Miniforgeを通じてgelab-zero仮想環境を作成することが公式に推奨されています。

1. リポジトリと依存関係のクローン:

git clone https://github.com/stepfun-ai/gelab-zero.git
cd gelab-zero
pip install -r requirements.txt

1. LLMのデプロイ:

• 個別ユーザー:Ollamaをインストールし、Hugging FaceからGELab-Zero-4B-previewをダウンロードし、インポートを完了するためにollama create gelab-zero-4b-preview -f Modelfileを行い、必要に応じてQ4/Q8の量子化を使用します。
• 上級ユーザー:vLLMを使って、ドキュメントごとに長期安定性サービスを展開できます。
• 4. Androidデバイスの設定:ADBをインストールし、モバイル開発者モードとUSBデバッグを有効にし、デバイスがオンラインであることadb devices確認します。
• 5. ワンクリック起動:倉庫で公式提供の起動スクリプトを実行し、モデルサービスとデバイスを接続し、GUIエージェントのエンドツーエンド推論を入力します。

4. 典型的なユースケース

1. ライフサービスの自動化:テイクアウト、旅行、ソーシャルネットワーキング、決済などのアプリでのタクシー呼びかけ、注文、チケット購入、福祉の回収などの業務を完了させること。
2. コンテンツおよび情報の取得:知虎およびニュースアプリで条件ごとにコンテンツを検索し、指定された回答またはページを開きます。
3. 複雑なショッピングプロセス:商品を絞り込み、お気に入りに追加、またはeコマースプラットフォームで数量や仕様に基づいて注文を行う。
4. ベンチマーク研究:AndroidDailyの静的/エンドツーエンドタスクにおける異なるGUIエージェントポリシーやモデルバージョンを評価する。

5. 生態学と競合製品

1. 生態学的要素:
2. ハグリングフェイス/モデルスコープが公式の重量を提供する;
3. コミュニティはGGUFクオンタイズ(llama.cppおよびローカルデスクトップクライアントに便利)を提供しています。
4. AndroidDailyデータセットおよびオープンソースのベンチマークウェブページのサポート。
5. 競合製品の比較:UI-TARS、GUI-OWLなどのGUIモデルと比較して、GELab-Zeroは完全なエンジニアリングスタック、実際のAndroidシナリオに最適化されたこと、そして4Bスケールでのコスト効率を特徴としています。 具体的な効果は、そのハードウェアやタスクと組み合わせて検証する必要があります。

6. 制限事項と注意事項

1. Android GUIシナリオのみ、iOSおよびWebアプリケーションの適応が必要、または他のソリューションが必要。
2. 4Bモデルは比較的軽量ですが、長期的なマルチデバイス推論には優れた計算能力と発熱条件が必要です。
3. 自動化された操作はアカウントや支払いなどの機密情報を含み、テストアカウントや管理された環境で実行し、権限の分離とログ管理をしっかり行うことが推奨されます。
4. プロジェクトはまだ急速更新段階にあり、インターフェースやスクリプトが変更される可能性があるため、アップグレード前に最新のドキュメントと変更記録を読むべきです。

7. プロジェクトアドレス

https://github.com/stepfun-ai/gelab-zero 8. FAQ

Q: GELab-Zeroは完全なオンプレミス展開およびオフライン運用をサポートしていますか?

A: はい。 モデル推論やデバイス制御はクラウドサービスに依存せずにローカルで行うことができますが、十分な計算能力とストレージ容量はローカルで必要です。

Q: GELab-Zero-4B-previewの一般的なハードウェア要件は何ですか?

A: 一般的には、シングルカードGPUや8〜12GBのVRAMを搭載したハイエンドCPUの使用が推奨されており、高圧縮量子化の低価格帯(例えばQ4)で利用可能ですが、推論品質や速度は低下します。

Q: 私はすでに自分専用のマルチモーダル/言語モデルを持っていますが、GELab-Zeroに直接接続できますか?

A: はい。 デフォルトのGELab-Zero-4Bプレビューは、会話推論サービスがHTTPなどのインターフェースを通じて利用可能であり、プロジェクトドキュメントで合意されたリクエストおよびメッセージ形式に従う限り、置き換え可能です。

Q: AndroidDailyベンチマークはモデル評価に別途利用できますか?

A: はい。 リポジトリと公式ウェブサイトは静的およびエンドツーエンドの2つの評価方法を提供し、独自のGUIエージェントモデルで比較実験を行うためにデータやスクリプトを独立してダウンロードできます。