1. Zusammenfassung
MAI-UI ist eine universelle GUI-Agentenbasis und unterstützenden Code Open Source von Tongyi-MAI (Tongyi Lab), die auf die automatisierte Aufgabe abzielt, "auf den Bildschirm zu schauen, Anweisungen und die Bedienoberfläche zu verstehen". Das Projekt legt den Schwerpunkt auf drei Arten von Fähigkeiten, die für reale Implementierungen erforderlich sind: aktive Klarstellungsinteraktion mit Benutzern (ask_user), das Aufrufen externer Tools (mcp_call) über MCP sowie die Geräte-Cloud-Kollaborationsausführungsarchitektur (dynamische Auswahl von On-Premises/Cloud-Inferenz unter Datenschutz- und Kostenbeschränkungen). Der offizielle technische Bericht wurde gleichzeitig veröffentlicht, und die Gewichte MAI-UI-2B und MAI-UI-8B wurden als Open Source veröffentlicht, was es Entwicklern erleichterte, auf die OpenAI-kompatible API in Form von Tell Zhishi zuzugreifen.
2. Kernmerkmale
- GUI-Erding: Weist natürliche Sprachbefehle auf die Koordinaten der Bildschirm-Zielsteuerung zu, die für die Grundfähigkeit "wo man welchen Knopf anklickt/findet" verwendet wird.
- Mobile GUI-Navigation: unterstützt Klicken, long_press, Tippen, Wischen, Ziehen, system_button, Warten, Beenden, Antworten und andere Aktionsräume und deckt die Ausführung mehrerer Aufgaben ab.
- Native Benutzerinteraktion: Wenn dem Befehl Informationen fehlen oder Unklarheiten bestehen, kann der Agent aktiv Fragen stellen, um wichtige Einschränkungen (wie Objekt, Zeit, Konto, Bestätigungsberechtigung) zu erfüllen.
- MCP-Tool-Erweiterungen: Zusätzlich zu "reinen UI-Operationen" werden Werkzeuge/API-Funktionen eingeführt, um Schrittlänge und Schwachstellen zu reduzieren (wie Karten, Suche, Systemfunktionen usw.).
- Zusammenarbeit zwischen Gerät und Cloud und Datenschutz: Routenausführung zwischen lokal und Cloud durch Aufgabenstatus und Bewertung sensibler Informationen, wobei Leistung, Kosten und Datenschutzrisiken berücksichtigt werden.
3. Installation
1. Kloncode: git clone https://github.com/Tongyi-MAI/MAI-UI.git && cd MAI-UI
2. Starte den Modelldienst (vLLM empfohlen): Installiere vllm>=0.11.0 und transformers>=4.57.0 und verwende die OpenAI-kompatible API, um den Dienst zu starten (siehe das Repository README als Beispiel).
3. Installationsprojektabhängigkeiten: pip install -r requirements.txt
4. Führe das Notizbuch aus: Gehe ins cookbook/ und verwende grounding.ipynb (Positionierungsbeispiel) und run_agent.ipynb (Beispiel des Navigationsagenten), um llm_base_url auf deine vLLM-Serviceadresse zu zeigen.
4. Typische Anwendungsfälle
- Appübergreifende Transaktionsautomatisierung: wie "Ticket-Checking-Grouping-Changing Schedule-@同事确认" und andere Long-Link-, Multi-Anwendungs-Kollaborationsaufgaben.
- Mobiler Assistent: Führt mehrstufige Prozesse wie "Setzen, Suchen, Ausfüllen und Einreichen" in der Android-Umgebung durch.
- Produkt- und Betriebsqualitätskontrolle: automatische Regressions- und Funktionserkennung des Schlüsselpfads der App (Button-Erreichbarkeit, ob der Pfad unterbrochen ist).
- Werkzeugerweiterte Aufgaben: UI und Werkzeuge werden gemischt (wie Navigation/POI/Zeitplan usw.), um den kumulativen Fehler durch reines Klicken zu reduzieren.
- Geräteseitiges Prioritätsszenario: Aufgaben mit schwachem Netzwerk oder hoher Privatsphäre werden zuerst lokal ausgeführt und wechseln dann bei Bedarf in die Cloud, um komplexe Schritte zu bewältigen.
5. Ökologie und konkurrierende Produkte
- Ökologische Benchmarks: MAI-UI-Bewertungen und -Diskussionen sind oft mit Benchmarks wie ScreenSpot-Pro, OSWorld und AndroidWorld verbunden. Das Team hat außerdem MobileWorld als Open-Source veröffentlicht, das realistischer ist (mit App-übergreifenden, Benutzerinteraktion und MCP-Verbesserungsaufgaben).
- Angrenzende Richtungen: UI-TARS, UI-Ins, GUI-Actor, OS-Atlas usw. konzentrieren sich ebenfalls auf GUI-Positionierung und -Bedienung, aber die Integrationsmethoden in den Landungselementen wie "Interaktionsklärung, Werkzeugaufrufe und Gerät-Cloud-Kollaboration" unterscheiden sich. Die Auswahlempfehlungen basieren auf Ihrer Umgebung (Mobil/Desktop/Web), verfügbaren Tools, Datenschutz-Compliance und Kostenbudget.
6. Einschränkungen und Vorsichtsmaßnahmen
- SOTA/Indikator-Quelle: Öffentliche Noten stammen meist aus der Bewertung und Konfiguration, die vom Paper oder Bericht festgelegt wurden, und müssen beim Migrieren auf Ihre App/Ihren Prozess noch überprüft werden.
- Ansammlung von Long-Link-Fehlern: Je länger die Anzahl der UI-Aufgabenschritte, desto fragiler ist es, daher wird empfohlen, Tool-Aufrufe, Constraint-Klarstellung und "Key Step Confirmation" Priorität zu geben.
- Umgebungsabhängigkeit: Unterschiedliche Auflösungen, Themen, Sprachen, Animationen und Pop-ups beeinflussen die Positionierung und Ausführungsstabilität erheblich.
- Berechtigungen und Compliance: Abläufe mit Konten, Zahlungen und Datenschutzdaten sollten ausdrücklich autorisiert und Protokolle überprüft werden, um automatisierte Übergriffe zu vermeiden.
- Rechenleistung und Latenz: 2B/8B eignet sich besser für Entwicklung und Kanteninferenz; Größere Formate, wie die im Bericht erwähnten größeren Modelle, erfordern oft mehr Rechenleistung und komplexere Implementierungen.
7. Projektadresse
https://github.com/Tongyi-MAI/MAI-UI
8. Häufig gestellte Fragen
F: Wie wählt man zwischen MAI-UI-2B und MAI-UI-8B?
A: 2B ist leichter und schneller verifiziert; 8B ist in der Regel stabiler im Verständnis komplexer Anweisungen und bei mehrstufigen Aufgaben und basiert tatsächlich auf dem Test der Erfolgsrate Ihres Geräts und der Aufgaben.
F: Wie nutzt MAI-UI vLLM, um als OpenAI-kompatible Schnittstelle bereitzustellen?
A: Drücke das Repository README, um die vllm.entrypoints.openai.api_server zu starten, setze die --model, --served-model-name, Port und parallele Parameter und verweise dann llm_base_url auf die Adresse im Notizbuch/der App.
F: Unterstützt MAI-UI MCP Tool Calls (mcp_call)?
A: Das Projekt verwendet MCP als Teil der Erweiterungsmaßnahme; Du musst den MCP Server auf deinem eigenen Stack deployen/konfigurieren und die entsprechenden Funktionen aktivieren, wenn der Agent läuft.
F: Warum benötigt MAI-UI ask_user (proaktive Frageklärung)?
A: Reale Anweisungen fehlen oft wichtige Einschränkungen (Objekt, Scope, Bestätigungsschritte), und aktive Klarstellungen können Fehloperationen reduzieren und die Abschlussrate von Aufgaben verbessern.
F: Kann MAI-UI offline verwendet und auf der Endseite ausgeführt werden?
A: Inferenzdienste können lokal gestartet und offline ausgeführt werden, aber die geräteseitige Funktionalität wird von Modellgröße, Rechenleistung des Geräts und der Aufgabenkomplexität beeinflusst. Wenn sensible Informationen betroffen sind, wird empfohlen, die Ausführung auf der Endseite zu priorisieren und die Berechtigungskontrolle anzuschließen.
