1. 요약
GELab-Zero는 StepFun의 오픈소스 GUI 에이전트 솔루션으로, 주로 안드로이드 모바일 애플리케이션의 자동화 및 지능형 상호작용을 위한 완전한 "model + engineering infrastructure" 스택을 제공합니다. 이 프로젝트에는 로컬에서 실행이 가능한 4B GUI 에이전트 모델뿐만 아니라, 추론 및 장치 관리 스크립트의 원클릭 배포, 다중 전화 작업 분배 및 트랙 기록 지원, AndroidWorld, AndroidDaily 같은 벤치마크에서 높은 성공률을 달성하는 등 연구자와 기업이 모바일 에이전트 실험과 프로토타입 검증을 수행할 수 있는 기능을 포함하고 있습니다.
2. 핵심 기능
- 완전한 모델+인프라: 동시에 오픈 소스 추론 서비스, 에이전트 런타임, 시각화 도구는 엔지니어링 접근 임계값을 낮춥니다.
- 로컬 4B 모델: GELab-Zero-4B-preview는 지연 시간과 개인정보 보호를 고려하여 소비자용 GPU나 고성능 CPU에서 실행을 지원합니다.
- 다중 기기 및 작업 분배: 여러 안드로이드 기기가 작업을 병렬로 실행하고, 상호작용 트랙을 자동으로 기록하며, 재현 및 디버깅을 용이하게 할 수 있도록 지원합니다.
- 다중 에이전트 모드: ReAct 루프, 다중 에이전트 협업, 예약된 작업 등 내장된 모드로, 추천, 쿼리, 주문 등 복잡한 프로세스를 포함합니다.
- 공개 벤치마크 및 데이터: AndroidDaily 실제 시나리오 데이터를 제공하고, 여러 GUI 벤치마크에서 SOTA보다 앞서 있거나 근접한 성능을 보입니다.
3. 설치
1. 환경 준비: Python 3.12+ 사용을 권장하며, Miniforge를 통해 gelab-zero 가상 환경을 만드는 것이 공식적으로 권장됩니다.
- 복제 저장소 및 의존성:
git clone https://github.com/stepfun-ai/gelab-zero.git cd gelab-zero pip install -r requirements.txt
- LLM 배포:
- 개별 사용자: Ollama를 설치하고, Hugging Face에서
GELab-Zero-4B-preview을 다운로드하며, 가져오기를 완료하기 위해ollama create gelab-zero-4b-preview -f Modelfile을 수행하고, 필요에 따라 Q4/Q8 양자화를 사용하세요. - 고급 사용자: vLLM을 사용해 문서별로 장기 안정성 서비스를 배포할 수 있습니다.
- 4. 안드로이드 기기 구성: ADB를 설치하고, 모바일 개발자 모드와 USB 디버깅을 켜고, 기기가 온라인 상태인지
adb devices확인하세요. - 5. 원클릭 시작: 공식 시작 스크립트를 창고에서 실행하고, 모델 서비스와 장치를 연결한 후 GUI 에이전트 엔드투엔드 추론을 입력합니다.
4. 일반적인 사용 사례
- 라이프 서비스 자동화: 택시 호출, 주문, 티켓 구매, 복지 수령과 같은 완전한 운영을 테이크아웃, 여행, 소셜 네트워킹, 결제 등 앱에서 수행합니다.
- 콘텐츠 및 정보 검색: 지후와 뉴스 앱에서 조건별로 콘텐츠를 검색하고 지정된 답변이나 페이지를 엽니다.
- 복잡한 쇼핑 과정: 제품을 필터링하고, 즐겨찾기에 추가하거나, 양, 사양 등에 따라 전자상거래 플랫폼에서 주문할 수 있습니다.
- 벤치마크 연구: AndroidDaily 정적/종단 간 작업에서 다양한 GUI 에이전트 정책과 모델 버전을 평가합니다.
5. 생태학 및 경쟁 제품
- 생태 구성 요소:
- Hugging Face/ModelScope가 공식 가중치를 제공합니다;
- 커뮤니티는 GGUF 양자화(llama.cpp 및 로컬 데스크톱 클라이언트에 편리함)를 제공합니다;
- AndroidDaily 데이터셋과 오픈 소스 벤치마크 웹페이지를 지원합니다.
- 경쟁 제품 비교: UI-TARS, GUI-OWL과 같은 GUI 모델과 비교할 때, GELab-Zero는 완전한 엔지니어링 스택, 실제 안드로이드 시나리오에 대한 최적화, 그리고 4B 규모에서의 비용 효율성을 특징으로 합니다; 구체적인 효과는 자체 하드웨어와 작업과 함께 검증되어야 합니다.
6. 제한 사항 및 주의사항
- 안드로이드 GUI 시나리오에서만 적용되어야 하며, iOS 및 웹 애플리케이션은 적응하거나 다른 해결책이 필요합니다.
- 4B 모델은 비교적 가볍지만, 장기 다중 장치 추론을 위해서는 여전히 좋은 연산 능력과 열 방출 조건이 필요합니다.
- 자동화된 작업은 계좌 및 결제 등 민감한 정보를 포함하므로, 테스트 계정이나 통제된 환경에서 실행하고 권한 격리와 로그 관리를 잘 수행하는 것이 권장됩니다.
- 프로젝트는 아직 빠른 업데이트 단계에 있으며, 인터페이스와 스크립트가 변경될 수 있으니 업그레이드 전에 최신 문서와 변경 기록을 읽어야 합니다.
7. 프로젝트 주소
https://github.com/stepfun-ai/gelab-zero 8. 자주 묻는
질문: GELab-Zero는 완전한 온프레미스 배포와 오프라인 운영을 지원하나요?
답변: 네. 모델 추론과 장치 제어는 클라우드 서비스에 의존하지 않고 로컬에서 수행할 수 있지만, 충분한 컴퓨팅 파워와 저장 공간이 로컬에서 필요합니다.
Q: GELab-Zero-4B-preview의 일반적인 하드웨어 요구사항은 무엇인가요?
답변: 일반적으로 단일 카드 GPU 또는 8–12GB VRAM의 고급 CPU 사용을 권장하며, 이는 고압축 양자화가 가능한 저가형 기기(예: Q4)에서 경험할 수 있지만, 추론 품질과 속도는 저하됩니다.
Q: 이미 제 멀티모달/언어 모델이 있는데, GELab-Zero에 직접 연결할 수 있나요?
답변: 네. 기본 GELab-Zero-4B-preview는 대화형 추론 서비스가 HTTP 또는 유사한 인터페이스를 통해 제공되고 프로젝트 문서에서 합의된 요청 및 메시지 형식을 따르는 한 교체할 수 있습니다.
Q: AndroidDaily 벤치마크를 모델 평가에 별도로 사용할 수 있나요?
답변: 네. 저장소와 공식 웹사이트는 정적 및 종단 간 두 가지 평가 방법을 제공하며, 독립적으로 데이터와 스크립트를 다운로드하여 자체 GUI 에이전트 모델에 대한 비교 실험을 수행할 수 있습니다.
