돌릴 수 있다. 다만 풀 버전을 그대로 스마트폰에 넣지는 말자. iFlytek이 Spark X2.6에서 오픈소스로 공개한 것은 온디바이스 소형 모델 Spark-X2.6-4B뿐이며 라이선스는 Apache 2.0이다. 스마트폰에서 돌아가는 것은 INT4나 GGUF 양자화 버전이다. 일반 스마트폰에서 쓰려면 먼저 메모리가 충분한지 확인하고 양자화 버전을 설치한 뒤, 가벼운 일만 맡긴다고 받아들여야 한다. 293B 클라우드 플래그십의 가중치는 공개되지 않았다. 둘을 헷갈리지 말자.
- 공개된 것은 4B뿐: 10월 22일 1024 개발자의 날에 발표됐으며, 293B 플래그십은 API 체험만 제공하고 가중치는 비공개다.
- 스마트폰에서 도는 것은 양자화 버전: BF16 풀 버전은 너무 무겁다. INT4, GGUF 양자화 버전이 스마트폰과 경량 기기로 들어가는 입구다.
- 공식 경로는 세 가지: Hugging Face의 XHToken 조직, ModelScope의 INT4 버전, Ollama의 SparkLLM 명의 모델.
- 온디바이스 모델은 가벼운 일만 한다: 민감한 데이터와 간단한 조작, 즉각적인 상호작용을 로컬에서 처리하고 복잡한 추론은 클라우드 플래그십에 맡긴다.
스마트폰에서 돌리는 세 단계
첫째, 버전 선택. 스마트폰에서는 INT4나 GGUF를 우선하고 BF16 풀 가중치는 건드리지 않는다. 둘째, 채널 선택. Hugging Face의 XHToken 조직에서 가중치를 내려받거나, 중국 내 다운로드라면 ModelScope의 동명 INT4 저장소를 쓰고, 원클릭으로 시험해 보려면 Ollama에서 SparkLLM 명의 모델을 가져온다. 셋째, 분담 결정. 로컬 모델이 먼저 의도 파악과 민감 정보 마스킹, 가벼운 조작을 맡고, 긴 문서 검색이나 어려운 코딩 같은 무거운 일은 클라우드로 넘긴다. iFlytek이 공개한 온디바이스 에이전트 작업 커버율은 41.9%로, 복잡한 작업의 절반 이상은 원래부터 클라우드가 필요하다는 뜻이다. 스마트폰을 서버처럼 쓰지 말자.
한계와 오해
공식적으로 지원 스마트폰 기종 목록이 없고, 기종별 첫 토큰 지연이나 초당 생성 토큰 수도 공개되지 않았다. 구체적인 스마트폰 벤치마크를 보거든 출처부터 확인하자. 메모리가 첫 번째 관문이다. 양자화 버전이라도 실행 메모리가 충분히 필요하고, 상주 실행하면 배터리를 먹고 발열도 생긴다. 또 하나 흔한 오해. 온디바이스·클라우드 협업이란 플래그십 모델을 스마트폰에 욱여넣는 것이 아니라, 로컬 4B 모델이 먼저 판단해 어떤 단계를 클라우드로 보낼지 정하는 것이다. 스마트폰에서도 돌지만 PC가 더 안정적이다. 무거운 코딩과 장시간 에이전트 작업은 클라우드 API를 직접 쓰는 편이 낫다.
라이선스도 걱정할 필요가 없습니다. Spark-X2.6-4B는 Apache 2.0을 사용하므로 상업적 이용이나 2차 개발에 별도의 허가가 필요 없고, 수정해서 재배포할 때는 라이선스에 따라 필요한 표시를 남기면 됩니다.
