2026년 11월 12일, Edge0은 공식 블로그를 통해 Edge0-145B와 더 작은 Edge0-120B를 오픈소스로 공개한다고 발표했다. 추론 프레임워크와 배포 도구도 함께 공개된다. Edge0-145B는 세계 최초의 오픈소스 1450억 파라미터 온디바이스 모델로, 코딩과 추론, 에이전트 작업을 클라우드에서 개인 컴퓨터로 옮기는 것이 목표다. 코드는 Apache 2.0 라이선스로 공개되고, 가중치는 Hugging Face에 올라 있다.
145B 파라미터를 노트북에 어떻게 넣나
핵심은 '한 번에 돌아가는 것은 극히 일부'라는 점이다. 145B는 전체 파라미터 수이고, 한 번의 추론에 실제로 참여하는 것은 약 100억 개뿐이다. 64명의 전문가가 두 개의 큰 행렬을 공유하고, 각자는 소량의 전용 파라미터만 갖는다. 불러오기도 세 단계로 나뉜다. 자주 쓰는 전문가는 GPU 메모리에 남기고, 약 40GB의 전문가 라이브러리는 시스템 메모리에, 약 48GB의 어휘 데이터는 SSD에 두고 필요할 때 읽는다. 읽기와 계산이 겹치고, CPU와 GPU가 병렬로 움직이며, 추측 디코딩이 여러 후보 토큰을 한 번에 검증한다. 공개된 수치는 피크 메모리 29GB, 프리필 초당 1100 토큰 이상, 디코딩 초당 80 토큰 이상, 컨텍스트 128K~256K, 표준 전력 약 120W다. 출시 첫날부터 macOS, Windows, Linux를 지원하고, Apple M 시리즈 칩과 NVIDIA RTX 플랫폼을 포함한다. 이 수치는 Edge0 내부 테스트에서 나온 것으로, 제3자의 독립적인 재현은 아직 없다.
벤치마크는 클라우드 수준, 단점도 분명하다
Edge0 내부 평가에서 Edge0-145B는 DeepSWE 1.1에서 64.6점을 기록해 Qwen3.8-Flash-Next의 58.7점을 앞섰다. Terminal-Bench 2.1에서는 86.52점, GPQA-Diamond에서는 90.4점, 여섯 개 벤치마크 평균은 72.8점이며, 메모리 사용량은 비슷한 수준의 기준 모델의 약 40%다. 데모에서는 Blender로 맨해튼 거리 장면을 만들고, 실제 드론이 빨간 배낭을 찾게 하는 프로그램을 짜고, KiCad에서 회로 기판을 처음부터 그려 조립 애니메이션으로 만드는 일까지 모두 로컬에서 해냈다. 다만 로컬 모델의 문턱이 사라진 것은 아니다. 피크 메모리 29GB로는 일반적인 16GB 메모리 노트북은 돌릴 수 없고, 48GB 기종이 대상이다. 이는 1T 파라미터 Mistral Large 4가 가중치를 공개했을 때와 같은 결론이다. 다운로드할 수 있다는 것과 누구나 돌릴 수 있다는 것은 다르다. 이전의 Ollama 같은 로컬 도구가 작은 모델을 쓰기 쉽게 만들었다면, Edge0은 반대쪽에 걸고 있다. 큰 모델 자체를 작고 저렴하게 만들어 개인 기기에 넣겠다는 방향이다.
개발자에게 진짜 변화는 벤치마크 점수가 아니라 계산 방식이다. 로컬 추론에는 토큰 요금이 없고, 코드와 데이터는 자기 기기에 둔 채 오프라인에서도 작업을 이어갈 수 있다. 대신 하드웨어와 전기료는 직접 부담해야 하고, 모델 업데이트와 장기 기억, 최신 정보 확인에는 여전히 클라우드가 필요하다. 9월에 Hugging Face 트렌드 1위에 오른 Edge0-35B의 열기를 145B가 재현할 수 있을지는 커뮤니티 실측이 공식 수치를 뒷받침하느냐에 달려 있다.
