Edge0-145B를 로컬에서 실행할 수 있을지는 메모리 계산이 맞는지에 달려 있습니다. 공식 수치인 29GB 피크 메모리는 GPU 쪽 피크를 말하는 것으로, 컴퓨터 전체가 29GB 메모리면 된다는 뜻이 아닙니다. 145B 파라미터 MoE 모델은 추론 한 단계에 실제로 약 10B 파라미터를 사용하며, 공식 설명은 호환되는 노트북에서 로컬 실행이 가능하다는 것입니다. 하지만 실행하기 전에 그래픽카드, 시스템 메모리, 저장 공간 세 가지 수치를 합산하고, 공식 설치 안내에서 자신의 시스템과 그래픽카드가 지원되는지 먼저 확인하세요.
29GB라는 숫자 뒤에는 세 가지 내역이 있습니다
| 위치 | 공식 수치 | 용도 |
|---|---|---|
| GPU 쪽 | 피크 29GB | 추론 시 VRAM을 가장 많이 쓰는 부분 |
| 시스템 메모리 | 약 40GB | 전문가 라이브러리, 필요할 때 GPU로 불러옴 |
| SSD | 약 48GB | 어휘 데이터, 필요할 때 읽음 |
공식 블로그는 이 방식을 "4층 설계"라고 부릅니다. 전문가 행렬은 전문가 그룹 간에 공유되고 CPU와 GPU가 함께 계산합니다. 29GB만 보고 기기를 사면 계산이 틀립니다.
세 단계로 내 컴퓨터를 확인하세요
- 먼저 그래픽카드와 운영체제를 확인하세요. 공식 블로그는 호환 노트북을 예로 들지만, 지원 범위는 공식 설치 안내가 기준입니다. 자신의 시스템과 GPU 모델이 맞는지 먼저 대조하세요.
- 그다음 메모리와 저장 공간을 합산하세요. GPU 피크 29GB 외에도 약 40GB의 시스템 메모리와 약 48GB의 SSD 여유 공간이 필요합니다. 세 가지 모두 빠지면 안 됩니다.
- 마지막으로 구하는 곳을 확인하세요. 모델 가중치는 Hugging Face에, 추론 프레임워크와 Edge0 App은 GitHub에 있습니다. 다운로드 전에 라이선스를 먼저 읽으세요. 추론 프레임워크는 Apache-2.0, 모델 가중치는 Edge0 Community Model License 1.0이며, 상업적 사용 전에는 두 라이선스를 반드시 꼼꼼히 읽어야 합니다.
피크 메모리, 초당 80토큰 이상의 디코딩 속도, 128K–256K 컨텍스트, 여섯 개 항목 평균 72.8점이라는 벤치마크는 모두 Edge0의 내부 테스트 수치로, 독립적인 제3자의 재현은 아직 없습니다. 그대로 손에 넣을 수 있는 성과라고 여기지 마세요. 공식 설명은 로컬 추론에는 클라우드 토큰이나 API 요금이 없고 데이터가 내 컴퓨터에 남는다고 하지만, 하드웨어와 전기 요금은 직접 부담해야 합니다. 공식적으로 밝힌 일반적인 소비 전력은 약 120W이므로 노트북의 발열과 전원도 계산에 넣어야 합니다. 대형 모델을 실행하는 것은 메모리 숫자만의 문제가 아닙니다.
