llama.cpp
llama.cpp가 로컬 추론의 토대에서 어디에 놓이는지 보여주고, GGUF와 양자화가 크로스 플랫폼 실행을 어떻게 받치는지, 바로 쓰는 도구와 역할이 어떻게 갈리는지 정리한다.
llama.cpp는 로컬 LLM 생태계의 토대에 있는 오픈소스 추론 엔진으로, Mac, Linux, Windows, 서버, 엣지 기기에서 양자화 모델을 실행한다. GGUF 같은 로컬 형식을 지원하고 저자원 추론과 크로스 플랫폼 실행을 중시하기 때문에 한 번에 실행되는 도구 상당수가 비슷한 능력 위에 세워진다. 완성된 자동차보다 엔진에 가까워 명령줄, 모델 형식, 하드웨어 가속은 직접 다듬어야 한다.
