Flint가 노트북에서 실행되는지는 먼저 메모리가 48GB에 닿는지부터 봐야 합니다. Flint는 Recursive가 2026년 10월 21일에 공개한 오픈소스 코딩 모델로, 전체 파라미터 약 39.8B, 토큰당 약 2.5B 활성화, 모델 카드 기준 컨텍스트 262,144 토큰, 라이선스는 Apache 2.0입니다. 공식 로컬 경로는 분명합니다. 4비트 양자화 가중치는 약 22.6GB에서 22.9GB, 최소 48GB의 통합 메모리나 GPU 메모리를 권장하고, Apple 실리콘에서는 공식 추론 엔진을 실행하려면 M4 Pro, M5 Pro 또는 M5 Max가 필요합니다. 메모리가 그 수준에 닿지 않으면 아직 다운로드하지 마세요. 다운로드해도 들어가지 않고 안정적으로 실행되지 않습니다.
Flint가 빠른 이유는 활성화량에 있습니다. 40B 파라미터는 모두 메모리에 담아야 하지만 각 토큰은 약 2.5B만 계산하므로 단계별 계산량이 작고, M4 Pro의 공식 엔진은 짧은 컨텍스트에서 초당 125 토큰을 넘는 디코드 속도를 낼 수 있습니다. 속도 수치에는 조건이 있습니다. 짧은 컨텍스트, 단일 스트림 디코딩, 공식 엔진입니다. 컨텍스트가 길어지면 키-값 캐시가 차지하는 메모리가 늘고 속도가 떨어지므로, 긴 저장소 질의응답은 시간을 추정하기 전에 소규모 테스트를 먼저 하세요. 가중치 형식도 올바르게 골라야 합니다. BF16 전체 정밀도는 약 80GB로 데이터센터 그래픽 카드를 겨냥합니다. 노트북은 공식 INT4 또는 NVFP4 양자화 빌드를 쓰고, 커뮤니티 GGUF 빌드는 도구 체인이 이미 Flint 아키텍처를 지원하는지 확인해야 합니다. 오래된 llama.cpp 빌드는 새 아키텍처를 인식하지 못할 수 있습니다. Flint는 코딩 전용 모델입니다. 코드 작성, 저장소 탐색, 버그 수정, 테스트 작성이 본업이며, 일상 채팅이나 일반 질의응답은 강점이 아니므로 만능 채팅 모델과 비교하지 마세요.
시도해 볼 사람과 아직 시도하지 말아야 할 사람
시도하기에 적합한 사람은 Mac에서 48GB 이상의 메모리나 64GB 그래픽 카드를 갖고 있고, 로컬에서 코딩 에이전트를 실행해야 할 실제 필요가 있는 사람입니다. 공식 양자화 가중치와 공식 엔진으로 시작해 짧은 컨텍스트가 동작하는 것을 확인한 뒤 길게 늘리세요. 아직 시도하지 말아야 할 사람은 메모리 16GB, 24GB의 일반 노트북 사용자로, 가중치가 들어가지 않고 억지로 실행하면 페이징만 반복돼 쓸 수 없을 정도로 느려질 뿐입니다. 그리고 가끔 코드 질문 두어 개만 하는 사람도 호스팅 API나 무료 온라인 진입점을 쓰는 편이 더 빠릅니다. 결정하기 전에 세 가지를 재세요. 메모리 용량, 남은 디스크 공간, 다룰 저장소의 컨텍스트 길이입니다. 세 가지가 모두 기준을 통과해야 다운로드하고, 하나라도 통과하지 못하면 먼저 호스팅 서비스를 쓰세요. 모델을 로컬에서 실행하면 사용량 과금은 아낄 수 있지만 하드웨어와 시간이 듭니다. 계산은 함께 해야 합니다.
