DeepInfer는 DeepSeek이 GitHub에 공개한 추론 프레임워크로, 조직 이름은 deepseek-ai, 프로젝트 이름은 DeepInfer이며 Apache 2.0 라이선스를 사용합니다. DeepSeek의 대규모 상용 서비스를 지탱하는 추론 프레임워크라고 스스로 설명하며, 출시 시점에는 DeepSeek-V4.1-Flash라는 모델 하나만 지원합니다. 결론부터 말하면, DeepSeek이 대규모 추론을 어떻게 하는지 연구하고 싶다면 읽어볼 가치가 있지만, 그대로 가져다 외부 서비스를 제공하고 싶다면 빠진 부분은 직접 채워야 합니다.
공식 저장소에 들어 있는 것
저장소에는 DeepSeek이 그간 오픈소스로 공개해 온 커널이 들어 있습니다. FlashMLA, DeepGEMM, DeepEP에 더해 TileLang으로 작성한 새 커널이 있고, 추측 디코딩 방식의 이름은 DSpark이며 구조화된 출력도 지원합니다. 프레임워크는 vLLM에서 발전했고 SGLang과 TensorRT-LLM의 발상도 흡수했습니다. 하드웨어는 딱 두 종류만 지원합니다. 이 세대의 NVIDIA SM100 데이터센터 GPU와 Huawei Ascend 950입니다. 환경 요구사항은 구체적입니다. Linux, GCC 13 이상, Python 3.12, NVIDIA 경로는 CUDA 13, Ascend 경로는 CANN 9.2입니다. 기본 가중치는 Hugging Face의 DeepSeek-V4.1-Flash-1017이며 첫 실행 때 자동으로 내려받습니다.
저장소에 없는 세 가지
DeepSeek은 저장소 자체 설명에서 완전한 추론 서비스에 여전히 필요하지만 이번에는 공개되지 않은 세 부분을 분명히 밝혔습니다. 키-값 캐시 시스템, 프리필과 디코드를 서로 다른 머신 풀로 나누기 위한 인프라, 데이터 병렬 복제본 간의 부하 분산입니다. 즉, 저장소가 주는 것은 추론 코어이지 바로 쓸 수 있는 상용 서비스가 아닙니다. 단일 클러스터가 하루 155조 토큰을 처리하고 비수기 요금으로 카드당 시간당 38달러의 수익을 낸다는 공식 수치는 DeepSeek 자체의 주장으로 독립적인 검증을 받지 않았습니다. 참고로만 받아들이고, 자신의 배포 이후 약속으로 받아들여서는 안 됩니다.
배포 비용과 실제 함정
먼저 하드웨어 문턱입니다. 일반 노트북과 소비자용 GPU는 지원 범위를 벗어나므로 출발점은 데이터센터 GPU나 Ascend 카드에 드라이버와 빌드 환경을 더한 구성이 되며, 개인 개발자가 로컬에서 실행하는 것은 기본적으로 고려 대상이 아닙니다. 함정은 세 가지입니다. 공개된 지 한 달이 채 되지 않아 문서와 버전이 빠르게 바뀌고 있어 오래된 튜토리얼을 그대로 따라 하면 실행되지 않을 수 있습니다. V4.1-Flash라는 모델 하나만 지원하므로 모델을 바꾸려면 다른 프레임워크를 찾아야 합니다. 빠진 캐시와 부하 분산 부분을 채우려면 코드 전체를 읽어내야 합니다. 추론 서비스를 운영하는 엔지니어와 팀이 상용 수준의 추론 구현을 배우기에는 적합합니다. 모델을 호출하기만 하고 싶은 사람에게는 맞지 않습니다. DeepSeek API나 그대로의 vLLM을 쓰는 편이 훨씬 수월합니다.
