DeepSeek의 추론 프레임워크 DeepInfer가 2026년 10월 20일 오픈소스로 공개됐다. DeepSeek는 자사의 대규모 운영 서비스를 떠받치는 추론 프레임워크를 GitHub 공식 저장소 deepseek-ai/DeepInfer에 Apache-2.0 라이선스로 올렸다. 첫 오픈소스 버전은 오프라인 추론을 제공하며, 현재 지원하는 모델은 DeepSeek-V4.1-Flash 하나뿐이다.
공개된 것의 실제 수준
커널 층에는 FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect 등 자체 개발 연산자가 함께 들어 있다. 런타임은 어텐션 데이터 병렬과 균형 잡힌 컨텍스트 병렬, EPLB 로드 밸런싱을 곁들인 MoE 전문가 병렬을 지원한다. 디코딩 쪽에는 DSpark와 신뢰도 스케줄링 검증, 슬라이딩 윈도우 어텐션의 유계 리플레이가 있다. 스케줄러는 비동기로 동작하며 오버헤드 없는 배치 스케줄링을 내세운다. 배치 불변 추론, 결정적 샘플링, 정규식과 JSON Schema, EBNF로 제약하는 구조화 출력도 지원한다.
성능과 하드웨어 전제 조건
공식 성능 그래프는 프리필을 SM100 GPU 4장, 디코딩을 64장으로 측정한 것이다. 지원 하드웨어는 NVIDIA SM100 GPU와 화웨이 Ascend 950 NPU이며 GCC 13과 Python 3.12가 필요하고, NVIDIA 쪽은 CUDA 13, Ascend 쪽은 CANN 9.2가 요구된다. 이 프레임워크는 원래 주로 vLLM 위에 구축됐고 SGLang과 TensorRT-LLM에서도 영감을 받았다. 이 사이트에서 앞서 다룬 DeepSeek-V4.1-Flash-1017이 현재 유일하게 지원하는 모델이다.
빠진 부분이 오히려 가장 따라 하기 어렵다
저장소 설명은 솔직하다. 완전한 추론 서비스에는 KV 캐시 시스템, 프리필과 디코딩의 분리(엔진 쪽 필요 기능 대부분은 이미 구현됨), 데이터 병렬 복제본 사이의 로드 밸런싱이 더 필요하며, 이 세 가지는 이번 공개 범위에 들어 있지 않다. 즉 외부에 주어진 것은 엔진과 변속기이고, 연료 라인과 관제 센터는 직접 만들어야 한다. DeepSeek 모델을 직접 서빙하려는 팀에게는 커널을 처음부터 튜닝할 부담이 줄어든다. vLLM, SGLang 같은 기존 프레임워크에게는 DeepSeek 운영 시스템의 설계 선택을 처음으로 줄 단위로 비교할 기회가 생긴다. 배치 불변성과 결정성에 성능을 얼마나 쓸 가치가 있는지, 비동기 스케줄링이 CPU 오버헤드를 어디까지 숨기는지가 드러난다.
이 공개를 주목해야 하는 이유
지난 2년간 DeepSeek의 오픈소스는 모델 가중치와 개별 커널 라이브러리가 중심이었고, 프레임워크 층은 이름만 알려져 있었다. 운영 프레임워크 전체를 공개한 영향은 먼저 추론 비용에 미친다. 중소 팀이 V4.1-Flash를 배포할 때 범용 프레임워크의 기본 설정에서 출발하지 않아도 된다. 또 하나의 영향은 Ascend 생태계에 있다. DeepInfer는 Ascend 950을 일급 하드웨어로 취급하며, DeepSeek가 앞서 공개한 커널 라이브러리의 Ascend 이식 흐름과 한 줄기로 이어진다. 냉정한 주석도 필요하다. 저장소는 10월 16일에 만들어졌고 지금은 오프라인 추론만 제공하므로, 운영급 온라인 서비스까지는 아직 거리가 있다. 마이그레이션에 투자할 가치가 있는지는 앞으로 몇 주의 업데이트 속도와 이슈 대응 속도를 보고 판단해야 한다.
