2026년 8월 21일, RadixArk SGLang 팀과 Ant Ling 인프라 팀은 LMSYS 공식 블로그를 통해 Ling-3.0-flash의 단일 요청 디코딩 최적화 결과를 발표했습니다. 4개의 NVIDIA Blackwell GPU, TP4, bf16, 동시성이 1로 설정된 고정 환경에서, 최적화된 NEXTN 경로는 평균 출력 처리량을 288 tok/s에서 606 tok/s로 증가시키고, 평균 출력 토큰 시간을 3.33밀리초에서 1.53밀리초로 단축시켰습니다.
왜 배치 1은 최적화가 어려운가요?
이 결과는 단일 요청만 연속적으로 디코딩되는 저동시성 상황에 적용됩니다. 대규모 시작 및 스케줄링 오버헤드 공유 요청이 없으면, CPU와 GPU 간의 동기화와 작은 커널 시작 지연은 사용자 대기 시간을 직접 반영하여 고처리량 배치 처리보다 시스템 오버헤드를 숨기기 어렵게 만듭니다.
성능은 단일 코어로 두 배가 되는 것만이 아닙니다
팀은 먼저 호스트가 매 단계에서 멈추게 하는 CPU 시퀀스 길이 동기화를 제거하여 호스트 준비와 GPU 실행이 겹칠 수 있도록 했습니다; 그 다음, 프로그래밍 의존성 시작을 통해 MoE, 라우팅, KDA, 총 감원 경로를 연결하여 작은 코어 간의 간극을 줄입니다. 나머지 최적화에는 연산자 융합, KDA 재보정, 라우팅 게이트 및 출력 헤드 계산을 fp32에서 bf16으로 조정하는 것도 포함됩니다.
이러한 변화들은 모두 중요한 경로를 단축시켰습니다. 공식 설명에 따르면, BF16 라우터 게이트와 출력 헤드가 구조 조정 후 가장 큰 단일 변경 사항으로, 약 10% 개선을 가져왔습니다. 팀은 단기 피크에만 집중하지 않고 토큰당 평균 시간과 수락 기간을 이용해 안정성을 평가했습니다.
DSpark는 최적화에 '더 많은 토큰 추측'도 포함시켰습니다
같은 보고서는 또한 DSpark 신뢰도 스케줄링 가측 디코딩도 테스트했습니다. 동일한 기계, 동일한 명령어, 1000건의 요청을 통제된 비교에서 DSpark는 평균 1120 tok/s, 0.78ms TPOT, 평균 수용 길이 9.95를 달성했습니다. 이 기술의 장점은 단일 단계에 빠를 뿐만 아니라, 검증당 더 많은 예측 토큰을 제출할 수 있다는 점입니다.
하지만 1120 tok/s가 모든 작업에 대한 보편적인 속도로 직접적으로 간주될 수는 없습니다. 테스트는 고정된 8192 토큰 입력, 1024 토큰 출력, 탐욕 디코딩, 합성 무작위 부하를 사용합니다; 팁 내용, 출력 분포, 컨텍스트 길이, 샘플링 설정, 하드웨어 등이 투기적 토큰의 수락률에 영향을 미칩니다. 공식 성명서도 9.95를 모델의 고유한 상수가 아닌 이 작업량에서의 결과로 명확히 다룹니다.
파병 팀에 어떤 의미가 있나요?
이 최적화는 모델 매개변수나 답변 품질을 변경하지 않았으며; 변한 것은 추론 시스템이 호스트 작업, GPU 커널, 초안 검증을 어떻게 배열하는가였습니다. 낮은 동시성 지연은 종종 스케줄링, 통신, 수치 정확도, 그리고 추측적 전략에 걸쳐 나타나기 때문에, 그래픽 카드 컴퓨팅 파워만으로 진정한 속도를 설명하기 어렵습니다.
재현 실험은 하드웨어, SGLang 버전, 입출력 길이, 디코딩 매개변수를 잠가야 하며, TPOT, 처리량, 정확성을 비교해야 합니다. 실험 수치를 서로 다른 GPU나 비즈니스 트래픽에 직접 적용하면 쉽게 지나치게 낙관적인 용량 추정치가 나옵니다.
