Kimi K3의 AMD Instinct MI355X 추론 최적화는 vLLM 공식 블로그가 2026년 10월 16일 공개한 기술 분석의 결과입니다. AgentX 에이전트 부하에서 vLLM으로 구동하는 8개 MI355X 시스템은 GPU당 초당 총 토큰 수에서 NVIDIA HGX B300보다 24.4% 높았고, 보고서가 채택한 비용 모델로는 달러당 토큰 수가 87.4% 많았습니다. 데이터는 SemiAnalysis의 InferenceX 공개 곡선을 근거로 하며 벤치마크 스냅샷은 2026년 10월 9일 기준입니다.
먼저 비교의 기준부터 확인
비교 조건은 사용자당 초당 50토큰의 P90 상호작용 속도이며, 이때 MI355X는 약 7567토큰/초/GPU, B300은 약 6083입니다. 두 칩 모두 288GB HBM3E 메모리와 8TB/s 피크 대역폭으로 같고 피크 연산 성능은 B300이 오히려 높으므로, 격차는 하드웨어 사양이 아니라 소프트웨어 스택에서 나왔습니다. AgentX는 실제 코딩 에이전트 세션 궤적을 재생하고 이론적 접두사 재사용률이 96%를 넘어, 정확히 이 최적화가 효과를 내는 조건입니다. 재사용 없는 짧은 요청 부하에 결론을 그대로 옮길 수는 없습니다.
최적화는 세 곳의 중복을 잘랐다
첫째는 캐시입니다. 기존에는 각 GPU가 MLA 이력 전체를 보관했지만, 8방향 디코딩 문맥 병렬을 적용하면서 각 카드는 8분의 1만 보관해 142000토큰 대화의 캐시 점유는 약 1.96GB에서 약 245MB로 줄었고, 넘치는 상태는 호스트 메모리로 내립니다. 둘째는 MoE 계산으로, 라우팅 전문가의 출력 투영은 기존에 8장의 카드에서 8번 중복 계산됐지만 좌표를 나눠 각 카드가 자기 몫만 계산하고 기존 전체 축소 연산으로 완전한 결과를 재조립합니다. 셋째는 커널 융합과 무용 복사 제거로, 디코딩 한 단계당 69회의 불필요한 복사가 사라지고 여러 직렬 커널이 단일 실행으로 합쳐졌습니다.
도입 판단에 주는 의미
이 결과의 의미는 한 번의 벤치마크 승리가 아니라, 같은 모델이라도 칩 플랫폼이 달라지면 추론 프레임워크 최적화의 깊이가 가성비 순위를 다시 쓸 수 있음을 보여준 점입니다. 보고서의 GPU 시간당 비용 모델은 MI355X 1.50달러, B300 2.26달러로, 단가 차이와 처리량 차이가 겹쳐 달러당 토큰 수 87.4% 차이가 났습니다. 실제 구매에서는 클라우드 가격, 공급, 자사의 캐시 적중률이 별도로 작용합니다. 에이전트 서비스용 하드웨어를 고르는 팀이 가져갈 행동은 구체적입니다. 먼저 자체 세션 궤적으로 접두사 재사용률을 재고, 그다음 스택 전체 처리량을 비교해야 하며 칩 피크 수치표만 봐서는 안 됩니다.
