MoE 추론에서 HPC-Ops의 가치: fusedMoE가 오버헤드를 줄이는 방법

HPC-Ops 오픈 소스 해석: 텐센트의 훈위안 생산급 LLM 추론 연산자 라이브러리가 H20과 같은 추론 카드의 성능을 어떻게 압도하는가

1. 초록 HPC-Ops는 텐센트의 Hunyuan AI 인프라 팀이 개발한 오픈소스 생산용 LLM 추론 연산자 라이브러리로, 주류 추론 카드(특히 H20과 같은 NVIDIA Hopper/SM90)를 하드웨어 활용도를 한층 더 가깝게 만드는 것을 목표로 하고 있습니다. ...