HPC-Ops를 위한 융합 모자(FusedMoE) 정량화: FP8을 위한 전문가 가중치 엔지니어링 세부사항

HPC-Ops 오픈 소스 해석: 텐센트의 훈위안 생산급 LLM 추론 연산자 라이브러리가 H20과 같은 추론 카드의 성능을 어떻게 압도하는가

1. 초록 HPC-Ops는 텐센트의 Hunyuan AI 인프라 팀이 개발한 오픈소스 생산용 LLM 추론 연산자 라이브러리로, 주류 추론 카드(특히 H20과 같은 NVIDIA Hopper/SM90)를 하드웨어 활용도를 한층 더 가깝게 만드는 것을 목표로 하고 있습니다. ...