HPC-Opsの生産効果を評価する方法:QPS/QPMと原価計算の違い

HPC-Opsのオープンソース解釈:騰訊のHunyuan本番用LLM推論オペレーターライブラリがH20のような推論カードの性能をいかに絞り出すか

1. 要旨 HPC-Opsは、騰訊のHunyuan AI Infraチームによるオープンソースの実用グレードLLM推論オペレーターライブラリであり、主流の推論カード(特にNVIDIA Hopper/SM90、例えばH20)をハードウェアの利用率に近づけることを目的としています。 このプロジェクトは、...