MoEモデル

CursorがBlackwellのMoEデコーディングパスを書き直し、Composerの反復を高速化

Cursor は最近、 Blackwell GPU で MoE model のトークン生成パスを再構築し、このメソッドをwarp decodeと名付けたことを明らかにしました。公式には、この低レベルの最適化は推論スループットを1.84 倍に向上させ、出力をFP32の参照値に近づけます。関連する改善は...