ToolNavs 便利なAIツールを発見
ツール投稿 ログイン

LLM 推論最適化

要求の並べ方を変えるだけで、同じ GPU の処理量は数倍変わります。連続バッチ処理、投機的デコード、KV キャッシュ、コンテキストキャッシュがそれぞれどの段階の負荷を減らすのか、カーネルライブラリやスパース構造でどこまで詰められるのかを整理します。

連続バッチ処理は単位を生成一步に縮め、投機的デコードは小さなモデルの下書きを大きなモデルがまとめて検証します。KV キャッシュは注意状態を再利用し、コンテキストキャッシュは繰り返し送る長文の結果を保持します。MoE は少数の専門家だけを動かし、Kimi Linear は百万コンテキストの KV キャッシュを約 75% 削ります。効果は用途次第で、コードは長い下書きに向き、自由な創作はそうでもありません。
Infinigence、23億元のシリーズCを完了 累計43億元はAIインフラ分野で最高記録

Infinigence、23億元のシリーズCを完了 累計43億元はAIインフラ分野で最高記録

無問芯穹(Infinigence AI)は2026年10月12日、投資界、澎湃新聞、証券時報などの報道により、23億元のシリーズCラウンドを完了したことが明らかになった。創業以来の累計調達額は43億元に達し、単一ラウンドと累計のいずれも中国のAIネイティブ・インフラ分野で最高記録となる。2023年に...

Admin
110
Project Beacon開始:BasetenとGoodfireが安全シグナルをオープンモデルの推論に組み込む

Project Beacon開始:BasetenとGoodfireが安全シグナルをオープンモデルの推論に組み込む

Project Beaconは2026年10月9日にBasetenが公式ブログで発表した取り組みで、パートナーはGoodfire AI。能動的な安全制御をオープンモデルの推論過程そのものに組み込むことを目指す。出力後にテキストフィルターをかけるのではなく、生成中にモデルの内部活性化を読み取り、プロー...

Admin
112