騰訊環源は Hy4プレビューをリリースし、オープンソース化しました。この新世代の旗艦MoE大型モデルは、総パラメータが770B、トークン1回あたり49B、ネイティブコンテキスト長が1MBに延長されています。単にランキングを追うのではなく、Tencentはコーディング、オフィスワーク、ゲーム開発、科学研究などの実際の生産性作業により重点を置いています。
770B MoEが100万のコンテキストを要求
Hy4プレビューバックボーンは78層で構成されており、そのうち77層がMoEを使用しています。各層には256人のルーティングエキスパーと1人の共有エキスピーターが配置されており、各トークンはトップ8ルーティングエキスパートを起動します。モデル還元により、推測的復号のためのMTP層が追加されます。
注意アーキテクチャはゲートDSAを使用し、IndexCacheによるクロスレイヤースパースインデックスの多重化と組み合わせ、残留経路におけるiHC導入です。Tencentは、前世代と比較してHy4プレビューがモデルのスケール、コンテキスト、トレーニングデータを同時に拡張していると述べています。
ベンチマークから実際の生産性への転換
Tencentは 、AIプログラミング、オフィス分析、ゲーム開発、科学研究 をHy4 Previewのコアシナリオとして挙げており、内部ソフトウェアエンジニア、ファイナンシャルアナリスト、セキュリティ専門家の実務作業を学習データに取り入れ、CodeBuddyやWorkBuddyとの協力も継続しています。
テンセントの内部ブラインドテストでは、163人の専門家が203のエンジニアリングタスクを評価しました。Hy4のプレビューは平均2.99/4で、GLM 5.3に対して46.8%、Kimi K3に対して51.2%の勝率を記録しました。このデータセットはさらに、テンセントが標準化されたベンチマークだけでなく複雑なタスクの完了に向けてモデル競争を推進していることを示しています。
オープンソースの重みがエージェントエコシステムを掌握
Hunyuan Hy4はオープンソース で同期的に元の重みとFP8バージョンをカバーし、Apache-2.0ライセンスを使用し、vLLMやSGLangによる展開をサポートし、OpenAI互換APIによる呼び出しも可能です。このモデルはHugging Face、ModelScope、GitCodeなどのプラットフォームでリリースされています。
770Bのトータルパラメータスケールは、Hy4プレビューが通常の個人デバイスよりもサーバーレベルの展開により適していることも意味します。Tencentにとって、オープンソースはAIエージェント、エンタープライズオフィス、開発ツールのモデル基盤ポジションを真に争っており、CodeBuddyとWorkBuddyは実際のタスクデータを継続的に返すための入口を提供しています。
プレビューのアイデンティティも改善の余地を明確に残しています。Tencentは、現行バージョンが複雑なタスクに対して過度に長く考えすぎたり、過剰な自己検証といった問題を依然として抱えていることを確認しています。Hy4の公式バージョンが長いコンテキストと複雑なタスク機能を維持しつつ推論コストを削減できるかどうかが、「オープンソースのフロンティアモデル」から大規模な本番環境へと移行できるかどうかを決定づけます。
