Tencent Hunyuan a publié et rendu Hy4 Preview en open source. Ce modèle MoE de nouvelle génération phare, un grand modèle, a un paramètre total de 770 milliards, 49 milliards par activation de jeton, et la longueur du contexte natif a été portée à 1 Mo. Plutôt que de simplement courir après les classements, Tencent accorde plus d’importance à des tâches réelles de productivité telles que le codage, le travail de bureau, le développement de jeux et la recherche scientifique.
Le 770B MoE appuie sur 1M de contexte
La dorsale de prévisualisation Hy4 contient 78 couches, dont 77 utilisent MoE, chaque couche est configurée avec 256 experts en routage et 1 expert partagé, et chaque jeton active l’expert en routage Top-8. La réduction des modèles ajoute une couche de MTP pour le décodage spéculatif.
L’architecture d’attention utilise DSA gateté, combinée à IndexCache multiplexant des index clairsemés inter-couches, et introduit iHC dans les chemins résiduels. Tencent indique qu’à la génération précédente, Hy4 preview étend simultanément l’échelle du modèle, le contexte et les données d’entraînement.
Passage du benchmarking à la productivité réelle
Tencent a listé la programmation en IA, l’analyse de bureau, le développement de jeux et la recherche scientifique comme scénarios clés pour Hy4 Preview, avec des données d’entraînement intégrant des tâches réelles provenant d’ingénieurs logiciels internes, d’analystes financiers et d’experts en sécurité, et continue de collaborer avec CodeBuddy et WorkBuddy.
Dans le test interne à l’aveugle de Tencent, 163 experts ont évalué 203 tâches d’ingénierie. L’aperçu Hy4 a affiché en moyenne 2,99/4, avec un taux de victoire de 46,8 % contre GLM 5,3 et 51,2 % contre Kimi K3. Cet ensemble de données montre en outre que Tencent pousse la concurrence des modèles vers l’accomplissement de tâches complexes, et pas seulement vers des benchmarks standardisés.
Le poids open source s’empare de l’écosystème Agent
Hunyuan Hy4 open source couvre de façon synchrone les poids originaux et les versions FP8, utilise la licence Apache-2.0, supporte le déploiement via vLLM et SGLang, et propose des appels via des API compatibles OpenAI. Le modèle a été lancé sur des plateformes telles que Hugging Face, ModelScope et GitCode.
L’échelle totale des paramètres du 770B signifie également que l’aperçu Hy4 est plus adapté au déploiement au niveau serveur qu’aux appareils personnels ordinaires. Pour Tencent, l’open source est véritablement en concurrence pour les postes de base de modèles pour les agents IA, les bureaux d’entreprise et les outils de développement, tandis que CodeBuddy et WorkBuddy fournissent le point d’entrée pour le retour continu de données réelles de tâches.
L’identité Preview laisse également une marge d’amélioration claire. Tencent confirme que la version actuelle rencontre encore des problèmes tels qu’une réflexion trop longue pour des tâches complexes et une auto-validation excessive. La capacité de la version officielle de Hy4 à maintenir des capacités de tâches complexes et contextuelles tout en réduisant les coûts d’inférence déterminera si elle peut passer d’un « modèle frontière open source » à des environnements de production à grande échelle.
