腾讯混元发布并开源 Hy4 preview。这款新一代旗舰 MoE 大模型总参数达 770B,单 token 激活 49B,原生上下文长度提升至 1M。相比单纯追逐榜单,腾讯这次更强调代码、办公、游戏开发与科研等真实生产力任务。
770B MoE压上1M上下文
Hy4 preview 主干包含78层,其中77层采用 MoE,每层配置256个路由专家和1个共享专家,每个 token 激活 Top-8 路由专家。模型还原生加入一层 MTP,用于投机解码。
注意力架构采用 Gated DSA,并结合 IndexCache 复用跨层稀疏索引,残差路径引入 iHC。腾讯称,相比前代,Hy4 preview 同时扩大了模型规模、上下文和训练数据。
从跑分转向真实生产力
腾讯将 AI编程、办公分析、游戏开发、科学研究 列为 Hy4 preview 的核心场景,训练数据还引入内部软件工程师、金融分析师、安全专家等真实工作任务,并继续与 CodeBuddy、WorkBuddy 协同优化。
在腾讯内部盲测中,163名专家评估了203个工程任务。Hy4 preview 平均得分2.99/4,对 GLM 5.3 的胜率为46.8%,对 Kimi K3 的胜率为51.2%。这组数据更能说明腾讯正在把模型竞争拉向复杂任务完成度,而不只是标准化 Benchmark。
开源权重抢占Agent生态
混元Hy4开源 同步覆盖原始权重与 FP8 版本,采用 Apache-2.0 许可证,并支持通过 vLLM、SGLang 部署,再以 OpenAI 兼容 API 调用。模型已登陆 Hugging Face、ModelScope、GitCode 等平台。
770B 的总参数规模也意味着,Hy4 preview 更适合服务器级部署,而非普通个人设备。对腾讯而言,开源真正争夺的是 AI Agent、企业办公和开发工具的模型底座位置,而 CodeBuddy、WorkBuddy 正好提供了持续回流真实任务数据的入口。
Preview 身份也留下了明显余量。腾讯确认当前版本仍存在复杂任务思考过长、过度自我验证等问题。Hy4 正式版能否在保持长上下文和复杂任务能力的同时压低推理成本,将决定它能否从“开源前沿模型”进一步进入大规模生产环境。