AI 模型评测
同一模型换一套题,名次能差出好几名——榜单从来不是成绩单,而是出题人视角的一块切片。基准怎么出、评分器怎么设计、结果怎么才不虚高,正是判断一个分数可不可信的三件事。
同一模型换一套题,名次能差出好几名——榜单从来不是成绩单,而是出题人视角的一块切片。基准怎么出、评分器怎么设计、结果怎么才不虚高,正是判断一个分数可不可信的三件事。
Sakana AI 在 2026 年 10 月 11 日公布了与加州大学伯克利分校研究者合作的 MASS 方法,给递归自我改进换了一条取材路线:不让单个智能体独自摸索,而是先让同一个模型组队干活,再把团队里跑出来的好经验蒸馏回模型权重。MASS 全称 Multi-Agent Self-Supervi...
多智能体团队没有换来与成本相称的质量提升。2026 年 10 月 11 日,评测机构 Vals AI 在编程评测 Vibe Code Bench 上公布了单智能体与团队模式的对比结果:GPT-6 Sol 和 Claude Opus 5.5 分别独自完成任务、再组队完成同一批任务,团队开销涨到单人的 ...
AI 汇总数据总算错,原因不是它不用心,而是它本来就不是计算器。大模型按词元逐个生成文本,靠预测下一个词来拼出答案,并不真正执行运算。多位数加减乘除一多,进位就容易错位;表格一长,又容易漏行、重复读一行,或者把口径不同的数字混在一起,最后给出一个语气很肯定、数值却对不上的总数。办法也直接:别让它心算...
DeepGEM 2.0 于 2026 年 10 月 10 日在广州发布:广州医科大学附属第一医院国家呼吸医学中心联合金域医学推出这款肺癌病理基因多模态大模型,由钟南山院士团队参与开发。它要解决的不是诊断本身,而是一个更靠前的问题——肺癌患者做基因检测太贵、太慢,很多基层医院根本没有条件做。模型的用法...
模型蒸馏在 2026 年 10 月 9 日由 Redwood Research 发布的一篇论文里被放到了审讯台上:这家对齐研究机构实证检验了两条用蒸馏做安全的路径——一条叫“蒸馏定罪”,把不可信的强模型蒸馏成较弱的可信学生,让学生更容易在审计中说漏老师的隐藏毛病,从而反过来给老师定罪;另一条叫“蒸馏...
预训练是大模型的第一阶段训练:模型在学会聊天、写代码之前,先在海量文本上做一件事——反复猜下一个词。这个阶段不教它礼貌,也不教它服从指令,只让它把语言的统计规律、事实关联和表达习惯吃进参数里。后面你熟悉的对话能力、推理风格,其实都站在预训练打下的底子上。 练法只有一个:猜下一个词 预训练的任务出奇地...
InnovationEval 是 Epoch AI 于 2026 年 10 月 9 日公布的新评测,要回答的问题很直接:把一篇人类论文藏起来,让前沿模型在没见过答案的情况下独立发现一项可比肩的机器学习新技术,它能做到吗?首轮结果不乐观——最好的成绩按同等耗时折算,只有对照论文增益的 15%。 考法:...
Microsoft-Decision-1 于 2026 年 10 月 9 日由微软在官方博客发布,现已上架 Microsoft Foundry,接下来还会登陆 OpenRouter。它不生成长文,也不做开放式推理,唯一的工作是在一组固定选项里给每个选项打出校准过的概率分,让软件拿到分数就能直接执行下...