AI 模型评测
同一模型换一套题,名次能差出好几名——榜单从来不是成绩单,而是出题人视角的一块切片。基准怎么出、评分器怎么设计、结果怎么才不虚高,正是判断一个分数可不可信的三件事。
同一模型换一套题,名次能差出好几名——榜单从来不是成绩单,而是出题人视角的一块切片。基准怎么出、评分器怎么设计、结果怎么才不虚高,正是判断一个分数可不可信的三件事。
ARC-AGI-2 高分榜在 2026 年 10 月 9 日被刷新:ARC Prize 官方公布,Tufa Labs 以 88.06% 登上 ARC Prize 2026 赛季 ARC-AGI-2 高分榜第一名。这个分数越过了 85% 这条线——赛事为此另设的 15 万美元奖金池,将由所有得分超过 ...
OpenAI 在 2026 年 10 月 6 日公开了内部模型生成的 719 份数学手稿,10 月 8 日,TechCrunch 与 The Decoder 先后指出,这批成果没有达到数学界自己顾问组定下的标准,部分数学家甚至呼吁同行停止与 OpenAI 合作。争议的焦点不是证明对不对,而是:当 A...
Google AMIE 的一项真实门诊研究在 2026 年 10 月 8 日登上了《柳叶刀》主刊,这也是 Google 首次在该刊主刊发表研究。AMIE 是 Google 的对话式诊断研究系统,这次它不再只在模拟病例里考试,而是走进了 Beth Israel Deaconess 医疗中心的初级保健门...
Arena 在 2026 年 10 月 8 日通过官方博客宣布完成 2 亿美元 B 轮融资,公司估值达到 31 亿美元。本轮由 Lightspeed Venture Partners 与 Khosla Ventures 共同领投,Salesforce Ventures、01 Advisors、Del...
DeepSeek V4.1 Flash 的最新一组成绩在 2026 年 10 月 6 日由 ARC Prize 公布:这家独立评测机构在 ARC-AGI(Verified)评测中给它打出 ARC-AGI-1 得分 94.5%、ARC-AGI-2 得分 72.9%。抽象推理这条线又往前迈了一截,但每道...
困惑度,是衡量语言模型对下一个词有多不确定的一个数字:模型在续写一句话时,对接下来真正出现的词越意外,困惑度就越高;越觉得理所当然,困惑度就越低。厂商发布新模型时经常把困惑度写进参数表,数字看着小巧精确,很容易让人以为它就是模型聪不聪明的成绩单。其实它只回答了一个很窄的问题,读懂它的边界,比记住数字...
OpenAI 在 2026 年 10 月 6 日通过官方博客发布了一批由内部未发布前沿模型产出的数学研究成果,规模大得不像一次常规公开:722 份手稿、372 个结果家族,覆盖数百个长期悬而未决的数学问题。成果没有发在期刊里,而是统一放进一个 GitHub 仓库,并附上手稿修订与引用规范,等数学界自...
Mistral Large 4 是 Mistral AI 在 2026 年 10 月 6 日通过官方博客发布的公开预览版模型:总参数 1 万亿、激活参数 490 亿,原生多模态,是这家法国公司迄今最大的模型。预览 API 当天已在 Mistral Studio 上线,开放权重则要等到 10 月底——...