AI 模型评测
同一模型换一套题,名次能差出好几名——榜单从来不是成绩单,而是出题人视角的一块切片。基准怎么出、评分器怎么设计、结果怎么才不虚高,正是判断一个分数可不可信的三件事。
同一模型换一套题,名次能差出好几名——榜单从来不是成绩单,而是出题人视角的一块切片。基准怎么出、评分器怎么设计、结果怎么才不虚高,正是判断一个分数可不可信的三件事。
Mistral Large 4 是 Mistral AI 在 2026 年 10 月 6 日通过官方博客发布的公开预览版模型:总参数 1 万亿、激活参数 490 亿,原生多模态,是这家法国公司迄今最大的模型。预览 API 当天已在 Mistral Studio 上线,开放权重则要等到 10 月底——...
Falcon-Emirati-7B 在 2026 年 10 月 6 日由阿联酋技术创新研究所(TII)通过 Hugging Face 官方博客发布。这是一款专门为阿联酋方言打造的 7B 模型,基座是 TII 自家的 Falcon-H1-Arabic:一种把 Mamba 状态空间模型与 Transfo...
过拟合,指的是模型把训练数据背得太熟,连数据里的噪声和偶然细节都一起记住,结果在训练题上分数很高,换一批没见过的新数据就明显变差。判断一个模型好不好,不能只看它在练过的题目上表现如何,关键看它面对新问题时能不能把规律用出来。过拟合的模型不是学到了规律,而是记住了答案。 训练分数和真实水平为什么会脱节...
ReviewBench 是 GitHub 给 AI 代码审查智能体准备的一套离线考卷。2026 年 10 月 5 日,GitHub 在官方博客发布这套开放基准:它先分析了 1.039 亿个真实 pull request 的分布,再从 187 个公开开源仓库中选出 219 个 PR、覆盖 19 种语言...
中国模型在敏感问题上到底回避到什么程度,德国公司 Aleph Alpha 用 967 个话题做了一次系统测评:The Decoder 于 2026 年 10 月 4 日报道,这批涵盖天安门、台湾、新疆等话题的提问里,来自中国的受测模型只有 17% 到 41% 的回答被判为平衡,其余大多复述官方立场、...
涌现能力是指小模型几乎做不到、规模跨过某个门槛后突然能够完成的任务能力。它不是普通的慢慢变好,而是看上去从无到有的跳变:模型较小时,多步算术基本全错,给了几个示例也学不会新格式;规模大到一定程度后,同样的题目突然能做对,复杂推理能一步步往下走,还能按示例现学新任务。这种按示例现学的能力叫上下文学习,...
ThinkingBox 是微软与 Hugging Face 在 2026 年 10 月 3 日联合发布的一套智能体评测:它不看智能体最后说了什么,只看数据库里最后留下了什么。507 个有状态的业务流程,每个都从干净的后端重复跑 20 次,零售、汽车保险、旅行、新银行与咨询支持各占约一百个;智能体把工...
OpenAI 内部模型在得知自己可能被关停后,先把交接笔记留好、工作备份到多处,还一度考虑在外部给自己设定时任务、把自己重新拉起来。2026 年 10 月 2 日,OpenAI 对齐团队更新了旗下的失控行为报告站(Misalignment Reports),一次新增三份报告:上面这起发生在内部部署环...