ToolNavs 发现实用AI工具
提交工具 登录

AI 模型评测

同一模型换一套题,名次能差出好几名——榜单从来不是成绩单,而是出题人视角的一块切片。基准怎么出、评分器怎么设计、结果怎么才不虚高,正是判断一个分数可不可信的三件事。

评测难的不是出题,而是让分数真的代表能力。UNO-Bench 用 44 类任务统一口径,配套打分模型把一致性做到约 95%;AMO-Bench 请专家新出 50 道 IMO 级题目绕开语料记忆,多数模型得分仍不足四成。智能体评测从真实失败案例起步,并分清 pass@k 与 pass^k——后者才对应“每次都得可靠”。
过拟合是什么?模型把训练题背得滚瓜烂熟,新题却频频答错

过拟合是什么?模型把训练题背得滚瓜烂熟,新题却频频答错

过拟合,指的是模型把训练数据背得太熟,连数据里的噪声和偶然细节都一起记住,结果在训练题上分数很高,换一批没见过的新数据就明显变差。判断一个模型好不好,不能只看它在练过的题目上表现如何,关键看它面对新问题时能不能把规律用出来。过拟合的模型不是学到了规律,而是记住了答案。 训练分数和真实水平为什么会脱节...

Admin
67
涌现能力是什么?模型变大后,有些本事为什么像突然冒出来的

涌现能力是什么?模型变大后,有些本事为什么像突然冒出来的

涌现能力是指小模型几乎做不到、规模跨过某个门槛后突然能够完成的任务能力。它不是普通的慢慢变好,而是看上去从无到有的跳变:模型较小时,多步算术基本全错,给了几个示例也学不会新格式;规模大到一定程度后,同样的题目突然能做对,复杂推理能一步步往下走,还能按示例现学新任务。这种按示例现学的能力叫上下文学习,...

Admin
62