ToolNavs 发现实用AI工具
提交工具 登录

AI 模型评测

同一模型换一套题,名次能差出好几名——榜单从来不是成绩单,而是出题人视角的一块切片。基准怎么出、评分器怎么设计、结果怎么才不虚高,正是判断一个分数可不可信的三件事。

评测难的不是出题,而是让分数真的代表能力。UNO-Bench 用 44 类任务统一口径,配套打分模型把一致性做到约 95%;AMO-Bench 请专家新出 50 道 IMO 级题目绕开语料记忆,多数模型得分仍不足四成。智能体评测从真实失败案例起步,并分清 pass@k 与 pass^k——后者才对应“每次都得可靠”。
困惑度是什么?数值越低,模型就真的越会答题吗

困惑度是什么?数值越低,模型就真的越会答题吗

困惑度,是衡量语言模型对下一个词有多不确定的一个数字:模型在续写一句话时,对接下来真正出现的词越意外,困惑度就越高;越觉得理所当然,困惑度就越低。厂商发布新模型时经常把困惑度写进参数表,数字看着小巧精确,很容易让人以为它就是模型聪不聪明的成绩单。其实它只回答了一个很窄的问题,读懂它的边界,比记住数字...

Admin
68