ToolNavs 发现实用AI工具
提交工具 登录

AI 模型评测

同一模型换一套题,名次能差出好几名——榜单从来不是成绩单,而是出题人视角的一块切片。基准怎么出、评分器怎么设计、结果怎么才不虚高,正是判断一个分数可不可信的三件事。

评测难的不是出题,而是让分数真的代表能力。UNO-Bench 用 44 类任务统一口径,配套打分模型把一致性做到约 95%;AMO-Bench 请专家新出 50 道 IMO 级题目绕开语料记忆,多数模型得分仍不足四成。智能体评测从真实失败案例起步,并分清 pass@k 与 pass^k——后者才对应“每次都得可靠”。
OpenRouter 发布 Agent 模型选型三步法:先定质量线,再挑最便宜的够用模型

OpenRouter 发布 Agent 模型选型三步法:先定质量线,再挑最便宜的够用模型

2026 年 10 月 1 日,OpenRouter 在官方博客发布了一套为 Agent 任务挑选模型的三步框架。它的起点是一个反常识的判断:按排行榜名次选模型,会让你为用不上的名次付前沿价格。正确的问题不是「哪个模型分最高」,而是「哪个模型是刚好够用的最便宜一款」。 榜单排名为什么会误导 Agen...

Admin
68