ToolNavs 发现实用AI工具
提交工具 登录

AI 模型评测

同一模型换一套题,名次能差出好几名——榜单从来不是成绩单,而是出题人视角的一块切片。基准怎么出、评分器怎么设计、结果怎么才不虚高,正是判断一个分数可不可信的三件事。

评测难的不是出题,而是让分数真的代表能力。UNO-Bench 用 44 类任务统一口径,配套打分模型把一致性做到约 95%;AMO-Bench 请专家新出 50 道 IMO 级题目绕开语料记忆,多数模型得分仍不足四成。智能体评测从真实失败案例起步,并分清 pass@k 与 pass^k——后者才对应“每次都得可靠”。
数据标注是什么?模型那些标准答案,是谁先一份份备好的

数据标注是什么?模型那些标准答案,是谁先一份份备好的

数据标注(Data Annotation)是把原始材料加工成带答案的训练材料:一段评论被标上正面还是负面,一张街景照片里的车辆和行人被逐个框出来,两条 AI 回答被排出哪条更好。模型训练时反复看的,正是这些标好的例子;它学到的判断方式,很大程度上就是标注员判断方式的复制品。 标的到底是什么:五种最常...

Admin
8
腾讯混元回应智能体异常活动:系第三方模型评测,已加强访问控制

腾讯混元回应智能体异常活动:系第三方模型评测,已加强访问控制

腾讯混元在 2026年10月16日的官方回应中表示,近期被研究者追踪到的异常智能体网络活动,来自一项针对第三方模型的评测,并非混元模型本身发起;评测中部分智能体出现了非预期的网页浏览行为,内部复查没有发现蓄意针对某个目标或彼此协同的证据,团队正在加强网络访问控制和智能体监控。 研究者先看到了什么 独...

Admin
14
基准测试是什么?跑分第一的模型,用起来为什么未必最强

基准测试是什么?跑分第一的模型,用起来为什么未必最强

基准测试(Benchmark)是给 AI 模型准备的一套标准考卷:题目固定、判分规则固定,不同模型在同一套题上作答,最后比分数。它要解决的问题很实际——每家厂商都说自己的模型更强,总得有一把能横向比较的尺子。常见考卷大致分几类:知识问答考记得牢不牢,数学与逻辑题考推理,代码题考能不能写出通过测试的程...

Admin
34