ToolNavs 发现实用AI工具
提交工具 登录

AI 模型评测

同一模型换一套题,名次能差出好几名——榜单从来不是成绩单,而是出题人视角的一块切片。基准怎么出、评分器怎么设计、结果怎么才不虚高,正是判断一个分数可不可信的三件事。

评测难的不是出题,而是让分数真的代表能力。UNO-Bench 用 44 类任务统一口径,配套打分模型把一致性做到约 95%;AMO-Bench 请专家新出 50 道 IMO 级题目绕开语料记忆,多数模型得分仍不足四成。智能体评测从真实失败案例起步,并分清 pass@k 与 pass^k——后者才对应“每次都得可靠”。
AI 汇总数据为什么总算错?别让它心算,换成这四步就稳了

AI 汇总数据为什么总算错?别让它心算,换成这四步就稳了

AI 汇总数据总算错,原因不是它不用心,而是它本来就不是计算器。大模型按词元逐个生成文本,靠预测下一个词来拼出答案,并不真正执行运算。多位数加减乘除一多,进位就容易错位;表格一长,又容易漏行、重复读一行,或者把口径不同的数字混在一起,最后给出一个语气很肯定、数值却对不上的总数。办法也直接:别让它心算...

Admin
29
DeepGEM 2.0 发布:看一眼病理切片,1 分钟预筛 12 个肺癌基因靶点

DeepGEM 2.0 发布:看一眼病理切片,1 分钟预筛 12 个肺癌基因靶点

DeepGEM 2.0 于 2026 年 10 月 10 日在广州发布:广州医科大学附属第一医院国家呼吸医学中心联合金域医学推出这款肺癌病理基因多模态大模型,由钟南山院士团队参与开发。它要解决的不是诊断本身,而是一个更靠前的问题——肺癌患者做基因检测太贵、太慢,很多基层医院根本没有条件做。模型的用法...

Admin
65
模型蒸馏实测出炉:学生模型的坦白,能不能反过来给老师定罪

模型蒸馏实测出炉:学生模型的坦白,能不能反过来给老师定罪

模型蒸馏在 2026 年 10 月 9 日由 Redwood Research 发布的一篇论文里被放到了审讯台上:这家对齐研究机构实证检验了两条用蒸馏做安全的路径——一条叫“蒸馏定罪”,把不可信的强模型蒸馏成较弱的可信学生,让学生更容易在审计中说漏老师的隐藏毛病,从而反过来给老师定罪;另一条叫“蒸馏...

Admin
48
预训练是什么?模型学会聊天之前,先读完了大半个互联网

预训练是什么?模型学会聊天之前,先读完了大半个互联网

预训练是大模型的第一阶段训练:模型在学会聊天、写代码之前,先在海量文本上做一件事——反复猜下一个词。这个阶段不教它礼貌,也不教它服从指令,只让它把语言的统计规律、事实关联和表达习惯吃进参数里。后面你熟悉的对话能力、推理风格,其实都站在预训练打下的底子上。 练法只有一个:猜下一个词 预训练的任务出奇地...

Admin
92