ToolNavs 发现实用AI工具
提交工具 登录
返回AI资讯
GDPx 智能体评测发布:最强模型 11 个领域只拿 12%,金融法律得零分

GDPx 智能体评测发布:最强模型 11 个领域只拿 12%,金融法律得零分

AI资讯 • Admin • • 15 次浏览

11月2日,SemiAnalysis 发布智能体评测 GDPx,覆盖 11 个高价值领域,共 206 项任务。SemiAnalysis 公布的榜单显示,表现最好的 Claude Opus 5.5 也只拿到 12.0%,Gemini 4 Carbon 以 10.9% 居第二,GPT-6 Astra 以 9.6% 排第三。分数低是评测故意按真实工作难度出题:顶尖模型离独立完成专业工作还很远。

题目来自真实工作环境,不是单轮问答

GDPx 的任务由 14 家专业数据伙伴提供,11 个领域包括芯片设计、网络安全、生物、金融、法律、量化交易、递归自我改进、硬件设计、材料科学、对齐和软件工程。每个任务默认 8 小时,模型用各自原生工具运行,如 Opus 5.5 用 Claude Code、GPT-6 Astra 用 Codex、Gemini 4 Carbon 用 Antigravity,无原生工具的用 OpenCode。头名分数是三次尝试首次通过的平均值,各领域权重相同。金融和法律任务最难:SemiAnalysis 说,基本上所有模型在这两类任务上都是零分。

安全分类器拉低了两家头名,换个算法名次会变

SemiAnalysis 提醒,Opus 5.5 和 GPT-6 Astra 的总分被各自的安全分类器拉低了。在网络安全、生物和对齐领域,分类器有时会拦截操作。去掉这三个领域后,GPT-6 Astra 以微弱优势反超 Opus 5.5,Gemini 4 Carbon 则从第二滑到第五。分领域看,Opus 5.5 拿下量化交易、硬件设计和芯片设计,Gemini 4 Carbon 领先生物和软件工程,GPT-6 Astra 最强于递归自我改进和材料科学。Meta 的 Muse Wonder Full 被评为最好的网络安全模型。读榜单不能只看总分。

GDPx 的价值不在排名,而在提醒:单看问答类榜单,会高估模型处理长流程工作的能力。206 项任务都要求模型在模拟环境里找资料、用工具、多步完成操作,任何一步出错都可能整题归零。分数也要和评测方法一起看,基准污染的判断方法同样适用于新榜单:题目是否新鲜、评分是否透明,决定了分数能不能信。GDPx 毕竟只是一家机构的题,结论还需独立复现验证。

SemiAnalysis 说,GDPx 将每 3 到 6 个月更新一次,榜单已公开。接下来值得看的,是 Gemini 4 Carbon 全面开放后排名会不会变,以及各家会不会针对长任务调整智能体。12% 更像一个起点:它量出了顶尖模型离真正能独立干活还差多少。

推荐工具

更多