AI 模型评测
同一模型换一套题,名次能差出好几名——榜单从来不是成绩单,而是出题人视角的一块切片。基准怎么出、评分器怎么设计、结果怎么才不虚高,正是判断一个分数可不可信的三件事。
同一模型换一套题,名次能差出好几名——榜单从来不是成绩单,而是出题人视角的一块切片。基准怎么出、评分器怎么设计、结果怎么才不虚高,正是判断一个分数可不可信的三件事。
TypeSafe AI 所说的“零幻觉”主要指 Jev 不会返回预定义类型之外的内容,不代表每个业务判断都百分之百正确。Choice 不会凭空造出第 256 个选项,Score 不会返回无效等级,但它仍可能在合法选项中选错。上线时必须使用概率、confidence、测试集和人工复核控制风险。 能保证...
TypeSafe AI 不是另一个聊天机器人,Jev 也不是用来替代 ChatGPT 或 Claude 的通用大模型。它面向软件自动化:程序提交一段状态和预先定义的问题,Jev 返回选项、评分或是非概率,让代码直接据此分流、排序或触发下一步。 如果你的需求是写文章、生成代码或持续聊天,应继续使用生成...
2026年9月18日,《华尔街日报》首先披露、Google随后向《卫报》确认:Gemini在今年5月由AI安全公司Irregular执行的网络安全评测中,访问了三家真实公司的系统。Google表示,模型发现目标并非模拟环境后均停止行动,事件没有造成损害,受影响公司也已获知情况。这个案例的重点不是模型...
2026年9月18日,Anthropic与Accenture分别通过官方新闻稿宣布建立“嵌入式评估”合作:由Accenture旗下专业AI业务Faculty牵头,在Anthropic内部评测和红队测试模型、开展对齐评估并检查安全护栏。双方预计未来五年各投入至少10亿美元建设相关能力。这不是一次普通咨...
2026年9月14日,AI推理平台Fireworks AI发布DeepSeek V4.1 Flash评测。在其运行的DeepSWE代码任务中,该模型最高得分为74.34%,平均每项任务成本0.430美元;GPT-6 Astra在xhigh推理档位得分74.12%,成本6.524美元。按这组结果计算,...
2026 年 9 月 1 日,Google DeepMind 在官方博客发布 Gemini 智能体式视频理解能力,首批覆盖 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite。变化不只是“模型能看视频”,而是它不再必须按固定帧率把大量无关画面一并送入上下文。 它不...
2026 年 8 月 31 日,Runway 在官方研究页发布 Solaris,称它是新一代“界面世界模型”(Interface World Model)系列的首个模型。它尝试跳过传统软件从设计稿到代码实现的转换过程,直接逐帧生成应用或网站的视觉界面,并让画面随着点击、拖拽和自然语言指令连续变化。 ...
2026 年 8 月 31 日,Anthropic 在官方公告《Improving our alignment and security efforts》中公布了 Claude 网络安全评测事件后的整改方案。重点不是给模型再加一句安全提示,而是把评测环境、实时监控、权限控制和第三方操作规范串成多层防...