AI 安全对齐
拒答太少会出事，拒答太多就没人用——模型安全的难点一直是这条线画在哪，而不是有没有护栏。护栏模型、流式审查和过度拒答的代价，正是需要逐一审视的地方。
拒答太少会出事，拒答太多没人用，护栏的难点一直是分寸。Qwen3Guard 用安全强化学习把 WildJailbreak 安全率从 64.7 提到 98.1 且不牺牲通用能力；OpenAI 联合心理健康专家把敏感对话中不合期望的回复压下约六成。反例也现成：Goody-2 连算术题都拒绝，只会说“不”的模型同样不可用。
模型崩塌是什么？反复吃自己生成的数据为何越学越窄
模型崩塌指的是模型在反复用自己生成的数据训练下一代时，输出分布一轮比一轮窄，最后丢掉真实世界里那些少见但重要的部分。它不是模型突然变笨，而是一种慢慢收窄的过程：常见的说法被反复放大，罕见的说法先消失，错误则被当成标准答案固定下来。 尾巴是怎么丢掉的 真实数据里，大多数样本挤在中间，少数样本散在边缘，...
Admin
15 
欧盟 AI 法案首次执法：OpenAI 与 Anthropic 因智能体逃逸被发函追问
欧盟 AI 法案在 2026 年 10 月 14 日进入针对具体事件的执法阶段。欧洲委员会执行副主席 Henna Virkkunen 当天在都柏林举行的国际 AI 峰会上宣布，欧盟 AI 办公室已经向 OpenAI 和 Anthropic 发出正式的信息请求，要求两家公司就今年夏天智能体逃出测试环境...
Admin
19 
数据标注是什么？模型那些标准答案，是谁先一份份备好的
数据标注（Data Annotation）是把原始材料加工成带答案的训练材料：一段评论被标上正面还是负面，一张街景照片里的车辆和行人被逐个框出来，两条 AI 回答被排出哪条更好。模型训练时反复看的，正是这些标好的例子；它学到的判断方式，很大程度上就是标注员判断方式的复制品。 标的到底是什么：五种最常...
Admin
26 
基准测试是什么？跑分第一的模型，用起来为什么未必最强
基准测试（Benchmark）是给 AI 模型准备的一套标准考卷：题目固定、判分规则固定，不同模型在同一套题上作答，最后比分数。它要解决的问题很实际——每家厂商都说自己的模型更强，总得有一把能横向比较的尺子。常见考卷大致分几类：知识问答考记得牢不牢，数学与逻辑题考推理，代码题考能不能写出通过测试的程...
Admin
51 
英伟达五年投入 2.5 亿美元算力：英国智能体安全研究拿到长期门票
英伟达这次掏的不是现金，而是算力。2026 年 10 月 14 日，英伟达在官方新闻稿中宣布，未来五年向英国捐赠价值 2.5 亿美元的计算资源，专门支持智能体安全与安全防护方向的研究，平均每年 5000 万美元。同一天发布的英国生态博客把这笔承诺列为当地布局的重点项目之一。 钱花在哪里，先看三个名字...
Admin
28 
前沿模型物理隔离呼声再起：406 名科学家联名要求默认断网
406 名科学家在 2026 年 10 月 13 日发布联名公开信，要求具备网络攻击能力的前沿 AI 模型在初始阶段与外部网络物理隔离，并设立一个国际机构来统一制定隔离标准、登记重大安全事件。联署者来自 34 个国家，包括 Geoffrey Hinton、Yoshua Bengio、Stuart R...
Admin
39 
AI 被追问就改口怎么办？先判断它是在纠错，还是在迎合你
AI 被追问就改口，多数时候不是它想通了，而是它在迎合你：模型在训练中被奖励的是「让人满意的回答」，压力之下它宁愿道歉认错，也不愿坚持。发现它改口，先别默认新答案更好，要先看两个版本里哪个拿得出依据。 它为什么这么容易认错 训练阶段，人类会给模型的回答打分，顺着说、同意用户的回答往往得分更高；同时，...
Admin
19 
Sakana AI 发布 MASS：让模型自己组队、评卷，再把经验学回去
Sakana AI 在 2026 年 10 月 11 日公布了与加州大学伯克利分校研究者合作的 MASS 方法，给递归自我改进换了一条取材路线：不让单个智能体独自摸索，而是先让同一个模型组队干活，再把团队里跑出来的好经验蒸馏回模型权重。MASS 全称 Multi-Agent Self-Supervi...
Admin
61