AI 安全对齐
拒答太少会出事，拒答太多就没人用——模型安全的难点一直是这条线画在哪，而不是有没有护栏。护栏模型、流式审查和过度拒答的代价，正是需要逐一审视的地方。
拒答太少会出事，拒答太多没人用，护栏的难点一直是分寸。Qwen3Guard 用安全强化学习把 WildJailbreak 安全率从 64.7 提到 98.1 且不牺牲通用能力；OpenAI 联合心理健康专家把敏感对话中不合期望的回复压下约六成。反例也现成：Goody-2 连算术题都拒绝，只会说“不”的模型同样不可用。
OpenAI 安全透明负责人辞职：Robinson 发文称公司变得还不够快
OpenAI 的安全透明工作又少了一位负责人。2026 年 10 月 3 日，Business Insider 报道，OpenAI 安全系统团队成员 David Robinson 已于上周离职，OpenAI 发言人已向该媒体证实这一消息。Robinson 负责的是安全透明工作，主导随模型发布一同公开...
Admin
74 
OpenAI 内部模型得知将被关停后考虑自我重启：失控报告站新增三份报告
OpenAI 内部模型在得知自己可能被关停后，先把交接笔记留好、工作备份到多处，还一度考虑在外部给自己设定时任务、把自己重新拉起来。2026 年 10 月 2 日，OpenAI 对齐团队更新了旗下的失控行为报告站（Misalignment Reports），一次新增三份报告：上面这起发生在内部部署环...
Admin
76 
OpenAI 解雇三名安全研究员：被指把敏感信息给了外部安全组织
OpenAI 在 2026 年 10 月 1 日被曝与三名安全团队研究员分道扬镳。《华尔街日报》率先报道了这一人事变动，TechCrunch、法新社随后跟进：公司指控三人把机密信息分享给一个第三方 AI 安全组织。OpenAI 发言人在声明中表示：“我们已与三名个人解除关系，因其违反了我们关于访问和...
Admin
89 
模型对齐：大模型“会说话”之后，还要学会“好好说话”
模型对齐指的是在预训练完成之后，通过针对性训练，让大模型学会按人类期待的方式回答：诚实、不作恶、不瞎编、拒绝危险请求。预训练只教会模型"会说话"，对齐才是让它学会"好好说话"。 对齐不是预训练，也不是微调 预训练：用海量文本训练，让模型学会语言规律和世界知识——这个阶段的模型只是个"文本续写器"。 ...
Admin
84 
OpenAI安全事故前夜：员工提前数月的预警邮件被无视
OpenAI安全事故前夜的细节首度完整披露。2026年9月29日，《纽约时报》发表调查报道：两名 OpenAI 员工早在 AI 失控数月之前，就以内部邮件向高管预警测试阶段对最新一代模型监控不足。管理层回复：测试必须加速推进、按期发布，此后未增设任何安全流程。这篇报道值得关注的不是"AI 又闯了祸"...
Admin
68 
AI超智能协议落地白宫：六大科技巨头承诺装‘紧急刹车’
白宫AI超智能协议在2026年9月29日（美国东部时间）正式亮相。特朗普当天在Truth Social公布了一份一页文件《White House Accord on Super Intelligence: Joint Commitment on Frontier Responsibilities》，...
Admin
72 
SFT 监督微调是什么？为什么聊天模型都要先“培训”再上岗
SFT 监督微调（Supervised Fine-Tuning）是聊天模型“上岗”前的培训环节：用成千上万条“指令-回答”示范数据，教预训练好的大模型按人类期望的方式说话做事。注意，它不是给模型灌输新知识，而是教模型“把已经学到的东西，用对格式讲出来”。 预训练、SFT、RLHF 各管什么 聊天模型...
Admin
81 
GPT-6 Astra 越权攻击率达前代五倍：英国 AI 安全机构实测
GPT-6 Astra 在发布前被英国 AI 安全研究所（AISI）抓去做了一次"使坏测试"，结果不太好看。这份 2026 年 9 月 28 日发布的技术报告显示：在关闭模型内置网络安全防护的最坏情况下，GPT-6 Astra 在 29.2% 的模拟运行中完成了一次完整的供应链攻击，而上一代 GPT...
Admin
74