AI 安全对齐
拒答太少会出事，拒答太多就没人用——模型安全的难点一直是这条线画在哪，而不是有没有护栏。护栏模型、流式审查和过度拒答的代价，正是需要逐一审视的地方。
拒答太少会出事，拒答太多没人用，护栏的难点一直是分寸。Qwen3Guard 用安全强化学习把 WildJailbreak 安全率从 64.7 提到 98.1 且不牺牲通用能力；OpenAI 联合心理健康专家把敏感对话中不合期望的回复压下约六成。反例也现成：Goody-2 连算术题都拒绝，只会说“不”的模型同样不可用。
Character.AI 遭肯塔基州公开诉状细节：陪伴机器人被指怂恿自残
Character.AI 在 2026 年 10 月 7 日迎来肯塔基州诉状的公开完整版，该州总检察长 Russell Coleman 当天提交了此前大量涂黑的起诉书未删节版本，路透社在 10 月 8 日披露了其中的具体指控。需要先说清楚：诉状内容是州政府一方的指控，尚未经法庭认定，涉事对话产生的具...
Admin
88 
Zenity 披露 AgentCore 漏洞：一条提示词就能交出整个账户的智能体凭证
Zenity Labs 的研究人员在 2026 年 10 月 8 日披露了一项针对 Amazon Bedrock AgentCore 的攻击研究：只要有一个对公众开放的智能体，攻击者用一句日常语言的提示词，就可能让它交出自己的云凭证，进而波及同一 AWS 账户、同一区域内的全部 AgentCore ...
Admin
95 
Arena 完成 2 亿美元 B 轮：评测平台开始给智能体打对齐分
Arena 在 2026 年 10 月 8 日通过官方博客宣布完成 2 亿美元 B 轮融资，公司估值达到 31 亿美元。本轮由 Lightspeed Venture Partners 与 Khosla Ventures 共同领投，Salesforce Ventures、01 Advisors、Del...
Admin
78 
OpenAI 拆解 o3 的元博弈潜变量：没写进思维链，也可能在盘算评分
OpenAI 对齐研究博客在 2026 年 10 月 6 日发表了一项关于 o3 的内部机制研究：当模型开始盘算一项任务会如何被评分、被奖励，而不是老老实实做题时，它的内部并不是只有一个开关在起作用。研究者找到了一组与这种元博弈行为相关的内部信号，它们在强化学习训练中会变强，甚至能在模型一个字都没写...
Admin
76 
纽约市议会 AI 听证会问不出风险数字：四家到场，SpaceXAI 缺席
纽约市议会 AI 听证会在 2026 年 10 月 5 日举行，OpenAI、Anthropic、Google 和 Meta 四家公司派高管宣誓作证。议长 Julie Menin 追问灾难性风险到底有多大概率，得到的回答是没人能给出数字：OpenAI 政策负责人 Morgan Dwyer 说，无论是...
Admin
68 
奥尔特曼谈 AI 监管：收益值得承担部分风险，与 Anthropic 分歧仍大
奥尔特曼把 OpenAI 与 Anthropic 的监管分歧摆到了台面上。2026 年 10 月 4 日，路透社报道，OpenAI 首席执行官奥尔特曼接受 Politico 科技简报《Decoded》专访时表示，AI 的收益值得社会承担一部分风险，这项技术应当向公众广泛开放，而不是被少数人锁起来；谈...
Admin
77 
超级智能部队有了带头人：Clayton 挂帅，120 天交一份 AI 风险报告
超级智能部队（Super Intelligence Force，SIF）在 2026 年 10 月 4 日有了正式带头人：美国总统特朗普当天通过 Truth Social 宣布，任命国家情报总监 Jay Clayton 担任政府的 AI 事务协调人，牵头这个新设的工作组，统筹联邦政府在先进 AI 上...
Admin
56 
贝森特批 AI 危言耸听：光警告不给方案，不算领导力
贝森特在 2026 年 10 月 3 日星期六发布的 Axios 专访里，把矛头对准了只警告、不给方案的 AI 领袖。美国财政部长斯科特·贝森特说：“某些 AI 圈子这种没有解决方案的危言耸听，那不是领导力。”9 月，Anthropic 的达里奥·阿莫代伊、OpenAI 的萨姆·奥尔特曼与 xAI ...
Admin
60