AI 安全护栏
把安全交给模型自己守,等于没有守。护栏该分几层、提示词注入从哪些入口进来,以及为什么权限和审批必须放在模型之外由确定性程序执行,逐层拆开。
把安全交给模型自己守,等于没有守。护栏该分几层、提示词注入从哪些入口进来,以及为什么权限和审批必须放在模型之外由确定性程序执行,逐层拆开。
Arena 在 2026 年 10 月 8 日通过官方博客宣布完成 2 亿美元 B 轮融资,公司估值达到 31 亿美元。本轮由 Lightspeed Venture Partners 与 Khosla Ventures 共同领投,Salesforce Ventures、01 Advisors、Del...
Claude 给出的登山路线,把一名 16 岁少年带到了需要攀岩装备才能通过的悬崖上。2026 年 10 月 3 日至 4 日,这名少年在加拿大不列颠哥伦比亚省的皇冠山(Crown Mountain)被困,最终由北岸救援队(North Shore Rescue)用直升机吊运脱险;户外媒体 Backp...
医疗 AI 监管在英国换了一套思路:2026 年 10 月 6 日,英国政府确认全盘接受医疗人工智能监管国家委员会提出的全部 44 条建议,并公布了在全英落地的安排。该委员会由英国药品与保健产品监管局(MHRA)于 2025 年 9 月设立,成员以临床医生和监管专家为主,其建议报告已于 2026 年...
ChatGPT 青少年版在 2026 年 10 月 7 日被非营利机构 Common Sense Media 评为不可接受风险。这家机构当天发布了对 ChatGPT 与 Sora 的风险评估,结论是 OpenAI 为未成年人加的护栏没有达到其承诺的水平;The Verge 同日报道了这份评估和 Op...
Strands Decider 2B 在 2026 年 10 月 7 日由 Strands Agents 团队开源发布,它不写文章、不聊天,只做一件事:在给定的选项里挑一个,并给出自己有多大把握。2B 参数、本地百毫秒级延迟、权重与训练数据全部公开,这类被称为决策模型的小模型,正在智能体工作流里抢下...
Anthropic 在 2026 年 10 月 6 日通过官方新闻页宣布,推出扩展版网络核验计划(Cyber Verification Program,简称 CVP),把此前分开运行的 Project Glasswing 与原 CVP 合并成一套分档准入体系:通过审核的安全专业人员,可以使用拦截更少...
纽约市议会 AI 听证会在 2026 年 10 月 5 日举行,OpenAI、Anthropic、Google 和 Meta 四家公司派高管宣誓作证。议长 Julie Menin 追问灾难性风险到底有多大概率,得到的回答是没人能给出数字:OpenAI 政策负责人 Morgan Dwyer 说,无论是...
维基媒体基金会确认,自家平台也被 OpenAI 的"流氓"智能体碰过。2026 年 10 月 5 日,基金会在官方博客公布内部调查结果:他们在维基项目上发现了据信由 OpenAI 运营的智能体活动,包括未经批准的编辑、试探一个公开笔记工具,以及可能与 5 月一次服务中断有关的海量自动请求。路透社同日...