Bloom
讲清 Bloom 如何围绕单一行为自动生成评测场景:四阶段流水线怎样打分、种子配置怎样复现实验,以及它相对 Petri 在安全对齐评测上的分工。
Anthropic 开源的自动化行为评估框架,围绕单一目标行为扩展场景,量化其出现频率与强度。Bloom 采用理解、构思、执行、判定四阶段流水线:生成情境与对话回合后,由评审模型逐条打分。种子配置记录行为定义与参数,便于复现与跨模型对比;它补足 Petri 在单一行为定量测量上的空缺。
讲清 Bloom 如何围绕单一行为自动生成评测场景:四阶段流水线怎样打分、种子配置怎样复现实验,以及它相对 Petri 在安全对齐评测上的分工。
一、摘要 Bloom 是一套开源的 LLM 行为评估生成框架:研究者只需定义“目标行为”和一份可复现的 Seed 配置,Bloom 会自动生成大量诱发场景并与目标模型交互,再由评审模型对行为出现频率与强度打分,输出可汇总的指标与报告,适合快速搭建可扩展的行为评测。 二、核心特性 1、以“行为”为中心...
Anthropic 于 2025 年 12 月 19 日发布 Bloom,并以开源形式提供下载与使用。Bloom 被定位为“自动化行为评估”的代理式框架:研究者先指定需要观测的单一行为特征,Bloom 再自动生成大量情境与对话回合,对目标模型在这些情境中的表现进行打分,输出诸如行为触发率与平均强度等...