Anthropicは2025年12月19日にBloomをリリースし、オープンソースとしてダウンロード・利用可能です。 Bloomは「自動行動評価」のエージェントフレームワークとして位置づけられています。研究者はまず観察すべき単一の行動特徴を指定し、その後Bloomが多数のシナリオや会話ラウンドを自動的に生成し、これらのシナリオにおけるターゲットモデルのパフォーマンスを評価し、行動のトリガー率や平均強度などの指標を出力してモデル内の行動の頻度や重症度を測定します。
Bloomは、複数の行動次元をスキャンし、ユーザーが与えたシナリオで疑わしい事例を見つけることを好む既存のツールPetriを補完するものと説明されています。 ブルームは自動的に拡張し、特定の行動に関する再現性の高いシナリオを作り出し、定量的な結論に早く到達します。 公式の例ベンチマークは、「妄想的な迎合」「指示による長期的な妨害」「自己防衛」「自己好み」などのアライメント関連行動をカバーし、行動定義から評価出力までの完全なプロセスを提供します。
メカニズムの観点から、Bloomは「理解-発想-実行-判断」の4段階パイプラインを採用し、行動記述、例対話、主要パラメータを「シード構成」を通じて記録し、実験を再現し異なるモデルや構成下での違いを比較しています。 この種の評価は自動的なシーン生成と判断モデルに依存しているため、実際の使用では評価構成、判断の一貫性、シーンの真正性などの要素に注意を払い、単一の結果をモデルの実際の環境での安定した性能に過度に外挿しすぎないようにする必要があります。
よくある質問
Q: AnthropicのBloomツールは主に何に使われていますか?
A: ブルームは、特定の行動に対して自動的に評価シナリオを生成し、その行動の頻度と深刻度をモデル内で定量化するために使われます。
Q: BloomとPetriの核心的な違いは何ですか?
A: Bloomは単一の行動に集中し、定量的測定のために自動的に多数のシーンを拡張します。 ペトリは多次元的な行動をカバーし、特定のシーンで異常を見つけることを好みます。
Q: ブルームの評価プロセスの主なポイントは何ですか?
A: Bloomは理解、発想、実行、判断の4つの段階を採用し、最後にトリガー率などの要約指標や評価レポートを出力します。
Q: レビューでBloomの「シード構成」は何をしているのですか?
A: シード構成は挙動定義やパラメータ設定の記録に使われており、異なるモデル間の実験や比較可能な結果の再現に便利です。
Q: Bloomの結果を利用する際に研究者が注意すべきリスクは何ですか?
A: 自動生成されたシーンの真偽性、判断モデルのバイアス、構成の違いが結果に与える影響に注意を払い、評価結論を現実のパフォーマンスと直接同一視することは避ける必要があります。
