Bloom
Erklärt, wie Bloom Evaluierungsszenarien um ein einzelnes Verhalten herum automatisch erzeugt: die vierstufige Bewertungspipeline, das Seed-Verfahren für Reproduzierbarkeit und die Arbeitsteilung mit Petri.
Ein Open-Source-Framework von Anthropic, das Verhaltensevaluierung automatisiert, indem es Szenarien um ein einzelnes Verhalten erweitert und Häufigkeit sowie Intensität quantifiziert. Blooms vierstufige Pipeline aus Verstehen, Ideenfindung, Ausführung und Bewertung lässt ein Modell jeden Durchlauf benoten. Seeds halten die Experimente reproduzierbar und zwischen Modellen vergleichbar.
