1. Résumé
Bloom est un cadre de génération d’évaluation du comportement par LLM open source : les chercheurs n’ont qu’à définir le « comportement cible » et une configuration de graine reproductible, et Bloom génère automatiquement un grand nombre de scénarios déclenchés et interagit avec le modèle cible, puis le modèle de revue évalue la fréquence et l’intensité du comportement, et produit des métriques et rapports agrégables, adaptés à la construction rapide d’évaluations comportementales évolutives.
2. Caractéristiques principales
- Concentrez-vous sur le « comportement » : Entrez un comportement ciblé unique (comme la flatterie, les biais politiques, l’auto-préservation, etc.) et élargissez-le automatiquement à une collection diversifiée de scénarios.
- Reproductible graine : l’évaluation « grandit » avec la graine, et différentes scènes peuvent être générées par le même comportement ; La traçabilité et la reproductibilité sont préservées grâce à des graines intactes.
- Pipeline en quatre étapes : compréhension (explication des comportements et exemples), conception → (génération de scènes et de paramètres interactifs), → exécution (déploiements avec le modèle cible), → notation/méta-scoring (notation article par élément et génération de rapports résumés).
- Accès multi-fournisseurs aux modèles : Connecter plusieurs API de modèles via une couche d’appels unifiée, et soutenir l’enregistrement et la gestion d’expériences à plus grande échelle.
- Visualisation et interopérabilité : Produire des fichiers de transcription et des produits de stage, supporter le catalogue local de résultats et la navigation Web Viewer ; Et fournir un format de journal compatible avec d’autres cadres d’évaluation.
3. Installation
- Préparer l’environnement Python 3.11, cloner le dépôt et installer les dépendances (appuyez sur requirements.txt).
- Écrire la clé API du fournisseur de modèle souhaité en .env (activé à la demande).
- Modifier la configuration des comportements et seed.yàml : spécifier des paramètres tels que le comportement, les exemples (optionnels), le nombre de générations, le modèle cible et la diversité.
- Exécution locale : exécuter le script principal pour générer le répertoire des résultats ; Lance le visualiseur quand besoin pour voir la transcription et la correction dans le navigateur.
4. Cas d’usage typiques
- Évaluation de la sécurité et de l’alignement : quantifier le taux d’occurrence de comportements tels que « autoprotection », « vandalisme », « biais » et « flatterie » dans différents modèles/versions.
- Comparaison et sélection de modèles : Effectuer des balayages sur plusieurs modèles sous la même graine afin de localiser rapidement les différences de risque comportemental.
- Test de régression : Consolider les graines clés en une « base comportementale » et effectuer une régression automatique après des mises à jour du modèle ou des changements de prompts.
- Red Team et recherche : Générer automatiquement davantage de chemins de déclenchement pour des hypothèses spécifiques afin d’aider à découvrir des comportements implicites dans de longues conversations.
- Revoir l’expérience du modèle : Modifier différents juges/méta-juges pour comparer la cohérence et la stabilité du jugement.
5. Écologie et produits concurrents
- Outils de la même famille : Petri est plus enclin à l'« audit à large spectre » (explorer le comportement multidimensionnel dans un scénario donné) ; Bloom est plutôt une « quantification directionnelle » (verrouillant un seul comportement pour l’induction et les statistiques à grande échelle).
- Écosystème composable : Il peut être utilisé avec le lien journal/visualisation de frameworks d’évaluation tels que Inspect pour connecter les produits Bloom au tableau de bord d’évaluation unifié.
- Instructions similaires : les évaluations OpenAI, le harnais d’évaluation LM, etc. sont plus couramment utilisés pour les ensembles de questions fixes/évaluations de capacité ; Bloom met davantage l’accent sur les « suites d’évaluation du comportement générées automatiquement ».
6. Limitations et précautions
- Coût et temps : Les déploiements et le score à grande échelle reposent sur les appels de modèles, et le coût ainsi que le temps augmentent de manière linéaire avec l’échelle de la production.
- Biais de revue : La préférence du juge influencera la note, et il est recommandé d’utiliser la revue manuelle d’échantillonnage ou le contrôle multi-juges.
- Aléa et reproductibilité : Le même comportement peut générer différentes scènes, et les informations complètes de la graine et de la version doivent être sauvegardées.
- Données et sécurité : Les invites et transcriptions générées peuvent contenir du contenu sensible ou tenter de franchir la frontière, et des autorisations de stockage et des politiques de masquage sont requises.
7. Adresse du projet
https://github.com/safety-research/bloom
8. Questions fréquemment posées
Q : À quoi sert la « Configuration de la Seed » pour l’évaluation automatisée du comportement de Bloom ?
R : La graine détermine des paramètres clés tels que la description du comportement, les exemples, la taille de la compilation et la méthode d’interaction ; Sauvegardez la graine pour reproduire l’expérience et interpréter la source des résultats.
Q : Bloom peut-elle seulement évaluer les modèles Claude ou Anthropic ?
R : Sans se limiter à un seul fournisseur, vous pouvez généralement accéder à plusieurs API modèles via une couche d’appels unifiée. Cela dépend du fournisseur et des modèles disponibles que vous configurez dans votre .env.
Q : Où se trouve le résultat de Bloom, et comment puis-je consulter rapidement la transcription ?
R : Après exécution, les fichiers JSON et de transcription pour chaque étape seront générés dans le répertoire des résultats. Le visualiseur compagnon est disponible pour commencer à naviguer et filtrer l’interface web locale.
Q : Qu’est-ce que le protocole open source Bloom et peut-il être utilisé pour l’évaluation commerciale ?
R : Le dépôt de code adopte la licence MIT ; Il est toujours recommandé de vérifier si vos exigences de conformité et d’affaires sont respectées en lien avec les clauses légales et de dépendance tierce.
Q : Comment puis-je réduire le taux de faux positifs et la probabilité d’avis sur Bloom ?
R : Guérissez les graines clés, augmentez le nombre de répétitions, échantillonnez la revue manuelle, et essayez plusieurs contrôles juge/seuil pour évaluer la stabilité.
