Anthropicは、モデルスコアリングは自己満足を避けるために手動で調整する必要があると述べています

AnthropicのエンジニアリングチームがAIエージェントレビューを解釈する:タスクセットからグレーダー設計までのロードマップ

Anthropicは2026年1月9日にエンジニアリング記事を発表し、AIエージェントの評価(evals)の主要な手法を体系的に分解し、エージェントは複数ラウンドの相互作用、ツールの呼び出し、環境の状態の書き換えという特徴を持ち、単一の評価ラウンドでは不十分であることを強調しました。 本論文では、ス...