Évaluation des modèles d'IA
Changez le jeu de questions et le même modèle bouge de plusieurs places : un classement n'est pas un bulletin, c'est une coupe prise depuis le point de vue de l'examinateur. La fabrication des benchmarks, la conception des graders et les moyens d'éviter les scores gonflés décident de la fiabilité d'un score.
La difficulté de l'évaluation n'est pas de rédiger des questions, mais de faire en sorte que les scores reflètent les capacités. UNO-Bench unifie 44 types de tâches avec un modèle de notation à environ 95 % de concordance ; AMO-Bench fait rédiger 50 problèmes inédits de niveau IMO par des experts pour contourner la mémorisation, et la plupart des modèles restent sous les 40 %. L'évaluation des agents part d'échecs réels, couvre le à faire comme le à ne pas faire, et distingue pass@k de pass^k.
