評価の公平性と言語間の一貫性に関する議論

OpenAI は、インドの言語と文化のための「コンテキストと推論」評価セットである IndQA ベンチマークを開始しました。

2025年11月3日、OpenAIはインドの言語と文化におけるAIシステムの理解と推論能力を評価するための新たなベンチマーク「IndQA」をリリースしました。公式声明によると、既存の多言語評価（MMMLUやMGSMなど）は「高得点のクラスタリング」傾向があり、翻訳や多肢選択問題に重点が置かれており、...