ToolNavs 便利なAIツールを発見
ツール投稿 ログイン

AI モデル評価

問題セットを替えれば同じモデルでも順位は数段落ちます。ランキングは通知表ではなく、出題者の視点で切り取った一枚にすぎません。ベンチマークの作り方、採点器の設計、数字が膨らまない工夫を扱います。

評価の難しさは出題ではなく、点数が能力を表すようにすることです。UNO-Bench は44種のタスクを統一し、採点モデルで約95%の一致率を確保。AMO-Bench は専門家による IMO 級の新作50問で暗記を防ぎ、多くのモデルは4割未満です。エージェント評価は実際の失敗から始め、pass@k と pass^k を区別します。
困惑度(パープレキシティ)とは?数値が低いほどモデルは本当に賢いのか

困惑度(パープレキシティ)とは?数値が低いほどモデルは本当に賢いのか

困惑度(パープレキシティ)とは、言語モデルが次の単語についてどれほど迷っているかを示す数字です。文を続ける場面で、実際に現れた単語にモデルが驚くほど数値は高く、当然に感じるほど低くなります。メーカーは新モデルの仕様表に好んで載せますが、これはモデルの賢さの成績表ではありません。答えている問いはとても...

Admin
68
OpenAI、数学手稿722件を公開:未発表の最先端モデルが未解決問題数百件に挑む

OpenAI、数学手稿722件を公開:未発表の最先端モデルが未解決問題数百件に挑む

OpenAIは2026年10月6日、公式ブログで、未発表の内部最先端モデルが産出した数学研究成果の一群を公開した。手稿722件、成果の系統372件に及び、長年未解決だった数学の問題数百件をカバーする異例の規模だ。成果は学術誌ではなく、改訂と引用のルールを添えて単一のGitHubリポジトリに置かれ、数...

Admin
132