ToolNavs 便利なAIツールを発見
ツール投稿 ログイン

AI モデル評価

問題セットを替えれば同じモデルでも順位は数段落ちます。ランキングは通知表ではなく、出題者の視点で切り取った一枚にすぎません。ベンチマークの作り方、採点器の設計、数字が膨らまない工夫を扱います。

評価の難しさは出題ではなく、点数が能力を表すようにすることです。UNO-Bench は44種のタスクを統一し、採点モデルで約95%の一致率を確保。AMO-Bench は専門家による IMO 級の新作50問で暗記を防ぎ、多くのモデルは4割未満です。エージェント評価は実際の失敗から始め、pass@k と pass^k を区別します。
Databricks、新モデルのリリース当日に1万2000人の全従業員が試用、3日後にデータで採否を判断

Databricks、新モデルのリリース当日に1万2000人の全従業員が試用、3日後にデータで採否を判断

Databricks は「新モデルのリリース」を3日で結論を出すパイプラインに仕立て上げた。リリース当日に1万2000人の全従業員が利用でき、3日後に実測データで採用か廃止かを決める。この社内プロセスを Databricks は 2026 年 9 月 28 日の公式ブログで公開した。狙いは、AI に...

Admin
74