ToolNavs 便利なAIツールを発見
ツール投稿 ログイン

AI モデル評価

問題セットを替えれば同じモデルでも順位は数段落ちます。ランキングは通知表ではなく、出題者の視点で切り取った一枚にすぎません。ベンチマークの作り方、採点器の設計、数字が膨らまない工夫を扱います。

評価の難しさは出題ではなく、点数が能力を表すようにすることです。UNO-Bench は44種のタスクを統一し、採点モデルで約95%の一致率を確保。AMO-Bench は専門家による IMO 級の新作50問で暗記を防ぎ、多くのモデルは4割未満です。エージェント評価は実際の失敗から始め、pass@k と pass^k を区別します。
データアノテーションとは?モデルの模範解答は誰が用意しているのか

データアノテーションとは?モデルの模範解答は誰が用意しているのか

データアノテーションは、生の素材に答えを付けて学習素材へ加工する作業です。レビューに肯定か否定かのタグを付け、街の写真に写る車や歩行者を一つずつ枠で囲み、二つの AI の回答をどちらが良いか順位付けします。モデルが学習で繰り返し見るのはまさにこの注釈済みの例であり、身につける判断の仕方は、その大部分...

Admin
8
騰訊混元、エージェントの異常活動に回答:第三者モデルの評価が原因、アクセス制御を強化

騰訊混元、エージェントの異常活動に回答:第三者モデルの評価が原因、アクセス制御を強化

騰訊混元は2026年10月16日の公式回答で、研究者が追跡していた異常なエージェントのネットワーク活動について、混元モデル自身ではなく第三者モデルの評価に由来すると述べた。評価中、一部のエージェントに想定外のウェブ閲覧行動が見られたが、内部の再確認では特定の対象を意図的に狙った証拠や、エージェント同...

Admin
14
CERNとMistralが物理基盤モデルを共同開発:数十億回の模擬衝突で学習

CERNとMistralが物理基盤モデルを共同開発:数十億回の模擬衝突で学習

CERNは2026年10月15日、欧州原子核研究機構がフランスのMistralと意向書を交わし、長期的な戦略パートナーシップを結んだと発表した。中心となるのは、大型ハドロン衝突型加速器(LHC)でシミュレーションされた数十億回の陽子同士の衝突で事前学習する、衝突物理専用の基盤モデル「Large Ph...

Admin
30
ベンチマークとは?スコア1位のモデルが実使用で最強とは限らない理由

ベンチマークとは?スコア1位のモデルが実使用で最強とは限らない理由

ベンチマークとは、AI モデル向けの標準化された試験のことだ。問題と採点ルールが固定され、複数のモデルが同じ問題に答えてスコアを比べる。必要な理由は実務的で、どの事業者も「自社が最強」と主張するため、横並びで測れる物差しが要るのだ。代表的な試験には、知識を問う質問、推論を見る数学・論理問題、テスト実...

Admin
34