ToolNavs 便利なAIツールを発見
ツール投稿 ログイン

AI モデル評価

問題セットを替えれば同じモデルでも順位は数段落ちます。ランキングは通知表ではなく、出題者の視点で切り取った一枚にすぎません。ベンチマークの作り方、採点器の設計、数字が膨らまない工夫を扱います。

評価の難しさは出題ではなく、点数が能力を表すようにすることです。UNO-Bench は44種のタスクを統一し、採点モデルで約95%の一致率を確保。AMO-Bench は専門家による IMO 級の新作50問で暗記を防ぎ、多くのモデルは4割未満です。エージェント評価は実際の失敗から始め、pass@k と pass^k を区別します。
LangSmith が AI Search を公開:キーワードではなく振る舞いでエージェント軌跡を検索

LangSmith が AI Search を公開:キーワードではなく振る舞いでエージェント軌跡を検索

LangSmith は 2026 年 10 月 13 日、LangChain の公式ブログで AI Search の提供開始を発表しました。エージェントの運用を振り返るとき、チームが探したいのはキーワードではなく「振る舞い」であることがほとんどです。タスクを終えたと言いながら実際には終えていない実行...

Admin
28
マイクロソフト社長Brad Smith氏「洗濯機よりAIの方が規制が緩い」:拘束力ある世界ルールを

マイクロソフト社長Brad Smith氏「洗濯機よりAIの方が規制が緩い」:拘束力ある世界ルールを

マイクロソフト社長のBrad Smith氏は、2026年10月12日に公開されたBBCの番組「Big Boss Interview」で、AIの規制の現状を率直に語った。いまや洗濯機の方がAIより多くの安全ルールの対象であり、スーパーの牛乳パックはすべて安全検査を通るのに、それよりはるかに高性能でリス...

Admin
21
GLM-Legal 発表:智譜の法律モデル、全通過率19.2%で小型ながらフロンティア級を狙う

GLM-Legal 発表:智譜の法律モデル、全通過率19.2%で小型ながらフロンティア級を狙う

GLM-Legal は、智譜 Z.ai が2026年10月12日に公式ブログで発表した法律分野特化モデルである。汎用大規模モデルとは異なる路線を取り、パラメータ規模を追うのではなく、軽量な GLM-5.3-Flash を土台に、分野特化の中間訓練と高効率な事後訓練で、法律事務所の実務に耐える形へ仕上...

Admin
48
英国AISI、前沿モデルの公開前テスト権を回復:17日間の凍結が示した国境を越える評価の脆さ

英国AISI、前沿モデルの公開前テスト権を回復:17日間の凍結が示した国境を越える評価の脆さ

AISI のフロンティアモデルへのアクセスが戻った。ロイターは 2026 年 10 月 11 日、テレグラフ紙を引用し、トランプ政権が、OpenAI や Anthropic などの開発者に対し、新モデルを公開前に英国 AI 安全研究所(AISI)と共有しないよう求めていた判断を撤回したと報じた。平た...

Admin
32