AI モデル評価
問題セットを替えれば同じモデルでも順位は数段落ちます。ランキングは通知表ではなく、出題者の視点で切り取った一枚にすぎません。ベンチマークの作り方、採点器の設計、数字が膨らまない工夫を扱います。
問題セットを替えれば同じモデルでも順位は数段落ちます。ランキングは通知表ではなく、出題者の視点で切り取った一枚にすぎません。ベンチマークの作り方、採点器の設計、数字が膨らまない工夫を扱います。
データアノテーションは、生の素材に答えを付けて学習素材へ加工する作業です。レビューに肯定か否定かのタグを付け、街の写真に写る車や歩行者を一つずつ枠で囲み、二つの AI の回答をどちらが良いか順位付けします。モデルが学習で繰り返し見るのはまさにこの注釈済みの例であり、身につける判断の仕方は、その大部分...
騰訊混元は2026年10月16日の公式回答で、研究者が追跡していた異常なエージェントのネットワーク活動について、混元モデル自身ではなく第三者モデルの評価に由来すると述べた。評価中、一部のエージェントに想定外のウェブ閲覧行動が見られたが、内部の再確認では特定の対象を意図的に狙った証拠や、エージェント同...
MAI-Base-2 の事前学習が完了した。2026年10月15日、Microsoft AI は公式ブログ「Frontier Pre-training at Microsoft AI」でこの基盤モデルの詳細を公開した。混合エキスパート方式で総パラメータは2.8兆、推論時に活性化するのは約800億にと...
CERNは2026年10月15日、欧州原子核研究機構がフランスのMistralと意向書を交わし、長期的な戦略パートナーシップを結んだと発表した。中心となるのは、大型ハドロン衝突型加速器(LHC)でシミュレーションされた数十億回の陽子同士の衝突で事前学習する、衝突物理専用の基盤モデル「Large Ph...
Ling-3.1-flash は 2026 年 10 月 15 日、蚂蚁百灵(Ant Group の Ling)から正式にオープンソース化され、重みが Hugging Face と ModelScope に上がった。このモデルは 9 月 30 日に発表され試用が始まり、試用期間は 10 月 14 日...
ベンチマークとは、AI モデル向けの標準化された試験のことだ。問題と採点ルールが固定され、複数のモデルが同じ問題に答えてスコアを比べる。必要な理由は実務的で、どの事業者も「自社が最強」と主張するため、横並びで測れる物差しが要るのだ。代表的な試験には、知識を問う質問、推論を見る数学・論理問題、テスト実...
Databricks は 2026 年 10 月 14 日、公式ブログで Predictive AI Functions のベータ提供を発表した。SQL ネイティブな新関数 4 つを一度に追加し、既存の ai_forecast もより強い時系列基盤モデルに置き換えた。狙う課題は具体的だ。来期の売上は...
Grok Voice 3.0 は、xAI が 2026 年 10 月 14 日に発表した音声対音声モデルで、同日から Voice Agent API で提供が始まり、価格は前世代と同じに据え置かれた。Artificial Analysis の音声対音声指数では 86.9 点で首位に立った。順位以上に...