AI モデル評価
問題セットを替えれば同じモデルでも順位は数段落ちます。ランキングは通知表ではなく、出題者の視点で切り取った一枚にすぎません。ベンチマークの作り方、採点器の設計、数字が膨らまない工夫を扱います。
問題セットを替えれば同じモデルでも順位は数段落ちます。ランキングは通知表ではなく、出題者の視点で切り取った一枚にすぎません。ベンチマークの作り方、採点器の設計、数字が膨らまない工夫を扱います。
ARC-AGI-2のハイスコアボードは2026年10月9日に更新された。ARC Prizeの公式発表によると、Tufa Labsが88.06%に到達し、ARC Prize 2026シーズンのARC-AGI-2ハイスコアボードで1位になった。このスコアは85%のラインを越えている。大会が別途用意した1...
OpenAIは2026年10月6日、内部モデルが生成した719本の数学写本を公開した。10月8日、TechCrunchとThe Decoderは、この公開が数学界自身の諮問グループが定めた基準に達していないと相次いで指摘し、一部の数学者は同僚にOpenAIとの協働停止を呼びかけている。争点は証明の正...
Google AMIE の実際の外来を対象とした研究が 2026 年 10 月 8 日、『ランセット』本誌に掲載された。Google にとって同誌本誌への掲載は初めてである。AMIE は Google の対話型診断研究システムで、今回は模擬症例の試験ではなく、ベス・イスラエル・ディーコネス医療センタ...
Arena は 2026 年 10 月 8 日、公式ブログで 2 億ドルのシリーズ B 調達を発表した。評価額は 31 億ドルに達した。Lightspeed Venture Partners と Khosla Ventures が共同リードし、Salesforce Ventures、01 Advis...
DeepSeek V4.1 Flashの最新成績は2026年10月6日、ARC Prizeによって公表された。独立評価機関である同団体はARC-AGI(Verified)評価で、ARC-AGI-1で94.5%、ARC-AGI-2で72.9%というスコアを付けた。抽象推論はまた一歩前進したが、1問を解...
困惑度(パープレキシティ)とは、言語モデルが次の単語についてどれほど迷っているかを示す数字です。文を続ける場面で、実際に現れた単語にモデルが驚くほど数値は高く、当然に感じるほど低くなります。メーカーは新モデルの仕様表に好んで載せますが、これはモデルの賢さの成績表ではありません。答えている問いはとても...
OpenAIは2026年10月6日、公式ブログで、未発表の内部最先端モデルが産出した数学研究成果の一群を公開した。手稿722件、成果の系統372件に及び、長年未解決だった数学の問題数百件をカバーする異例の規模だ。成果は学術誌ではなく、改訂と引用のルールを添えて単一のGitHubリポジトリに置かれ、数...
Mistral Large 4 は、Mistral AI が 2026 年 10 月 6 日に公式ブログで発表した公開プレビュー版モデルです。総パラメータ 1 兆、活性化パラメータ 490 億のネイティブなマルチモーダルモデルで、このフランス企業にとって過去最大のモデルとなります。プレビュー API...