なぜ Transformer が大模型の標準的な骨組みになったのか、注意機構のコストはどこにあるのか、拡散言語モデルや単一ストリーム構造が何を変えようとしているのかを整理します。
2026年9月24日、Xiaomi の MiMo チームは、次世代モデル MiMo-V3 のコアアーキテクチャ「HySparse2」を公開しました。既に公開されていた初代 HySparse のアップグレード版で、長程・マルチターンのエージェントタスク向けに設計されています。狙いは3つです。Prefi...
拡散LLMは、「拡散モデル」の核心的な考え方を言語モデルに移し、従来の自己回帰モデルのように1トークンずつ書き込むのではなく、徐々にノイズ除去と補正の方法でテキストを生成するものと理解できます。 最近話題になっているのは、Transformerの路線を完全に置き換えたからではなく、業界が他のテキスト...
トランスフォーマーはニューラルネットワークのアーキテクチャです。 名前が重要なのではなく、「並列処理」や「文脈モデリング」をうまく行っているからです。 今日見られる大規模な言語モデルの多くは、そのモデルやその変種と切り離せないものです。 トランスフォーマー以前は、多くのモデルがループ構造に頼り、テキ...
- 要旨 Z-Imageは、Tongyi-MAIがオープンソースで提供した6Bパラメータ画像生成のベースモデル群で、シングルストリーム拡散トランスフォーマー(S3-DiT)アーキテクチャを使用しています。 スピード重視のZ-Image-Turboとは異なり、Z-Imageはクリエイター、研究者、開発...
