大規模言語モデルという技術カテゴリを解説：それが何か、どんな能力が AI アプリの基盤となっているのか、選定時に見るべきポイントと能力の限界はどこにあるのか。
コンテキストが限界に近づくと、AI は物事を忘れ始めます。これはたいてい態度が悪くなったからではなく、会話の初期の内容が切り捨てられたり圧縮されたりしたためです。最も確実な方法は、元の会話の中で「間違っている」と繰り返し指摘することではなく、まず要点をまとめさせてから新しい会話を開き、その要約を貼っ...
Tokenizerは、あなたがモデルに送った文が最初に通る部品で、理解を担当するのではなく、分割と番号付けだけを行います。テキストが大規模モデルに入る前に、Tokenizerはそれをtokenに切り分け、語彙表の番号に置き換えます。モデルが実際に読むのは、その番号の列です。ここが分かると、多くの疑問...
Muse Spark は、Meta が2026年10月2日に発表した共同研究の主役となった。Meta の数学者チームがこのモデルと協力して6本の研究論文を完成させ、そのうち5本がこれまで未解決だった開放問題に回答した。チームが使ったのは Muse Spark 1.1 と 1.2 の Thinking...
Mercor の会計対照研究は 2026 年 10 月 2 日、Mercor が公式ブログで公表しました。平均 5 年半の実務経験を持つ公認会計士の資格者 12 名を雇い、最先端の大規模モデルと月次決算の同じ課題で正面対決させたのです。結果は鮮明でした。会計士の平均は約 37% にとどまり、Clau...
AIアライメントとは、事前学習の完了後に、人間の意図・価値観・安全要件に沿って大規模言語モデルに応答させるための訓練・評価手法の総称である。事前学習はモデルに「話すこと」だけを教える。「上手に話す」ことを教えるのがアライメントだ。 アライメントは事前学習でもファインチューニングでもない 事前学習：膨...
2026年10月1日、Modalは公式エンジニアリングブログで、マルチノードGPUクラスタ製品「Modal Clusters」の正式提供開始（GA）を発表しました。開発者はPython関数にデコレータ modal.clustered を1つ付けるだけで、マルチノードクラスタを利用できます。ノード間は...
2026年9月30日、アント・グループ傘下のInclusionAI（百灵）は公式WeChatアカウントを通じて次世代言語モデル「Ling-3.1-flash」を発表した。総パラメータ数5600億、推論ごとにアクティブ化されるのは約250億パラメータのみで、エージェントタスク、検索、オフィスソフト、専...
Gemini 4 Argon は、Google が 2026 年 9 月 30 日に発表した新世代のフラッグシップモデルであり、全く新しい Gemini 4 シリーズの第一弾でもある。DeepMind は公式ブログで「次のフロンティア知能の時代」の幕開けと位置づけ、複雑で長期にわたるワークフローにお...
