SFT（教師ありファインチューニング）とは？チャットモデルが「デビュー前研修」を受ける理由
SFT（Supervised Fine-Tuning、教師ありファインチューニング）は、チャットモデルが「デビュー」する前の研修のようなものです。数千件の「指示-回答」のデモデータを使い、事前学習済みの大規模モデルに、人間が期待する話し方・振る舞い方を教えます。ここで注意したいのは、モデルに新しい知...
Admin •
115
RAGとは何か？ファインチューニング・プロンプトエンジニアリングとの違い
RAG（Retrieval-Augmented Generation：検索拡張生成）とは、大規模言語モデルに回答の前に資料を調べさせる技術です。モデルは回答を生成する前に、外部のナレッジベースから質問に関連する内容を検索し、その内容を根拠として回答を書きます。LLMの2つの持病――学習データに期限が...
Admin •
149
知識蒸留：大規模モデルを「小さく教える」技術、原理・限界・3つの誤解
知識蒸留（Knowledge Distillation）とは、学習済みの大規模モデル（教師モデル）から小さなモデル（生徒モデル）が学ぶ技術です。Geoffrey Hinton らが 2015 年の論文「Distilling the Knowledge in a Neural Network」で体系化...
Admin •
123
Chain-of-Thoughtとは？AIに先に考えさせてから答えさせる技術
Chain-of-Thought（思考の連鎖、略してCoT）はプロンプト技術の一つで、モデルにいきなり答えを出させるのではなく、先に中間の推論ステップを書き出させ、最後に結論を出させる手法です。数学の問題では、答えの数字を直接出すのではなく、「未知数を置く→方程式を立てる→解く」という過程を先に書き...
Admin •
196
コンテキストウィンドウは大きければいいわけではない：1Mトークンの裏にある注意機構のコストと3つの誤解
コンテキストウィンドウとは、モデルが一度に「見る」ことができるトークン総量の上限です。プロンプト、会話履歴、検索で取得した資料、そしてモデル自身がすでに出力した返答まで、すべてが順番に一つの系列に並べられます。ウィンドウの大きさが決めるのはモデルの「作業台」の広さであり、賢さではありません。1Mトー...
Admin •
171
Temperature パラメータとは？温度を上げると AI は創造的になるのか
Temperature パラメータは、大規模言語モデルの出力のランダム性を制御するサンプリングパラメータで、多くの AI チャット製品の詳細設定や API パラメータの中に隠れている。普段は直接目にしないが、モデルの回答が堅実で収束的になるか、自由で奔放になるかを決めている。 要点は一言で言える。モ...
Admin •
203
Function Callingとは？MCPやプラグイン呼び出しとの本当の違い
Function Calling は、大規模言語モデルが外部の機能を利用するための最も一般的な仕組みです。開発者はまず JSON Schema で「どんな関数があり、引数はどのような形か」を記述しておき、モデルは会話の途中でデータ取得や操作が必要になると、構造化された呼び出し要求を出力します。プログ...
Admin •
191
GraphRAGとは何ですか? なぜ文書全体にわたる問いに答えるのが得意なのか
GraphRAGは、知識グラフと検索拡張生成を組み合わせた手法です。 まずドキュメントの集合からエンティティ、関係性、イベントを抽出して接続可能なグラフを形成し、その後グラフ内のコミュニティや階層別に要約を生成します。 「データベース全体の主なトピックは何か、異なる組織はどのように関係しているか?」...
Admin •
234