ToolNavs 便利なAIツールを発見
ツール投稿 ログイン

フューショット学習

フューショット学習の仕組み:再学習なしに、プロンプト内の数個の回答例を見るだけで大規模言語モデルが類推できる理由。その能力の源、得意な場面、素直にルールを書いた方がよい場面を押さえる。

フューショット学習は、推論時に数個の例を見るだけで新しい課題をこなす手法で、パラメータは変えません。2〜3組の入出力例をプロンプトに入れるだけで、モデルはパターンを汲み取り新しい問題に応用します。ここでは、例がなぜモデルを教えられるのか、例の数と質の影響、ゼロショットやファインチューニングとの境界、古典的なフューショットChain-of-Thoughtの書き方を解説します。
インコンテキスト学習とは?パラメータを変えず、例からその場で学ぶ仕組み

インコンテキスト学習とは?パラメータを変えず、例からその場で学ぶ仕組み

インコンテキスト学習とは、大規模モデルがパラメータを更新せず、プロンプトに示された数個の例だけを頼りに、新しいタスクをその場でこなす能力のことである。モデルは再学習されるわけではなく、例を恒久的に覚えるわけでもない。例を現在の会話における一時的な参照として扱い、そこからタスクの形式や文体、判断基準を...

Admin
110
自己注意とは何か?モデルはどの単語が重要かを先に見極める

自己注意とは何か?モデルはどの単語が重要かを先に見極める

自己注意とは、モデルが一文を処理するとき、まず各単語が文中のどの単語にどれだけ注目すべきかを判断し、その情報を統合する仕組みです。固定された順序で一語ずつ読むのではなく、すべての単語が互いに採点します。関連が強いほど重みは大きくなり、最終的に各単語は、自分に最も必要な文脈を混ぜ込んだ新しい表現を得ま...

Admin
104
埋め込みベクトルとは?AIが言葉を数字に変えて似ているかどうかを測る仕組み

埋め込みベクトルとは?AIが言葉を数字に変えて似ているかどうかを測る仕組み

埋め込みベクトルとは、文章・画像・音声を一連の数字に変換し、機械がそれらの似ている度合いを計算できるようにしたものです。検索エンジンやレコメンド、チャットボットの知識ベースは、キーワードの完全一致ではなく、主にこの仕組みで情報を探しています。 ベクトルはどう生まれるのか モデルは大量のテキストから単...

Admin
107
プロンプトは長いほど良いのか?詰め込みすぎると逆効果、まずこの3種を削る

プロンプトは長いほど良いのか?詰め込みすぎると逆効果、まずこの3種を削る

プロンプトは長ければ良いわけではありません。タスクの目的、重要な背景、譲れない条件を書いた後は、積み増した内容の限界効用はすぐにゼロになり、むしろ結果を悪化させます。要件同士が衝突すればモデルは都合の良いほうを実行し、重点が埋もれれば主従を取り違え、例とタスクが合わなければ例に引っ張られます。判断基...

Admin
90
少数ショット学習とは?モデルに数例見せるだけで真似できる理由

少数ショット学習とは?モデルに数例見せるだけで真似できる理由

少数ショット学習は、大規模モデルに数件の例を見せるだけで、その形式と基準に沿って新しい課題をこなさせる使い方である。再学習は不要で、質問の前に二、三組の入力と望む出力を示せば、モデルはその規則性を見抜き、新しい内容にも同じ処理を適用する。事前学習で身につけた言語理解と課題理解があるからこそ成立する仕...

Admin
128
プレトレーニングとは?モデルが会話を覚える前に、ネットの大半を読み込む段階

プレトレーニングとは?モデルが会話を覚える前に、ネットの大半を読み込む段階

プレトレーニングは大規模言語モデルの最初の訓練段階です。会話やコーディングを覚える前に、モデルは大量のテキストで「次の単語を当てる」ことだけを繰り返します。この段階では礼儀も指示への従順さも教えず、言語の統計的パターン、事実の結びつき、表現の癖をパラメータに刻み込むだけです。おなじみの会話能力や推論...

Admin
273
壊滅的忘却とは?新しい技能を覚えたモデルが、古い技能を落とす理由

壊滅的忘却とは?新しい技能を覚えたモデルが、古い技能を落とす理由

壊滅的忘却とは、ニューラルネットワークが複数の課題を順番に学ぶとき、後の課題を身につける代わりに、前に覚えたことを広範囲に忘れてしまう現象です。出来上がったモデルへ新しい分野のデータで追加の微調整を行うと、新しい課題の成績は上がるのに、得意だった質問応答や分類、ある言語の扱いが目に見えて下がることが...

Admin
205
過学習とは?練習問題を暗記したモデルが本番でつまずく理由

過学習とは?練習問題を暗記したモデルが本番でつまずく理由

過学習とは、モデルが訓練データの細部やノイズまで覚え込んでしまい、練習問題では高得点でも、見たことのない新しいデータでは明らかに精度が落ちる現象です。モデルを評価するときは、訓練した問題での出来ではなく、新しい問題に規則を応用できるかどうかが重要です。過学習したモデルは規則を学んだのではなく、答えを...

Admin
147