フューショット学習
フューショット学習の仕組み:再学習なしに、プロンプト内の数個の回答例を見るだけで大規模言語モデルが類推できる理由。その能力の源、得意な場面、素直にルールを書いた方がよい場面を押さえる。
フューショット学習の仕組み:再学習なしに、プロンプト内の数個の回答例を見るだけで大規模言語モデルが類推できる理由。その能力の源、得意な場面、素直にルールを書いた方がよい場面を押さえる。
インコンテキスト学習とは、大規模モデルがパラメータを更新せず、プロンプトに示された数個の例だけを頼りに、新しいタスクをその場でこなす能力のことである。モデルは再学習されるわけではなく、例を恒久的に覚えるわけでもない。例を現在の会話における一時的な参照として扱い、そこからタスクの形式や文体、判断基準を...
自己注意とは、モデルが一文を処理するとき、まず各単語が文中のどの単語にどれだけ注目すべきかを判断し、その情報を統合する仕組みです。固定された順序で一語ずつ読むのではなく、すべての単語が互いに採点します。関連が強いほど重みは大きくなり、最終的に各単語は、自分に最も必要な文脈を混ぜ込んだ新しい表現を得ま...
埋め込みベクトルとは、文章・画像・音声を一連の数字に変換し、機械がそれらの似ている度合いを計算できるようにしたものです。検索エンジンやレコメンド、チャットボットの知識ベースは、キーワードの完全一致ではなく、主にこの仕組みで情報を探しています。 ベクトルはどう生まれるのか モデルは大量のテキストから単...
プロンプトは長ければ良いわけではありません。タスクの目的、重要な背景、譲れない条件を書いた後は、積み増した内容の限界効用はすぐにゼロになり、むしろ結果を悪化させます。要件同士が衝突すればモデルは都合の良いほうを実行し、重点が埋もれれば主従を取り違え、例とタスクが合わなければ例に引っ張られます。判断基...
少数ショット学習は、大規模モデルに数件の例を見せるだけで、その形式と基準に沿って新しい課題をこなさせる使い方である。再学習は不要で、質問の前に二、三組の入力と望む出力を示せば、モデルはその規則性を見抜き、新しい内容にも同じ処理を適用する。事前学習で身につけた言語理解と課題理解があるからこそ成立する仕...
プレトレーニングは大規模言語モデルの最初の訓練段階です。会話やコーディングを覚える前に、モデルは大量のテキストで「次の単語を当てる」ことだけを繰り返します。この段階では礼儀も指示への従順さも教えず、言語の統計的パターン、事実の結びつき、表現の癖をパラメータに刻み込むだけです。おなじみの会話能力や推論...
壊滅的忘却とは、ニューラルネットワークが複数の課題を順番に学ぶとき、後の課題を身につける代わりに、前に覚えたことを広範囲に忘れてしまう現象です。出来上がったモデルへ新しい分野のデータで追加の微調整を行うと、新しい課題の成績は上がるのに、得意だった質問応答や分類、ある言語の扱いが目に見えて下がることが...
過学習とは、モデルが訓練データの細部やノイズまで覚え込んでしまい、練習問題では高得点でも、見たことのない新しいデータでは明らかに精度が落ちる現象です。モデルを評価するときは、訓練した問題での出来ではなく、新しい問題に規則を応用できるかどうかが重要です。過学習したモデルは規則を学んだのではなく、答えを...