知識グラフとは？ベクトルデータベースとは別物である
知識グラフとは、「エンティティ」と「エンティティ間の関係」を網の目のように組織化した知識の表現方法である。例えば「張偉—あるIT企業に勤務—職位はエンジニア」といった「主語—関係—目的語」の三つ組（トリプル）をつなぎ合わせれば、一枚のグラフになる。表形式との最大の違いは、関係が第一級の存在であること...
Admin •
21
知識蒸留とは？大規模モデルが小規模モデルに技を伝える仕組み
知識蒸留（Knowledge Distillation）は、大規模モデルの「ダークナレッジ」を小さなモデルに伝える技術である。まず巨大な教師モデルに参照出力を生成させ、ずっと小さな生徒モデルにそれを学ばせることで、小さくて実用的なモデルを作り出す。 先生が実際に伝えるもの：ソフトラベルに宿るダークナ...
Admin •
33
モデルプルーニングとは？重要でない接続を切ってもモデルが動く理由
モデルプルーニングは、大規模モデルに引き算をする手法です。重みの中でゼロに近く、出力への影響が小さい接続を見つけて削除またはゼロ化し、モデルを小さく速くしながら、能力の低下をわずかに抑えます。量子化や蒸留とまとめてモデル圧縮と呼ばれますが、手を入れる場所はまったく違うため、まずはプルーニング自体を整...
Admin •
46
レッドチーミングとは？AIの弱点をわざと突く検証と通常テストの違い
レッドチーミングは、攻撃者の立場に立つ人を雇い、AIに誤った行動をさせたり、拒否すべき内容を言わせたり、守るべき情報を漏らさせたりする方法を意図的に探させ、公開前に穴をふさぐ検証です。もとはサイバーセキュリティの用語で、レッドチームが攻撃し、ブルーチームが防御します。測るのは通常利用での出来の良し悪...
Admin •
75
プロンプトキャッシュとは？同じ前置きを再計算しない仕組み
プロンプトキャッシュは、大規模モデルAPIの節約の仕組みです。同じ会話や同種のリクエストで繰り返し現れる冒頭のまとまりを、サーバー側が一度計算して保存し、次回も冒頭が一字一句同じなら、その計算結果をそのまま再利用します。節約できるのは入力トークンの料金と、最初の文字が出るまでの待ち時間の両方です。 ...
Admin •
87
テキスト分割とは？細かすぎると答えが欠け、大きすぎると話がずれる
テキスト分割とは、長い文書を小さな断片に切ってから知識ベースに保存する手法です。本や契約書、ヘルプセンター全体をそのままモデルに渡すのではなく、数百字から千字程度の塊に分け、それぞれをベクトル化し、質問時には最も関連する塊だけを取り出してモデルに答えさせます。RAG の工程で最も目立たない一方、回答...
Admin •
114
初回トークン遅延とは？最初の文字だけ遅く、後は速い理由
初回トークン遅延とは、送信ボタンを押してからモデルが最初のトークンを出すまでの待ち時間で、英語では TTFT（Time To First Token）と略されます。AI 製品の「速さ」の第一印象はここで決まります。送信してから3〜4秒沈黙する製品もあれば、ほぼ即座に文字が出始める製品もあり、その差は...
Admin •
132
モデル崩壊とは？自分の生成データで学び続けるとなぜ狭くなるのか
モデル崩壊とは、モデルが自分の生成したデータで繰り返し学習すると、出力の分布が世代ごとに狭くなり、現実世界の珍しいが重要な部分が消えていく現象です。よくある表現は増幅され、珍しい表現から先に消え、誤りが正解のように固定されます。 裾野はどう消えるのか 現実のデータは中央に集まり、少数が端、つまり分布...
Admin •
136