知識ベースのQ&Aは疑問ではなく、モデルが突然バカになるのではなく、資料が検索リンクの前で歪んで入力されるのです。 最も一般的な3つの問題は、切り込みすぎたり乱雑にカットされたりすること、不正確なリコール結果、そして文脈における内容の順序や境界線の誤りです。 モデルは与えられた材料に基づいてしか答えないので、答えはバイアスがあり、必ずしも生成層の問題ではありません。
ダイスが意味を断ち切るかどうか見てみましょう
多くのナレッジベースは文書が出てきた直後に固定語数にカットされるため、タイトル、定義、表の説明、結論を分解するのが最も簡単です。 その結果、モデルは「半段落」となり、自然と間違った答えを出します。 システム文書、製品説明、FAQ、契約資料に遭遇する際は、自然な段落、タイトルレベル、Q&A単位に基づいてカットすることを優先すべきであり、これは単に語数でカットするよりも安定しています。
リコールが「似たような関連性」を「本当に関連している」とみなしているか見てみましょう。
- ユーザーが非常に具体的な条件、バージョン、部門、制限について尋ねると、リコールは必ず一般的な導入段落で返ってきてくるため、検索の細かさが十分に細かくないことが示されます。
- 最初の数回のリコールが同じ関連性の低い文書からであれば、ソート信号が実際のビジネスキーワードを圧倒してしまいます。
- ユーザーがシナリオAについて明確に質問している場合、システムは必ずシナリオBの資料を取得します。これは埋め込みに似ていますが、ビジネス境界はフィルタリングされません。
この時点で、単にモデルを調整するだけでなく、まずメタデータフィルタリングやキーワードの再配置を加えるか、少なくとも文書の種類、時間、商品行などの条件を検索に取り入れてください。
最後に、文脈を見て「正しく綴られていない」かどうかを確認してください
一部のシステムは断片をプロンプトに詰め込みますが、実際にはどのセグメントが主な証拠かをモデルが判断するのが難しいです。 より安定した方法は、最も関連性の高い断片を最初に置き、タイトルと出典を保持し、モデルに対して「以下に基づいてしか答えられない」と明確に伝えることです。 見つからなければ、ただ言ってみて。」 文脈が古いバージョンと新しいバージョン、説明セグメント、広告セグメントを同時に混ぜると、どんなに強力でもモデルは揺らぎます。
簡単なトラブルシューティングの順番は、まずカットを確認し、次にリコールを見て、次にスプライシングを見て、最後にモデル自体に疑いを投げかけることです。 ほとんどの知識ベースは、出題されていない質問に答えており、最初の3つのステップが正解であれば、精度は大幅に回復します。
