背景 圧縮

長いコンテキスト圧縮とは何ですか? なぜモデルの文脈がどんどん長くなっているのか、それがより重要だからです

ロングコンテキスト圧縮は単に単語を削除するだけでなく、長文の重要な情報をできるだけ保持し、より短くモデルに基づく形に再構成することです。 この概念はますます重要になるでしょう。なぜなら、文脈の窓が長くなっているからです。 規模が大きくなるからといって、すべてを詰め込むべきではなく、本当の問題は「どの...