GPT-6 知識蒸留

SEALアーキテクチャはGPT-6に継続的な自己学習機能を持たせることを可能にするかもしれない

arXivに最近掲載された論文「自己適応型言語モデル（SEAL）」は、言語モデルがデプロイ後に継続的に学習できるようにする新たなアプローチを提案しています。研究によると、SEALは推論中に自己更新指示（「自己編集」）を生成し、データとパラメータを自動的に選択して重みを調整することで、再学習なしに知識...