コンテキストが限界に近づくと、AI は物事を忘れ始めます。これはたいてい態度が悪くなったからではなく、会話の初期の内容が切り捨てられたり圧縮されたりしたためです。最も確実な方法は、元の会話の中で「間違っている」と繰り返し指摘することではなく、まず要点をまとめさせてから新しい会話を開き、その要約を貼って続けることです。
コンテキストが限界に近い四つのサイン
一つ目のサインは、最初に伝えた設定や名前を忘れることです。たとえば、冒頭で決めた人物名や呼び方、書式のルールが、後半になると突然変わったり、まったく使われなくなったりします。二つ目のサインは、すでに却下した案を、まるでその議論がなかったかのように再び持ち出すことです。三つ目のサインは、回答が明らかに短く、そっけなくなることです。以前は出せていた具体的な内容や例が少しずつ消え、大まかな結論だけが残ります。四つ目のサインは取り違えです。異なる段落、異なる人物、異なるバージョンの情報を混同し、時系列や因果関係もずれてきます。このうち二つ、三つが当てはまれば、説明が不十分だったのではなく、会話が長くなりすぎたのだとほぼ判断できます。
長く話すと忘れるのはなぜか
理由は、コンテキストウィンドウに限りがあるからです。一つの会話でモデルが同時に見ることができるテキスト量には上限があり、会話が長くなるほど、初期の内容は押し出されたり、システムに要約版へ圧縮されたりしやすくなり、細部は自然と残らなくなります。完全に押し出されていなくても、間に入った大量の会話によって注意力は薄まります。距離が遠く、言及される回数が少ない情報ほど、後の内容に覆われやすいのです。ウィンドウが大きく宣伝されていても、長い会話の後半で品質が落ちることがあるのはそのためです。この点については、コンテキストウィンドウは大きければいいわけではない：100万トークンの裏にある注意力のコストと三つの誤解も参考になります。
忘れ始めたら、この方法で引き継ぐのが最も確実
第一に、AI に引き継ぎ用の要約を出させ、次の四点を必ず含めるよう明示します。現在の目標、すでに決まった結論、まだ解決していない問題、人名・数字・決まった言い回しなど、残すべき重要な原文です。第二に、新しい会話を開き、まず要約を貼り、「この要約に基づいて続け、決まった結論は覆さないでください」と一言添えてから、新しい質問をします。要約を貼った後は、先に目標と決まった結論を復唱させ、理解にずれがないか確認してから進めましょう。すぐに質問を続けるより手間が省け、誤解したまま先へ進むことも防げます。繰り返し使う人名、表現上の決まり、避けるべき事項は、別のテキストとして保存しておき、新しい会話のたびに貼るのも有効です。AI 自身の記憶に頼る必要がなくなります。第三に、長い作業はできるだけ段階に分け、段階ごとに会話を分け、前段階の要約と成果だけを持ち込みます。全体を一つの会話に詰め込んで最後まで引き延ばさないことが大切です。第四に、大切な設定は各会話の冒頭に書き、重要な節目では適宜言い直します。第五に、一つの会話に関連のない複数の作業を混ぜないでください。話題が増えるほど情報同士が干渉し、忘却や混同は早まります。
混同しやすい二つの境界
有料版のコンテキストウィンドウは通常大きく、より長く持ちますが、それでも上限があり、十分に長くなれば同じようにいっぱいになります。会員になれば解決するというものではありません。また、多くの製品にある「メモリ」機能と、一回の会話のコンテキストは別物です。メモリは会話をまたいで少量の設定や事実を保存するもので、コンテキストは今の会話で AI がその時点で見ることができる内容すべてを指します。今の会話で、伝えたばかりの設定を忘れたのであれば、それはたいていコンテキストの問題であり、設定画面でメモリを切り替えても解決しません。
