AIを使い続けるうちに「バカになった」と感じること、とてもよくある話だ。でも結論を急がないでほしい。十中八九、モデル自体が劣化したわけではなく、使い方の環境にある3つの変数が原因だ。A、B、Cの順にチェックしていけば、たいてい真犯人が見つかる。
まずAをチェック：今話しているのは、最初と同じモデルか
多くのプラットフォームはデフォルトで「自動選択」がオンになっており、ピーク時にはこっそり安価で弱いモデルにルーティングされる。アプリ更新でデフォルトモデルがリセットされることもあるし、無料枠を使い切ると、はっきりした通知なしにダウングレードするサービスもある。フラッグシップモデルと話しているつもりが、実際には別人格が答えているわけだ。
チェック方法は簡単だ。会話画面のモデル名が想定通りか確認し、設定でデフォルトモデルを見直す。そのうえで、慣れた「ベンチマーク問題」を今のモデルでもう一度試し、回答の質を当時と比べる。
次にBをチェック：コンテキストが汚染されていないか
長い会話では、序盤の誤った回答が既成事実として扱われ、引用され続ける。メモリやカスタム指示の中の古い好みが、気づかないうちに新しい回答をゆがめる。多ターンにわたるとモデルの注意は希薄化し、今の質問への集中度は自然に下がる。どれも「前はこんなんじゃなかった」と感じさせる原因だ。
チェック方法：まっさらな新規会話を開き、同じ質問を一字一句そのまま聞き直す。メモリやカスタム指示に古い内容がないか確認し、必要ならメモリをオフにして再テストする。
次にCをチェック：サンプリングのランダム性——そして自分の質問の仕方
モデルの回答には本質的にランダム性がある。同じ質問を2回聞けば質にばらつきが出るのが当然で、人はたいてい一番よかった回答だけを覚えている。もう一つ、耳の痛い真実がある。使い慣れるほど質問はどんどん簡略化し、背景情報は減るのに期待値は上がる。回答が悪くなったのは、質問が「手抜き」になっただけ、ということもある。
チェック方法：当時「賢い回答」を引き出した質問を、一字も変えずにもう一度聞いてみる。差がまだあるかどうかを見る。
セルフチェック4ステップ——結論を出す前にやり切る
ステップ1、モデルバージョンとルーティング設定を確認し、弱いモデルに切り替えられていないか除外する。ステップ2、クリーンな新規会話でベンチマーク問題を再テストする。ステップ3、メモリとカスタム指示を確認し、古い好みを掃除する。ステップ4、質問の背景情報を補ってからもう一度試す。4ステップをやり切れば、「バカになった」という感覚はたいてい具体的な原因にたどり着く。
「本当にモデルが変わった」のはどんなときか
少数だが、モデル側が本当に変わったケースもある。公式がバージョン更新や旧モデルの提供終了を発表した場合。ピーク時に一部の事業者が一時的に計算資源を削減し、回答品質が負荷とともに変動する場合。クリーンな環境で同じベンチマーク問題が継続的に悪化し、同様の報告が多数ある場合だ。そんなときは、プロンプトをいじり続けるのではなく、モデルを変えるか公式の修正を待つのが正解だ。方向が間違っていれば、調整するほど疲れるだけだ。
