推論トークン

推論トークンとは何ですか? なぜ多くのチームにとって推論コストを検討する際に新たな指標となったのか

推論トークンは、モデルが最終的な答えを出す前に内部推論を完了するために消費するトークンの一部と理解できます。 これは直接見る入力・出力トークンとは完全に同じではありません。多くの推論プロセスはユーザーに完全に表示されていないためですが、それでもコンテキスト空間を占め、遅延や手数料、全体のスループット...