Inference-Time Compute

Inference-Time Compute 是什么？为什么推理模型时代大家开始重新计算“多想一会儿”的价值

Inference-Time Compute 说的不是训练时花了多少算力，而是模型在真正回答用户问题那一刻，愿意投入多少额外计算去想、去试、去筛。这个词最近变热，是因为推理模型把一个老问题重新摆到了台面上：如果模型不是“立刻给答案”，而是允许它多算一点，结果会不会更好？答案通常是会，但账也会更复杂。...