Inference-Time Compute 是什么?为什么推理模型时代大家开始重新计算“多想一会儿”的价值
Inference-Time Compute 说的不是训练时花了多少算力,而是模型在真正回答用户问题那一刻,愿意投入多少额外计算去想、去试、去筛。这个词最近变热,是因为推理模型把一个老问题重新摆到了台面上:如果模型不是“立刻给答案”,而是允许它多算一点,结果会不会更好?答案通常是会,但账也会更复杂。...
AI百科 • Admin •
92
找到 2 篇相关文章
Inference-Time Compute 说的不是训练时花了多少算力,而是模型在真正回答用户问题那一刻,愿意投入多少额外计算去想、去试、去筛。这个词最近变热,是因为推理模型把一个老问题重新摆到了台面上:如果模型不是“立刻给答案”,而是允许它多算一点,结果会不会更好?答案通常是会,但账也会更复杂。...
Test-Time Scaling 可以理解成:在模型真正回答问题时,给它更多推理预算、更多尝试次数或更长的思考空间,从而换取更好的结果。它之所以火,是因为很多人发现,模型能力不只取决于训练时多大,还取决于“回答当下愿不愿意多算一会儿”。 它到底在扩什么 - 可能是更长的推理步骤,让模型别太快下结论...