为什么同一个提示词每次结果都不一样?先分清随机性、上下文和工具返回
同一个提示词每次结果都不一样,通常不是模型“抽风”,而是你一次把三种变量都放进去了:模型本身的随机采样、对话历史带来的上下文漂移,以及外部工具或检索结果每次都可能不同。只盯着提示词本身看,往往会误判问题。 先分清是哪一种不一样 - 随机性: 就算问题一样,模型在组织句子、举例方式和段落顺序上也可能变...
AI问答 • Admin •
101
找到 2 篇相关文章
同一个提示词每次结果都不一样,通常不是模型“抽风”,而是你一次把三种变量都放进去了:模型本身的随机采样、对话历史带来的上下文漂移,以及外部工具或检索结果每次都可能不同。只盯着提示词本身看,往往会误判问题。 先分清是哪一种不一样 - 随机性: 就算问题一样,模型在组织句子、举例方式和段落顺序上也可能变...
Temperature 和 Top-p 都是在控制模型“怎么选下一个词”。简单说,它们影响的是回答有多保守、多发散。温度越低,模型越倾向选最稳的词;温度越高,模型越敢尝试不同表达。Top-p 则是在“保留哪些候选词”这件事上做筛选。 这两个参数常被一起提起,因为它们都在调节生成时的随机性。你看到 A...