ToolNavs 发现实用AI工具
提交工具 登录
返回AI百科
上下文学习是什么?不改参数,模型靠例子现学现用

上下文学习是什么?不改参数,模型靠例子现学现用

AI百科 • Admin • • 15 次浏览

上下文学习是指大模型在不更新参数的前提下,只靠提示词里给出的几个例子,现学现用、完成新任务的能力。模型没有被重新训练,也没有记住这些例子,只是把例子当作当前对话的临时参考,从中推断任务的格式、风格和判断标准,再应用到新的输入上。例子给得清楚,模型学得就准;例子含糊,结果也跟着含糊。

看一个具体例子

假设你想让模型把用户留言分成咨询、投诉、表扬三类。你不需要重新训练模型,只需在提示词里各给一两条带标签的留言,再给出一条没有标签的新留言。模型会参照例子的分类方式,给新留言贴上标签。换一批例子、换一种分类标准,同一模型可能给出完全不同的结果,这说明它是在跟随例子,而不是执行一条写死的规则。

它和微调、RAG的区别

微调是拿一批数据真正更新模型参数,改动会保留下来,适合长期、稳定的任务,但需要数据、算力和时间。RAG是先从外部资料库里检索相关内容,再把检索结果交给模型回答,答案的依据主要来自检索到的资料。上下文学习既不改参数,也不查外部资料,依据只在提示词里给出的例子。它最轻、最快,也最容易被提示词里的措辞带偏。

三个常见误解

  • 给例子不等于训练。例子只在当前这次对话里起作用,换一次对话就失效,模型不会因此长期记住你的数据。
  • 例子不是越多越好。数量、顺序和表述方式都会影响结果,互相矛盾的例子、排在最后的例子、措辞含糊的例子,都可能把模型带偏。
  • 上下文越长不等于记得越牢。放进提示词的内容越多,关键信息越容易被稀释,模型也可能更关注靠后的内容。重要的例子和要求,宁可精简、放得醒目,也不要靠堆量。

什么时候好用,什么时候别指望

格式固定、标准靠例子说得清的任务很适合上下文学习,比如分类、改写、按固定模板提取信息。需要准确的专业知识、需要长期记住偏好、例子本身说不清标准的任务,就别指望几个例子解决问题。这时更适合微调、检索外部资料,或者把规则写成明确的文字要求。判断标准很简单:如果换几个例子结果就大变,说明任务还停留在看例子猜意思的阶段,需要更确定的依据。

推荐工具

更多