ToolNavs 发现实用AI工具
提交工具 登录

少样本学习

聚焦少样本学习(Few-Shot):只给大模型看几个带答案的例子、不用重新训练,它就能举一反三;讲清这种能力从哪来、什么时候好用、什么时候不如直接写规则。

少样本学习指模型在推理时只看几个示例就完成新任务,不改任何参数:提示词里放两三个输入输出对,大模型便能归纳出其中的模式并套用到新问题上。这一专题讲清示例为什么能教会模型、示例数量和质量如何影响效果、它与零样本和微调的边界,以及提示词工程里经典的少样本思维链写法。
上下文学习是什么?不改参数,模型靠例子现学现用

上下文学习是什么?不改参数,模型靠例子现学现用

上下文学习是指大模型在不更新参数的前提下,只靠提示词里给出的几个例子,现学现用、完成新任务的能力。模型没有被重新训练,也没有记住这些例子,只是把例子当作当前对话的临时参考,从中推断任务的格式、风格和判断标准,再应用到新的输入上。例子给得清楚,模型学得就准;例子含糊,结果也跟着含糊。 看一个具体例子 ...

Admin
110
自注意力是什么?模型先看清哪个词重要再回答

自注意力是什么?模型先看清哪个词重要再回答

自注意力是让模型在处理一句话时,先判断每个词应该多关注句子里的哪些词,再把这些信息融合起来的一种机制。它不按固定顺序一个词一个词往后读,而是让所有词互相打分:关联越强,权重越大,最后每个词得到的新表示都混入了它最需要的那部分上下文。 先看一个例子 “小明把钥匙放在桌子上,他随后出门了。”里的“他”指...

Admin
104
嵌入向量是什么?AI先把文字变成数字再比像不像

嵌入向量是什么?AI先把文字变成数字再比像不像

嵌入向量就是把一段文字、图片或声音变成一串数字,让机器能算出它们像不像。搜索引擎、推荐系统和聊天机器人的知识库,底层大多靠它找东西,而不是靠关键词逐字匹配。 向量是怎么来的 模型在大量文本里学到词语之间的搭配关系:经常一起出现的词,位置就靠近;意思相反的词,离得远。于是“猫”和“狗”比“猫”和“汽车...

Admin
107
提示词越长效果越好吗?写太满反而变差,先删这三类话

提示词越长效果越好吗?写太满反而变差,先删这三类话

提示词不是越长效果越好。任务目标、关键背景和硬性要求写清之后,再往上堆的内容边际收益很快归零,甚至反过来拖累结果:要求互相打架时模型会挑顺手的执行,重点被淹没时它抓不住主次,示例和任务不匹配时还会被带偏。判断标准很简单,删掉一段之后结果没变化,那段本来就不该在。 太长坏在哪三处 第一处是注意力被摊薄...

Admin
90
少样本学习是什么?给模型看几个例子,它为什么就能照着做

少样本学习是什么?给模型看几个例子,它为什么就能照着做

少样本学习是让大模型只看几个示例,就照着示例的格式和标准完成新任务的一种用法。使用者不需要重新训练模型,只需要在提问时先给出两三组输入和期望输出,模型就会从这些例子里归纳出规律,再把同样的处理方式用到新内容上。它依赖的是模型在预训练阶段已经学到的语言和任务理解能力,示例起到的作用更像现场示范,而不是...

Admin
128
预训练是什么?模型学会聊天之前,先读完了大半个互联网

预训练是什么?模型学会聊天之前,先读完了大半个互联网

预训练是大模型的第一阶段训练:模型在学会聊天、写代码之前,先在海量文本上做一件事——反复猜下一个词。这个阶段不教它礼貌,也不教它服从指令,只让它把语言的统计规律、事实关联和表达习惯吃进参数里。后面你熟悉的对话能力、推理风格,其实都站在预训练打下的底子上。 练法只有一个:猜下一个词 预训练的任务出奇地...

Admin
273
灾难性遗忘是什么?模型学会新本事,为什么会把旧本事丢了

灾难性遗忘是什么?模型学会新本事,为什么会把旧本事丢了

灾难性遗忘,指的是神经网络在先后学习不同任务时,学会后面的任务,却把前面已经学会的东西大面积忘掉的现象。给一个已经训好的模型继续喂新领域的数据做微调,新任务的分数上去了,原来拿手的问答、分类或某种语言却明显变差,很多团队第一次做增量训练时都会撞上它。它不是模型变笨了,而是训练方式本身带着这个副作用。...

Admin
205
过拟合是什么?模型把训练题背得滚瓜烂熟,新题却频频答错

过拟合是什么?模型把训练题背得滚瓜烂熟,新题却频频答错

过拟合,指的是模型把训练数据背得太熟,连数据里的噪声和偶然细节都一起记住,结果在训练题上分数很高,换一批没见过的新数据就明显变差。判断一个模型好不好,不能只看它在练过的题目上表现如何,关键看它面对新问题时能不能把规律用出来。过拟合的模型不是学到了规律,而是记住了答案。 训练分数和真实水平为什么会脱节...

Admin
147