提示注入是什么？藏在网页和文档里的话，也能命令你的 AI
提示注入是把指令藏进模型会读到的外部内容里，让模型误把数据当成命令来执行的一种攻击方式。它不修改代码，也不破解系统，只是利用大模型会认真阅读上下文的特点，把要求混进网页、文档、邮件或图片文字中，模型读到后就可能照着做。 指令可以藏在哪里 提示注入分直接和间接两种。直接注入是使用者本人在输入里藏指令，...
Admin •
12
预训练是什么？模型学会聊天之前，先读完了大半个互联网
预训练是大模型的第一阶段训练：模型在学会聊天、写代码之前，先在海量文本上做一件事——反复猜下一个词。这个阶段不教它礼貌，也不教它服从指令，只让它把语言的统计规律、事实关联和表达习惯吃进参数里。后面你熟悉的对话能力、推理风格，其实都站在预训练打下的底子上。 练法只有一个：猜下一个词 预训练的任务出奇地...
Admin •
23
自回归是什么？大模型为什么总是一个词一个词往外蹦
自回归，指的是大模型生成文字时采用的一种基本方式：根据前面已经出现的词元，预测下一个最可能的词元，再把新生成的词元接回输入末尾，继续预测下一个，循环往复，直到输出结束标记或达到长度上限。你在聊天时看到回答一个词一个词往外蹦，正是这一步步解码的外在表现，而不是另外做出来的效果。 一个词元接一个词元地往...
Admin •
29
灾难性遗忘是什么？模型学会新本事，为什么会把旧本事丢了
灾难性遗忘，指的是神经网络在先后学习不同任务时，学会后面的任务，却把前面已经学会的东西大面积忘掉的现象。给一个已经训好的模型继续喂新领域的数据做微调，新任务的分数上去了，原来拿手的问答、分类或某种语言却明显变差，很多团队第一次做增量训练时都会撞上它。它不是模型变笨了，而是训练方式本身带着这个副作用。...
Admin •
49
困惑度是什么？数值越低，模型就真的越会答题吗
困惑度，是衡量语言模型对下一个词有多不确定的一个数字：模型在续写一句话时，对接下来真正出现的词越意外，困惑度就越高；越觉得理所当然，困惑度就越低。厂商发布新模型时经常把困惑度写进参数表，数字看着小巧精确，很容易让人以为它就是模型聪不聪明的成绩单。其实它只回答了一个很窄的问题，读懂它的边界，比记住数字...
Admin •
48
过拟合是什么？模型把训练题背得滚瓜烂熟，新题却频频答错
过拟合，指的是模型把训练数据背得太熟，连数据里的噪声和偶然细节都一起记住，结果在训练题上分数很高，换一批没见过的新数据就明显变差。判断一个模型好不好，不能只看它在练过的题目上表现如何，关键看它面对新问题时能不能把规律用出来。过拟合的模型不是学到了规律，而是记住了答案。 训练分数和真实水平为什么会脱节...
Admin •
53
扩散模型是什么？图片生成为什么先把画面打乱再慢慢还原
扩散模型是一种通过先向数据逐步加入噪声、再学习如何逐步去除噪声来生成新内容的生成模型，是当前图片生成的主流方法之一。它不直接画出一张图，而是从一片纯噪声出发，一步步清掉噪声，让画面慢慢显形。 先加噪，再去噪：两个相反的过程 前向过程是加噪：拿一张真实图片，按固定步骤一层层掺入随机噪声，经过多步之后，...
Admin •
60
涌现能力是什么？模型变大后，有些本事为什么像突然冒出来的
涌现能力是指小模型几乎做不到、规模跨过某个门槛后突然能够完成的任务能力。它不是普通的慢慢变好，而是看上去从无到有的跳变：模型较小时，多步算术基本全错，给了几个示例也学不会新格式；规模大到一定程度后，同样的题目突然能做对，复杂推理能一步步往下走，还能按示例现学新任务。这种按示例现学的能力叫上下文学习，...
Admin •
48