ToolNavs 发现实用AI工具
提交工具 登录

大模型

讲清大模型这一技术品类:它是什么、靠什么能力成为 AI 应用的基础,选型时要看的关键维度,以及它的能力边界在哪。

大模型是当前 AI 应用的技术底座:以 Transformer 架构为代表,靠海量文本训练获得理解、生成和推理能力,再经微调、提示词和工具调用接入具体场景。它的价值在通用能力带来的范式变化,不在参数规模本身;边界同样清晰:知识有截止、会产生幻觉、长任务离不开外部工具和流程约束。
灾难性遗忘是什么?模型学会新本事,为什么会把旧本事丢了

灾难性遗忘是什么?模型学会新本事,为什么会把旧本事丢了

灾难性遗忘,指的是神经网络在先后学习不同任务时,学会后面的任务,却把前面已经学会的东西大面积忘掉的现象。给一个已经训好的模型继续喂新领域的数据做微调,新任务的分数上去了,原来拿手的问答、分类或某种语言却明显变差,很多团队第一次做增量训练时都会撞上它。它不是模型变笨了,而是训练方式本身带着这个副作用。...

Admin
160
困惑度是什么?数值越低,模型就真的越会答题吗

困惑度是什么?数值越低,模型就真的越会答题吗

困惑度,是衡量语言模型对下一个词有多不确定的一个数字:模型在续写一句话时,对接下来真正出现的词越意外,困惑度就越高;越觉得理所当然,困惑度就越低。厂商发布新模型时经常把困惑度写进参数表,数字看着小巧精确,很容易让人以为它就是模型聪不聪明的成绩单。其实它只回答了一个很窄的问题,读懂它的边界,比记住数字...

Admin
119
过拟合是什么?模型把训练题背得滚瓜烂熟,新题却频频答错

过拟合是什么?模型把训练题背得滚瓜烂熟,新题却频频答错

过拟合,指的是模型把训练数据背得太熟,连数据里的噪声和偶然细节都一起记住,结果在训练题上分数很高,换一批没见过的新数据就明显变差。判断一个模型好不好,不能只看它在练过的题目上表现如何,关键看它面对新问题时能不能把规律用出来。过拟合的模型不是学到了规律,而是记住了答案。 训练分数和真实水平为什么会脱节...

Admin
126