大模型微调
讲透微调到底改了模型的什么行为，以及它和提示词优化、RAG 在成本与效果上的取舍，帮团队决定是否值得训练。
大模型微调是用额外训练让模型在回答风格、输出结构和特定任务上更稳定，常见做法有全量微调、LoRA 和 QLoRA。LoRA 只训练旁路小矩阵，显存和省钱优势明显，适合学行业术语、固定话术或图像风格；但如果基础模型没有某能力、数据又少又乱，微调也救不回来。
模型崩塌是什么？反复吃自己生成的数据为何越学越窄
模型崩塌指的是模型在反复用自己生成的数据训练下一代时，输出分布一轮比一轮窄，最后丢掉真实世界里那些少见但重要的部分。它不是模型突然变笨，而是一种慢慢收窄的过程：常见的说法被反复放大，罕见的说法先消失，错误则被当成标准答案固定下来。 尾巴是怎么丢掉的 真实数据里，大多数样本挤在中间，少数样本散在边缘，...
Admin
16 
数据标注是什么？模型那些标准答案，是谁先一份份备好的
数据标注（Data Annotation）是把原始材料加工成带答案的训练材料：一段评论被标上正面还是负面，一张街景照片里的车辆和行人被逐个框出来，两条 AI 回答被排出哪条更好。模型训练时反复看的，正是这些标好的例子；它学到的判断方式，很大程度上就是标注员判断方式的复制品。 标的到底是什么：五种最常...
Admin
30 
Pi API 开放测试：机器人基础模型第一次有了托管微调入口
Pi API 把机器人基础模型的微调和推理做成了托管服务。2026 年 10 月 13 日，Physical Intelligence 在官方博客宣布 Pi API 进入测试：开发者把自己的机器人数据上传，在 Physical Intelligence 管理的算力和基础设施上发起微调，再通过托管网关...
Admin
37 
少样本学习是什么？给模型看几个例子，它为什么就能照着做
少样本学习是让大模型只看几个示例，就照着示例的格式和标准完成新任务的一种用法。使用者不需要重新训练模型，只需要在提问时先给出两三组输入和期望输出，模型就会从这些例子里归纳出规律，再把同样的处理方式用到新内容上。它依赖的是模型在预训练阶段已经学到的语言和任务理解能力，示例起到的作用更像现场示范，而不是...
Admin
87 
预训练是什么？模型学会聊天之前，先读完了大半个互联网
预训练是大模型的第一阶段训练：模型在学会聊天、写代码之前，先在海量文本上做一件事——反复猜下一个词。这个阶段不教它礼貌，也不教它服从指令，只让它把语言的统计规律、事实关联和表达习惯吃进参数里。后面你熟悉的对话能力、推理风格，其实都站在预训练打下的底子上。 练法只有一个：猜下一个词 预训练的任务出奇地...
Admin
108 
灾难性遗忘是什么？模型学会新本事，为什么会把旧本事丢了
灾难性遗忘，指的是神经网络在先后学习不同任务时，学会后面的任务，却把前面已经学会的东西大面积忘掉的现象。给一个已经训好的模型继续喂新领域的数据做微调，新任务的分数上去了，原来拿手的问答、分类或某种语言却明显变差，很多团队第一次做增量训练时都会撞上它。它不是模型变笨了，而是训练方式本身带着这个副作用。...
Admin
97 
Agent Lightning 1.0 开源：3500 行代码训练真实智能体
Agent Lightning 1.0 在 2026 年 10 月 7 日由 Microsoft Research Asia 团队开源发布，整个框架只有约 3500 行代码。它要解决的是智能体强化学习里一个长期别扭的问题：过去想用强化学习训练一个智能体，得先把智能体在训练框架里重新实现一遍，训出来的...
Admin
109 
Nemotron 拿下双料金牌：IOI 超过人类冠军，IMO 刚过金牌线
Nemotron 在 2026 年 10 月 7 日由 NVIDIA 团队在 Hugging Face 博客汇总公布：同一模型家族的两个微调版本，分别在 2026 年国际信息学奥林匹克（IOI）和国际数学奥林匹克（IMO）上达到金牌水平，其中 IOI 成绩还超过了当届人类最高分。 两块金牌，先看成色...
Admin
92