ToolNavs 发现实用AI工具
提交工具 登录
返回AI百科
数据标注是什么?模型那些标准答案,是谁先一份份备好的

数据标注是什么?模型那些标准答案,是谁先一份份备好的

AI百科 • Admin • • 14 次浏览

数据标注(Data Annotation)是把原始材料加工成带答案的训练材料:一段评论被标上正面还是负面,一张街景照片里的车辆和行人被逐个框出来,两条 AI 回答被排出哪条更好。模型训练时反复看的,正是这些标好的例子;它学到的判断方式,很大程度上就是标注员判断方式的复制品。

标的到底是什么:五种最常见的活儿

第一种是分类,给整条内容贴一个或几个标签,比如这封邮件是不是垃圾邮件。这篇新闻属于财经还是体育。第二种是框选与分割,在图片里把目标的位置圈出来,自动驾驶训练数据里大量的车辆、车道线、行人框都是这样来的。第三种是转写与对齐,把录音变成文字,并标清哪句是谁说的、从第几秒开始。第四种是抽取,把合同里的金额、日期、甲乙双方名称从整段文字里单独拎出来存好。第五种是偏好排序:不直接写标准答案,而是给标注员两条模型回答,让他选哪条更有用、更诚实——这类标注是很多对话模型在训练后期对齐人类偏好的重要材料。

一份标注是怎么生产出来的

流程通常从一份标注规范开始:什么算正面评论、讽刺句归哪一类、框要贴多紧,都得先写成可执行的规则并配上正反例。接着是试标,一小批样本由多人独立标注,把分歧最大的情况挑出来讨论,修订规范后再批量生产。正式标注中会穿插一致性抽检:同一批样本发给不同标注员,答案对不上的比例太高,整批就要返工;实在裁不下来的争议样本,交由更有经验的仲裁员定夺。所以标注的成本大头从来不是点鼠标的速度,而是规范、培训、抽检和仲裁这一整套质量控制。

最容易误解的两件事

一是把标注理解成给模型泄题。训练用的标注和评测用的标准答案是两套东西:前者是教材,后者是密封的考卷。评测集如果混进训练数据,分数会虚高,这在业内被视为事故而不是捷径。二是以为自动标注普及后就不需要人了。用现成模型给新数据打标确实快,但它会把模型自己的系统性错误原样复制进数据,越自动越整齐地错。常见做法是机器先标、人工重点抽检低置信度和高风险样本,人退到质检和仲裁的位置,而不是完全离场。

它离普通用户其实不远

你未必会亲手标注数据,但会不断碰到它的下游:微调一个行业模型,靠的是标注好的问答对;模型评测榜单的可信度,取决于评测集标注是否干净;安全对齐里哪些回答该拒答、哪些属于过度拒绝,同样先由人标出边界,再写进训练。看到厂商宣传精选数据、专家标注时,真正值得问的是三件事:规范是否公开、一致性怎么验、争议由谁裁。这三点答不上来,标注质量多半只是宣传词。

推荐工具

更多