데이터 어노테이션은 원본 재료에 정답을 붙여 학습 재료로 가공하는 작업입니다. 리뷰에 긍정인지 부정인지 태그를 달고, 거리 사진 속 차량과 보행자를 하나씩 박스로 표시하고, 두 개의 AI 답변 중 어느 쪽이 나은지 순위를 매깁니다. 모델이 학습 과정에서 반복해서 보는 것이 바로 이렇게 주석이 달린 예시들이며, 모델이 익히는 판단 방식은 상당 부분 주석 작업자의 판단 방식을 복사한 것입니다.
실제로 다는 것: 흔한 다섯 가지 작업
첫째는 분류로, 이메일이 스팸인지, 뉴스가 경제면인지 스포츠면인지처럼 전체 항목에 태그를 다는 일입니다. 둘째는 박스 표시와 영역 분할로 이미지 속 대상의 위치를 표시하는데, 자율주행 학습 데이터의 차량, 차선, 보행자 박스가 이렇게 만들어집니다. 셋째는 전사와 정렬로, 녹음을 텍스트로 바꾸면서 누가 몇 초부터 말했는지까지 기록합니다. 넷째는 추출로, 계약서 속 금액, 날짜, 당사자 이름을 뽑아 항목별로 저장합니다. 다섯째는 선호 순위로, 표준 답안을 직접 쓰는 대신 모델 답변 두 개를 보여 주고 더 유용하고 더 정직한 쪽을 고르게 합니다. 이는 대화 모델의 후기 학습에서 사람의 선호에 맞추는 중요한 재료입니다.
주석 한 배치는 어떻게 생산되는가
과정은 보통 주석 지침에서 시작합니다. 무엇을 긍정 리뷰로 볼지, 비꼼은 어느 분류에 넣을지, 박스는 대상에 얼마나 밀착해야 하는지를 긍정 예시와 부정 예시를 곁들인 실행 가능한 규칙으로 적습니다. 이어서 시범 단계에서 소량 샘플을 여러 사람이 독립적으로 주석하고, 의견이 가장 갈린 사례를 논의해 지침을 고친 뒤 본생산에 들어갑니다. 생산 중에는 일관성 샘플 검사가 끼어듭니다. 같은 샘플을 다른 작업자에게 보내 불일치 비율이 너무 높으면 배치 전체를 재작업하고, 끝내 결론이 나지 않는 샘플은 경험 많은 판정자가 결정합니다. 그래서 어노테이션 비용의 큰 부분은 클릭 속도가 아니라 지침, 교육, 검사, 판정이라는 품질 관리 체계 전체입니다.
자주 생기는 두 가지 오해
하나는 어노테이션을 모델에게 시험 답안을 유출하는 일로 보는 것입니다. 학습용 라벨과 평가용 정답은 서로 다른 집합으로, 전자는 교과서이고 후자는 봉인된 시험지입니다. 평가 데이터가 학습에 섞이면 점수가 부풀려지는데, 업계에서는 이를 지름길이 아니라 사고로 취급합니다. 다른 하나는 자동 어노테이션이 퍼지면 사람이 필요 없어진다는 생각입니다. 기존 모델로 새 데이터에 라벨을 다는 것은 빠르지만, 그 모델 자신의 체계적 오류가 데이터에 그대로 복사되어 정연하게 틀린 데이터가 양산됩니다. 흔한 방식은 기계가 먼저 달고 사람이 신뢰도가 낮거나 위험도가 높은 샘플을 집중 점검하는 것으로, 사람은 검사와 판정 자리로 이동할 뿐 완전히 퇴장하지는 않습니다.
일반 사용자와도 먼 이야기가 아닌 이유
직접 데이터를 주석할 일은 없더라도 그 하류는 계속 마주칩니다. 업계 특화 모델의 미세 조정은 주석이 달린 질의응답 쌍으로 돌아가고, 모델 순위표의 신뢰도는 평가 세트의 주석이 얼마나 깨끗한지에 달려 있으며, 안전 정렬에서 어떤 답변을 거부해야 하고 어떤 거부가 과한지라는 경계 역시 사람이 먼저 그어 학습에 넣습니다. 업체가 엄선 데이터와 전문가 주석을 내세울 때 물을 만한 것은 세 가지입니다. 지침이 공개되어 있는지, 일관성을 어떻게 검증하는지, 이견은 누가 판정하는지. 이 세 가지에 답하지 못하면 주석 품질은 대개 홍보 문구에 불과합니다.
