データアノテーションは、生の素材に答えを付けて学習素材へ加工する作業です。レビューに肯定か否定かのタグを付け、街の写真に写る車や歩行者を一つずつ枠で囲み、二つの AI の回答をどちらが良いか順位付けします。モデルが学習で繰り返し見るのはまさにこの注釈済みの例であり、身につける判断の仕方は、その大部分がアノテーターの判断の複写だと言えます。
実際に付けるもの：よくある五つの作業
一つ目は分類で、メールが迷惑メールかどうか、ニュースが経済面かスポーツ面かといった全体へのタグ付けです。二つ目は囲み枠と領域分割で、画像内の対象の位置を示します。自動運転の学習データにある車両・車線・歩行者の枠はこの方法で作られます。三つ目は書き起こしと対応付けで、録音を文字にしつつ、誰が何秒から話したかまで記録します。四つ目は抽出で、契約書の中の金額・日付・当事者名を抜き出して項目ごとに保存します。五つ目は好みの順位付けで、模範解答を書くのではなく、二つのモデル回答を見せて、より役立ち、より誠実な方を選んでもらいます。これは対話モデルの後期学習で人間の好みに合わせる重要な素材です。
注釈の一批はどう作られるか
通常は注釈ガイドラインから始まります。何を肯定的レビューとみなすか、皮肉はどの分類に入るか、枠は対象にどれだけ密着させるか。実行可能なルールとして正反例付きで書き起こします。次に試行ラウンドで、少数のサンプルを複数人が独立に注釈し、最も意見の割れたケースを話し合ってガイドラインを改訂してから本生産に入ります。生産中は一貫性の抜き取り検査が挟まれ、同じサンプルを別の作業者に回して不一致率が高すぎれば批ごとやり直し、決着のつかないサンプルは経験豊富な裁定者が決めます。つまりアノテーションのコストの本丸はクリックの速さではなく、ガイドライン、訓練、検査、裁定という品質管理の仕組み全体なのです。
誤解されやすい二つの点
一つは、アノテーションをモデルへの試験問題の漏洩と捉えることです。学習用ラベルと評価用の解答は別物で、前者は教科書、後者は封をした試験問題です。評価データが学習に混ざればスコアは不当に膨らみ、業界では近道ではなく事故として扱われます。もう一つは、自動アノテーションが広がれば人は不要になるという見方です。既存モデルで新しいデータにラベルを付けるのは速いものの、そのモデル自身の系統的な誤りがデータへそのまま複写され、整然と間違いが量産されます。一般的な運用は、機械が先に付け、人は信頼度の低いサンプルとリスクの高いサンプルを重点的に確認する形で、人は検査と裁定の位置へ移り、完全に退場するわけではありません。
一般の利用者にとっても無関係ではない理由
自分でデータを注釈することはなくても、その下流には何度も出会います。業界特化モデルの微調整は注釈済み質疑応答の対で回り、モデルランキングの信頼性は評価セットの注釈の清潔さに依存し、安全面の調整でどの回答を拒否すべきか、どの拒否が過剰かという境界も、人が先に線を引いてから学習に入ります。事業者が厳選データや専門家による注釈をうたうとき、問うべきは三点です。ガイドラインは公開されているか、一貫性はどう検証するか、意見の対立は誰が裁くか。この三点に答えられなければ、注釈の品質は宣伝文句にすぎない可能性が高いでしょう。
