Datenannotation verwandelt Rohmaterial in Trainingsmaterial mit vorgegebenen Antworten: Eine Bewertung erhält das Label positiv oder negativ, Autos und Fußgänger auf einem Straßenfoto werden einzeln mit Rahmen markiert, und zwei KI-Antworten werden danach geordnet, welche besser ist. Was ein Modell im Training immer wieder studiert, sind genau diese beschrifteten Beispiele, und das Urteil, das es lernt, ist weitgehend eine Kopie des Urteils der Annotatoren.
Was tatsächlich beschriftet wird: fünf verbreitete Arbeitsarten
Die erste ist die Klassifikation: Ein ganzer Eintrag erhält ein Label, etwa ob eine E-Mail Spam ist oder ob eine Nachricht in den Wirtschafts- oder Sportteil gehört. Die zweite ist Markieren und Segmentieren, also die Position von Zielen in einem Bild anzugeben; die Fahrzeug-, Fahrspur- und Fußgängerrahmen in Trainingsdaten für autonomes Fahren entstehen so. Die dritte ist Transkription mit Zuordnung: Aufnahmen werden in Text verwandelt, inklusive der Angabe, wer was ab welcher Sekunde gesagt hat. Die vierte ist die Extraktion, die Beträge, Daten und Vertragspartner aus einem Vertrag in eigene Felder überführt. Die fünfte ist das Präferenzranking: Statt eine Referenzantwort zu schreiben, sehen Annotatoren zwei Modellantworten und wählen die hilfreichere, ehrlichere aus – ein Schlüsselmaterial, um Dialogmodelle spät im Training an menschliche Vorlieben anzugleichen.
Wie ein Annotationsstapel entsteht
Der Prozess beginnt meist mit einer Richtlinie: Was als positive Bewertung zählt, in welche Klasse Sarkasmus fällt, wie eng ein Rahmen am Ziel sitzen muss – alles als ausführbare Regeln mit Positiv- und Negativbeispielen. Es folgt eine Proberunde, in der mehrere Personen dieselbe kleine Stichprobe unabhängig beschriften; die größten Meinungsverschiedenheiten werden besprochen und die Richtlinie überarbeitet, bevor die Volumenproduktion startet. Während der Produktion laufen Konsistenzprüfungen mit: Dieselben Beispiele gehen an verschiedene Annotatoren, und ist die Abweichung zu hoch, wird der ganze Stapel nachgearbeitet; Beispiele, die niemand klären kann, entscheidet ein erfahrener Schlichter. Die echten Kosten der Annotation sind daher nie die Klickgeschwindigkeit, sondern dieser ganze Qualitätsapparat aus Richtlinien, Schulung, Stichproben und Schlichtung.
Zwei häufige Missverständnisse
Das erste verwechselt Annotation damit, dem Modell Prüfungsantworten zuzuspielen. Trainingslabels und Auswertungsschlüssel sind zwei verschiedene Mengen: das eine ist das Lehrbuch, das andere eine versiegelte Klausur. Rutscht Auswertungsmaterial ins Training, blähen sich die Werte künstlich auf, was das Feld als Unfall behandelt, nicht als Abkürzung. Das zweite geht davon aus, automatisches Beschriften mache Menschen überflüssig. Ein vorhandenes Modell neue Daten etikettieren zu lassen ist schnell, kopiert aber dessen eigene systematische Fehler in den Datensatz, sauber und in großem Maßstab. Üblich ist: Maschine zuerst, Menschen prüfen gezielt unsichere und riskante Beispiele; sie wechseln in Prüfung und Schlichtung, statt ganz zu verschwinden.
Warum das auch normale Nutzer betrifft
Sie werden vielleicht nie selbst Daten beschriften, treffen aber ständig auf die Folgen: Das Feintuning eines Branchenmodells läuft über annotierte Frage-Antwort-Paare; die Glaubwürdigkeit einer Modellrangliste hängt davon ab, wie sauber ihr Auswertungssatz annotiert wurde; und bei der Sicherheitsausrichtung markieren Menschen zuerst, welche Antworten zu verweigern sind und welche Verweigerung übervorsichtig wäre, bevor das ins Training eingeht. Wirbt ein Anbieter mit kuratierten Daten und Expertenannotation, lohnen sich drei Fragen: Sind die Richtlinien öffentlich, wie wird Konsistenz geprüft, und wer schlichtet Streitfälle? Bleiben die Antworten aus, ist die Annotationsqualität höchstwahrscheinlich nur Werbesprache.
