Red Teaming bedeutet, Menschen in die Rolle von Angreifern zu versetzen: Sie versuchen gezielt, eine KI zu Fehlverhalten zu verleiten, ihr verweigerte Inhalte zu entlocken oder geschützte Informationen aus ihr herauszuholen, damit die Lücken vor der Veröffentlichung geschlossen werden. Der Begriff stammt aus der IT-Sicherheit, wo ein rotes Team angreift und ein blaues verteidigt. Gemessen wird nicht, wie gut ein System bei freundlicher Normalnutzung abschneidet, sondern ob es standhält, wenn jemand es aktiv brechen will.
Was Red Teams konkret versuchen
Die Versuche lassen sich in Gruppen einteilen. Eine zielt auf verbotene Inhalte: umformulieren, zerlegen, verklausulieren, bis klar ist, ob sich das Modell zu Aussagen überreden lässt, die es verweigern müsste. Eine zweite ist Prompt Injection: Anweisungen werden in Webseiten, Dokumenten oder Bildern versteckt, um zu prüfen, ob das Modell eingeschleusten Text wie einen Befehl seines Besitzers ausführt. Eine dritte zielt auf Privatsphäre: Aus öffentlichen Hinweisen und vorgetäuschter Vertrautheit sollen personenbezogene Daten oder internes Firmenmaterial herausgeholt werden. Eine vierte prüft Verzerrungen und Fakten, etwa ob suggestive Fragen das Modell dazu bringen, die Haltung des Nutzers mit erfundenen Belegen zu stützen. Gemeinsam ist allen: Die Testenden starten feindselig, und je garstiger die Frage, desto besser.
Weder normaler Test noch die Schutzmechanismen selbst
Normale Tests messen Kooperationsbereitschaft: ein fester Fragenkatalog, bewertet nach Genauigkeit und Tempo, wie eine Probeklausur. Red Teaming misst Widerstandskraft: Es ignoriert den Katalog und sucht in den Ecken, die er nie abdeckt, eher wie ein bezahlter Fehlersucher. Die Guardrails sind das Ergebnis danach: Jeder gelungene Umgehungsweg wird zu einer neuen Regel, einem Filter oder einer Trainingskorrektur, und dann darf das Red Team es erneut versuchen. Guardrails sind der Schild, das Red Team die Truppe, die mit allem darauf einschlägt, was sie findet. Ein Schild, auf den nie jemand eingeschlagen hat, stoppt nur die Angriffe, die sich sein Konstrukteur vorstellen konnte.
Drei verbreitete Missverständnisse
Erstens: Red Teaming sei ein bisschen Plaudern auf gut Glück. Professionelle Arbeit ist das Gegenteil: Angriffsmethoden werden katalogisiert, gelungene Umgehungen müssen reproduzierbar und einordenbar sein und landen in einer Regressionssammlung, die nach jedem Modellupdate erneut läuft. Zweitens: Wer ein Red Teaming bestanden hat, sei sicher. Bewiesen ist nur, dass die bekannten Angriffe versucht wurden; echte Angreifer erfinden nach dem Start laufend neue, weshalb reife Teams dauerhaft testen, teils mit externen Firmen und Bug-Bounty-Programmen. Drittens: Das betreffe nur Chatbots. Sobald eine KI Werkzeuge aufrufen, externe Inhalte lesen und im Auftrag handeln kann, wird auch geprüft, ob eine einzige Phishing-Mail sie zum Löschen von Dateien oder zum Weiterleiten von Unterlagen bringt, ein weit größeres Risiko als ein falscher Satz.
Wer ein KI-Produkt beurteilt, sollte deshalb nicht nur auf Demos und Benchmark-Werte schauen. Es lohnt sich zu prüfen, ob ein Anbieter offen über sein Red Teaming spricht: Wer testet, was wurde gefunden, und wurde nach der Reparatur erneut getestet? Anbieter, die über die Treffer sprechen, die sie einstecken mussten, verdienen meist mehr Vertrauen als solche, die nur Punktzahlen zeigen.
