Model Router kann als eine Planungsschicht verstanden werden, die "dir hilft, zu entscheiden, welches Modell du zuerst verwenden solltest". Es beantwortet keine Fragen direkt, sondern verteilt Anfragen an geeignetere Modelle oder Anbieter basierend auf Art der Aufgaben, Budget, Geschwindigkeitsanforderungen, Kontextlänge, Werkzeuganforderungen usw., nachdem die Anfrage ins System gekommen ist. In letzter Zeit ist dieses Konzept immer populärer geworden, weil sich Multi-Model von einer Multiple-Choice-Frage zu einer operativen Frage entwickelt hat und viele Produkte sich nicht auf nur ein Modell verlassen können, um die Welt zu dominieren.
In den Anfangstagen waren viele Teams sehr unkompliziert: Sie wählten das stärkste Modell und nutzten es in allen Szenarien. Das Problem wurde schnell aufgedeckt. Einfache Aufgaben mit dem teuersten Modell, Verschwendung; Langzeit-Aufgaben liefern kurze Fenstermodelle und stürzen ab; Echtzeit-Szenen mit geringer Latenz sind langsame Modelle und haben ein schlechtes Erlebnis. Infolgedessen begannen immer mehr Teams, einen Router an der Vorderseite des Modells hinzuzufügen, sodass das System zuerst triagieren und dann entscheiden konnte, wer antworten würde.
Ein guter Model Router kombiniert in der Regel mehrere Arten von Signalen. Zum Beispiel stellt sich die Frage, ob es sich um Code handelt, Mathematik, ein langes Dokument, ob es sich um eine Sprach-Echtzeitaufgabe handelt, welcher Anbieter derzeit günstiger oder stabiler ist, ob ein Modell eine aktuelle Grenze ausgelöst hat und ob der Kontext die Schwelle überschritten hat. Es handelt sich tatsächlich um einen Echtzeit-Kompromiss: eine bessere Lösung zwischen Qualität, Kosten und Latenz zu finden.
Das ist auch einer der Unterschiede zwischen ihm und dem Model Gateway. Das Gateway ist ein Infrastruktureingang, der für einheitliche Authentifizierung, Protokollierung, Abrechnung und kompatible Schnittstellen verantwortlich ist. Der Router trifft mehr Entscheidungen und ist dafür verantwortlich, "wer dieses Mal geht". Natürlich erscheinen die beiden oft zusammen im echten System, sodass alle gemeinsam über sie sprechen.
Warum ist es jetzt immer mehr wie Standard? Weil die Modellökologie zu schnell ist. Neue Modelle kommen ständig auf den Markt, die Preise ändern sich ständig, und auch die Grenzen der Fähigkeiten verändern sich. Wenn das Produkt weiterhin ein Dead-Order-Modell schreibt, wird die Iterationsgeschwindigkeit verringert; Sobald die Routing-Schicht unabhängig ist, kann das Team flexibeler Modelle wechseln, A/B machen, Kosten kontrollieren und das Endergebnis regeln. Für Unternehmensanwendungen ist das realistischer, als einfach das stärkste Modell zu verfolgen.
Aber der Router fügt es nicht einfach hinzu. Es erfordert Bewertungskriterien, Rückfalllogik, Überwachung und Unterstützung historischer Daten. Routingregeln, die zu tödlich geschrieben sind, machen das System immer komplizierter; Ein anderes Modell für Routing zu überlassen, kann zusätzliche Kosten und Latenz verursachen. Noch problematischer ist, dass, sobald der Weg falsch ist, die Nutzer meist nur denken: "Wie ist dieses Produkt heute dumm geworden?" und selten merken, dass es ein Problem mit der Triage-Strategie gibt.
Daher zeigt die Beliebtheit von Model Router, dass sich der Fokus der Branche von "ob es Modelle gibt" hin zu "wie man Multi-Model-Fähigkeiten organisiert" verlagert hat. In Zukunft sehen viele KI-Produkte aus wie ein Assistent, aber dahinter ist eigentlich eher ein Planungssystem. Nutzer sehen nur die Antwort, und oft ist es die Routing-Schicht, die die Entscheidung zuerst trifft.
