Found 6 related articles
Model Router kann als eine Planungsschicht verstanden werden, die "dir hilft, zu entscheiden, welches Modell du zuerst verwenden solltest". Es beantwo...
Reasoning Tokens können als der Teil der Token verstanden werden, den das Modell verbraucht, um das interne Schließen zu vervollständigen, bevor eine ...
Inference-Time Compute bezieht sich nicht darauf, wie viel Rechenleistung für Training aufgewendet wird, sondern wie viel zusätzliche Rechenleistung d...
Kontext-Caching bezeichnet das Caching eines Kontexts, der wiederholt an das Modell gesendet wird, und das Wiederverwenden nachfolgender Anfragen so w...
Mixture of Experts (MoE) ist eine Modellarchitektur, die "nicht jedes Mal das gesamte Modell zusammensetzt". Das wichtigste Merkmal ist, dass einige E...
Sparse Attention kann einfach so verstanden werden: Anstatt dass jeder Token alle Token betrachtet, sollte selektiv nur ein Teil davon betrachtet werd...