KI-Hardware und On-Device-KI
KI wandert aus der Cloud auf die Geräte: dedizierte Inferenzchips, taschengroße KI-Hardware, On-Device-Modelle in Smartphones und PCs und der Gewinn an Privatsphäre und Latenz durch Offline-Inferenz.
Je kleiner die Modelle werden, desto stärker umkämpft ist die Hardware. Auf der einen Seite stehen taschengroße Geräte, die den Gesprächseinstieg vom Smartphone wegholen wollen. Auf der anderen Seite die On-Device-Inferenz in Telefonen und PCs, wo dedizierte Chips die Latenz auf Dutzende Millisekunden drücken. Wärme, Akku und Speicherbandbreite entscheiden, wie groß ein Modell wirklich läuft, weshalb On-Device-Versprechen übertrieben werden. Dieser Tag verfolgt die tatsächlichen Produkte.
