Kurz für alle, die mit lokaler KI noch nichts zu tun hatten: Für jedes Token, das ein Sprachmodell ausgibt, müssen seine Gewichte aus dem Speicher gelesen werden. Diese Leitung begrenzt die Geschwindigkeit, völlig egal wie stark der Chip rechnen kann. Der M5 Pro liegt bei 307 GB/s. Der DGX Spark, also die Box, die euch gerade überall als Einstieg in lokale KI verkauft wird, liegt bei 273, bei 140 Watt TDP und einem 240-Watt-Netzteil.
Getestet hab ich bisher Qwen3.8-27B, das Flash-Next-Modell aus der gleichen Reihe und LTX-2.5 für Videogenerierung. Dass die Bandbreite bremst, merkt man sofort, da gibt es nichts zu beschönigen. Was mich aber wirklich umgehauen hat, war nicht die Geschwindigkeit, sondern was unter Volllast eben nicht passiert. Kein hochdrehender Lüfter, kein warmes Gehäuse, ein Verbrauch, bei dem ich zweimal hingeschaut hab, ob die Anzeige überhaupt stimmt. Ich hab mitten in einem Video-Lauf die Unterseite angefasst, weil da doch irgendwas heiß werden muss.. war nix. Wenn ich ne Heizung will, kaufe ich mir halt ne Heizung 😄.
Damit ich nicht einseitig klinge: der Spark hat CUDA und das ganze NVIDIA-Ökosystem im Rücken, und zwei gekoppelte 64-GB-Geräte schlagen laut NVIDIA ein einzelnes 128-GB-System um bis zu 70 Prozent. Wer darauf aufbaut, trainiert und deployed, ist dort besser dran. Seit Ende Oktober gibt es ihn auch mit 64 GB für 3.150 Euro netto, brutto also ungefähr auf MacBook-Niveau. Nur bekommt man dafür eine Kiste ohne Display, ohne Tastatur und ohne Akku.
Klar wären die 614 GB/s im M5 Max glatt die doppelte Geschwindigkeit, aber auch der doppelte Preis. Ich hab es aber nicht eilig, Gott sei dank. Wenn ein 27B-Modell mit Vision lokal läuft und die Tokenrate zum Arbeiten reicht, zahl ich keinen vierstelligen Aufpreis für Wartezeit, die ich eh nicht spüre. Für mich ist der M5 Pro mit 64 GB der Sweetspot, der für diesen Preis einfach unschlagbar ist. Ich kann es jedem empfehlen für KI-Experimente, produktive Workflows für unterwegs oder aber auch als Workstation, die permanent läuft.
Und weil mich eure Sicht interessiert: Würdet ihr für lokale KI eher in einen Laptop investieren, den ihr überall mitnehmen könnt aber auch als Workstation, oder in eine feste Box mit mehr Rohleistung? Schreibt's gerne mal in die Kommentare.
Gruß Chris