Ich hab mir vier Hardware-Stacks rausgepickt, auf denen ich größere, lokale KI-Modelle für meine Use-Cases sauber laufen lassen kann:
Ganz oben stehen drei Kandidaten, ziemlich gleichauf.
-
Der DGX Spark mit 128 GB kostet knapp 5.000 Euro gebraucht, zieht 240 Watt und schafft Qwen 3.5 122B mit bis zu 51 Token pro Sekunde, aus einem Gehäuse, das auf jeden Schreibtisch passt. Klingt stark, ist relativ stromsparend und nicht allzu laut. Super Sache.
-
Der Mac Studio M4 Max mit 128 GB kommt auf 546 GB/s Speicherbandbreite, ist flüsterleise und sparsam, hat aber kein CUDA. Hmm..
-
Dann gibts da noch die Option mit drei gebrauchten RTX 3090: 72 GB VRAM, CUDA, volle Geschwindigkeit, und im Winter könnt ihr die Heizung ausgeschaltet lassen. Von allen Setups definitiv das lauteste, klobigste und stromschluckenste Setup.
-
Das MacBook M5 Pro mit 64 GB für 3.799 Euro packt die ganz schweren, quantisierten 70b Modelle zwar nicht, es läuft aber Qwen 3.8 27B minimal komprimiert in der FP8 Variante. Super leise, stromsparend und man ist flexibel, kann es überall mit hin nehmen, was im Alltag oft mehr wert ist als ein paar Token pro Sekunde extra.
-
Bleibt am Ende noch die RTX 5090. Über 5.000 Euro für etwas, das zwei gebrauchte 3090 besser hinbekommen, kein guter Deal. Das ist kein schlechtes Stück Hardware, es hat in diesem Feld halt einfach das schlechteste Preis-Leistungs-Verhältnis.
Die Entscheidung ist schwer und eine Frage von der diese abhängt ist: Wofür brauche ich in meinen Arbeitsprozessen halbwegs flüssige, aber quantisierte 70B Modelle? Qwen 2.8 27B hat hier so einen Sweetspot geliefert, wo 64GB Unified Memory absolut ausreichen, wenn sich die Use-Cases auf Agentic-Processing, Monitoring/Coding/Bugfixing und interne, infrastrukturelle Aufgaben beschränkt.
Bei diesen Use-Cases sehe ich tatsächlich den Macbook M5 Pro 64GB overall sogar ganz weit vorne. Auch im Vergleich zum 64GB Mac Mini M5 Pro. Einfach weil man mobil damit ist und ihn trotzdem im Dauerbetrieb akkuschonend nutzen kann.
Im Hinblick auf die Zukunft denke ich auch, dass für den Privatgebrauch gar nicht so hohe RAM Zahlen benötigt werden, da Modelle dazu tendieren, immer kleiner und besser zu werden, zumal die Parameter-Zahl eh durch besseres Tool-Calling + Internetverbindung immer irrelevanter wird. 64GB, maximal 128GB RAM sind hier also der way2go. Alles drüber macht erst ab 512GB aufwärts wieder Sinn.
Wie seht ihr das? Und wer von euch lässt schon Modelle lokal laufen, und auf welchem Hardware-Stack? Und die unbequemere Frage gleich hinterher, nutzt ihr das Ding täglich oder steht es nach drei Wochen rum wie ein Heimtrainer? Schreibt's gerne mal in die Kommentare.
Schöne Woche euch! Gruß, Chris