Ich hab's auf meinem eigenen Rechner getestet: 2 Token pro Sekunde. Zwei.
Zum Vergleich: ungefähr ein Wort alle zwei Sekunden. Du schaust dem Cursor beim Denken zu.
Was in fast jedem Video dazu fehlt:
Gefeiert wird immer das Modell. Über die Maschine darunter redet niemand. Dabei entscheidet genau die, ob das Ding bei dir zu Hause brauchbar ist.
Die einfache Version: Das Modell muss komplett in den schnellen Speicher deiner Grafikkarte passen. Tut es das nicht, weicht es auf den langsameren Arbeitsspeicher aus..und dann wird es zäh. Nicht ein bisschen, sondern um ein Vielfaches.
Wie viel Speicher du brauchst, hängt an einer Entscheidung:
Wie stark willst du das Modell komprimieren? Diese Komprimierung spart Speicher, kostet aber Qualität.
Wenn du das Modell mit hohem Qualitätsanspruch und minimalen Abstrichen fahren willst, rechne grob mit dem 1,5-fachen der Parameterzahl in GB RAM. Bei 27 Milliarden Parametern also 30 bis 35 GB RAM. In echter Hardware heißt das z. B. ein MacBook Pro m5 mit mindestens 48 GB Unified Memory, wo sich Grafikkarte und Prozessor denselben Speicher teilen (oder andere Homeserver wie DGX-Spark). Auf einem normalen Windows-Rechner wird das mit Consumer-Hardware unrealistisch.
Die gängige Variante ist stärkere Komprimierung. Dann landest du bei rund 17 GB, und eine Grafikkarte mit 24 GB reicht (RTX 3090 oder 4090). So fahren die meisten das Modell heute.
Und: Je mehr Kontext du dem Modell gibst, desto mehr Speicher frisst es zusätzlich. Die Zahlen oben sind kein Fixwert.
Mein Setup liegt darunter, denn ich hab nur ne 4060 mit 8GB VRAM :(. Deshalb: → Normales Chatten: 7–8 Token/s. Damit kann man arbeiten. → Echtes Coding mit Dateizugriff: 2–2,5 Token/s. Damit nicht.
Der Grund ist simpel: Beim Coding muss das Modell viel mehr mitdenken. Deinen Code, die Projektstruktur, die Werkzeuge. Je mehr Kontext, desto langsamer.
Und die Benchmarks?
Die Zahlen sehen stark aus, kommen aber vom Hersteller selbst. Verglichen wird gern mit Claude Opus 4.6, einem Modell von Februar. Inzwischen sind längst neuere Versionen draußen. "Auf Augenhöhe mit den Großen" heißt hier: mit den Großen von vor einem halben Jahr.
Trotzdem beachtlich, was inzwischen auf einem Schreibtisch läuft.
Mein Fazit:
Wer mit sensiblen Daten arbeitet und aus Datenschutzgründen nichts in die Cloud geben darf, für den sind auch 7 Token pro Sekunde ein echter Gewinn. (Wichtig: lokal ist nicht automatisch DSGVO-konform, es löst nur einen Teil des Problems.)
Für alle anderen ist lokal aktuell ein teures Hobby, kein Ersatz im Tagesgeschäft. Habt ihr schon lokale LLMs ausprobiert? Und für welche Use-Cases abseits von kleinen statischen Aufgaben, einem Chatbot usw. habt ihr sie bereits im Einsatz?
#KI #LocalLLM #Datenschutz #Digitalisierung #aiwayke