Grafikkarte für KI: wie viel VRAM lokale Sprachmodelle wirklich brauchen

Für lokale Sprachmodelle zählt zuerst der Grafikspeicher (VRAM): Das Modell muss komplett hineinpassen, sonst wird es um ein Vielfaches langsamer. Mit 8 bis 12 GB laufen Modelle bis etwa 8 Milliarden Parameter, mit 16 GB Modelle der 12- bis 14-Milliarden-Klasse und knapp noch 20B, mit 24 GB die 27- bis 32-Milliarden-Klasse. Für die meisten Einsteiger ist eine Karte mit 16 GB der sinnvolle Startpunkt. Nvidia ist wegen CUDA die einfachere Wahl, AMD bietet mehr Speicher pro Euro, verlangt unter Windows aber genaueres Hinsehen.

Dieser Beitrag rechnet mit den Größen, die das verbreitete Werkzeug Ollama für seine Modelle angibt. Für LM Studio oder llama.cpp gelten dieselben Größenordnungen, weil sie dasselbe Dateiformat (GGUF) verwenden.

Kurze Antwort: VRAM nach Modellgröße

Größen aus der Modellbibliothek von Ollama (Gemma 3, Qwen3, Llama 3.1, gpt-oss), abgerufen am 05.10.2026. Die Spalte „sinnvoller VRAM" ist unsere Einordnung: Modellgröße plus Platz für den Kontext.

Warum mehr VRAM als die Dateigröße? Zum Modell kommt der Kontext, also das Gedächtnis für das laufende Gespräch oder das eingelesene Dokument. Ollama schreibt selbst: „Setting a larger context length will increase the amount of memory required". Deshalb setzt Ollama den Kontext auf Karten mit weniger als 24 GiB VRAM standardmäßig nur auf 4.000 Token; für Programmierwerkzeuge und Agenten empfiehlt es mindestens 64.000. Wer lange Texte verarbeiten will, braucht also deutlich mehr Reserve als die Tabelle.

Was passiert, wenn das Modell nicht passt

Das Programm verteilt das Modell dann auf Grafikkarte und Prozessor. Es läuft weiter, aber der Teil im Arbeitsspeicher bremst das Ganze, weil der Prozessor die Gewichte viel langsamer abarbeitet. Ob das passiert, zeigt der Befehl ollama ps in der Spalte PROCESSOR: Steht dort „100% GPU", ist alles gut; steht dort eine Aufteilung, ist das Modell zu groß. Ollama rät ausdrücklich, „avoid offloading the model to CPU".

Daraus folgt die wichtigste Kaufregel: Eine langsamere Karte mit mehr Speicher schlägt eine schnellere mit weniger, sobald das Modell nur auf die größere passt. Passt es auf beide, gewinnt die Karte mit der höheren Speicherbandbreite, denn bei jedem erzeugten Wort müssen die Gewichte einmal durch den Speicher.

Nvidia (CUDA) oder AMD (ROCm)

Nvidia ist der bequeme Weg. Ollama unterstützt jede GeForce ab Rechenfähigkeit (Compute Capability) 5.0, also bis zurück zur GTX 750 Ti, und führt die komplette RTX-50-Serie von der 5060 bis zur 5090 auf (Ollama, Hardware support). Auch fast alle anderen KI-Werkzeuge — Bildgeneratoren, Training, Python-Bibliotheken — setzen zuerst auf CUDA.

AMD läuft über ROCm, und hier gibt es einen Unterschied zwischen den Betriebssystemen, den man vor dem Kauf kennen sollte:

• Linux: Ollama unterstützt per ROCm 7 die aktuellen Karten, darunter RX 9070 XT, 9070, 9060 XT und die RX-7000-Serie.
• Windows: Die ROCm-Liste von Ollama nennt nur die RX-7000-Serie (7600 bis 7900 XTX) und Radeon-PRO-Karten. Die RX-9000-Karten laufen unter Windows über die zusätzliche Vulkan-Unterstützung, die Ollama standardmäßig mitbringt.

Für Chatten mit einem lokalen Modell reicht das. Wer darüber hinaus Bildgeneratoren, Feintuning oder Forschungscode nutzen will, ist mit Nvidia derzeit weniger oft auf Umwege angewiesen. Dafür gibt es bei AMD die 16 GB günstiger.

16 GB, 24 GB, 32 GB: Karten und Preise heute

Preise: Geizhals, günstigstes gelistetes Angebot je Karte, Stand 05.10.2026. Speicher laut Herstellerangaben.

Bei 16 GB ist die Auswahl groß und der Preisunterschied auch: Die RX 9060 XT liefert den Speicher für gut 35 Euro je Gigabyte, die RTX 5060 Ti für rund 42 Euro — mit CUDA als Gegenwert. Die RTX 5070 Ti bietet nicht mehr Speicher, aber mehr Rechenleistung und Bandbreite; für ein Modell, das schon auf eine 5060 Ti passt, schreibt sie schneller, ermöglicht aber kein größeres. Die Karten mit Tagespreis und ihre Einordnung fürs Spielen stehen in Beste Grafikkarte 2026, der Verlauf der Preise in Grafikkarten-Preisentwicklung.

Für die 24- und 32-GB-Klasse gibt es im Handel wenig: Die RTX 5090 hat 32 GB GDDR7, braucht laut NVIDIA aber 575 Watt und ein 1000-Watt-System. AMD bietet mit der Radeon AI PRO R9700 eine Workstation-Karte mit 32 GB GDDR6, 640 GB/s und 300 Watt an, die Ollama unter Linux unterstützt.

Gebrauchte RTX 3090 als Geheimtipp?

Die RTX 3090 ist die günstigste Nvidia-Karte mit 24 GB, und deshalb ist sie in KI-Foren so beliebt: Sie hat genau den Speicher, den die 27- bis 32-Milliarden-Klasse braucht, und volle CUDA-Unterstützung (Ollama führt sie in der Liste). Neu gibt es sie nicht mehr, nur gebraucht.

Drei Punkte, bevor du eine kaufst:

• Verbrauch: NVIDIA nennt 350 Watt Leistungsaufnahme und ein 750-Watt-System.
• Alter: Die Karte stammt von 2020, eine Herstellergarantie ist meist abgelaufen, und wie die Karte vorher betrieben wurde, weißt du bei einem Gebrauchtkauf selten.
• Größe: Die Karten sind groß und schwer; Länge und Dicke des konkreten Modells vor dem Kauf mit dem Gehäuse abgleichen.

Fürs Spielen ist die 3090 heute eine Mittelklassekarte. Wer sie nur wegen der 24 GB kauft und hauptsächlich mit Sprachmodellen arbeitet, bekommt dafür viel Speicher; wer vor allem spielt, ist mit einer neuen 16-GB-Karte besser bedient.

Was CPU, RAM und Netzteil dazu brauchen

• Prozessor: Solange das Modell komplett im VRAM liegt, ist er Nebensache; jeder aktuelle Sechskerner reicht. Wichtig wird er erst, wenn Teile ausgelagert werden. Welche Plattform für den Rest passt, steht in AMD oder Intel: welcher Prozessor?
• Arbeitsspeicher: Mindestens so viel RAM wie VRAM, besser das Doppelte — das Modell wird beim Laden durch den Arbeitsspeicher geschoben, und Browser und Editor laufen nebenher. 32 GB sind für eine 16-GB-Karte ein guter Wert.
• Netzteil: Beim Erzeugen von Text ist eine Grafikkarte über Minuten ausgelastet, ähnlich wie im Spiel. Plane die Herstellerangabe plus Reserve ein; wie viel, rechnet Netzteil-Reserve: wie viel Watt? vor.
• Speicherplatz: Jedes Modell liegt als Datei auf der SSD, die 32B-Klasse mit rund 20 GB. Wer mehrere ausprobiert, sollte 100 GB und mehr einplanen.

Woher die Zahlen kommen

Wir haben keine Sprachmodelle auf den genannten Karten gemessen. Die Modellgrößen stammen aus der Bibliothek von Ollama, die unterstützten Karten und die Hinweise zu Kontext und Auslagerung aus der Ollama-Dokumentation, die technischen Daten von NVIDIA und AMD — jeweils verlinkt, abgerufen am 05.10.2026. Die Preise stammen aus unserer täglichen Messung des günstigsten Angebots bei Geizhals. Mehr dazu in Wie wir testen.