Werkstatt
Konkrete Beobachtungen und Lernschritte aus der operativen Arbeit mit AI-Systemen.
Die Qualität eines agentischen Systems entscheidet sich daran, wie sorgfältig der Kontext modelliert, bereitgestellt und über die Zeit gepflegt wird.
Kontextmodellierung ist die eigentliche Engineering-AufgabeDer Wert eines Agenten zeigt sich nicht daran, wie gut er läuft, sondern daran, wie sauber man ihn abschalten kann, wenn er es nicht tut.
Abschalten können von Anfang an einplanenDie Agents, die wir eng zugeschnitten haben, liefen Monate stabil – die mit großem Anspruch mussten wir nach Wochen abschalten.
Kleiner Scope, längeres LebenStatt zu fragen, wie viel ein Agent entscheiden darf, fragten wir, welche Entscheidungen reversibel sind – und die Antwort gab die Autonomiegrenze fast von selbst vor.
Reversibilität als Leitplanke für AutonomieDie besten Prompts entstanden nicht durch cleveres Wording, sondern dadurch, dass wir einen Prozess so klar beschrieben, dass auch ein neuer Mitarbeiter ihn ausführen könnte.
Der Prompt ist ein Prozessdokument, kein ZauberspruchWir wollten Kontrollmechanismen einbauen und merkten: Wir konnten gar nicht sehen, was der Agent tat – Steuerung ohne Sichtbarkeit ist Blindflug.
Beobachtbarkeit vor Kontrolle einbauenEin Agent gibt nicht von selbst im richtigen Moment ab – der Übergabepunkt muss als Zustand definiert sein, nicht als Bauchgefühl.
Übergabepunkte explizit machen, nicht der Eskalation überlassenEin Agent lernt nicht am Feedback, das wir geben wollen, sondern am Feedback, das er tatsächlich messen kann – die beiden sind selten dasselbe.
Das Feedback-Signal schärfen, bevor man den Loop schließt