Aktionen nach Effekt klassifizieren

Im Nakoa Brain analysiert ein agentisches System Kampagnendaten, schlägt Maßnahmen vor und führt einen Teil davon selbst aus. Bisher haben wir die Grenze der Autonomie an einer Frage festgemacht: Lässt sich die Entscheidung rückgängig machen (siehe Reversibilität als Leitplanke für Autonomie)? Je mehr Aktionen dazukommen, desto deutlicher wird, dass eine zweite Frage gleich viel Gewicht hat. Wir müssen wissen, ob wir den Effekt einer Aktion überhaupt messen können.

Zwei Fragen pro Aktion

Jede Aktion, die das System ausführen soll, beantwortet zwei Fragen: Ist sie umkehrbar? Und ist ihr Effekt messbar? Daraus ergeben sich vier Klassen.

	umkehrbar	nicht umkehrbar
Effekt messbar	höchste Automatisierungsstufe	automatisierbar mit Nachweis der Wirkung
Effekt nicht messbar	riskant: zurück geht, aber ob es gewirkt hat, bleibt offen	nie automatisch

Ein Gebot, das innerhalb eines Korridors angepasst wird, ist umkehrbar und in seiner Wirkung messbar. Solche Aktionen kann ein System selbst ausführen. Am anderen Ende stehen Aktionen, die sich weder zurücknehmen noch in ihrer Wirkung prüfen lassen. Dafür gibt es keine Automatisierung: Ich schieße etwas ab und weiß nicht, was dabei herauskommt.

Der Vorteil dieser Einteilung ist, dass sie sich ableiten lässt. Niemand muss über Klassengrenzen streiten; für jede Aktion werden zwei Fragen beantwortet, und die Klasse folgt daraus.

Warum Messbarkeit zählt

Die Gefahr einer Aktion, deren Effekt sich nicht messen lässt, liegt in erster Linie beim Lernen. Ein agentisches System läuft in zwei Schleifen: Eine operative Schleife handelt, eine langsamere Lernschleife wertet aus, was dabei entstanden ist, und passt den Kontext an (siehe Das Doppelschleifenmodell für agentische Operations). Ohne messbaren Effekt bricht diese Lernschleife ab. Das System handelt weiter und lernt nichts dazu, und auch der Mensch, der freigibt, kann nicht beurteilen, ob seine Freigabe richtig war.

Deshalb ist eine umkehrbare Aktion ohne messbaren Effekt nicht harmlos. Sie lässt sich zurücknehmen, aber niemand weiß, ob das nötig wäre.

Die Zelle dazwischen

Die meisten echten Fälle in der Kampagnensteuerung liegen in der Zelle oben rechts: messbar, aber nicht umkehrbar. Ein gesendetes Budget, eine ausgelieferte Anzeige oder ein geänderter Gebotstyp lassen sich nicht ungeschehen machen, ihre Wirkung zeigt sich aber in den Daten, oft erst nach einigen Tagen.

Eine Masterarbeit von Johannes Hötter am Hasso-Plattner-Institut hilft, diese Zelle genauer zu fassen. Sie trennt zwei Fragen, die oft vermischt werden: Das Risiko bestimmt, wie viel Aufsicht eine Aufgabe braucht, die Prüfbarkeit bestimmt, welche Art. Ein Security-Fragebogen und eine ROI-Prognose sind gleich riskant, die Antworten im Fragebogen lassen sich aber in Minuten gegen ihre Quelle prüfen, die Prognose erst nach Monaten. Daraus ergeben sich vier Formen: Beim Autopilot führt die KI aus, und Menschen können zurücknehmen. Beim Sign-Off entwirft sie, und Experten geben jedes Stück frei. Beim Proof Trail bleiben ihre Ergebnisse Annahmen, bis harte Belege sie bestätigen. Bei der Co-Creation bauen Mensch und KI gemeinsam, abgesichert über Freigaben.

Für die Zelle oben rechts passt der Proof Trail. Eine Budget- oder Gebotsänderung ist eine Annahme darüber, was sie bewirken wird, und die Kampagnendaten bestätigen sie oder widerlegen sie nach einigen Tagen. Eine Freigabe durch einen Menschen braucht es dafür nicht grundsätzlich. Ich möchte nicht jede Aktion durch eine menschliche Schleife laufen lassen; ein Governance-Modell kann festlegen, an welchen Stellen ein Mensch eingreift, etwa ab einer Budgetgrenze oder wenn die Daten der Erwartung widersprechen. Entscheidend ist, dass zu jeder Aktion festgehalten wird, was sie bewirken sollte, und dass das Ergebnis dagegen geprüft wird. Aus diesen Nachweisen entsteht über die Zeit die Grundlage, den Spielraum einzelner Aktionen zu erweitern oder einzuschränken.

Nachweisbar sein müssen dabei die Wirkungen: welche Aktion, wann, auf welcher Grundlage und mit welchem Ergebnis. Wie das System zu seiner Empfehlung gekommen ist, gehört zur Methode und muss für diesen Nachweis nicht offengelegt werden.

Was offen ist

Offen ist für uns, wer die Klassifikation einer Aktion festlegt und wer sie ändern darf, wenn sich zeigt, dass eine Aktion besser messbar ist als gedacht. Offen ist auch, wie lange die Wirkung einer Aktion beobachtet werden muss, bevor sie als belegt gilt. Beides wird darüber entscheiden, wie viel ein System wie das Nakoa Brain ohne Rückfrage tun darf.