Im Nakoa Brain gibt es einen Builder-Chat, der auf Anfrage Diagramme und Widgets baut. Die Anfrage „Ich brauche ein Diagramm, das Folgendes darstellt“ wird dabei in einzelnen Schritten verarbeitet. Zuerst entsteht die Datenabfrage. Dieser Schritt wird protokolliert und validiert: Es dürfen nur freigegebene Datenfelder verwendet werden, und sie müssen so kombiniert sein, wie es der semantische Katalog vorsieht. Erst danach entsteht auf dieser Grundlage das Diagramm.
Weil jeder Schritt dokumentiert ist, lässt sich nachvollziehen, wie präzise das Ergebnis zur Frage des Anwenders passt. Liefert der erste Anlauf kein Ergebnis, etwa weil die Abfrage fehlschlägt, wird das ausgewertet und die Abfrage neu gebaut. Zusätzlich kann der Anwender bewerten, ob das Ergebnis zu seiner Frage gepasst hat. Diese Bewertungen helfen uns zu priorisieren, wo Ergebnisse und Fragen auseinanderlaufen und welche Schritte noch nicht gut funktionieren.
Über dieselben Mechanismen konnten wir das Caching der Prompts optimieren und die Kosten pro Anfrage senken.