Anfragen prüfen und korrigieren sowie generierte Antworten analysieren
Sollte die KI des Chatbots eine Nutzeranfrage dem falschen oder keinem Thema zuordnen bzw. eine unpassende oder keine Antwort generieren, ist es hilfreich, dass die KI ein Feedback von einem Experten erhält. Es gilt der KI an dieser Stelle zu zeigen, welches das richtige Thema gewesen wäre bzw., wie die passende Antwort aussieht.
In dem Menüpunkt KI Playground kann die KI mit Anfragen getestet und anschließend optimiert werden.
Der KI Playground ist eine erweiterte Version des früheren "KI-Feedback" Tools und bietet eine kompakte Benutzeroberfläche mit mehreren Funktionen & Transparenz zur Optimierung der Künstlichen Intelligenz des Chatbots.
So funktioniert der KI Playground
Im ersten Schritt erfolgt die Eingabe einer beispielhaften Nutzeranfrage.
Die KI prüft, ob ein passendes redaktionelles Thema oder ein passender Agent existiert und schlägt diesen vor. Angezeigt wird der Titel, das Szenario und der aktuelle Status des erkannten Themas oder Agenten. Wird weder ein passender Agent noch ein passendes redaktionelles Thema erkannt, erfolgt ein entsprechender Hinweis.
Über den Button Bearbeiten kann direkt in den Editor des entsprechenden Themas oder Agenten gewechselt werden, um Anpassungen vorzunehmen.
Die Dauer der Erkennung wird in Sekunden unten rechts angezeigt. Über den Button Zurücksetzen oben rechts oder das Neuladen der Seite erfolgt das Zurücksetzen aller Eingaben im Playground.
Antworten generieren (KI Agenten)
Mit dem Button Antwort generieren erstellt die KI eine Antwort, wie sie auch in der Live-Umgebung ausgegeben wird. Links unterhalb der Antwort wird angezeigt, wie lange die KI in diesem Fall für die Generierung benötigt hat.
Rechts unterhalb der Antwort kann die Anzeige der relevanten Dokumente ausgeklappt werden. Diese Auflistung hilft zu verstehen, welche Ressourcen von der KI für diese Antwort in Betracht gezogen wurden und welche spezifischen Teilinformationen verwendet wurden (Button siehe Inhalt hinter jeder Ressource).
✔️ Ressource wurde für die Antwort-Generierung verwendet.
X Ressource wurde für die Antwort-Generierung in Betracht gezogen, aber nicht verwendet.
Für jede Ressource wird außerdem der Typ (Website, PDF, Liste etc.) angezeigt und ob diese abhängig vom Ressourcen-Typ für Nutzer:innen aufrufbar ist oder nicht öffentlich zur Verfügung steht.
⚠️ Es konnte keine Antwort generiert werden. Nicht genügend Wissen in der Knowledge Base.
Um eine bestmögliche Erkennung durch den KI-Chatbot zu gewährleisten, sollte immer geprüft werden, ob die Anfrage Variante zur Intention des hinterlegten Themas passt.
Feedback geben
Durch Feedback kann die KI kontinuierlich verbessert, was zu mehr Automatisierung, präziseren Antworten und somit zu einer optimierten Nutzererfahrung führt.
Nach Eingabe einer Nutzeranfrage im KI Playground kann die Erkennung korrigiert werden. Direkt im Anschluss ist das Feedback übernommen und beeinflusst die Erkennung weiterer Anfragen.
Neben den Informationen zum Thema oder Agenten bzw. dem Ergebnis, dass keine Zuordnung möglich war, erscheinen oben rechts ein nach oben gerichteter und ein nach unten gerichteter Daumen. Über diese Symbole kann die Anfrage Variante als positives oder negatives Feedback hinterlegt werden.
Die Eingabe des KI-Feedbacks erfolgt für Agenten und redaktionellen Themen nach dem identischen Prinzip:
- Korrekte Erkennung bestätigen: Ist die Zuordnung bzw. Erkennung korrekt, genügt ein Klick auf den nach oben gerichteten Daumen. Dieser färbt sich dann grün. Das positive Feedback kann hilfreich sein, da die KI nun eine explizite Bestätigung erhält, dass das zugeordnete Thema richtig ist.
- Falsche Erkennung korrigieren: Wurde der falsche Agent oder das falsche redaktionelle Thema erkannt, öffnet der Klick auf den nach unten gerichteten Daumen ein Dropdown-Menü. Die Auswahl des korrekten Themas erfolgt im Dropdown-Menü. Ein Klick auf das passende Thema genügt und das Feedback ist verarbeitet, wenn der Ladebalken verschwunden ist.
Das KI Feedback Tool eignet sich also ideal dafür, das Maximum aus der KI herauszuholen.
Auch in den Insights Nutzeranfragen (Hub-Bereich Statistiken, Fokusberichte Nutzeranfragen) kann der KI direkt eine Rückmeldung zu der Erkennung von Themen und Agenten gegeben werden. Das funktioniert ganz einfach mit dem Klick auf das Hütchen-Symbol rechts. So können Anfragen während einer Analyse direkt als richtig oder falsch an die KI gefeedbackt werden.