Dreaming

Die Dreaming-Funktion unterstützt bei der kontinuierlichen Qualitätskontrolle des KI-Chatbots. Das Feature wertet regelmäßig automatisch alle Anfragen aus, identifiziert unbeantwortete Themen sowie qualitative Schwächen und liefert konkrete, direkt im Hub umsetzbare Handlungsempfehlungen.

1. Funktionsweise
2. Voraussetzungen
   2.1 Lizenz & Verfügbarkeit
   2.2 Mindestanzahl an Unterhaltungen
   2.3 Datenspeicherfristen
3. Dashboard
   3.1 Kennzahlen
   3.2 Filter
   3.3 Insight-Karten
   3.4 Insights entfernen
4. Insight-Typen
   4.1 Topic Insight
   4.2 Knowledge Insight
   4.3 Quality Insight
   4.4 Structure Insight

1. Funktionsweise

Die Erkennung und Aufbereitung von Lücken in der Gesprächsführung erfolgt vollautomatisch im Hintergrund. Das Dreaming durchläuft wöchentlich einen vierstufigen Prozess, dessen Ergebnisse je nach Lizenz unterschiedlich häufig im Hub erscheinen:

• Datenerhebung: Das System erfasst kontinuierlich alle über den KI-Chatbot geführten Unterhaltungen und extrahiert die Anfragen der Nutzer:innen.
• Themen-Clustering: Ein KI-Modell analysiert die semantische Ähnlichkeit der Anfragen und bündelt diese zu präzisen Themenbereichen (Clustern). Zwei unterschiedlich formulierte Fragen mit der gleichen Absicht werden dabei als dasselbe Anliegen erkannt.
• Insightanalyse: Spezialisierte KI-Agenten vergleichen die erkannten Cluster mit der bestehenden Struktur der KI-Agenten sowie den hinterlegten Wissensquellen. Zudem wird die Antwortzufriedenheit anhand von Feedback der Nutzer:innen und Takeovers ausgewertet.
• Dashboard-Bereitstellung: Die Ergebnisse werden priorisiert und mit konkreten Handlungsempfehlungen im Hub bereitgestellt, um gezielte Optimierungen mit wenigen Klicks zu ermöglichen.

2. Voraussetzungen

2.1 Lizenz & Verfügbarkeit

Die grundlegenden Funktionen des Dreamings stehen unabhängig vom gewählten Lizenzmodell vollumfänglich zur Verfügung. Der Analyseprozess des Dreamings startet wöchentlich automatisch im Hintergrund. Ein manueller Anstoß der Analyse im laufenden Betrieb ist nicht möglich.

Die Lizenz beeinflusst ausschließlich die Frequenz, mit der neue Ergebnisse und Optimierungspotenziale im Hub bereitgestellt werden. Je nach Lizenzmodell erfolgt die automatische Aktualisierung der Daten in unterschiedlichen Zeitabständen.

• Business: 90 Tage (quartalsweise)

• Growth: 30 Tage (monatlich)

• Professional: 7 Tage (wöchentlich)

Neue Ergebnisse werden zu Beginn des jeweiligen Zeitraums bereitgestellt, nicht exakt am ersten Kalendertag, sondern an einem der ersten Werktage.

2.2 Mindestanzahl an Unterhaltungen

Für eine erfolgreiche Analyse durch die Dreaming-Funktion sind mindestens 200 Unterhaltungen im ausgewählten Analyse-Zeitraum erforderlich. Bei einer geringeren Anzahl an Unterhaltungen stehen nicht genügend Daten zur Verfügung, um verlässliche Themencluster zu bilden.

2.3 Datenspeicherfristen

Die konfigurierte Datenspeicherfrist für Chatbot-Unterhaltungen hat direkten Einfluss auf die Datengrundlage des Dreamings. Ein kürzerer Speicherzeitraum reduziert die Menge der für die Analyse verfügbaren Unterhaltungen.

Bei der Nutzung sehr kurzer Speicherfristen sollte die Speicherfrist auf das Aktualisierungsintervall der eigenen Lizenz abgestimmt werden, um eine lückenlose Datenbasis für die Analyse sicherzustellen. Mehr zum Thema Löschfristen und Datenschutz findet sich in diesem Artikel.

3. Dashboard

Der Zugriff auf die Dreaming-Funktion erfolgt im moinAI Hub über den Pfad Knowledge Base > Dreaming.

3.1 Kennzahlen

Die vier Kennzahlen am oberen Rand des Dashboards zeigen den aktuellen Status der Optimierungen:

• Neue Insights: Anzahl der neu erkannten Lücken seit dem letzten Durchlauf.
• Aktive Insights: Ungelöste Erkenntnisse, die noch auf eine Bearbeitung warten.
• Schlafende Insights: Insights, die nicht mehr auftreten, weil sie gelöst wurden oder weil Nutzer:innen nicht mehr wie zuvor interagieren.
• Analysierte Unterhaltungen: Anzahl der Unterhaltungen, die für den aktuellen Lauf ausgewertet wurden. Das Dreaming prüft nicht alle Unterhaltungen, sondern die, die potenziell ein Insight enthalten.

3.2 Filter

Die Filter ermöglichen eine gezielte Sortierung der Insight-Liste nach den einzelnen Insight-Typen:

• Alle: Vollständige Liste aller erkannten Lücken.
• Topic Insights: Auszug aller Erkenntnisse über fehlende KI-Agenten.
• Knowledge Insights: Auszug aller Erkenntnisse über fehlende Wissensressourcen.
• Quality Insights: Auszug aller Erkenntnisse über Qualitäts- und Antwortprobleme.
• Structure Insights: Auszug aller Erkenntnisse über Informationsstrukturprobleme.

3.3 Insight-Karten

Jede identifizierte Erkenntnis wird auf einer separaten Insight-Karte detailliert dargestellt. Die Karte enthält folgende Elemente:

• Ein automatisch generierter Name und eine thematische Zusammenfassung des Insights.
• Anzahl der Unterhaltungen.
• Anzahl der Anfragen.
• Eine Trendentwicklung im Vergleich zum vorherigen Durchlauf, die angibt, ob das Insight wachsend, stabil oder rückläufig ist, oder es sich um ein neues Insight handelt.
• Prozentuale Angabe der negativ bewerteten Chatbot-Antworten.
• Prozentuale Angabe der Anfragen, die aufgrund von fehlendem Wissen (kein Wissen) nicht beantwortet werden konnten.
• Echte, anonymisierte Anfragen von Nutzer:innen aus diesem Cluster zur besseren Einordnung.

3.4 Insights entfernen

Soll ein erfasstes Insight absichtlich nicht bearbeitet werden, da es beispielsweise nicht zum Aufgabenbereich des KI-Chatbots gehört, fehlerhaft oder irrelevant ist, lässt sich das Insight über das Drei-Punkte-Menü mit Insight ablehnen dauerhaft entfernen. Das Insight kann jedoch bei einer neuen Analyse erneut auftauchen, falls das Thema von den Kund:innen aufgegriffen wird.

Treten Insights nicht mehr auf und sind damit irrelevant, verschieben diese sich in die Karte Schlafende Insights.

4. Insight-Typen

Die Dreaming-Funktion klassifiziert gefundene Lücken in vier Insight-Typen: Topic Insights, Knowledge Insights, Quality Insights und Structure Insights. Jeder Typ folgt einer spezifischen Erkennungslogik und bietet eine maßgeschneiderte Handlungsempfehlung. Eine Übersicht aller Lücken findet sich im Abschnitt Alle. Wie sich ein Insight entfernen lässt, gilt für alle vier Typen und ist im Kapitel Insights entfernen beschrieben.

4.1 Topic Insights

Ein Topic Insight signalisiert, dass Nutzer:innen wiederholt Fragen zu einem Themengebiet stellen, das von der aktuellen Struktur der KI-Agenten nicht abgedeckt wird.

• Erkennungslogik: Das Dreaming identifiziert Anfragen, die von keinem der existierenden KI-Agenten beantwortet werden können und sich semantisch deutlich von der bestehenden Struktur abgrenzen.
• Handlungsempfehlung: Das Anlegen eines neuen KI-Agenten für diesen Themenbereich wird empfohlen. Wie ein neuer KI-Agent angelegt wird und was hierbei zu beachten ist, ist in diesem Artikel beschrieben.

Anwendungsbeispiel

Ein Onlineshop betreibt einen KI-Chatbot mit aktiven KI-Agenten für die Bereiche „Lieferstatus", „Retouren" und „Zahlungsmethoden". Die Analyse des Dreamings identifiziert ein neues Cluster mit über 80 Anfragen zum Thema „Geschenkkarten", bei denen nach dem Einlösen, dem Gutschein-Feld im Bestellprozess oder der Gültigkeit im Ladengeschäft gefragt wird. Da kein passender KI-Agent für diese Anfragen existiert, weist das System einen Topic Insight aus und empfiehlt die Erstellung eines neuen KI-Agenten „Geschenkkarten & Gutscheine".

Insight-Details

Mit einem Klick auf eine Insight-Karte öffnen sich die Insight-Details.

Neben dem Titel und einer kurzen Zusammenfassung des Themas folgt eine Übersicht über alle Anfragen, die Anzahl der Unterhaltungen insgesamt, die Anzahl der Unterhaltungen mit negativer Bewertung sowie die Anzahl der Unterhaltungen ohne Wissen.

Darunter wird eine Empfehlung basierend auf den generierten Erkenntnissen angezeigt. Hier wird der aktuelle Stand kurz beschrieben und es werden konkrete Handlungsempfehlungen gegeben, um die Topic-Lücke zu schließen und künftige Anfragen besser beantworten zu können.

Daraufhin folgt eine Übersicht aller KI-Agenten, die das identifizierte Thema behandelt haben. In Klammern daneben steht die Anzahl der Unterhaltungen zu dem Thema, in dem der KI-Agent zum Einsatz kam.

Balkendiagramm

Das darunter liegende Balkendiagramm stellt den Verlauf der Anfragen der letzten Monate dar. Mit einem Klick auf einen der Balken können die Anfragen und Themen für den Monat eingesehen werden. Die Auflistung der Anfragen darunter bezieht sich dann ausschließlich auf den ausgewählten Monat. Ein zweiter Klick auf den Balken oder ein Klick auf das X-Symbol in der Filterreihe hebt die Auswahl auf.

Auflistung der Anfragen

Zu guter Letzt sind alle Anfragen aufgelistet. Mit einem Klick auf die Anfrage wird der gesamte Unterhaltungsverlauf angezeigt. Dies kann gebündelt für alle Anfragen dargestellt oder wie zuvor erwähnt mithilfe der Balkendiagramme nach Monaten, thematisch, nach Kanal oder welche auf ohne Wissen und welche der Lücken auf eine negative Bewertung zurückzuführen sind gefiltert werden. Das Kopieren aller oder der gefilterten Unterhaltungen ist mit einem Klick auf das Dokumenten-Symbol möglich.

4.2 Knowledge Insights

Ein Knowledge Insight weist darauf hin, dass Anfragen zwar korrekt an einen bestehenden KI-Agenten übergeben werden, dieser jedoch in der Knowledge Base keine passende Wissensquelle zur Beantwortung der Frage findet.

• Erkennungslogik: Das System filtert Anfragen heraus, bei denen der KI-Chatbot trotz erfolgreichem Routing keine Antwort aus der Knowledge Base generieren konnte.
• Handlungsempfehlung: Das Hinzufügen einer passenden Wissensressource in der Knowledge Base für den betroffenen KI-Agenten wird empfohlen. Das Ergänzen von Ressourcen wird in diesem Artikel beschrieben.

Anwendungsbeispiel

Ein Reiseportal nutzt einen KI-Agenten namens „Umbuchungen". Nutzer:innen fragen diesen KI-Agenten regelmäßig nach den Konditionen für eine Namensänderung bei einer bestehenden Buchung. Der KI-Agent wird zwar korrekt angesprochen, kann jedoch keine passende Antwort ausgeben, da in der Knowledge Base keine Informationen zu Namensänderungen hinterlegt sind. Das Dreaming weist einen Knowledge Insight aus und empfiehlt, eine entsprechende Wissensressource zum KI-Agenten hinzuzufügen.

Insight-Details

Die Insight-Details für Knowledge Insights funktionieren analog zu den Insight-Details der Topic Insights. Es wird lediglich statt der verwendeten KI-Agenten ein passender KI-Agent vorgeschlagen.

4.3 Quality Insights

Ein Quality Insight zeigt an, dass ein KI-Agent zwar antwortet, die gelieferten Antworten von den Nutzer:innen jedoch überdurchschnittlich oft negativ bewertet werden. Neben direktem Feedback (Daumen runter 👎) fließen auch die Sentiment-Analyse und Weiterleitungen an den Livechat in diese Bewertung ein.

• Erkennungslogik: Das System identifiziert Cluster innerhalb eines KI-Agenten, bei denen die Zufriedenheitsrate signifikant unter dem Durchschnitt liegt.
• Handlungsempfehlung: Die Überarbeitung der KI-Agenten-Instruktionen sowie eine Anpassung oder Ergänzung der Wissensressourcen wird empfohlen. Mehr zu diesem Thema findet sich in diesem Artikel zur Knowledge Base.

Anwendungsbeispiel

Ein Energieversorger nutzt einen KI-Agenten für das Thema „Zählerstand melden". Bei Anfragen bezüglich der Erstmeldung eines Zählerstands nach einem Einzug fallen 60 % der Bewertungen negativ aus. Die allgemeine Antwort des KI-Agenten geht nicht präzise genug auf diesen Sonderfall ein. Das Dreaming meldet einen Quality Insight und empfiehlt, die Instruktionen des KI-Agenten für das Unterthema „Einzug & Erstablesung" anzupassen.

Insight-Details

Die Insight-Details für Quality Insights funktionieren analog zu den Insight-Details der Topic Insights. Es wird lediglich statt der Auflistung verwendeter Agenten ein passendes Thema vorgeschlagen.

4.4 Structure Insights

Ein Structure Insight signalisiert, dass ein Thema auf mehrere KI-Agenten verteilt ist und eine klarere Zuordnung eine zuverlässigere Bearbeitung ermöglichen würde.

• Erkennungslogik: Das Dreaming identifiziert Cluster, bei denen dasselbe Anliegen der Nutzer:innen von mehreren KI-Agenten parallel aufgegriffen wird, ohne dass eine eindeutige Zuständigkeit besteht.
• Handlungsempfehlung: Der Fokus des Themas auf einen einzigen KI-Agenten wird empfohlen, damit künftige Anfragen zuverlässig und konsistent beantwortet werden. Mehr zu KI-Agenten und der Zuordnung von Wissensressourcen findet sich im Artikel zu Knowledge Base.

Anwendungsbeispiel

Ein Telekommunikations-Unternehmen betreibt einen KI-Chatbot mit KI-Agenten für „Vertragsverlängerung", „Tarifwechsel" und „Allgemeine Fragen". Das Dreaming identifiziert, dass Anfragen zum Thema „SIM-Karte tauschen" von allen drei KI-Agenten aufgegriffen werden, ohne klare Abgrenzung. Da die Zuständigkeit verteilt ist, entstehen inkonsistente Antworten. Das System weist einen Structure Insight aus und empfiehlt, das Thema einem einzigen KI-Agenten zuzuordnen.

Insight-Details

Die Insight-Details für Structure Insights funktionieren analog zu den Insight-Details der Topic Insights. Statt der Auflistung aller KI-Agenten, die ein Thema behandelt haben, wird der empfohlene KI-Agent hervorgehoben, dem das Thema zugeordnet werden sollte.