Transparenz und Messbarkeit zeigen, welche Antworten des KI-Chatbots funktionieren und wo Verbesserungsbedarf besteht. Für jedes redaktionelle Thema wird festgelegt, ob der Erfolg über eine Bewertungsfrage oder über ein Conversion-Ziel gemessen wird. So lässt sich gezielt nachvollziehen, ob eine Auskunft hilfreich war oder ob Nutzer:innen die gewünschte Aktion ausgeführt haben. Alternativ erfasst die CSAT-Bewertung die Zufriedenheit mit dem gesamten Gespräch.
Inhaltsverzeichnis
1. Die passende Messmethode wählen
2. Bewertungsfrage
2.1 Funktionsweise
2.2 Ergebnisse auswerten
3. Conversion-Ziel
3.1 Funktionsweise
3.2 Ergebnisse auswerten
5. CSAT-Bewertung
5.1 Funktionsweise
5.2 CSAT-Bewertung aktivieren
5.3 Hinweisnachricht und Beschriftung anpassen
5.4 Ergebnisse auswerten
1. Die passende Messmethode wählen
Für jedes redaktionelle Thema lohnt sich die Entscheidung, ob die Qualität der Antwort über eine Bewertungsfrage oder über ein Conversion-Ziel gemessen wird. Als Faustregel gilt:
| Art der Anfrage | Messmethode | Gemessen wird |
|---|---|---|
| Informative Anfrage mit Auskunft | Bewertungsfrage | ob die Information für Nutzer:innen hilfreich war |
| Transaktionale Anfrage mit Auskunft | Conversion-Ziel | ob Nutzer:innen eine Aktion ausgeführt haben, z. B. einen Link angeklickt |
2. Bewertungsfrage
Die Bewertungsfrage eignet sich für informative Antworten, die Nutzer:innen eine Auskunft geben. Sie zeigt direkt, ob die Antwort weitergeholfen hat.
2.1 Funktionsweise
Am Ende der Antwort steht eine Bewertungsfrage mit Quick Replies, zum Beispiel „Konnte diese Antwort dein Anliegen beantworten?“ mit den Quick Replies Ja und Nein. Mit einem Klick geben Nutzer:innen an, ob sie mit dem Inhalt der Antwort zufrieden sind.
2.2 Ergebnisse auswerten
Im Bereich Statistiken zeigt Positive / Negative Bewertungen, wie viel positives und negatives Feedback es insgesamt gibt.
Unter Top Themen und im zugehörigen Fokusbericht erscheinen die Bewertungen je Thema: positive in Grün, negative in Rot. Beim Überfahren mit der Maus wird die jeweilige Anzahl eingeblendet. Mehr dazu unter Statistiken und Fokusberichte.
3. Conversion-Ziel
Das Conversion-Ziel eignet sich für Themen, die Nutzer:innen zu einer weiteren Aktion bewegen sollen, zum Beispiel zum Besuch einer Landingpage über einen URL-Button in der Antwort.
3.1 Funktionsweise
Das Ziel wird als Goal getrackt, das die Antwort erreichen soll. Als Goal zählen:
- URL-Buttons: Ausgehende Links im letzten Dialogschritt gelten automatisch als Goal der Antwort.
- Follow-up-Fragen: Auch eine Follow-up-Frage kann als Conversion gemessen werden, zum Beispiel die Weiterleitung zu einem Formular.
Wichtig: Ist am Ende einer Antwort ein Follow-up hinterlegt, wird nur das Follow-up als Goal gemessen, nicht die URL-Buttons der Antwort.
3.2 Ergebnisse auswerten
Im Bereich Statistiken zeigt Conversions, wie viele Nutzer:innen im gewählten Zeitraum über ein Thema erfolgreich konvertiert sind.
Unter Top Themen und im zugehörigen Fokusbericht wird der Anteil abgeschlossener Conversions je Thema angezeigt. Beim Überfahren mit der Maus wird die jeweilige Anzahl eingeblendet.
Empfehlung: Die Conversion-Messung fasst alle URL-Buttons einer Antwort zu einem Goal zusammen. Für eine getrennte Auswertung lässt sich an jeden Link ein ref-Parameter anhängen, zum Beispiel ?ref=chatbot-preise. Die Klicks je Link lassen sich dann in einem Analyse-Tool wie Google Analytics auswerten.
4. Messmethode ändern
Die Messmethode wird für jedes redaktionelle Thema einzeln festgelegt. Standardmäßig ist die Bewertungsfrage eingestellt. KI-Agenten nutzen immer die Bewertungsfrage.
Wichtig: Ist die CSAT-Bewertung aktiviert, gilt die Sternebewertung für alle Themen und KI-Agenten. Bewertungsfrage und Conversion-Ziel lassen sich dann nicht separat auswählen.
- Im Hub den Menüpunkt Themen öffnen.
- Das gewünschte Thema auswählen.
- Das 3-Punkte-Menü öffnen.
- Unter Erfolgsmessung Bewertungsfrage oder Conversion-Ziel auswählen
Hinweis: Bei Auswahl von Conversion-Ziel wird die Bewertungsfrage im Antwort-Editor automatisch entfernt. Stattdessen wird der Happy Path aktiviert, der nach Erreichen des Ziels ausgespielt wird.
5. CSAT-Bewertung
5.1 Funktionsweise
CSAT steht für Customer Satisfaction Score und zeigt, wie zufrieden Nutzer:innen insgesamt mit einer Unterhaltung sind. Bewertungsfrage und Conversion-Ziel messen die Qualität einzelner Themen. Die CSAT-Bewertung bezieht sich dagegen auf das gesamte Gespräch mit dem KI-Chatbot.
Die Bewertungsleiste erscheint nach jeder Antwort des KI-Chatbots oben im Chat.
Nutzer:innen vergeben eine Bewertung von einem bis fünf Sternen. Im Verlauf des Gesprächs lässt sich die Bewertung jederzeit ändern, die neue Bewertung ersetzt dabei die vorherige. Pro Unterhaltung zählt so immer genau eine finale Bewertung. Die aktuelle Bewertung steht neben dem Namen des KI-Chatbots in der Kopfzeile.
5.2 CSAT-Bewertung aktivieren
Die CSAT-Bewertung lässt sich im Hub unter Gesprächsführung > Bewertung ein- und ausschalten.
Hinweis: Bei aktivierter CSAT-Bewertung gilt die Sternebewertung für alle Themen und KI-Agenten. Mehr dazu unter Messmethode ändern.
5.3 Hinweisnachricht und Beschriftung anpassen
Hinweisnachricht (optional)
Eine zusätzliche Nachricht kann Nutzer:innen auf die Bewertungsleiste hinweisen. Unter Gesprächsführung > Bewertung fügt ein Klick auf das Plus-Symbol diese Nachricht hinzu. Der Text ist frei anpassbar, zum Beispiel: „Bitte bewerte unsere bisherige Unterhaltung oben im Chat.“
Beschriftung neben den Sternen
Der Text neben den Sternen lässt sich individuell anpassen, zum Beispiel passend zur Ansprache auf der eigenen Webseite. Für eine Änderung steht das Customer Success Team zur Verfügung. Mögliche Beschriftungen:
- „Unterhaltung bewerten“
- „Gespräch bewerten“
- „Wie zufrieden warst du mit dem Gespräch?“
5.4 Ergebnisse auswerten
Die CSAT-Ergebnisse erscheinen im Hub unter Statistiken. Mehr dazu unter Statistiken und Fokusberichte.