Transparenz und Messbarkeit sind sehr wichtig, um den Erfolg eines Chatbots ermitteln zu können. Mit den beiden Messmethoden können passende Insights eingesehen werden.
Es ist sinnvoll, bei jeder einzelnen Chatbot-Antwort zu entscheiden, ob es um eine performance-orientierte Qualität geht - Conversion-Ziel oder, ob die Qualität einer Chatbot-Antwort anhand der Bewertunsgfrage gemessen werden soll.
Dabei hilft die Faustregel:
Informative Anfrage + Auskunft = Nutzer-Bewertung, die gemessen werden soll. Sprich, war die Information für die Nutzer:innen hilfreich?
Transaktionale Anfrage + Auskunft = Nutzer-Conversion, die gemessen werden soll. Sprich, haben die Nutzer:innen eine Transaktion durchgeführt, also z.B. auf einen Link geklickt?
Bewertungsfrage
Es gibt informative Chatbot-Antworten, die Nutzer:innen eine Information ausspielen. In diesem Fall ist am Ende der Chatbot-Antwort eine Bewertungsfrage sinnvoll, z.B. „Konnte diese Antwort Ihr Anliegen beantworten?" + Quick Replies „Ja" und „Nein". Nutzer:innen können damit einfach auswählen, ob sie mit dem Antwort-Inhalt zufrieden sind.
Im Hub-Bereich Statistiken wird unter Positive / Negative Bewertungen dargestellt, wie viel positives bzw. negatives Feedback es insgesamt gibt. Unter Top Themen und in dem dazugehörigen Fokusbericht werden in den Statistiken die abgegebenen Bewertungen zu den einzelnen Themen grün bzw. rot angezeigt und bei dem Herüberfahren mit der Maus die jeweilige Anzahl eingeblendet.
Conversion-Ziel
Ein Goal spiegelt sich in dem Ziel wieder, das mit der Chatbot-Antwort erreicht werden soll.
- Es gibt keine getrennte Auswertung, welcher URL-Button geklickt wurde, wenn eine Antwort mehrere URL-Buttons beinhaltet. Wenn dies getrennt gemessen werden soll, können ref-Parameter an den Links ergänzt werden, die mittels einem Analyse-Tool wie Google Analytics ausgelesen werden können.
- Wenn am Ende einer Antwort ein Follow-up hinterlegt ist, wird nur dieses Element als Conversion-Goal gemessen und keine URL-Buttons, falls die Antwort solche nutzt.
Ob Chatbot-Nutzer ein festgelegtes Conversion-Goal erreicht haben, kann im Bereich Statistiken unter Conversions eingesehen werden.
Messmethode ändern
Ob Nutzer-Bewertungen oder -Conversions gemessen werden sollen, kann bei jedem Thema einzeln eingestellt werden. Hierfür muss zunächst der Editiermodus eines Themas aufgerufen werden.
In den Einstellungen, die per Klick auf das Zahnrad-Symbol ( ) rechts erscheinen, kann nun zwischen Bewertungsfrage und Conversion-Ziel ausgewählt werden. Per Default ist die Bewertungsfrage eingestellt.
Ist als Erfolgsmessung das Conversion-Ziel eingestellt, wird automatisch die Bewertungsfrage als Element im Antwort Editor entfernt und der Happy Path eingestellt, der nach Erreichen des Conversion-Goals ausgespielt wird.