Erfolgsmessung: Bewertungsfrage oder Conversion-Ziel

Transparenz und Messbarkeit sind sehr wichtig, um den Erfolg eines Chatbots ermitteln zu können. Mit den beiden Messmethoden können passende Insights eingesehen werden.

Es ist sinnvoll, bei jeder einzelnen Chatbot-Antwort zu entscheiden, ob es um eine performance-orientierte Qualität geht - Conversion-Ziel oder, ob die Qualität einer Chatbot-Antwort anhand der Bewertunsgfrage gemessen werden soll.

Dabei hilft die Faustregel:

Informative Anfrage + Auskunft = Nutzer-Bewertung, die gemessen werden soll. Sprich, war die Information für die Nutzer:innen hilfreich?

Transaktionale Anfrage + Auskunft = Nutzer-Conversion, die gemessen werden soll. Sprich, haben die Nutzer:innen eine Transaktion durchgeführt, also z.B. auf einen Link geklickt?

Bewertungsfrage

Es gibt informative Chatbot-Antworten, die Nutzer:innen eine Information ausspielen. In diesem Fall ist am Ende der Chatbot-Antwort eine Bewertungsfrage sinnvoll, z.B. „Konnte diese Antwort Ihr Anliegen beantworten?" + Quick Replies „Ja" und „Nein". Nutzer:innen können damit einfach auswählen, ob sie mit dem Antwort-Inhalt zufrieden sind.

Im Hub-Bereich Statistiken wird unter Positive / Negative Bewertungen dargestellt, wie viel positives bzw. negatives Feedback es insgesamt gibt. Unter Top Themen und in dem dazugehörigen Fokusbericht werden in den Statistiken die abgegebenen Bewertungen zu den einzelnen Themen grün bzw. rot angezeigt und bei dem Herüberfahren mit der Maus die jeweilige Anzahl eingeblendet.

Conversion-Ziel

Es gibt aber auch Themen, die darauf abzielen, die Nutzer:innen in eine weitere Aktion zu bringen, z.B. eine Landingpage zu besuchen, also auf einen URL Button in der Chatbot-Antwort zu klicken. Bei solchen Themen ist es sinnvoll, den Erfolg des Antwort-Inhalts in Form eines Goals zu tracken. 
Ein Goal spiegelt sich in dem Ziel wieder, das mit der Chatbot-Antwort erreicht werden soll. 
Abgesehen von einem Link innerhalb einer Chatbot-Antwort kann auch eine Follow-Up-Frage (z.B. eine Weiterleitung zu einem Chatbot Formular) als Conversion getrackt werden.
Die ausgehenden Links im letzten Dialogschritt, werden automatisch als Goal der Antwort angesehen. Sei es in Form einer Follow-Up-Nachricht oder als einfacher Link, der zu einer Landingpage führt.
 
  • Es gibt keine getrennte Auswertung, welcher URL-Button geklickt wurde, wenn eine Antwort mehrere URL-Buttons beinhaltet. Wenn dies getrennt gemessen werden soll, können ref-Parameter an den Links ergänzt werden, die mittels einem Analyse-Tool wie Google Analytics ausgelesen werden können.
  • Wenn am Ende einer Antwort ein Follow-up hinterlegt ist, wird nur dieses Element als Conversion-Goal gemessen und keine URL-Buttons, falls die Antwort solche nutzt.

Ob Chatbot-Nutzer ein festgelegtes Conversion-Goal erreicht haben, kann im Bereich Statistiken unter Conversions eingesehen werden.

Dort wird angezeigt, wie viele Nutzer mittels eines Chatbot-Themas in dem Betrachtungszeitraum erfolgreich konvertiert sind. Unter Top Themen und in dem dazugehörigen Fokusbericht werden in den Statistiken der Anteil der abgeschlossenen Conversions zu den einzelnen Themen angezeigt und bei dem Herüberfahren mit der Maus die jeweilige Anzahl eingeblendet. 

Messmethode ändern

Ob Nutzer-Bewertungen oder -Conversions gemessen werden sollen, kann bei jedem Thema einzeln eingestellt werden. Hierfür muss zunächst der Editiermodus eines Themas aufgerufen werden.

In den Einstellungen, die per Klick auf das Zahnrad-Symbol ( Bildschirmfoto 2022-08-23 um 12.50.07) rechts erscheinen, kann nun zwischen Bewertungsfrage und Conversion-Ziel ausgewählt werden. Per Default ist die Bewertungsfrage eingestellt.

Bildschirmfoto 2022-08-25 um 13.37.57

Ist als Erfolgsmessung das Conversion-Ziel eingestellt, wird automatisch die Bewertungsfrage als Element im Antwort Editor entfernt und der Happy Path eingestellt, der nach Erreichen des Conversion-Goals ausgespielt wird.