Vor zwei Jahren wurden sechs Schweizer KI-Chatbots getestet. Es war an der Zeit, diese Bots erneut einem Test zu unterziehen. Dabei gab es einige Überraschungen: Während einer verschwunden ist und ein anderer schlechter wurde, haben zwei Bots fleissig trainiert.
Die meisten Chatbots gehen grundsätzlich nie fertig an den Start. Nach der Aufschaltung müssen die Konversationen mit den Nutzenden ausgewertet und ggf. angepasst werden. Wer mehr zum Training von Chatbots erfahren will, klickt auf nachfolgendes Video (in Schweizerdeutsch).
Cédric Voirol testete im Januar 2020 in seinem Blogbeitrag sechs Schweizer Chatbots. Wie im ersten Test, wird auch hier nur stichprobenartig getestet. Somit findet ebenfalls kein wissenschaftlicher Vergleich der Chatbots statt, welcher repräsentativ ist. Es geht bei diesem Test eher darum zu schauen, ob nun die Bots besser antworten als vor zwei Jahren.
Die Testfragen
Um einen direkten Vergleich durchzuführen, werden dieselben Anfragen an die Bots geschickt, wie vor zwei Jahren. So wird mit der gleichen Einleitungsfrage «Mensch oder Maschine?» gestartet. Im Anschluss folgen Fragen zu Support, Produkte und Dienstleistungen, Kosten sowie sonstige Fragen:
Support
- «Ich benötige Unterstützung!»
- «Ich benötige Support!»
Produkte und Dienstleistungen
- «Was ist das Angebot?»
- «Was bietet ihr an?»
Kosten
- «Was kostet die Dienstleistung?» / «Was kostet das Produkt?»
- « Gibt es Rabatte?»
Sonstige Fragen
- «Erzähl mir einen Witz»
- «Was kannst du alles?»
Die Bewertungskriterien
Es wird bewusst die gleiche Bewertung gewählt, um einen direkten Vergleich zu haben:
- Nicht beantwortet / nicht verstanden -> 0 Punkte
- Mässig beantwortet -> 1 Punkt
- Gut beantwortet -> 2 Punkte
- Sehr gut beantwortet -> 3 Punkte
Die getesteten Chatbots
Bis auf den Chatbot der Credit Suisse sind alle anderen Bots nach wie vor im Einsatz. Der Chatbot von der Credit Suisse ist auf der Website nicht mehr auffindbar. Obwohl Chats, Chatbots und Voicebots im Bereich Banking ein immer stärker aufkommendes Thema ist, konnte als alternative kein passender KI-Chatbot einer anderen Bank gefunden werden. Es wird zwar bspw. Mona, die virtuelle Assistenz, bei der Zuger Kantonalbank eingesetzt – jedoch handelt es sich dabei um einen regelbasierten Chatbot mit festen Klickstrukturen. Wer mehr zu den Chatbot-Arten und deren Vor- und Nachteile wissen will, klickt hier.
Chatbot PostFinance
PostFinance verkündete 2017, dass sie das erste Schweizer Finanzinstitut mit einem Chatbot sind. Beim zweiten Test war der Bot der PostFinance der Einzige, dessen Ergebnis sich im Vergleich zu vor zwei Jahren verschlechtert hat. So hat der digitale Assistent bspw. kein Witz mehr auf Lager.
Chatbot Stadt St. Gallen
«Die Stadt St. Gallen hat den Chatbot aktuell vom offiziellen Web-Auftritt sowie auch vom Facebook-Messenger, auf welchem er ursprünglich enthalten war, entfernt. Der Chatbot kann momentan nur über einen Link https://gallus.byerley.ch/ gestartet beziehungsweise getestet werden.»
– Cédric Voirol, 2020
Der Chatbot erscheint nun wieder direkt beim Aufrufen der Kontakt-Seite. Hat sich der Bot in der Zwischenzeit verbessert?
Der Chatbot hat sich bei den Testfragen im Vergleich zu vor zwei Jahren nur leicht verbessert. Lediglich eine Frage – wie bereits 2020 – wird sehr gut beantwortet. Neu werden zwei Fragen mässig beantwortet. Die restlichen Fragen kann der Bot nach wie vor nicht beantworten.
Chatbot SWL Energie AG
Lisa, die virtuelle Assistentin der SWL Energie AG, hatte bereits vor zwei Jahren bis auf eine Testfrage jeweils eine gute bis sehr gute Antwort geliefert und ging dadurch als klaren Testsiegerin hervor.
Im zweiten Test hat sich Lisa gesamthaft nicht verbessert. Wie auch der Bot von der PostFinance hat Lisa interessanterweise nun eine Frage, welche vor zwei Jahren noch sehr gut beantwortet wurde, nicht mehr verstanden. Dafür wird nun die eine Frage, welche 2020 nicht verstanden wurde, beantwortet.
Chatbot Helvetia
Clara, der Chat-Roboter von Helvetia, landete beim Test im Jahr 2020 noch auf dem vorletzten Platz. In der Zwischenzeit wurde die digitale Assistentin fleissig trainiert.
Im zweiten Test konnten bis auf zwei Fragen alle anderen gut bis sogar mehrheitlich sehr gut beantwortet werden.
Chatbot SWICA
Bereits vor zwei Jahren holte sich IQ, der digitale Assistent von SWICA, die Silbermedaille im Test. Auch dieser digitale Assistent wurde in den zwei Jahren fleissig trainiert.
So kann IQ nun komplett alle Testfragen sehr gut beantworten.
Fazit zu den Chatbots
Der digitale Assistent von SWICA konnte alle Fragen sehr gut beantworten und holt sich so mit dem Punktemaximum Platz 1. Der Bot von Helvetia kann von den fünf getesteten Chatbots die grösste Verbesserung vorweisen und rückt auf Rang 3 vor. Hauchdünn, dank einem Punkt mehr, sichert sich der Chatbot von der SWL Energie AG Platz 2. Der Chatbot von der PostFinance landet auf dem vorletzten Platz. Den letzten Platz belegt wiederum der Chatbot von der Stadt St. Gallen.
Spannende Erkenntnis beim zweiten Test: Gut bzw. sehr gut beantwortete Fragen aus dem ersten Test werden nun von zwei Bots nicht mehr verstanden.
Abschliessend lässt sich sagen, vor allem die drei Chatbots auf dem Podest bringen einen Mehrwert und haben definitiv eine Daseinsberechtigung.
Weiterführende Links / Quellen
- https://blog.xeit.ch/2020/01/chatbots-in-der-schweiz-intelligent-schnell-effizient-wir-haben-getestet/
- https://botfabrik.ch/blog/2018/05/17/training-von-chatbots/
- https://www.chatbotcoaching.de/training/
- https://www.hslu.ch/de-ch/wirtschaft/ueber-uns/news/2021/12/09/conversational-banking-studie-2021/
- https://www.moin.ai/blog/natuerliches-sprachverstandnis-nlp-vs-gefuehrte-chat-dialoge
- https://www.postfinance.ch/de/ueber-uns/medien/newsroom/medienmitteilungen/postfinance-ist-das-erste-schweizer-finanzinstitut-mit-einem-chatbot.html
