Was ist eigentlich ein Chatbot und kann die Recherche für eine wissenschaftliche Arbeit mittels künstlicher Intelligenz ersetzt werden? In den Medien werden Chatbots als zukünftiger Ersatz für menschliche Arbeiten gehandelt. Doch wie weit sind die Bots? Können sie Studierenden die Nachforschungen für seriöse Quellen bereits abnehmen? Hier der Test anhand des Sprachmodells «ChatGPT».
ChatWAS?
Chatbots sind lernfähige Programme. Sie können Aufgaben lösen und Informationen liefern, welche vom Menschen angefragt werden. Dabei findet eine Konversation zwischen dem User und dem Bot statt. Bei vordefinierten Texten wird der User durch den Dialog geführt. Ist eine Freitexteingabe möglich, kann der Verlauf des Gesprächs selbständig beeinflusst werden. Je nach Programmierung sind neben der textlichen Eingabe auch die Verwendung von Bildern, Ton und Videos möglich.
Seit Ende November 2022 ist der AI-Chatbot «ChatGPT» ein Hit in den sozialen Netzwerken. Mittels der Freitexteingabe können etliche Tasks und Fragen gestellt werden. Die Erweiterung auf andere Medien ist der künstlichen Intelligenz nicht möglich. Der KI wurde kein spezifischer Charakter implementiert. Sie sieht sich selbst als Programm und gibt keine persönlichen Interpretationen wieder.
Die Menschen hinter dem Programm
Hinter «ChatGPT» steht das Forschungslabor OpenAI. Es wurde 2015 gegründet, damit künstliche Intelligenz der gesamten Menschheit zugutekomme. Sie haben bereits einige KI-Projekte lanciert. Unter anderem eine Roboter-Hand, welche ein Rubik-Cube lösen kann sowie ein AI-System, welches aus Texten Bilder generiert. Mit «ChatGPT» ist es ihnen gelungen, das Sprachmodell GPT-3 (Generative Pre-training Transformer 3) mit einem Chatbot zu vereinen. Der Bot hat keinen Zugriff auf externe Informationsquellen und verwendet nur Daten, welche für sein Training genutzt wurden. Welche Daten dabei verwendet wurden und wie aktuell sie sind, wird der breiten Öffentlichkeit nicht angegeben.
Der «ChatGPT» im Test
Beim Auftrag, einen Blog über Chatbots von mindestens 4500 Zeichen zu schreiben, liefert der Chatbot ein sofortiges Ergebnis. Wird jedoch nach der Quelle für den Text gefragt, antwortet der Bot, er habe keinen Zugriff auf externe Ressourcen. Der Text ist somit für Studierende nicht zu gebrauchen. Doch wie ist es, wenn die Informationen einzeln herausgesucht werden, um sodann den Text darauf aufzubauen?
Bei der Frage nach einer konkreten Information kann der Assistent ohne Probleme antworten. Auf die Rückfrage zu den Quellen liefert er in diesem Beispiel drei Fachbücher. Dabei konnten jedoch zwei nicht über Google gefunden werden. Auch bei der Frage nach Online-Quellen brilliert der Bot nicht. Als erste Webseite wird Wikipedia angegeben: der grösste Feind aller Studierenden. Von den weiteren drei Seiten sind zwei inaktiv. Die letzte Seite ist zwar aufrufbar, verweist jedoch lediglich auf die Startseite. Die Information, welche der Bot für seine Antwort verwendet hat, muss somit selbständig auf der Webseite gesucht werden.
Der Bot ist eher langsam, da jedes Wort einzeln ausgeschrieben wird, als würde sie ein Mensch in der Konsole eintippen. Zudem werden Antworten unnötig ausgeschmückt und es entstehen Wiederholungen. Während der Eingabe kann der User zwar neuen Text eintippen, das Absenden ist jedoch erst möglich, sobald der Bot seine Antwort beendet hat. Das Vorgehen ist sehr zeit- und nervenraubend.
Chatbot = Jackpot?
Mit der gemachten Erfahrung würde ich den «ChatGPT» nicht als Lexikon-Ersatz für eine Arbeit verwenden. Es ist frustrierend, Informationen zur Verfügung zu haben, welche nicht verwenden können werden. Sie nützen einem nichts, wenn die nötige Quelle fehlt. Selbst bei der Verfassung dieses Blogs wurde auf Informationen verzichtet, da die Literatur dazu nicht angegeben werden könnte. Der Assistent ist quasi Wikipedia, das mit einem chattet.
Das System kann einem jedoch bei der Erstellung einer praktischen Arbeit unterstützen. Wird der Bot nach der Programmierung eines Bücherregals in Java gefragt, gibt er ganze Codefragmente wieder. Dies kann dabei helfen, einen anderen Blickwinkel zum eigenen Code zu erhalten oder einen Hinweis geben, wenn der geschriebene Code nicht läuft. Diese Recherche via Google ist weniger gut möglich und benötigt mehr Zeit als über den Bot. Beim Programmieren kann zudem direkt geprüft werden, ob die Informationen korrekt sind. Ansonsten funktioniert der Code nicht.
Der Bot bietet eine Möglichkeit, sich einen Überblick zu einem Thema zu verschaffen. Sobald jedoch seriöse Quellen genau dokumentiert werden müssen, ist «ChatGPT» nicht ideal. Es fehlen die Informationen, von wo die Quellen stammen und wie aktuell diese sind. Auch könnten für die Programmierung des Bots verwerfliche Ressourcen genutzt worden sein, welche zum Beispiel einen rechtsradikalen Standpunkt unterstützen. Mit mehr Übung und gezielteren Fragen seitens des Users könnte das Resultat allenfalls verbessert werden. Aber aus meiner Sicht ersetzt «ChatGPT» die analytische Recherche nicht.
Weiterführende Links:
https://www.nzz.ch/technologie/diese-kuenstliche-intelligenz-kann-lieder-dichten-und-programmier-code-schreiben-was-steckt-hinter-chatgpt-ld.1715918
https://www.watson.ch/digital/analyse/560741870-wissenschaftlerin-aus-zuerich-warnt-vor-chatgpt-ki-faelscht-quellen
Quellen:
Schönholzer, P. (2022, 29. September). Chatbots [Vorlesungsfolien; PDF]. Vorlesung gehalten im Modul GPDA an der Hochschule Luzern – Informatik.
OpenAI. (o. D.). ChatGPT. Abgerufen am 27. Dezember 2022, von https://chat.openai.com/chat
OpenAI. (2020, 2. September). About. Abgerufen am 27. Dezember 2022, von https://openai.com/about/
