Gibt es die ChatGPT-sicheren Fragen? (Stand-Up-Review, 5. April 2023, Teil I)

Andreas Marfurt hat im Stand-Up berichtet

ChatGPT, ein von OpenAI entwickeltes KI-Tool, macht seit einiger Zeit häufig Schlagzeilen, weil es in der Lage ist, auf jede Frage, die ihm gestellt wird, mit erstaunlicher Genauigkeit Antworten zu geben. Der Einsatz von ChatGPT während herkömmlichen Prüfungsformen stellt uns jedoch vor interessante Herausforderungen. Andreas Marfurt, Dozent für Natural Language Processing (NLP) an der HSLU I, wagte das Experiment und versuchte, seine Semesterprüfung aus dem HS22 mit ChatGPT zu lösen. Er stellte fest, dass alle Studierenden mit Ausnahme des Klassenbesten von der Verwendung des KI-Tools hätten profitieren können. Er stellte sich deshalb die Frage: «Bewegen wir uns – analog zum pay-to-win bei Computerspielen – auf ein Modell pay-for-grades zu?». Läuft die Entwicklung auf ein Modell hinaus, wo Studierende für gute Noten bezahlen? Das Experiment zeigte nämlich, dass die kostenlose Version von ChatGPT insbesondere für mathematische Aufgaben oder in Bezug auf die zeitliche Anfrage-Limite von einer Stunde Einschränkungen hat. Kommt hinzu, dass die Gratisversion von ChatGPT zu den Peak-Zugriffszeiten nicht verfügbar sein kann. Das würde bedeuten, dass für einen umfangreichen Einsatz der Kauf der kostenpflichtigen Version erforderlich ist.

Was uns hier interessiert ist die Frage: Wie gehen wir an der HSLU I damit um, dass ChatGPT (oder ähnliche Chatbots wie Microsoft Bing, Google Bard, You.com, Perplexity.ai) herkömmliche Prüfungsformen möglicherweise in Frage stellt?  ChatGPT löst z.B. auch Analysen oder Fragen, bei denen Kreativität gefragt ist sehr gut. Was sind also ChatGPT-sichere Fragen? Was wir bereits wissen ist, dass eine Darstellung der Fragen als Bild bald keine Option mehr sein wird, denn die nächste Version/ChatGPT4 wird auch fähig sein, Bilder zu verstehen.

Stellt man die Frage nach KI-sicheren Fragen ChatGPT selber (wie das Andreas Marfurt getan hat) erhält man folgende Antwort: ChatGPT kann Fragen welche physische Interaktion oder praktische Erfahrung erfordern oder Fragen, die subjektive Evaluationen oder Meinungen und Vorlieben verlangen nicht gut beantworten. Es bleibt aber bei der Erkenntnis, dass es (ausser dem ChatGPT Verbot und mehr Aufsichtspersonal) im Moment keine schnellen Lösungen gibt.  Fest steht wohl nur, dass Prüfungsdesign und Evaluationskriterien in vielen Fällen überdacht werden müssen (vergl. Gimpel et al. 2023: Unlocking the Power of Generative AI Models and Systems such as GPT-4 and ChatGPT for Higher Education: A Guide for Students and Lecturers (2023), S. 32).

Screenshot aus der Präsentation von Andreas Marfurt: 
ChatGPT-Antworten auf die Frage nach ChatGPT-sicheren Prüfungsfragen.
Die rot markierten Fragen sind für zukünftige Versionen bereits nicht mehr relevant.

Zum Teil II , Summary des Stand-Up Beitrags von Nino Ricchizzi.

Präsentationsfolien: Andreas Marfurt; Nino Ricchizzi
Aufnahmen:  Andreas Marfurt, Nino Ricchizzi