ChatGPT und Prüfungen (Stand-Up-Review, 5. April 2023, Teil II)
Nino Ricchizzi hat im Stand-Up berichtet
Der zweite Teil des Stand-Up-Meetings zum Thema ChatGPT bestritt Nino Ricchizzi, Dozent im Bereich IT-Sicherheit. Er untersuchte die ChatGPT-Technologie unter praktischen Gesichtspunkten und simulierte und verglich die Prüfungsantworten von sechs virtuellen Standorten. Dabei fand er signifikante Unterschiede, die ihn motivierten, praktische Tests mit drei Gruppen von Studierenden im 1. Semester durchzuführen. Ziel der Studie war es, die Wirksamkeit von ChatGPT als Hilfsmittel bei der Lösung von Prüfungsfragen zu testen. Die Ergebnisse zeigten, dass Studierende, die ChatGPT und Kursmaterialien benutzten zum Teil besser abschnitten als diejenigen, die nur ChatGPT oder nur Kursmaterialien benutzten. Es fiel auf, dass Schwierigkeiten ein Problem zu verstehen, dazu führte, dass auch die Nutzung von ChatGPT für die Lösung der Aufgabenstellungen schwieriger war. Es ist interessant, wie KI uns auf eine grundlegende Sache zurückwirft: Um ChatGPT effektiv zu nutzen, ist es wichtig, erst einmal das Problem zu verstehen. Ein gutes Problemverständnis befähigt uns dann, eine passende Frage in Textform zu formulieren. Wir kennen das bereits vom „Googeln“, wo wir uns, fragen, welche Eingabe wohl eine hilfreiche Antwort generieren könnte. Diejenigen, die bereits einmal versucht haben, KI-Bildgeneratoren wie DALL-E zu verwenden, werden festgestellt haben, dass wir zunächst lernen müssen, welche Texteingaben gute Bilder erzeugen. Wir können daraus schliessen, dass es einiger Übung bedarf, effektive Texteingaben für Chatbots zu formulieren.
Die kurze Diskussion hat ausserdem gezeigt, dass jedes Fachgebiet seine eigenen Anforderungen an die Verwendung von ChatGPT hat und, dass jede Disziplin ihre eigenen Tipps und Tricks für eine effektive Verwendung von Chatbots formulieren kann und sollte. Es wurde auch festgestellt, dass die Geschwindigkeit der KI-Entwicklung Risiken für die Chancengleichheit birgt. Derzeit ist der Zugang der Studierenden zu diesen Instrumenten unterschiedlich. Regeln, die die Prüfungsrichtlinien zu Beginn eines Moduls ankündigen, können helfen, Unsicherheiten zu mindern, lösen aber nicht das Problem, dass wir uns in sechs Monaten wahrscheinlich mit neuen Formen der KI auseinandersetzen müssen. Nino Ricchizzi kündigte an, dass er dieses Thema am Ende des Semesters mit einer Folgestudie wieder aufgreifen wird. Wir bleiben dran.
Zum Teil I, Summary des Stand-Up Beitrags von Andreas Marfurt
Präsentationsfolien: Andreas Marfurt; Nino Ricchizzi
Aufnahmen: Andreas Marfurt, Nino Ricchizzi
ChatGPT-Empfehlungen der Universität Hohenheim, Gimpel et al. 2023: Unlocking the Power of Generative AI Models and Systems such as GPT-4 and ChatGPT for Higher Education: A Guide for Students and Lecturers (2023).