ChatGPT: Mit dem eigenen Vokabular und Wissensniveau Fragen stellen
Stand-Up von Nino Riccizzi zu «Problemstellungen erfassen und dazu Fragen (für ChatGPT) formulieren können», 17. Januar 2024
In einem Experiment ermöglichte Nino Ricchizzi Studierenden, Grundlagenwissen zu Computerprozessen mit Fachtexten, Internetquellen aber auch mit ChatGPT selbst zu entwickeln (Übung 1). Der Versuch zeigte, dass die Heterogenität des Vorwissens durch eine kurze Recherche-Übung ausgeglichen werden konnte: Alle erreichten also im abschliessenden Multiple Choice-Test eine ähnliche Punktzahl. Weiter zeigten die Ergebnisse, dass besonders Studierende ohne fachlichen Hintergrund die Verwendung von Sprachmodellen schätzten: Sie konnten so mit ihrem eigenen Vokabular und Wissensniveau Fragen stellen und erhielten verständliche Antworten. Bei der Vermittlung desselben Stoffs in einer Vorlesung könnte das verwendete Fachvokabular hingegen eine Hürde darstellen. Auch ein spezielles Prompting-Training, könnte diesen Effekt aufheben, da die Studierenden GPT dann nicht mehr in ihren eigenen Worten befragen würden. Stattdessen müssten die Fragen eingeübt werden und würden wieder etwas mechanischer und weniger individuell. Fragen in den eigenen Worten zu stellen, erwies sich jedoch gemäss dem Feedback als wertvoll. Nino Ricchizzi spricht sich daher für Prompting ein Training aus, in welchem Studierende lernen, wie sie die ChatGPT-Ausgabe für ihre Zwecke noch verbessern können – indem sie z.B. den Kontext näher beschreiben, für welchen sie die Antworten brauchen.
In der Diskussion wird kritisch angemerkt, dass eine solche Nutzung von ChatGPT als Inforamtionsquelle im Unterricht auch problematisch sein kann, weil Studierende ohne Grundwissen Schwierigkeiten haben, Richtiges von Falschem zu unterscheiden. Und die falschen Antworten verbergen sich bei ChatGPT ja zusätzlich noch hinter wohlformulierten und stringenten Sätzen. Ausserdem sind die Antworten von Sprachmodellen je nach Kontext unterschiedlich zuverlässig: Fragen zu Prozessen, Methodiken oder Organisationen kann ChatGPT weniger gut beantworten als beispielsweise technische Fragen. Fragen sollten daher vorab gut getestet werden, bevor eine Übung mit ChatGPT als Lehrmittel durchgeführt wird, um sicherzustellen, dass sinnvolle Antworten generiert werden.
Eine weitere Übung (Übung 2) testete die Möglichkeit, ChatGPT auch in einer schrittweisen Erarbeitung von komplexerem Aufgaben zu nutzen. Dieser interaktive Einsatz von ChatGPT wurde geschätzt von Studierenden. Und es wurde deutlich, dass der Wunsch nach selbstständigem Erarbeiten von Wissen bei vielen Studierenden vorhanden ist. Bei letzterem verschiebt sich die Aufgabe der Dozierenden weg von der reinen Wissensvermittlung hin zur Beantwortung und Diskussion von komplexeren Fragen. Diese Rolle wahrzunehmen ist wahrscheinlich anspruchsvoller, aber auch spannender, als Foliensätze zu Grundlagenwissen zu präsentieren. Studierende dazu zu befähigen, Fragen zu stellen, entspricht dem Lehrkonzept des eigenständigen Erforschens durch Lernende, welches eine Voraussetzung für eigenständiges wissenschaftliches Arbeiten darstellt. Könnte also zukunftsgerichtet sein.
Erklärbox: Übung 1: Dauer: 10 min Gruppenaufteilung: Gruppe 1 (18 Personen): Recherche mittels ChatGPT, vorab 15-Minuten-Workshop zu Prompting Gruppe 2 (18 Personen): Recherche mittels ChatGPT, ohne Prompting-Workshop Gruppe 3 (18 Personen): Eigenrecherche mit Internet und Büchern (kein ChatGPT) Aufgabe: Nachforschungen zu „Wie startet ein Computer (Boot-Prozess)?“ Leistungsnachweis (Test): Absolvierung eines (unbekannten) Tests mit Fragen aus drei Schwierigkeitsgraden (60% einfach, 25% mittel, 25% schwer) Ergebnis: Alle Gruppen erreichten etwa 70% korrekte Antworten Übung 2: Dauer: 90 min Phase 1: Selbstständiges Erlernen eines neuen Themas mittels Anleitungen und Simulator, Fokus auf Addition und Multiplikation Phase 2: Einführung einer Problemstellung „Wie funktioniert Division?“, Erarbeitung erster Lösungsansätze mit ChatGPT Phase 3: Gruppendiskussion (3 - 5 Studierende) über erarbeitete Lösungsansätze Phase 4: Anwendung der Erkenntnisse in einem größeren Szenario im Team
Folien zum Stand-Up von Nino Ricchizzi
Aufnahme zum Stand-Up «Problemstellungen erfassen und dazu Fragen (für ChatGPT) formulieren können»