Douglas MacKevettFleckenstein et al (2024) untersucht, ob Lehrkräfte in der Lage sind, von künstlicher Intelligenz generierte Texte von Schülern verfassten Texten zu unterscheiden. Dies ist besonders relevant, da generative KI-Modelle wie ChatGPT immer häufiger in Schulen und Universitäten verwendet werden und eine Herausforderung für die Bewertung von Schülertexten darstellen.
Die Studie bestand aus zwei experimentellen Untersuchungen:
Studie 1: Hier wurden 89 angehende Lehrkräfte (mit wenig Unterrichtserfahrung) untersucht. Die Ergebnisse zeigten, dass diese nur in etwa 45,1 % der Fälle in der Lage waren, KI-generierte Texte korrekt zu identifizieren. Sie waren übermässig selbstsicher in ihren Urteilen, obwohl ihre Erkennungsraten nicht besser als zufällig waren.
Studie 2: In dieser Studie wurden 200 erfahrene Lehrkräfte getestet. Diese waren etwas besser darin, KI-generierte Texte zu erkennen, insbesondere bei qualitativ hochwertigen Texten. Allerdings blieb die Erkennungsrate auch hier suboptimal, insbesondere bei geringwertigen Texten. Ähnlich wie die angehenden Lehrkräfte überschätzten auch die erfahrenen Lehrkräfte ihre Fähigkeiten zur korrekten Identifikation von Textquellen.
Schlussfolgerungen für den Unterricht
1. Erkennungsschwierigkeiten: Lehrkräfte, sowohl angehende als auch erfahrene, haben Schwierigkeiten, KI-generierte Texte von Schülertexten zu unterscheiden. Dies legt nahe, dass Schüler potenziell KI-Tools verwenden können, ohne dass Lehrkräfte dies bemerken.
2. Übermässige Selbstsicherheit: Beide Gruppen von Lehrkräften neigen dazu, ihre Fähigkeiten zur Identifikation von KI-generierten Texten zu überschätzen. Dies könnte zu einer Fehleinschätzung der tatsächlichen Leistung und Integrität von Schülerarbeiten führen.
3. Bewertungsunterschiede: Es zeigte sich, dass qualitativ hochwertige KI-Texte tendenziell positiver bewertet wurden als vergleichbare Schülertexte, was darauf hinweist, dass KI-Tools in der Lage sind, Texte zu produzieren, die die Bewertungskriterien besser erfüllen.
Notwendigkeit von Anpassungen
Um den Herausforderungen durch KI-generierte Texte zu begegnen, sollten wir neue Bewertungsstrategien entwickeln. Als Hochschule müssen wir unsere Prüfungspraxis überdenken und mehr Gewicht auf Prüfungen legen, die kritisches Denken und mündliche Verteidigungen erfordern, die weniger leicht durch KI-Tools ersetzt werden können.