Bewertungen mit Peer-Feedback outsourcen?

Andreas Marfurt über das Peer-Feedback im Experimentiermodul, 5. Dezember 2023

Mit drei Einzelprojekten über das gesamte Semester hinweg als Leistungsnachweis war absehbar, dass die Bewertung im Modul „Machine Learning Operations“ (MLOPS) einen erheblichen Auswand produzieren würde. Um einen Teil des Arbeitsaufwands für die Einzelprojekte out-zu-sourcen, hat Andreas Marfurt für das MLOPS-Modul die Idee des Peer-Feedbacks umgesetzt. Als Dozent erhielt Andreas Marfurt dadurch Unterstützung in der Beurteilung und die Studierende lernten zusätzliche Skills, die auch im Berufsleben zählen – professionelles Feedback geben.

Konkrete Fragen strukturierten das Feedback der Studierenden. So überprüften die Studierenden Vollständigkeit der Abgabe und formalen Aspekten wie Seitenzahl und Korrektheit des GitHub Links und die Anzahl erlaubter Runs. Mit anderen Worten, es wurden Aspekte kontrollierte, die für Beurteilung durch den Dozierenden auch hilfreich waren. Die Kontrolle formaler Aspekte, könnte tatsächlich Zeit sparen, betonte Andreas Marfurt.

Komplettes Feedback eines Studierenden in der ILIAS-Umsetzung, Folie Andreas Marfurt

Doppelter Lerneffekt
Ein willkommener Nebeneffekt der Feedback-Übung bestand im doppelten Lerneffekt: Zum einen lernten die Studierenden durch das Lesen der Reports der Mitstudierenden, indem sie sahen, wie andere die gestellte Aufgabe bewältigten oder ihre Berichte verfassten. Andererseits vertieften sie ihr Verständnis durch das erhaltene Feedback von Mitstudierenden, welches konstruktive Hinweise zur Verbesserung enthielt oder auf weiterführende Fachinformationen verwies. Die Studierenden lernten also zuerst durch das Feedback geben – und dann durch das Erhalten des Feedbacks.

Das Peer-Feedback wurde von den Studierenden als mehrheitlich positiv bewertet und es verhalf den Studierenden auch zu einer raschen Rückmeldung auf ihr Projekt. Die Fähigkeit Feedback zu Geben und zu Erhalten dürfte ausserdem auch für die IT-Praxis sehr wertvoll sein, gehört sie dort doch zum Arbeitsalltag.

Kriterien mit den Studierenden zusammen definieren
Die Erfahrung aus anderen Modulen zeigt, dass selbst-definierte Kriterien den Lerneffekt noch erhöhen können: Machen wir uns Gedanken zu den Feedback-Kriterien, lernen wir selbst viel über die Qualität eines Projektes. Kritieren könnten daher auch zusammen mit Studierenden definiert – und so verinnerlicht werden.

Kurz notiert

Das Peer-Feedback im ML OPS-Modul
Im Rahmen des neuen Wahlmoduls „Machine Learning Operations» (MLOPS) im sechsten Semester des AI/ML-Bachelors gaben die Studierende Peer-Feedback auf die drei Semesterprojekte von anderen Studierenden auf der ILIAS Plattform. Studierende erhielten für jedes Projekt zwei Arbeiten zugewiesen. Die Abgaben bestanden aus zweiseitigen Projektbeschrieben und je nach dem auch aus einem GitHub Repository. Die Studierenden hatten jeweils drei Wochen Zeit für das Projekt und eine Woche für das Feedback.

Das Feedback selbst bildete einen Teil der Note und hat mit einem 1/3 Gewichtung einen erheblichen Einfluss auf die Gesamtnote. Wie gutes Feedback aussieht, wurde in einer Einführung besprochen. Im Rahmen dieses Inputs wurden die Studierenden beispielsweise aufgefordert Feedback zu geben, das nützlich ist und z.B. direkt anwendbar ist. Ausserdem sollte das Feedback respektvoll formuliert sein.

Peer Grading oder Peer-Feedback?
Faires Peer-Grading ist schwierig herzustellen. Studierende können sich absprechen oder nur gute Benotungen verteilen. Es müssen also Anreize geschaffen werden, dass sich die Studierenden nicht alle einfach gute Noten geben. Das ZLLF rät daher eher zu einem Peer-Feedback. Peer-Grading wird von der BFH mit einem speziellen Tool angewendet. Es operiert mit klaren Kriterien wie Teamfähigkeit, Qualität und Zuverlässigkeit und basiert auf einer Selbst- und Gruppenbewertung. Erfahrungen Das entsprechende Webinar der BFH berichtet über Erfahrungen. (https://peer-grading-tool.dsl.digisus-lab.ch/de/about).

Aufnahme vom Stand-Up zum Experimentiermodul Bewertungen mit Peer-Feeback
Folien zum Stand-Up Meeting von Andreas Marfurt

–> Weitere Beiträge zu Peer Feedback und Peer Bewertungen