KI und die Hochschulen: Was GPT uns beschert

Eine Sammlung von kommentierten Links zu GPT mit Hintergrundinformationen, Fragen für Bildungsverantwortliche, Anwendungen sowie Forschung und Entwicklung von OpenAI.

Hintergrund-Informationen

Die Zukunft der large language models: https://bdtechtalks.com/2022/08/22/llm-emergent-abilities/

Zusammengefasst von GPT3: Grosse Sprachmodelle (Large Language Models, LLMs) sind aufgrund ihrer scheinbar magischen Fähigkeiten ins Zentrum unserer gerückt. Eine neue Studie befasst sich mit neuartigen Aufgaben, die LLMs bewältigen können, wenn sie grösser werden und auf mehr Daten trainiert werden, und untersucht die Beziehung zwischen der Grösse von LLMs und ihren „emergenten“ Fähigkeiten. Die Studie ergab, dass die Grösse in hohem Masse mit dem Entstehen neuer Fähigkeiten korreliert. Jede der LLM-Familien zeigt zufällige oder unter dem Zufall liegende Leistungen bei Aufgaben („few-shot“ prompting), bis die Grösse des Modells einen bestimmten Schwellenwert erreicht. In der Studie werden auch Alternativen zur Skalierung erörtert, wie die Feinabstimmung kleinerer Modelle auf aufgabenspezifischen Datensätzen. Sicher ist, dass LLMs in absehbarer Zukunft ein Hauptpfeiler der Forschung im Bereich des maschinellen Lernens bleiben werden, und wir müssen ihre Fähigkeiten und Grenzen weiter untersuchen.

Wird GPT die Standardsuche ersetzen? https://bdtechtalks.com/2023/01/02/chatgpt-google-search/

Zusammengefasst von GPT3: Seit der Veröffentlichung von ChatGPT wurde darüber spekuliert, wie es die Online-Suche stören könnte. Das aktuelle Modell hat jedoch mehrere Mängel, die es davon abhalten, Suchmaschinen zu ersetzen, wie z.B. die fehlende Genauigkeit (sogenannte „Halluzinationen“); die Schwierigkeit, die Wissensbasis zu aktualisieren; das Fehlen eines Geschäftsmodells; und die Kosten (zurzeit geschätzt um USD 100’000 pro Tag). Höchstwahrscheinlich wird ChatGPT eher ein ergänzendes Werkzeug zu den bestehenden Suchmaschinen werden, als diese zu ersetzen.

Marc Pouly, Hochschule Informatik: Wie funktionieren Large Language Models? https://www.youtube.com/watch?v=T6E_Vk3cC5s

Fragen für Bildungsverantwortliche

ChatGPT und die (Hoch)schulen: eine sehr hilfreiche (und kurze!) Einschätzung von Beat Döbeli von der PH Schwyz: https://mia.phsz.ch/MIA/ChatGPT

GPT im Unterricht und bei Prüfungen: https://www.scil.ch/2022/12/17/chatgpt-einsatz-im-unterricht-und-bei-pruefungen/

• Was bedeutet Bildung und Handlungskompetenz im Zeitalter von Smart Machines?
• Wie wird der Zugang zu bzw. die Verfügbarkeit von Smart Machines geregelt?

Und ganz unmittelbar:

• Wie sollen Schulen und Hochschulen damit umgehen, dass Schüler:innen und Studierende Anwendungen wie ChatGPT nutzen, um prüfungsrelevante Leistungen zu erbringen?

Einzelunterricht und ein Tutor mit unendlicher Geduld

Khan Academy mit integriertem GPT-4-Tutor: https://www.youtube.com/watch?v=rnIgnS8Susg

Forschung und Entwicklung bei OpenAI

Thanks to Guang Lu for this selection of links to OpenAI’s R&D activities.

Blog:

https://openai.com/research/gpt-4

https://openai.com/product/gpt-4

Paper:

https://cdn.openai.com/papers/gpt-4.pdf

Demo:

https://www.youtube.com/watch?v=hdhZwyf24mE&t=2s

https://www.youtube.com/watch?v=b_KwBOt0Ykg&t=184s