Posts aus dem ZFH
KI im universitären Lehr- und Lernkontext - Potentiale und Gefahren - Teil 2
Ein Gespräch mit Jonas Leschke von der Ruhr-Universität
Bochum - Fortsetzung
Zur Zeit können KI-Systeme von den Studierenden leicht genutzt werden. Unsere Aufgabe im ZFH ist es, zumindest die Lehrenden, die bereit sind, so viele Änderungen an ihren Materialien etc. vorzunehmen, entsprechend gut zu beraten, welche Formate „KI-resistent“ sein könnten. Das sind tendenziell meist kreative Abfragen, die dann einfach persönliche Angaben erfordern, oder mündliche Prüfungen, die alternative auch recht „KI-resistent“ sind. Haben Sie Tipps für KI-resistente Prüfungen?
Leschke: Ich sehe das ehrlicherweise nicht zwingend problematisch. Ich persönlich finde es gut, dass die Studierenden die Tools nutzen, weil das ihre berufliche und lebensweltliche Realität abbildet. Und warum sollten wir das aus dem Lernen in der Hochschule ausblenden? Sicherlich ist die große Herausforderung, dass Studierende und Lehre statt einer naiven eine sehr kompetente und reflektierte Nutzung der Systeme erreichen und so auch keine Überinterpretation der Ergebnisse stattfindet. Bei den Lehrenden verstehe ich diese Sorge natürlich. Die Frage „Wie kann KI-resistent geprüft werden“ muss aus meiner Sicht aber eigentlich lauten: Wie muss die didaktische und nicht die leistungsbemessende Funktion dieser Prüfungsleistung aussehen, die wir abverlangen? Und welche Prüfungsmöglichkeiten gibt es noch, um diese didaktische Funktion adäquat zu erzielen? Dann erreichen wir eine gewisse Auswahl an Prüfungsleistungen, die wir auswählen können, primär im Sinne des Lernens und nicht im Sinne des Bewertens. Und hier ist dann sicherlich ein Präsenzformat vorzuziehen, wenn man auch die korrekte Leistungsbewertung sicherstellen will.
Die Frage ist auch, inwiefern die Universitäten flexibler in ihrer Prüfungsordnung und den Möglichkeiten werden müssen, welche Prüfungsformate zulässig sind. Eine Prüfung muss im Sinne des Constructive Alignment sinnvoll ausgewählt werden. Es ist aus didaktischer Perspektive nicht sinnvoll pauschal zu sagen, nur weil ich die Gefahr sehe, dass Leistungen in unbeaufsichtigten Prüfungsleistungen erschlichen werden, führe ich diese nicht mehr durch. Damit stellen wir Studierende unter Generalverdacht und erkennen nicht an, dass sie sich auch selbst motiviert mit Studium und Studieninhalten auseinandersetzen wollen. Sicherlich sollte man nicht naiv sein, aber ich denke, hier muss man ein vernünftiges Maß finden, um den Studierenden die Verantwortung auch zu übertragen, die sie im Rahmen von Prüfungsleistungen erbringen müssen.
Kurz: Die Lehrenden sollten nicht bei der Prüfungsleistung, sondern zunächst bei ihren Lernzielen anfangen, die sie erreichen wollen und überlegen, welche didaktische Funktion die Prüfungsleistung in Bezug ihrer Lehrveranstaltungen übernehmen soll. Im Resultat bleibt eine gewisse Anzahl Prüfungsleistungen, aus der man diese filtert, welche eine Leistungserschleichung möglichst sinnvoll ausschließen.
Es gibt bereits Ansätze, mittels sogenannter AI- Detektoren einen KI-Einsatz bspw. in Prüfungen zu erkennen. Viele sind aktuell allerdings noch so schlecht, dass einzelne Universitäten in den USA aufgrund der hohen False Positive-Resultate diese KI-Detektoren nicht weiter einsetzen. Wie bewerten Sie aktuell die Möglichkeiten des Einsatzes dieser Detektoren?
Leschke: Bei den KI-Detektoren besteht das Hase-Igel-Problem, d.h. die Modelle, die Inhalte generieren, müssen immer als Maßstab der Detektion genommen werden. Das bedeutet, die Detektion können immer erst nachgelagert an die Entwicklung der Modelle entwickelt werden. Die großen Tech-Unternehmen stellen sogar teilweise eigene Detektoren zur Verfügung, oft mit dem expliziten Hinweis, dass die Funktion noch nicht ausgereift ist.
Die meisten Systemanbieter solcher Detektoren stellen ja meistens auch direkt den Antidetektor zur Verfügung – zur Verschleierung des Einsatzes.
Leschke: Daher helfen diese Detektoren sachlich schon nicht, weil sie KI-Generierungen nicht gut erkennen. Hinzu kommt die prüfungsrechtliche Konsequenz aus einem solchen Detektor, siehe die Plagiatsdiskussionen. Es wird dort ja ein eindeutiger Nachweis zur unmarkierten Textübernahme benötigt, um nachweisen zu können, das ist ein Plagiat. Bei Plagiaten selbst funktioniert das, weil wir dort im Zweifel den Vergleichstext recherchieren können. Das wird bei den Detektoren aber niemals möglich sein, da Inhalte neu generiert worden sind. Entsprechend werden wir immer nur Wahrscheinlichkeiten ableiten können, die niemals bei 100 % liegen werden. Ich rate immer gerne, Detektor-Systeme auf ihre Funktion hin zu testen, um ein besseres Verständnis der Sachverhalte zu erhalten. Aus prüfungsrelevantem Interesse würde ich es nicht tun, alleine schon aus den Gründen, dass sie zu ungenau sind und wir gar keine rechtliche Konsequenz daraus ziehen können. Wenn wir über einen Workaround reden, welche Möglichkeiten es gäbe, trotzdem zu erkennen, was KI-generiert wurde, bleibt meiner Ansicht nach tatsächlich nur, stärkere formative Formate mit einzubinden, das heißt prüfungsleistungsähnliche Dokumente bereits während des Semesters einzufordern. Dies kann auch der Erfassung des Leistungsstandes der Studierenden dienen und diese Dokumente dann entsprechend im Rahmen der Prüfungsleistung hinsichtlich der Passung miteinander zu vergleichen. Aber auch hier ist Vorsicht geboten, da natürlich im Zuge der Vorbereitung auf eine Prüfung eine Leistungssteigerung der Studierenden auftreten kann.
Zusammenfassend: Ich sehe sicherlich Gefahren bzgl. des Lernens an Hochschulen durch die Verfügbarkeit und Nutzung insbesondere generativer KI-Systeme. Ein unreflektierter Umgang und möglicherweise auch naives Vertrauen in diese Systeme können dazu führen, dass die Ausgaben überinterpretiert werden und ihnen zu viel Qualität zugemessen wird. Die Gefahr sehe ich sowohl bei Studierenden wie auch bei Lehrenden. Ich sehe eine weitere Gefahr durch Systeme, die sehr einfach und schnell “Lernprodukte“ erzeugen können. Diese “Lernprodukte“ sind nicht im Lernen entstanden, sondern durch diese Systeme. Dadurch bleiben Lerngelegenheiten aus. Gleichzeitig sehe ich auch die Gefahr für Lehrende, wenn sie Lernenden unter Verwendung solcher Systeme Feedback geben, das, bezogen auf die Lern- und Prüfungsprodukte, weder reflektiert noch geprüft wurde. Dann bekommen die Lernenden Feedback in die ganz falsche Richtung.
Andererseits sehe ich aber auch, dass die Potenziale in der Zukunft weiter überwiegen werden, bspw. die Individualisierung des Lehrens und Lernens. Ich nenne sie aber bewusst “Potenziale“, weil hier durchaus noch technische Entwicklungsarbeit geleistet werden muss. Die Qualitätssicherung muss jedoch technisch abbildbar sein, sonst wird der Aufwand zum Betrieb solcher Systeme größer als das Ermöglichen einer guten Lernumgebung.
Wie sähe Ihr persönliches Fazit aus?
Leschke: Lernenden steht ein unerschöpfliches Lernangebot zur Verfügung. Auch das sehe ich als Potenzial, indem sich beliebig viele Lernaufgaben generieren lassen. Daher habe ich die Hoffnung, dass sich auch das Lernangebot für die Studierenden verbessern wird, weil Lehrende angehalten sind, sich erneut intensiv mit ihrer Lehre auseinanderzusetzen.
Ganz kurzfristig sehe ich auch das motivationale Potenzial dieser Systeme. Ich glaube schon an einen Impuls für Studierende, sich aktiv mit diesem lebensweltlichen und beruflichen Thema aktiv auseinanderzusetzen. Das wird zukünftig wieder ein wenig abebben, weil solche Systeme selbstverständlicher werden. Aber ich glaube, aktuell ist das ein super-motivationaler Motor. Und diese Potenziale überwiegend durchaus für mich. Wir müssen Aufklärungsarbeit leisten und Lerngelegenheiten und Räume für Lehrende und Studierende schaffen, mit solchen Systemen umzugehen. Aber diese Systeme werden uns im Kontext des Lernens wirklich gut unterstützen können.
Wir danken Ihnen herzlich für das Gespräch!