11.03.2023

Bewertungsmöglichkeiten

Nach der Veröffentlichung von ChatGPT machten Aussagen wie „Hausaufgaben sind tot“ oder „Hausaufgaben per Mausklick“ die Runde. Man müsse nur eine Aufforderung eingeben und schon schreibt die KI die Aufsätze oder Hausarbeiten. Ganz so einfach ist es aber nicht immer. Auch ChatGPT hat Grenzen und kann (noch) keine perfekte Hausarbeit per Knopfdruck liefern. Bevor einige Ansätze vorgestellt werden, wie die Anforderungen und Bewertungskriterien angepasst werden könnten, muss zunächst geklärt werden, welche Arbeitsschritte die KI erleichtern oder abnehmen kann. In der folgenden Tabelle sind diese Punkte übersichtlich dargestellt.

Verwendungsmöglichkeiten bei der Erstellung einer Hausarbeit	Grenzen und Probleme des Modells
Forschungsfrage entwickeln Gliederung erstellen Literaturideen generieren Text umschreiben Feedback erhalten	Keine neue Forschung Risiko von Plagiat Literaturideen generieren Falsche Quellenangaben Erfundene Fakten

Überprüfung von Betrugsversuchen

Es gibt verschiedene Webseiten, wie beispielsweise Open AI Classifier und GTPzero, die Texte auf bestimmte Merkmale hin untersuchen und dadurch eine Einschätzung geben können, ob sie von einer KI verfasst wurden. Diese Tools basieren oft auf Machine-Learning-Techniken und sind darauf trainiert, bestimmte Merkmale von Texten zu erkennen, die typisch für KI-Texte sind.

Allerdings gibt es hierbei einige Schwierigkeiten. Zum einen ist es schwierig, eine eindeutige Klassifizierung vorzunehmen. Es können Fehler in beide Richtungen auftreten, also dass ein von einer KI erstellter Text als von einem Menschen verfasst erkannt wird und umgekehrt. Zum anderen können KI-Texte durch geringfügige Anpassungen so verändert werden, dass sie nicht mehr als solche erkannt werden können. Das bedeutet, dass die Grenze zwischen KI- und menschlichen Texten immer verschwommener wird.

Ein weiteres Problem ist, dass diese Tools oft nur bei englischen Texten einigermaßen zuverlässig arbeiten. Sie wurden mit Texten von englischsprachigen Erwachsenen trainiert und sind daher auf andere Sprachen und Zielgruppen möglicherweise nicht anwendbar. Ein Test mit deutschen Texten hat gezeigt, dass KI-Texte und selbstverfasste Texte immer als KI-Texte klassifiziert wurden. Das zeigt, dass es noch ein langer Weg ist, bis wir ein zuverlässiges Tool haben werden, um KI-Texte von menschlichen Texten zu unterscheiden.

Die folgenden Kriterien können helfen einen gegebenen Text auf die Verwendung einer KI zu überprüfen. Allerdings liefern auch diese keine hundertprozentige Sicherheit.

Texte, die von einer KI erstellt wurden, haben häufig

keine grammatikalischen Ungereimtheiten oder Fehler
Wiederholungen oder Redundanz von Wörtern oder Sätzen
Ein Fehlen von Emotionen oder Persönlichkeit
sachliche Fehler und/ oder eine ungewöhnliche Wortwahl
keine Wortneuschöpfungen und nur bekannte Wortzusammensetzungen
eine einheitliche Formatierung, Satzlänge und -struktur
keine Verwendung von Dialekt und Umgangssprache

Erweiterung der klassischen Aufgabenstellungen

Es gibt verschiedene Möglichkeiten, um gängige Aufgabenstellungen so zu erweitern, dass eine vollständige Erledigung durch KI-Systeme ausgeschlossen werden kann. Eine Variante ist die Anreicherung von Aufgabenstellungen mit persönlichen Wertungen und Eindrücken. Die Schülerinnen und Schülern, sind so gezwungen ihre individuelle Sichtweise ihre Arbeit einfließen zu lassen, was nicht durch eine KI erledigt werden kann. Anstatt nur die Zusammenfassung der ersten beiden Kapitel eines Buches zu verlangen, könnte die Aufgabe lauten, eine persönliche Reaktion auf eine bestimmte Szene im zweiten Kapitel des Buches zu beschreiben und zu begründen, warum diese Szene besonders berührend war. Auf diese Weise wird nicht nur das Verständnis des Buches, sondern auch die Fähigkeit zur persönlichen Interpretation und Reflexion gefördert.

Die Anpassung der Bewertungskriterien kann dazu beitragen, den Fokus weg von reinen Inhaltsaspekten hin zur Gestaltung und Präsentation zu lenken. Dabei sollte insbesondere auf die freie und selbstbewusste Präsentation Wert gelegt werden. Sollte nun ein vorgefertigter Text auswendig gelernt worden sein, schlägt sich das dann automatisch in der Bewertung nieder. Auch die passgenaue Unterstützung durch das Präsentationsmedium sowie kreative Themenhinführungen und Zusammenfassungen sind mögliche Bewertungskriterien. Wird das Plenums, beispielsweise durch Abstimmungen, Verständnisfragen oder Debatten einbezogen, fördert das die Interaktion zwischen den Schülerinnen und Schülern und trägt zur Lebendigkeit des Vortrags bei. Die Vortragenden sind zudem gezwungen auf die Antworten und ggf. Fehler anderer Lernender zu reagieren. Dies ist nur bei einem soliden inhaltlichen Verständnis möglich. Möchte diesen nochmals nachprüfen können am Ende eines Vortrags Kontrollfragen gestellt werden. Auch hier hilft ein auswendig gelernter Text einer KI nur bedingt weiter.

Eine weitere Möglichkeit ist es den Arbeitsprozesses in die Bewertung eines Projektes einzubeziehen. Das kann beispielsweise durch eine Reflexion anhand vorgegebener oder selbstgewählter Kriterien geschehen, sodass nicht nur das Ergebnis, sondern auch der Weg dorthin bewertet werden kann. Bei Ausarbeitungen in der Schule ist eine Prozessbewertung möglich, die den Fortschritt der Schülerinnen und Schüler im Laufe des Arbeitsprozesses zu beurteilt.

Umgang mit der KI als Bewertungsgegenstand

ChatGPT kann als Lerngegenstand auf vielfältige Weise genutzt werden. Ein Lerntagebuch kann dabei helfen, den Lernprozess zu dokumentieren und zu reflektieren. Zum Beispiel können Schüler in Mathematik das Lösen linearer Gleichungen erlernen und die KI als Hilfsmittel bei Unklarheiten nutzen. Die gestellten Prompts werden erfasst, um häufige Probleme zu identifizieren und zu reflektieren. Die Schülerinnen und Schüler sind dadurch gezwungen sich aktiv und kontinuierlich mit dem Lerngegenstand auseinanderzusetzen. Die KI bietet individuelle Hilfestellungen und funkgiert hierbei als Lernbegleiter. Die Bewertungskriterien sollten sich hierbei auf die effektive Nutzung dieses Hilfsmittels und die Reflexion des eigenen Lernprozesses fokussieren.

Ein wichtiger Aspekt beim Umgang mit ChatGPT als Lerngegenstand ist der Faktencheck. Durch die Unterlegung der Inhalte des generierten Textes mit realen Quellen wird nicht nur die Richtigkeit der Informationen überprüft, sondern auch deren mögliche Verzerrungen. Dies fördert ein kritisches Denken und die Fähigkeit zur selbstständigen Überprüfung von Informationen, die im Internet zu finden sind. Die Schüler können so lernen, zwischen glaubwürdigen und unzuverlässigen Quellen zu unterscheiden und Fehlinformationen zu vermeiden. Zudem fördert der Faktencheck die Fähigkeit, verschiedene Perspektiven zu berücksichtigen und die eigenen Ansichten zu hinterfragen. Somit trägt die Überprüfung der angegebenen Informationen nicht nur zur Verbesserung des Lernprozesses bei, sondern fördert auch die Entwicklung von kritischen Denk- und Medienkompetenzen, die in unserer heutigen Informationsgesellschaft unerlässlich sind. Der Schwerpunkt der Bewertung wandert in diesem Fall weg von den reinen Informationen hin zum Prozess der Informationssuche und -prüfung.

Schließlich kann auch der Umgang mit der KI selbst bewertet werden, indem Prompts möglichst effizient erstellt werden müssen. Die Lernenden benötigen dafür ein Grundverständnis zur Funktionsweise der KI und entwickeln Suchstrategien. Dieser Fortschritt kann dokumentiert und bewertet werden. Ebenso kann die kritische Analyse von KI-Texten auf Stilmittel oder die Verbesserung des Schreibstils eines solchen Textes im Fokus der Bewertung stehen.