Workshop für Schüler zum Umgang mit ChatGPT – KI-Kompetenz beginnt dort, wo der Umgang mit der Technik nicht das eigenständige Denken ersetzt.
Die Prüfungsfrage handelte von der industriellen Revolution. Madagaskar hatte damit nichts zu tun. Trotzdem tauchte die Insel plötzlich in fast allen Antworten auf. Ein amerikanischer Geschichtsdozent hatte seinen Studenten eine unsichtbare Falle gestellt – und damit nebenbei demonstriert, warum eines der größten ungelösten Sicherheitsprobleme generativer KI weit über Universitäten hinausreicht.
Eine Prüfungsfrage mit Geheimauftrag
Jason Gibson lehrt Geschichte an der Alcorn State University im US-Bundesstaat Mississippi. Für eine Zwischenprüfung stellte er seinen Studenten eine Essayfrage zur industriellen Revolution. In der Aufgabenstellung versteckte er jedoch zusätzlichen Text: weiße Schrift auf weißem Hintergrund.
Für einen Menschen, der das Dokument normal las, war die Anweisung unsichtbar. Wer dagegen die komplette Aufgabe kopierte und in einen Chatbot einfügte, übertrug auch den versteckten Satz.
Die KI erhielt dadurch einen zusätzlichen Auftrag: Sie sollte das Wort »Madagaskar« an einer Stelle in die Antwort einbauen, an der es keinen Sinn ergab.
Nach Gibsons eigenen Angaben funktionierte die Falle erstaunlich gut. 32 von 35 Studenten hätten Antworten eingereicht, in denen der verräterische Begriff auftauchte. Sie hatten offenbar nicht nur einen Chatbot verwendet, sondern dessen Ausgabe teilweise übernommen, ohne zu bemerken, dass sie inhaltlich unsinnig geworden war. Gibson veröffentlichte den Fall anschließend auf TikTok und ermöglichte den Betroffenen nach eigenen Angaben, gegen die Bewertung Einspruch einzulegen. Nur zwei machten davon Gebrauch.
Die Anekdote ist amüsant. Technisch betrachtet demonstriert sie allerdings ein Problem, das Sicherheitsexperten erheblich weniger lustig finden.
Wenn Daten plötzlich zu Befehlen werden
Der Trick trägt einen Namen: Prompt Injection.
Sprachmodelle erhalten normalerweise Anweisungen vom Nutzer und verarbeiten zusätzlich Informationen – beispielsweise Dokumente, Webseiten oder E-Mails. Problematisch wird es, wenn innerhalb dieser Informationen weitere Anweisungen stecken.
Bei einer sogenannten indirekten Prompt Injection spricht der Angreifer nicht unmittelbar mit dem KI-System. Er platziert seinen Befehl vielmehr in einem Inhalt, den die KI später verarbeitet. Das kann eine Webseite sein, ein Word-Dokument, eine E-Mail oder ein Eintrag in einer Datenbank.
Microsoft beschreibt genau dieses Szenario in seinem Katalog zu KI-Angriffstechniken. Dort wird ausdrücklich auch weißer Text auf weißem Hintergrund als Beispiel genannt. Ein KI-System kann den versteckten Inhalt aufnehmen und als Anweisung interpretieren, obwohl der menschliche Nutzer ihn möglicherweise überhaupt nicht wahrnimmt. Denkbare Folgen reichen von manipulierten Antworten bis zur Offenlegung vertraulicher Daten oder unerlaubten Aktionen.
Gibsons Experiment dreht dieses Risiko lediglich zu seinen Gunsten um. Der versteckte Befehl ist nicht dazu bestimmt, Schaden anzurichten. Er soll sichtbar machen, dass ein Student den Text von einer KI verarbeiten ließ.
Doch dasselbe Prinzip funktioniert auch andersherum.
Wenn Studenten die KI des Professors manipulieren
Wie ernst dieser Rollenwechsel genommen werden sollte, zeigt ausgerechnet eine Untersuchung, die erst am 20. August 2026 im Journal of Academic Ethics veröffentlicht wurde.
Niklas Humble vom Risk and Crisis Research Centre der schwedischen Mid Sweden University untersuchte darin, ob versteckte Anweisungen eine KI manipulieren können, die studentische Arbeiten bewertet.
Für das Experiment wurde eine künstlich erzeugte Seminararbeit mit verschiedenen Prompt-Injection-Angriffen versehen und anschließend von Microsoft Copilot bewerten lassen. Die Befehle wurden unter anderem in sehr kleiner weißer Schrift oder hinter einer Bildebene versteckt.
Das Ziel war denkbar einfach: Die KI sollte die Arbeit besser bewerten, als sie es nach den vorgegebenen Kriterien eigentlich getan hätte.
Mehrere Angriffe waren erfolgreich. Besonders wirksame Kombinationen aus manipulierten Anweisungen, Rollenbeschreibung und Verschleierung erreichten in den Versuchen Erfolgsquoten zwischen 94 und 100 Prozent. In einzelnen Fällen änderte die KI die Note, ohne den menschlichen Nutzer darauf hinzuweisen, dass sie durch einen versteckten Befehl beeinflusst worden war.
Die Aussagekraft hat Grenzen. Untersucht wurde ein bestimmtes KI-System in einem definierten Bewertungsszenario. Daraus lässt sich nicht ableiten, dass jedes aktuelle Sprachmodell auf jede versteckte Anweisung hereinfällt.
Der Versuch macht aber deutlich, wie paradox die Situation inzwischen werden kann: Ein Professor versteckt einen Prompt in einer Aufgabe, um Studenten bei unerlaubter KI-Nutzung zu erwischen. Ein Student könnte umgekehrt einen Prompt in seiner Arbeit verstecken, um eine KI zu manipulieren, die der Professor zur Bewertung einsetzt.
Die KI wird damit zugleich zum Werkzeug, Prüfling und potenziellen Angriffsziel.
Verbieten lässt sich KI im Studium kaum noch
Das Problem trifft Hochschulen in einer Phase, in der generative KI längst keine Randerscheinung mehr ist.
Eine bundesweite Untersuchung der Hochschule Darmstadt ergab bereits 2025, dass 91,6 Prozent der befragten Studenten KI-Werkzeuge für ihr Studium verwendeten. Zwei Jahre zuvor waren es 63,2 Prozent gewesen. Rund zwei Drittel nutzten KI zur Klärung von Verständnisfragen, mehr als die Hälfte zur Analyse oder Erstellung von Texten.
Dabei muss die Zahl methodisch vorsichtig gelesen werden: Die Studie beruhte auf einer nicht-probabilistischen, durch Selbstselektion entstandenen Stichprobe und ist deshalb nicht vollständig repräsentativ. Mit 4.910 Teilnehmern aus 395 deutschen Hochschulen zeigt sie dennoch, wie selbstverständlich KI inzwischen zum Studienalltag gehört.
Ein vollständiges Verbot löst daher nur einen Teil des Problems. Es würde zudem ignorieren, dass dieselben Studenten später in Berufen arbeiten werden, in denen KI selbstverständlich eingesetzt wird.
Auch die University of Chicago Law School verfolgt deshalb inzwischen einen zweigleisigen Ansatz. Erstsemester sollen in bestimmten Lehrveranstaltungen ohne Laptop arbeiten, Prüfungen werden beaufsichtigt und größere Arbeiten teilweise mündlich verteidigt. Gleichzeitig wird KI ausdrücklich in andere Teile der juristischen Ausbildung integriert. Studenten sollen lernen, ohne KI zu denken – und anschließend lernen, sie professionell einzusetzen.
Dass beides kein Widerspruch sein muss, legt auch eine aktuelle Untersuchung von Forschern der Bocconi University in Zusammenarbeit mit OpenAI Economic Research nahe. In einem randomisierten Experiment mit mehr als 1.000 Studenten verbesserte der Zugang zu ChatGPT Qualität und Kohärenz ihrer Arbeiten. Ein zusätzliches Training im kausalen Denken erhöhte dagegen die Eigenständigkeit der Ideen. Die Kombination brachte beide Effekte zusammen.
Die entscheidende Trennlinie verläuft damit weniger zwischen »mit KI« und »ohne KI« als zwischen eigenständigem Denken und bloßer Delegation.
Aus Madagaskar wird ein Sicherheitsproblem für Unternehmen
Außerhalb der Universität verliert Gibsons Trick endgültig seinen humoristischen Charakter.
Unternehmen lassen KI-Systeme bereits Dokumente zusammenfassen, E-Mails auswerten, Informationen aus Webseiten recherchieren oder Daten aus internen Wissenssystemen verarbeiten. Genau damit wächst die Fläche für indirekte Prompt-Injection-Angriffe.
Ein Mitarbeiter könnte beispielsweise eine scheinbar harmlose Datei erhalten und einen KI-Assistenten bitten, sie zusammenzufassen. Enthält das Dokument für ihn unsichtbare Anweisungen, verarbeitet das Modell möglicherweise nicht nur den sichtbaren Inhalt, sondern auch den darin platzierten Befehl.
Noch bedeutender wird das bei sogenannten KI-Agenten. Ein Chatbot, der lediglich Text produziert, kann zunächst vor allem eine falsche Antwort liefern. Ein System, das zusätzlich Zugriff auf E-Mails, Dateien, Datenbanken oder andere Werkzeuge besitzt und selbstständig Aktionen ausführen darf, verfügt über erheblich mehr Möglichkeiten.
Prompt Injection wird deshalb inzwischen als eigenständiges Sicherheitsrisiko behandelt. Microsoft warnt ausdrücklich vor versteckten Anweisungen in Webseiten, Dokumenten und anderen externen Datenquellen. Auch aktuelle Sicherheitsanalysen des OWASP GenAI Security Project führen Prompt Injection weiterhin unter den zentralen Angriffsszenarien für generative KI.
Damit bekommt die Geschichte aus Mississippi eine zweite Ebene.
Jason Gibson wollte wissen, ob seine Studenten eine Prüfungsfrage selbst beantworten oder sie vollständig an eine Maschine weiterreichen. Seine drei unsichtbaren Zeilen lieferten ihm eine Antwort.
Für Unternehmen und Hochschulen stellt sich inzwischen jedoch die umgekehrte Frage: Können sie sicher sein, dass die Maschine tatsächlich den Menschen folgt – und nicht irgendeinem Befehl, den ein Mensch gar nicht sehen kann?
Stefanie S. Klief
