Kritisches Denken im Umgang mit KI: Die Antwort klingt richtig. Das ist noch kein Beleg.

Die Mail ist raus, bevor jemand nachgedacht hat

Du brauchst eine Zusammenfassung einer Studie für ein Angebot. Du gibst der KI den Link, bekommst in acht Sekunden drei saubere Absätze mit einer Prozentzahl, kopierst sie in die Mail und schickst sie raus. Drei Tage später ruft der Kunde an: Die Zahl stimmt nicht. Sie steht so nicht in der Studie. Niemand hatte nachgesehen, weil nichts danach aussah, als müsste man nachsehen.

Das ist kein Fehler der Technik. Die KI hat genau das getan, wofür sie gebaut ist: eine Antwort erzeugen, die wie eine richtige Antwort aussieht. Der Fehler liegt davor: in dem Moment, in dem aus „klingt gut“ ein „stimmt“ wurde, ohne dass jemand den Schritt dazwischen gegangen ist.

Wenn die KI irrt, irren fast alle mit

Wie zuverlässig dieser Schritt ausfällt, haben Forscher 2025 gemessen. Sie ließen Testpersonen Entscheidungsaufgaben lösen, einmal mit einer klassischen Suchmaschine, einmal mit einer KI-Suche. Solange das Sprachmodell richtig lag, waren beide Gruppen gleich gut. Bei der Aufgabe, in der das Modell typischerweise irrt, kippte das Bild: Mit klassischer Suche lagen 93 % richtig, mit KI-Suche 47 %. Von 23 Personen, die eine falsche KI-Antwort bekommen hatten, folgten ihr 23.

Eine zweite Studie aus demselben Jahr stammt von Microsoft Research und der Carnegie Mellon University. Sie befragte 319 Wissensarbeiter zu 936 konkreten KI-Einsätzen. Der Befund: Je mehr jemand der KI vertraut, desto weniger prüft er. Je mehr jemand sich selbst vertraut, desto mehr. Beides sind Selbstauskünfte, keine Leistungsmessungen. Aber die Richtung ist eindeutig.

Der Reflex ist älter als die KI

1966 schrieb Joseph Weizenbaum am MIT ein Programm namens ELIZA. Es konnte nichts außer Sätze umformulieren: „Ich habe Ärger mit meinem Chef“ wurde zu „Erzählen Sie mir mehr über Ihren Chef“. Trotzdem vertrauten sich Menschen der Maschine an. Seine Sekretärin, die monatelang zugesehen hatte, wie er das Programm schrieb, bat ihn nach wenigen Sätzen, den Raum zu verlassen. Weizenbaum war erschrocken.

In seinem Aufsatz steht der Satz, der das Problem bis heute beschreibt: Es sei erstaunlich leicht, „die Illusion von Verstehen zu erzeugen und aufrechtzuerhalten, und damit vielleicht von Urteilskraft, die Glaubwürdigkeit verdient“.

Dass Menschen automatischen Hilfen zu viel vertrauen, ist seit den Neunzigern gut untersucht. Die Forschung nennt es Automation Bias. In einem Flugsimulator-Experiment folgten 65 Prozent der Teilnehmer einer fehlerhaften Automatik, obwohl die Instrumente vor ihnen das Gegenteil zeigten. Bei einem simulierten Feueralarm folgten 26 von 26 Personen einem Roboter, den die Hälfte kurz zuvor hatte versagen sehen.

Aber dieselbe Forschung kennt auch das Gegenteil: Sobald Menschen eine Maschine sichtbar irren sehen, verzeihen sie ihr weniger als einem Menschen und schalten sie ab. Der Unterschied liegt darin, ob der Fehler auffällt. Und das ist die Stelle, an der eine KI anders ist als jede Automatik davor. Sie irrt in demselben Ton, in dem sie recht hat.

Der Reflex dahinter ist nützlich, solange man mit Menschen redet: Wer flüssig und sicher formuliert, weiß meistens, wovon er spricht. Sprachliche Qualität war jahrtausendelang ein brauchbares Signal für Kompetenz. Bei einer KI ist dieses Signal abgeschnitten. Sie formuliert eine falsche Zahl genauso sicher wie eine richtige. Der Reflex feuert trotzdem.

Kritisches Denken heißt deshalb nicht, der KI zu misstrauen. Edward Glaser hat es 1941 in drei Teile zerlegt, lange vor jedem Computer: eine Haltung, Dinge überhaupt prüfen zu wollen; Kenntnis der Methoden, mit denen man prüft; und Übung darin, sie anzuwenden. Alle drei Teile lassen sich trainieren. Sein eigenes Experiment ergab, dass sich die Haltung am leichtesten verbessern lässt.

Drei Fallen, die fast alle treffen

• Flüssigkeit für Richtigkeit halten. Die Antwort ist gut gegliedert, der Ton sicher, die Zahl präzise. Alles davon ist Form. Nichts davon sagt, ob der Inhalt stimmt. Wer die Form prüft, hat nichts geprüft.
• Der Maschine mehr trauen als dem eigenen Urteil. Die Antwort weicht von dem ab, was du erwartet hättest, und du gehst davon aus, dass die Maschine recht hat, nicht du. Genau das zeigt die Forschung: Laien gewichten denselben Rat höher, wenn er von einem Algorithmus kommt. Und wer der KI mehr vertraut als sich selbst, prüft weniger. Wer die Frage vorher nicht selbst durchdacht hat, merkt die Abweichung nicht einmal.
• Nur prüfen, wenn etwas komisch aussieht. Prüfung wird zur Ausnahme, die ein Bauchgefühl auslösen muss. Genau die Fehler, die gefährlich sind, sehen aber nicht komisch aus. Und wer nicht mehr regelmäßig prüft, verlernt es: Urteilskraft ist ein Muskel.

Gegen jede der drei Fallen gibt es einen Gegenzug, in derselben Reihenfolge:

Drei Gegenzüge, die wenig Zeit kosten

• Belege verlangen, nicht Stil bewerten – gegen die Flüssigkeitsfalle: Jede Zahl, jedes Zitat, jede Quelle bekommt dieselbe Frage: Woher? Kann die KI es nicht sagen oder führt der Link ins Leere, gilt die Angabe als unbelegt. Nicht als falsch, aber als unbelegt. Das reicht, um sie nicht weiterzugeben.
• Erst selbst antworten, dann fragen – gegen das Übervertrauen: Zehn Sekunden vor dem Prompt: Was würde ich erwarten? Welche Größenordnung, welche Richtung? Erst dann fragen. Weicht die Antwort ab, fällt es auf, und du hast einen Grund nachzusehen. In der Forschung heißt das Cognitive Forcing: Wer seine eigene Einschätzung festhält, bevor er den Vorschlag der KI sieht, übernimmt falsche Vorschläge messbar seltener.
• Nach Tragweite prüfen, nicht nach Gefühl – gegen die Ausnahmeprüfung: Lege vorher fest, was immer geprüft wird, egal wie die Antwort aussieht: Zahlen, Namen, Zitate, alles Rechtliche, alles, was nach außen geht. Das ist eine Liste, keine Stimmung. Sie kostet pro Antwort eine Minute und spart den Anruf vom Kunden.

Keiner der drei Gegenzüge braucht technisches Wissen. Alle drei brauchen Gewohnheit. Genau das meinte Glaser mit Haltung.

Drei Fragen vor dem Kopieren

• Was davon ist Behauptung, was ist Beleg? Markiere im Kopf jeden Satz, der eine Tatsache enthält. Jeder davon braucht eine Quelle, die du öffnen kannst.
• Was hätte ich selbst gesagt, bevor ich gefragt habe? Wenn du es nicht weißt, hast du der Maschine nicht nur die Antwort überlassen, sondern auch dein Urteil.
• Was passiert, wenn das falsch ist, und wer merkt es? Wenn die Antwort „der Kunde“ lautet, prüfst du jetzt. Wenn die Antwort „niemand“ lautet, frag dich, warum du es dann brauchst.

Wo du das übst

Prompts schreiben kann man sich anlesen. Antworten beurteilen übt man an echten Aufgaben, mit Rückmeldung, bis die drei Fragen von selbst kommen. Im Einzelkurs KI im Arbeitsalltag geht es genau darum: KI produktiv nutzen und dabei die Urteilskraft behalten. Zwei Wochen, förderbar über den Bildungsgutschein.