Im Juni 2023 reichte ein New Yorker Anwalt namens Steven Schwartz vor einem Bundesgericht eine Klagebeantwortung gegen die Fluglinie Avianca ein. Darin zitierte er sechs Gerichtsurteile zu seinem Vorteil. Sehr saubere Aktenzeichen, sehr saubere Begründungen, sehr saubere juristische Sprache. Nur leider existierte keines dieser Urteile. Sie waren erfunden, nicht von Schwartz, sondern von ChatGPT, dem er die Recherche überlassen hatte. Als Schwartz Verdacht schöpfte und das Programm fragte, ob die Urteile echt seien, antwortete ChatGPT mit beruhigendem Tonfall, ja, sie seien echt und in den großen juristischen Datenbanken wie Westlaw und LexisNexis auffindbar. Sie waren es natürlich nicht. Schwartz und sein Kollege Peter LoDuca wurden mit fünftausend Dollar bestraft, ihre Karrieren waren beschädigt und der Fall ging als juristische Lehrstunde um die Welt.

Es war der erste prominente Fall dieser Art und er war bei weitem nicht der letzte. Der französische Forscher Damien Charlotin von der renommierten Wirtschaftshochschule HEC Paris pflegt seit Anfang 2023 eine öffentlich zugängliche Datenbank, in der er sämtliche Gerichtsverfahren weltweit dokumentiert, in denen Anwälte oder Privatpersonen erfundene KI-Zitate eingereicht haben. Anfang dieser Woche stand der Zähler bei eintausendsechshundertvierundzwanzig dokumentierten Fällen. Im März 2026 sanktionierte das Sechste US-Bundesberufungsgericht zwei Anwälte aus Tennessee mit jeweils fünfzehntausend Dollar Strafe, die bislang härteste Einzelstrafe. Selbst die elitärsten Kanzleien sind betroffen, ebenso wie Staatsanwälte und sogar Anthropic selbst, einer der drei größten KI-Konzerne der Welt, dessen Anwalt im Mai 2025 ein Halluzinationszitat einreichte, das von Anthropics eigenem Modell stammte. Bemerkenswert ist auch die Verteilung. Die größte Gruppe der Betroffenen sind nicht Anwälte. Es sind Privatpersonen, die sich vor Gericht selbst vertreten und die KI für ihren Rechtsbeistand halten. Menschen also, die sich keinen Anwalt leisten können, und die ausgerechnet von der vermeintlich klugen Maschine ins offene Messer laufen.

Was eine KI in Wahrheit tut

Um zu verstehen, warum das passiert, muss man einen Schritt zurücktreten und sich ansehen, was ein Sprachmodell, also ein Programm wie ChatGPT, Claude oder das französische Mistral, eigentlich macht, wenn Sie ihm eine Frage stellen. Die Antwort wird viele überraschen. Eine KI weiß nichts. Sie versteht nichts. Sie denkt nicht. Sie tut etwas viel Einfacheres und gleichzeitig viel Erstaunlicheres. Sie sagt das jeweils nächste Wort voraus.

Das klingt zunächst banal, also möchte ich es etwas ausführen. Ein Sprachmodell ist vor seiner Veröffentlichung mit gewaltigen Textmengen trainiert worden. Mit dem halben Internet, mit Millionen Büchern, mit wissenschaftlichen Aufsätzen, mit Wikipedia, mit Gerichtsurteilen, mit allem, was Menschen je niedergeschrieben haben. Aus diesen Texten lernt das Modell nicht etwa Fakten, sondern Muster. Es lernt, welche Wörter wahrscheinlich auf welche anderen Wörter folgen. Es lernt, dass nach „Die Hauptstadt von Österreich ist” mit hoher Wahrscheinlichkeit „Wien” kommt. Es lernt, dass nach einer Frage zu einem Gerichtsurteil mit hoher Wahrscheinlichkeit ein Aktenzeichen folgt, das aus einer Zahl, einem Schrägstrich und einem Jahr besteht. Es lernt nicht das Urteil. Es lernt das Muster eines Aktenzeichens.

Stellen Sie das Modell jetzt vor die Aufgabe, ein konkretes Urteil zu zitieren, das es nie gesehen hat, weil es schlicht nicht existiert. Was tut es? Es tut das, was es immer tut. Es schreibt Wort für Wort weiter, immer das wahrscheinlichste nächste. Es produziert ein Aktenzeichen, das aussieht wie ein Aktenzeichen. Einen Klägernamen, der klingt wie ein Klägername. Eine Begründung, die liest wie eine Begründung. Das Ergebnis ist eine Halluzination. Ein Text, der auf der Oberfläche perfekt ist und im Inhalt komplett erfunden. Sehr wichtig dabei ist eine kleine, aber folgenreiche Eigenschaft dieser Systeme. Eine KI sagt fast nie „Ich weiß es nicht”. Sie ist trainiert darauf, Antworten zu liefern. Lieber eine schöne, falsche Antwort als ein ehrliches Eingeständnis von Unwissen. Genau diese Höflichkeit ist es, die so gefährlich wird.

Warum die KI nicht einfach „Stopp" sagt

An dieser Stelle würde der vernünftige Leser zu Recht fragen, warum bauen die Hersteller nicht einfach einen Schalter ein, der die KI bremst, wenn sie sich nicht sicher ist. Die Antwort, die ich besonders aufschlussreich finde, hat OpenAI selbst im September 2025 in einer Forschungsarbeit veröffentlicht. Titel der Arbeit, „Warum Sprachmodelle halluzinieren”. Die Autoren, allesamt OpenAI-Forscher unter Adam Tauman Kalai, kommen zu einem unbequemen Schluss. Die KI lügt nicht, weil sie unfähig ist. Sie lügt, weil wir sie auf Raten dressiert haben.

Stellen Sie sich eine Multiple-Choice-Prüfung vor. Wenn Sie die Antwort wissen, kreuzen Sie sie an. Wenn Sie sie nicht wissen, lassen Sie das Feld leer oder raten. Wer rät, hat eine Chance auf den Punkt. Wer leer lässt, bekommt sicher null Punkte. Die KI wird seit Jahren mit genau solchen Tests trainiert und bewertet. Die Belohnung gibt es für jede richtige Antwort. Für ein ehrliches „Ich weiß es nicht” gibt es nichts. Über tausende Trainingsdurchläufe hinweg lernt das Modell die einzig sinnvolle Strategie. Immer raten. OpenAI veröffentlichte in dieser Studie eine besonders sprechende Zahl. Ein älteres Modell namens o4-mini erreichte vierundzwanzig Prozent richtige Antworten, aber fünfundsiebzig Prozent falsche Antworten und nur ein Prozent ehrliche Enthaltungen. Ein neueres Modell, das öfter „Ich weiß es nicht” sagen darf, kam auf zweiundzwanzig Prozent richtige und nur sechsundzwanzig Prozent falsche, dafür aber zweiundfünfzig Prozent Enthaltungen. Ein Hauch weniger richtige Antworten, dafür dreimal weniger Lügen. Die KI, die wir alle täglich nutzen, gehört zur ersten Sorte. Sie ist eine Schülerin, die immer rät, weil sie dafür immer belohnt wurde.

Dazu kommt der kommerzielle Druck. Wer Geld für ein Programm zahlt, will eine Antwort. Eine KI, die alle zwei Sätze sagt „Da bin ich überfragt”, wirkt unbrauchbar, auch wenn sie damit ehrlich wäre. Alle großen Anbieter, von OpenAIs ChatGPT über Anthropics Claude bis zu Mistrals Le Chat, lieben es deshalb, höflich falsch zu antworten, statt ehrlich zu schweigen. Kevin Cope, Juraprofessor an der University of Virginia, hat dafür ein schönes Bild geprägt. Behandeln Sie eine KI wie einen Praktikanten, sagt er, der unglaublich belesen ist, gleichzeitig unzuverlässig und immer zu eifrig, Ihnen zu gefallen.

Eine europäische Antwort kommt aus Linz

Bemerkenswert ist, dass eine der spannendsten technischen Antworten auf dieses Problem aus Österreich kommt. Der österreichische KI-Forscher Sepp Hochreiter, der 1991 in seiner Diplomarbeit das sogenannte LSTM erfunden hat, jenes neuronale Netz, das einer ganzen Generation von Sprachassistenten überhaupt erst die Sprache beibrachte, arbeitet heute an der Johannes Kepler Universität Linz an einer Methode mit dem Kürzel SDLG. Sehr vereinfacht gesagt versucht diese Methode zu erkennen, wann sich ein Modell innerlich nicht sicher ist, und genau diese Momente sichtbar zu machen. Sie ist kein endgültiger Schutz gegen Halluzinationen, aber sie zeigt, dass Europa nicht nur Konsument dieser Technologie ist, sondern auch Mitgestalter. Und sie zeigt, dass die ehrliche Antwort einer KI, also das offene „Ich bin mir nicht sicher”, technisch sehr wohl machbar wäre. Sie ist eine Frage der politischen, wirtschaftlichen und wissenschaftlichen Prioritäten, nicht der Physik.

Drei Regeln für den Alltag

Genau dieser Punkt ist der Schlüssel zu einem vernünftigen Umgang mit dem Werkzeug. Eine KI ist kein Orakel. Sie ist ein Werkzeug. Und jedes Werkzeug entfaltet seinen Wert erst, wenn man seine Schwächen kennt.

Drei einfache Regeln helfen. Erstens, bei allem, was Konsequenzen hat, verlangen Sie eine Quelle. Wenn die KI Ihnen ein Gesetz, ein Urteil, eine Statistik, eine Studie oder ein Zitat liefert, fragen Sie nach der Quelle und prüfen Sie diese persönlich. Geben Sie nicht Geld, Unterschrift oder eine wichtige Entscheidung aus der Hand, ohne den zugrundeliegenden Beleg gesehen zu haben. Zweitens, je spezifischer eine Frage, desto vorsichtiger sollten Sie sein. Bei „Erklär mir kurz, wie ein Verbrennungsmotor funktioniert” werden Sie meist eine sehr gute Antwort bekommen, weil die KI dieses Thema millionenfach in ihren Trainingsdaten gesehen hat. Bei „Welches Urteil hat der Oberste Gerichtshof am 14. März 2017 zu einer Erbsache in Niederösterreich gefällt” ist das Risiko einer Halluzination dramatisch höher. Drittens, fragen Sie niemals die KI selbst, ob ihre Quellen echt sind. Genau diesen Fehler hat Steven Schwartz vor dem New Yorker Gericht gemacht. Die KI bestätigte ihre eigenen erfundenen Urteile in vollem Brustton. Sie kann sich nicht selbst kontrollieren. Das müssen Sie tun.

Was uns das alles lehrt

Das ist die eigentliche Pointe dieser Kolumne. Eine KI lügt nicht, weil sie böse ist. Sie lügt, weil sie nicht weiß, was Wahrheit ist. Sie produziert Text, der wahr klingt, weil sie auf wahr klingenden Text trainiert wurde, und weil das Belohnungssystem in ihrem Training keine andere Wahl zugelassen hat. Die Verantwortung, das Wahre vom bloß plausibel Klingenden zu trennen, liegt deshalb bei uns. Bei mir, der diese Kolumne schreibt, und bei Ihnen, die Sie sie lesen. Diese Verantwortung kann uns die Technologie nicht abnehmen, egal wie eindrucksvoll sie wird.

Und genau deshalb ist der entscheidende Satz in diesem ganzen Themenfeld nicht „Kann ich das von der KI machen lassen”. Der entscheidende Satz lautet „Habe ich genug verstanden, um zu erkennen, wenn die KI sich irrt”. Wer den Unterschied zwischen den beiden Sätzen verinnerlicht hat, wird mit dieser Technologie in den nächsten Jahren ungeheuer viel Gutes anfangen können. Wer ihn nicht verinnerlicht, läuft Gefahr, der nächste Anwalt aus New York zu werden.