KI-Halluzinationen in Gutachten und Berichten: Wie Sie erfundene Quellen erkennen

Was in den Berichten gefunden wurde

Die Befunde von GPTZero sind konkret, und sie taugen als Anschauungsmaterial für jede Art von Bericht. Im PwC-Papier Transforming Governance aus dem Jahr 2025 stufte der Dienst die Wahrscheinlichkeit, dass der Text KI-erzeugt ist, sehr hoch ein. Der Bericht bewarb ein datengetriebenes Rahmenwerk namens Citizen Pulse und behauptete, es werde von den Regierungen Dänemarks, Saudi-Arabiens, der USA und Australiens genutzt. GPTZero fand keinen öffentlichen Beleg dafür, dass dieses Produkt existiert oder dass diese Regierungsverträge je zustande kamen. Von siebzehn Quellen im Bericht waren zwei nachweislich erfunden, weitere sieben nicht überprüfbar.

Ein Detail ist besonders lehrreich, weil es zeigt, wie tief eine Halluzination reichen kann: In einem der Berichte tauchte eine akademische Studie zur Luftqualität in Riad auf, die es offenbar gar nicht gibt. Weder in der angegebenen Fachzeitschrift noch bei den genannten Autoren ließ sie sich finden. Das Modell hatte nicht nur eine Quelle falsch zitiert, sondern eine ganze Studie erfunden, inklusive plausibel klingender Autoren und Fundstelle. In einem anderen Bericht enthielt eine der Quellen-Adressen den Zusatz utm_source=chatgpt.com, ein stiller Fingerabdruck dafür, wie der Text entstanden war.

PwC ist dabei kein Einzelfall, sondern Teil eines Musters. Wenige Wochen zuvor hatte KPMG einen Bericht zur Kundenerfahrung mit dem Titel Total Experience zurückgezogen, nachdem Organisationen wie die Schweizerischen Bundesbahnen, die britische NHS und Transport for London widersprochen hatten, dort mit ihrem KI-Einsatz genannt zu werden. GPTZero fand in diesem Papier: Von fünfundvierzig Quellen zeigten nur fünf sauber auf eine echte Fundstelle. Auch EY hatte zuvor einen Bericht zurückgezogen. Wenn selbst die Häuser, die KI-Governance verkaufen, in ihren eigenen Texten stolpern, ist das kein Grund zur Schadenfreude, sondern eine Warnung an alle, die solche Texte lesen und darauf bauen.

Warum KI überhaupt Quellen erfindet

Um das Risiko einzuschätzen, hilft ein Blick darauf, warum ein Sprachmodell so etwas tut. Ein Modell wie ChatGPT versteht Ihren Bericht nicht wie ein Mensch. Es sagt Wort für Wort das statistisch wahrscheinlichste nächste Textstück voraus, gelernt aus riesigen Textmengen. Ein Literaturverzeichnis hat ein bestimmtes Aussehen: Autor, Jahr, Titel, Zeitschrift, Seitenzahl. Fragt man das Modell nach einem Beleg, den es nicht kennt, erzeugt es dennoch etwas, das genau so aussieht, weil das die wahrscheinlichste Form einer Antwort ist. Es lügt nicht im menschlichen Sinn, es füllt eine Lücke mit einer überzeugenden Fälschung.

Verstärkt wird das durch die Aufgabe selbst. Wer ein Modell bittet, autoritativ und belegt zu klingen, erhöht genau den Druck, unter dem Halluzinationen entstehen. Ein Bericht soll seriös wirken, also produziert das Modell die Requisiten von Seriosität: Zahlen mit einer Nachkommastelle, benannte Studien, Verweise auf angesehene Institutionen. Ob es diese Quellen gibt, prüft das Modell nicht, denn Prüfen gehört nicht zu seiner Funktion. Es hat kein Verzeichnis, in dem es nachschlägt, ob die Studie zur Luftqualität in Riad tatsächlich erschienen ist. Genau deshalb sind erfundene Zitate keine seltene Panne, sondern eine bauartbedingte Eigenschaft, mit der man rechnen muss.

Warum das für den Mittelstand ein echtes Risiko ist

Sie fragen sich vielleicht, was Konzern-Berichte aus dem Nahen Osten mit Ihrem Betrieb zu tun haben. Die Antwort: Sie treffen jeden Tag Entscheidungen auf Basis von Texten, die Sie nicht selbst geschrieben haben. Ein Rechtsgutachten zur Frage, ob ein Vorhaben zulässig ist. Eine Marktstudie, bevor Sie in ein neues Segment investieren. Ein technischer Bericht, der eine Sanierung begründet. Jedes dieser Papiere kann heute KI-gestützt entstanden sein, ohne dass es Ihnen jemand sagt. Drei Risikofelder sollten Sie kennen.

• Entscheidungsqualität: Wenn eine Marktstudie eine erfundene Statistik enthält oder ein Gutachten eine Rechtsprechung zitiert, die es nicht gibt, treffen Sie eine teure Entscheidung auf falscher Grundlage. Der Fehler fällt oft erst auf, wenn das Geld schon geflossen ist. Eine einzige halluzinierte Zahl kann eine Investitionsrechnung kippen, ohne dass jemand es merkt.
• Haftung und Weitergabe: Übernehmen Sie einen fremden Bericht in Ihr eigenes Angebot, Ihren Jahresabschluss oder eine Auskunft an einen Kunden, machen Sie sich dessen Inhalt zu eigen. Für einen Fehler, den Sie ungeprüft weiterreichen, haften am Ende Sie und Ihr Unternehmen, nicht das KI-Werkzeug und im Zweifel auch nicht allein der Verfasser. Das gilt besonders, wenn Sie sich vertraglich für die Richtigkeit einer Auskunft verbürgt haben.
• Reputation und Vertrauen: Fällt bei einem Kunden, einem Investor oder einem Gericht auf, dass ein von Ihnen vorgelegtes Papier erfundene Quellen enthält, ist der Schaden nicht auf diesen einen Punkt begrenzt. Das ganze Dokument verliert an Glaubwürdigkeit, und mit ihm Ihre. Ein Beleg, der sich in Luft auflöst, wirft die Frage auf, was sonst noch erfunden ist.

Wenn Gerichte erfundene Zitate ahnden

Dass dies kein abstraktes Risiko ist, zeigt der Blick in die Gerichtssäle, wo das Problem schon angekommen ist. In den USA ist die Reihe der Fälle lang: Sie beginnt 2023 mit dem Fall Mata gegen Avianca, in dem ein Anwalt sechs frei erfundene Urteile zitierte, die ChatGPT ihm geliefert hatte. Im Mai 2026 verhängte ein Bundesrichter in Oregon die bislang höchste Strafe dieser Art, nachdem in einem Schriftsatz dreiundzwanzig erfundene Fundstellen und acht erfundene Zitate aufgetaucht waren. Forscher zählen inzwischen weltweit mehrere hundert Gerichtsentscheidungen, in denen halluzinierte Inhalte eine Rolle spielten.

Auch in Deutschland ist der Fall angekommen. Das Kammergericht Berlin hat mit Beschluss vom 20. November 2025 (Aktenzeichen 17 WF 144/25) eine Rechtsanwältin ermahnt, die in einem familienrechtlichen Verfahren zwei Entscheidungen zitiert hatte, die es nicht gibt, darunter einen angeblichen Beschluss des Bundesgerichtshofs, der sich in keiner Datenbank finden ließ. Das Gericht stellte klar: Anwältinnen und Anwälte sind gehalten, mit KI verfasste Schriftsätze zu prüfen, insbesondere darauf, ob enthaltene Rechtsprechungszitate das Ergebnis einer, wie das Gericht es nannte, fantasierenden KI sind. Die Botschaft dahinter gilt weit über die Anwaltschaft hinaus: Wer ein KI-gestütztes Dokument abgibt, bleibt für dessen Richtigkeit verantwortlich. Das ist ein Hinweis auf die Rechtslage, keine Rechtsberatung.

So prüfen Sie einen Bericht auf halluzinierte Quellen

Die gute Nachricht: Sie brauchen kein Speziallabor, um die gröbsten Halluzinationen zu finden. Ein paar systematische Handgriffe fangen die meisten Fälle ab. Machen Sie das nicht bei jeder E-Mail, aber konsequent bei jedem Dokument, auf das Sie eine wichtige Entscheidung stützen.

• Prüfen Sie Stichproben der Quellen. Nehmen Sie sich einige der wichtigsten Belege heraus und suchen Sie sie tatsächlich. Existiert die zitierte Studie? Steht in der genannten Quelle wirklich das, was der Bericht behauptet, oder etwas anderes? Ein Verweis, der ins Leere führt oder eine andere Aussage trägt als behauptet, ist das häufigste Warnsignal.
• Achten Sie auf auffällig präzise Zahlen ohne Quelle. Halluzinationen tarnen sich gern als Genauigkeit: eine Prozentzahl mit Nachkommastelle, ein exakter Marktwert, eine benannte Umfrage ohne nachvollziehbaren Ursprung. Wo eine Zahl zu glatt und die Herkunft zu vage ist, lohnt sich das Nachfragen.
• Kontrollieren Sie genannte Dritte. Wenn ein Bericht behauptet, ein bestimmtes Unternehmen oder eine Behörde nutze ein Produkt oder Verfahren, prüfen Sie das an der Quelle. Im PwC- wie im KPMG-Fall waren es genau solche Fremdnennungen, die als Erste aufflogen, weil die Genannten widersprachen.
• Fragen Sie den Verfasser direkt. Wurde bei der Erstellung KI eingesetzt, und wenn ja, wie wurden die Quellen überprüft? Eine seriöse Beratung beantwortet das ohne Ausflüchte. Ausweichen ist selbst schon eine Auskunft.
• Nutzen Sie bei wichtigen Dokumenten ein Prüfwerkzeug. Für ein Gutachten mit hohem Einsatz können Sie einen Dienst wie GPTZero selbst einsetzen, der Texte auf KI-Erzeugung und halluzinierte Quellen hin einschätzt. Das ersetzt keine inhaltliche Prüfung, liefert aber einen ersten Hinweis darauf, wo Sie genauer hinsehen sollten.

Was Sie von Beratern und Gutachtern verlangen sollten

Prüfen ist die Verteidigung im Einzelfall. Nachhaltiger ist es, die Spielregeln vorher zu klären, damit Sie sich nicht bei jedem Papier neu absichern müssen. Als Auftraggeber haben Sie mehr Einfluss, als Sie vielleicht denken. Wer einen Bericht bezahlt, darf festlegen, unter welchen Bedingungen er entsteht. Drei Punkte gehören künftig in jedes Briefing und in jeden Vertrag mit einem externen Dienstleister.

• Offenlegung des KI-Einsatzes: Verlangen Sie, dass der Verfasser angibt, ob und wofür KI genutzt wurde. Das ist keine Schikane, sondern gute Praxis. Die Transparenzpflichten der EU-KI-Verordnung, die wir in unserem Beitrag zum EU AI Act ausführlich einordnen, weisen in dieselbe Richtung: KI-Nutzung soll erkennbar sein, nicht verschleiert.
• Bestätigung der Quellenprüfung: Lassen Sie sich zusichern, dass alle Quellen und Belege von einem Menschen auf Existenz und Richtigkeit geprüft wurden. Eine solche Freigabe kostet den Verfasser wenig, verschiebt die Verantwortung aber sichtbar dorthin, wo sie hingehört.
• Zugang zu den Quelldokumenten: Bitten Sie darum, die wichtigsten Originalquellen einsehen zu können, statt sich mit einer Fußnote zufriedenzugeben. Was sich nicht vorlegen lässt, existiert im Zweifel nicht. Bei einem hochwertigen Gutachten ist das eine faire und übliche Bitte.

Nicht die KI verbieten, sondern die Prüfung einfordern

Die falsche Lehre aus diesen Fällen wäre, KI in Berichten pauschal zu verteufeln. Sprachmodelle sind nützliche Werkzeuge, auch beim Verfassen von Studien und Gutachten, solange ein Mensch dahintersteht, der die Ausgabe prüft. Das Problem in den PwC- und KPMG-Berichten war nicht, dass KI beteiligt war, sondern dass am Ende offenbar niemand die Quellen gegengelesen hat. Der Kontrollverlust entsteht nicht durch das Werkzeug, sondern durch die fehlende Prüfung.

Für Sie als Auftraggeber und Entscheider heißt das: Behandeln Sie einen Bericht nicht als fertige Wahrheit, nur weil ein bekanntes Logo darauf steht, sondern als Entwurf, der eine Prüfung verdient, bevor Sie ihn zur Grundlage einer Entscheidung machen. Diese Haltung ist dieselbe, die wir für den eigenen Betrieb empfehlen: Wer KI produktiv nutzt, etwa über einen datenschutzkonformen ChatGPT-Zugang im Unternehmen, gewinnt Tempo, muss aber die Ausgabe kontrollieren, bevor sie das Haus verlässt. Das gilt für Ihre eigenen Texte genauso wie für die, die Sie einkaufen.

Fazit

Die erfundenen Quellen in den Berichten großer Beratungen sind kein Skandal über einen einzelnen Konzern, sondern eine nüchterne Lektion über eine bauartbedingte Eigenschaft von Sprachmodellen: Sie erzeugen überzeugend aussehende Belege, ohne zu prüfen, ob es sie gibt. Für den Mittelstand, der Gutachten, Studien und Berichte einkauft und darauf Entscheidungen stützt, ist das ein Risiko für Entscheidungsqualität, Haftung und Vertrauen zugleich.

Der Ausweg ist unspektakulär und wirksam: Prüfen Sie die Quellen wichtiger Dokumente stichprobenartig, misstrauen Sie zu glatten Zahlen, fragen Sie den Verfasser direkt nach dem KI-Einsatz und verlangen Sie künftig Offenlegung, eine Prüfbestätigung und Zugang zu den Originalquellen. Aus einem blinden Vertrauensvorschuss an ein professionell aussehendes Papier wird so eine belastbare Grundlage.

Und noch einmal, weil es bei der Haftung darauf ankommt: Dieser Beitrag ist eine Orientierung, keine Rechtsberatung. Ob und wie Sie im konkreten Fall für einen fehlerhaften Bericht einstehen müssen und was Sie vertraglich von einem Dienstleister verlangen können, klären Sie mit einer Fachanwältin. Nutzen Sie diesen Text, um gut vorbereitet in dieses Gespräch zu gehen.