Warum Halluzinationen vergleichen und nicht nur „gute und schlechte Modelle»
Wenn jemand nach den Grenzen von Halluzinationen bei LLMs fragt, ist die hilfreiche Antwort kein Ja oder Nein, sondern ein praktischer Vergleich: Welches Modell halluziniert bei welcher Aufgabe weniger, mit welchen Techniken wird das abgemildert und zu welchem Preis. Laut der offiziellen Dokumentation der wichtigsten Anbieter und den Branchenstudien zur Bewertung der Faithfulness (Treue zur Quelle) beseitigt keines der aktuellen Modelle die Halluzination; sie reduzieren sie in konkreten Domänen und verschieben sie in andere.
Dieser Artikel vergleicht gängige Optionen zur Minderung und Modelle aus einer operativen Perspektive: Was funktioniert, was nicht, und wo Teams häufig Überraschungen erleben. Es ist keine Liste der „besten KI»; es ist ein Vergleich von Ansätzen mit ihren realen Grenzen.
Vergleichskriterien, die tatsächlich unterscheiden
1. Rate nicht belegter Aussagen (Faithfulness)
Die entscheidende Metrik ist nicht „Hat es recht?», sondern „Erfindet es Fakten, die nicht in der Quelle stehen?». Bei Zusammenfassungsaufgaben mit langem Kontext erzeugen große Modelle mit besserer Kontextbindung in der Regel weniger nicht belegte Aussagen als kleine Modelle, verlieren diesen Vorteil jedoch, wenn die Frage externes Wissen erfordert, das nicht im Prompt enthalten ist. Modelle zu vergleichen, ohne das Szenario festzulegen (geschlossener Kontext vs. offene Frage), führt zu irreführenden Schlussfolgerungen.
2. Kalibrierung der Unsicherheit
Ein kalibriertes Modell drückt Zweifel aus, wenn es etwas nicht weiß. In der Praxis sind fast alle gängigen kommerziellen Modelle bei Nischenfragen schlecht kalibriert: Sie antworten mit derselben Sicherheit auf eine überprüfbare Angabe wie auf eine erfundene. Laut Branchenstudien korreliert die verbale Zuversicht des Modells nicht zuverlässig mit der Genauigkeit, was die Strategie „fragen, ob es sicher ist» entkräftet.
3. Kosten und Latenz der Minderung
RAG, Verifikation durch Websuche, Selbstkritik und Mehrfachabstimmung reduzieren Halluzinationen, aber jede Schicht erhöht Latenz und Kosten. Ein ehrlicher Vergleich umfasst den Preis pro zuverlässiger Antwort, nicht nur den Preis pro Token.
Vergleich gängiger Ansätze zur Minderung
RAG (retrieval-augmented generation)
Was es gut macht: Es verankert die Antworten in eigenen Dokumenten. Bei Fragen zu internen Richtlinien, Handbüchern oder Katalogen reduziert es die Erfindung von Daten drastisch, wenn der Retriever das richtige Fragment liefert.
Wo es scheitert: Wenn der Retriever das Fragment nicht findet, sagt das Modell nicht immer „Ich weiß es nicht»; manchmal füllt es mit parametrischem Wissen auf. Es halluziniert auch beim Zitieren: Es erfindet Seitenzahlen oder vermischt zwei Dokumente. Ein häufiger Fehler, der erst im realen Einsatz sichtbar wird, ist, dass RAG über doppelte oder veraltete Dokumentversionen kohärente, aber veraltete Antworten liefert, und das Team erkennt es spät, weil die Antwort „gut klingt».
Verifikation durch Echtzeit-Websuche
Was es gut macht: Es verbessert die Aktualität und ermöglicht das Zitieren von Quellen. Nützlich für Fragen zu Preisen, Markteinführungen oder Nachrichten.
Wo es scheitert: Es führt zu einer Abhängigkeit von der Qualität der Suchergebnisse. Wenn die Quelle ein Forum oder ein spekulativer Blog ist, kann das Modell eine zweifelhafte Behauptung als Tatsache mit beigefügtem Link präsentieren, was paradoxerweise die wahrgenommene Glaubwürdigkeit des Fehlers erhöht. Es ist nicht geeignet für kontrafaktische oder hypothetische Fragen, bei denen es keine Quelle zu verifizieren gibt.
Selbstkritik und Verifikationsketten
Was es gut macht: Das Modell zu bitten, seine eigene Antwort zu überprüfen, erkennt Rechenfehler und interne Widersprüche bei strukturierten Aufgaben.
Wo es scheitert: Die Selbstkritik teilt dieselben blinden Flecken wie die Generierung. Ein Modell, das eine Angabe nicht kennt, weiß auch bei der Überprüfung nicht, dass es sie nicht kennt, und kann seine eigene Erfindung „bestätigen». Es funktioniert besser mit externer Verifikation (Taschenrechner, Datenbank) als mit Introspektion.
Antworten mit erzwungener Enthaltung
Was es gut macht: Das Modell anzuweisen, „nicht verfügbar» zu antworten, wenn keine Evidenz vorliegt, reduziert falsche Aussagen in abgegrenzten Domänen.
Wo es scheitert: Es erhöht die falsch-negativen Ergebnisse. Im Kundenservice beeinträchtigt eine übermäßige Enthaltung die Erfahrung ebenso wie eine falsche Antwort. Der Schwellenwert muss je nach Anwendungsfall kalibriert werden, und es gibt keinen universellen Wert.
Vergleich nach Modelltyp: groß vs. klein vs. spezialisiert
Große Allzweckmodelle
Geringere Halluzinationsrate bei Allgemeinwissen und bessere Befolgung komplexer Anweisungen. Ihre Flüssigkeit ist jedoch ein zweischneidiges Schwert: Sie erfinden eleganter. In sehr technischen oder aktuellen Domänen ist ihr parametrisches Wissen veraltet, und sie füllen Lücken plausibel.
Kleine und destillierte Modelle
Günstiger und schneller und ausreichend für Extraktionsaufgaben mit geschlossenem Kontext. Ihre Einschränkung ist die Generalisierung: Außerhalb des Formats, für das sie angepasst wurden, steigt die Erfindungsrate. Nicht empfehlenswert für offene Fragen ohne RAG.
Spezialisierte oder mit eigenen Daten feinabgestimmte Modelle
Sie können Halluzinationen in einer engen Domäne reduzieren, aber Feinabstimmung garantiert keine Faithfulness: Sie lehrt Stil und Format mehr als Fakten. Ein mit unvollständigen Daten feinabgestimmtes Modell lernt, innerhalb dieser Domäne sicher zu antworten, einschließlich der Lücken. Die Bewertung mit Fragen außerhalb der Verteilung ist vor dem Deployment obligatorisch.
Was der Vergleich nicht löst
Kein Ansatz beseitigt die Halluzination bei offenen generativen Aufgaben. Der Grund ist strukturell: Das Modell sagt plausiblen Text voraus, es verifiziert keine Wahrheit. Die Minderungen reduzieren die Wahrscheinlichkeit eines überprüfbaren Fehlers, beseitigen ihn aber nicht. Jedes Versprechen von „null Halluzinationen» sollte mit Skepsis betrachtet werden.
Außerdem veraltet der Vergleich zwischen Modellen schnell: Die Versionen ändern sich, und die Ergebnisse öffentlicher Evaluierungen lassen sich in internen Domänen nicht immer reproduzieren. Der einzige gültige Vergleich für ein Team ist der, den es mit seinem eigenen Korpus und seinen eigenen Fragen durchführt.
Wie man in der Praxis einen nützlichen Vergleich aufbaut
Man stellt einen Satz von 50 bis 100 echten Geschäftsfragen zusammen, mit bekannter Antwort und mit plausiblen Ablenkungen. Man führt jede Option (Modell + Technik) auf demselben Satz aus und misst drei Dinge: Genauigkeit, nicht belegte Aussagen und Enthaltungsrate. Man überprüft manuell eine Stichprobe der Antworten, weil auch automatische Faithfulness-Metriken sich irren.
Ein Detail, das erst mit Erfahrung auftaucht: Die gefährlichsten Halluzinationen sind nicht die offensichtlichen, sondern die, die eine korrekte Angabe mit einer erfundenen im selben Satz vermischen. Der menschliche Prüfer neigt dazu, den ganzen Satz zu validieren, weil die erste Hälfte stimmt. Die Prüfung muss Aussage für Aussage erfolgen, nicht Antwort für Antwort.
Empfehlung je nach Szenario
Für den Kundenservice mit dokumentarischer Grundlage: RAG mit kalibrierter Enthaltung und Überprüfung der Zitate. Für Recherche und Aktualität: Websuche mit der Anforderung einer Primärquelle und ausdrücklichem Hinweis an den Nutzer. Für die Extraktion strukturierter Daten: kleine Modelle mit regelbasierter Validierung und externer Verifikation. Für kreative Inhalte: davon ausgehen, dass die Fakten nicht zuverlässig sind, und Generierung von menschlicher Verifikation trennen.
Das Fazit des Vergleichs ist unbequem, aber ehrlich: Die beste Option ist nicht das Modell mit den wenigsten Halluzinationen in abstracto, sondern die Kombination, die den Fehler sichtbar macht, bevor er Schaden anrichtet.