Waarom hallucinaties vergelijken en niet alleen ‘goede en slechte modellen’
Wanneer iemand vraagt naar de beperkingen van hallucinaties in LLM’s, is het nuttige antwoord niet ja of nee, maar een praktische vergelijking: welk model hallucineert minder bij welke taak, met welke technieken wordt het gemitigeerd en tegen welke prijs. Volgens de officiële documentatie van de belangrijkste aanbieders en sectorstudies over de evaluatie van faithfulness elimineert geen enkel huidig model hallucinatie; ze verminderen het in specifieke domeinen en verschuiven het naar andere.
Dit artikel vergelijkt populaire mitigatieopties en modellen vanuit een operationeel perspectief: wat werkt, wat niet, en waar teams vaak voor verrassingen komen te staan. Het is geen lijst van ‘beste AI’; het is een vergelijking van benaderingen met hun echte beperkingen.
Vergelijkingscriteria die echt onderscheid maken
1. Percentage niet-onderbouwde beweringen (faithfulness)
De kernmaatstaf is niet ‘klopt het?’ maar ‘verzint het feiten die niet in de bron staan?’. Bij samenvattingstaken met lange context genereren grote modellen met betere contexttrouw doorgaans minder niet-onderbouwde beweringen dan kleine modellen, maar ze verliezen dat voordeel wanneer de vraag externe kennis vereist die niet in de prompt is opgenomen. Modellen vergelijken zonder het scenario vast te leggen (gesloten context vs. open vraag) leidt tot misleidende conclusies.
2. Kalibratie van onzekerheid
Een gekalibreerd model uit twijfel wanneer het iets niet weet. In de praktijk zijn bijna alle populaire commerciële modellen slecht gekalibreerd bij nichevragen: ze antwoorden met dezelfde zekerheid op een verifieerbaar gegeven als op een verzonnen gegeven. Volgens sectorstudies correleert de verbale zekerheid van het model niet betrouwbaar met de juistheid, wat de strategie van ‘vragen of het zeker is’ ongeldig maakt.
3. Kosten en latentie van mitigatie
RAG, verificatie met webzoekopdrachten, zelfkritiek en meerderheidsstemming verminderen hallucinaties, maar elke laag voegt latentie en kosten toe. De eerlijke vergelijking omvat de prijs per betrouwbaar antwoord, niet alleen de prijs per token.
Vergelijking van populaire mitigatiebenaderingen
RAG (retrieval-augmented generation)
Wat het goed doet: het verankert antwoorden in eigen documenten. Bij vragen over interne regelgeving, handleidingen of catalogi vermindert het drastisch het verzinnen van gegevens wanneer de retriever het juiste fragment ophaalt.
Waar het faalt: als de retriever het fragment niet vindt, zegt het model niet altijd ‘ik weet het niet’; soms vult het aan met parametrische kennis. Het hallucineert ook bij het citeren: het verzint paginanummers of mengt twee documenten. Een veelvoorkomende fout die alleen bij echt gebruik zichtbaar wordt, is dat RAG op dubbele documenten of oude versies coherente maar verouderde antwoorden oplevert, en het team merkt dit laat op omdat het antwoord ‘goed klinkt’.
Verificatie met realtime webzoekopdrachten
Wat het goed doet: het verbetert de actualiteit en maakt het mogelijk bronnen te citeren. Nuttig voor vragen over prijzen, lanceringen of nieuws.
Waar het faalt: het introduceert afhankelijkheid van de kwaliteit van de zoekresultaten. Als de bron een forum of een speculatieve blog is, kan het model een twijfelachtige bewering als feit presenteren met inbegrip van een link, wat paradoxaal genoeg de waargenomen geloofwaardigheid van de fout vergroot. Het is niet geschikt voor contrafeitelijke of hypothetische vragen, waar er geen bron valt te verifiëren.
Zelfkritiek en verificatieketens
Wat het goed doet: het model vragen zijn eigen antwoord te herzien, detecteert rekenfouten en interne tegenstrijdigheden bij gestructureerde taken.
Waar het faalt: zelfkritiek deelt dezelfde blinde vlekken als de generatie. Een model dat een gegeven niet weet, weet bij het herzien ook niet dat het het niet weet, en kan zijn eigen verzinsel ‘bevestigen’. Het werkt beter met externe verificatie (rekenmachine, database) dan met introspectie.
Antwoorden met geforceerde onthouding
Wat het goed doet: het model instrueren om ‘niet beschikbaar’ te antwoorden wanneer er geen bewijs is, vermindert valse beweringen in afgebakende domeinen.
Waar het faalt: het verhoogt de fout-negatieven. Bij klantenservice verslechtert een overdreven onthouding de ervaring evenzeer als een onjuist antwoord. De drempel moet per use case worden gekalibreerd, en er is geen universele waarde.
Vergelijking per modeltype: groot vs. klein vs. gespecialiseerd
Grote modellen voor algemeen gebruik
Lagere hallucinatiegraad bij algemene kennis en betere opvolging van complexe instructies. Hun vloeiendheid is echter een tweesnijdend zwaard: ze verzinnen met meer elegantie. In zeer technische of recente domeinen raakt hun parametrische kennis verouderd en vullen ze hiaten op plausibele wijze in.
Kleine en gedistilleerde modellen
Goedkoper en sneller, en voldoende voor extractietaken met gesloten context. Hun beperking is generalisatie: buiten het formaat waarvoor ze zijn afgestemd, stijgt de verzinningsgraad. Niet aanbevolen voor open vragen zonder RAG.
Gespecialiseerde of met eigen data afgestemde modellen
Ze kunnen hallucinaties verminderen in een nauw domein, maar fine-tuning garandeert geen faithfulness: het leert stijl en formaat meer dan feiten. Een model dat met onvolledige data is afgestemd, leert met zekerheid te antwoorden binnen dat domein, inclusief de hiaten. Evaluatie met vragen buiten de distributie is verplicht vóór deployment.
Wat de vergelijking niet oplost
Geen enkele benadering elimineert hallucinatie bij open generatieve taken. De reden is structureel: het model voorspelt plausibele tekst, het verifieert geen waarheid. Mitigaties verminderen de kans op verifieerbare fouten, maar elimineren die niet. Elke belofte van ‘nul hallucinaties’ moet met scepsis worden behandeld.
Bovendien veroudert de vergelijking tussen modellen snel: versies veranderen en de resultaten van openbare evaluaties worden niet altijd gerepliceerd in interne domeinen. De enige geldige vergelijking voor een team is degene die het maakt met zijn eigen corpus en zijn eigen vragen.
Hoe je in de praktijk een nuttige vergelijking opzet
Verzamel een set van 50 tot 100 echte bedrijfsvragen, met bekende antwoorden en met plausibele afleiders. Voer elke optie (model + techniek) uit op dezelfde set en meet drie dingen: juistheid, niet-onderbouwde beweringen en onthoudingsgraad. Beoordeel handmatig een steekproef van de antwoorden, want automatische faithfulness-metrieken vergissen zich ook.
Een detail dat alleen met ervaring opduikt: de gevaarlijkste hallucinaties zijn niet de evidente, maar degene die een correct gegeven met een verzonnen gegeven in dezelfde zin vermengen. De menselijke revisor neigt ernaar de hele zin te valideren omdat de eerste helft waar is. De beoordeling moet bewering voor bewering gebeuren, niet antwoord voor antwoord.
Aanbeveling per scenario
Voor klantenservice met een documentaire basis: RAG met gekalibreerde onthouding en controle van citaten. Voor onderzoek en actualiteit: webzoekopdrachten met de eis van een primaire bron en een expliciete waarschuwing aan de gebruiker. Voor extractie van gestructureerde data: kleine modellen met regelgebaseerde validatie en externe verificatie. Voor creatieve content: ga ervan uit dat de feiten niet betrouwbaar zijn en scheid generatie van menselijke verificatie.
De conclusie van de vergelijking is ongemakkelijk maar eerlijk: de beste optie is niet het model met de minste hallucinaties in abstracto, maar de combinatie die de fout zichtbaar maakt voordat die schade aanricht.