Pourquoi comparer les hallucinations et pas seulement « les bons et les mauvais modèles »
Quand quelqu’un demande quelles sont les limites des hallucinations dans les LLM, la réponse utile n’est pas oui ou non, mais une comparaison pratique : quel modèle hallucine le moins selon telle ou telle tâche, avec quelles techniques on l’atténue et à quel coût. D’après la documentation officielle des principaux fournisseurs et les études du secteur sur l’évaluation de la fidélité (faithfulness), aucun des modèles actuels n’élimine l’hallucination ; ils la réduisent dans des domaines précis et la déplacent vers d’autres.
Cet article compare des options populaires d’atténuation et des modèles dans une perspective opérationnelle : ce qui fonctionne, ce qui ne fonctionne pas, et où les équipes se font généralement surprendre. Ce n’est pas une liste des « meilleures IA » ; c’est une comparaison d’approches avec leurs limites réelles.
Critères de comparaison réellement discriminants
1. Taux d’affirmations non étayées (fidélité)
La métrique clé n’est pas « a-t-il juste ? » mais « invente-t-il des faits absents de la source ? ». Dans les tâches de résumé avec un contexte long, les grands modèles qui adhèrent le mieux au contexte génèrent généralement moins d’affirmations non étayées que les petits modèles, mais perdent cet avantage lorsque la question exige des connaissances externes non incluses dans le prompt. Comparer des modèles sans fixer le scénario (contexte fermé vs question ouverte) produit des conclusions trompeuses.
2. Calibration de l’incertitude
Un modèle calibré exprime le doute lorsqu’il ne sait pas. En pratique, presque tous les modèles commerciaux populaires sont mal calibrés sur les questions de niche : ils répondent avec la même assurance à une donnée vérifiable qu’à une donnée inventée. D’après les études du secteur, la confiance verbale du modèle n’est pas corrélée de manière fiable à l’exactitude, ce qui invalide la stratégie consistant à « demander s’il est sûr ».
3. Coût et latence de l’atténuation
Le RAG, la vérification par recherche web, l’autocritique et le vote multiple réduisent les hallucinations, mais chaque couche ajoute de la latence et du coût. La comparaison honnête inclut le prix par réponse fiable, pas seulement le prix par token.
Comparaison des approches populaires d’atténuation
RAG (génération augmentée par récupération)
Ce qu’il fait bien : il ancre les réponses dans des documents propres. Sur des questions portant sur des réglementations internes, des manuels ou des catalogues, il réduit drastiquement l’invention de données lorsque le récupérateur ramène le bon fragment.
Où il échoue : si le récupérateur ne trouve pas le fragment, le modèle ne dit pas toujours « je ne sais pas » ; il comble parfois avec des connaissances paramétriques. Il hallucine aussi dans les citations : il invente des numéros de page ou mélange deux documents. Une erreur courante qui n’apparaît qu’à l’usage réel est que le RAG sur des documents dupliqués ou des versions anciennes produit des réponses cohérentes mais obsolètes, et l’équipe ne le détecte que tard parce que la réponse « sonne bien ».
Vérification par recherche web en temps réel
Ce qu’elle fait bien : elle améliore l’actualité et permet de citer des sources. Utile pour les questions sur les prix, les lancements ou l’actualité.
Où elle échoue : elle introduit une dépendance à la qualité des résultats de recherche. Si la source est un forum ou un blog spéculatif, le modèle peut présenter une affirmation douteuse comme un fait avec le lien inclus, ce qui, paradoxalement, augmente la crédibilité perçue de l’erreur. Elle ne sert pas pour les questions contrefactuelles ou hypothétiques, où il n’y a pas de source à vérifier.
Autocritique et chaînes de vérification
Ce qu’elles font bien : demander au modèle de réviser sa propre réponse détecte les erreurs arithmétiques et les contradictions internes dans les tâches structurées.
Où elles échouent : l’autocritique partage les mêmes angles morts que la génération. Un modèle qui ne connaît pas une donnée ne sait pas non plus qu’il ne la connaît pas lorsqu’il la révise, et peut « confirmer » sa propre invention. Cela fonctionne mieux avec une vérification externe (calculatrice, base de données) qu’avec l’introspection.
Réponses avec abstention forcée
Ce qu’elle fait bien : instruire le modèle pour qu’il réponde « non disponible » en l’absence de preuve réduit les affirmations fausses dans des domaines restreints.
Où elle échoue : elle augmente les faux négatifs. En service client, un excès d’abstention dégrade l’expérience autant qu’une réponse incorrecte. Le seuil doit être calibré par cas d’usage, et il n’existe pas de valeur universelle.
Comparaison par type de modèle : grands vs petits vs spécialisés
Grands modèles à usage général
Moindre taux d’hallucination sur les connaissances communes et meilleur suivi d’instructions complexes. Cependant, leur fluidité est une arme à double tranchant : ils inventent avec plus d’élégance. Dans des domaines très techniques ou récents, leurs connaissances paramétriques deviennent obsolètes et ils comblent les lacunes avec plausibilité.
Petits modèles et modèles distillés
Moins chers et plus rapides, et suffisants pour des tâches d’extraction avec contexte fermé. Leur limite est la généralisation : hors du format pour lequel ils ont été ajustés, le taux d’invention augmente. Non recommandés pour des questions ouvertes sans RAG.
Modèles spécialisés ou ajustés avec des données propres
Ils peuvent réduire les hallucinations dans un domaine étroit, mais l’ajustement fin ne garantit pas la fidélité : il enseigne le style et le format plus que les faits. Un modèle ajusté avec des données incomplètes apprend à répondre avec assurance dans ce domaine, y compris sur les lacunes. L’évaluation avec des questions hors distribution est obligatoire avant le déploiement.
Ce que la comparaison ne résout pas
Aucune approche n’élimine l’hallucination dans les tâches génératives ouvertes. La raison est structurelle : le modèle prédit du texte plausible, il ne vérifie pas la vérité. Les atténuations réduisent la probabilité d’erreur vérifiable, mais ne l’éliminent pas. Toute promesse de « zéro hallucination » doit être traitée avec scepticisme.
De plus, la comparaison entre modèles devient vite obsolète : les versions changent et les résultats des évaluations publiques ne se répliquent pas toujours dans des domaines internes. La seule comparaison valable pour une équipe est celle qu’elle réalise avec son propre corpus et ses propres questions.
Comment monter une comparaison utile en pratique
Rassembler un ensemble de 50 à 100 questions réelles de l’entreprise, avec une réponse connue et des distracteurs plausibles. Exécuter chaque option (modèle + technique) sur le même ensemble et mesurer trois choses : l’exactitude, les affirmations non étayées et le taux d’abstention. Réviser manuellement un échantillon des réponses, car les métriques automatiques de fidélité se trompent aussi.
Un détail qui n’apparaît qu’avec l’expérience : les hallucinations les plus dangereuses ne sont pas les évidentes, mais celles qui mélangent une donnée correcte et une donnée inventée dans la même phrase. Le réviseur humain tend à valider la phrase entière parce que la première moitié est vraie. La révision doit se faire affirmation par affirmation, et non réponse par réponse.
Recommandation selon le scénario
Pour le service client avec une base documentaire, un RAG avec abstention calibrée et révision des citations. Pour la recherche et l’actualité, une recherche web exigeant une source primaire et un avertissement explicite à l’utilisateur. Pour l’extraction de données structurées, de petits modèles avec validation par règles et vérification externe. Pour le contenu créatif, partir du principe que les faits ne sont pas fiables et séparer la génération de la vérification humaine.
La conclusion de la comparaison est inconfortable mais honnête : la meilleure option n’est pas le modèle qui hallucine le moins dans l’abstrait, mais la combinaison qui rend l’erreur visible avant qu’elle ne cause des dommages.