La scène qu'on a tous vécue#
Vous demandez à une IA l'article de loi qui fixe un délai. Elle répond, sûre d'elle : un numéro d'article, une date, une phrase entre guillemets. Tout a l'air parfait. Vous vérifiez par acquit de conscience… l'article n'existe pas. Ou il existe, mais il dit autre chose.
C'est une hallucination. Le mot est un peu théâtral pour une réalité très simple : le modèle a produit un texte vraisemblable qui ne correspond à aucun fait.
Pourquoi une hallucination IA arrive#
L'IA prédit, elle ne consulte pas#
Un modèle de langage (un LLM) a été entraîné à une seule chose : prédire la suite la plus probable d'un texte. Quand vous lui demandez un numéro d'article, il ne va pas le chercher dans un code : il produit la forme qu'a habituellement une réponse à cette question. Un numéro, une date, une citation. Si le vrai numéro est très présent dans ce qu'il a lu, il tombera juste. Sinon, il produira un numéro… plausible.
C'est tout le sujet de notre guide sur les LLM : un LLM n'est ni une base de données ni un moteur de recherche.
Il comble les trous plutôt que de s'arrêter#
Face à une question dont il n'a pas la réponse, un modèle a deux options : dire qu'il ne sait pas, ou produire quelque chose. Son entraînement le pousse vers la seconde, parce qu'une réponse complète et assurée ressemble davantage à ce qu'on attend de lui. D'où ce ton égal, qu'il ait raison ou tort.
Les zones à risque#
Les hallucinations ne sont pas réparties au hasard. Elles se concentrent là où le modèle a peu de matière solide :
- les références précises : numéros d'articles, dates, montants, noms de textes ;
- les faits récents, postérieurs à son entraînement ;
- les sujets pointus ou locaux, peu présents dans ses données ;
- vos propres informations : vos clients, vos procédures, vos chiffres, qu'il n'a jamais vus.
Ce dernier point est le plus traître : demandez-lui « le délai de paiement habituel de notre fournisseur principal » sans rien fournir, et il inventera un fournisseur, un délai, et une habitude.
Cinq réflexes contre les hallucinations#
1. Fournir la source plutôt que la question nue#
« Que dit ce contrat sur la résiliation ? » avec le contrat joint donne une réponse ancrée dans le texte. Sans le contrat, vous obtenez ce que disent en général les contrats. La différence est énorme, et elle ne coûte qu'un glisser-déposer.
2. Exiger la référence#
Demandez systématiquement d'où vient l'information : « cite le passage exact » ou « donne l'article et sa version ». Une affirmation sans référence se traite comme une hypothèse. Une référence se vérifie en dix secondes.
3. Autoriser le doute#
Écrivez noir sur blanc : « si tu n'es pas sûr, dis-le ». C'est une des habitudes de notre article sur le prompt IA, et c'est celle qui protège le mieux.
4. Vérifier ce qui engage#
Un résumé de réunion approximatif ne coûte pas grand-chose. Un montant, une date d'échéance ou une obligation légale, si. Classez vos usages : ce qui part chez un client, à une administration ou dans une décision se relit à la source, toujours.
5. Choisir un outil branché sur les bonnes bases#
Le meilleur moyen d'éviter qu'une IA réponde de mémoire est de lui donner accès à une base qui fait autorité, et de lui demander d'y aller. Dans AIKeep, quand une base de référence est branchée, l'IA a l'ordre de l'interroger plutôt que de répondre de tête, et elle rend la référence précise de sa réponse pour que vous puissiez la contrôler. S'il ne trouve pas, il le dit.
Peut-on supprimer complètement les hallucinations ?#
Non, et il faut se méfier de qui le promet. Les modèles récents se trompent moins souvent que leurs prédécesseurs, et les techniques qui donnent au modèle des documents à lire au moment de répondre (le RAG) réduisent fortement le risque. Mais tant qu'un modèle produit du texte par prédiction, une réponse peut être fausse et bien écrite.
La bonne posture n'est donc pas la méfiance générale, qui ferait renoncer à l'outil, mais une organisation : de la matière fournie, des références exigées, une vérification proportionnée à l'enjeu.
Et chez vous ?#
Faites le test cette semaine. Posez à votre outil d'IA une question dont vous connaissez la réponse exacte et qui touche à vos propres affaires, sans rien lui fournir. Puis reposez-la en joignant le document. Comparez. C'est la démonstration la plus parlante qu'on puisse faire à une équipe.