L'IA m'a inventé une loi qui n'existe pas : Les hallucinations expliquées

"L'IA m'a inventé une loi qui n'existe pas." ⚖️😱

Un avocat utilise ChatGPT pour préparer une plaidoirie. Le sujet est technique : un litige en droit du travail, avec des nuances procédurales complexes. L'avocat, convaincu que l'IA peut accélérer ses recherches, pose la question directement : "Cite-moi des précédents pour ce cas."

ChatGPT lui sort 3 arrêts de la Cour de Cassation, complets avec dates, numéros de chambre et résumés détaillés. Les références sont présentées avec une assurance totale, dans un format juridique impeccable. L'avocat est soulagé : voilà exactement ce dont il avait besoin.

Il les inclut dans ses conclusions, les remet au juge, et plaide avec confiance.

Le juge vérifie.

Les arrêts n'existent pas. Ils n'ont jamais existé. Ce sont des constructions fictives générées par un modèle de langage incapable de distinguer le vrai du plausible.

L'avocat est humilié, sa crédibilité détruite, et sa carrière sérieusement menacée. Cet incident rapporté illustre une réalité qui concerne désormais toutes les professions qui utilisent l'IA pour des recherches documentaires : les hallucinations IA loi inexistante ne sont pas une anomalie rare. Elles sont une caractéristique structurelle des grands modèles de langage.

Pourquoi les hallucinations IA représentent-elles un risque critique pour votre entreprise ?

L'IA ne "ment" pas au sens moral du terme. Elle n'a pas l'intention de tromper. Elle fait quelque chose de bien plus dangereux : elle complète des phrases en suivant la logique statistique de ce qu'elle a appris. Elle est entraînée pour être plausible, pas pour être véridique. Et quand la suite la plus probable d'une phrase ressemble à une référence juridique — parce qu'elle en a lu des milliers pendant son entraînement — elle génère cette référence avec la même confiance qu'une vraie.

Cette distinction est fondamentale. Une IA qui se trompe ne sait pas qu'elle se trompe. Elle n'a aucun signal interne qui lui indique "attention, cette information est inventée". Elle produit du texte. Ce texte peut être vrai ou faux, et elle l'énonce avec exactement la même assurance dans les deux cas.

Pour une entreprise, cela signifie qu'on ne peut pas faire confiance à une IA "brute" — c'est-à-dire sans système de vérification — pour des tâches où la précision des faits est critique. Le domaine juridique est l'exemple le plus extrême, mais le risque existe partout : données financières, informations médicales, historique de produits, clauses contractuelles.

Le mécanisme des hallucinations : pourquoi les LLMs inventent des références juridiques

Pour comprendre pourquoi les hallucinations IA loi inexistante se produisent, il faut comprendre ce qu'est réellement un grand modèle de langage. Un LLM est un système entraîné à prédire le prochain mot d'une séquence, à partir de milliards de textes. Il n'a pas de base de données interne de "vérités". Il a des poids statistiques qui encodent la probabilité qu'un mot suive un autre, dans un contexte donné.

Quand vous lui demandez de citer un arrêt de jurisprudence, il ne consulte pas Legifrance. Il calcule quels tokens (fragments de mots) forment une séquence statistiquement cohérente avec votre demande. Le problème est que les textes juridiques ont une structure très spécifique et très reconnaissable : "Cass. soc., 15 mars 2021, n°20-12.456". Cette structure a été vue des milliers de fois pendant l'entraînement. Le modèle peut la reproduire parfaitement, avec un numéro qui ressemble à un vrai numéro, une date plausible, une chambre qui correspond — sans qu'aucun arrêt réel n'existe derrière.

C'est ce qu'on appelle la confabulation : le modèle produit une réponse cohérente en surface, construite par interpolation entre les patterns qu'il a mémorisés, sans aucun ancrage dans la réalité vérifiable. Plus le domaine est structuré et technique (droit, médecine, finance), plus les hallucinations sont convaincantes, parce que le modèle a appris à imiter cette structure avec précision.

Il y a également un phénomène que les chercheurs appellent le besoin de "sounding authoritative" (paraître autoritaire). Les LLMs sont entraînés avec du feedback humain (RLHF) qui récompense les réponses qui semblent confiantes et complètes. Une réponse qui dit "je ne sais pas" est moins bien notée par les humains qui évaluent les modèles qu'une réponse qui fournit une référence précise, même si cette référence est inventée. Le modèle a appris qu'être précis et confiant est récompensé — même quand cette précision est fictive.

Flowchart illustrant comment un LLM passe d'une requête légale à une référence juridique inventée, et comment le RAG coupe ce cycle

Mata v. Avianca : le cas qui a ébranlé la profession juridique mondiale

Le 22 juin 2023, le juge fédéral américain P. Kevin Castel a rendu une décision historique dans l'affaire Mata v. Avianca, Inc. (n° 22-cv-1461, S.D.N.Y.). L'avocat Steven Schwartz, du cabinet Levidow, Levidow & Oberman, avait utilisé ChatGPT pour rechercher des précédents juridiques dans un dossier de blessures en vol.

ChatGPT avait fourni plusieurs références de jurisprudence, présentées avec des citations complètes et des résumés détaillés. Ces références comprenaient des affaires aux noms et numéros parfaitement plausibles, comme "Varghese v. China Southern Airlines", "Shaboon v. EgyptAir" ou "Martinez v. Delta Air Lines". Schwartz avait soumis ces citations dans ses conclusions de justice sans les vérifier.

Quand la partie adverse et le tribunal ont essayé de retrouver ces affaires, elles se sont révélées inexistantes. Le juge Castel a convoqué les avocats, leur a demandé d'expliquer leur démarche, et a infligé une sanction de 5 000 dollars ainsi qu'une réprimande publique sévère. Dans sa décision, il a écrit que les avocats avaient "manqué à leur obligation fondamentale de vérification" et avaient introduit des citations "entièrement fictives" dans des dossiers judiciaires officiels.

Ce qui rend cette affaire particulièrement instructive, c'est la réaction initiale de Schwartz : interrogé sur l'authenticité des affaires, il avait reconfirmé leur existence auprès de ChatGPT, qui lui avait de nouveau affirmé qu'elles étaient réelles. Le modèle ne pouvait pas admettre son erreur — il ne savait tout simplement pas qu'il avait hallucin

Des incidents signalés dans plusieurs pays

L'affaire Mata v. Avianca n'est pas isolée. Depuis 2023, les incidents impliquant des références juridiques inventées par l'IA ont été signalés dans de multiples juridictions. Des régulateurs en Australie, au Royaume-Uni et au Canada ont émis des avertissements formels aux praticiens du droit concernant l'utilisation non supervisée des LLMs dans la recherche juridique.

En Australie, le Conseil du Barreau a publié en 2024 une note de guidance urgente après plusieurs cas signalés de praticiens qui avaient cité des décisions inexistantes dans des procédures. Des associations professionnelles au Royaume-Uni ont émis des recommandations similaires, insistant sur le fait que l'utilisation de l'IA dans le cadre juridique doit toujours être soumise à une vérification humaine indépendante.

En France, bien que les cas portés devant les juridictions restent peu médiatisés, le Conseil National des Barreaux a commencé à formuler des lignes directrices sur l'usage de l'IA par les avocats. La problématique n'est pas franco-française : c'est un défi systémique lié à la nature même des LLMs.

Diagramme de séquence montrant le processus de vérification d'une référence juridique fournie par l'IA, depuis la demande jusqu'à la validation ou l'alerte d'hallucination

Les 3 types d'hallucinations qui tuent le business

Avant d'approfondir les solutions, il est important de comprendre que toutes les hallucinations ne se ressemblent pas. On peut identifier trois familles distinctes, avec des niveaux de dangerosité différents.

❌ L'invention pure

C'est le type le plus grave : l'IA crée de toutes pièces une information qui n'a aucune base réelle. Dans le domaine juridique, cela donne des arrêts inexistants, des lois jamais promulguées, des auteurs fictifs d'articles de doctrine. Dans le commerce, cela peut prendre la forme d'un produit inventé avec ses caractéristiques, d'un prix inexistant, ou d'une politique de retour jamais définie.

Un chatbot e-commerce qui invente un produit "iPhone 15 Pro Max Ultra" à 999€ alors que ce modèle n'existe pas — et que le client commande en se basant sur cette information — expose l'entreprise à des réclamations commerciales et à une perte de confiance sévère.

❌ La confusion de faits

Moins spectaculaire mais tout aussi dangereuse : l'IA mélange des informations réelles provenant de sources différentes. Elle associe le mauvais client à la mauvaise commande, confond deux lois similaires portant sur des matières différentes, ou mélange deux affaires jurisprudentielles pour en créer une synthèse incorrecte.

Dans un contexte professionnel, ce type d'hallucination peut entraîner l'envoi de données confidentielles à la mauvaise personne, ou la rédaction d'un contrat avec des clauses issues de jurisprudences applicables à un secteur différent.

❌ La fausse logique

Ce type est devenu plus rare avec les modèles récents, mais subsiste sur des calculs complexes ou des raisonnements juridiques en plusieurs étapes. L'IA peut enchaîner des propositions logiquement cohérentes en apparence mais incorrectes dans leur conclusion, par exemple en interprétant une clause contractuelle de manière erronée en ignorant une exception prévue par la loi.

Hallucination vs erreur factuelle : une distinction critique

Il est important de distinguer l'hallucination de la simple erreur factuelle, car les stratégies de mitigation ne sont pas identiques.

Une erreur factuelle se produit quand l'IA se trompe sur une donnée qui existe réellement — la date d'un événement historique légèrement incorrecte, la population d'une ville approximative, le nom d'un dirigeant qui a changé depuis l'entraînement du modèle. Ces erreurs sont souvent corrigibles par une simple recherche, et le modèle peut reconnaître son erreur si on lui fournit l'information correcte.

Une hallucination, en revanche, c'est l'invention d'une information qui n'existe pas. La différence fondamentale est que vous ne pouvez pas "corriger" une hallucination en cherchant l'information : vous ne trouverez rien, parce qu'il n'y a rien à trouver. Et si vous demandez à l'IA de vérifier, elle peut vous confirmer son hallucination avec la même assurance qu'elle l'a produite.

Le cas Mata v. Avianca illustre parfaitement cette distinction : quand l'avocat a demandé à ChatGPT de confirmer l'existence des affaires citées, le modèle a répondu positivement. Non par malice, mais parce qu'il n'avait aucun mécanisme interne pour détecter que ses propres outputs étaient fictifs.

Le domaine juridique : terrain idéal pour les hallucinations

Pourquoi le droit est-il particulièrement vulnérable aux hallucinations IA ? Parce qu'il combine plusieurs caractéristiques qui favorisent la confabulation des LLMs.

Premièrement, la structure très formalisée des documents juridiques. Un arrêt de la Cour de Cassation a toujours le même format : juridiction, chambre, date, numéro. Un LLM qui a ingéré des milliers de tels documents peut reproduire ce format à la perfection, en remplissant les champs avec des valeurs plausibles mais inventées.

Deuxièmement, la densité de l'information technique. Le droit est un domaine où l'autorité repose sur la précision des références. Une citation qui ressemble à une citation réelle sera traitée comme telle par un praticien non vigilant, surtout sous pression temporelle.

Troisièmement, la difficulté de vérification pour un non-spécialiste. Un client qui reçoit un document juridique avec des citations d'arrêts n'a généralement pas les outils ou les compétences pour vérifier ces références. La vérification incombe au praticien — qui peut lui-même faire confiance à l'IA.

Quatrièmement, les conséquences asymétriques. Une erreur médicale peut tuer une personne. Une erreur juridique peut ruiner une entreprise, coûter des millions en dommages, ou conduire à une condamnation injuste. Le coût d'une hallucination juridique est disproportionné par rapport à l'économie de temps réalisée.

Graphique en barres illustrant les domaines où les LLMs hallucinent le plus fréquemment — le droit et la jurisprudence arrivent en tête

Quand NE PAS utiliser l'IA pour du travail juridique sans supervision

La règle d'or est simple : l'IA sans supervision est inacceptable pour toute tâche où une erreur factuelle ou une référence inexacte peut avoir des conséquences légales, financières ou professionnelles significatives.

Concrètement, ne jamais utiliser l'IA seule pour : citer des précédents de jurisprudence (sauf si connectée à une base vérifiée), interpréter des textes de loi et leur portée, rédiger des clauses contractuelles sans relecture par un juriste qualifié, fournir un conseil juridique à un client, ou préparer des dossiers devant des juridictions.

En revanche, l'IA peut être utilisée avec confiance relative pour : analyser des documents que vous avez vous-même fournis (contrats, PV d'assemblée), reformuler des textes existants, générer des premiers jets qui seront entièrement relus et validés, ou résumer des documents dont vous avez déjà vérifié l'authenticité.

La distinction clé est celle-là : l'IA est un outil puissant pour traiter de l'information que vous lui donnez, mais elle est dangereuse dès qu'elle doit produire de l'information à partir de sa mémoire d'entraînement dans un domaine à hauts enjeux.

Flowchart de décision : quelles tâches juridiques peuvent être déléguées à l'IA et avec quelles précautions

Les conséquences légales et professionnelles

Les conséquences d'une hallucination juridique non détectée peuvent être dévastatrices à plusieurs niveaux.

Sur le plan disciplinaire, les barreaux de nombreux pays ont commencé à se pencher sur la responsabilité des avocats qui utilisent l'IA sans vérification suffisante. Citer sciemment — ou par négligence — de fausses références constitue un manquement aux devoirs fondamentaux de la profession. En France, le règlement intérieur national du barreau impose un devoir de diligence qui inclut la vérification des sources utilisées dans les actes de procédure.

Sur le plan civil, si un client subit un préjudice du fait d'une erreur juridique causée par une hallucination IA, le praticien peut voir sa responsabilité engagée. La défense "c'est l'IA qui s'est trompée" n'est pas reconnue juridiquement : c'est le professionnel qui assume la responsabilité de son travail, quel que soit l'outil utilisé.

Sur le plan pénal, dans des cas extrêmes — notamment si les fausses références sont utilisées pour induire un tribunal en erreur — des poursuites pour subornation ou altération de preuve ne sont pas exclues dans certaines juridictions.

Et au-delà du cadre juridique strict, il y a la réputation. L'affaire Mata v. Avianca a été couverte par des centaines de médias dans le monde entier. Les noms des avocats sanctionnés sont désormais associés à cette erreur pour toujours. Dans une profession où la crédibilité est le capital principal, c'est une sanction parfois pire que l'amende.

La solution professionnelle : Le "Grounding" (Ancrage)

On ne peut pas empêcher un LLM d'halluciner en tant que mécanisme fondamental. Mais on peut empêcher les hallucinations d'atteindre l'output final en mettant en place des systèmes de vérification robustes. C'est ce qu'on appelle le grounding — l'ancrage du modèle dans des sources vérifiées.

Comparaison entre une IA brute (qui invente) et une IA groundée (RAG + auto-vérification + citation sources) : la différence entre risque business et fiabilité totale

✅ 1. Limiter le contexte (RAG)

Le RAG (Retrieval Augmented Generation) est la technique la plus efficace contre les hallucinations juridiques. Le principe est simple : avant de générer une réponse, l'IA effectue une recherche dans une base de documents vérifiés, et ne s'appuie que sur ces documents pour construire sa réponse. Si l'information n'est pas dans la base, elle répond qu'elle ne sait pas.

Pour le domaine juridique, cela signifie connecter l'IA directement à Legifrance, EUR-Lex, ou à des bases commerciales comme Doctrine.fr ou Dalloz. Le modèle cherche d'abord dans ces sources, puis génère sa réponse uniquement à partir des documents trouvés, en citant leur source exacte. Le taux d'hallucination sur les références citées tombe alors à quasi zéro.

Implémentation :

prompt = f"""
Contexte disponible :
{context}

Question : {question}

Instructions :
- Réponds UNIQUEMENT en utilisant le contexte ci-dessus
- Si la réponse n'est pas dans le contexte, réponds "Je ne sais pas"
- Ne jamais inventer d'informations
"""

✅ 2. La Vérification (Self-Reflection)

Une deuxième couche de protection consiste à demander au modèle de vérifier lui-même sa réponse. Après avoir généré une réponse, on lui soumet le contexte source et la réponse produite, et on lui demande si chaque fait énoncé est bien présent dans le contexte. Cette auto-vérification ne remplace pas la vérification humaine, mais elle filtre une partie des hallucinations les plus grossières.

Implémentation :

# Première réponse
response = llm.generate(question, context)

# Vérification
verification = llm.generate(f"""
Vérifie cette réponse :
{response}

Contexte source :
{context}

Chaque fait est-il présent dans le contexte ? OUI ou NON.
""")

if "NON" in verification:
    return "Je ne peux pas répondre avec certitude."

✅ 3. La Citation de Sources

Obliger le modèle à citer sa source pour chaque affirmation est une technique simple mais puissante. Quand l'IA doit indiquer d'où elle tire l'information, elle ne peut pas halluciner sans que cela devienne immédiatement visible lors de la vérification. Si elle cite "Page 12 du document X" et que vous regardez la page 12 de ce document, vous verrez immédiatement si l'information est réelle ou inventée.

Implémentation :

prompt = f"""
Contexte :
[Page 12] Le délai de livraison est de 3-5 jours ouvrables.
[Page 45] Les retours sont gratuits sous 30 jours.

Question : {question}

Réponds en citant la source exacte : [Page X]
"""

La vérité sur les taux d'hallucination

Une IA brute hallucine entre 15% et 20% du temps sur des faits précis. Une IA correctement groundée descend à 0% d'erreur (cas client banque : zéro erreur en 6 mois)

Les démos marketing vous montrent une IA parfaite. La réalité est différente. Une IA "brute" — sans RAG, sans vérification, sans contraintes de contexte — hallucine environ 15% à 20% du temps sur des faits précis, des dates, des références ou des chiffres. Ce chiffre peut sembler faible jusqu'à ce qu'on réalise ce qu'il signifie dans la pratique.

Si vous utilisez un chatbot juridique non groundé pour rechercher dix précédents, deux ou trois d'entre eux risquent d'être fictifs. Si vous rédigez un contrat en vous appuyant sur dix clauses générées par l'IA, une ou deux peuvent contenir des références légales inexistantes. Dans un secteur où la précision est non négociable, un taux d'erreur de 15% est catastrophique.

La technique du RAG (Retrieval Augmented Generation) est la solution la plus efficace pour réduire ce taux. Pour en savoir plus sur les hallucinations IA et comment les éviter au niveau de l'entreprise, consultez également notre guide complet sur les hallucinations IA.

Réduire ce taux à 0% pour une entreprise ne se fait pas en 5 minutes. C'est un travail d'architecture, de réglage fin et de validation continue. Mais c'est la condition sine qua non pour utiliser l'IA sérieusement dans des contextes professionnels sensibles. Une IA qui ment une fois sur cent est inutilisable en business. Une IA groundée est un atout décisif.

Cas réel : une banque qui a éliminé 100% des erreurs

Pour illustrer l'efficacité des techniques de grounding, voici un exemple de mise en production. Un chatbot de support client pour un établissement bancaire avait initialement été déployé sans RAG ni contraintes de contexte.

Au début : Il inventait des taux d'intérêt attractifs. Il citait des offres promotionnelles qui n'existaient pas. Il donnait des informations contradictoires sur les conditions de crédit. Les clients qui s'appuyaient sur ces informations pour prendre des décisions financières se retrouvaient avec des surprises désagréables lors de la souscription. L'impact réputationnel et légal était potentiellement grave. Pour d'autres cas réels, lisez notre analyse des 99% d'entreprises qui font l'erreur de supervision IA.

Après mise en place du Grounding :

→ Il répond uniquement avec les taux officiels extraits de la base de données en temps réel.

→ S'il ne trouve pas l'information exacte dans la base, il escalade à un conseiller humain plutôt que d'improviser.

→ Chaque réponse cite la source exacte de l'information fournie.

Zéro erreur en 6 mois. Non pas parce que l'IA est devenue parfaite, mais parce que le système est conçu pour que ses erreurs potentielles ne puissent jamais atteindre le client final.

AI Act et responsabilité : les nouvelles règles du jeu

L'Union européenne a adopté l'AI Act en 2024, avec une entrée en vigueur progressive jusqu'en 2027. Ce texte introduit des obligations importantes pour les systèmes d'IA utilisés dans des contextes à haut risque — et le domaine juridique figure explicitement parmi eux.

L'AI Act impose, pour les applications d'IA à haut risque, des exigences de transparence (informer l'utilisateur qu'il interagit avec une IA), de traçabilité (documenter les décisions prises par le système), de robustesse (garantir que le système fonctionne correctement même face à des entrées inattendues), et de supervision humaine (prévoir des mécanismes permettant à des humains de contrôler et corriger les sorties du système).

Pour les entreprises qui utilisent l'IA dans des processus juridiques, administratifs ou médicaux, ces exigences vont directement dans le sens des bonnes pratiques de grounding. Un système RAG avec vérification humaine et traçabilité des sources est bien positionné pour répondre aux obligations de l'AI Act. Un chatbot "brut" qui génère des références sans vérification est, à l'inverse, structurellement non-conforme.

La question de la responsabilité est également clarifiée dans les nouvelles directives européennes : même si une IA est à l'origine d'une erreur, c'est l'opérateur du système qui est responsable vis-à-vis des utilisateurs. "L'IA a hallucin" ne sera jamais une défense juridique valide pour une entreprise qui a déployé un système sans précautions suffisantes.

Pour les entreprises qui utilisent des outils IA dans leur travail quotidien, le risque financier est bien réel. Comme l'illustre notre article sur le coût caché des templates IA non sécurisés, une seule erreur peut coûter plusieurs dizaines de milliers d'euros.

Bonnes pratiques : le protocole de vérification en 5 étapes

Face aux risques des hallucinations IA dans les contextes juridiques et professionnels à enjeux, voici un protocole de vérification que toute organisation devrait adopter.

Étape 1 : Ne jamais utiliser une IA brute pour des tâches à enjeux. Toute IA utilisée dans un contexte professionnel sensible doit être configurée avec RAG, contraintes de contexte, et instructions explicites pour signaler l'absence d'information plutôt que de l'inventer.

Étape 2 : Vérifier toutes les références. Chaque citation juridique, statistique ou affirmation factuelle produite par une IA doit être vérifiée dans une source primaire avant utilisation. Cette règle ne souffre aucune exception, quelle que soit la confiance apparente de l'IA.

Étape 3 : Exiger les sources. Configurer le prompt pour que l'IA soit obligée de citer ses sources pour chaque affirmation. Si elle ne peut pas citer de source, elle doit dire qu'elle ne sait pas.

Étape 4 : Supervision humaine systématique. Tout document produit avec l'aide d'une IA dans un contexte juridique, médical ou financier doit être relu et validé par un expert humain avant utilisation.

Étape 5 : Former les utilisateurs. Les collaborateurs qui utilisent l'IA doivent comprendre les mécanismes d'hallucination et les protocoles de vérification. La confiance aveugle dans les outputs de l'IA est le premier facteur de risque.

Ces bonnes pratiques ne ralentissent pas significativement le travail — elles le sécurisent. Et dans un contexte où les régulateurs commencent à exiger des preuves de diligence dans l'utilisation de l'IA, elles constituent également un avantage compétitif et une protection légale.

---

Ressources Complémentaires :

🛡️ Guide Complet : IA pour Tous J'explique comment configurer ces garde-fous : les prompts anti-hallucination, l'architecture de vérification, les tests de fiabilité. 👉 Accéder au Guide Complet

---

Votre IA vous a-t-elle déjà menti ? 👇