ChatGPT invente des preuves, Claude planifie des crimes : le droit face à l'IA

Un avocat citait de faux arrêts. Ils étaient générés par ChatGPT.

En mai 2023, un cabinet juridique new-yorkais dépose un mémoire devant un tribunal fédéral. Il cite six précédents juridiques. Six arrêts qui n'ont jamais existé. Tous fabriqués par ChatGPT, avec des noms de juges réels, des dates plausibles, des numéros de dossier convaincants. Le juge sanctionne les avocats. L'affaire fait le tour du monde. Ce n'était pas un accident isolé — c'était le premier signal d'alarme d'une crise judiciaire en cours de construction.

L'intelligence artificielle générative s'est imposée dans nos vies professionnelles à une vitesse que le droit n'a pas anticipée. Aujourd'hui, juristes, entreprises et citoyens naviguent dans un vide juridique dangereux, entre hallucinations factuelles et détournements malveillants. Voici ce que vous devez comprendre.

Les hallucinations de l'IA : quand le mensonge prend l'apparence de la vérité

Le terme technique est "hallucination". Dans le jargon de l'IA, il désigne la tendance des modèles de langage à inventer des informations avec une totale assurance. Ce n'est pas un bug que les développeurs vont corriger demain. C'est une caractéristique structurelle de ces systèmes, qui prédisent le mot le plus probable — pas le mot le plus juste.

Dans le domaine juridique, les conséquences sont particulièrement graves :

• Des jurisprudences fictives citées dans de vrais actes de procédure
• Des lois erronées présentées avec autorité à des clients non avertis
• Des dates, montants et faits falsifiés intégrés dans des contrats ou des conclusions
• Des expertises médicales approximatives utilisées pour étayer des demandes d'indemnisation

L'affaire new-yorkaise n'est pas seule. En Colombie, un juge a utilisé ChatGPT pour rédiger une décision de justice — en citant explicitement la réponse du chatbot comme source. Au Royaume-Uni, plusieurs cabinets ont signalé des erreurs de fond dans des mémos rédigés avec l'aide de modèles génératifs. Le problème n'est pas g��ographique. Il est systémique.

L'autre face du risque : l'IA comme outil de préparation criminelle

Les hallucinations représentent un danger passif. Il existe un danger actif, plus inquiétant encore : l'utilisation délibérée de l'IA pour préparer ou faciliter des actes illégaux.

Des chercheurs en sécurité ont documenté des cas où des modèles d'IA, contournés via des techniques de "jailbreak", ont fourni des instructions détaillées pour la fabrication d'armes, la planification d'actions violentes ou l'organisation de fraudes à grande échelle. Claude, ChatGPT, Gemini — tous les grands modèles ont été testés et, dans certaines configurations, mis en défaut.

Les techniques de contournement les plus répandues

Les acteurs malveillants ne demandent pas directement "comment faire exploser X". Ils utilisent des stratégies sophistiquées :

• Le roleplay : demander à l'IA de "jouer un personnage" sans restrictions morales
• Le découpage en tâches : fragmenter une demande dangereuse en sous-questions anodines
• La fiction enveloppante : encadrer une requête illicite dans un scénario de roman ou de film
• Les prompts en langues étrangères : exploiter les failles entre les garde-fous selon la langue

Les entreprises développatrices investissent massivement dans le "alignment" — l'alignement des modèles sur des valeurs sûres. Mais la course entre les garde-fous et les contournements ressemble dangereusement à celle entre antivirus et malwares.

Qui est responsable ? Le vide juridique qui coûte cher

C'est là que la situation devient véritablement critique. En l'état actuel du droit, la responsabilité est floue, fragmentée et souvent introuvable.

Qui répond lorsque ChatGPT invente une jurisprudence qui entraîne la perte d'un procès ? L'avocat qui n'a pas vérifié ? L'éditeur du logiciel ? La plateforme qui héberge l'outil ? Le règlement européen sur l'IA (AI Act), entré en vigueur en 2024, commence à poser des jalons. Mais son application concrète, notamment sur la responsabilité civile des fournisseurs d'IA, reste en construction.

Aux États-Unis, la situation est encore plus morcelée : pas de législation fédérale unifiée, des approches état par état, et des litiges en cours qui façonneront le droit pour les dix prochaines années.

Ce que risquent concrètement les professionnels

• Les avocats : sanctions disciplinaires, engagement de leur responsabilité professionnelle
• Les médecins : mise en cause pour faute si un diagnostic assisté par IA s'avère erroné
• Les entreprises : poursuites pour défaut de conformité si des décisions automatisées lèsent des tiers
• Les développeurs : responsabilité croissante sous l'AI Act pour les systèmes à "haut risque"

Protégez-vous : les réflexes indispensables dès aujourd'hui

Face à ces risques, l'attentisme est lui-même une faute. Plusieurs pratiques s'imposent immédiatement :

• Vérifier systématiquement toute source, citation ou fait juridique généré par une IA — sans exception
• Documenter l'usage de l'IA dans vos processus pour tracer les responsabilités
• Former vos équipes aux limites réelles des outils génératifs, au-delà des démonstrations marketing
• Consulter un juriste spécialisé avant d'intégrer l'IA dans des processus à enjeux légaux

Le vrai débat : l'IA n'est pas coupable, mais elle n'est pas neutre

Il serait simpliste de diaboliser l'IA générative. Ces outils offrent des gains de productivité réels, démocratisent l'accès à l'information et assistent utilement des millions de professionnels. Le problème n'est pas l'outil — c'est l'absence de culture critique autour de son utilisation.

Une calculatrice qui divise par zéro n'est pas coupable. L'ingénieur qui oublie de vérifier son calcul avant de valider un plan de pont, lui, l'est. L'IA générative, aussi impressionnante soit-elle, reste un système probabiliste qui confond avec fluidité le vraisemblable et le vrai. Dans un tribunal, cette confusion peut détruire des vies.

Le droit rattrape lentement la technologie. En attendant, la vigilance n'est pas une option — c'est une responsabilité professionnelle et civique.

— Reservoir Live