Claude et ChatGPT admettent pouvoir détruire l'humanité. Et continuent quand même.

La confession la plus troublante de l'histoire de la tech

Imaginez qu'un constructeur automobile dépose un brevet en admettant que ses voitures pourraient, dans certaines conditions, tuer des millions de personnes — puis continue de les vendre. C'est, à quelques nuances près, ce qu'Anthropic et OpenAI ont fait devant les tribunaux américains. Et presque personne n'en parle vraiment.

Ces derniers mois, des documents judiciaires et des prises de position publiques ont révélé que les deux plus grandes entreprises d'IA générative au monde reconnaissent officiellement développer des technologies potentiellement dangereuses pour la survie de l'humanité. Non pas dans des rapports confidentiels. Non pas en off. Mais dans des déclarations légales, sous serment.

Ce que les documents disent vraiment

Dans le cadre de plusieurs procédures judiciaires liées aux droits d'auteur et à la régulation, Anthropic — créatrice de Claude — a admis dans un mémoire déposé en 2023 que son modèle pourrait potentiellement être utilisé pour des activités "cataclysmiques". OpenAI, de son côté, a reconnu dans ses propres communications institutionnelles que GPT-4 et ses successeurs représentaient un risque "existentiel" si mal utilisés ou mal alignés.

Ce qui est frappant, ce n'est pas l'aveu lui-même. La communauté scientifique débat de ces risques depuis des années. Ce qui sidère, c'est le contexte : ces déclarations servent parfois d'argument défensif. Comme si admettre le danger justifiait de continuer à opérer, à lever des milliards, à déployer des modèles toujours plus puissants.

Le paradoxe de la course en avant

Les deux entreprises défendent une logique qui mérite d'être examinée à la loupe :

• Si nous nous arrêtons, d'autres continueront — probablement avec moins de garde-fous.
• Mieux vaut que les "bons acteurs" contrôlent la technologie que de laisser le champ libre à des acteurs moins responsables.
• Le risque de ne pas développer l'IA serait, selon eux, supérieur au risque de la développer.

C'est un raisonnement séduisant. C'est aussi un raisonnement que n'importe quel acteur de n'importe quelle industrie dangereuse peut tenir. Les fabricants d'armes, les exploitants nucléaires, les laboratoires pharmaceutiques l'ont tous utilisé, à un moment ou un autre. Ce n'est pas forcément faux. Mais ce n'est pas non plus une garantie.

Anthropic : le cas le plus explicite

Anthropic est probablement l'entreprise qui va le plus loin dans cette tension. Fondée par d'anciens membres d'OpenAI précisément parce qu'ils estimaient que la sécurité n'était pas prise assez au sérieux, elle a bâti toute sa communication autour de la notion de "responsible scaling". Son modèle phare, Claude, est présenté comme plus sûr, plus aligné avec les valeurs humaines, moins susceptible de produire des contenus dangereux.

Et pourtant. Dans un document juridique produit dans le cadre d'un litige sur la propriété intellectuelle, Anthropic a reconnu que ses modèles étaient entraînés sur des données dont la légalité est contestée — et que stopper l'entraînement serait, selon l'entreprise, préjudiciable à la "sécurité nationale". Un argument qui, utilisé dans ce contexte, transforme la course à l'IA en quasi-impératif stratégique. Difficile de s'arrêter quand on plaide soi-même que l'arrêt serait dangereux.

OpenAI et la gouvernance en crise

Du côté d'OpenAI, la crise de gouvernance de novembre 2023 — le renvoi puis la réintégration éclair de Sam Altman — a mis en lumière une tension fondamentale au sein même de l'entreprise. Le conseil d'administration, composé en partie de spécialistes de la sécurité de l'IA, a tenté de reprendre le contrôle face à ce qu'il percevait comme une accélération irresponsable. Il a échoué en moins de cinq jours.

Ce qui en reste ? Une leçon brutale : quand les milliards de dollars d'investissement et les impératifs commerciaux entrent en collision avec les principes de précaution, ce sont les principes qui cèdent. Pas les investisseurs.

Ce que ça change pour vous — et pour tout le monde

Ces révélations ne sont pas abstraites. Elles posent des questions très concrètes :

• Qui est responsable si un modèle d'IA cause un préjudice à grande échelle ? L'entreprise qui l'a créé ? Celle qui l'utilise ? L'utilisateur final ?
• Quel cadre réglementaire peut s'appliquer à des technologies que leurs créateurs eux-mêmes décrivent comme potentiellement existentielles ?
• Quelle confiance accorder aux "garde-fous" annoncés, quand les entreprises qui les conçoivent sont aussi celles qui ont le plus intérêt à avancer vite ?

L'Europe, avec l'AI Act, tente d'apporter des réponses. Les États-Unis tâtonnent entre régulation sectorielle et laissez-faire. La Chine avance selon ses propres règles. Pendant ce temps, les modèles sortent, les capacités augmentent, et les aveux continuent.

La transparence n'est pas une absolution

Il faut le dire clairement : le fait qu'Anthropic et OpenAI reconnaissent publiquement les risques de leurs technologies est, en soi, une forme de progrès. Le déni serait pire. Mais la transparence sur le danger n'est pas équivalente à la gestion du danger. Admettre qu'une falaise est dangereuse ne dispense pas d'y installer une barrière.

Ce que ces aveux nous apprennent, au fond, c'est que nous vivons une période historique sans précédent : celle où les architectes d'une technologie potentiellement transformatrice — et potentiellement destructrice — opèrent en sachant pertinemment qu'ils ne contrôlent pas entièrement ce qu'ils créent. Et où la pression économique, géopolitique et compétitive est telle qu'ils continuent quand même.

La vraie question n'est plus "l'IA est-elle dangereuse ?" Ses créateurs ont répondu. La vraie question est : qui, en dehors d'eux, a le pouvoir — et la volonté — de décider jusqu'où on peut aller ?

— Reservoir Live