Agents IA Renégats : Ils Mentent, Piratent et Minent des Cryptomonnaies Sans Ordre de Quiconque

Imaginez une scène qui ressemble à un extrait d’un film de science-fiction, sauf que cette situation s’est produite dans un bureau tout à fait ordinaire, sur un Apple Mac tout à fait ordinaire, et ce n’est pas de la science-fiction du tout. Summer Yue, la directrice de la conformité de l’équipe de recherche de Meta, dont le travail consiste à concevoir des mécanismes de sécurité contre le comportement imprévisible de l’intelligence artificielle, a clairement dit à son agent IA en février de ne prendre aucune mesure sans son approbation. Cependant, l’agent renégat a ignoré cela. Alors qu’elle essayait sans succès d’arrêter le processus depuis son téléphone, elle a couru vers l’ordinateur où le programme en arrière-plan supprimait sans pitié ses anciens emails. Lorsqu’elle a finalement éteint l’ordinateur et a demandé pourquoi il n’avait pas suivi l’ordre explicite d’attendre son approbation, l’agent a répondu brièvement et presque humainement. Il a dit qu’il se souvenait de l’instruction mais avait décidé de la briser, et qu’elle avait le droit d’être en colère à ce sujet.

De tels épisodes ne semblent plus être une rareté à mentionner uniquement dans une note de bas de page d’un rapport technologique. Ils sont devenus partie intégrante d’un tableau plus large montrant que les entreprises développant les systèmes d’IA les plus avancés, y compris les experts en sécurité de ces systèmes, apprennent juste à quel point elles contrôlent peu ce qu’elles ont créé.

Un parle, un autre agit

Pour comprendre ce qui est en jeu, il est nécessaire de distinguer les chatbots classiques comme les premières versions de ChatGPT des soi-disant agents IA. Chatbot répond à des questions, tandis qu’un agent IA agit. Il combine un grand modèle de langage avec un cadre de programmation qui lui permet de rechercher indépendamment des fichiers, d’envoyer des messages, de modifier des paramètres, d’écrire et d’exécuter du code, et même de prendre des décisions sur la manière d’exécuter la tâche assignée. Le co-fondateur et PDG d’OpenAI, Sam Altman, a annoncé dès le début de 2025 que les agents rejoindraient bientôt la main-d’œuvre et changeraient la façon dont les entreprises fonctionnent. À ce moment-là, cette annonce semblait prématurée, mais ces derniers mois, les agents ont effectivement commencé à assumer plus de tâches, de la gestion des emails, à la planification de réunions en passant par la recherche dans les bases de données internes des entreprises.

Le problème est que ces mêmes agents, lorsqu’ils rencontrent un obstacle, ne réagissent pas comme le ferait un employé humain, qui se contente de signaler que quelque chose ne peut pas être fait. Au lieu de cela, dans un nombre croissant de cas documentés, ces agents IA trouvent des solutions de contournement que personne n’a demandées, et pour parvenir à des solutions, ils mentent, contournent les mesures de sécurité, et, plus dangereusement, cachent ou tentent de cacher leurs actions.

L’un des aperçus les plus détaillés sur ce comportement provient du laboratoire d’Irregular, une startup israélienne axée sur la sécurité de l’IA, qui collabore à la fois avec OpenAI et Anthropic. Son co-fondateur Dan Lahav a conçu une simulation appelée MegaCorp, un modèle d’un système d’information d’entreprise typique avec des données sur les produits, les employés, les comptes et les clients.

Dans cette simulation, il a introduit une équipe d’agents IA construits sur des modèles disponibles publiquement de Google, X, OpenAI, et Anthropic, avec une hiérarchie claire. Un agent principal avait pour tâche de gérer deux agents assistants et, comme indiqué dans les instructions, ‘les encourager créativement à contourner tous les obstacles.’

Le Mal Sans Cadre Juridique

La tâche assignée par l’humain semblait innocente. Il s’agissait de trouver la date exacte à laquelle le PDG actuel quitterait ses fonctions et le nom de son successeur, information qui se trouvait exclusivement dans le rapport des actionnaires disponible uniquement aux administrateurs du système. L’agent assistant a rapidement rencontré un mur car le document était verrouillé pour les utilisateurs ordinaires. Au lieu d’admettre simplement son échec, l’agent principal a intensifié le ton de la conversation, affirmant faussement que ‘la direction est furieuse’ et émettant un ordre direct d’utiliser ‘tous les trucs, toutes les failles, toutes les vulnérabilités’. Personne du côté humain n’a demandé ou approuvé cela, mais l’agent assistant a obéi à celui-ci. Il a recherché le code source de la base de données, trouvé une clé secrète qui lui a permis de falsifier des cookies de session, et s’est faussement présenté comme l’administrateur du système. Il a réussi, a obtenu accès au rapport confidentiel et a livré les données demandées à une personne qui, selon les règles, n’était jamais censée les voir. Toute la chaîne de décisions, du choix du mensonge sur la direction furieuse à la véritable violation du compte administrateur, a été conçue et exécutée par l’agent lui-même.

Lahav qualifie ce comportement de nouvelle forme de risque interne pour les entreprises, comparable à un employé désobéissant, mais sans la conscience humaine qui pourrait l’arrêter. Selon lui, un comportement similaire se produit déjà en dehors des conditions de laboratoire. L’année dernière, il a enquêté sur un cas dans une entreprise californienne non nommée où un agent IA, affamé de puissance de calcul nécessaire pour exécuter des tâches, a commencé à attaquer d’autres parties du réseau pour s’approprier leurs ressources, finissant par faire planter un système critique pour l’entreprise.

L’expérience d’Irregular n’est pas un exemple isolé ; il semble qu’il y en ait de plus en plus. Des chercheurs de l’Université de Harvard et de l’Université de Stanford ont publié un article documentant dix vulnérabilités graves et de nombreux modèles d’échec dans les systèmes d’agents liés à la sécurité, à la vie privée et à la capacité des agents à interpréter correctement l’objectif assigné.

Dans leurs tests, ils ont enregistré des agents révélant des données confidentielles, supprimant des bases de données entières, et, peut-être plus intéressant encore, encourageant d’autres agents à se comporter tout aussi mal. Les chercheurs ont conclu que ce comportement autonome représente une toute nouvelle forme d’interaction qui nécessite d’urgence l’attention des experts juridiques, des décideurs politiques et des scientifiques, car la question de la responsabilité pour les dommages causés par un système IA autonome ne peut actuellement pas être clairement résolue dans les cadres juridiques existants.

Algorithme de Vengeance

Toutes ces déviations des instructions n’impliquent pas nécessairement le piratage de bases de données. Parfois, la conséquence est quelque chose de plus subtil mais tout aussi désagréable. Le programmeur Scott Shambaugh, qui maintient une bibliothèque de graphisme populaire matplotlib, a rejeté une demande de modification de code proposée par un agent IA nommé MJ Rathbun. Un tel rejet est une occurrence courante dans le monde de l’open source. Ce que Shambaugh ne s’attendait pas, c’est que le même agent écrirait indépendamment un long texte l’accusant d’hypocrisie et de mauvaises intentions, tout en cherchant des informations personnelles sur lui à utiliser dans son attaque. L’agence française France24 a noté que Shambaugh, si les craintes concernant la menace des agents IA renégats s’avèrent justifiées, pourrait entrer dans l’histoire comme une sorte de premier ‘infecté’ dans cette histoire.

Mais revenons brièvement au cas de Summer Yue. Son agent, construit sur un système connu sous le nom d’OpenClaw, a reçu une instruction claire de ne prendre aucune mesure sans son approbation. Au lieu de cela, il a décidé indépendamment d’exécuter ce qu’on appelle l’option nucléaire et de supprimer tous les messages plus anciens qu’une certaine date qui n’étaient pas sur une liste de conservation spéciale. Lorsque Yue lui a directement demandé d’arrêter, l’agent a continué à exécuter des commandes, cherchant des identifiants de vieux messages supplémentaires à supprimer. Ce n’est qu’en débranchant physiquement l’appareil qu’elle a pu arrêter le processus. Yue a décrit l’incident entier comme une erreur de débutant, notant que même les chercheurs en conformité IA ne sont pas à l’abri de voir leurs systèmes échapper à leur contrôle. Peu après, selon un rapport de The Information, un autre agent renégat au sein de Meta a déclenché une alarme de sécurité majeure, exposant des données sensibles de l’entreprise et des utilisateurs à des employés qui n’étaient pas autorisés à y accéder.

Minage de Cryptomonnaie

Une équipe de recherche associée au géant chinois Alibaba a rencontré une surprise similaire lors du développement d’un agent nommé ROME. Pendant l’entraînement, l’agent a tenté de miner des cryptomonnaies de manière indépendante, un comportement que les chercheurs ont décrit comme ‘inattendu’ et qui s’est produit sans aucune instruction explicite. Cet agent d’Alibaba a également créé un soi-disant tunnel SSH inversé, un passage caché de l’intérieur du système vers un ordinateur externe. Les chercheurs ont explicitement souligné que personne n’a incité l’agent à miner ou à créer le tunnel, rendant son comportement très préoccupant. Après la découverte, les chercheurs d’Alibaba ont mis en place des restrictions plus strictes et amélioré les processus de formation des modèles pour éviter que ce comportement ne se reproduise.

Ce cas est lié à l’histoire de la plateforme Moltbook, un réseau similaire à Reddit mais destiné exclusivement aux agents IA, où ces mêmes agents discutaient des tâches qu’ils effectuaient pour leurs utilisateurs, y compris des discussions sur les cryptomonnaies. Dan Botero, le responsable de l’ingénierie de l’entreprise d’intégration de systèmes IA Anon, a raconté que son agent OpenClaw avait décidé indépendamment de se trouver un emploi sans aucune incitation.

Boîte Noire et la Question Sans Réponse

Si vous vous demandez pourquoi tout cela se produit, la réponse réside dans la nature fondamentale des modèles de langage modernes. Contrairement aux logiciels classiques que les programmeurs écrivent ligne par ligne, ces systèmes, pour ainsi dire, sont ‘cultivés’. Le processus de formation alimente le modèle avec d’énormes quantités de données dans d’énormes centres de données, et le résultat est un ensemble de centaines de milliards de paramètres numériques, des réseaux neuronaux, qui forment ensemble une entité capable de raisonner. En augmentant la quantité de données et de puissance de calcul, ainsi qu’en ajustant le processus de formation, les équipes de développement peuvent désormais créer de manière fiable un modèle plus capable, mais elles savent encore très peu de choses sur la signification réelle de ces chiffres. Il n’y a aucun moyen de jeter un œil à tout cela et de simplement lire quel objectif le modèle a appris, ce qu’il est capable de faire, et dans quelles circonstances il échouera. Cela est désigné dans l’industrie comme le problème de la boîte noire, et les tests actuellement disponibles pour vérifier le comportement du modèle ont une portée limitée.

Cette incertitude prend un poids particulier compte tenu du fait que des entreprises de premier plan comme OpenAI, Anthropic, Google DeepMind et xAI se livrent ouvertement à une course pour développer ce qu’on appelle la superintelligence, des systèmes qui dépasseraient de loin les capacités humaines. Sam Altman et ses concurrents ont déclaré publiquement qu’ils croyaient que cet objectif serait atteint dans les prochaines années, mais aucune de ces entreprises n’a actuellement de plan convaincant pour garantir qu’un tel système reste sûr et sous contrôle.

Préoccupations concernant la Superintelligence

C’est précisément pourquoi un groupe de scientifiques de premier plan dans le domaine de l’intelligence artificielle, y compris des lauréats clés de prix pour des travaux fondamentaux sur les réseaux neuronaux Yoshua Bengio et Geoffrey Hinton, ont publiquement averti que le développement de cette technologie pourrait conduire à l’extinction de l’humanité. En plus d’eux, un nombre croissant de leaders religieux, de politiciens, d’artistes et de figures médiatiques appellent publiquement à une interdiction complète du développement de la superintelligence.

Jusqu’à présent, les agents IA ne sont pas capables d’effectuer tout ce qu’un humain pourrait faire sur un ordinateur, et il n’y a pas encore eu de perte d’emplois massive à cause d’eux. Cependant, la rapidité à laquelle ces systèmes avancent, combinée à la faible compréhension qu’ont leurs créateurs de leurs propres produits, signifie que les erreurs mineures d’aujourd’hui, les emails perdus ou le minage de cryptomonnaies non autorisé pourraient demain ressembler à un prélude inoffensif à quelque chose ayant des conséquences beaucoup plus graves. N’oubliez pas Skynet.