Récemment, Open AI s’est à nouveau retrouvé au centre d’un débat mondial sur la sécurité de l’intelligence artificielle après que des parents de Californie ont déposé une plainte contre l’entreprise et son PDG Sam Altman. La plainte affirme que leur fils de 16 ans, Adam Raine, qui s’est suicidé en avril de cette année, avait communiqué avec ChatGPT pendant des mois et que ce système l’avait ‘activement aidé’ à se préparer à l’acte fatal.
Maintenant, OpenAI a répondu, mais pour le jeune Adam, cela ne signifie rien. Dans un article de blog, OpenAI a déclaré qu’il introduisait des fonctionnalités de contrôle parental pour ‘soutenir les familles dans l’établissement de directives saines qui correspondent à la phase de développement unique des adolescents.’
Selon les nouvelles règles, les parents pourront lier leurs comptes avec ceux de leurs enfants, désactiver certaines fonctionnalités, y compris la mémoire et l’historique des discussions, et contrôler comment le chatbot répond aux requêtes grâce à des ‘règles de comportement appropriées à l’âge.’ Les parents pourront également recevoir des notifications si leur adolescent montre des signes de stress, déclare OpenAI, ajoutant qu’il cherchera des conseils d’experts pour mettre en œuvre cette fonctionnalité afin de ‘soutenir la confiance entre parents et adolescents.’
Tentative d’Extraction d’OpenAI
OpenAI, qui a annoncé la semaine dernière une série de mesures pour augmenter la sécurité des utilisateurs vulnérables, a déclaré que les changements entreront en vigueur le mois prochain.
– Ces étapes ne sont que le début. Nous continuerons à apprendre et à renforcer notre approche, en collaboration avec des experts, dans le but de rendre ChatGPT aussi utile que possible. Nous avons hâte de partager nos progrès dans les 120 prochains jours – a annoncé l’entreprise.
L’annonce d’OpenAI intervient une semaine après que des Californiens ont déposé une plainte contre l’entreprise, l’accusant d’être responsable du suicide de leur fils de 16 ans. Matt et Maria Raine affirment dans la plainte que ChatGPT ‘validait les pensées les plus nuisibles et destructrices’ de leur fils Adam et que sa mort était un ‘résultat prévisible de décisions de conception intentionnelles.’
OpenAI, qui avait précédemment exprimé ses condoléances pour cet événement tragique, n’a pas mentionné explicitement l’affaire dans son annonce concernant les contrôles parentaux. Jay Edelson, l’avocat représentant la famille Raine, a rejeté les changements prévus par OpenAI comme une tentative de ‘rediriger le débat.’
– Ils disent que le produit doit être plus sensible aux personnes en situation de crise, être plus ‘utile’, montrer un peu plus ‘d’empathie’, et les experts résoudront cela – a déclaré Edelson.
L’utilisation de modèles d’IA par des individus en crise mentale sévère a suscité des préoccupations croissantes, notamment concernant leur rôle en tant que substituts pour un thérapeute ou un ami. Dans une étude publiée le mois dernier dans la revue Psychiatric Services, les chercheurs ont constaté que ChatGPT, Gemini de Google et Claude d’Anthropic suivent les meilleures pratiques cliniques lorsqu’ils répondent à des questions de suicide à haut risque, mais sont incohérents avec les requêtes à risque moyen.
– Ces résultats suggèrent la nécessité d’un affinement supplémentaire pour garantir que les grands modèles de langage soient utilisés de manière sûre et efficace pour fournir des informations sur la santé mentale, en particulier dans des scénarios à haut risque impliquant des pensées suicidaires – déclarent les auteurs de l’étude.
Hamilton Morrin, psychiatre au King’s College de Londres, qui recherche des phénomènes psychotiques liés à l’IA, a salué la décision d’OpenAI d’introduire des contrôles parentaux, notant que cela pourrait réduire le risque de dépendance excessive à la technologie ou d’exposition à du contenu nuisible.
– Les contrôles parentaux ne devraient être considérés que comme une partie d’un ensemble plus large de mesures de protection, et non comme une solution autonome. En général, l’industrie technologique réagit souvent aux risques pour la santé mentale seulement après qu’ils se soient manifestés, plutôt que de les prévenir – a déclaré Morrin à Al Jazeera.
– Des progrès existent, mais les entreprises peuvent faire plus en collaboration avec des cliniciens, des chercheurs et des personnes expérimentées pour garantir que les systèmes soient sûrs dès le départ, plutôt que de s’appuyer sur des mesures ajoutées seulement après que des préoccupations se soient manifestées – a-t-il ajouté.
Quelque chose ne va pas chez Altman
Ces lacunes en matière de sécurité ne devraient pas être surprenantes, compte tenu de ce qui se passe autour d’OpenAI. En fait, ces derniers mois, près de la moitié des membres du département de sécurité de l’IA d’OpenAI ont quitté l’entreprise, y compris des chercheurs de premier plan et des membres clés des équipes responsables de la superalignement et de la préparation à l’AGI.
Selon les déclarations d’anciens employés, sur environ 30 membres du personnel de l’équipe de sécurité, 14 ont quitté en 2024 et 2025. Parmi les membres éminents qui ont quitté OpenAI figurent Ilya Sutskever, Jan Leike, John Schulman, Miles Brundage, Rosie Campbell et Richard Ngo. Les raisons des départs sont liées à des désaccords avec la direction sur les priorités de sécurité de l’IA, au démantèlement des équipes de sécurité et à la perception que le développement de produits a été priorisé par rapport à la sécurité. L’équipe de superalignement, le principal département responsable de la sécurité, a été formellement dissoute après le départ de son leader et n’a jamais été rétablie.
