Inceste de données : Quelle est la dangerosité de la dégénérescence de l’intelligence artificielle générative

La monarchie des Habsbourg, l’une des dynasties les plus puissantes de l’histoire, est tombée à cause de l’inceste qui a conduit à la dégénérescence. Cette dynastie, qui a régné sur de grandes parties de l’Europe et du monde, est progressivement devenue plus faible jusqu’à s’éteindre complètement. Ce déclin n’était pas le résultat de forces externes ou d’invasions hostiles, mais plutôt d’une dégénérescence interne causée par l’inceste. Un problème similaire pourrait surgir dans le monde de l’intelligence artificielle (IA) – ‘inceste de données’.

Ce phénomène se produit lorsque l’IA utilise des données pour apprendre à partir de données générées par une autre IA. Cela peut conduire à une dégénérescence des données, similaire à ce qui s’est passé dans la monarchie des Habsbourg. Cette analogie peut nous aider à mieux comprendre les dangers potentiels menaçant le monde de l’intelligence artificielle.

Résultats déformés, ennuyeux et de mauvaise qualité

L’IA générative, qui est omniprésente dans nos vies numériques et réelles, est basée sur des données créées par des humains. Les grands modèles de langage (LLM) ne génèrent pas de contenu à partir de zéro, mais sont formés pour générer des réponses (par exemple, texte, images) en utilisant des matériaux créés par de vraies personnes, généralement collectés sur le web et d’autres sources publiques. Cependant, lorsque l’IA générative est formée sur du contenu créé de manière synthétique, des choses étranges commencent à se produire. C’est précisément ce qu’indique une étude récemment publiée par des chercheurs de Stanford University.

L’étude aborde les défis de la formation de grands modèles de langage d’intelligence artificielle où des données synthétiques sont utilisées pour leur formation. Les auteurs révèlent que sans suffisamment de nouvelles données réelles pour former les modèles, la qualité ou la diversité des réponses générées décline progressivement. L’étude présente trois conclusions clés sur l’impact des différentes méthodes de formation sur la qualité et la diversité des réponses générées. Dans les cas où les modèles sont formés exclusivement sur des données synthétiques des générations précédentes, la qualité et la diversité déclinent progressivement. Cependant, si les modèles sont formés sur une combinaison de données synthétiques des générations précédentes et d’un ensemble fixe de données réelles, la diversité décline, mais la qualité reste inchangée. Enfin, lorsque les modèles sont formés sur un mélange de données synthétiques des générations précédentes et de nouvelles données réelles, la qualité et la diversité sont maintenues.

On estime qu’aujourd’hui, environ la moitié des personnes utilisent activement l’IA générative dans les universités et les bureaux du monde développé. Elles utilisent des outils d’IA – tels que ChatGPT, Google Bard, Microsoft Bing, et d’autres – pour créer une grande quantité de contenu synthétique qui finit dans le domaine public et devient ainsi un contenu pouvant être utilisé pour former de grands modèles de langage qui alimentent les outils d’IA. C’est là que réside le danger de ‘l’inceste de données’, conduisant à des résultats de plus en plus déformés, ennuyeux et de mauvaise qualité générés par l’IA. Ce phénomène peut être comparé à l’inceste dans la monarchie des Habsbourg, où l’interbreeding continu des membres de la famille a conduit à une dégénérescence génétique et à l’affaiblissement de la dynastie.

Conséquences de grande portée

Le problème est que les grands modèles de langage ont besoin de nouvelles données pour leur développement, et l’internet est de plus en plus inondé de contenu synthétique. S’il y a trop d’inceste destructeur, tout pourrait simplement s’effondrer. Des chercheurs de Stanford ont découvert qu’il ne faut que cinq cycles de formation sur des données synthétiques pour que les réponses fournies par l’IA deviennent inutiles. Dans ce cas, les conséquences de ‘l’inceste de données’ peuvent être de grande portée. Tout comme la dégénérescence a conduit à la chute de la monarchie des Habsbourg, l’inceste de données pourrait également conduire à la chute de l’IA générative.

Une aide est disponible

Pour éviter ‘l’inceste de données’, une solution possible est d’utiliser des filigranes (eng. watermark) pour identifier les données synthétiques et les supprimer. Cette méthode, bien que non parfaite, peut aider à réduire la quantité de données synthétiques utilisées pour former des modèles d’IA. Cependant, les utilisateurs doivent être conscients que leurs données, si elles sont publiées sur internet ou utilisées lors de l’utilisation d’outils d’IA, feront partie des données pouvant être utilisées pour la formation ultérieure des modèles.

De plus, les entreprises développant des modèles d’IA doivent être conscientes des dangers que pose ‘l’inceste de données’. Si des données synthétiques sont utilisées pour former des modèles, il y a un risque que ces modèles deviennent moins utiles avec le temps, produisant des résultats de plus en plus pauvres et peu intéressants. Cela pourrait entraîner une diminution de la qualité des services fournis par ces entreprises, ce qui pourrait finalement affecter leur valeur et leur compétitivité sur le marché.

D’autre part, les utilisateurs de modèles d’IA ont également un rôle à jouer dans la résolution de ce problème. Ils peuvent aider à réduire ‘l’inceste de données’ en étant conscients des types de données qu’ils génèrent et partagent sur internet. Ils peuvent également soutenir les entreprises qui s’attaquent activement à ce problème, soit en utilisant leurs services, soit en fournissant des retours sur la qualité des données générées. Tout comme la chute de la monarchie des Habsbourg était un avertissement pour les générations futures, l’inceste de données peut également être un avertissement pour l’avenir de l’IA.

Un pas vers l’effondrement

Sans une gestion et un contrôle appropriés, l’IA pourrait suivre un chemin vers la dégénérescence et l’effondrement éventuel. Résoudre ce défi nécessite une prise de conscience et une proactivité de tous les participants – des programmeurs et des entreprises développant des modèles d’IA aux utilisateurs qui utilisent ces modèles. Nous devons tous être conscients des dangers potentiels de ‘l’inceste de données’ et prendre des mesures pour prévenir ses conséquences potentiellement catastrophiques.

En conclusion, ‘l’inceste de données’ représente un défi sérieux pour l’avenir de l’IA. Tout comme dans le cas de la monarchie des Habsbourg, le mélange incontrôlé de gènes au sein de la même famille – dans ce cas, l’utilisation de données générées par l’IA pour former d’autres IA – peut conduire à la dégénérescence et finalement à l’effondrement. Pour éviter ce scénario, nous devons être conscients de ce problème et travailler activement à le résoudre. Ce n’est qu’alors que nous pourrons garantir que l’IA continue à fournir des services utiles et innovants sans faire face à sa propre version de l’effondrement des Habsbourg.