Plus de 100 PDG et scientifiques, dont le patron de ChatGPT, Sam Altman, mettent en garde contre le « risque d’extinction » des futurs systèmes d’IA

Même si de nombreuses industries – y compris l’industrie de la musique – explorent l’IA dans l’espoir de trouver des gains d’efficacité et de nouvelles capacités, les inquiétudes concernant les applications futures de la technologie continuent de croître.

Dans le dernier exemple en date, plus de 100 experts en IA et entrepreneurs dans les domaines de l’IA et de la haute technologie ont signé une déclaration d’une phrase mettant en garde contre les dangers potentiels de l’intelligence artificielle.

« Atténuer le risque d’extinction de l’IA devrait être une priorité mondiale aux côtés d’autres risques à l’échelle de la société tels que les pandémies et la guerre nucléaire », indique le communiqué publié mardi 30 mai par le Center for AI Safety (CAIS).

Parmi les personnes notables qui ont apposé leur signature sur la déclaration figuraient les PDG des principaux laboratoires d’IA, dont Sam Altman, le PDG du développeur ChatGPT OpenAI ; Denis Hassabis, PDG de Google DeepMind ; et Dario Amodei, PDG d’Anthropic. Le musicien Grimes est également signataire.

Altman a récemment témoigné devant le Congrès américain, plaidant pour la réglementation de la technologie de l’IA, y compris l’octroi de licences aux développeurs d’IA.

Parmi les autres signataires figurent Geoffrey Hinton et Yoshua Bengio, deux des trois personnes qualifiées de «parrains de l’IA». Avec Yann LeCun, ils ont remporté le prix Turing 2018 pour leurs travaux sur l’apprentissage automatique.

LeCun, qui travaille chez le propriétaire de Facebook, Meta, n’a pas signé la lettre, et un communiqué de presse du CAIS a désigné Meta pour son absence.

Hinton a récemment attiré l’attention du public lorsqu’il a démissionné de son poste chez Google afin de concentrer ses efforts sur l’avertissement du public sur les dangers de l’IA. Hinton a déclaré aux médias qu’il regrettait maintenant son travail dans le domaine de l’IA.

« En ce moment, ce que nous voyons, ce sont des choses comme GPT-4 qui éclipsent une personne dans la quantité de connaissances générales dont elle dispose et cela les éclipse de loin. En termes de raisonnement, ce n’est pas aussi bon, mais cela fait déjà un raisonnement simple », a-t-il déclaré.

« Et étant donné le rythme des progrès, nous nous attendons à ce que les choses s’améliorent assez rapidement. Nous devons donc nous en préoccuper.

La déclaration du CAIS fait suite à une précédente lettre ouverte signée par des PDG et des experts en IA, dont le PDG de Tesla et propriétaire de Twitter, Elon Musk, pour « suspendre immédiatement pendant au moins six mois la formation de systèmes d’IA plus puissants que GPT-4 ».

La lettre, publiée en mars, ajoutait : « Cette pause doit être publique et vérifiable, et inclure tous les acteurs clés. Si une telle pause ne peut pas être décrétée rapidement, les gouvernements devraient intervenir et instituer un moratoire.

« Nous devons avoir les conversations que les scientifiques nucléaires avaient avant la création de la bombe atomique. »

Dan Hendrycks, Centre pour la sécurité de l’IA

Dans un communiqué de presse accompagnant la déclaration de mardi, le CAIS a établi un parallèle entre la création de systèmes d’IA à grand modèle de langage et le développement de la bombe nucléaire dans les années 1940, et a suggéré que, tout comme la bombe atomique s’est accompagnée d’un débat et d’une discussion sérieux sur le confinement ses risques, le développement de l’IA devrait également s’accompagner d’un débat sérieux sur ses impacts potentiels.

« Nous devons avoir les conversations que les scientifiques nucléaires avaient avant la création de la bombe atomique », a déclaré Dan Hendrycks, directeur du PCSRA.

Au cours des dernières années – et surtout au cours des six derniers mois – l’IA générative s’est rapidement imposée dans diverses industries, notamment dans le secteur de la musique.

Les sites de création de musique IA comme Boomy ont généré des millions de pistes, et certains dirigeants s’inquiètent du flot de musique – dont certaines sont générées par l’IA – qui fait son chemin sur les plateformes de streaming. Au dernier décompte, environ 120 000 nouvelles pistes sont téléchargées chaque jour sur des services de streaming musical.


Dans la sphère publique au sens large, l’attention portée à l’IA générative s’est concentrée sur les chatbots tels que ChatGPT, qui est apparu sur la scène fin 2022 et a atteint 100 millions utilisateurs actifs en quelques mois.

« L’esprit humain n’est pas, comme ChatGPT et ses semblables, un moteur statistique pesant pour la correspondance de modèles, se gorgeant de centaines de téraoctets de données et extrapolant la réponse conversationnelle la plus probable ou la réponse la plus probable à une question scientifique. »

Noam Chomsky, linguiste

Certains ont exprimé leur inquiétude quant à l’impact potentiel sur la main-d’œuvre. Un rapport de la banque d’investissement Goldman Sachs a estimé que l’équivalent de 300 millions les emplois à temps plein pourraient être éliminés par la technologie de l’IA des grands modèles linguistiques.

Cependant, à mesure que les chatbots deviennent de plus en plus omniprésents, les utilisateurs leur trouvent des défauts qui ont mis en doute à quel point ces applications se révéleront vraiment « intelligentes » – et utiles – à long terme.

Dans un fil Twitter récentCalvin Howell, professeur à l’Université Duke en Caroline du Nord, a demandé à ses étudiants d’utiliser ChatGPT pour rédiger un essai, puis de noter cet essai, à la recherche de fausses informations et d’autres problèmes.

« Les 63 essais contenaient des informations hallucinées. Fausses citations, fausses sources ou sources réelles mal comprises et mal caractérisées », a écrit Howell. « Chaque mission. J’étais abasourdi – je pensais que le taux serait élevé, mais pas si élevé.

« La plus grande leçon à en tirer est que les étudiants ont tous appris qu’il n’est pas entièrement fiable. Avant de le faire, beaucoup d’entre eux avaient l’impression que c’était toujours juste.

Dans un autre cas, un avocat plaidant devant un tribunal de New York a été contraint d’admettre qu’il avait utilisé ChatGPT pour rédiger ses mémoires, après avoir découvert que le chatbot avait inventé des précédents à partir de rien.

L’avocat Steven Schwartz a déclaré au tribunal qu’il n’avait jamais utilisé ChatGPT pour des recherches juridiques avant l’affaire et « n’était pas au courant de la possibilité que son contenu puisse être faux ».


Les révélations selon lesquelles ChatGPT est capable de fabriquer des informations font écho à un avertissement de Noam Chomsky, le célèbre professeur de linguistique, qui a averti dans un New York Times essai ce printemps que les grandes applications de modèles linguistiques comme ChatGPT seront probablement défectueuses de par leur nature même.

« Quelle que soit l’utilité de ces programmes dans certains domaines étroits (ils peuvent être utiles en programmation informatique, par exemple, ou pour suggérer des rimes pour des vers légers), nous savons par la science de la linguistique et la philosophie de la connaissance qu’ils diffèrent profondément de la façon dont les humains raisonnent et utilisent le langage. Ces différences limitent considérablement ce que ces programmes peuvent faire, en les encodant avec des défauts indéracinables », a écrit Chomsky avec les co-auteurs Ian Roberts et Jeffrey Watamull.

« L’esprit humain n’est pas, comme ChatGPT et ses semblables, un moteur statistique pesant pour la correspondance de modèles, se gorgeant de centaines de téraoctets de données et extrapolant la réponse conversationnelle la plus probable ou la réponse la plus probable à une question scientifique. »

Chomsy et ses co-auteurs ont ajouté : « ChatGPT et les programmes similaires sont, de par leur conception, illimités dans ce qu’ils peuvent « apprendre » (c’est-à-dire mémoriser) ; ils sont incapables de distinguer le possible de l’impossible.L’industrie de la musique dans le monde