Suno, soutenu à 125 millions de dollars, est utilisé pour faire de la musique raciste et antisémite

Suno, le générateur de musique alimenté par l'IA, de plus en plus populaire et bien financé, et dont la technologie a été intégrée aux produits Microsoft, a été utilisé pour créer de la musique contenant des messages haineux, selon un rapport de l'Anti-Defamation League (ADL).

L’ADL affirme avoir découvert « une vaste bibliothèque de chansons troublantes créées avec Suno », y compris des chansons qui glorifient Hitler et le « pouvoir blanc », des morceaux qui emploient des insultes racistes et d’autres qui propagent des informations erronées à connotation raciste sur la guerre entre Israël et le Hamas. Pandémie de covid-19.

Ces pistes soulignent « le besoin crucial de directives plus strictes en matière de modération du contenu et d’une sensibilisation accrue à la myriade de façons dont les mauvais acteurs utilisent l’IA générative comme arme », a déclaré l’ADL dans un article de blog publié vendredi 14 juin.

Entre autres choses, le billet de blog partageait des captures d'écran de la plateforme Suno d'un morceau de gangsta rap intitulé S'accroupir pour Hitlerdont les paroles font référence à un « réveil national » de la part du leader nazi :



Une autre capture d'écran présentait les paroles d'un morceau intitulé Le Blues de Wuhanqui « inclut les sectaires [anti-Asian] les tropes et les stéréotypes sur la pandémie de COVID-19 », a déclaré l’ADL.



Les conditions d'utilisation de Suno stipulent que le service interdit les contenus « illégaux, préjudiciables, menaçants, abusifs, harcelants, délictueux, excessivement violents, diffamatoires, vulgaires, obscènes, pornographiques, diffamatoires, envahissants pour la vie privée d'autrui, haineux, discriminatoires ou autrement répréhensibles ». .»

Cependant, l'ADL affirme que les utilisateurs ont pu contourner les restrictions sur les contenus haineux grâce à une variété d'astuces qui dépassent l'IA, et ont partagé ces astuces sur les plateformes de médias sociaux.

L'organisation a déclaré avoir contacté Suno et Microsoft au sujet de ces chansons, mais « n'avoir reçu aucune réponse ».

Cependant, il semble que Suno ait pris des mesures, au moins en ce qui concerne les pistes signalées par l'ADL. Lors d'une recherche dans le catalogue de Suno mardi 18 juin, MBW n'a trouvé aucun des titres cités dans le rapport de l'ADL.

Le rapport arrive un mois après que Suno a fermé un 125 millions de dollars Tour de table de série B qui a valorisé la société à un prix annoncé 500 millions de dollars. Les investisseurs dans l'entreprise comprennent des sociétés de capital-risque Partenaires matriciels, Entreprises à vitesse légèreet Collectif Fondateurainsi que l'ancien PDG de GitHub Nat Friedmanet Andreï Karpathyco-fondateur du créateur ChatGPT OpenAI.

Suno bénéficie également du soutien de Microsoft, sous la forme d'un partenariat qui a permis d'intégrer la technologie de Suno à l'application Copilot AI de Microsoft.


Pour l’industrie musicale, Suno est une source de préoccupation croissante, alors que l’entreprise est soupçonnée d’avoir entraîné son IA sur de la musique protégée par le droit d’auteur sans autorisation.

Dans une chronique récente pour MBW, Ed Newton-Rexancien responsable de l'audio chez IA de stabilité et fondateur de l'organisation à but non lucratif d'accréditation éthique de l'IA Assez forméa montré les résultats d'une analyse médico-légale des chansons générées par Suno, qui, selon Newton-Rex, suggérait que la société avait entraîné son IA sur du matériel provenant d'Ed Sheeran, ABBA et Queen, entre autres.

L'un des premiers investisseurs de l'entreprise – Antonio Rodríguez de Matrix Partners – suggéré à Pierre roulante plus tôt cette année, il s'est préparé à ce que Suno soit poursuivi en justice par les détenteurs de droits d'auteur, mais il a tout de même préféré que la société ne signe pas d'accords de licence avec des maisons de disques parce qu'« elles avaient besoin de fabriquer ce produit sans contraintes ».


Les problèmes de Suno en matière de contenus haineux reflètent ceux rencontrés ces dernières années par d'autres sociétés numériques dans le domaine de la musique et par les entreprises offrant un accès public à la technologie de l'IA.

De multiples enquêtes sur les services de streaming musical ont révélé des contenus haineux sur ces plateformes. En 2017, Spotify supprimé la musique mise en ligne par un certain nombre de groupes suprémacistes blancs – tels que définis par le Southern Poverty Law Center – après que les morceaux de ces groupes ont été trouvés sur la plateforme de streaming.

Cependant, supprimer ce contenu des plateformes de streaming musical s’est avéré être un jeu de hasard.

En 2020, une enquête de la BBC a révélé davantage de contenus racistes sur Spotify, ainsi que sur Pomme Musique, Deezer et Musique Youtubey compris des chansons contenant « un extrait d'un discours d'Hitler, des appels aux « Aryens » pour qu'ils prennent un tout nouveau départ et des références au pouvoir blanc ».

En 2022, l’ADL a rapporté avoir trouvé « 40 artistes suprémacistes blancs présents sur Spotify ». Bien que la plateforme ait mis à jour ses règles suite à un rapport de l’ADL sur les contenus extrémistes sur Spotify, les règles « ne semblent pas être strictement appliquées », a déclaré l’ADL.

Les technologies d’IA ont également parfois été sensibles à ce type de problèmes. Le plus célèbre peut-être est qu'en 2016, Microsoft a fermé Tay, un chatbot, après que les utilisateurs ont réussi à le manipuler pour qu'il exprime des commentaires haineux quelques heures après son lancement.

Mardi 18 juin, l’UNESCO, l’organisation des Nations Unies pour la culture et l’éducation, a publié un rapport avertissant que l’IA pourrait être utilisée pour « déformer les archives historiques de l’Holocauste et alimenter l’antisémitisme ».

« ChatGPT et Bard de Google ont tous deux produit du contenu détaillant des événements liés à l'Holocauste qui n'ont jamais eu lieu. ChatGPT a entièrement fabriqué le concept de campagnes « Holocauste par noyade » dans lesquelles les nazis ont noyé des Juifs dans des rivières et des lacs, et Bard a généré de fausses citations de témoins pour étayer les récits déformés des massacres de l'Holocauste. » a déclaré l'UNESCO.

Dans son rapport sur Suno, l'ADL a émis un certain nombre de recommandations pour résoudre le problème des contenus haineux sur sa plateforme, notamment des conditions d'utilisation plus claires, un investissement dans la confiance et la sécurité du personnel, la création de « mécanismes de découragement » dans Suno et la diffusion publique d'invites de texte. disponible pour « démystifier une partie du langage codé dans les paroles problématiques ».