TikTok teste une fonctionnalité actuellement appelée « AI Song » sur sa plate-forme qui utilise un grand modèle de langage pour alimenter la génération de paroles provoquée par la saisie de texte.
Comme l’a rapporté pour la première fois Le bordle nouvel outil a été repéré par les utilisateurs sur la plateforme de médias sociaux appartenant à ByteDance au cours de la semaine dernière.
L’outil ne génère pas de musique, mais plutôt des paroles, à l’aide d’un LLM appelé BLOOM, qui signifie BigScience Large Open-science Open-access Multilingual Language Model.
MBW comprend que la musique associée à ces paroles a été produite en interne chez TikTok.
Selon le document de recherche de BigScience présentant BLOOM en novembre 2022, le LLM est un «176 milliards modèle de langage de paramètres formé sur 46 langues naturelles et 13 langages de programmation ».
BigScience est décrit comme « un projet de science ouverte composé de centaines de chercheurs du monde entier ».
Le document ajoute que BLOOM « a été développé et publié par une collaboration de centaines de chercheurs » et que « le calcul pour la formation de BLOOM a été fourni grâce à une subvention publique française de GENCI et de l’IDRIS, en tirant parti du supercalculateur Jean Zay de l’IDRIS ».
L’ensemble de données utilisé pour entraîner BLOOM s’appelle le corpus ROOTS, décrit dans un document de recherche de BigScience comme un ensemble de données multilingues composites de 1,6 To.
BigScience indique dans cet article que l’un de ses « objectifs fondateurs » était de former un « LLM en libre accès, massivement multilingue, comparable en échelle » au GPT-3 d’OpenAI – « mais formé sur un ensemble de données multilingues mieux documenté et plus représentatif ».
Le dernier test de TikTok fait suite au lancement par la plateforme l’année dernière d’une application de production musicale gratuite appelée Ondulation. L’application possède deux fonctionnalités clés : un générateur « Melody to Song » et un studio d’enregistrement virtuel.
La fonctionnalité Melody to Song lancée l’année dernière dans le cadre de Ripple permet aux utilisateurs de chanter ou de fredonner une mélodie directement dans l’application, et Ripple élargira ensuite la mélodie en générant un accompagnement instrumental dans une variété de genres différents.
Selon ByteDance, le modèle d’IA a été formé sur de la musique sous licence ou détenue par l’entreprise.
La société avait déclaré à MBW à l’époque qu’elle n’était pas formée à la musique des grandes maisons de disques. MBW comprend que Bytedance a également utilisé de la musique produite en interne pour former le modèle.
ByteDance avait déclaré à l’époque : « Nous nous engageons à respecter à la fois les droits de nos partenaires artistes et titulaires de droits et ceux de nos utilisateurs créateurs, tout en protégeant leurs œuvres contre les abus sur nos plateformes ».
En 2022, MBW a annoncé que TikTok et sa société mère ByteDance recrutaient un certain nombre de spécialistes hautement qualifiés de l’apprentissage automatique et de la création musicale par IA aux États-Unis et en Chine.
Cette vague d’embauches semble marquer un doublement des ambitions de ByteDance en matière de création musicale basée sur l’IA, suite à son acquisition en juillet 2019 de Jukedeck, une startup britannique basée sur AI Music spécialisée dans la création de musique libre de droits pour les vidéos en ligne générées par les utilisateurs. .
MBW a également noté en 2022 que ByteDance avait récemment lancé une application de création musicale basée sur l’apprentissage automatique appelée Mawf, qui analyse les signaux audio entrants, puis « restitue » ces signaux en utilisant ce qu’elle dit être des modèles d’instruments de musique appris par machine. .
De plus, selon un rapport de 2022 du site d’information Planète technologique, ByteDance a également récemment lancé une application de création musicale en Chine appelée « Sponge Band ».
Selon Tech Planet rapport, cette application d’enregistrement et d’édition musicale comprend également des outils d’IA et note qu’elle est particulièrement « utile pour les utilisateurs qui souhaitent améliorer davantage les effets audio et la musique de fond pour les courtes vidéos ».
MBW comprend que les trois applications, Mawf, Spongeband et Ripple, sont toutes des applications autonomes.
