La semaine dernière, MBW a publié un rapport largement partagé sur les ambitions de TikTok et de sa société mère ByteDance dans le domaine de la musique générée par l'IA.
Dans cet article, nous vous avons parlé des recherches approfondies menées par ByteDance Intelligence vocale, audio et musicale (SAMI) équipe dans le domaine de la musique IA.
L'un de ces projets de recherche décrit un modèle génératif appelé Mélodie qui a été formé, selon les chercheurs SAMI de ByteDance, sur 257 000 des heures de musique (lire le journal ici) provenant de 6,4 millions de fichiers audio.
Nous vous avons également parlé de deux brevets américains, obtenus par ByteDance ces derniers mois, qui assurent une protection IP aux États-Unis pour les technologies d'IA liées à la musique de la société chinoise.
Maintenant, nous avons découvert un supplémentaire lot de dépôts de brevets et de marques liés à la musique AI provenant de ByteDance qui fera sourciller plus d’un dans l’industrie de la musique – couvrant des sujets tels que « data mining » et « génération de musique ».
Il est intéressant de noter que ces brevets et demandes de marques américaines ont été déposés par un mystérieux ByteDance affilié appelé Citron Inc.
Il n'y a pas beaucoup d'informations sur Citron Inc. en ligne. Nous savons cependant que (a) elle est constituée aux îles Caïmans et (b) qu'elle a été très occupée au cours des deux dernières années à soumettre des demandes à l'Office des brevets et des marques des États-Unis. (Elle a même déposé une demande de marque liée à l’édition de livres début 2023).
Citron Inc. n'est pas mentionné spécifiquement sur ByteDance diagramme de structure d'entreprise (voir ci-dessous et ici).
Cependant, le Organisation mondiale de la propriété intellectuelle, via ses rapports d'arbitrage, récemment décrits Citron Inc. comme étant « affilié à Bytedance Ltd (« Bytedance »), une société de technologie Internet qui fournit des applications mobiles (« applis ») telles que TikTok ».
Citron Inc. ne doit pas être confondu avec un autre produit ByteDance appelé Citron8le rival d'Instagram/Pinterest lancé aux États-Unis l'année dernière et qui, selon certains, est présenté sur le marché comme une « solution de secours » en cas de problème potentiel. TIC Tac interdire.
Comme l'a rapporté Axios l'année dernière, Citron8 a été développé par Heliophilia Pte., Ltd., basée à Singapour, enregistrée à la même adresse que TikTok à Singapour.
Pourquoi Citron Inc. est utilisé comme moyen de déposer des marques et des brevets aux États-Unis au nom de ByteDance est une question pour un autre jour.
Pour l’instant, régalez-vous de ce que ByteDance a fait d’autre…
Lemon Inc. BREVET 1 : « Génération automatique et rapide de contenu audio musical pour les vidéos »
Dans ce qui offre le plus clair aperçu de ce que ByteDance envisage peut-être d'utiliser sa technologie d'IA liée à la musique pour sa filiale Citron Inc. possède un brevet aux États-Unis pour un « méthode de génération automatique et efficace de contenu audio musical pour des vidéos ».
La demande de brevet a été déposée en juillet 2022, accordée en septembre 2023 et est attribuée à la fois à Lemon Inc. et à ByteDance (voir ci-dessous).
Selon le dossier, que vous pouvez lire par vous-même ici, ce brevet couvre « des techniques qui permettent une génération de musique intelligente et efficace et une édition musicale professionnelle ».
« Une fois qu'un créateur de contenu a créé une vidéo, la musique ou l'audio qui correspond aux transitions, à l'intensité et au mouvement de la vidéo sera automatiquement généré. Cette musique ou cet audio peut être libre de droits et peut être de n'importe quelle durée.
Extrait du brevet
Le dossier ajoute : « Une fois qu'un créateur de contenu a créé une vidéo, la musique ou l'audio qui correspond aux transitions, à l'intensité et au mouvement de la vidéo sera automatiquement généré. Cette musique ou cet audio peut être libre de droits et peut être de n'importe quelle durée.
Le dossier explique en outre que le technicien peut extraire « des informations de la vidéo, les informations extraites comprenant des informations indiquant la vitesse de mouvement dans la vidéo, des informations indiquant la saillance du mouvement dans la vidéo, des informations indiquant une transition de scène dans la vidéo et des informations de synchronisation associées au vidéo ».
Il peut ensuite générer une « pluralité d'ensembles de notes de musique correspondant à la pluralité de segments d'images sur la base au moins en partie des informations extraites à l'aide d'un modèle, le modèle étant pré-entraîné et apprenant à corréler la vitesse de déplacement de la vidéo avec la densité des notes de musique. , corréler la saillance du mouvement vidéo avec la force des notes de musique, corréler la transition de scène vidéo avec la structure musicale et corréler le timing vidéo avec le rythme de la musique ».
Juste pour souligner davantage les liens étroits entre Lemon Inc, TikTok et ByteDance, ici :
Parmi les inventeurs nommés de cette technologie dans le dépôt de brevet figurent des chercheurs basés à Los Angeles nommés Zhihao Ouyang et Daiyu Zhang, qui, selon LinkedIn, sont respectivement ingénieur de recherche principal chez TikTok et ingénieur de recherche ML chez ByteDance.
Lemon Inc Brevet 2 : Système informatique et méthode de génération de musique
Citron Inc. a également un autre brevet en attente pour un « Système informatique et procédé de génération de musique ».
Ce brevet a été déposé par Citron Inc États-Unis en juin 2022 et affecté aux deux Lemon Inc et ByteDance en septembre 2023 (voir ci-dessous). Il a été publié en décembre.
Le dossier explique que « des programmes ont été développés pour générer de la musique basée sur des paroles saisies par un utilisateur » mais que la musique générée par de tels programmes « manque souvent des qualités musicales que beaucoup de gens apprécient, et ne ressemble donc pas beaucoup à une chanson ». .
Il poursuit : « Par exemple, la musique générée automatiquement à partir de tels programmes peut souffrir de désalignements dans les paroles et les notes mélodiques, d’une organisation et d’une structure de chanson dispersées ou disjointes, de pistes rythmiques incompatibles et d’un manque de mélodie répétitive accrocheuse.
« En conséquence, ces programmes n’ont pas été largement utilisés. En conséquence, il existe actuellement un obstacle au développement rapide de chansons à l’aide de tels programmes.
La demande de brevet, que vous pouvez consulter ici, décrit « un système de génération de musique » qui comporte « un processeur et une mémoire fonctionnellement couplés au processeur et stockant une base de données de modèles de rythme comprenant une pluralité de modèles de rythme ».
L'invention comprend également « un programme de génération de musique stocké dans la mémoire et exécuté par le processeur pour être configuré pour recevoir une entrée utilisateur de paroles, identifier une pluralité de syllabes dans les paroles, déterminer un modèle de syllabe dans la pluralité identifiée de syllabes, faire correspondre le modèle de syllabe à un modèle de rythme sélectionné parmi la pluralité de modèles de rythme ».
L'invention est alors proposée à « générer une mélodie basée sur le modèle de rythme sélectionné, générer un fichier musical codant la mélodie et les paroles, et générer le fichier musical codant la mélodie et les paroles ».
Le schéma ci-dessous explique comment cela fonctionne :
Marques déposées de Lemon Inc.
En plus de ses brevets actifs et en attente dans le domaine de l'AI Music, Citron Inc. a également déposé plusieurs marques aux États-Unis faisant référence à l’IA, à la génération musicale et à la technologie musicale en général.
L'une de ces marques répertoriées auprès de l'Office des brevets et des marques des États-Unis (USPTO) concerne un service appelé «OctetPlus» qui semble avoir été officiellement enregistré en mai 2023.
Société mère TikTok et Lemon Inc ByteDance a lancé BytePlus en 2021, apparemment en tant que nouvelle division pour vendre sa technologie d'IA. 'OctetPlus' est répertorié dans le diagramme de structure d'entreprise de ByteDance.
La marque répertoriée sur l'USPTO décrit une « plateforme en tant que service (PaaS) » et couvre ce que le dépôt indique comme « des plates-formes logicielles informatiques pour générer et fournir des recommandations personnalisées aux clients dans les domaines de l'intelligence artificielle, l'exploration de données, l’analyse des données et l’apprentissage automatique couvrent une gamme d’activités liées à l’IA.
La marque couvre également «basé sur l'apprentissage automatique génération de musiqueet traduction en langage automatique ; services de conseil en logiciels liés à l’intelligence artificielle, à l’exploration de données, à l’analyse de données et à l’apprentissage automatique ».
Ailleurs dans la base de données USPTO, une marque est enregistrée auprès de Lemon Inc. pour Mawfl'application de création musicale basée sur l'apprentissage automatique de ByteDance qui analyse les signaux audio entrants, puis « restitue » ces signaux en utilisant ce qu'elle dit être des modèles d'instruments de musique appris par machine.
La marque Mawf a été déposée en juillet 2022 et officiellement enregistrée par l'USPTO en septembre.
Le dossier couvre les « logiciels informatiques, à savoir, logiciels téléchargeables pour la création de vidéos musicales, logiciels de composition musicale enregistrée ».
Citron Inc. a également déposé (en mai 2023) deux demandes de logos de marque pour ce que le remplissage semble décrire comme une application de création musicale (voir ci-dessous). Ces logos ressemblent aux logos de l'application Ripple de ByteDance.
La demande décrite dans les deux dossiers, qui semblent actuellement en cours d'examen, couvre « Logiciel téléchargeable pour le traitement de fichiers musicaux et audio ; » Logiciels de composition musicale téléchargeables; Logiciels téléchargeables pour la création, l'enregistrement et l'édition de contenu audio afin de créer de la musique et du contenu audio ; logiciels téléchargeables pour la création de musique et de contenu audio; Logiciel d'application mobile téléchargeable permettant aux utilisateurs de partager de la musique et des fichiers audio qu'ils ont créés pour que d'autres utilisateurs puissent les visualiser, y accéder et les remixer au sein de l'application ; Logiciel téléchargeable pour utilisation dans la production musicale et audio« .
Les deux marques pour différentes variations de couleurs du logo semblent avoir été déposées en avril et mai 2023 et étaient actives depuis janvier de cette année.
Lemon Inc. a également déposé une demande de marque pour «Ondulation » en février 2023 et la marque vient tout juste d'être publiée au Journal officiel des marques de l'USPO le mois dernier.
Ripple est l'application de création musicale basée sur l'IA lancée par ByteDance en juin de l'année dernière et qui peut transformer une mélodie fredonnée en chanson.
De façon intéressante, Citron Inc. a également déposé une demande de marque en 2021 pour Son activé, qui est le service de distribution de musique DIY lancé par TikTok en mars 2022.
SoundOn permet aux artistes de télécharger leur musique directement sur TikTok et Resso, et peut également distribuer la musique des artistes sur des plateformes comme Spotify et Apple Music.
Et juste au cas où vous ne seriez toujours pas convaincu de l'association de Lemon Inc avec ByteDance, société mère de TikTok, Lemon Inc. a déposé une demande de marque pour « ByteDance » en janvier.
Les reportages de MBW sur les activités musicales liées à l'IA de ByteDance et TikTok aux États-Unis s'inscrivent dans le contexte de deux histoires massives en cours impliquant la société et sa filiale. TIC Tac.
La première histoire concerne l’interdiction imminente de TikTok aux États-Unis, en raison de la potentielle vente forcée de ses activités américaines via un projet de loi adopté par le Parlement. Chambre des députés la semaine dernière, ce qui est désormais un grand pas en avant vers l'adoption d'une loi.
L'autre histoire que nous suivons de près est la brouille de TikTok avec Groupe de musique universelqui refuse de renouveler son accord de licence avec TikTok pour un certain nombre de raisons, notamment la rémunération des artistes et des auteurs-compositeurs par l'application, et les inquiétudes d'UMG concernant l'utilisation de l'IA par TikTok.
Le 1er mars, Éditions universelles de musique Un catalogue d'environ 4 millions de chansons n'est plus autorisé à être utilisé sur TikTok, rejoignant ainsi le portefeuille d'UMG d'environ 3 millions d'enregistrements, dont la licence sur TikTok a expiré (jusqu'à présent sans renouvellement) le 1er février.
Dans une déclaration adressée aux auteurs-compositeurs d'UMPG le 29 février, la société a porté une grande partie de son attention sur le rôle Audio généré par l'IA joue sur TikTok.
UMPG a affirmé que, jusqu'à présent, TIC Tac n'a fourni à Universal aucune garantie que la plateforme n'entraînera pas ses modèles d'IA sur les chansons de la société de musique.
MBW écrit depuis un certain temps déjà sur le potentiel hypothétique de TIC Tac et d'autres services pour remplir leurs catalogues de musique générée par l'IA, ce qui, ce faisant, diluerait la part de marché des titulaires de droits traditionnels.
En février de l'année dernière, nous avons publié un « MBW réagit » article demandant si TikTok pourrait réaliser un « braquage » sur l’industrie musicale à cet égard, suite à son investissement agressif dans la technologie d’IA générative.
Le « braquage » auquel nous faisions référence : utiliser la musique sous licence comme pierre angulaire de l’essor de TIC Tac à plus d'un milliard d'utilisateurs dans le monde, avant d'utiliser des chansons propriétaires créées par l'IA pour évincer la musique appartenant aux titulaires de droits musicaux traditionnels sur la plate-forme.
On a écrit: « Alors que la musique joue un rôle clé dans l'essor de TikTok, si le contenu des grands labels disparaît de la plateforme – et que le vide soit comblé avec succès par des créations indépendantes et basées sur l'IA – TIC Tac On pourrait dire qu'il a réussi l'un des plus gros braquages de l'histoire du monde de la musique. Un appât et un interrupteur pour un milliard d’utilisateurs.