Spotify détient un brevet pour une technologie permettant de générer des mashups de chansons personnalisés.
Le dossier, découvert par MBW, décrit un système capable d'analyser les chansons pour déterminer quelles pistes sont musicalement compatibles, puis de les combiner automatiquement dans de nouvelles versions de mashup pour les utilisateurs individuels.
Selon le document, que vous pouvez lire dans son intégralité ici, la technologie fonctionnerait en séparant d'abord les pistes en leurs composants – voix et instrumentaux – puis en « ajoutant la composante vocale » d'« au moins une piste musicale à au moins un segment sélectionné de la piste musicale de base ».
En d’autres termes, l’algorithme de Spotify pourrait automatiquement superposer le chant d’une chanson sur la piste d’accompagnement d’une chanson complètement différente, même si les utilisateurs contrôleraient toujours les choix créatifs.
Le dossier explique : « Certains sites Web disponibles dans le commerce permettent aux utilisateurs d'écouter des listes de lecture adaptées à leurs goûts, sur la base de techniques d'apprentissage automatique de pointe. Cependant, l'art de personnaliser les morceaux musicaux eux-mêmes selon les goûts des utilisateurs n'a pas été perfectionné. »
Notre découverte arrive juste après l'annonce selon laquelle Spotify prévoit de développer des produits musicaux IA « axés sur les artistes » en partenariat avec Sony Music Entertainment, Universal Music Group, Warner Music Group, Merlin et Believe.
L’une des grandes questions qui ont suivi cette annonce était de savoir ce que pourraient être exactement ces produits.
Un porte-parole de Spotify nous a déclaré mardi 21 octobre que le brevet de mashup de chansons de la société n'avait « aucun rapport avec l'annonce de la semaine dernière ».
Le brevet décrit un système qui évaluerait les caractéristiques musicales pour garantir la compatibilité, y compris ce que le dossier appelle « distances vectorielles des caractéristiques acoustiques », l'adaptation du tempo et la progression harmonique. Il analyserait si deux chansons sont dans des tonalités compatibles, ont des tempos similaires et si leurs rythmes s'alignent correctement.
« Un mashup est une fusion ou un mélange d'éléments disparates », indique le dépôt de brevet, soulignant que la création de combinaisons réussies nécessite un alignement musical minutieux.
La technologie effectuerait un traitement audio sophistiqué, du pitch shifting à l'étirement temporel, et ce que le brevet appelle un « raffinement des transitions » pour garantir des transitions musicales fluides.
Une analyse approfondie des archives des brevets américains révèle que l'invention détaillée dans le dossier du 5 juin, illustré ci-dessus, n'est pas entièrement nouvelle.
Le dépôt le plus récent fait suite à une demande de brevet initialement déposée aux États-Unis en décembre 2019 et accordé en octobre 2022.
Spotify a également déposé une demande de brevet en Europe en 2020. Elle a été accordée par l'Office européen des brevets le 18 juin de cette année.
En réponse à une demande de commentaires sur le brevet du mashup de chansons, un porte-parole de Spotify a déclaré : « Nous n'avons aucune nouvelle à partager sur ce brevet qui a été déposé pour la première fois en 2019 et rendu public en 2021. »
« Comme nous l'avons clairement indiqué, nous respectons le droit d'auteur et toute innovation future sera rendue possible grâce à des accords initiaux, au choix des artistes et des titulaires de droits et à une rémunération équitable. »
Porte-parole de Spotify
Ils ont ajouté : « Cela n'a aucun rapport avec l'annonce de la semaine dernière. Spotify a déposé des brevets pour des centaines d'inventions, et nous déposons de nouvelles demandes de brevet chaque mois. Certains de ces brevets pourraient faire partie d'une offre future, tandis que d'autres pourraient fournir des informations précieuses. «
« Comme nous l'avons clairement indiqué, nous respectons le droit d'auteur et toute innovation future sera rendue possible grâce à des accords initiaux, au choix des artistes et des titulaires de droits et à une rémunération équitable. »
Le brevet décrit l'adaptation de la création de mashups aux habitudes d'écoute de chaque utilisateur.
Selon le dossier, Spotify pourrait identifier « les morceaux de musique pour lesquels une pluralité d'utilisateurs ont une affinité », puis déterminer lesquels de ces morceaux populaires un utilisateur spécifique aime réellement, en utilisant au moins un de ces morceaux comme base pour des mashups personnalisés.
Le dossier fait également référence à la génération de titres personnalisés pour ces créations de mashups en combinant les mots des titres de chansons originaux, et même à la création de « pochettes d'album personnalisées » en mélangeant des images associées aux pistes combinées.
Contrôle utilisateur et interface
Le brevet décrit également des éléments d'interface utilisateur qui donneraient aux auditeurs le contrôle du processus de création de mashup. Les utilisateurs sélectionneraient une « piste de requête » pour servir de base, et le système suggérerait ensuite des pistes candidates compatibles qui pourraient être mélangées avec celle-ci.
Une interface de contrôle du volume permettrait aux utilisateurs d'ajuster la balance entre les composants vocaux et instrumentaux, contrôlant ainsi la place prédominante de chaque élément dans le mixage final. Selon les diagrammes du brevet, les utilisateurs pouvaient manipuler un curseur pour contrôler l'équilibre entre les composants vocaux et instrumentaux dans le mashup.
Cela suggère que la technologie serait interactive plutôt qu'entièrement automatisée, les utilisateurs prenant des décisions créatives sur les pistes à combiner et sur la manière de les équilibrer.
Le brevet révèle une sophistication technique considérable dans la manière dont le système créerait des transitions. Au-delà du tempo de base et de la correspondance des tonalités, il évaluerait des facteurs tels que la « stabilité du rythme », la « compatibilité du volume sonore », la « détection de l'activité vocale » et « l'équilibre des changements harmoniques ».
La technologie effectuerait ce que le brevet appelle « l’affinement des limites et des positions de transition » : analyser le contenu vocal pour éviter de couper les paroles au milieu d’une phrase et aligner les limites des segments sur les temps forts. Il appliquerait des fondus d'entrée, des fondus de sortie et un filtrage pour adoucir les transitions entre les segments combinés.
Pour chaque mashup potentiel, le système calculerait plusieurs scores de compatibilité – notamment le tempo, l’harmonie, le volume, l’activité vocale et la stabilité du rythme – puis les combinerait en un score global de « mashabilité verticale » et un score de « mashabilité horizontale » pour déterminer quels segments fonctionnent le mieux ensemble.
Spotify a été un générateur prolifique de brevets ces dernières années.
Certaines d’entre elles étaient assez ambitieuses – comme, par exemple, sa technologie A&R permettant de prédire les artistes qui se démarquent. Elle a également obtenu un brevet pour identifier les goûts musicaux en suivant les traits de personnalité de ses utilisateurs.
En 2023, nous révélions qu'elle avait déposé un brevet pour un système permettant de créer mixtapes numériques qui permettent aux utilisateurs d'intégrer leur propre audio avec une liste sélectionnée de chansons.
