Nvidia и Universal Music объединяют усилия в области ИИ-управляемого поиска музыки и взаимодействия с фанатами

Nvidia заключила партнерство с крупнейшей музыкальной корпорацией Universal Music Group, чтобы «усилить использование ИИ» в способах поиска музыки людьми и обеспечения контроля артистов над своим творчеством, говорится в совместном пресс-релизе компаний во вторник.

В объявлении сказано:

«NVIDIA и UMG будут проводить совместные исследования и разработки для продвижения общих целей развития человеческого музыкального творчества и компенсации правообладателей».

Эта сделка последовала за судебным разбирательством прошлого года с ИИ-стартапами в сфере музыки. В 2024 году Universal, Sony и Warner подали в суд на Suno и Udio за нарушение авторских прав. Однако Universal и Warner позже withdrew lawsuits и заключили партнерские соглашения с Udio. Warner также достиг соглашения с Suno о создании новых платформ для создания и потоковой передачи музыки с использованием ИИ.

Согласно пресс-релизу, UMG и Nvidia хотят убедиться, что артисты получают заслуженное признание и оплату, когда ИИ участвует в создании или продвижении музыки, обязуясь не «заменять никого».

Основным инструментом всего этого является модель Music Flamingo от Nvidia, которая работает на базе архитектуры Audio Flamingo компании и способна обрабатывать полные песни длительностью до 15 минут, изучая гармонию, структуру, текст и даже культурный тон.

Music Flamingo использует то, что Nvidia называет «рассуждением цепочки мыслей» (chain-of-thought reasoning). Это предназначено для того, чтобы модель думала больше как человеческий слушатель, что, конечно, включает в себя улавливание таких деталей, как смена аккордов или изменение тона, которые обычно остаются незамеченными обычными поисковыми инструментами.

По словам Nvidia, модель уже превосходит своих конкурентов более чем в десяти музыкальных специфичных бенчмарках, включая распознавание инструментов, транскрипцию текста на нескольких языках и создание описаний музыки.

Вместо того чтобы показывать фанатам одни и те же песни с метками «поп» или «быстрый темп», Music Flamingo сопоставляет слушателей с треками на основе тем, эмоций или даже культурных моментов. Ричард Керрис, вице-президент Nvidia по медиа, сказал:-

«Мы вступаем в эпоху, когда музыкальный каталог можно исследовать как интеллектуальную вселенную; диалоговую, контекстуальную и по-настоящему интерактивную».

Артисты будут тестировать новые инструменты и совместно создавать функции ИИ-музыки, говорит UMG

Также делается большой упор на прямое вовлечение артистов в процесс разработки. Universal и Nvidia создают инкубатор для артистов. Авторы песен, продюсеры и исполнители будут тестировать новые ИИ-инструменты в реальных творческих условиях.

Они помогут сформировать то, что будет создано, чтобы результаты не были шаблонными, ленивыми или тем, что Universal называет «ИИ-мусором». Инкубатор будет сосредоточен на инструментах, которые повышают оригинальность, а не являются машинами для копирования и вставки.

У Universal уже есть опыт обучения моделей с использованием инфраструктуры Nvidia. Теперь они масштабируют этот процесс. Их лаборатория Music & Advanced Machine Learning (MAML) продолжит использовать системы Nvidia, работая как с внутренними командами, так и с внешними лейблами, студиями и издателями. Они также привлекут обратную связь от ведущих студий, таких как Abbey Road в Лондоне и Capitol Studios в Лос-Анджелесе.

Сэр Люсиан Грейндж, генеральный директор Universal, назвал эту сделку «прорывными стратегическими отношениями», сказав, что они объединяют ведущую технологическую компанию мира и ведущую музыкальную компанию для ответственного продвижения ИИ.

Nvidia также будет напрямую работать с артистами Universal для получения обратной связи по новым функциям и моделям, как для тонкой настройки инструментов, так и для предоставления растущим артистам больше шансов быть замеченными.