Nvidia и Universal Music объединяют усилия для поиска музыки и взаимодействия с поклонниками с помощью искусственного интеллекта

Согласно пресс-релизу обеих компаний, опубликованному во вторник, Nvidia заключила партнерское соглашение с ведущим музыкальным гигантом Universal Music Group, чтобы «расширить использование искусственного интеллекта» в том, как люди находят музыку и как артисты контролируют свою работу.

В объявлении говорилось:

«NVIDIA и UMG будут проводить совместные исследования и разработки для достижения общих целей по развитию музыкального творчества и выплате компенсаций правообладателям»

Эта сделка состоялась после прошлогодней судебной тяжбы со стартапами в сфере музыки, использующими искусственный интеллект. В 2024 году Universal, Sony и Warner подали в суд на Suno и Udio за нарушение авторских прав. Однако позже Universal и Warner отозвали иски и заключили партнерские соглашения с Udio. Warner также достигла соглашения с Suno о создании новых платформ для создания и потоковой передачи музыки с помощью ИИ.

Согласно пресс-релизу, UMG и Nvidia хотят гарантировать, что артисты будут получать признание и оплату, когда искусственный интеллект участвует в создании или продвижении музыки, обещая не «заменять никого».

Главным инструментом, лежащим в основе всего этого, является модель Music Flamingo от Nvidia, которая работает на базе архитектуры Audio Flamingo и может обрабатывать песни полной продолжительности, до 15 минут, изучая гармонию, структуру, текст и даже культурные особенности.

Music Flamingo использует то, что Nvidia называет «логикой логического мышления». Она призвана мыслить больше как человеческий слушатель, что, конечно же, включает в себя улавливание таких деталей, как смена аккордов или изменения тональности, которые обычно остаются незамеченными обычными поисковыми системами.

По данным Nvidia, эта модель уже превосходит своих конкурентов более чем в десяти специализированных музыкальных тестах, включая распознавание инструментов, транскрипцию текстов песен на нескольких языках и создание музыкальных субтитров.

Вместо того чтобы показывать поклонникам одни и те же песни, помеченные как «поп» или «быстрый темп», Music Flamingo подбирает слушателям tracна основе тем, эмоций или даже культурных моментов. Вице-президент Nvidia по медиа Ричард Керрис сказал:

«Мы вступаем в эпоху, когда музыкальный каталог можно исследовать как интеллектуальную вселенную: в форме диалога, в контексте и в подлинно интерактивном режиме»

По данным UMG, артисты будут тестировать новые инструменты и совместно создавать музыкальные функции на основе искусственного интеллекта

Также предпринимаются активные усилия по вовлечению артистов непосредственно в процесс разработки. Universal и Nvidia создают инкубатор для артистов. Авторы песен, продюсеры и исполнители будут тестировать новые инструменты искусственного интеллекта в реальных творческих условиях.

Они помогут сформировать то, что будет создано, чтобы результаты не были шаблонными, халтурными или, как называет это Universal, «халтурой в области ИИ». Инкубатор будет ориентирован на инструменты, повышающие оригинальность, а не на машины для копирования и вставки.

Компания Universal уже имеет опыт обучения моделей с использованием инфраструктуры Nvidia. Теперь они расширяют масштабы своей деятельности. Их лаборатория музыкального и продвинутого машинного обучения (MAML) продолжит использовать системы Nvidia, работая как с внутренними командами, так и с внешними лейблами, студиями и издателями. Они также будут привлекать обратную связь от ведущих студий, таких как Abbey Road в Лондоне и Capitol Studios в Лос-Анджелесе.

Генеральный директор Universal сэр Лучиан Грейндж назвал эту сделку «новаторским стратегическим партнерством», заявив, что она объединяет ведущую мировую технологическую компанию и ведущую музыкальную компанию для ответственного продвижения искусственного интеллекта.

Nvidia также будет напрямую сотрудничать с художниками Universal, чтобы получать отзывы о новых функциях и моделях, как для доработки инструментов, так и для предоставления начинающим художникам больше возможностей быть замеченными.