- Исследователи Университета Вашингтона представили технологию «семантического слуха» для наушников с шумоподавлением.
- Алгоритмы глубокого обучения позволяют пользователям выбирать и фильтровать звуки в реальном времени.
- Система, представленная на UIST ’23, позволяет пользователям выбирать из 20 классов звуков с помощью голосовых команд или приложения для смартфона.
В прорывном развитии исследователи из Университета Вашингтона представили революционный подход к наушникам с шумоподавлением на базе ИИ, позволяющий пользователям в реальном времени формировать свой слуховой опыт. Названная «семантическим слухом», эта система использует алгоритмы глубокого обучения, предоставляя пользователям беспрецедентную возможность выбирать конкретные звуки из широкого спектра вариантов, от сирен и плача детей до речи и пения птиц.
Рождение семантического слуха – прорыв в аудиотехнологиях
В своем стремлении усовершенствовать технологию шумоподавления команда из Университета Вашингтона представила концепцию «семантического слуха». В отличие от обычных шумоподавляющих наушников, которые indiscriminately блокируют звуки окружающей среды, эта инновационная система дает пользователям возможность контролировать свою слуховую среду. Наушники беспрепятственно транслируют захваченный аудио на подключенный смартфон, который с помощью продвинутых алгоритмов устраняет все фоновые шумы.
Это создает основу для того, чтобы пользователи могли либо с помощью голосовых команд, либо через специальное приложение на смартфоне выбирать звуки из пула из 20 различных классов. От воя сирен до успокаивающего жужжания птиц, пользователи теперь могут настраивать свой слуховой ландшафт в соответствии со своими предпочтениями. Только выбранные звуки проходят через наушники, предлагая персонализированный и погружающий аудиопыт.
Старший автор Шьям Голлакота, профессор Школы компьютерных наук и инженерии имени Пола Г. Аллена, подчеркивает важность разведки в реальном времени в этом процессе. Шьям Голлакота отмечает сложность разведки в реальном времени в различении конкретных звуков из окружающей среды, заявляя, что современные шумоподавляющие наушники не справляются с этой задачей (источник). Сложность заключается в синхронизации звуков с визуальными стимулами, что требует нейронных алгоритмов, обрабатывающих звуки менее чем за сотую долю секунды.
Учитывая это временное ограничение, система семантического слуха обрабатывает звуки на подключенном смартфоне, а не полагается на более мощные облачные серверы. Кроме того, она должна сохранять задержки и пространственные ориентиры, связанные со звуками с разных направлений, чтобы обеспечить осмысленное восприятие пользователями своей окружающей среды.
Протестированная в различных условиях, таких как офисы, улицы и парки, система продемонстрировала свою способность извлекать целевые звуки, такие как сирены, пение птиц и сигналы тревоги, эффективно устраняя все другие нежелательные шумы. Отзывы участников показывают общее улучшение качества звука по сравнению с оригинальными записями, что свидетельствует о многообещающем шаге вперед в технологии шумоподавления.
Совершенствование опыта семантического слуха
Хотя система семантического слуха представляет собой значительный скачок в аудиотехнологиях, исследователи признают проблемы в различении звуков, имеющих схожие свойства, таких как вокальная музыка и человеческая речь. Случаи, когда система испытывала трудности, подчеркивают необходимость дальнейшей тренировки на разнообразных реальных данных для улучшения ее возможностей.
Соавторы, включая докторантов UW Бандхава Велури и Малека Итани, а также Джастина Чана из Университета Карнеги-Меллона и Такуё Ёсиоки из AssemblyAI, сотрудничали в проекте, привнеся разнообразный опыт.
По мере того как исследование приближается к коммерческому выпуску, команда видит будущее, где пользователи смогут бесшовно интегрировать семантический слух в свою повседневную жизнь. Возможность тонкой настройки своего слухового опыта обещает не только для отдыха, но и для людей с особыми слуховыми потребностями, таких как люди с нарушениями слуха или сенсорной чувствительностью.
Навигация по звуковым ландшафтам завтрашнего дня с помощью brilliance шумоподавления на базе ИИ
В мире, где персонализация является ключом, появление семантического слуха в наушниках с шумоподавлением поднимает интригующие возможности. Как эта технология может развиваться за пределами потребительских приложений? Может ли она найти применение в решении конкретных слуховых проблем или улучшении слухового опыта людей с уникальными потребностями? По мере того как мы вступаем в будущее аудиотехнологий, возможность формировать нашу звуковую среду приглашает новую эру персонализированного прослушивания.
Самые умные крипто-энтузиасты уже читают нашу рассылку. Хотите присоединиться? Присоединяйтесь.
Отказ от ответственности. Предоставленная информация не является торговой рекомендацией. Cryptopolitan.com Мы не несем ответственности за любые инвестиции, сделанные на основе информации, представленной на этой странице. Мы настоятельно рекомендуем проводить независимое исследование и/или проконсультироваться с квалифицированным специалистом перед принятием любых инвестиционных решений.
Амир Шейх
Амир — технологический журналист с почти шестилетним опытом работы в индустриях криптовалют и технологий. Он окончил университет MAJ, получив степень MBA по финансам и маркетингу. Сейчас он работает в Cryptopolitan, где освещает последние события на рынке криптовалют и прогнозы цен.
