Прорывная технология переводит человеческие мысли в текст и речь

Исследователи из Центра человеко-ориентированного искусственного интеллекта GrapheneX-UTS (Университет технологий Сиднея) достигли прорывного результата, разработав неинвазивный метод перевода человеческих мыслей в текст и речь.

Это удивительное достижение стало возможным благодаря использованию портативной электроэнцефалографической (ЭЭГ) гарнитуры, подключенной к продвинутому ЭЭГ-кодировщику, который, в свою очередь, использует разработанную внутри компанию ИИ под названием «DeWave» для декодирования связных, читаемых предложений из мозговых волн.

Инновационный перевод «мозг-в-текст»

Суть этой революционной технологии заключается в ее способности идентифицировать и захватывать информацию из сырых ЭЭГ-волн и последующей обработки этих волновых форм через ИИ DeWave. Этот сложный процесс преобразует ЭЭГ-сигналы в текст, делая возможным прямое преобразование мыслей в письменный или устный язык. 

То, что отличает это инновационное решение, — это его адаптивность, так как оно было успешно протестировано на 29 участниках, доказав свою эффективность в отношении разнообразного диапазона уникальных ЭЭГ-сигналов мозга.

Ведущий профессор Лин, движущая сила этой инновации, подчеркивает ее значимость, заявляя,

«Это первый метод, который включает дискретные техники кодирования в процесс перевода «мозг-в-текст», предлагая инновационный подход к нейронному декодированию. Интеграция с большими языковыми моделями также открывает новые горизонты в нейронауке и ИИ.»

Безграничные возможности применения

Потенциальные области применения этой прорывной технологии ограничены лишь воображением. Прежде всего, это роль помощника для перевода мыслей в текст и речь для людей с такими состояниями, как паралич, инсульт или нарушения речи. 

Кроме того, эта технология обещает продвинуть развитие бионических конечностей, обеспечивая бесшовную, прямую и неинвазивную коммуникацию между пользователями и их протезами.

За пределами здравоохранения эта инновация предлагает возможность повышения производительности, позволяя людям преобразовывать свои мысли в текст и речь, устраняя необходимость в традиционном наборе текста или письме.

Вызовы на горизонте

Хотя модель ИИ DeWave представляет собой выдающееся достижение, она не обошлась без трудностей. ИИ требовал extensive training, чтобы убедиться, что он может избегать распространенных ошибок, таких как омофоны или синонимы, в зависимости от контекста структуры предложения. 

Несмотря на свой потенциал, технология все еще требует строгого рецензирования, как и любая другая прорывная инновация.

Кроме того, текущая система демонстрирует уровень точности всего 40% по метрике BLEU-1, что указывает на необходимость улучшений для достижения оптимальной производительности. Дополнительной проблемой является тенденция ИИ выбирать синонимичные пары вместо предоставления точных переводов для существительных. 

Например, при получении входных данных ЭЭГ-мозговых волн «автор», ИИ может неточно перевести это как «человек». Однако исследовательская команда уверена в своей способности повысить точность до впечатляющих 90% по BLEU-1 при дальнейшем совершенствовании.

Это прорывное исследование было недавно представлено на конференции NeurIPS, состоявшейся в Новом Орлеане 12 декабря 2023 года, вызвав значительное внимание со стороны научного сообщества и широкой публики.

Неинвазивная альтернатива Neuralink

Сравнения с Neuralink Илона Маска неизбежны, так как обе технологии стремятся обеспечить прямую коммуникацию с мозгом. Однако подход GrapheneX-UTS отличается тем, что он неинвазивен и портативен. В отличие от этого, Neuralink требует инвазивных имплантатов в мозг, что делает его постоянным и крайне противоречивым решением.

Эксперименты Neuralink столкнулись с этическими проблемами, при этом сообщалось, что ряд обезьян, участвовавших в испытаниях приматов Neuralink, были усыплены, что противоречит заявлениям Илона Маска. 

Обе технологии стремятся дать людям с параличом возможность управлять устройствами с помощью активности их мозга, но неинвазивный характер решения GrapheneX-UTS предлагает более этичную и доступную альтернативу.

Исследователи, стоящие за этой прорывной технологией, под руководством профессора К.Т. Лина, директора GrapheneX, а также Ицюнь Дуань и кандидата наук Джинчжоу Чжоу из факультета инженерии и ИТ университета, четко осознают огромный потенциал, который она несет. 

Хотя ее немедленные применения в здравоохранении и устройствах связи очевидны, универсальность технологии предполагает множество других возможностей, ожидающих своего исследования.