Компания Useful Sensors, являясь пионером в области офлайн-разговорного ИИ, сделала значительный шаг вперед в этой сфере, представив инновационное решение «ИИ в коробке». Это технологическое чудо использует впечатляющие возможности нейронного процессора (NPU) Rockchip RK3588S.
Цель — обеспечить пользовательский опыт, аналогичный ChatGPT, но при этом исключить необходимость подключения к интернету или какой-либо регистрации пользователя. Помимо навыков ведения диалога, AI in a Box обладает разнообразными функциями, от субтитров в реальном времени и перевода языков до усиленных функций конфиденциальности для деликатных обсуждений.
Автономный разговорный ИИ
Представленное компанией Useful Sensors решение «AI in a Box» знаменует собой значительный прорыв в области автономного разговорного ИИ. В отличие от традиционных систем ИИ, эта технология работаетdentот постоянного подключения к интернету. Это обеспечивает конфиденциальность пользователя и исключает необходимость сложных процедур регистрации. Благодаря нейронному процессору (NPU) в составе процессора Rockchip RK3588S, это решение «AI in a Box» открывает будущее интерактивных взаимодействий на основе ИИ.
Универсальные функции, отвечающие разнообразным потребностям
Это инновационное решение на основе искусственного интеллекта выходит за рамки простого общения, предлагая комплексный набор функций для удовлетворения широкого спектра потребностей:
Субтитры в реальном времени: Система AI in a Box способна предоставлять субтитры и скрытые субтитры в режиме реального времени во время прямых трансляций. Эта возможность оказывается бесценной в ситуациях, когда у людей возникают проблемы с пониманием речи на слух.
Перевод в реальном времени: Благодаря возможности перевода практически в реальном времени на множество языков, пользователи могут просто выбрать исходный и целевой языки. Затем система отображает на разделенном экране субтитры, показывающие исходный текст рядом с машинным переводом.
Усиленная защита конфиденциальности: Пользователи, заботящиеся о конфиденциальности, оценят тот факт, что Radxa ROCK 5A, лежащий в основе системы «ИИ в коробке», не оснащен встроенным модулем Wi-Fi или Bluetooth. Более того, даже порт Ethernet остается несущественным, поскольку вся обработка данных происходит локально. Это гарантирует максимальную конфиденциальность, особенно в ситуациях, связанных с конфиденциальными обсуждениями или контентом.
Режим клавиатуры повышает производительность
Помимо возможностей диалогового взаимодействия, AI in a Box — это универсальный инструмент для транскрипции и создания контента. При подключении к дополнительному хост-устройству, например, Raspberry Pi, он может бесперебойно работать в качестве USB-клавиатуры, упрощая транскрипцию аудиофайлов или преобразование видео в текстовый формат.
Компания Useful Sensors разработала библиотеку Useful Transformers для реализации этого впечатляющего технологического достижения. Эта инновационная библиотека специально разработана для эффективного выполнения задач вывода на недорогих и энергоэффективных процессорах, что облегчает работу моделей ИИ на периферии вычислительных сетей. Первое применение этой библиотеки оптимизирует модель преобразования речи в текст Whisper от OpenAI, достигая замечательных результатов.
Выдающиеся показатели эффективности
Производительность библиотеки Useful Transformers служит подтверждением её исключительных возможностей. Используя модель tiny.en Whisper, она достигает скорости транскрипции речи, которая в 30 раз превосходит показатели реального времени. Эта производительность превосходит даже самые лучшие реализации. Большинство операций вывода выполняются быстро, как правило, в диапазоне от 500 миллисекунд до 2 секунд, обеспечивая бесперебойную и удобную работу для пользователя.
От прототипа до комплексного решения
Существующее аппаратное обеспечение для AI in a Box в настоящее время находится на стадии прототипа. Оно включает в себя Radxa ROCK 5A в пластиковом корпусе и соединено с HDMI-дисплеем, USB-динамиком и USB-микрофоном. Тем не менее, конечный продукт представляет собой полностью интегрированное решение, включающее в себя SoC Rockchip RK3588S, 8 ГБ оперативной памяти, встроенный дисплей, встроенные динамики и микрофон, заключенные в специально разработанный корпус. Работая под управлением Ubuntu 22.04, он обещает обеспечить непревзойденные возможности использования ИИ.
Инициатива краудфандинга на платформе Crowd Supply
Компания Useful Sensors официально запустила проект AI in a Box на платформе Crowd Supply, установив целевую сумму финансирования в 30 000 долларов. Участникам проекта предлагается ряд бонусов, а окончательная версия продукта должна быть отправлена к 31 января 2024 года. Для первых пользователей и энтузиастов технологий доступен прототип AI in a Box, включающий ROCK 5A, корпус, дисплей и различные аксессуары. Этот комплект планируется доставить к 1 декабря 2023 года, что даст возможность изучить потенциал LLM на процессоре Rockchip RK3588S до того, как он станет доступен широкой аудитории. Стоимость доставки составляет 8 долларов США по территории США и 18 долларов США по всему миру.
Представленное компанией Useful Sensors решение «ИИ в коробке» знаменует собой поворотный момент в эволюции технологий искусственного интеллекта. Гармоничное сочетание конфиденциальности, адаптивности и передового оборудования открывает новые возможности для взаимодействия с помощью ИИ. Благодаря превосходным показателям производительности и практическому применению в реальных условиях, это решение закладывает основу для будущего, в котором ИИ будет не только доступен, но и будет глубоко уважать конфиденциальность пользователей.
Краудфандинговая кампания на Crowd Supply предоставляет людям возможность оказаться в авангарде этой революции в области искусственного интеллекта, иdent что «ИИ в коробке» обладает потенциаломdefiто, как мы взаимодействуем с системами ИИ в нашей повседневной жизни.
