Революционное решение «ИИ в коробке»: Офлайн-разговорный ИИ с гарантией конфиденциальности

Важным шагом в развитии офлайн-разговорного искусственного интеллекта стало появление инновационного решения «ИИ в коробке» от ведущей технологической компании Useful Sensors. Этот технологический шедевр использует мощные возможности нейронного процессора (NPU) процессора Rockchip RK3588S. 

Чтобы обеспечить пользовательский опыт, аналогичный ChatGPT, одновременно устраняя необходимость в интернет-соединении или любой форме регистрации пользователя. Помимо его разговорных способностей, AI in a Box обладает разнообразными функциями, начиная от живых субтитров и перевода языков до усиленных функций конфиденциальности для дискретных обсуждений.

Офлайн-разговорный ИИ 

Появление решения «ИИ в коробке» от Useful Sensors знаменует собой значительный прорыв в области офлайн-разговорного ИИ. В отличие от традиционных систем ИИ, эта технология работает независимо от постоянного подключения к интернету. Это обеспечивает конфиденциальность данных пользователя и избавляет от необходимости проходить сложные процедуры регистрации. Благодаря нейронному процессору (NPU) в составе процессора Rockchip RK3588S, решение «ИИ в коробке» выводит взаимодействие на основе ИИ на новый уровень.

Универсальные функции для удовлетворения разнообразных потребностей

Это инновационное решение для ИИ выходит за рамки простого общения, предлагая комплексный набор функций для удовлетворения широкого спектра требований:

 Живые субтитры: Решение «ИИ в коробке» способно предоставлять субтитры и титры в реальном времени во время прямых трансляций. Эта функция оказывается бесценной в ситуациях, когда у людей возникают трудности с восприятием информации на слух.

 Живой перевод: Благодаря возможности перевода практически в реальном времени на множество языков, пользователи могут просто выбрать исходный и целевой языки. Система затем отображает разделенный экран с субтитрами, показывая исходный ввод вместе с переведенным выводом, сгенерированным машиной.

Усиленная конфиденциальность: Пользователи, заботящиеся о конфиденциальности, оценят тот факт, что Radxa ROCK 5A, являющийся сердцем решения «ИИ в коробке», не оснащен встроенными модулями Wi-Fi или Bluetooth. Более того, даже порт Ethernet остается необязательным, поскольку вся обработка данных происходит локально. Это гарантирует максимальную конфиденциальность, особенно в контекстах, связанных с обсуждением чувствительной информации или контента.

Режим клавиатуры повышает производительность

Помимо возможностей общения, «ИИ в коробке» является универсальным инструментом для транскрипции и генерации контента. При подключении к вспомогательному хост-устройству, такому как Raspberry Pi, он может бесшовно работать как USB-клавиатура, упрощая транскрипцию аудиофайлов или преобразование видео в текстовый формат.

Для реализации этого впечатляющего технологического достижения Useful Sensors разработала библиотеку Useful Transformers. Эта инновационная библиотека специально создана для эффективного выполнения задач вывода (инференса) на недорогих энергоэффективных процессорах, что способствует запуску моделей ИИ на периферии вычислительных сетей. Первое применение этой библиотеки оптимизирует модель преобразования речи в текст Whisper от OpenAI, достигая выдающихся результатов.

Выдающиеся показатели производительности

Производительность, демонстрируемая библиотекой Useful Transformers, служит свидетельством ее исключительных возможностей. Используя tiny.en модель Whisper, она достигает скоростей транскрипции речи, которые превосходят производительность в реальном времени в поразительные 30 раз. Эта производительность превосходит даже самые выдающиеся реализации. Большинство выводов выполняются быстро, обычно в диапазоне от 500 миллисекунд до 2 секунд, обеспечивая бесперебойный и удовлетворяющий пользовательский опыт.

От прототипа к комплексному решению

Текущее аппаратное обеспечение для решения «ИИ в коробке» находится на стадии прототипа. Оно включает в себя модуль Radxa ROCK 5A в пластиковом корпусе, подключенный к HDMI-дисплею, USB-динамике и USB-микрофону. Тем не менее, конечный продукт представляет собой полностью интегрированное решение, включающее системную логику Rockchip RK3588S SoC, 8 ГБ оперативной памяти, встроенный дисплей, встроенные динамики и микрофон, все это заключено в индивидуальный корпус. Работая на базе Ubuntu 22.04, он обещает предоставить непревзойденный опыт взаимодействия с ИИ.

Краудфандинговая инициатива на Crowd Supply

Useful Sensors официально запустила AI in a Box на платформе Crowd Supply, установив цель финансирования в 30 000 долларов. Бэкеры представлены массивом стимулов, с конечным продуктом, запланированным для отправки к 31 января 2024 года. Прототипный комплект AI in a Box доступен для ранних пользователей и энтузиастов технологий, включая ROCK 5A, корпус, дисплей и различные аксессуары. Этот комплект запланирован для доставки к 1 декабря 2023 года, представляя возможность изучить потенциал LLM на процессоре Rockchip RK3588S заранее перед широкой аудиторией. Доставка доступна за 8 долларов в пределах США и 18 долларов для пунктов назначения по всему миру.

Появление решения «ИИ в коробке» от Useful Sensors является поворотным моментом в эволюции технологий ИИ. Бесшовное объединение конфиденциальности, адаптивности и современного аппаратного обеспечения открывает новую область возможностей для взаимодействий на основе ИИ. Благодаря выдающимся показателям производительности и практическим применениям в реальном мире, это решение закладывает основу для будущего, в котором ИИ не только доступен, но и глубоко уважает конфиденциальность пользователей. 

Краудфандинговая кампания на платформе Crowd Supply предоставляет возможность оказаться на передовой этой ИИ-революции, и очевидно, что «ИИ в коробке» обладает потенциалом переосмыслить то, как мы взаимодействуем с системами ИИ в нашей повседневной жизни.