Em um notável avanço na inteligência artificial conversacional offline, a pioneira empresa de tecnologia Useful Sensors apresentou sua inovadora solução "IA em uma Caixa". Essa maravilha tecnológica aproveita os formidáveis recursos da Unidade de Processamento Neural (NPU) do processador Rockchip RK3588S.
Para proporcionar uma experiência de usuário semelhante à do ChatGPT, eliminando a necessidade de conexão com a internet ou qualquer tipo de cadastro. Além de sua capacidade de conversação, o AI in a Box oferece diversas funcionalidades, desde legendagem ao vivo e tradução de idiomas até recursos de privacidade reforçados para discussões discretas.
IA conversacional offline
O lançamento do "AI in a Box" pela Useful Sensors representa um avanço significativo na IA conversacional offline. Ao contrário dos sistemas de IA convencionais, essa tecnologia operadentda conectividade contínua com a internet. Isso garante a privacidade do usuário e elimina a necessidade de procedimentos de cadastro complexos. Impulsionado pela NPU integrada ao processador Rockchip RK3588S, o AI in a Box traz o futuro das interações baseadas em IA para o primeiro plano.
Funcionalidades versáteis que atendem a diversas necessidades
Essa solução inovadora de IA transcende a mera conversação, oferecendo um conjunto abrangente de recursos para atender a uma ampla gama de necessidades:
Legendas ao vivo: O AI in a Box está equipado para fornecer legendas e legendas ocultas em tempo real durante eventos ao vivo. Essa funcionalidade se mostra inestimável em situações em que as pessoas têm dificuldades de compreensão auditiva.
Tradução ao vivo: Com a capacidade de gerar traduções quase em tempo real em diversos idiomas, os usuários podem simplesmente selecionar os idiomas de origem e destino. O sistema então apresenta legendas em tela dividida, exibindo o texto original ao lado da tradução automática.
Privacidade Reforçada: Usuários preocupados com a privacidade apreciarão o fato de o Radxa ROCK 5A, o coração do AI in a Box, não possuir conectividade Wi-Fi ou Bluetooth integrada. Além disso, até mesmo a porta Ethernet é dispensável, já que todo o processamento de dados ocorre localmente. Isso garante máxima privacidade, principalmente em contextos que envolvam discussões ou conteúdo sensíveis.
O modo teclado aumenta a produtividade
Além de suas capacidades de conversação, o AI in a Box é uma ferramenta versátil de transcrição e geração de conteúdo. Quando conectado a um dispositivo host auxiliar, como um Raspberry Pi, ele pode funcionar perfeitamente como um teclado USB, agilizando a transcrição de arquivos de áudio ou convertendo vídeos em formato de texto.
A Useful Sensors desenvolveu a biblioteca Useful Transformers para concretizar essa impressionante façanha tecnológica. Essa biblioteca inovadora foi projetada especificamente para executar tarefas de inferência de forma eficiente em processadores de baixo custo e baixo consumo de energia, facilitando assim a operação de modelos de IA na borda das redes de computação. A aplicação inaugural dessa biblioteca otimiza o modelo de fala para texto Whisper da OpenAI, alcançando resultados notáveis.
Métricas de desempenho excepcionais
O desempenho demonstrado pela biblioteca Useful Transformers serve como prova de suas capacidades excepcionais. Utilizando o modelo Whisper, ela atinge velocidades de transcrição de fala que superam o desempenho em tempo real em um fator impressionante de 30. Esse desempenho supera até mesmo as implementações mais renomadas. A maioria das inferências é executada rapidamente, geralmente entre 500 milissegundos e 2 segundos, garantindo uma experiência de usuário fluida e gratificante.
Do protótipo à solução completa
O hardware existente para o AI in a Box encontra-se atualmente em fase de protótipo. Ele consiste em um Radxa ROCK 5A encapsulado em uma caixa de plástico e interligado a um monitor HDMI, um alto-falante USB e um microfone USB. No entanto, o produto final será uma solução totalmente integrada, englobando um SoC Rockchip RK3588S, 8 GB de RAM, um monitor integrado, alto-falantes embutidos e um microfone, tudo dentro de uma caixa feita sob medida. Operando com Ubuntu 22.04, promete oferecer uma experiência de IA incomparável.
Iniciativa de financiamento coletivo na Crowd Supply
A Useful Sensors lançou oficialmente o AI in a Box na plataforma Crowd Supply, com uma meta de financiamento de US$ 30.000. Os apoiadores recebem uma série de incentivos, e o produto final tem previsão de entrega até 31 de janeiro de 2024. Um kit protótipo do AI in a Box está disponível para os primeiros usuários e entusiastas de tecnologia, completo com o ROCK 5A, gabinete, tela e diversos acessórios. Este kit tem previsão de entrega até 1º de dezembro de 2023, oferecendo a oportunidade de explorar o potencial do LLM no processador Rockchip RK3588S antes do público em geral. O frete custa US$ 8 nos Estados Unidos e US$ 18 para outros países.
O lançamento do "AI in a Box" pela Useful Sensors representa um momento crucial na evolução da tecnologia de IA. A perfeita integração de privacidade, adaptabilidade e hardware de ponta abre um novo leque de possibilidades para interações orientadas por IA. Com seus excelentes indicadores de desempenho e aplicações práticas no mundo real, essa solução prepara o terreno para um futuro em que a IA não só seja acessível, mas também respeite profundamente a privacidade do usuário.
A campanha de financiamento coletivo na Crowd Supply oferece aos indivíduos a oportunidade de estarem na vanguarda desta revolução da IA, e édent que o AI in a Box tem o potencial dedefia forma como interagimos com os sistemas de IA no nosso dia a dia.
