Revolucionário “IA na Caixa”: IA Conversacional Offline com Privacidade

Em um avanço notável na IA conversacional offline, a empresa de tecnologia pioneira Useful Sensors apresentou sua inovadora solução “IA na Caixa”. Esta maravilha tecnológica aproveita as poderosas capacidades da Unidade de Processamento Neural (NPU) do processador Rockchip RK3588S. 

Para oferecer uma experiência de usuário semelhante à do ChatGPT, ao mesmo tempo que elimina a necessidade de uma conexão com a internet ou qualquer forma de registro de usuário. Além de sua aptidão conversacional, a AI in a Box possui funcionalidades diversas, variando de legendagem ao vivo e tradução de idiomas a recursos de privacidade reforçada para discussões discretas.

IA conversacional offline 

A introdução da “IA na Caixa” pela Useful Sensors marca um avanço significativo na IA conversacional offline. Em contraste com os sistemas de IA convencionais, esta tecnologia opera independentemente de conectividade contínua à internet. Isso garante a privacidade do usuário e evita a necessidade de procedimentos de registro complexos. Alimentada pela NPU dentro do processador Rockchip RK3588S, esta IA na Caixa traz o futuro das interações impulsionadas por IA para o primeiro plano.

Recursos versáteis que atendem a diversas necessidades

Esta solução de IA inovadora vai além da mera conversa, oferecendo um conjunto abrangente de recursos para atender a uma ampla gama de requisitos:

 Legendas ao Vivo: A IA na Caixa está equipada para fornecer legendas e legendas fechadas em tempo real durante eventos ao vivo. Essa capacidade se mostra inestimável em cenários onde os indivíduos enfrentam desafios na compreensão auditiva.

 Tradução ao Vivo: Com a capacidade de gerar traduções em quase tempo real em uma multitude de idiomas, os usuários podem simplesmente selecionar seus idiomas de origem e destino. O sistema então apresenta legendas em tela dividida exibindo a entrada original junto com a saída traduzida gerada por máquina.

Privacidade Reforçada: Usuários conscientes da privacidade apreciarão que o Radxa ROCK 5A, no centro da IA na Caixa, não possui conectividade Wi-Fi ou Bluetooth integrada. Além disso, mesmo a porta Ethernet permanece não essencial, pois todo o processamento de dados ocorre localmente. Isso garante a máxima privacidade, especialmente em contextos que envolvem discussões ou conteúdo sensíveis.

O modo teclado aumenta a produtividade

Além de suas capacidades conversacionais, a IA na Caixa é uma ferramenta versátil de transcrição e geração de conteúdo. Quando conectada a um dispositivo host auxiliar, como um Raspberry Pi, ela pode operar perfeitamente como um teclado USB, agilizando a transcrição de arquivos de áudio ou convertendo vídeos em formato textual.

A Useful Sensors desenvolveu a biblioteca Useful Transformers para realizar essa impressionante façanha tecnológica. Esta biblioteca inovadora é especificamente projetada para conduzir eficientemente tarefas de inferência em processadores de baixo custo e baixo consumo de energia, facilitando assim a operação de modelos de IA na borda das redes de computação. A aplicação inaugural desta biblioteca otimiza o modelo de fala para texto Whisper da OpenAI para alcançar resultados notáveis.

Métricas de desempenho excepcionais

O desempenho exibido pela biblioteca Useful Transformers serve como testemunho de suas capacidades excepcionais. Ao aproveitar o modelo Whisper tiny.en, ele atinge velocidades de transcrição de fala que superam o desempenho em tempo real por um fator impressionante de 30. Este desempenho supera até mesmo as implementações mais ilustres. A maioria das inferências é executada rapidamente, geralmente dentro da faixa de 500 milissegundos a 2 segundos, garantindo uma experiência de usuário perfeita e gratificante.

Do protótipo a uma solução abrangente

O hardware existente para a IA na Caixa está atualmente na fase de protótipo. Ele apresenta um Radxa ROCK 5A encapsulado em uma carcaça de plástico e interconectado com uma tela HDMI, um alto-falante USB e um microfone USB. No entanto, o produto final é uma solução totalmente integrada que abrange um SoC Rockchip RK3588S, 8GB de RAM, uma tela integrada, alto-falantes embutidos e um microfone, tudo contido em uma carcaça sob medida. Operando no Ubuntu 22.04, promete entregar uma experiência de IA sem igual.

Iniciativa de financiamento coletivo no Crowd Supply

A Useful Sensors lançou oficialmente a AI in a Box na plataforma Crowd Supply, estabelecendo um objetivo de financiamento de US$ 30.000. Os apoiadores recebem uma série de incentivos, com o produto final programado para envio até 31 de janeiro de 2024. Um Kit Prototípico de AI in a Box está disponível para early adopters e entusiastas de tecnologia, completo com o ROCK 5A, gabinete, display e acessórios variados. Este kit está programado para entrega até 1º de dezembro de 2023, apresentando uma oportunidade de explorar o potencial do LLM no processador Rockchip RK3588S antes do público geral. O envio está disponível por US$ 8 dentro dos Estados Unidos e US$ 18 para destinos em todo o mundo.

A introdução da “IA na Caixa” pela Useful Sensors constitui um momento crucial na evolução da tecnologia de IA. A amalgamação perfeita de privacidade, adaptabilidade e hardware de última geração abre um novo reino de possibilidades para interações impulsionadas por IA. Com suas métricas de desempenho estelares e aplicações práticas do mundo real, esta solução prepara o cenário para um futuro em que a IA não é apenas acessível, mas também profundamente respeitosa da privacidade do usuário. 

A campanha de financiamento coletivo no Crowd Supply oferece aos indivíduos a oportunidade de estar na vanguarda desta revolução de IA, e é evidente que a IA na Caixa tem o potencial de redefinir como nos envolvemos com sistemas de IA em nossas vidas diárias.