Rivoluzionario 'AI in a Box': AI conversazionale offline con privacy

In un notevole passo avanti nell'AI conversazionale offline, l'innovativa azienda tecnologica Useful Sensors ha presentato la sua soluzione innovativa "AI in a Box". Questo miracolo tecnologico sfrutta le formidabili capacità dell'Unità di Elaborazione Neurale (NPU) del processore Rockchip RK3588S. 

Per offrire un'esperienza utente simile a ChatGPT, eliminando al contempo la necessità di una connessione a Internet o di qualsiasi forma di registrazione utente. Oltre alle sue capacità conversazionali, AI in a Box offre funzionalità diversificate, che spaziano dalla sottotitolazione in diretta e dalla traduzione linguistica fino a funzionalità di privacy rafforzata per discussioni riservate.

AI conversazionale offline 

L'introduzione di "AI in a Box" da parte di Useful Sensors segna una significativa svolta nell'AI conversazionale offline. A differenza dei sistemi AI convenzionali, questa tecnologia funziona indipendentemente dalla connettività Internet continua. Ciò garantisce la privacy dell'utente ed evita la necessità di procedure di registrazione complesse. Alimentata dall'NPU all'interno del processore Rockchip RK3588S, questa AI in a Box porta al centro della scena il futuro delle interazioni basate sull'AI.

Funzionalità versatili per esigenze diversificate

Questa innovativa soluzione AI va oltre la semplice conversazione, offrendo un set completo di funzionalità per soddisfare un'ampia gamma di esigenze:

 Sottotitoli in diretta: AI in a Box è dotato di capacità di fornire sottotitoli e didascalie in tempo reale durante eventi in diretta. Questa capacità si rivela preziosa in scenari in cui le persone affrontano sfide nella comprensione uditiva.

 Traduzione in diretta: Con la capacità di fornire traduzioni in quasi tempo reale in molte lingue, gli utenti possono semplicemente selezionare le lingue di origine e di destinazione. Il sistema presenta quindi didascalie a schermo diviso che mostrano l'input originale insieme all'output tradotto generato dalla macchina.

Privacy rafforzata: Gli utenti attenti alla privacy apprezzeranno il fatto che il Radxa ROCK 5A, al centro di AI in a Box, non è dotato di connettività Wi-Fi o Bluetooth integrata. Inoltre, anche la porta Ethernet rimane non essenziale, poiché tutta l'elaborazione dei dati avviene localmente. Ciò garantisce la massima privacy, specialmente in contesti che coinvolgono discussioni o contenuti sensibili.

La modalità tastiera migliora la produttività

Oltre alle sue capacità conversazionali, AI in a Box è uno strumento versatile per la trascrizione e la generazione di contenuti. Quando collegato a un dispositivo host ausiliario, come un Raspberry Pi, può funzionare senza interruzioni come una tastiera USB, semplificando la trascrizione di file audio o la conversione di video in formato testuale.

Useful Sensors ha sviluppato la libreria Useful Transformers per realizzare questa impressionante impresa tecnologica. Questa innovativa libreria è specificamente progettata per eseguire in modo efficiente attività di inferenza su processori a basso costo e basso consumo energetico, facilitando così il funzionamento dei modelli AI ai margini delle reti di calcolo. La prima applicazione di questa libreria ottimizza il modello di speech-to-text Whisper di OpenAI per ottenere risultati notevoli.

Metriche di prestazione eccezionali

Le prestazioni mostrate dalla libreria Useful Transformers sono una testimonianza delle sue capacità eccezionali. Sfruttando il modello Whisper tiny.en , raggiunge velocità di trascrizione vocale che superano le prestazioni in tempo reale di un fattore sbalorditivo pari a 30. Queste prestazioni superano persino le implementazioni più illustri. La maggior parte delle inferenze viene eseguita rapidamente, generalmente nell'intervallo di 500 millisecondi fino a 2 secondi, garantendo un'esperienza utente fluida e soddisfacente.

Dal prototipo a una soluzione completa

L'hardware esistente per AI in a Box è attualmente nella fase di prototipo. Presenta un Radxa ROCK 5A racchiuso in una custodia in plastica ed è interconnesso con un display HDMI, un altoparlante USB e un microfono USB. Tuttavia, il prodotto finale è una soluzione completamente integrata che comprende un SoC Rockchip RK3588S, 8 GB di RAM, un display integrato, altoparlanti integrati e un microfono, il tutto racchiuso in una custodia su misura. Funzionando su Ubuntu 22.04, promette di offrire un'esperienza AI senza pari.

Iniziativa di crowdfunding su Crowd Supply

Useful Sensors ha ufficialmente lanciato AI in a Box sulla piattaforma Crowd Supply, fissando un obiettivo di finanziamento di 30.000 dollari. I sostenitori hanno a disposizione una serie di incentivi, con il prodotto finale programmato per la spedizione entro il 31 gennaio 2024. Un kit prototipo AI in a Box è disponibile per i primi adottanti e gli appassionati di tecnologia, completo di ROCK 5A, custodia, display e vari accessori. Questo kit è previsto per la consegna entro il 1° dicembre 2023, offrendo l'opportunità di esplorare il potenziale del LLM sul processore Rockchip RK3588S in anticipo rispetto al grande pubblico. La spedizione costa 8 dollari negli Stati Uniti e 18 dollari per le destinazioni in tutto il mondo.

L'introduzione di "AI in a Box" da parte di Useful Sensors costituisce un momento cruciale nell'evoluzione della tecnologia AI. Combinando senza soluzione di continuità privacy, adattabilità e hardware all'avanguardia, si apre un nuovo mondo di possibilità per le interazioni guidate dall'AI. Con le sue metriche di prestazione stellari e applicazioni pratiche nel mondo reale, questa soluzione getta le basi per un futuro in cui l'AI non è solo accessibile, ma anche profondamente rispettosa della privacy dell'utente. 

La campagna di crowdfunding su Crowd Supply offre alle persone l'opportunità di essere in prima linea in questa rivoluzione dell'AI, ed è evidente che AI in a Box ha il potenziale per ridefinire il modo in cui interagiamo con i sistemi AI nelle nostre vite quotidiane.