Dans une avancée remarquable pour l'IA conversationnelle hors ligne, la société pionnière Useful Sensors a lancé sa solution innovante « IA en boîte ». Ce bijou de technologie exploite les formidables capacités de l'unité de traitement neuronal (NPU) du processeur Rockchip RK3588S.
Pour offrir une expérience utilisateur similaire à ChatGPT, sans nécessiter de connexion internet ni d'inscription. Outre ses capacités conversationnelles, l'IA en boîte propose diverses fonctionnalités, comme le sous-titrage en direct, la traduction et des options de confidentialité renforcées pour des discussions discrètes.
IA conversationnelle hors ligne
L'introduction par Useful Sensors de l'« IA en boîte » représente une avancée majeure dans le domaine de l'IA conversationnelle hors ligne. Contrairement aux systèmes d'IA classiques, cette technologie fonctionnedentd'une connexion Internet permanente. Ceci garantit la confidentialité de l'utilisateur et évite les procédures d'inscription complexes. Basée sur le NPU du processeur Rockchip RK3588S, cette « IA en boîte » ouvre la voie à l'avenir des interactions basées sur l'IA.
Des fonctionnalités polyvalentes répondant à divers besoins
Cette solution d'IA innovante va au-delà de la simple conversation, offrant un ensemble complet de fonctionnalités pour répondre à un large éventail de besoins :
Sous-titrage en direct : L’IA intégrée permet de fournir des sous-titres et un sous-titrage codé en temps réel lors d’événements en direct. Cette fonctionnalité s’avère précieuse pour les personnes rencontrant des difficultés de compréhension auditive.
Traduction en direct : Grâce à sa capacité à générer des traductions quasi instantanées dans de nombreuses langues, les utilisateurs peuvent simplement sélectionner leurs langues source et cible. Le système affiche ensuite des sous-titres en écran partagé, montrant à la fois le texte original et la traduction automatique.
Confidentialité renforcée : Les utilisateurs soucieux de leur vie privée apprécieront le fait que le Radxa ROCK 5A, au cœur de cette solution d’intelligence artificielle intégrée, ne soit pas équipé de connectivité Wi-Fi ou Bluetooth. De plus, même le port Ethernet est superflu, car tout le traitement des données s’effectue localement. Ceci garantit une confidentialité maximale, notamment lors de discussions ou de contenus sensibles.
Le mode clavier améliore la productivité
Au-delà de ses capacités conversationnelles, l'IA en boîte est un outil polyvalent de transcription et de génération de contenu. Connectée à un périphérique hôte auxiliaire, tel qu'un Raspberry Pi, elle peut fonctionner comme un clavier USB, simplifiant la transcription de fichiers audio ou la conversion de vidéos en texte.
Useful Sensors a développé la bibliothèque Useful Transformers pour réaliser cette prouesse technologique. Cette bibliothèque innovante est spécialement conçue pour effectuer efficacement des tâches d'inférence sur des processeurs à faible coût et à faible consommation d'énergie, facilitant ainsi le fonctionnement des modèles d'IA en périphérie des réseaux informatiques. La première application de cette bibliothèque optimise le modèle de transcription vocale Whisper d'OpenAI pour obtenir des résultats remarquables.
Indicateurs de performance exceptionnels
Les performances de la bibliothèque Useful Transformers témoignent de ses capacités exceptionnelles. Tirant parti du modèle Whisper, elle atteint des vitesses de transcription vocale 30 fois supérieures aux performances en temps réel. Ces performances surpassent même les implémentations les plus prestigieuses. La plupart des inférences sont exécutées rapidement, généralement entre 500 millisecondes et 2 secondes, garantissant une expérience utilisateur fluide et agréable.
Du prototype à la solution complète
Le matériel actuel du système d'IA intégré est encore au stade de prototype. Il comprend une carte graphique Radxa ROCK 5A logée dans un boîtier plastique et connectée à un écran HDMI, un haut-parleur USB et un microphone USB. Le produit final sera une solution entièrement intégrée comprenant un SoC Rockchip RK3588S, 8 Go de RAM, un écran intégré, des haut-parleurs intégrés et un microphone, le tout dans un boîtier sur mesure. Fonctionnant sous Ubuntu 22.04, il promet une expérience d'IA sans précédent.
Initiative de financement participatif sur Crowd Supply
Useful Sensors a officiellement lancé son projet « AI in a Box » sur la plateforme Crowd Supply, avec un objectif de financement de 30 000 $. Les contributeurs bénéficient de diverses contreparties, et le produit final devrait être expédié d'ici le 31 janvier 2024. Un kit prototype « AI in a Box » est disponible pour les utilisateurs précoces et les passionnés de technologie. Ce kit comprend le ROCK 5A, un boîtier, un écran et divers accessoires. Sa livraison est prévue pour le 1er décembre 2023, offrant ainsi l'opportunité d'explorer le potentiel de la technologie LLM sur le processeur Rockchip RK3588S avant sa commercialisation auprès du grand public. Les frais de port sont de 8 $ aux États-Unis et de 18 $ pour le reste du monde.
L'introduction par Useful Sensors de son « IA en boîte » marque un tournant décisif dans l'évolution de l'intelligence artificielle. L'intégration harmonieuse du respect de la vie privée, de l'adaptabilité et d'un matériel de pointe ouvre un champ des possibles inédit pour les interactions pilotées par l'IA. Grâce à ses performances exceptionnelles et à ses applications concrètes, cette solution prépare un avenir où l'IA sera non seulement accessible, mais aussi profondément respectueuse de la vie privée des utilisateurs.
La campagne de financement participatif sur Crowd Supply offre aux particuliers la possibilité d'être à l'avant-garde de cette révolution de l'IA, et il estdent que l'IA en boîte a le potentiel dedefinotre façon d'interagir avec les systèmes d'IA dans notre vie quotidienne.
