Durchbruchende „AI in a Box“: Offline-Konversations-KI mit Datenschutz

In einem bemerkenswerten Schritt nach vorn in der Offline-Konversations-KI hat das Pionier-Tech-Unternehmen Useful Sensors seine innovative „AI in a Box“-Lösung vorgestellt. Dieses technologische Wunder nutzt die beeindruckenden Fähigkeiten der Neural Processing Unit (NPU) des Rockchip RK3588S-Prozessors. 

Um eine Nutzererfahrung wie bei ChatGPT zu liefern, gleichzeitig aber die Notwendigkeit einer Internetverbindung oder jeglicher Benutzerregistrierung zu eliminieren. Über seine konversationellen Fähigkeiten hinaus bietet die AI in a Box diverse Funktionalitäten, die von Live-Untertiteln und Sprachübersetzung bis hin zu verstärkten Datenschutzfunktionen für diskrete Diskussionen reichen.

Offline-Konversations-KI 

Useful Sensors’ Einführung der „AI in a Box“ markiert einen bedeutenden Durchbruch in der Offline-Konversations-KI. Im Gegensatz zu herkömmlichen KI-Systemen funktioniert diese Technologie unabhängig von einer kontinuierlichen Internetverbindung. Dies gewährleistet die Privatsphäre des Nutzers und umgeht die Notwendigkeit komplexer Registrierungsverfahren. Angetrieben von der NPU im Rockchip RK3588S-Prozessor bringt diese AI in a Box die Zukunft von KI-gestützten Interaktionen in den Vordergrund.

Vielseitige Funktionen, die auf unterschiedliche Bedürfnisse zugeschnitten sind

Diese innovative KI-Lösung geht über reine Konversation hinaus und bietet einen umfassenden Satz von Funktionen, um ein breites Spektrum an Anforderungen zu erfüllen:

 Live-Untertitel: Die AI in a Box ist in der Lage, Echtzeit-Untertitel und Closed Captions während Live-Veranstaltungen bereitzustellen. Diese Funktion erweist sich als unschätzbar wertvoll in Szenarien, in denen Personen Schwierigkeiten beim auditiven Verständnis haben.

 Live-Übersetzung: Mit der Fähigkeit, Übersetzungen in nahezu Echtzeit in einer Vielzahl von Sprachen darzustellen, können Nutzer einfach ihre Quell- und Zielsprachen auswählen. Das System zeigt dann geteilte Bildschirm-Untertitel an, die die ursprüngliche Eingabe neben der maschinell generierten Übersetzung anzeigen.

Verstärkter Datenschutz: Datenschutzorientierte Nutzer werden schätzen, dass der Radxa ROCK 5A, das Herzstück der AI in a Box, nicht mit integrierter Wi-Fi- oder Bluetooth-Konnektivität ausgestattet ist. Darüber hinaus bleibt der Ethernet-Port unnötig, da alle Datenverarbeitung lokal stattfindet. Dies garantiert höchste Privatsphäre, insbesondere in Kontexten, die sensible Diskussionen oder Inhalte betreffen.

Tastaturmodus erhöht die Produktivität

Über seine konversationellen Fähigkeiten hinaus ist die AI in a Box ein vielseitiges Transkriptions- und Content-Generierungstool. Wenn es mit einem externen Host-Gerät wie einem Raspberry Pi verbunden ist, kann es nahtlos als USB-Tastatur fungieren und die Transkription von Audiodateien oder die Konvertierung von Videos in Textformat erleichtern.

Useful Sensors entwickelte die Useful Transformers-Bibliothek, um diese beeindruckende technologische Leistung zu verwirklichen. Diese innovative Bibliothek ist speziell dafür konzipiert, Inferenzaufgaben auf kostengünstigen, energieeffizienten Prozessoren effizient durchzuführen und so den Betrieb von KI-Modellen am Rand von Computernetzwerken zu ermöglichen. Die erste Anwendung dieser Bibliothek optimiert OpenAIs Whisper-Sprache-zu-Text-Modell, um bemerkenswerte Ergebnisse zu erzielen.

Herausragende Leistungskennzahlen

Die Leistung, die die Useful Transformers-Bibliothek zeigt, ist ein Zeugnis ihrer außergewöhnlichen Fähigkeiten. Sie nutzt das tiny.en Whisper-Modell und erreicht Transkriptionsgeschwindigkeiten, die die Echtzeitleistung um einen verblüffenden Faktor von 30 übertreffen. Diese Leistung übertrifft sogar die renommiertesten Implementierungen. Die meisten Inferenzen werden schnell ausgeführt, im Allgemeinen im Bereich von 500 Millisekunden bis 2 Sekunden, was eine nahtlose und befriedigende Nutzererfahrung gewährleistet.

Vom Prototyp zu einer umfassenden Lösung

Die vorhandene Hardware für die AI in a Box befindet sich derzeit in der Prototypenphase. Sie verfügt über ein Radxa ROCK 5A, das in einem Plastikgehäuse untergebracht ist, und ist mit einem HDMI-Display, einem USB-Lautsprecher und einem USB-Mikrofon verbunden. Das Endprodukt ist jedoch eine vollständig integrierte Lösung, die einen Rockchip RK3588S SoC, 8 GB RAM, ein integriertes Display, eingebaute Lautsprecher und ein Mikrofon umfasst, alles in einem maßgeschneiderten Gehäuse untergebracht. Es läuft unter Ubuntu 22.04 und verspricht ein unübertroffenes KI-Erlebnis.

Crowdfunding-Initiative auf Crowd Supply

Useful Sensors hat die AI in a Box offiziell auf der Crowd Supply-Plattform gestartet und ein Finanzierungsziel von 30.000 US-Dollar gesetzt. Unterstützern wird eine Reihe von Anreizen geboten, wobei das Endprodukt bis zum 31. Januar 2024 versendet werden soll. Ein AI in a Box Prototype Kit ist für Early Adopter und Technikbegeisterte erhältlich, komplett mit dem ROCK 5A, Gehäuse, Display und verschiedenen Zubehörteilen. Dieses Kit wird bis zum 1. Dezember 2023 geliefert und bietet die Möglichkeit, die Möglichkeiten von LLM auf dem Rockchip RK3588S-Prozessor vor der allgemeinen Öffentlichkeit zu erkunden. Der Versand kostet 8 US-Dollar innerhalb der USA und 18 US-Dollar für Ziele weltweit.

Useful Sensors’ Einführung der „AI in a Box“ stellt einen entscheidenden Moment in der Entwicklung der KI-Technologie dar. Die nahtlose Verschmelzung von Datenschutz, Anpassungsfähigkeit und modernster Hardware eröffnet ein neues Reich von Möglichkeiten für KI-gestützte Interaktionen. Mit seinen hervorragenden Leistungskennzahlen und praktischen, realweltlichen Anwendungen legt diese Lösung den Grundstein für eine Zukunft, in der KI nicht nur zugänglich, sondern auch zutiefst respektvoll gegenüber der Privatsphäre der Nutzer ist. 

Die Crowdfunding-Kampagne auf Crowd Supply bietet Einzelpersonen die Möglichkeit, an der Spitze dieser KI-Revolution zu stehen, und es ist offensichtlich, dass AI in a Box das Potenzial hat, neu zu definieren, wie wir mit KI-Systemen in unserem täglichen Leben interagieren.