Das Technologieunternehmen Useful Sensors hat mit seiner innovativen „KI in der Box“-Lösung einen bemerkenswerten Fortschritt im Bereich der Offline-Konversations-KI erzielt. Dieses technologische Meisterwerk nutzt die beeindruckenden Fähigkeiten der neuronalen Verarbeitungseinheit (NPU) des Rockchip RK3588S-Prozessors.
Um ein ähnliches Nutzererlebnis wie ChatGPT zu bieten, ohne dass eine Internetverbindung oder eine Registrierung erforderlich ist. Neben der Konversationsfähigkeit zeichnet sich die KI in der Box durch vielfältige Funktionen, von Live-Untertitelung und Sprachübersetzung bis hin zu verstärkten Datenschutzfunktionen für diskrete Gespräche.
Offline-Konversations-KI
Die Einführung der „KI in der Box“ durch Useful Sensors markiert einen bedeutenden Durchbruch im Bereich der Offline-Konversations-KI. Im Gegensatz zu herkömmlichen KI-Systemen arbeitet diese Technologiedentvon einer ständigen Internetverbindung. Dies gewährleistet die Privatsphäre des Nutzers und umgeht die Notwendigkeit aufwendiger Registrierungsverfahren. Angetrieben von der NPU des Rockchip RK3588S-Prozessors, rückt diese KI in der Box die Zukunft KI-gestützter Interaktionen in den Vordergrund.
Vielseitige Funktionen für unterschiedliche Bedürfnisse
Diese innovative KI-Lösung geht über bloße Konversation hinaus und bietet eine umfassende Palette an Funktionen, um ein breites Spektrum an Anforderungen zu erfüllen:
Live-Untertitel: Die KI-Lösung bietet Echtzeit-Untertitel und Untertitel für Hörgeschädigte während Live-Veranstaltungen. Diese Funktion ist besonders wertvoll für Menschen mit Hörbehinderungen.
Live-Übersetzung: Dank der Möglichkeit, Übersetzungen in nahezu Echtzeit für eine Vielzahl von Sprachen zu erstellen, können Benutzer einfach Ausgangs- und Zielsprache auswählen. Das System zeigt dann im Splitscreen-Modus Untertitel an, die den Originaltext neben der maschinell generierten Übersetzung anzeigen.
Maximale Privatsphäre: Datenschutzbewusste Nutzer werden es schätzen, dass die Radxa ROCK 5A, das Herzstück des KI-Komplettsystems, weder über integriertes WLAN noch über Bluetooth verfügt. Auch der Ethernet-Anschluss ist überflüssig, da die gesamte Datenverarbeitung lokal erfolgt. Dies garantiert höchste Privatsphäre, insbesondere bei sensiblen Themen oder Inhalten.
Der Tastaturmodus steigert die Produktivität
Neben seinen Konversationsfunktionen ist AI in a Box ein vielseitiges Transkriptions- und Content-Generierungstool. In Verbindung mit einem externen Hostgerät wie einem Raspberry Pi kann es nahtlos als USB-Tastatur fungieren und so die Transkription von Audiodateien vereinfachen oder Videos in Textform konvertieren.
Useful Sensors entwickelte die Useful Transformers-Bibliothek, um diese beeindruckende technologische Leistung zu realisieren. Diese innovative Bibliothek ist speziell für die effiziente Durchführung von Inferenzaufgaben auf kostengünstigen und energieeffizienten Prozessoren konzipiert und ermöglicht so den Betrieb von KI-Modellen am Rande von Rechennetzwerken. Die erste Anwendung dieser Bibliothek optimiert das Whisper-Spracherkennungsmodell von OpenAI und erzielt damit bemerkenswerte Ergebnisse.
Hervorragende Leistungskennzahlen
Die Leistungsfähigkeit der Useful Transformers-Bibliothek beweist ihre außergewöhnlichen Fähigkeiten. Dank des tiny.en Whisper-Modellserreicht sie Spracherkennungsgeschwindigkeiten, die die Echtzeit-Performance um das 30-Fache übertreffen. Diese Leistung übertrifft selbst die renommiertesten Implementierungen. Die meisten Transkriptionen werden schnell ausgeführt, in der Regel innerhalb von 500 Millisekunden bis 2 Sekunden, und gewährleisten so ein reibungsloses und angenehmes Nutzererlebnis.
Vom Prototyp zur Komplettlösung
Die Hardware für das AI-in-a-Box-System befindet sich aktuell in der Prototypenphase. Sie besteht aus einer Radxa ROCK 5A in einem Kunststoffgehäuse und ist mit einem HDMI-Display, einem USB-Lautsprecher und einem USB-Mikrofon verbunden. Das finale Produkt hingegen ist eine vollintegrierte Lösung mit einem Rockchip RK3588S SoC, 8 GB RAM, einem integrierten Display, eingebauten Lautsprechern und einem Mikrofon – alles in einem maßgeschneiderten Gehäuse. Es läuft unter Ubuntu 22.04 und verspricht ein unvergleichliches KI-Erlebnis.
Crowdfunding-Initiative auf Crowd Supply
Useful Sensors hat sein Projekt „AI in a Box“ offiziell auf der Crowdfunding-Plattformund ein Finanzierungsziel von 30.000 US-Dollar festgelegt. Unterstützer erhalten verschiedene Anreize. Die Auslieferung des finalen Produkts ist für den 31. Januar 2024 geplant. Für Technikbegeisterte und Early Adopters ist ein Prototypen-Kit von „AI in a Box“ erhältlich. Es enthält den ROCK 5A, ein Gehäuse, ein Display und diverses Zubehör. Die Auslieferung dieses Kits ist für den 1. Dezember 2023 geplant. So können Nutzer das Potenzial von LLM auf dem Rockchip RK3588S-Prozessor vor der breiten Öffentlichkeit erkunden. Der Versand innerhalb der USA kostet 8 US-Dollar, weltweit 18 US-Dollar.
Die Einführung der „KI in der Box“ durch Useful Sensors markiert einen Wendepunkt in der Entwicklung der KI-Technologie. Die nahtlose Verbindung von Datenschutz, Anpassungsfähigkeit und modernster Hardware eröffnet völlig neue Möglichkeiten für KI-gestützte Interaktionen. Mit ihren herausragenden Leistungskennzahlen und praktischen Anwendungen ebnet diese Lösung den Weg für eine Zukunft, in der KI nicht nur zugänglich ist, sondern auch die Privatsphäre der Nutzer umfassend respektiert.
Die Crowdfunding-Kampagne auf Crowd Supply bietet Einzelpersonen die Möglichkeit, an der Spitze dieser KI-Revolution zu stehen, und es istdent dass AI in a Box das Potenzial besitzt, die Art und Weise, wie wir im Alltag mit KI-Systemen interagieren, neu zudefi.
