开创性的“AI in a Box”：具有隐私保护的离线对话AI

在离线对话AI方面取得了显著进展，开创性科技公司Useful Sensors推出了其创新的“AI in a Box”解决方案。这一技术奇迹利用了Rockchip RK3588S处理器的神经处理单元（NPU）的强大功能。 

为了提供类似于ChatGPT的用户体验，同时消除对互联网连接或任何形式的用户注册的需求。除了其对话能力外，AI in a Box 还具备 多样化的功能，从实时字幕和语言翻译到用于 discreet 讨论的强化隐私功能。

离线对话AI 

Useful Sensors 推出的“AI in a Box”标志着离线对话AI的重大突破。与传统的AI系统不同，该技术不依赖持续的互联网连接。这确保了用户的隐私，并避免了复杂的注册程序。由Rockchip RK3588S处理器内的NPU驱动，这款AI in a Box将AI驱动交互的未来推向了前沿。

满足多样化需求的多功能特性

这款创新的AI解决方案超越了单纯的对话，提供了一套全面的功能以适应广泛的需求：

 实时字幕：AI in a Box 配备在直播活动中提供实时字幕和闭路字幕。在个人面临听觉理解挑战的情况下，这种能力被证明是无价的。

 实时翻译：能够以近乎实时的速度在多种语言之间进行翻译，用户只需选择源语言和目标语言。系统随后显示分屏字幕，显示原始输入和机器生成的翻译输出。

强化隐私：注重隐私的用户会欣赏AI in a Box核心的Radxa ROCK 5A没有集成Wi-Fi或蓝牙连接。此外，即使以太网端口也不是必需的，因为所有数据处理都在本地进行。这保证了最高的隐私，特别是在涉及敏感讨论或内容的背景下。

键盘模式提高生产力

除了对话功能外，AI in a Box 还是一个多功能的转录和内容生成工具。当连接到辅助主机设备（如 Raspberry Pi）时，它可以无缝地作为 USB 键盘运行，从而简化音频文件转录或将视频转换为文本格式。

Useful Sensors 开发了 Useful Transformers 库以实现这一令人印象深刻的技术壮举。这个创新的库专门针对低成本、低功耗处理器进行推理任务的高效执行而设计，从而促进 AI 模型在计算网络边缘的运行。该库的首个应用优化了 OpenAI 的 Whisper 语音转文本模型，取得了显著的成果。

卓越的性能指标

Useful Transformers 库所展现的性能证明了其卓越的能力。它利用 tiny.en Whisper 模型，其语音转录速度比实时性能快30倍。这种性能甚至超越了最杰出的实现。大多数推理执行迅速，通常在500毫秒到2秒之间，确保无缝且令人满意的用户体验。

从原型到综合解决方案

AI in a Box 的现有硬件目前处于原型阶段。它采用封装在塑料外壳中的 Radxa ROCK 5A，并通过 HDMI 显示器、USB 扬声器和 USB 麦克风连接。然而，最终产品是一个完全集成的解决方案，包含 Rockchip RK3588S SoC、8GB 内存、集成显示屏、内置扬声器和麦克风，所有组件均封装在定制外壳中。该设备运行 Ubuntu 22.04 系统，承诺提供无与伦比的 AI 体验。

Crowd Supply 上的众筹计划

Useful Sensors 已在 Crowd Supply 平台 上正式推出 AI in a Box，设定了30,000美元的资金目标。支持者将获得一系列激励措施，最终产品计划于2024年1月31日前发货。AI in a Box 原型套件面向早期采用者和科技爱好者，配有ROCK 5A、外壳、显示器和各种配件。该套件计划于2023年12月1日交付，为在大众受众之前探索Rockchip RK3588S处理器上的LLM潜力提供了机会。美国境内运费为8美元，全球其他地区为18美元。

Useful Sensors 推出的“AI in a Box”标志着 AI 技术演进中的一个关键时刻。它将隐私、适应性和最先进的硬件无缝融合，为 AI 驱动的交互开辟了新的可能性。凭借卓越的性能指标和实用的现实世界应用，该解决方案为 AI 不仅易于获取，而且深刻尊重用户隐私的未来奠定了基础。 

Crowd Supply 上的众筹活动为个人提供了站在这一 AI 革命前沿的机会，显而易见，AI in a Box 具有重新定义我们日常生活中与 AI 系统互动方式的潜力。