画期的な「AI in a Box」：プライバシー保護されたオフライン会話AI

オフライン会話AIにおける顕著な一歩として、先駆的なテクノロジー企業Useful Sensorsは、革新的な「AI in a Box」ソリューションを発表した。この技術的傑作は、Rockchip RK3588Sプロセッサのニューラルプロセッシングユニット（NPU）の強力な能力を活用している。 

ChatGPTに似たユーザー体験を提供しつつ、インターネット接続やユーザー登録の必要性を排除する。会話能力に加え、AI in a Boxは多様な機能を備えており、ライブキャプションや言語翻訳から、機密性の高い議論のための強化されたプライバシー機能まで幅広い。

オフライン会話AI 

Useful Sensorsによる「AI in a Box」の導入は、オフライン会話AIにおける重要な突破口である。従来のAIシステムとは対照的に、この技術は継続的なインターネット接続に依存せずに動作する。これによりユーザーのプライバシーが確保され、複雑な登録手続きを回避できる。Rockchip RK3588Sプロセッサ内のNPUによって駆動されるこのAI in a Boxは、AI駆動型インタラクションの未来を前面に押し出す。

多様なニーズに対応する versatile な機能

この革新的なAIソリューションは会話を超え、幅広い要件に対応する包括的な機能セットを提供する：

 ライブキャプション：AI in a Boxは、ライブイベント中にリアルタイムの字幕とクローズドキャプションを提供する機能を備えている。この機能は、聴覚的な理解に課題を抱える人々にとって不可欠な場面で価値がある。

 ライブ翻訳：多数の言語でほぼリアルタイムの翻訳を提供できるため、ユーザーはソース言語とターゲット言語を簡単に選択できる。システムは、元の入力と機械生成された翻訳出力を表示する分割画面キャプションを提示する。

強化されたプライバシー：プライバシーを重視するユーザーは、AI in a Boxの中核であるRadxa ROCK 5Aに統合されたWi-FiやBluetooth接続がないことを歓迎するだろう。さらに、イーサネットポートでさえ必須ではなく、すべてのデータ処理はローカルで実行される。これにより、特に機密性の高い議論やコンテンツを含む文脈において、究極のプライバシーが保証される。

キーボードモードが生産性を向上させる

会話機能を超えて、AI in a Box は多目的な文字起こしおよびコンテンツ生成ツールです。Raspberry Pi などの補助ホストデバイスに接続すると、USB キーボードとしてシームレスに動作し、音声ファイルの文字起こしや動画のテキスト変換を効率化します。

この印象的な技術的成果を実現するために、Useful Sensors は Useful Transformers ライブラリを開発しました。この革新的なライブラリは、低コストで低消費電力のプロセッサ上で推論タスクを効率的に実行するように特別に設計されており、計算ネットワークのエッジでの AI モデルの運用を可能にします。このライブラリの最初の応用は、OpenAI の Whisper 音声認識モデルを最適化し、驚異的な結果を達成するものです。

優れたパフォーマンス指標

Useful Transformersライブラリが示すパフォーマンスは、その卓越した能力の証である。tiny.en Whisperモデルを活用することで、リアルタイムパフォーマンスを驚くべき30倍の速度で上回る音声文字起こし速度を達成している。このパフォーマンスは、最も優れた実装をも凌駕する。ほとんどの推論は500ミリ秒から2秒の範囲で迅速に実行され、シームレスで満足度の高いユーザー体験を保証する。

プロトタイプから包括的なソリューションへ

現在、AI in a Box の既存ハードウェアはプロトタイプ段階にあります。プラスチック製の筐体に収められた Radxa ROCK 5A を搭載し、HDMI ディスプレイ、USB スピーカー、USB マイクと接続されています。しかし、最終製品は完全に統合されたソリューションであり、Rockchip RK3588S SoC、8GB の RAM、内蔵ディスプレイ、内蔵スピーカー、マイクを備え、すべてカスタムメイドの筐体に収められています。Ubuntu 22.04 で動作し、比類のない AI 体験を提供することを約束しています。

Crowd Supply でのクラウドファンディング

Useful Sensorsは、AI in a BoxをCrowd Supplyプラットフォーム上で正式にローンチし、資金調達目標を3万ドルに設定した。支援者にはさまざまなインセンティブが提供され、最終製品は2024年1月31日までに発送される予定だ。AI in a Boxプロトタイプキットは、早期採用者やテクノロジー愛好家のために利用可能で、ROCK 5A、筐体、ディスプレイ、 assorted アクセサリーが含まれる。このキットは2023年12月1日までに配達される予定で、一般公開に先立って、Rockchip RK3588SプロセッサでのLLMの可能性を探る機会を提供する。米国国内への配送料は8ドル、世界中の目的地への配送料は18ドル。

Useful Sensors による「AI in a Box」の導入は、AI 技術の進化における重要な節目です。プライバシー、適応性、最先端のハードウェアをシームレスに融合させることで、AI 駆動型インタラクションの新たな可能性の領域を開きます。卓越したパフォーマンス指標と実用的な現実世界での応用により、このソリューションは、AI が単にアクセス可能であるだけでなく、ユーザーのプライバシーを深く尊重する未来への土台を築きます。 

Crowd Supply でのクラウドファンディングキャンペーンは、個人がこの AI 革命の最前線に立つ機会を提供しており、AI in a Box が私たちの日常生活における AI システムとの関わり方を再定義する可能性を秘めていることは明らかです。