획기적인 'AI in a Box': 프라이버시를 보호하는 오프라인 대화형 AI

오프라인 대화형 AI에서의 놀라운 진전으로, 선구적인 기술 기업 Useful Sensors는 혁신적인 'AI in a Box' 솔루션을 소개했습니다. 이 기술적 경이로움은 Rockchip RK3588S 프로세서의 뉴럴 프로세싱 유닛(NPU)의 강력한 능력을 활용합니다. 

인터넷 연결이나 사용자 등록의 필요성을 제거하면서 ChatGPT와 유사한 사용자 경험을 제공합니다. 대화 능력 외에도 AI in a Box는 다양한 기능을 갖추고 있으며, 실시간 자막 제공, 언어 번역부터 비공개 대화를 위한 강화된 프라이버시 기능까지 폭넓게 지원합니다.

오프라인 대화형 AI 

Useful Sensors의 'AI in a Box' 소개는 오프라인 대화형 AI에서 중요한 돌파구를 마련했습니다. 기존 AI 시스템과 달리 이 기술은 지속적인 인터넷 연결에 의존하지 않습니다. 이는 사용자의 프라이버시를 보장하고 복잡한 등록 절차의 필요성을 피합니다. Rockchip RK3588S 프로세서 내 NPU에 의해 구동되는 이 AI in a Box는 AI 기반 상호작용의 미래를 최전선에 가져옵니다.

다양한 요구에 부응하는 다재다능한 기능

이 혁신적인 AI 솔루션은 단순한 대화를 넘어 광범위한 요구를 수용하기 위한 포괄적인 기능 세트를 제공합니다.

 실시간 자막: AI in a Box는 라이브 이벤트 중 실시간 자막과 폐쇄형 자막을 제공할 수 있습니다. 이 기능은 청각적 이해에 어려움을 겪는 상황에서 매우 가치 있습니다.

 실시간 번역: 다수의 언어로 거의 실시간으로 번역을 생성할 수 있는 능력을 통해 사용자는 소스 언어와 대상 언어를 선택하기만 하면 됩니다. 시스템은 원래 입력과 기계 생성 번역 출력을 함께 표시하는 분할 화면 자막을 제공합니다.

강화된 프라이버시: 프라이버시를 중시하는 사용자는 AI in a Box의 핵심인 Radxa ROCK 5A에 통합된 Wi-Fi나 블루투스 연결이 없다는 점을 높이 평가할 것입니다. 또한 이더넷 포트조차 필수적이지 않은데, 모든 데이터 처리가 로컬에서 발생하기 때문입니다. 이는 특히 민감한 대화나 콘텐츠가 관련된 상황에서 최고의 프라이버시를 보장합니다.

키보드 모드가 생산성 향상

대화 능력 외에도 AI in a Box는 다재다능한 전사 및 콘텐츠 생성 도구입니다. Raspberry Pi와 같은 보조 호스트 장치에 연결되면 USB 키보드처럼 원활하게 작동하여 오디오 파일 전사를 간소화하거나 비디오를 텍스트 형식으로 변환합니다.

Useful Sensors는 이 놀라운 기술적 성취를 실현하기 위해 Useful Transformers 라이브러리를 개발했습니다. 이 혁신적인 라이브러리는 저비용, 저에너지 프로세서에서 추론 작업을 효율적으로 수행하도록 특별히 설계되어 컴퓨팅 네트워크의 끝에서 AI 모델의 작동을 용이하게 합니다. 이 라이브러리의 첫 번째 응용 프로그램은 OpenAI의 Whisper 음성-텍스트 모델을 최적화하여 놀라운 결과를 달성합니다.

뛰어난 성능 지표

Useful Transformers 라이브러리가 보여주는 성능은 그 탁월한 능력을 입증합니다. tiny.en Whisper 모델을 활용하여 이 라이브러리는 실시간 성능을 놀랍게도 30배 이상 초과하는 음성 전사 속도를 달성합니다. 이 성능은 가장 뛰어난 구현체조차도 능가합니다. 대부분의 추론은 일반적으로 500밀리초에서 2초 범위 내에서 신속하게 실행되어 원활하고 만족스러운 사용자 경험을 보장합니다.

프로토타입에서 포괄적인 솔루션으로

현재 AI in a Box의 하드웨어는 프로토타입 단계에 있습니다. 플라스틱 하우징에 감싸인 Radxa ROCK 5A로 구성되며 HDMI 디스플레이, USB 스피커, USB 마이크와 연결되어 있습니다. 그러나 최종 제품은 Rockchip RK3588S SoC, 8GB RAM, 통합 디스플레이, 내장 스피커 및 마이크를 포함하는 완전히 통합된 솔루션이며, 맞춤형 케이스에 밀봉됩니다. Ubuntu 22.04에서 작동하며 비교할 수 없는 AI 경험을 제공할 것을 약속합니다.

Crowd Supply의 크라우드펀딩 이니셔티브

Useful Sensors는 Crowd Supply 플랫폼에서 AI in a Box를 공식 출시하며 30,000달러의 자금 목표 설정했습니다. 후원자들은 다양한 인센티브를 제공받으며, 최종 제품은 2024년 1월 31일까지 발송될 예정입니다. 초기 채택자와 기술 애호가들을 위한 AI in a Box 프로토타입 키트는 ROCK 5A, 인클로저, 디스플레이 및 다양한 액세서리를 포함하며, 2023년 12월 1일까지 배송될 예정입니다. 이는 일반 대중 이전에 Rockchip RK3588S 프로세서에서 LLM의 잠재력을 탐색할 기회를 제공합니다. 미국 내 배송은 8달러, 전 세계 목적지는 18달러입니다.

Useful Sensors의 'AI in a Box' 소개는 AI 기술의 진화에서 중요한 순간을 구성합니다. 프라이버시, 적응성 및 최첨단 하드웨어를 원활하게 결합하여 AI 기반 상호작용을 위한 새로운 가능성의 영역을 열어줍니다. 탁월한 성능 지표와 실용적인 실제 응용 프로그램으로 이 솔루션은 AI가 접근 가능할 뿐만 아니라 사용자의 프라이버시를 깊이 존중하는 미래를 위한 기반을 마련합니다. 

Crowd Supply의 크라우드펀딩 캠페인은 개인이 이 AI 혁명의 최전선에 서는 기회를 제공하며, AI in a Box가 일상생활에서 AI 시스템과 상호작용하는 방식을 재정의할 잠재력을 가지고 있음이 분명합니다.