구글 딥마인드는 AI 비디오에 소리를 생성하는 V2A를 개발합니다

구글의 AI 연구실인 딥마인드는 AI 생성 비디오에 사운드와 대사를 생성할 수 있는 V2A라는 AI 도구를 개발 중이라고 밝혔습니다. 비디오-투-오디오(Video-to-Audio)를 의미하는 V2A는 텍스트 기반 프롬프트와 비디오 픽셀을 사용하여 비디오에 대사, 음악 및 효과음을 생성합니다.

또한 읽기: 구글 딥마인드, TacticAI 소개: 축구 전술의 혁신

딥마인드에 따르면 생성된 효과음과 음악은 비디오의 의도된 톤과 캐릭터와 일치합니다. 딥마인드는 이 기술이 AI 생성 비디오에 더 많은 생기를 불어넣는 데 도움이 될 수 있다고 추가로 설명했습니다.

V2A는 오디오를 비디오 장면과 일치시킵니다

오디오 생성 기술은 새로운 것이 아니지만, 딥마인드는 자사의 V2A 도구가 오디오를 비디오에 자동으로 일치시키는 최초의 기술이라고 주장합니다.

“비디오 생성 모델은 놀라운 속도로 발전하고 있지만, 현재 많은 시스템은 소리 없는 출력만 생성할 수 있습니다,”라고 블로그 글에서 딥마인드(DeepMind)는 썼습니다.

“비디오, 오디오 및 추가 주석을 학습하여 우리 기술은 특정 오디오 이벤트를 다양한 시각적 장면과 연관시키는 방법을 배우며, 주석이나 트랜스크립트에 제공된 정보에 반응합니다.”

딥마인드.

회사는 자사의 기술이 소리와 비디오, 타이밍을 조정하는 데 시간이 많이 걸리는 수동 정렬과 달리 자동화된 방식이라고 덧붙였습니다.

딥마인드에 따르면 V2A 도구는 어떤 비디오 출력이라도 무제한의 사운드트랙을 생성하는 데 사용될 수 있습니다. 긍정적 프롬프트는 “원하는 소리로 생성된 출력을 유도하도록 정의”될 수 있으며, 부정적 프롬프트는 “원하지 않는 소리를 피하도록 유도”할 수 있습니다.

“이러한 유연성은 사용자가 V2A의 출력에 더 많은 제어를 가능하게 하여, 다양한 오디오 출력을 빠르게 실험하고 가장 적합한 것을 선택할 수 있게 합니다,”라고 회사는 말했습니다.

비디오에서 오디오로 변환(V2A) 생성 기술의 진전을 공유합니다. 🎥

장면의 음향에 맞게 소리 없는 클립에 소리를 추가하거나, 화면상의 동작을 동반하는 등 다양한 기능을 제공합니다.

여기 4가지 예시가 있습니다. 소리를 켜세요. 🧵🔊 https://t.co/VHpJ2cBr24 pic.twitter.com/S5m159Ye62

— Google DeepMind (@GoogleDeepMind) 6월 17일, 2024

경쟁에도 불구하고 딥마인드는 흔들리지 않음

최신 혁신은 딥마인드가 업계에서의 지배력을 공고히 하려는 의도와 맞물려 이루어집니다. 올해 초 영국 AI 음성 생성 기업 일레븐랩스(ElevenLabs)는 시리즈 B 자금 조달 라운드에서 8천만 달러를 모금하며 기업 가치를 10억 달러 이상으로 평가받았다고 Verdict는 보도했습니다.

회사는 사용자들이 100년 이상의 오디오를 생성했다고 말합니다. 또한 자사의 오디오 소프트웨어가 현재 포춘 500대 기업 중 41%에서 사용 중이라고 주장합니다.

더 읽기: 구글 딥마인드 vs 오픈AI: AI 비디오 생성 경쟁 치열화

이러한 경쟁에도 불구하고, 딥마인드는 대중에게 기술을 출시하는 데 서두르지 않고 있다고 밝혔습니다.

“더 넓은 대중에게 접근을 개방하기 전에, 우리 V2A 기술은 엄격한 안전 평가와 테스트를 거칠 것입니다,”라고 회사는 말했습니다.

딥마인드는 또한 V2A가 Veo와 같은 비디오 생성 모델과 연동 가능하여 현실적인 효과음을 생성하는 데 도움이 된다고 밝혔습니다.

Enacy Mapakame 가 Cryptopolitan 에서 보도