- Das V2A-Tool kann verwendet werden, um eine unbegrenzte Anzahl von Soundtracks für jede Videoausgabe zu generieren.
- DeepMind wird sich Zeit nehmen, V2A der Öffentlichkeit vorzustellen, da das Tool strengen Sicherheitsbewertungen unterzogen wird.
- V2A lässt sich mit Video-Generierungstools wie Veo kombinieren und passt Sounds automatisch an die entsprechenden Szenen an.
DeepMind, Googles KI-Forschungslabor, hat bekanntgegeben, dass es an einem KI-Tool namens V2A arbeitet, das Sound und Dialoge für KI-generierte Videos erstellen kann. V2A steht für Video-zu-Audio und nutzt textbasierte Prompts sowie Videopixel, um Dialoge, Musik und Soundeffekte für Videos zu generieren.
Auch lesen: Google DeepMind stellt TacticAI vor: Eine Revolution der Fußballtaktik
Laut DeepMind entsprechen die erzeugten Soundeffekte und der Musik dem beabsichtigten Ton und den Charakteren des Videos. DeepMind erklärte weiter, dass die Technologie dazu beitragen kann, KI-generierten Videos mehr Leben einzuhauchen.
V2A passt Audio an Videoszenen an
Obwohl audioerzeugende Technologien nichts Neues sind, behauptet DeepMind, dass sein V2A-Tool das erste seiner Art ist, das Audio automatisch an Video anpasst.
„Video-Generierungsmodelle entwickeln sich in unglaublich schnellem Tempo, aber viele aktuelle Systeme können nur stumme Ausgaben generieren“, schrieb DeepMind in einem Blogbeitrag.
„Durch das Training mit Video, Audio und zusätzlichen Annotationen lernt unsere Technologie, spezifische Audioereignisse mit verschiedenen visuellen Szenen zu verknüpfen und gleichzeitig auf die in den Annotationen oder Transkripten bereitgestellten Informationen zu reagieren.”
DeepMind.
Das Unternehmen fügte hinzu, dass seine Technologie automatisch ist und nicht auf zeitaufwändige manuelle Abstimmung angewiesen ist, bei der Sounds, Videos und Zeitpläne angepasst werden müssen.
Laut DeepMind kann das V2A-Tool verwendet werden, um eine unbegrenzte Anzahl von Soundtracks für jede Videoausgabe zu generieren. Ein positiver Prompt kann „definiert werden, um die generierte Ausgabe in Richtung gewünschter Sounds zu lenken, oder ein negativer Prompt, um sie von unerwünschten Sounds wegzulenken.”
„Diese Flexibilität gibt Nutzern mehr Kontrolle über die Ausgabe von V2A, was es ermöglicht, schnell mit verschiedenen Audioausgaben zu experimentieren und die beste Übereinstimmung auszuwählen“, sagte das Unternehmen.
Wir teilen Fortschritte bei unserer generativen Video-zu-Audio-Technologie (V2A). 🎥
Sie kann stummen Clips Sound hinzufügen, der zur Akustik der Szene passt, die Aktionen im Bild begleitet und mehr.
Hier sind 4 Beispiele – schalten Sie Ihren Ton ein. 🧵🔊 https://t.co/VHpJ2cBr24 pic.twitter.com/S5m159Ye62
— Google DeepMind (@GoogleDeepMind) Juni 17, 2024
DeepMind lässt sich von Konkurrenz nicht beeindrucken
Die neueste Innovation kommt zu einem Zeitpunkt, an dem DeepMind seine Marktführerschaft in der Branche festigen möchte. Anfang dieses Jahres erzielte das britische KI-Stimmgenerator-Unternehmen ElevenLabs einen Meilenstein, nachdem die Series-B-Finanzierungsrunde 80 Millionen US-Dollar einspielte und das Unternehmen laut Verdict auf über eine Milliarde Dollar bewertet wurde.
Das Unternehmen gibt an, dass seine Nutzer bereits über 100 Jahre Audio generiert haben. Zudem behauptet es, dass seine Audio-Software derzeit von 41 % der Fortune-500-Unternehmen genutzt wird.
Lesen Sie auch: Google DeepMind vs. OpenAI: Der Wettlauf um KI-generierte Videos heizt sich an
Trotz dieser Konkurrenz hat DeepMind signalisiert, dass es keine Eile hat, die Technologie der Öffentlichkeit zugänglich zu machen.
„Bevor wir den Zugang für die breite Öffentlichkeit in Betracht ziehen, wird unsere V2A-Technologie strengen Sicherheitsbewertungen und Tests unterzogen
DeepMind gab zudem an, dass V2A mit Video-Generierungsmodellen wie Veo kombiniert werden kann, was realistische Soundeffekte ermöglicht.
Bericht von Cryptopolitan von Enacy Mapakame
Die klügsten Krypto-Köpfe lesen bereits unseren Newsletter. Lust dabei? Mach mit.
Haftungsausschluss. Die bereitgestellten Informationen stellen keine Anlageberatung dar. Cryptopolitan.com Wir übernehmen keine Haftung für Investitionen, die auf den auf dieser Seite bereitgestellten Informationen basieren. Wir empfehlen dringend, vor jeglichen Anlageentscheidungen eine unabhängige Recherche durchzuführen und/oder einen qualifizierten Fachmann zu konsultieren.
Enacy Mapakame
Enacy Mapakame ist Journalistin mit über 10 Jahren Erfahrung in den Bereichen Wirtschafts- und Finanznachrichten. Sie berichtet über Kapitalmärkte und aufstrebende Technologien – das Metaverse, KI und Kryptowährungen. Enacy besitzt einen Bachelor of Science (BSc) im Fachbereich Medien- und Gesellschaftsstudien mit Auszeichnung.
