- L'outil V2A peut être utilisé pour générer un nombre illimité de bandes sonores pour n'importe quel résultat vidéo.
- DeepMind prendra le temps nécessaire pour rendre V2A accessible au public, car l'outil subit des évaluations de sécurité rigoureuses.
- V2A est compatible avec des outils de génération vidéo comme Veo et synchronise automatiquement les sons avec les scènes appropriées.
DeepMind, le laboratoire de recherche en IA de Google, a révélé qu'il travaillait sur un outil d'IA connu sous le nom de V2A, qui peut créer du son et du dialogue pour des vidéos générées par IA. V2A, qui signifie vidéo-to-audio, utilise des invites textuelles et des pixels vidéo pour générer du dialogue, de la musique et des effets sonores pour les vidéos.
À lire également : Google DeepMind présente TacticAI : Révolutionner la tactique de football
Selon DeepMind, les effets sonores et la musique générés correspondent au ton et aux personnages souhaités de la vidéo. DeepMind a expliqué que la technologie pourrait aider à donner plus de vie aux vidéos générées par IA.
V2A synchronise l'audio avec les scènes vidéo
Bien que la technologie de génération audio ne soit rien de nouveau, DeepMind affirme que son outil V2A est le premier du genre à synchroniser automatiquement l'audio avec la vidéo.
« Les modèles de génération vidéo progressent à un rythme incroyable, mais de nombreux systèmes actuels ne peuvent générer que des sorties silencieuses », a écrit DeepMind dans un article de blog.
« En s'entraînant sur la vidéo, l'audio et les annotations supplémentaires, notre technologie apprend à associer des événements audio spécifiques à diverses scènes visuelles, tout en répondant aux informations fournies dans les annotations ou les transcriptions. »
DeepMind.
L'entreprise a ajouté que sa technologie est automatique par opposition à un alignement manuel fastidieux qui nécessite d'ajuster les sons, les vidéos et les timings.
Selon DeepMind, l'outil V2A peut être utilisé pour générer un nombre illimité de bandes sonores pour n'importe quelle sortie vidéo. Une invite positive peut être « définie pour orienter la sortie générée vers des sons souhaités, ou une invite négative pour l'orienter loin des sons indésirables. »
« Cette flexibilité donne aux utilisateurs plus de contrôle sur la sortie de V2A, rendant possible l'expérimentation rapide avec différentes sorties audio et le choix de la meilleure correspondance », a déclaré l'entreprise.
Nous partageons nos avancées sur notre technologie générative de vidéo vers audio (V2A). 🎥
Il peut ajouter du son à des clips silencieux qui correspondent à l'acoustique de la scène, accompagner l'action à l'écran, et plus encore.
Voici 4 exemples – mettez votre son. 🧵🔊 https://t.co/VHpJ2cBr24 pic.twitter.com/S5m159Ye62
— Google DeepMind (@GoogleDeepMind) juin 17, 2024
Deepmind insensible à la concurrence
La dernière innovation intervient alors que DeepMind souhaite consolider sa domination dans l'industrie. Plus tôt cette année, la firme britannique de génération de voix IA ElevenLabs a atteint un jalon après que sa levée de fonds de série B ait généré 80 millions de dollars, évaluant l'entreprise à plus de 1 milliard de dollars, selon Verdict.
L'entreprise dit que ses utilisateurs ont généré plus de 100 ans d'audio. Elle affirme également que son logiciel audio est actuellement utilisé par 41 % des entreprises du Fortune 500.
À lire aussi : Google DeepMind vs. OpenAI : La course dans la génération vidéo IA s'intensifie
Malgré cette concurrence, DeepMind a indiqué qu'ils ne se pressaient pas de rendre la technologie disponible au public.
« Avant de envisager d'ouvrir l'accès au grand public, notre technologie V2A subira des évaluations de sécurité et des tests rigoureux », a déclaré l'entreprise.
DeepMind a également indiqué que V2A est compatible avec des modèles de génération vidéo comme Veo, ce qui aide à créer des effets sonores réalistes.
Reporting de Cryptopolitan par Enacy Mapakame
Les esprits les plus brillants du secteur crypto lisent déjà notre newsletter. Vous aussi ? Rejoignez-les.
Avertissement. Les informations fournies ne constituent pas des conseils en matière d'investissement. Cryptopolitan.com ne saurait être tenue responsable des investissements réalisés sur la base des informations fournies sur cette page. Nous recommandons vivement de mener vos propres recherches et/ou de consulter un professionnel qualifié avant de prendre toute décision d'investissement.
Enacy Mapakame
Enacy Mapakame est journaliste avec plus de 10 ans d'expérience dans les actualités économiques et financières. Elle couvre les marchés capitalistiques et les technologies émergentes – le métavers, l'IA et la cryptomonnaie. Enacy détient un diplôme de licence (BSc) en études médiatiques et sociales avec mention.
