تطور Google DeepMind نموذج V2A الذي ينشئ أصواتاً لمقاطع الفيديو التي ينتجها الذكاء الاصطناعي

كشف DeepMind، مختبر أبحاث الذكاء الاصطناعي التابع لـ Google، عن أنه يعمل على أداة ذكاء اصطناعي تُعرف باسم V2A، والتي يمكنها إنشاء الصوت والحوار للفيديوهات المولدة بالذكاء الاصطناعي. يستخدم V2A، الذي يقف على video-to-audio، نصوصاً موجهة (prompts) وبيكسلات الفيديو لتوليد الحوار والموسيقى والمؤثرات الصوتية للفيديوهات.

اقرأ أيضًا: جوجل ديبمايند تقدم TacticAI: ثورة في تكتيكات كرة القدم

وفقاً لـ DeepMind، فإن المؤثرات الصوتية والموسيقى المولدة تتطابق مع النبرة والشخصيات المقصودة للفيديو. وشرحت DeepMind أكثر أن التكنولوجيا يمكن أن تساعد في إضافة المزيد من الحياة للفيديوهات المولدة بالذكاء الاصطناعي.

V2A تطابق الصوت مع مشاهد الفيديو

بينما لا تعد تقنية توليد الصوت شيئاً جديداً، تدعي DeepMind أن أداة V2A الخاصة بها هي الأولى من نوعها، والتي تطابق الصوت مع الفيديو تلقائياً.

"تتقدم نماذج توليد الفيديو بسرعة مذهلة، لكن العديد من الأنظمة الحالية يمكنها فقط إنتاج مخرجات صامتة،" كتب DeepMind في منشور مدونة.

"من خلال التدريب على الفيديو والصوت والتعليقات الإضافية، تتعلم تقنيتنا ربط أحداث صوتية محددة بمشاهد بصرية مختلفة، مع الاستجابة للمعلومات المقدمة في التعليقات أو النصوص."

DeepMind.

أضافت الشركة أن تقنيتها تلقائية على عكس المحاذاة اليدوية التي تستغرق وقتاً طويلاً وتتطلب ضبط الأصوات والفيديوهات والتوقيتات.

وفقاً لـ DeepMind، يمكن استخدام أداة V2A لتوليد عدد غير محدود من المسارات الصوتية لأي مخرج فيديو. يمكن أن يكون "موجه إيجابي" لتحديد المخرج المنشود نحو الأصوات المرغوبة، أو "موجه سلبي" لتوجيهه بعيداً عن الأصوات غير المرغوبة."

"هذه المرونة تمنح المستخدمين تحكماً أكبر في مخرج V2A، مما يجعل من الممكن تجربة مخرجات صوتية مختلفة بسرعة واختيار أفضل تطابق،" قالت الشركة.

نشارك التقدم المحرز في تقنيتنا التوليدية لتحويل الفيديو إلى صوت (V2A). 🎥

يمكنها إضافة صوت إلى المقاطع الصامتة التي تتطابق مع صوتيات المشهد، ومرافقة الإجراءات على الشاشة، والمزيد.

إليك 4 أمثلة – شغل الصوت الخاص بك. 🧵🔊 https://t.co/VHpJ2cBr24 pic.twitter.com/S5m159Ye62

— Google DeepMind (@GoogleDeepMind) يونيو 17، 2024

DeepMind غير متأثرة بالمنافسة

يأتي الابتكار الأخير بينما تريد DeepMind ترسيخ هيمنتها في الصناعة. في وقت سابق من هذا العام، حققت شركة UK AI voice generator ElevenLabs إنجازاً بعد أن حققت جولة تمويل من السلسلة B مبلغ 80 مليون دولار، مما قيم الشركة بأكثر من مليار دولار، وفقاً لـ Verdict.

تقول الشركة إن مستخدمينها تولدوا أكثر من 100 عام من الصوت. كما تدعي أن برمجيات الصوت الخاصة بها تستخدم حالياً من قبل 41% من شركات Fortune 500.

اقرأ أيضاً: Google DeepMind مقابل OpenAI: سباق توليد الفيديو بالذكاء الاصطناعي يشتد

على الرغم من هذه المنافسة، أشارت DeepMind إلى أنهم ليسوا في عجلة من أمرهم لإطلاق التكنولوجيا للجمهور.

"قبل أن نعتبر فتح الوصول للجمهور الأوسع، ستخضع تقنية V2A لدينا لتقييمات واختبارات سلامة صارمة،" قالت الشركة.

أشارت DeepMind أيضاً إلى أن V2A يمكن اقترانه بنماذج توليد الفيديو مثل Veo، مما يساعد في إنشاء مؤثرات صوتية واقعية.

تقرير من Cryptopolitan بقلم Enacy Mapakame