Meta Movie Gen: إحداث ثورة في إنشاء الفيديوهات بالذكاء الاصطناعي باستخدام تكنولوجيا متقدمة

Movie Gen هو مجموعة من النماذج الأساسية التي طورتها Meta، والتي يمكنها توليد مقاطع فيديو عالية الجودة بدقة 1080p HD مع صوت متزامن، بالإضافة إلى تنفيذ تحرير فيديو دقيق بناءً على التعليمات وتوليد مقاطع فيديو شخصية بناءً على صورة المستخدم.

Movie Gen يقدم قدرات مثل تحويل النص إلى فيديو، تخصيص الفيديو، تحرير الفيديو، توليد الصوت من الفيديو، وتحويل النص إلى صوت.

أكبر نموذج في مجموعة Movie Gen هو محول يحتوي على 30 مليار معلمة مخصص لتحويل النص إلى فيديو، ويمكنه توليد مقاطع فيديو مدتها 16 ثانية بسرعة 16 إطارًا في الثانية.

يحقق Movie Gen تخصيص الفيديو عن طريق تكييف النموذج مع صورة لشخص، مما يمكّنه من توليد مقاطع فيديو يظهر فيها الشخص المختار مع الحفاظ على الهوية واتباع النص الموجه.

يقدم Movie Gen نموذجًا يمكنه إجراء تحرير فيديو دقيق استنادًا إلى التعليمات النصية، مستفيدًا من عملية تدريب متعددة المراحل تشمل تحرير الإطار الواحد، تحرير الإطارات المتعددة، وتحرير الفيديو عبر ترجمة خلفية.

لدى Movie Gen نموذج يسمى Movie Gen Audio الذي يولد مؤثرات صوتية وموسيقى سينمائية عالية الجودة متزامنة مع إدخال الفيديو، ويقوم بمحاذاة مع الحركات واتباع النص الموجه.

يهدف Movie Gen إلى إصدار معايير تقييم مثل Movie Gen Video Bench، Movie Gen Edit Bench، وMovie Gen Audio Bench لتمكين التقييم المستقبلي وتسريع الأبحاث في نماذج توليد الوسائط.

يوسع Movie Gen بيانات التدريب وحجم النموذج من خلال التدريب المسبق على البيانات الحجمية للصور والفيديو والصوت من الإنترنت، واستخدام نموذج بسيط قائم على Transformer يتم تدريبه بتقنية مطابقة التدفق، مما يسمح بتدريب فعال لنماذج توليد الوسائط الكبيرة.

Movie Gen لديه تطبيقات واسعة في إنشاء الوسائط، مما يسمح بتوليد مقاطع فيديو مخصصة وعالية الجودة، وكذلك التحرير الدقيق، والتي يمكن استخدامها في إنتاج الأفلام، الإعلان، وإنشاء المحتوى لوسائل التواصل الاجتماعي والمزيد.

يمكن لـ Movie Gen توليد الصوت لمقاطع فيديو بطول متغير من خلال توليد أحادي النقطة لمقاطع الفيديو القصيرة وتقنية تمديد الصوت لمقاطع الفيديو الأطول، التي تتضمن توليد الصوت في مقاطع وربطها بسلاسة.