मेटा मूवी जेन: अत्याधुनिक तकनीक के साथ एआई-निर्मित वीडियो को क्रांतिकारी बना रहा है।

Movie Gen मेटा द्वारा विकसित फाउंडेशन मॉडल्स का एक सुइट है जो उच्च गुणवत्ता वाली, 1080p HD वीडियो को सिंक्रोनाइज़्ड ऑडियो के साथ जनरेट कर सकता है, और उपयोगकर्ता की छवि के आधार पर व्यक्तिगत वीडियो निर्माण और सटीक निर्देश-आधारित वीडियो संपादन कर सकता है।

Movie Gen पाठ से वीडियो संश्लेषण, वीडियो निजीकरण, वीडियो संपादन, वीडियो से ऑडियो उत्पादन, और पाठ से ऑडियो उत्पादन जैसी क्षमताएँ प्रदान करता है।

Movie Gen सुइट में सबसे बड़ा मॉडल एक 30B पैरामीटर ट्रांसफार्मर है, जो पाठ से वीडियो जनरेशन के लिए डिज़ाइन किया गया है, और यह 16 फ्रेम्स-प्रति-सेकंड की गति से 16-सेकंड की वीडियो जनरेट कर सकता है।

Movie Gen मॉडल को एक व्यक्ति की तस्वीर के आधार पर तैयार करके वीडियो निजीकरण प्राप्त करता है, जिससे यह चयनित व्यक्ति को शामिल करते हुए वीडियो जनरेट कर सकता है और पहचान को बनाए रखते हुए पाठ प्रॉम्प्ट का पालन कर सकता है।

Movie Gen एक मॉडल प्रस्तुत करता है जो पाठ्य निर्देशों के आधार पर सटीक वीडियो संपादन कर सकता है, जिसमें सिंगल-फ्रेम एडिटिंग, मल्टी-फ्रेम एडिटिंग, और बैकट्रांसलेशन के जरिए वीडियो एडिटिंग सहित कई-चरणीय प्रशिक्षण प्रक्रिया शामिल है।

Movie Gen के पास एक मॉडल है जिसे Movie Gen Audio कहा जाता है, जो उच्च गुणवत्ता वाले सिनेमैटिक ध्वनि प्रभावों और संगीत को वीडियो इनपुट के साथ सिंक्रोनाइज़ करता है, जो कार्यों के साथ मेल खाता है और एक इनपुट टेक्स्ट प्रॉम्प्ट का पालन करता है।

Movie Gen का लक्ष्य भविष्य की बेंचमार्किंग को सक्षम करने और मीडिया जनरेशन मॉडल्स में अनुसंधान को तेज करने के लिए Movie Gen Video Bench, Movie Gen Edit Bench, और Movie Gen Audio Bench जैसी बेंचमार्क्स जारी करना है।

Movie Gen अपने प्रशिक्षण डेटा और मॉडल आकार को इंटरनेट-स्केल छवि, वीडियो, और ऑडियो डेटा पर पूर्व-प्रशिक्षण करके और Flow Matching के साथ प्रशिक्षित एक सरल ट्रांसफार्मर-आधारित मॉडल का उपयोग करके स्केल करता है, जो बड़े पैमाने के मीडिया जनरेशन मॉडल्स का कुशल प्रशिक्षण संभव बनाता है।

Movie Gen का मीडिया निर्माण में व्यापक उपयोग है, जो व्यक्तिगत और उच्च गुणवत्ता वाली वीडियो जनरेट करने की अनुमति देता है, साथ ही सटीक संपादन, जिसे फिल्म निर्माण, विज्ञापन, सोशल मीडिया के लिए सामग्री निर्माण में उपयोग किया जा सकता है, और अधिक।

Movie Gen छोटे वीडियो के लिए एक सिंगल-शॉट निर्माण और लंबे वीडियो के लिए एक ऑडियो एक्सटेंशन तकनीक के माध्यम से मनमाने लंबाई के वीडियो के लिए ऑडियो जनरेट कर सकता है, जिसमें ऑडियो को खंडों में जनरेट करना और उन्हें निर्बाध रूप से जोड़ना शामिल है।