لومیر : مدل جدید گوگل برای تولید ویدئو از متن

آیا تا به حال به این فکر کرده اید که ساخت یک ویدیو از یک توضیح متنی ساده چگونه خواهد بود؟ تصور کنید در حال تایپ “گربه ای که با یک توپ کاموا بازی می کند” هستید و انیمیشن بامزه ای از یک گربه پشمالو را ببینید. یا تایپ کردن عبارت “یک سفینه فضایی در حال پرواز بر فراز یک شهر” و تماشای یک صحنه علمی تخیلی. خب، حالا می توانید به لطف لومیر، یک تبدیل کننده متن به ویدیو جدید که توسط Google Research توسعه داده شده به این تخیلات رنگ واقعیت بزنید.

لومیر یک مدل هوش مصنوعی پیشرفته است که می تواند ویدیوهایی را ترکیب کند که حرکت واقع گرایانه، متنوع و منسجم را از یک پیام متنی به تصویر می کشند. این مدل از معماری جدید Space-Time U-Net استفاده می کند که کل ویدیو را در یک زمان و در یک مرحله تولید می کند. این برخلاف مدل های ویدئویی موجود است که فریم های کلیدی مختلفی را برای یک ویدئو ترکیب می کنند، که می تواند منجر به ناسازگاری زمانی و مصنوعات شود.

لومیر می تواند ویدیوهایی با رزولوشن پایین (۱۰۲۴×۱۰۲۴ pixels) تا ۵ ثانیه را تولید کند؛ این مدل براساس مجموعه داده ای از ۳۰ میلیون ویدئو به همراه توضیحات متنی آن ها آموزش داده شده که طیف گسترده ای از موضوعات و ژانرها را پوشش می دهد. لومیر می تواند انواع مختلفی از دستورها مانند جملات توصیفی، سوالات، دستورها و حتی عبارات ناقص را مدیریت کند.

چند ویدئوی تولید شده توسط لومیر

اما لومیر تنها یک تبدیل کننده متن به ویدیو نیست. او همچنین می تواند کارهای مختلف ویرایش ویدیو مانند تبدیل تصویر به ویدیو، انکودینگ ویدیو و تولید تصاویر سبک پردازی شده (Stylized Generation) را نیز انجام دهد. به عنوان مثال می توانید یک تصویر منبع و یک پیام متنی را در اختیار داشته باشید و لومیر باتوجه به این متن، تصویر را جان می بخشد. شما همچنین می توانید یک ویدیو منبع و یک ماسک (Mask) تهیه کنید، و لومیر منطقه ماسک دار را با محتوای قابل قبول پر خواهد کرد. یا می توانید یک تصویر مرجع سبک ارائه دهید، و Lumiere با استفاده از وزن‌های مدل متن به تصویر تنظیم‌شده، ویدیویی به سبک هدف تولید می‌کند.

لومیر امکانات جدیدی را برای خلق محتوای ویدئویی خلاقانه و انعطاف پذیر فراهم می کند. شما می توانید از آن برای ساخت عکس و فیلم های کوتاه، انیمیشن های کوتاه، سینماگراف ها و غیره استفاده کنید. همچنین می توانید از آن برای آزمایش سبک ها، مواد و سناریوهای مختلف استفاده کنید. لومیر به گونه ای طراحی شده است که کاربران تازه کار بتوانند با کم ترین تلاش و تخصص، محتوای بصری تولید کنند.

لومیر یک دستاورد قابل توجه در زمینه تولید ویدیو و گواهی بر قدرت هوش مصنوعی است. این نشان می دهد که چگونه هوش مصنوعی می تواند خلاقیت و تخیل انسان را تقویت کند و الهام بخش اشکال جدید بیان و ارتباط باشد. لومیر هنوز یک پروژه تحقیقاتی است و تا این لحظه در دسترس عموم قرار نگرفته است. اما می توانید در مورد آن بیشتر بدانید و نمونه هایی از آن را در وب سایت رسمی LUMIERE ببینید.