Кадр из видео, созданного нейросетью Dream Machine от Luma AI
В начале 2024 года компания OpenAI показала миру возможности своей новой нейросети Sora. Она умеет создавать видео по текстовому описанию, и делает это на профессиональном уровне — смотря на примеры работ Sora можно подумать, что это кадры из кино и мультфильмов. С возможностями нейросетей для генерирования текста и картинок мы уже наигрались вдоволь, теперь всем нам хочется создавать видео. Но доступ к Sora закрыт, и когда нейросеть станет доступна для всех желающих, никто точно не знает. К счастью, другие компании не такие жадные и позволят генерировать видео при помощи своих сервисов. Если делать все правильно, качество роликов оказывается на уровне Sora. Вы уже готовы создать свое первое видео при помощи нейронки? Засучите рукава и повторяйте за нами — сейчас всему научим.
Бесплатная нейросеть для создания видео
Самый лучший аналог Sora — это нейросеть Dream Machine, разработанная компанией Luma AI. Она была представлена миру в середине июня 2024 года и работает бесплатно, но с ограничениями. Бесплатные пользователи могут генерировать 30 видео в месяц, длительность которых не превышает 5 минут. Чтобы увеличить лимит, можно купить премиум подписку на Luma AI Dream Machine стоимостью от 30 до 500 долларов.
Цены на премиум-версию Luma AI. Источник: habr.com
Нейросети уже давно умеют генерировать изображения, они делают это быстро и в шедевральном качестве. Создание множество связанных между собой кадров искусственному интеллекту всегда давалось тяжело. Нейросеть от Luma AI смогла нас удивить — видео получаются такими, что некоторые люди могут принять их за работы профессиональных операторов и художников.
Читайте также: Нейросеть Sora превращает текст в видео — можно ли пользоваться ею прямо сейчас?
Как нейросеть делает видео по тексту
Сервис Dream Machine от Luma AI доступен всем, даже жителям России. Чтобы воспользоваться им, не нужно много уметь — все делается в пару кликов.
Чтобы сгенерировать видео при помощи нейросети, нужно перейти на сайт Luma AI и нажать на кнопку Try Now. В следующем окне сервис попросит войти в свой Google-аккаунт, нужно обязательно это сделать, иначе система дальше не пустит.
Главная страница Dream Machine, кнопка «Try Now» находится справа сверху
После авторизации начинается все самое интересное. Посередине экрана есть поле для ввода: туда нужно написать, что должно происходить на видео. Писать нужно на английском (!), поэтому лучше воспользоваться переводчиком.
Поле для ввода промта Dream Machine
В качестве примера попробуем создать видео с космонавтом, который сидит в автобусе. Описание должно быть максимально подробным и иметь описание стиля, поэтому мы попробуем промпт: an astronaut sits in the bus and takes off his spacesuit, sunlight falls on him from the left, it’s summer outside the window, photorealistic, hollywood movie.
Перед генерацией нужно поставить галку в пункте «Enhance prompt», который в фоновом режиме значительно улучшает ваше описание.
В итоге действительно получилось видео с астронавтом в автобусе, которое похоже на отрывок из голливудского кино. Только мы просили, чтобы он снял свой скафандр, но этого не произошло, нужно было расписать движения подробнее. Посмотрите на результат.
Астронавт едущий в автобусе
В качестве второго примера мы попробовали создать видео с 25-летней девушкой с большими зелеными глазами в постапокалиптической пустыне. Она явно младше, но видео действительно похоже на отрывок из из фильма «Безумный Макс» или нашумевшего сериала «Фоллаут».
Двушка на фоне пустыни
Читайте также: 5 нейросетей для создания картинок, о которых мало кто знает
Как живить мемы при помощи нейросети
Нейросеть Dream Machine от Luma AI также умеет превращать фотографии в видео. Для этого рядом с полем ввода нужно нажать на иконку фотографии и загрузить файл. После этого нужно написать описание как в инструкции выше и ждать результата.
Кнопка для загрузки картинки
Для примера, попробуем оживить картинку из статьи, в которой мы учились пользоваться нейросетью Bing от Microsoft. На ней изображена девочка в белом платье и зонтом в руке — сделаем так, чтобы шел дождь, дул ветер, а люди сзади проходили мимо. Промпт выглядит так: a girl with an umbrella in her hand stands in the pouring rain, drops fall from the umbrella, people pass by in the background, dramatic film.
В итоге получилось прекрасное видео, но почему-то нейронка не нарисовала дождь. Оцените результат.
Девочка с зонтом под дождем
Многие люди используют нейросеть Luma AI чтобы оживить мемы. Попробуем превратить в видео мем с летающим котом. Загружаем картинку и пишем описание: a ginger cat flies in the air, its fur wriggles in the wind, the background flies back, epic shot.
Видео с летающим котом
В очередной раз получилось не совсем то, что мы хотели, но результат все равно впечатляет. Нейросети развиваются очень быстро, и уже спустя полгода или год каждый человек сможет создавать шедевры.
Как можно понять, нейросеть для создания видео от Luma AI не всегда понимает то, что от нее требуется. К тому же, на видео можно заметить искажения. Ну и, самый главный минус заключается в наличии ограничений на количество генерируемых в день видео.
Клип созданный при помощи нейросети
Наличие таких нейросетей как Dream Machine от Luma AI увеличивает шансы на то, что Sora от OpenAI скорее откроется для всех желающих. Если конкуренты сделают свои нейронки бесплатными, разработчикам ChatGPT тоже придется отказаться от планов сделать Sora платным — такие слухи ходят с момента презентации.
А у вас получилось сделать видео при помощи нейросети Dream Machine от Luma AI? Пишите в нашем Telegram-чате!
Если соединить все созданные нейросетью видео, можно получить отличный клип. Музыку для него может можно написать при помощи искусственного интеллекта, читайте нашу статью «Нейросети для создания музыки: бесплатные сервисы доступные каждому».
