Luma Dream Machine: как генерировать видео нейросетью

Коротко. Dream Machine — сервис генерации видео американской компании Luma AI. Он делает короткий клип из текстового описания или оживляет загруженную картинку, а движение камеры задаётся прямо в запросе. Главная особенность — работа по ключевым кадрам: вы даёте первый и последний кадр, модель достраивает переход между ними. Разбираем режимы, формулировки запроса, слабые места и что делать пользователю из России.

Что такое Luma Dream Machine

Luma AI начинала с трёхмерной реконструкции сцен по обычным фотографиям, и это видно в результате: у моделей компании заметно лучше других получается связное движение камеры — облёт объекта, проезд, наезд. Dream Machine — это витрина их видеомоделей семейства Ray в виде обычного веб-сервиса: окно запроса, лента готовых генераций, кнопки продления и повтора.

Работает Dream Machine в браузере на сайте Luma AI, есть мобильное приложение для iPhone. Отдельной программы для Windows или macOS нет — если где-то предлагают «скачать Luma Dream Machine для ПК», это чужая сборка, ставить её не надо.

Три режима и что выбрать

Интерфейс выглядит как одна строка ввода, но под ней прячутся принципиально разные сценарии.

Практическое правило: чем больше вы дали на вход, тем меньше сюрпризов на выходе. Режим по картинке выигрывает у режима по тексту почти всегда — вы уже зафиксировали композицию, цвет и лицо, модели остаётся только движение. Подробный разбор этого подхода — в материале «Как сделать видео из фото онлайн с музыкой».

Как описать сцену

Запрос к видеомодели устроен иначе, чем запрос к генератору картинок: кроме того, что в кадре, нужно сказать, что происходит. Рабочий порядок — субъект, действие, окружение, свет, движение камеры, стиль. Например: «пожилой рыбак чинит сеть на деревянном причале, раннее утро, туман над водой, мягкий боковой свет, камера медленно наезжает, документальная съёмка».

Три вещи, которые заметно поднимают попадание. Первое — одно действие на клип: две смены событий в пять секунд модель не вытягивает. Второе — явно назвать движение камеры, иначе получите либо статику, либо случайный дрейф. Третье — писать по-английски: русский язык модели понимают, но англоязычные описания дают более точный результат, и проще попросить перевод у текстовой модели, чем бороться с формулировкой.

Доступ из России

Luma — американская компания, и пользователь из России упирается в два препятствия сразу: открыть сайт и оплатить. Российские карты сервис не принимает, бесплатный уровень ограничен небольшим числом генераций, а платные планы считаются в долларах. Способы вроде зарубежной карты или посредника работают, но каждый добавляет комиссию и риск блокировки аккаунта.

Альтернатива проще: брать не конкретный сервис, а доступ к видеомоделям через российский интерфейс. Luma в Умке нет — честно говорим об этом, — но из 355 моделей 21 работает с видео, включая модели уровня Kling и MiniMax, которые закрывают те же задачи: оживление фото, короткая сцена по описанию, перебивка для ролика. Открывается из России без VPN, оплата рублями. Что реально можно получить бесплатно и где начинаются лимиты, разобрано в статье «Нейросеть видео бесплатно».

Где модель ошибается

Слабые места у Dream Machine те же, что у всех видеомоделей, и знать их полезно заранее. Руки и пальцы в движении деформируются — особенно когда персонаж что-то берёт. Лицо «плывёт» к концу клипа: чем длиннее сцена, тем сильнее расходится внешность. Надписи на кириллице выходят с искажёнными буквами, поэтому титры добавляют потом в редакторе. Физика мелких объектов — вода, дым, сыпучее — выглядит убедительно только на общем плане. И звука видеомодели обычно не дают: музыку и голос кладут отдельной дорожкой.

Отсюда стандартная тактика: делать короткие клипы по три-пять секунд, брать из каждого удачный кусок и собирать ролик в монтажке. Общая механика такой сборки — в материале «ИИ для видео: как создать ролик нейросетью».

Сколько это стоит

Подписки в Умке нет, списание идёт по факту в токенах, и цена запуска видна до нажатия кнопки. Видеомодели считаются по длительности и стоят заметно дороже текстовых, поэтому точную цифру смотрите в интерфейсе. Для ориентира по соседним шагам: быстрый ответ — 1 токен, ответ умной модели (например, перевод описания сцены на английский) — 33, картинка — 35, картинка на самой сильной рисующей модели — 148. Пакеты пополнения: 290 ₽ — 725 токенов, 690 ₽ — 1 811, 1 490 ₽ — 4 172, 3 900 ₽ — 11 700; на минимальном пакете токен стоит 40 копеек, на максимальном — около 33. При регистрации дают 60 токенов и не просят карту, а 8 моделей из 355 работают без списания вовсе.

Частые вопросы