Липсинг: что это и как сделать нейросетью

Коротко. Липсинг — это синхронизация губ с речью: персонаж в кадре открывает рот ровно под звучащие слова. Раньше его рисовали аниматоры кадр за кадром, теперь говорящее видео нейросеть делает из одного фото или из текстового описания за пару минут. Разбираем, как это устроено, какие есть способы и где результат выдаёт подделку.

Что такое липсинг

Слово пришло из английского lip sync — «синхронизация губ». Термин старый: так называют выступление под фонограмму, дубляж фильмов и анимацию, где у мультяшного героя рот движется под реплику актёра озвучки. В соцсетях липсингом называют ролики, где человек беззвучно «поёт» под чужой трек.

С нейросетями появилось третье значение: машинная подгонка движения рта под звук. Модель смотрит на лицо, «слышит» речь и для каждого кадра решает, какую форму должны принять губы, челюсть и щёки. Звуки «м», «п», «б» требуют сомкнутых губ, «о» и «у» — округлённых, «и» — растянутых. Хорошая модель ещё и двигает брови, моргает и чуть поворачивает голову — без этого лицо выглядит как маска.

Три способа сделать липсинг нейросетью

Под одним словом скрываются разные задачи, и инструменты под них разные. Перед стартом определите, что у вас есть на входе.

Первые два способа — генеративные: звук и картинка рождаются вместе, поэтому губы совпадают с речью почти идеально. Третий и четвёртый — подгонка под готовый звук: больше контроля над голосом, но выше риск рассинхрона. Подробный разбор аватаров — в статье «Hedra: говорящие аватары».

Пошагово: говорящее видео из фото

Самый частый запрос — «пусть человек на фото скажет фразу». Так делают поздравления, шуточные ролики и превью для соцсетей.

1. Подготовьте снимок. Лицо анфас или в лёгком повороте, рот виден целиком, ничего не закрывает подбородок. Подойдёт и рисунок или 3D-персонаж. Чем выше разрешение лица, тем чище губы.
2. Откройте видеомодель. В Умке раздел видео → Kling 2.6 «оживить картинку». Включите переключатель «Со звуком».
3. Напишите описание с репликой. Пример: «Женщина улыбается и говорит в камеру: «С днём рождения, Серёжа!» Тёплый свет, камера неподвижна». Реплику ставьте в кавычки — так модель понимает, что это речь, а не описание сцены.
4. Сократите фразу. За 5 секунд человек спокойно произносит 8–12 слов. Если текст длиннее, речь ускорится или оборвётся.
5. Сгенерируйте 2–3 варианта. Даже у сильных моделей каждый запуск чуть отличается: где-то лучше мимика, где-то интонация.

Если нужен персонаж, которого ещё нет, — сначала сделайте портрет в генераторе картинок, затем оживите его. Про подготовку кадра подробнее в статье «Как оживить фото нейросетью».

Как писать промпт для липсинга

Модель со звуком читает описание как сценарий. Чем он точнее, тем естественнее речь.

• Кто говорит и как. «Пожилой мужчина говорит спокойно, с хрипотцой» даст другой голос, чем «девушка весело кричит».
• Язык. Русскую фразу пишите по-русски, но для надёжности добавьте «говорит по-русски». Без этого модель иногда добавляет акцент.
• Фон звука. «Тихая комната», «шум кафе», «ветер на улице». Если ничего не указать, модель может подложить музыку поверх речи.
• Камера. Для липсинга лучше неподвижный кадр или медленный наезд. Резкие повороты головы ломают синхронизацию.

Хотите отдельно сгенерировать голос, а не ролик, — это задача синтеза речи, её разбираем в статье «ИИ-озвучка» и на странице озвучки текста.

Где липсинг выдаёт подделку

Даже лучшие модели 2026 года ошибаются в одних и тех же местах:

• Зубы и язык. При широко открытом рте зубы «плывут» или сливаются в белую полосу. Лечится короткими фразами и средним планом вместо крупного.
• Губные согласные. На «п», «б», «м» губы иногда не смыкаются. Заметно на медленной речи, почти незаметно на обычной.
• Длинные фразы. К концу ролика речь ускоряется, если в описании слишком много слов.
• Профиль. Если лицо повёрнуто больше чем на 45°, модель видит половину рта и синхронизация хуже.
• Чужое лицо. Говорящее видео с реальным человеком без его согласия — это дипфейк. Для шуток с друзьями спросите разрешения, публичных людей не используйте вовсе.

Сколько это стоит в Умке

В Умке нет подписки: вы пополняете баланс в рублях и тратите токены только на то, что сгенерировали. Пакеты на сегодня: 290 ₽ — 725 токенов, 690 ₽ — 1 811, 1 490 ₽ — 4 172, 3 900 ₽ — 11 700 токенов. Токены не сгорают.

Цена видеоролика зависит от модели, длительности и того, включён ли звук: со звуком дороже. Точную стоимость интерфейс показывает до запуска, так что сюрпризов нет. Для сравнения: картинка-портрет, с которой можно начать, обходится примерно в 35 токенов, то есть стартового пакета хватит примерно на 20 картинок. Все тарифы — на странице цен.

Вывод

Липсинг перестал быть работой аниматора. Если нужен короткий ролик, где человек со снимка или придуманный персонаж произносит фразу, проще всего взять видеомодель со звуком: Kling 2.6 для фото, Veo для сцены с нуля. Держите фразы короткими, лицо — анфас, камеру — спокойной, и делайте несколько дублей. Для минутных монологов и дубляжа готового видео нужны специализированные сервисы аватаров.

Частые вопросы