Перевод видео на русский нейросетью: субтитры и озвучка

Коротко. Перевод видео на русский нейросетью делается в три шага: расшифровать речь в текст с таймкодами, перевести этот текст и либо наложить его субтитрами, либо озвучить русским голосом. Если ролик нужно просто посмотреть, хватит встроенного закадрового перевода в браузере. Если вы переводите своё видео для публикации, лучше собрать цепочку вручную — так вы контролируете каждую реплику. Ниже — оба пути и типичные ошибки.

Три способа перевести видео: таблица

Субтитры — самый точный и дешёвый вариант: зритель слышит живой голос, а ошибку в тексте легко исправить. Закадровый перевод удобнее смотреть, но требует подгонки по времени. Дубляж выглядит эффектнее всего, но и ошибается заметнее.

Быстрый способ: посмотреть видео с переводом

Если цель — понять, о чём англоязычный ролик, ничего собирать не нужно. В Яндекс Браузере есть закадровый перевод видео: он работает для роликов на популярных видеоплощадках и переводит речь синтезированным голосом прямо во время просмотра. Минусы понятны: файл с переводом не получить, текст не поправить, а на узких темах и терминах перевод бывает неточным. Для просмотра этого хватает, для публикации — нет.

Пошагово: перевод своего видео на русский

• Расшифруйте речь. Нужен текст с таймкодами, лучше сразу файлом субтитров SRT. Это умеет открытая модель Whisper и сервисы на её основе — подробно в статье «Whisper: как распознать речь с помощью ИИ».
• Переведите текст. Вставьте содержимое SRT в чат и попросите перевести реплики, не трогая номера и таймкоды. Как это устроено, показано на странице перевода нейросетью.
• Проверьте термины и имена. Попросите модель выписать все специальные слова и как она их перевела — так проще заметить ошибку.
• Сделайте субтитры. Готовый файл загрузите на видеоплощадку вместе с роликом или вшейте в видео в любом редакторе.
• Или озвучьте. Переведённый текст превратите в аудиодорожку и наложите поверх приглушённого оригинала.

Промт для перевода субтитров

Простое «переведи» даёт буквальный текст, который неудобно читать в кадре. Лучше так:

• «Переведи субтитры SRT с английского на русский. Номера строк и таймкоды оставь без изменений. Пиши разговорным языком, как говорят в видео, не длиннее 42 символов в строке»;
• «Это обучающее видео по фотографии: термины переводи так, как принято у русскоязычных фотографов, бренды и названия программ не переводи»;
• «Сократи каждую реплику так, чтобы её можно было произнести за то же время, что и оригинал, смысл не меняй».

Длинные субтитры переводите частями в одном чате: модель помнит начало и держит термины едиными. Если исходник — запись встречи или подкаста без видео, пригодится гайд «Как преобразовать аудио в текст».

Типичные ошибки перевода видео

• Сбились таймкоды. Модель «поправила» номера строк или склеила реплики. Проверяйте, что число строк в переводе совпадает с оригиналом.
• Ошибки распознавания. Если Whisper услышал не то слово, перевод будет уверенно неправильным. Имена, бренды и термины сверяйте по исходному звуку.
• Слишком буквально. Идиомы и шутки переводятся дословно. Попросите модель адаптировать их для русского зрителя.
• Разный перевод одного термина. Дайте модели глоссарий в начале чата — список слов и их перевода.

Как озвучить перевод русским голосом

Для закадрового перевода нужен синтез речи. В Умке озвучка текста работает восемью голосами — четыре женских и четыре мужских, скорость регулируется от 0,7 до 1,2 от обычной. Готовый аудиофайл приходит в чат, его можно сразу положить на дорожку в редакторе. Длинный текст лучше озвучивать кусками — по сценам или по абзацам: так проще подогнать каждую реплику к своему месту в ролике.

Главная сложность — длина. Русский перевод обычно длиннее английского оригинала, и голос не успевает за картинкой. Помогают два приёма: попросить модель сократить реплики под время и чуть ускорить голос. Как добиться естественной интонации, разобрано в статье «ИИ-озвучка: как озвучить текст нейросетью».

Дубляж с синхронизацией губ

Существуют сервисы, которые переводят видео целиком: распознают речь, переводят, озвучивают голосом, похожим на голос спикера, и подгоняют движение губ. Результат эффектный, но у подхода есть ограничения: такие сервисы обычно платные, оплачиваются иностранной картой, а на сложной лексике и быстрой речи ошибаются так же, как обычный машинный перевод, — только исправить ошибку в готовом видео труднее. Клонировать можно только свой голос или голос человека, который дал согласие.

Что Умка умеет, а что нет

Честно о границах: чат Умки принимает изображения и документы, но не видео и не аудиофайлы, поэтому расшифровку речи придётся сделать отдельно. Зато всё остальное — перевод субтитров с таймкодами, сокращение реплик под время, проверка терминов и озвучка русским голосом — делается в одном окне, из России и без VPN.

Сколько стоит

Перевод — это обычные ответы чат-модели. Умная модель тратит примерно 33 токена на ответ, быстрая — около 1 токена, 8 моделей бесплатны. Подписки нет: самый маленький пакет — 290 ₽ за 725 токенов, это около 21 ответа умной модели. Субтитры десятиминутного ролика обычно укладываются в несколько ответов. Стоимость озвучки зависит от длины текста — актуальные условия на странице тарифов. При регистрации дают 60 токенов без карты.

Вывод

Чтобы посмотреть чужой ролик, хватит закадрового перевода в браузере. Чтобы перевести своё видео качественно, соберите цепочку: расшифровка с таймкодами, перевод с просьбой сохранить разметку, проверка терминов, затем субтитры или озвучка. Субтитры — самый надёжный вариант, озвучка — самый удобный для зрителя.

Частые вопросы