Как извлечь текст из видео: 3 способа с помощью нейросети

Коротко. «Извлечь текст из видео» означает одну из двух разных задач. Первая — расшифровать то, что говорят: лекцию, вебинар, интервью. Вторая — вытащить то, что написано на экране: слайды, титры, код в туториале, номер телефона в рекламе. Для первой нужно распознавание речи, для второй — распознавание изображений. Ниже три рабочих способа и то, как нейросеть превращает сырую расшифровку в нормальный текст.

Какой текст вы хотите достать

Прежде чем выбирать инструмент, определите источник текста — от этого зависит весь процесс:

• Речь. Человек говорит в кадре или за кадром. Результат — расшифровка, обычно сплошным потоком без абзацев, с ошибками в именах и терминах.
• Надписи. Слайды презентации, титры, текст на доске, интерфейс программы. Звук здесь не поможет — нужны кадры.
• Готовые субтитры. У многих роликов они уже есть, и их проще скачать, чем распознавать заново.

Часто нужно и то и другое: на вебинаре лектор говорит одно, а на слайде формулы и цифры. Тогда комбинируйте способы и сводите результат в один документ в конце.

Способ 1. Взять готовую расшифровку YouTube

Самый быстрый вариант, если видео лежит на YouTube. Площадка сама распознаёт речь почти во всех роликах. Откройте видео, разверните описание и нажмите «Показать текст видео» — справа появится расшифровка с таймкодами. Её можно выделить и скопировать.

Если роликов много или нужен файл, автоматические субтитры скачивает консольная утилита yt-dlp:

yt-dlp --write-auto-subs --sub-langs ru --skip-download ССЫЛКА

Получится файл субтитров с таймкодами. Минус обоих вариантов — текст без знаков препинания и с ошибками распознавания. Это исправляется на шаге с нейросетью, о нём ниже.

Способ 2. Распознать речь из своего файла

Если видео у вас на компьютере — запись созвона, лекция, интервью, — распознайте звуковую дорожку. Лучший бесплатный вариант — Whisper от OpenAI: открытая модель, которая работает на своём компьютере без интернета и хорошо понимает русский. Код и инструкция по установке — в репозитории Whisper на GitHub. После установки команда выглядит так:

whisper video.mp4 --language Russian --model medium

Модель сама достанет звук из видео и сохранит расшифровку в нескольких форматах, включая обычный текст и субтитры SRT. Модель medium — разумный компромисс между скоростью и точностью; на слабом ноутбуке берите small. Подробнее о распознавании речи — в статье «Как преобразовать аудио в текст с помощью ИИ».

Другие варианты — встроенное распознавание в видеоредакторах (CapCut, DaVinci Resolve) и онлайн-сервисы транскрибации. Они удобнее, но обычно ограничивают длительность в бесплатном режиме.

Способ 3. Распознать текст с экрана

Если нужен текст, который написан, а не произнесён, работайте с кадрами. Для пары слайдов хватит паузы и скриншота. Дальше:

• На iPhone функция Live Text распознаёт текст прямо на поставленном на паузу видео — его можно выделить и скопировать.
• На Android сделайте скриншот и откройте его в Google Объективе.
• В нейросети отправьте скриншот и попросите: «Перепиши весь текст с изображения без изменений, сохрани структуру списков и таблиц». Модели с распознаванием изображений справляются даже с формулами и кодом, а заодно могут объяснить содержимое слайда.

Для длинного ролика со множеством слайдов вручную ловить кадры неудобно. Нарежьте их автоматически — FFmpeg сохранит кадр каждые 10 секунд:

ffmpeg -i video.mp4 -vf fps=1/10 frame_%03d.png

Из получившейся папки удалите одинаковые кадры и отправьте оставшиеся на распознавание. Тот же приём описан в статье «Сканер текста: как распознать текст с фото нейросетью».

Сравнение способов

Как превратить расшифровку в нормальный текст

Сырая расшифровка читается тяжело: нет абзацев, «ну», «вот», повторы, перепутанные термины. Здесь нейросеть экономит больше всего времени. Вставьте текст или загрузите файл и дайте точное задание:

• Вычитка без пересказа: «Расставь знаки препинания и разбей на абзацы. Убери слова-паразиты. Смысл и формулировки не меняй».
• Исправление терминов: «Это лекция по бухгалтерскому учёту. Исправь неверно распознанные термины, спорные места пометь [?]». Подскажите тему — модель точнее угадает искажённые слова.
• Конспект: «Сделай конспект на одну страницу: главные тезисы, цифры, выводы. Укажи таймкоды ключевых мест».
• Статья или пост: «Перепиши выступление в статью для блога, сохрани примеры спикера».

Если видео на иностранном языке, следующим шагом попросите перевод — см. перевод текста нейросетью, а для перевода самого ролика с субтитрами и озвучкой есть отдельный разбор «Перевод видео на русский нейросетью».

Одно предупреждение: длинную расшифровку в несколько часов лучше отдавать частями по 20–30 минут. Так модель ничего не пропустит, и проверить результат проще.

Что Умка умеет, а что нет

Честно: чат Умки не принимает видео и аудио, поэтому речь распознайте одним из способов выше. Зато всё остальное делается в одном окне из России без VPN: распознать текст со скриншотов слайдов, вычитать расшифровку, сделать конспект или перевести. Если нужно создать новое видео, а не разобрать готовое, загляните в раздел генерации видео.

Подписки нет — оплата за запросы. Ответ умной модели стоит 33 токена, быстрой — 1 токен, а 8 моделей бесплатны. Стартовый пакет за 290 ₽ даёт 725 токенов: это 21 ответ умной модели, то есть около 13 ₽ за вычитку куска расшифровки. При регистрации дарят 60 токенов без карты — хватит, чтобы попробовать на своём ролике.

Вывод

Чтобы извлечь текст из видео, сначала поймите, где он: в звуке или на экране. Речь берите из расшифровки YouTube или Whisper, надписи — со скриншотов через распознавание изображений. А чтобы из сырого потока слов получился читаемый текст, конспект или статья, отдайте его нейросети с точным заданием.

Частые вопросы