Как нейросеть создает видео по описанию
Обновлено · цены в ⚡ — из прайса сервиса
Нейросеть создаёт видео по описанию не по кадру за раз, а всё сразу: начинает с шума на все кадры и шаг за шагом убирает его, сверяясь с вашим текстом, пока из ряби не проступит ролик. Поэтому движение в нём связное, но короткое — у нас один запуск длится от 4 до 20 секунд. Ниже — как это устроено, что делаем мы между вашим текстом и нейросетью и откуда берутся типичные ошибки.
Как нейросеть создает видео по текстовому описанию
Сначала текст превращается в числа. Отдельная часть модели — кодировщик текста — читает описание и записывает его смысл набором чисел: «мёд», «стекает», «тёплый свет» становятся точками в пространстве смыслов, а не словами.
Потом начинается сама генерация. Модель берёт случайный шум — рябь, как на старом телевизоре, — сразу на весь будущий ролик и за много шагов очищает его. На каждом шаге она предсказывает, какой шум лишний, если ролик должен соответствовать этим числам. Работает она не с пикселями, а со сжатым черновиком ролика — так быстрее и дешевле; в конце отдельный декодер разворачивает черновик в настоящие кадры.
Знает, как выглядит мёд и как падает капля, модель потому, что её учили на огромном числе роликов с подписями. Законов физики в ней нет — есть выученное «обычно это выглядит так». Подробностей устройства коммерческих моделей разработчики не раскрывают, поэтому это общий принцип, а не чертёж конкретной нейросети.
Как нейросеть генерирует видео по текстовому описанию
У нас между кнопкой и нейросетью есть ещё несколько шагов. Сначала ⚡ списываются — до вызова, а не после. Ваше описание переводится на английский, перед ним встаёт задание режиссёру и правила движения, после — запрет на надписи. Форму кадра мы передаём явно: у многих моделей умолчание горизонтальное, и вертикальный ролик для сторис без этого пришёл бы с чёрными полями.
Дальше запрос уходит в очередь к поставщику нейросети, и наш сервер сам спрашивает, готово ли. Сколько ждать, зависит от модели: на одной трудной сцене самая быстрая справилась за 9 секунд, самая медленная — за 235. Готовый файл мы скачиваем к себе, проверяем его длину и кладём в «Мои работы»; сорвалось — ⚡ возвращаются на баланс.
Сколько на самом деле ждать каждую нейросетьКак нейросеть составляет видео по текстовому описанию
Из этого устройства следуют все привычные ошибки. Модель заполняет движением всю заданную длину: если в описании одно действие, она растянет его на весь ролик, и выйдет замедленная съёмка. Поэтому мы просим описывать действия по секундам — на 4 секунды нужно 2–3.
Предмет в руке пропадает, а свет посреди ролика меняется, потому что модель видит ролик целиком размытым черновиком и не следит за вещами так, как следит человек. Буквы плывут, потому что надпись для неё — узор, а не слово. Длиннее нескольких секунд за раз не выходит: каждая лишняя секунда — это ещё кадры, которые надо очистить вместе, и цена у нас растёт ровно пропорционально длине.
Звук, если вы его заказали у самой нейросети, у части моделей рождается тем же процессом вместе с картинкой: шаги и плеск поэтому совпадают с кадром, но речь в таком звуке бывает и не по-русски. А предмет по одному описанию модель придумывает сама — похожий на ваш, но не ваш. Нужен настоящий товар в кадре — начинайте с его фото в «Ролике из фото»: там первый кадр — ваш снимок.
И ещё одно следствие: генерация начинается со случайного шума, поэтому одно и то же описание дважды даст два разных ролика. Отсюда черновик — тот же запрос на Veo 3.1 Lite за 17 ⚡: проверить, так ли движется сцена, прежде чем платить за чистовик.
Сделать в Грифеле
Видео по описанию
Короткий ролик с нуля, без исходной картинки — для сторис, заставки, фона
Попробовать самому: Veo 3.1 Fast — 56 ⚡ за 4 с, черновик на Veo 3.1 Lite — 17 ⚡.
При регистрации — 50 ⚡, карта не нужна. Цена запуска видна на кнопке до нажатия.