Сбербанк представил первую в России нейросеть для создания видеороликов по текстовому описанию — Kandinsky Video. Она может сгенерировать видеоряд продолжительностью до восьми секунд с частотой 30 кадров в секунду, рассказал зампредседателя правления банка Александр Ведяхин в ходе международной конференции AI Journey.
«Недавно мы обучили Kandinsky создавать анимационные видео по текстовому описанию, а сегодня представляем модель совершенно другого уровня. Это важный вклад в развитие российских генеративных нейросетей»,— рассказал господин Ведяхин (цитата по пресс-релизу Сбербанка).
Kandinsky Video состоит из двух блоков. Один из них отвечает за создание основных кадров, из которых в дальнейшем складывается структура сюжета видео, второй — за генерацию интерполяционных кадров, обеспечивающих плавность движений в видео.
Нейросеть создает видео с разрешением 512 х 512 пикселей и различным соотношением сторон. Датасет, на базе которого прошло обучение Kandinsky Video, состоит более чем из 300 тыс. пар «текст—видео». Для генерации видеоролика потребуется до трех минут.
Фото: pixabay
Теги по теме
Нейросеть по походке людей и животных научили определять болезнь Паркинсона
ChatGPT научился создавать песни с помощью нейросети
В России снимут сериал по сценарию нейросети
В России начали принимать на работу и рассчитывать зарплату по фотографиям