Команда «Яндекса» рассказала о создании отдельной генеративной нейросети YandexART (Vi) для создания пятисекундных видео. Функциональность этой нейросети позволит создавать анимацию для заставок на телефон, а также в задачах для издателей видеоконтента.
«Яндекс» сообщил о разработке бета-версии нейросети YandexART (Vi), которая предназначена для создания роликов длиной пять секунд. Она правдоподобно изображает движения объектов, включая динамичные: морские волны, человека или животного.
Новую функцию можно будет использовать для создания анимированных заставок для телефона, смартфона или планшета. Кроме того, новая нейросеть может пригодиться блогерам и представителям творческих профессий. Воспользоваться YandexART (Vi) можно в приложении «Шедеврум».
Предыдущую версию нейросети для генерации видео по текстовому запросу «Яндекс» представил в августе прошлого года — она создавала анимацию, в которой изображалось движение камеры, а не объекта, да и сами объекты на разных кадрах могли заметно отличаться.
Особенностью YandexART (Vi) является её способность воспроизводить реалистичные движения, учитывая связь между кадрами, благодаря чему объекты в кадре движутся плавно и правдоподобно. Для этого модель обучали на роликах с движущимися объектами — например, это были едущий автомобиль или крадущийся кот.
Для работы с функцией генерации видео пользователю достаточно текстом описать, что он хочет увидеть в кадре. Сначала нейросеть создаёт изображение, с которого будет начинаться анимационный ряд, а затем превращает цифровой шум в последовательность кадров в соответствии с запросом и образцом — первым кадром.