Исследовательское подразделение Google научили нейросеть создавать видео из двух кадров

Нейросети уже научились самостоятельно анимировать статические изображения и даже улучшать качество старых видео.

Однако это не все, на что способен искусственный интеллект: исследовательское подразделение Google по работе с ИИ анонсировал новый алгоритм, который дорисовывает видеоряд на основе первого и последнего кадров. 

Как работает нейросеть? Как сообщается на сайте arxiv.org, разработанная сотрудниками поискового гиганта нейросеть состоит из трех компонентов.

Декодер двумерного изображения конвертирует входные данные в специальный формат для анализа, генератор скрытого трехмерного представления учится на основе полученной информации, а видеогенератор декодирует полученную информацию в новые кадры будущего видео.

Суть эксперемента. Чтобы проверить работу технологии, разработчики сжали три набора кадров до разрешения 64x64 пикселя. Каждый образец содержал в общей сложности 16 кадров, 14 из которых надо было создать искусственному интеллекту.

Исследователи запускали алгоритм 100 раз для каждой пары исходных изображений, при этом обучение нейросети заняло около 5 дней с использованием видеокарты NVIDIA Tesla V100. В результате сгенерированные последовательности соответствовали заданным начальным и конечным кадрам и были похожи по стилю.

Каковы перспективы у нейросети? В перспективе, по словам разработчиков, алгоритм может стать полезным инструментом для генерации видео на основе минимального набора входной информации.