Нейросеть научилась создавать 3D-модель человека по фотографии (Видео)

Инженеры из Университета Южной Калифорнии создали нейросеть, которая воссоздает объемный образ человека по фотографии. Алгоритм отличается от аналогичных способностью точно создает изображение человека со спины, которое не видно на исходном снимке. Описание работы опубликовано на arvix.com.

Сложность воссоздания объемного образа предмета и человека по фотографии заключается в том, что на начальном этапе существуют данные только с одного ракурса. Существующие алгоритмы способны создать либо неточную модель с сохранением цвета снимка, либо точную с потерей цвета.

Теперь исследователям удалось создать нейросеть, которая на основе 2D-снимка создает трехмерное изображение, сохраняя пропорции человека и особенности фотографии, такие как цвет и фон.

Нейросеть обучалась на датасете из 491 модели, созданной на основе базы RenderPeople — это набор высококачественных 3D-моделей людей, полученных с помощью фотограмметрических сканеров.