Только качественные снимки: новый ИИ может воссоздать 3D-сцены по фото

Исследователи из Google представили детальные 3D-сцены знаменитых достопримечательностей по всему миру. Они использовали фотографии, которые скачали из интернета и обработали их с помощью машинного обучения.

На странице проекта в GitHub исследователи поделились 3D-сценами Бранденбургских ворот в Берлине, храма Базилика Сакре-Кер в Париже и фонтана Треви в Риме. Машинное обучение создало из этого материала детальный 3D-рендеринг, в котором можно перемещать вид, а внешняя сцена меняется под действием световых эффектов.

Исследователи объяснили, что их алгоритм может столкнуться с трудностями при использовании изображений с «необычными параметрами». Фотографии обрабатываются некорректно при плохом свете, неправильной экспозиции или постобработке. Кроме того, на снимках из интернета часто есть движущиеся объекты — например, люди или автомобили. Они также могут помешать алгоритму.

"Два фотографа могут стоять на одном месте и сделать снимок одной и той же достопримечательности, но один кадр алгоритм обработает корректно, а второй — испортит. Нам нужно доработать ИИ, чтобы он работал корректно", — отметили исследователи.

Полученная модель может содержать глитчи или другие ошибки. Исследователи разрабатывают специальные расширения, которые смягчают обработку с помощью ИИ, это приводит к более качественным результатам.