Теперь картины можно слушать: ИИ может переводить изобразительное искусство в музыку

Исследователи из Амстердамского университета представили нейросеть, способную соотносить визуальные ощущения со звуками — и превращать картины в музыку. Работа опубликована в статье на arXiv.org, и будет представлена на конференции ICCVW 2019.

При обучении алгоритма исследователи не показывали ему, как соотносить изображение с музыкой — нейросеть получала эти навыки самостоятельно с помощью метода обучение без учителя.

Алгоритм построен по принципу автокодировщика и состоит из кодировщика и декодировщика, которые работают с разными данными — в данном случае, с изображениями и звуками.

Кодировщик учился на датасете MNIST, в котором содержится 60 тыс. рукописных символов и на датасете Behance Artistic Media, в который входят около 180 тыс. картин маслом и акварелью.

Нейросеть сначала производит преобразование из изображения в музыку, он производит обратное преобразование из полученной музыки в новое изображение, после чего оно сравнивается с исходным.