Теперь картины можно слушать: ИИ может переводить изобразительное искусство в музыку

Теперь картины можно слушать: ИИ может переводить изобразительное искусство в музыку
19:26 Вт, 10 Сентябрь 2019 Телеграф hightech.fm Фото: pixabay.com

Новости технологии:Нейросеть научили преобразовывать изображение в музыку.

Исследователи из Амстердамского университета представили нейросеть, способную соотносить визуальные ощущения со звуками — и превращать картины в музыку. Работа опубликована в статье на arXiv.org, и будет представлена на конференции ICCVW 2019.

При обучении алгоритма исследователи не показывали ему, как соотносить изображение с музыкой — нейросеть получала эти навыки самостоятельно с помощью метода обучение без учителя.

Алгоритм построен по принципу автокодировщика и состоит из кодировщика и декодировщика, которые работают с разными данными — в данном случае, с изображениями и звуками.

Кодировщик учился на датасете MNIST, в котором содержится 60 тыс. рукописных символов и на датасете Behance Artistic Media, в который входят около 180 тыс. картин маслом и акварелью.

На фестивале Ars Electronica оркестр сыграл симфонию, дописанную ИИ

Нейросеть сначала производит преобразование из изображения в музыку, он производит обратное преобразование из полученной музыки в новое изображение, после чего оно сравнивается с исходным.

Добавить комментарий
Перед написанием комментария ознакомьтесь с правилами.
Вверх
×
Продолжая просматривать telegraf.com.ua, Вы подтверждаете, что ознакомились с Правилами пользования сайтом, и соглашаетесь c Политикой конфиденциальности
Закрыть Соглашаюсь