Microsoft презентовала нейросеть, которая рисует картинки по текстовому описанию

Исследовательская группа Microsoft Research представила нейросеть Obj-GAN, которая умеет рисовать сложные сцены по текстовому описанию пользователя.

В отличии от других подобных алгоритмов, Obj-GAN может создать картинку по сложному описанию. Теперь бот рисует больше деталей, а также умеет соотносить их друг с другом.

Всего Obj-GAN использует разметку и данные сегментации для более 1,5 млн объектов, рисуя их подобно художнику, начиная с наброска. При работе анализируется, как реалистичность конкретного объекта, так и реалистичность всей композиции.

По словам Microsoft, эта технология может помочь дизайнерам и художникам в создании эскизов. И действительно, пока что итоговый результат похож на черновики какого-нибудь начинающего художника-сюрреалиста.

Алгоритм ObjGAN находится в открытом доступе на GitHub.