До чего техника дошла! ИИ научили "оживлять" лица на фото

Создателям алгоритма удалось преодолеть главное ограничение: ненатуральность преобразования в случае, когда данные оригинала и цели сильно отличаются.

Нейросети для работы достаточно одной неразмеченной фотографии и любой веб-камеры. Перепечатку работы, итогом которой стало создание MarioNETte, разместили на сайте ArXiv, сообщает VentureBeat.

Почему это может быть опасно

Именно такого алгоритма опасались противники этой технологии, ведь они считают, что теперь манипулировать изображением любого политика, знаменитости или бизнесмена сможет любой желающий.

Отметим, что целью дипфейка – анимировать лицо-оригинал (драйвер), наложив на него мимику человека перед камерой (цель). MarioNETte улучшает технологию "вклеивания" лиц буквально по всем параметрам, утверждают создатели.

Как это работает

Раньше для обучения модели нужны были или технологии захвата движения для лица-цели, или хотя бы несколько минут съемки с разных ракурсов. Альтернатива – размеченное изображение лица-драйвера.

MarioNETte обходится без этого. Просто дайте нейросети фотографию, начните кривляться перед веб-камерой – и дипфейк готов.

В то же время алгоритм успешно преодолевает и общую беду конкурентов, вполне правдоподобно превращая изображения, которые сильно отличаются.MarioNETte состоит из трех функциональных частей: распознаватель образа, алгоритм привязки и алгоритм преобразования.

Создатели утверждают, что в исследовании с участием 100 волонтеров почти все они назвали созданные MarioNETte образы более правдоподобными и с менее заметными артефактами.