Google представила новый экспериментальный сервис

Он позволяет увидеть собственное "отражение" на снимках других людей. Сервис использует видео с веб-камеры ноутбука для распознавания позы пользователя, ищет людей в таком же положении в базе данных и создает общую GIF-анимацию из этих данных.

В основе сервиса лежат два алгоритма, один из которых распознает позу человека и создает упрощенную модель его скелета, а второй ищет максимально похожую позу на множестве других снимков. За распознавание позы отвечает открытый алгоритм PoseNet, разработанный ранее специалистами с Google.

Одна из его особенностей заключается в том, что он использует библиотеку TensorFlow.js, благодаря чему пользователю не нужно устанавливать на компьютер дополнительные программы, поскольку все вычисления производятся через браузер на компьютере пользователя. Стоит отметить, что для нормальной работы сервиса требуется современная видеокарта, иначе сервис будет обрабатывать всего несколько кадров в секунду.

Второй алгоритм принимает созданную модель тела пользователя и ищет максимально похожую модель в наборе фотографий других людей. Разработчики создали из множества видеозаписей 80 тысяч снимков и с помощью того же алгоритма PoseNet разметили на каждом снимке модель тела человека.

Для того, чтобы поиск совпадений по такому количеству снимков был быстрым, разработчики использовали VP-дерево. В результате на достаточно мощном компьютере поиск людей в похожих позах происходит за десятки миллисекунд, благодаря чему отображение похожих фотографий в сервисе происходит в реальном времени. Результат работы сервиса можно записать в виде GIF-анимации и загрузить к себе на компьютер.

Стоит отметить, что разработчики из Google не впервые используют алгоритмы машинного обучения для создания необычных визуальных экспериментов. Например, в 2016 году они представили сервис Land Lines. В нем пользователь рисует линию, после чего сервис находит объект похожей формы на спутниковых снимках, например, извилистый берег или дорожную развязку.