Google сделала "невидимые" VR-очки

Под смешанной реальностью подразумевается изображение пользователя дополненной или виртуальной реальности, которое доступно для стороннего наблюдателя. Обычно пользователь при этом располагается на фоне хромакея, на который накладываются виртуальные объекты. Подход позволяет следить за поведением человека в виртуальном мире, тем не менее, его лицо остается закрыто очками, что не позволяет видеть направление взгляда.

Чтобы восполнить пробел, специалисты Daydream Labs использовали технологии машинного зрения и машинного обучения. На первом этапе посредством 3D-сканера они построили модель лица пользователя, которая способна менять направление взгляда и моргать. После этого во время рендеринга видео смешанной реальности модель наложили на реальное изображение пользователя. Сообщается, что для демонстрации используются усовершенствованные очки HTC Vive, отслеживающие взгляд человека.

Другие подробности проекта не раскрываются. Примечательно, что, несмотря на относительно реалистичное моделирование лица пользователя, оно остается 3D-моделью и может вызывать у наблюдателя эффект "зловещей долины". Чтобы снизить такую вероятность, разработчики сделали изображение очков полупрозрачным.