Aura

Художники или разработчики игр, желающие увидеть, что можно сделать с помощью функций отслеживания взгляда и лица в Meta Quest Pro, могут увидеть их реализацию в этом приложении. Фантастический персонаж, изображающий инопланетянина, будет повторять ваши мимические движения, включая улыбки, подмигивания, движения бровей и т. д.

Отслеживание лица кодируется с помощью форм смешения (blendshapes), основанных на системе кодирования лицевых действий (FACS). Активацию этих форм можно увидеть на гистограмме, отображаемой слева от зеркального аватара. Наблюдая за тем, как активируются эти формы смешения, можно получить хорошее представление о том, как они сочетаются, чтобы представить естественные выражения лица.

После обнаружения движений дизайнер может изменить силу активации в соответствии с творческим замыслом персонажа. Например, если у персонажа очень большой рот, возможно, не стоит полностью активировать морфинг рта, так как это может придать персонажу угрожающий вид. С помощью ползунка в правой части приложения пользователь может изменять силу активации, чтобы увидеть её влияние на перенацеленный инопланетный персонаж.

Это приложение представляет собой реализацию SDK для отслеживания движений платформы Presence, предоставляемого компанией Meta, что позволяет всем разработчикам получить доступ к возможностям отслеживания взгляда, лица и тела. Код и модели ресурсов, лежащие в основе этого приложения, доступны для загрузки по адресу: Oculus