Un escaneo de avatar de realidad virtual (VR) una vez requirió más de 100 cámaras para lograrlo, pero ahora los investigadores de Meta han revelado que se puede hacer con solo un iPhone.

Facebook anunció por primera vez Codec Avatars en 2019, una clase de modelos faciales realistas adquiridos que representan con precisión la geometría y la textura de una persona en 3D y, por lo tanto, en realidad virtual (VR). Los avatares son prácticamente indistinguibles del video y la compañía espera que los avatares vibrantes sean significativos en el futuro, particularmente dadas sus ambiciones de metaverso.

Meta estaba usando un dispositivo especializado para crear sus avatares de códec llamado MUGSY, que contiene 171 cámaras de alta resolución, como se muestra a continuación. pero como se dijo por DescargarRecientemente, ha logrado un progreso significativo y pudo evitar MUGSY usando un escaneo desde un teléfono inteligente con un sensor de profundidad frontal, como el iPhone que tiene FaceID.

Para capturar un avatar de Codec, el teléfono debe moverse sobre una cara neutral y luego nuevamente mientras se transcribe una serie de 65 expresiones faciales. Los investigadores dicen que el proceso de escaneo toma un promedio de tres minutos y medio, aunque los usuarios tendrán que esperar seis horas para que una máquina equipada con cuatro GPU de alta gama pueda ver el avatar con todo detalle. Es posible que si este producto estuviera disponible para el público en general, la representación se realizaría en la GPU de la nube y no en la máquina del usuario.

El sistema de escaneo del iPhone utiliza una «súper red» (UPM) prefabricada de clase mundial, una red neuronal que ayuda a crear el avatar de codificación de una persona. Esta súper red de UPM se entrena escaneando los rostros de 255 personas diversas utilizando un dispositivo de captura avanzado, similar a MUGSY pero con 90 cámaras.

Otros investigadores ya han demostrado la creación de un avatar a partir de un escaneo de teléfono inteligente, pero Meta afirma que la calidad de sus resultados es de última generación. Sin embargo, el sistema se limita a escanear solo la cabeza de una persona y no puede interpretar anteojos o cabello largo.

Los avatares de códec aún están lejos de su lanzamiento

Actualmente, los metaavatares tienen un estilo básico de arte de anime, por lo que parece que este tipo de alta resolución aún está muy lejos. En esta nota, Meta Avatares Presentado en productos como Oculus Quest 2 De hecho, el realismo ha disminuido con el tiempo para adaptarse mejor a entornos complejos en aplicaciones como Horizon Worlds.

En febrero, Mark Zuckerberg Dijo en una entrevista con Lex Friedman Que en el futuro los usuarios de VR puedan usar el avatar ‘emoji’ en juegos casuales y el avatar ‘realista’ en reuniones de negocios.

Facebook se negó a decir cuándo Codec Avatars podría estar disponible para los usuarios en general, pero la compañía confía en que se está acercando.

Créditos de la imagen: Foto vía Glifos volumétricos originales del escaneo de imágeneslaboratorios de metarealidad