Así calcula Meta el seguimiento de cuerpo completo

El seguimiento de cuerpo completo es una de las metas que busca Meta para el futuro de la realidad virtual. En la pasada Connect 2022, pudimos comprobar que la empresa de Mark Zuckerberg sigue apostando por intentar hacer su metaverso, Meta Horizon Worlds, lo más atractivo posible.

En un metaverso donde los avatares virtuales tienen una importancia capital, Meta sabe que tiene muchísimo aún por mejorar, para que la mayoría de usuarios adopten esta plataforma. Meta Horizon Worlds ha sido duramente criticado, y con razón, por su insuficiente nivel gráfico, más propio de aplicaciones de hace una década. Aunque personalmente veo más grave la sensación de que se siente vacío, que la ausencia de un aspecto gráfico excelso.

La importancia del seguimiento de cuerpo completo

Cualquier tipo de mundo virtual busca proyectar nuestras acciones reales, a ese mundo sintético de la forma más creíble posible. Entre las acciones más habituales estarían los movimientos de nuestra cabeza, nuestras manos, la orientación de la mirada y nuestros gestos faciales, para conseguir trasladar algo tan simple como una sonrisa.

Todas estas variables ya pueden captarse sin mucho problema a día de hoy, pero es cierto que las tecnologías que permiten esto, no son precisamente baratas. Y si pretendes que tu mundo virtual sea de adopción masiva, ya que tu negocio se basa principalmente en el tamaño de esa masa crítica, el precio se vuelve determinante.

La manera más habitual de realizar el seguimiento de cuerpo completo es la utilización de sensores. Como por ejemplo los HTC VIVE Trackers:

Unos accesorios que, colocados en distintas partes de nuestro cuerpo, consiguen trasladar nuestros movimientos al mundo virtual. Un sistema que funciona muy bien, pero que no cumple con las características de hacer la VR fácil y barata. Durante este tiempo, hemos podido probar muchos accesorios para hacer más inmersiva la realidad virtual. Pero es cierto que fuera de ese primer momento, donde la novedad te lleva en volandas, necesitamos que entrar en nuestro mundo virtual sea rápido, sencillo y barato.

Aquí es donde entraron en juego las cámaras que disponen los visores inside-out. Por la orientación de sus dos cámaras inferiores, son capaces de captar con bastante fidelidad los movimientos de nuestros brazos, manos e incluso dedos. Y esto lo consigue sin tener que añadir ningún hardware adicional.

¿Pero cómo conseguimos tener piernas virtuales?

Cuando Meta presentó las Meta Quest Pro, pudimos ver que dispone de mucha de la tecnología pensada para mejorar nuestra presencia virtual en el metaverso. Sus cámaras interiores están diseñadas para transmitir nuestras expresiones faciales. Pero la disposición de las cámaras de seguimiento siguen impidiendo el seguimiento del tronco inferior.

No se puede hacer magia con este sistema, la oclusión de nuestras piernas respecto al visor hace imposible que haya un seguimiento real de nuestros movimientos. Pero aunque sea algo muy lógico, Meta anuncia que próximamente sus avatares tendrán piernas, y lanzan una API de seguimiento de cuerpo completo, el Body Tracking API. ¿Cómo lo hacen?

Aquí es donde entra el cálculo matemático de una inteligencia artificial. Este Body Tracking API es una combinación de cinemática inversa y aprendizaje automático. La cual hace una estimación de nuestra postura esquelética, basándose en las posiciones que si puede leer, como nuestra cabeza y brazos.

Como podéis ver en el video, la API consigue hacer un trabajo digno. Y aunque no es una representación exacta, desde Meta comentan que su aprendizaje automático hará que mejore cuanto más se vaya utilizando. Pero te habrás dado cuenta de que solo lo realiza de la mitad superior de nuestro cuerpo. ¿Entonces por qué meta dicen que tendremos piernas virtuales en la Connect?

Esto es algo en lo que Meta sigue trabajando y que ha mostrado en algún video anterior. Sirviéndose de la misma API y de su capacidad de aprendizaje, puede hacer un cálculo aproximado de cuál será la posición de nuestras piernas.

Desvelando el truco detrás de la magia

Como habéis podido ver en el video anterior, es sorprendente como la IA consigue hacer una aproximación a nuestra postura, basándose en cálculos matemáticos y aprendizaje automático. Pero obviamente es solamente una aproximación, ni de lejos consigue la fidelidad de un sistema con sensores externos, como los HTC VIVE Trackers que vimos al principio.

Esto supone un problema si con nuestro visor miramos a nuestras propias piernas. Este sistema de cálculo no es lo suficientemente exacto ni rápido para reflejar correctamente su posición, y esto sería muy desconcertante para el usuario. Y aquí es donde el CTO de meta nos da la clave de las prometidas piernas:

Tener piernas en tu propio avatar que no coincidan con tus piernas reales es muy desconcertante para la gente. Pero claro le podemos poner patas a otra gente, eso lo ves, y no te molesta en absoluto.

Así que estamos trabajando en piernas que parezcan naturales para alguien que es un espectador, porque no saben cómo están colocadas realmente tus piernas, pero probablemente, cuando mires tus propias piernas, seguirás sin ver nada. Esa es nuestra estrategia actual.

Mike Schroepfer, director de tecnología de Meta

Así pues, los que realmente tendrán piernas virtuales serán los avatares de las otras personas que nos encontremos en Meta Horizon Worlds, pero no realmente nosotros. ¿Es un seguimiento real de cuerpo completo?, claramente no. Pero sí que apunta a dos de los tres factores que consideramos cruciales para la adopción masiva de la realidad virtual, rapidez y facilidad.

Un sistema de cálculo que no es para nada exacto, pero que va integrado en el propio visor, sin tener que ponerte ningún accesorio más. Y por eso mismo no necesita de ninguna otra configuración o ajuste, haciendo su uso lo más sencillo posible.

Pero seguimos echando en falta el tercer factor, el precio. Las recién presentadas Meta Quest Pro, disponen de toda la tecnología para llevar a nuestros avatares al metaverso de forma convincente. Sus sensores harán un buen trabajo tanto facial como de nuestras extremidades superiores, y el tronco y parte inferior, será imaginada por la IA incorporada en esta Body Tracking API. Pero no nos equivoquemos, Meta Quest Pro es un visor muy caro, demasiado caro para que llegue a un público mayoritario.

Esto nos hace pensar que este visor va a ser la punta de lanza, para que los desarrolladores empiecen a moldear lo que podremos hacer con los próximos visores de consumo. Así que, es más que probable que todas estas tecnologías sean adoptadas por las próximas Meta Quest 3, y de esta manera completar el triángulo rápido, fácil y barato, que empuje a un mayor de usuarios a poblar el metaverso de Meta.

Si queréis más información acerca del Body Tracking API os dejo por aquí el enlace con la documentación oficial. Esta API forma parte de Movement SDK, el cual incluye también el Eye Tracking API y el Face Tracking API. Puesto a disposición de los desarrolladores para llevar el realismo de nuestros avatares a un nuevo nivel.

¿Qué os parece la solución de Meta para el seguimiento de cuerpo completo?