Uno de los equipos de Facebook Reality Labs se encuentra trabajando en una nueva tecnología centrada en mejorar la audición en dispositivos de realidad virtual, aumentada y mixta. El equipo ha publicado un pequeño vídeo explicando los avances del estudio, que se aplicarán en futuros dispositivos XR.
Más de una vez nos centramos en el aspecto visual de las tecnologías inmersivas olvidando la gigantesca relevancia del aspecto auditivo. Aumenta la inmersión de manera impresionante percibir los sonidos virtuales de manera fidedigna y lo más cercana a la realidad posible. Pero hay más detalles a tener en cuenta que la dirección desde la que nos llegan los sonidos y la posición de nuestra cabeza.
Esta nueva tecnología tendrá en cuenta la arquitectura de la habitación utilizando la tecnología de tracking de los dispositivos para entender cómo afectarían dichas superficies al sonido. Además utilizaría una inteligencia artificial para detectar el tipo de material utilizado en el espacio que nos rodea. El eco, la reverberación, la absorción de las ondas acústicas… todos estos detalles afectan a nuestra percepción del sonido y serán claves para generar una inmersión nunca antes oída.
Además podría aplicarse a LiveMaps, la aplicación que detecta el espacio real que nos rodea que se encuentra desarrollando Facebook. De esta manera, esta información podría aplicarse a otros dispositivos que incluyan esta función.
Pero ahí no acaba la cosa. La forma de la oreja también influye en la manera en la que cada persona asimila los sonidos. Es lo que se conoce como Head-related Transfer Function o HRTF. Un término que cobrará importancia en los futuros avances de las XR.
Es posible detectar la influencia de la forma de la oreja con un análisis parecido al que realizan a las personas con deficiencias visuales. No obstante, es imposible realizar este examen a cada persona que utilice el dispositivo, con lo que el equipo trabaja en un algoritmo que permita una aproximación a estos cálculos tan sólo con la referencia de la oreja mediante una fotografía de la misma.
Con todos estos detalles en cuenta, la tecnología permitiría al usuario percibir el sonido como si estuviese dentro de la propia habitación. De hecho, en el vídeo se muestra un estudio realizado a varias personas en el que se les pide discernir sonidos reales de los generados virtualmente a través de sus auriculares. No son capaces de notar la diferencia.
Los desarrolladores de esta tecnología pretenden, además, aplicarla a conversaciones reales con otros usuarios. Combinando los sonidos del entorno que recoge nuestro micrófono y la voz de la otra persona podremos mantener una conversación como si estuviese a nuestro lado. Este algoritmo también permite discernir qué sonidos queremos escuchar, como alguien que nos habla directamente y otros sonidos relevantes.
Sin duda son avances muy interesantes en un terreno que pasa algo desapercibido en el mundo XR. En el mundo real es tan importante lo que vemos como lo que oímos, y en consecuencia el cómo lo vemos y cómo lo oímos. Este es un conocimiento bien conocido en el mundo del cine y los videojuegos.
¿Qué opináis de esta tecnología? ¿Estáis interesados en estos avances?
