DeepFovea es un sistema de renderizado, desarrollado por Facebook Reality Labs, que aplica el concepto de inteligencia artificial de las redes neuronales generativas adversarias (GAN), para imitar la forma en que nuestra visión periférica percibe el mundo en la vida cotidiana.
Uno de los grandes escollos con los que se topan los dispositivos de realidad aumentada y realidad virtual (AR/VR) es la autonomía de los mismos. Para poderlos utilizar continuamente es necesario reducir drásticamente su consumo energético.
Y es aquí donde se abre paso esta tecnología capaz de reducir el consumo sin sacrificar la calidad de la imagen.
Cuando el ojo mira directamente a un objeto, los fotones de ese objeto aterrizan en lo que se conoce como la región f
oveal de la retina, o fóvea para abreviar.
La fóvea es la única parte de la retina con alta resolución, y es una fracción muy pequeña de la retina general.
Partiendo de esa premisa, el renderizado neural de DeepFovea trabaja para generar imágenes que coincidan con la resolución de la retina, utilizando la cantidad mínima de datos necesaria para hacerlo.
Eso no quiere decir que la visión periférica no sea importante. Pero su capacidad para distinguir los detalles es muy limitada. DeepFovea se encarga de modelar la visión periférica, con tecnología de IA.
La imagen del visor se muestra con menos resolución y, en función de dónde se apunta la fóvea, se infieren los datos faltantes. De este modo y aunque realmente la imagen sea de una menor calidad, lo cierto es que el ojo no puede notar la diferencia.
La red neuronal de DeepFovea se alimenta con millones de videos con calidad periférica degradada artificialmente. A continuación, las redes neuronales generativas adversarias se encargan de aprender cómo completar la imagen en función de las estadísticas de todos los videos que ha visto.
Como resultado, la densidad de píxeles puede disminuir hasta en un 99 por ciento a lo largo de la periferia de un campo de visión de 60 × 40 grados, lo que ahorra una gran cantidad de consumo de energía.
Sin embargo, gracias a DeepFovea, junto con el seguimiento ocular, el espectador percibirá exactamente la misma escena con exactamente la misma calidad.
El número de píxeles de entrada disminuye lejos de la región de visión central, coincidiendo con la retina. Luego DeepFovea reconstruye la imagen de manera que similar a los píxeles que se procesarían a resolución completa.
El objetivo es conseguir que el renderizado en tiempo real se ejecute en dispositivos AR/VR livianos durante todo el día.
Si quieres saber como funciona solo tienes que acceder a este repositorio de GitHub.
Da miedo ver la de cosas que esta consiguiendo hacer facebook con la IA !!!!!
Y mas desde que Carmack dejo la VR para ponerse a trabajar en IAF(AGI) !!!!!!
Está claro que la IA, es el futuro… desde calcular polígonos, hasta decidir que publicidad es mejor para nosotros….
Hasta que punto se involucrará en temas mas “éticos” ? La propia IA lo dirá..