Redirected walk-in-place para realidad virtual inmersiva usando machine learning

Abstract

Dentro de la Realidad Virtual existe lo denominado como motion sickness, una serie de síntomas como mareos o jaquecas producidas por las inconsistencias de lo que vemos y lo que hacemos al desplazarnos en entornos virtuales. Uno de los métodos que consigue reducir este suceso es el método walk-in-place, donde el usuario camina en un sitio fijo moviendo de forma alterna arriba y abajo los pies y, en base a ese movimiento, se produce un desplazamiento en el entorno virtual. Al haber una correlación entre el desplazamiento y las acciones del usuario, los efectos negativos disminuyen. El problema que hay con este sistema es que se parte de la base de que el usuario camina en el sitio, algo que, al carecer de una referencia del mundo real, acaba por desplazar al jugador de su radio seguro de acción (zona despejada del mundo real, sin muebles, paredes, etc.). Teniendo en cuenta todo lo anterior, lo que busca este proyecto es aprovechar los avatares (modelos 3D de personas automatizados) del entorno de un simulador de masas para desplazar al usuario hacia el centro de su zona segura de forma inconsciente y, de esta forma, minimizar o solucionar el problema del desplazamiento involuntario. Para llevar a cabo esta tarea, se entrena un sistema autónomo entrenado mediante Reinforcement Learning que se cruza con el participante en el entorno virtual para que este, instintivamente, reaccione y se desplace hacia el centro de su zona segura. Este proyecto pretende llevar a cabo un sistema que implemente esta idea ya sea de forma parcial o total y permita más tarde analizar los datos necesarios para sacar conclusiones.

Virtual Reality has a group of side effects related to it named motion sickness. These symptoms include dizziness, headaches and other ones due to the inconsistencies of the visual and physical stimulus while being in a simulation. One of the methods used to reduce these symptoms is the walk-in-place method, which converts the alternate up-down movement of the feets into a proporcional movement in the virtual world, so the inconsistencies decrease between both worlds. The problem with this method is that while using it, the user should stay in the same position through the whole simulation but, as the user does not have a reference of the real world caused by the inmersion, it tends to move slightly forward in the real world while being in the virtual world. This problem endangers the user's safety because of the limitations in the real world caused by furniture, walls and other obstacles. Keeping all this in mind, this project pretends to use the avatars in a crowd simulator to move the player to the middle of the safe zone, all this by making them cross the user's path to induce an unconscious reaction to move to a safer point. In order to achieve this goal, we select an avatar to move using an autonomous system trained with Reinforcement Learning, so now this avatar can act as an obstacle to the player in order to move it to a safer place. The project pretends to solve this problem totally or partially implementing the idea and later making an experiment to analyze the results.