Realidad virtual y realidad aumentada: Interfaces avanzadas

Introducción a realidad virtual y aumentada

Qué es Realidad Virtual

La Realidad Virtual (RV) es un término que se aplica a un conjunto de experiencias sensoriales sintéticas, es decir generadas por computador, comunicadas a un operador o participante. La mayoría de las aplicaciones de realidad virtual son experiencias visuales donde el participante se ve inmerso e interactúa en un ambiente o escena virtual. La escena virtual se visualiza mediante algún dispositivo de visualización, en algunos casos utilizando visualización estereoscópica la cual brinda la sensación del ambiente tridimensional.

Una aplicación de RV tiene 4 características:

Mundo Virtual
Inmersión (mental y física)
Retroalimentación
en inglés, feedback
sensorial
Interactividad

La retroalimentación sensorial puede aludir a los diferentes sentidos, comúnmente la vista (objetos virtuales animados), pero también al oído (sonidos) y el tacto o hápticas –del término en inglés haptics–. Uno de los primeros simuladores conocidos que utilizaron realidad virtual es el denominado “Sensorama” realizado en 1962 por Morton Heilig, un simulador de moto con imágenes, sonidos, vibraciones e incluso olores. Año 1965 Ivan Sutherland escribe el artículo “The ultimate display” donde introduce por primera vez el concepto de realidad virtual y describe un dispositivo de visualización que es un casco que se coloca en la cabeza –en inglés, “Head-Mounted Display” (HMD)–.

Una de las principales aplicaciones actuales de RV son los simuladores de entrenamiento. Puede consultarse el capítulo 2 del presente libro el cual describe los desafíos actuales para el desarrollo de simuladores con RV, y presenta los simuladores desarrollados por la UNICEN.

Los sistemas de RV más habituales, según los dispositivos de visualización más utilizados en la actualidad son:

Los cascos o HMD Las cuevas en inglés caves
Las icon, que son pantallas gigantes
Los WorkBench
El monitor Estos dispositivos se detallan en la sección 3.3

En todo momento se debe mostrar el mundo virtual coherente de acuerdo al punto de vista que tenga el participante. Por esto se necesita saber en todo momento la posición y orientación del participante en el mundo virtual. El proceso de conocer en cada instante la posición y orientación de un cierto objeto se denomina seguimiento, en inglés “tracking” (ver sección 3.2.).

Existen diversos libros de realidad virtual entre los cuales se citan [4] [5] [6] [9] [12].

Qué es Realidad Aumentada

En el año 1992 Tom Caudell crea el termino Realidad Aumentada (RA) para describir una pantalla que usarían los técnicos electricistas de Boeing que mezclaba gráficos virtuales con la realidad física, este sistema les permitiría aumentar la eficiencia de su trabajo al facilitarles de alguna forma la operativa sobre las tareas a realizar La RA agrega información sintética a la realidad. La diferencia principal entre Realidad Virtual y Realidad Aumentada es que por una parte RV implica inmersión del participante en un mundo totalmente virtual y por otra parte la RA implica mantenerse en el mundo real con agregados virtuales. Siguiendo la definición del autor Ronald Azuma [1] [2] un sistema de RA tiene 3 requerimientos:

Combina la realidad con información sintética
Los objetos virtuales están registrados en el mundo real
Es interactivo en tiempo real

La información virtual tiene que estar vinculada espacialmente al mundo real de manera coherente, lo que se denomina registro de imágenes o en inglés “registration”. Por esto se necesita saber en todo momento la posición del usuario, tracking, con respecto al mundo real. A diferencia de las aplicaciones de RV las aplicaciones de RA generalmente necesitan la movilidad del usuario, incluso hacia ambientes externos- en inglés se denominan aplicaciones outdoor. En dichas aplicaciones de realidad aumentada puede ser necesaria conocer la posición global del participante utilizando dispositivos como GPS y brújulas digitales. Dependiendo del dispositivo de visualización usado las aplicaciones de realidad aumentada pueden basarse en:

Gafas de video see-through1
Gafas de óptica see-through
Proyector
Monitor

Dispositivos móviles o HandHeld2 Estos dispositivos se detallan en la sección 3.3.
Hasta la fecha no son demasiados los libros dedicados a RA, entre los cuales se pueden citar [3] [7] [8]. Para una introducción detallada a la RA, sus fundamentos, técnicas de tracking y librerías, puede consultarse el capítulo 3 del presente libro.

La traducción de “see-through” significa “ver a través”, ya que las gafas dejan ver la realidad a diferencia de los dispositivos de realidad virtual. 2 La traducción de “hand-held” significa “sostenido con la mano”.

Partes de un sistema de RV y RA

Las necesidades de un sistema de RV y RA pueden dividirse:

Dispositivos de entrada

Para tracking
Mecanismos de entrada de comandos y datos

Dispositivos de salida

Salida visual
Salida auditiva
Salida táctil o haptics

Aplicación en tiempo real

Visualización del mundo virtual (en RV) o mixto (en RA) de acuerdo a la posición y orientación del participante
Interactividad

En las siguientes secciones se detallan los dispositivos de entrada de comandos (sección 3.1), los dispositivos de tracking (sección 3.2.) y por último los dispositivos de salida (sección 3.3.)

Dispositivos de entrada de comandos y datos

Con respecto a los mecanismos de entrada de comandos pueden utilizarse:

Controles físicos
Control del habla
Control por gestos

Los controles físicos más utilizados en aplicaciones de RV son:

mouse 3D de 6 grados de libertad o DOF3
Props
Plataformas

Los props son objetos físicos utilizados para representar algún objeto dentro del mundo virtual. Al ser reales, permiten al usuario una manipulación fácil del objeto. Esto permite que el mundo virtual sea un poco más real. Por su parte, las aplicaciones de RA que requieren más movilidad utilizan otro tipo de mecanismos de entrada. Por ejemplo, las aplicaciones de RA basadas en dispositivos móviles como PDA o teléfonos celulares suelen utilizan la pantalla táctil o el lápiz para dar entrada a comandos.

El control del habla es un método natural de comunicar la información. No es adecuado si se necesita una respuesta inmediata, pero resulta muy adecuado si se tienen las manos ocupadas. El control por gestos es un método natural de comunicar la información en el que se basan nuevas metáforas de interacción. Requiere de dispositivos especiales para el tracking o en su lugar de la aplicación de técnicas de visión por computador.

Los capítulos 4 y 5 del presente libro se dedican a este tipo de interfaces denominadas basadas en visión. Las interfaces multimodales, es decir las que combinan diferentes formas de dar entrada a comandos, suelen ser las más utilizadas actualmente. Kölsch et al [10] analizan que tipo de control o combinación de ellos – mediante dispositivos, mediante habla y/ mediante gestos- resulta más adecuado según los parámetros que requiera el tipo de tarea que se quiera realizar. Los autores concluyen que en su aplicación:

Aquellas tareas que requieren parámetros adimensionales, es decir, no se debe indicar nada en el espacio, pueden indicarse adecuadamente mediante el habla
Las tareas que requieren parámetros espaciales de una dimensióncomo un desplazamiento en un eje (por ejemplo, indicar un zoom) - pueden indicarse adecuadamente mediante un dispositivo como un trackball unidireccional.
Las tareas que requieren parámetros espaciales de dos dimensiones y tres dimensiones (posicionamiento, escalado y orientación de objetos en el mundo virtual) requieren utilizar diferentes tipos de entrada combinando gestos, movimientos de cabeza y trackball unidireccional.

Tracking

En aplicaciones de RV y RA se debe realizar el seguimiento o tracking del participante, para determinar su posición y orientación en el mundo virtual (en aplicaciones de realidad virtual) o en el mundo real (en el caso de aplicaciones de realidad aumentada). Para realizar el seguimiento del usuario pueden usarse dispositivos específicos o puede analizarse una imagen capturada de la realidad para deducir la posición del usuario en base a elementos del entorno, lo que se denomina tracking basado en visión. Generalmente en aplicaciones de realidad virtual y algunas aplicaciones de realidad aumentada se realiza el tracking de la cabeza para realizar la visualización del mundo virtual o mixto de acuerdo al punto de vista del participante.

En algunas aplicaciones puede necesitarse el tracking de objetos que sostiene el participante. Por ejemplo, en una aplicación de medicina de entrenamiento para cirugía en la que el participante sostiene un bisturí. Dependiendo del tipo de aplicación será la precisión que se necesite para determinar la posición del usuario y en consecuencia el tipo de tracking que se realice.

Por ejemplo, en aplicaciones de medicina el tracking puede resultar crítico y por tanto debe ser muy preciso. El tracking de la mano y de los dedos se utiliza para proporcionar al usuario un mecanismo de interacción con el mundo. Puede montarse sobre la mano (guante) o sobre algún tipo de puntero. Por ejemplo el DataGlove tiene además de un sensor de posición diferentes sensores para detectar la flexión de los dedos (5° de resolución).

SIGUE APRENDIENDO DESCARGANDO EL ARCHIVO