\documentclass{acmsiggraph}                     % final
%\documentclass[annualconference]{acmsiggraph}  % final (annual conference)
%\documentclass[review]{acmsiggraph}            % review
%\documentclass[widereview]{acmsiggraph}        % wide-spaced review
%\documentclass[preprint]{acmsiggraph}          % preprint

%% Uncomment one of the five lines above depending on where your paper is
%% in the conference process. ``review'' and ``widereview'' are for review
%% submission, ``preprint'' is for pre-publication, and ``final'' is for
%% the version to be printed. The ``final'' variant will accept the 
%% ``annualconference'' parameter, which changes the height of the space
%% left clear for the ACM copyright information.

%% The 'helvet' and 'times' packages define the typefaces used for
%% serif and sans serif type in this document. Computer Modern Roman 
%% is used for mathematics typesetting. The scale factor is set to .92
%% to bring the sans-serif type in line with the serif type.

\usepackage[scaled=.92]{helvet}
\usepackage{times}

%% The 'graphicx' package allows for the inclusion of EPS figures.

\usepackage{graphicx}

%% use this for zero \parindent and non-zero \parskip, intelligently.

\usepackage{parskip}

%% Optional: the 'caption' package provides a nicer-looking replacement
%% for the standard caption environment. With 'labelfont=bf,'textfont=it',
%% caption labels are bold and caption text is italic.

\usepackage[labelfont=bf,textfont=it]{caption}

%% If you are submitting a paper to the annual conference, please replace 
%% the value ``0'' below with the numeric value of your OnlineID. 
%% If you are not submitting this paper to the annual conference, 
%% you may safely leave it at ``0'' -- it will not be included in the output.

\onlineid{0}

%% Paper title.

\title{Designing a Hybrid User Interface : A Case Study on Oil and Gas Application}

%% Author and Affiliation (single author).

%%\author{Roy G. Biv\thanks{e-mail: roy.g.biv@aol.com}\\Allied Widgets Research}

%% Author and Affiliation (multiple authors).

\author{Roy G. Biv\thanks{e-mail: roy.g.biv@aol.com}\\ Starbucks Research %
\and Ed Grimley\thanks{e-mail:ed.grimley@aol.com}\\Nigel Mansell\thanks{nigelf1@msn.com}\\ Grimley Widgets, Inc. %
\and Martha Stewart\thanks{e-mail:martha.stewart@marthastewart.com}\\ Martha Stewart Enterprises \\ Microsoft Research}

%% Keywords that describe your work.

\keywords{radiosity, global illumination, constant time}

%%%%%% START OF THE PAPER %%%%%%

\begin{document}

%\teaser{
%  \includegraphics[width=1.5in]{sample.eps}
%  \caption{Lookit! Lookit!}
%}

%% The ``\maketitle'' command must be the first command after the
%% ``\begin{document}'' command. It prepares and prints the title block.

\maketitle

%% Abstract section.

\begin{abstract}

The post-WIMP (Windows, Icons, Menu and Pointer) user interfaces are bringing new interaction modalities and the use of new input and output devices. Many of these new interfaces are not yet mature and issues related with a clear definition of an application context and technological requirements are still under investigation. The study of the relationship of the properties of interaction devices and their influence on the performance of 3D tasks (navigation, manipulation, and selection) is an important factor to identify adequate setups for carrying out these tasks. However, in a broader context, each task can be decomposed into sub-tasks which technological demands can be a challenge, since it requires multiple interaction environments, as well as transitions between them. Thus, this work proposes a hybrid technological setup to integrate the advantages of different functional environments. In order to achieve such a goal, a semi-immersive environment composed of 3 functional environments was developed and transitions between them were exploited during a 3D annotation task in an industrial scenario. 

\end{abstract}

%% ACM Computing Review (CR) categories. 
%% See <http://www.acm.org/class/1998/> for details.
%% The ``\CRcat'' command takes four arguments.

\begin{CRcatlist}
  \CRcat{K.6.1}{Management of Computing and Information Systems}%
{Project and People Management}{Life Cycle};
  \CRcat{K.7.m}{The Computing Profession}{Miscellaneous}{Ethics}
\end{CRcatlist}

%% The ``\keywordlist'' command prints out the keywords.
\keywordlist

\section{Introduction}

Mostly of the tasks performed in a conventional desktop are related to text editing, file organization, use of tables, mathematical calculations, among others. But other areas of applications have emerged, e.g. 2D image editing, animation, CAD (Computer Aided Design), interactive 3D visualization, entertainment and games. The inherent characteristics of this new class of applications has created a demand which was not fully met by the desktop metaphor as it was originally proposed to represent an office through the WIMP ( Windows, Icon, Menus, Pointer) interfaces. However, applications such as CAD, 2D image editing and graphics applications involving two-dimensional data are still compatible with the desktop metaphor, because they remain similar to the engineers and architects tasks, when they use their boards in their respective offices.

However, the emergence of three-dimensional interactive applications led to a crash when using the set of conventional technology (mouse, keyboard and monitor). Despite the fact of dealing interactively with 3D graphics, such conventional setup does not meet all the needs of interaction related to the additional dimension in this new environment. The main evidence supporting this fact is the existence of a research line focused exclusively on 3D computer graphics, as old as the own development of WIMPs interfaces. Initially the efforts were guided by the development of scientific visualizations and flight simulators applications driving the development of a new set of interactive hardwares such as head mounted displays, data gloves and CAVES. Then were added to other areas to what we now call Virtual Reality and broadly it has been referred to as 3DUI (3D User Interfaces). 

For a long time the 3DUIs were developed in parallel with WIMPs interfaces and its contributions were added gradually to the desktop according to the 3D applications demanding. Evidences of that can be found in the use of devices such as goggles and gloves in 3D games and applications in scientific visualization. In  Wii game console, for example, there is a device called Wiimote that incorporates the research results in the development of 3D tracking devices. There are also several interactive techniques developed using mouse and keyboard-oriented desktop and success of these efforts are the games for computer.

This gradual convergence of interfaces from different nature (such as WIMPs and 3DUIs) resulted in the emergence of other interfaces that share characteristics of both. These ``intermediate'' interfaces are part of a interfaces range proposed by Molina ~\cite{Molina08} (Figure~\ref(fig: ContinuumDVR)). This spectrum was known as Mixed Virtuality and was inspired by the evolutionary process of interfaces according to the immersion degree offered by them.

\begin{figure}[h]
\centering
\includegraphics[bb=0 0 85mm 50mm]{MolinaContinuum.PNG}
\caption{\textit{Continuum} de Interfaces Digital-Virtual-Real .}
\label{fig:ContinuumDVR}
\end{figure}
%~\cite{Molina08}
Moreover, the Molina's spectrum is an extension of another proposed by Milgran~\cite{Milgram94} comprising a range of interfaces linking the real and virtual worlds.

Milgran called it the mixed reality continuum. This continuum is described as a spectrum where at one extreme is the common reality (without any change), and the other extreme is a fully Virtual Reality (Figure ~\ref(fig:Continuum)). Over it are the Augmented Reality (\textit (AR - Augmented Reality)) and Augmented Virtuality (\textit (AV - Augmented Virtuality)). A \ textit (AR) is based on real world enriched with virtual information, while \textit (AV) is based on the virtual world enriched with real-world information.

This whole set of interfaces (conforming approached in the broader spectrum proposed by Molina) comprises a variety of hardware and software and thus are potential  ``ingredients'' for a new research field called Hybrid User Interfaces ~\cite{Feiner91}. In this field, efforts are meeting in order to blend harmoniously both virtual  (applications, interaction techniques, graphics, etc.) and physical (the input and output) elements from one or more interfaces. In this way, the design of HUIs may result in new interfaces with hybrid resources which were inspired by other interfaces with the goal to integrate previously separate functions.

The way of how the hardware and software elements are integrated into the HUIS can result in a kind of interface that connects others, e.g. a form of interface of transition or \textit{transitional interfaces} ~\cite{Billinghurst01,GrassetLB06}.

Being an area of multidisciplinary research is very difficult to define clear rules to guide the  development of HUI and there is still a lack regarding the design of such interfaces. 

In this work we are looking for matching the displays and tasks properties in an attempt to guide the the design and development of HUIs. For example, the concept of dimensional congruence can guide the choice of devices to accomplish tasks, since this concept helps to identify the dimensional requirements of the tasks. In order to illustrate such concepts this paper presents the design and development a workspace called \textit{HybridDesk} featuring a mix of different devices to allow the use of three interactive environments for performing tasks with different hardware requirements. These requirements were established by an investigation in the literature on the devices influence in the 3D and 2D interaction tasks. 

\section{Related Works}

Este capítulo inicia relatando trabalhos significativos relacionados com o desenvolvimento de sistemas de interface que tentam misturar componentes de hardware e software de diferentes naturezas. Em seguida são relatados outros trabalhos que mostram evidências de uma possível relação entre tarefas comumente realizadas em ambientes virtuais 3D e as propriedades de \textit{displays} e dispositivos de entrada. Mais à frente são apontados trabalhos relevantes sobre interface de transição, continuidade e congruência dimensional, os quais servem como referência e para o desenvolvimento de mecanismos para transições entre interfaces distintas, assim como no auxílio para o desenvolvimento de técnicas de interação 3D.

\subsection{Interfaces Híbridas}

Os trabalhos citados a seguir são às vezes denominados como Sistemas de Realidade Mista (\textit{MRS - Mixed Reality Systems}), ou Interfaces Híbridas de Usuário (\textit{HUI - Hybrid User Interfaces}), ou até recentemente Sistemas  de \textit{Display} Híbridos (\textit{HDS- Hybrid Display Systems}). Todos compartilham características no sentido de usar múltiplos elementos, sendo estes múltiplos \textit{devices} e/ou múltiplas interfaces. Ao longo do capítulo será adotada a denominação \textit{HUI}.
O termo \textit{HUI} foi inicialmente abordado por Feiner~\cite{Feiner91}, caracterizando um ambiente heterogêneo, rico em técnicas de interação, com dispositivos de diversas modalidades sendo utilizados de forma complementar. Uma aplicação exemplo, utilizando um \textit{HMD}, resultou na elaboração de uma \textit{Hybrid Windows Manager Interface}. Esta interface permitiu o aumento (além dos limites do monitor) da área de trabalho virtual de um \textit{desktop} por meio da visualização no \textit{HMD} (Figura ~\ref{fig:feiner}).

Outro trabalho pioneiro nesta linha foi \textit{Office of the Future}~\cite{Rascar98} que combinava várias técnicas de visão computacional e computação gráfica para analisar superfícies de ambiente real e depois adicionar nelas informações virtuais através de projeções. Reikimoto~\cite{RekiSaitoh99} explorou a ideia da heterogeneidade das \textit{HUIs} no sentido do uso de vários computadores e \textit{displays} (projeções e notebooks) em um mesmo ambiente de trabalho. No extinto projeto EMMIE~\cite{Butz99} desenvolveu-se um sistema voltado a colaboração, similar ao trabalho de Reikimoto, porém acrescido do uso da \textit{AR} através do uso de um \textit{HMD} para \textit{AR} do tipo \textit{See-Through}. Nakashima ~\cite{Nakashima05} apresentou um protótipo de um ambiente de trabalho cooperativo com ambientes 2D e 3D para tarefas de modelagem gráfica. O ambiente utilizou um \textit{display} chamado \textit{IllusionHole} para interações 3D, enquanto as 2D foram possibilitadas pelo uso de uma projeção (Figura ~\ref{fig:Nakashima}). Uma \textit{HUI} para manipulação de dados médicos utilizando interações 2D e 3D foi desenvolvida em ~\cite{Bornik06}. Nela, um único apontador 3D foi utilizado como ferramenta de interação, e duas formas de visualização estavam disponibilizadas, uma em um \textit{tablet} e outra em uma projeção. Benko et. al ~\cite{Benko05} criaram um ambiente híbrido composto por um \textit{display} \textit{LCD} verticalmente posicionado, um \textit{display} sensível a toque (\textit{multi-touch}) horizontalmente posicionado, e um \textit{HMD} para \textit{AR} do tipo \textit{See-through}. O  usuário realizava tarefas de manipulação em objetos 3D de peças de arqueologia. Recentemente, ~\cite{BaumgartnerED07} apresentaram uma interface híbrida para explorar a organização de um \textit{desktop} dispondo espacialmente documentos em um espaço 3D. A organização dos documentos era feita por meio de uma luva usando gestos (Figura ~\ref{fig:Baum}). Os documentos localizados no espaço 3D eram visualizados na tela de um monitor autoestereoscópico. Os documentos eram editados usando teclado, e caneta por meio de um \textit{tablet} situado abaixo do monitor. No trabalho ~\cite{Carvalho07,Carvalho07b} foi apresentada uma \textit{HUI} com o objetivo de explorar tarefas de interação 3D em um único ambiente de trabalho. O intuito principal era prover uma forma de explorar a \textit{VR} por meio de um \textit{HMD} para tarefas de navegação 3D, e além disso usar a \textit{AR} para tarefas de manipulação, e por fim usar interfaces \textit{WIMP} (Figura ~\ref{fig:carvalho}) para tarefas comuns (edição de texto por exemplo) de desktop.

De uma forma geral, os trabalhos relatados tentaram misturar tecnologias distintas objetivando a realização de alguma tarefa. Porém faltou um critério ou pelo menos a citação da tentativa do uso de alguma metodologia ou conceito durante esta ``mistura tecnológica''. Além disso, não houve nenhuma preocupação explícita com a questão do cuidado com possiveis transições entre estas tecnologias integradas.


\subsection{Influência dos Dispositivos nas Tarefas de Interação 3D}
\label{sec:relatedworks:devices}

A maioria das \textit{3DIts}, para ambientes imersivos, foram criadas e desenvolvidas utilizando \textit{HMDs}, muito provavelmente pelo baixo custo em relação às \textit{CAVEs} e por oferecer mais imersão do que os monitores convencionais. Diversos estudos sobre \textit{3DIts} foram feitos buscando identificar vantagens e desvantagens na realização das tarefas 3D. E, novamente, numa grande parte destes estudos predominou a avaliação usando \textit{HMDs}, ou seja, comparações entre técnicas diferentes em um mesmo \textit{display} ~\cite{Bowman97,BowmanRP02,BowmanJH99,BowmanKH98,BowmanKH97,PoupyrevI99,PoupyrevBI98,ChenPB04,Poupyrev97,Bowman97evalMov,JeongSCH08}. Estes e outros estudos trouxeram discussões e conclusões sobre a utilização de várias \textit{3DIts} para diferentes tarefas e diferentes tipos de ambientes virtuais. Mas todo este conhecimento ficou bem vinculado às características de um único \textit{display} (\textit{HMD}), ou seja, um \textit{FOV} limitado, \textit{FOR} de 360 graus, obstrução total da visão do mundo real, possibilidade de interações a curta distância tirando vantagem da propriocepção humana (i.e., usando as informações do próprio corpo, como a posição das mãos ou da cabeça), questões ergonômicas relacionadas com o peso e existência de cabos, entre outras. 

Entretanto, cada vez mais estão surgindo novas frentes de pesquisa envolvendo avaliações diversificadas buscando entender o impacto das características dos \textit{displays} na imersão durante uma experiência virtual. Por exemplo, a comparação de diferentes \textit{displays} na realização de uma mesma tarefa, sendo que esta pode ser executada com uma \textit{3DIt} particular em cada \textit{display}. Outras estudam o impacto de migrar uma \textit{3DIt} de seu \textit{display} primário (o \textit{display} no qual ela foi desenvolvida inicialmente) para um outro \textit{display} (\textit{display} secundário). Todos estes esforços estão trazendo à tona atenção a outras características dos \textit{displays} que estão indicando vantagens na realização das tarefas 3D. Boa parte destes estudos opta por analisar \textit{displays} com características bem distintas, caracterizando uma certa dicotomia, para oferecer conclusões que sirvam como referência na avaliação de outros \textit{displays} que compartilham similaridades com os \textit{displays} estudados. Um caso bastante encontrado é a comparação entre \textit{HMDs} e \textit{CAVEs}. Porém, às vezes há também a inclusão de outros setups como FishTank e até o monitor tradicional.

%%%%

Recentes estudos ~\cite{SteedParker05,McMahanGGMB06,ReitingerSBB06,BowmanDRFV02,DemiralpKZL06,PrabhatFKWS08,Lessels04,Raymaekers05,BowmanBM07} sobre a usabilidade e desempenho envolvendo diferentes combinações de \textit{3DIts}, \textit{displays}, dispositivos de entrada e resursos visuais em aplicações estão mostrando algumas conclusões parciais importantes sobre condições propícias para a utilização conjunta desses elementos.  Estas condições às vezes estão relacionadas a características do próprio \textit{VE}, ou seja, se o ambiente é interno, externo, densamente povoado ou não, entre outros. Outras referem-se a atributos visuais como \textit{FOV}, \textit{FOR}, estereoscopia, \textit{head-based-rendering}, resolução, objetos detalhados (malhas refinadas), imagens foto-realistas (qualidade de rendering) e brilho. Estes atributos visuais podem ter influência tanto de software (via técnicas gráficas) ou hardware através dos \textit{displays}. Características dos dispositivos de entrada (\textit{DOF}, Ergonomia, etc.) também estão sendo verificadas. E, por fim, características do próprio ambiente de execução (espaço físico, presença de superfícies de apoio, iluminação) que aqui vamos referenciar como o \textit{workspace}. Todas estas características mencionadas são também atributos que contribuem para a imersão.

A interação entre \textit{FOV} e \textit{FOR} dos \textit{displays} foi uma das mais expressivas. Os estudos que avaliaram diferentes tipos de \textit{FOVs} (através de \textit{displays} diferentes) exploraram a visão humana e estão sugerindo algumas relações entre \textit{displays} e tarefas 3D. Os monitores tradicionais, na forma do FishTank, enfatizam a visão focal (central) e fornecem muito pouco de visão periférica. \textit{Displays} fisicamente maiores e com \textit{FOR} elevado, além da visão focal, fornecem uma grande área para a visão periférica. O aumento da visão periférica propicia maior número de informações visuais simultâneas, desta forma, maior espaço para buscas visuais. Tarefas de seleção e navegação são beneficiadas com estímulos visuais vindos tanto da visão focal quanto da periférica. As de seleção são beneficiadas na questão de maior espaço de busca visual instantâneo, enquanto as de navegação, no sentido de se ter noção de localização no espaço (\textit{spatial awareness}), por exemplo, para ajudar a criar mapas mentais. Além dessas duas tarefas, há os benefícios em tarefas envolvendo análise das relações espaciais (topológicas, projetivas e euclidianas) entre elementos. As tarefas de manipulação mostraram uma concentração direcionada a uma área de visão reduzida, coincidindo com a visão focal, o que fez especular uma necessidade pequena da visão periférica. Porém, pelo fato da atenção ficar direcionada para uma área visual menor, outras características passaram a ficar mais evidentes como a resolução e nitidez do \textit{display}.

Outra característica importante levantada foi a preferência por dispositivos 6-\textit{DOFs} em tarefas de manipulação. Apesar dos dispositivos ainda não apresentarem precisão elevada, eles ainda sim propiciam movimentos que naturalmente são feitos durante manipulações com objetos reais. Estes movimentos favorecem inspeções visuais mais rápidas. Além do mais, se mais um dispositivo deste tipo estiver disponível, interações bimanuais são possíveis. 

Outra questão observada e relacionada com o dispositivo de entrada e os \textit{displays} é a questão em passar a impressão de uma manipulação direta de objetos ou não. Por exemplo, no caso do trabalho ~\cite{BowmanBM07}, a tentativa de adaptar a \textit{WIM} para a \textit{CAVE} passou a impressão de uma manipulação indireta, ou seja, não estava ao alcance das mãos. Usando um \textit{HMD}, a visão egocêntrica do \textit{VE} é utilizada e o sentido da propriocepção ajuda os usuários na coordenação do feedback visual vindo do \textit{display} e a movimentação das mãos. Uma outra questão neste sentido, é a possível importância do tamanho do objeto sendo manipulado, pois quando o objeto virtual \textit{WIM} foi reduzido nas adaptações para a \textit{CAVE}, melhorias foram observadas, e isso vai de encontro com as observações em ~\cite{DemiralpKZL06} que apontavam que o objeto manipulado deveria ser menor que o corpo do usuário. Este fato leva a vislumbrar a realização de avaliações em \textit{reachin displays}. A grosso modo, este \textit{display} apresenta similaridades tanto dos \textit{HMDs} quanto dos FishTanks, ou seja, permite acesso direto aos objetos virtuais como os \textit{HMDs} e permite uma visualização similar a um \textit{FishTank}. Além disso, não tem os problemas ergonomicos de peso e cabos dos \textit{HMDs}.

Ainda hoje é difícil responder questões pertinentes à tripla (\textit{Displays}, Dispositivo de entrada, \textit{3DIt}) mais adequada para realizar uma tarefa 3D. E talvez esta tripla não seja suficiente para expressar a configuração adequada para uma tarefa 3D, outros fatores relevantes ainda estão por ser descobertos.



\section{HybridDesk - Design and Implementation}


\subsection{Anotation 3D Task}

The design of the HUI proposed was based on the requeriements founded on Anotation 3D Task for an Oil and Gas Application. These requirements helped to identify the set of hardware used on to compose the interaction environments inside the HybridDesk. The 3D Anotation task was considered important because it could be decomposed into differents sub-tasks ranging from symbolic input informations to spatial input used on 3D interaction techniques.

The 3D anotation task is considered as a way to insert informations inside a VE, and often these informations are related to a particular object. To handle the creation and management of informations we choose to take advantage of users past experiences on WIMPS interface

O design da \textit{HUI} neste trabalho baseou-se na análise da tarefa de anotação 3D e na verificação de seus requisitos, ou seja, a determinação do contexto dos ambientes de interação necessários. Este contexto referiu-se ao conjunto de software e hardware utilizado na composição de um ambiente de interação. Esta tarefa foi considerada importante porque pode ser interpretada como uma tarefa contendo sub-tarefas envolvendo o tratamento de elementos simbólicos (informações como textos) comumente encontradas em intefaces 2D, e sub-tarefas para ambientes virtuais 3D.

A tarefa de anotação 3D caracteriza-se como uma forma de incluir informações em um \textit{VE}, e frequentemente são informações direcionadas a um objeto particular contido no \textit{VE}. Para o tratamento das informações simbolicas procurou-se meios de aproveitar o conhecimento prévio dos usuários, e uma das decisões neste sentido foi escolher um ambiente com interfaces do tipo \textit{WIMP} como provedor de ferramentas para criar e editar informações simbólicas. Deste modo, ficou decidido que a tarefa de anotação 3D seria no fundo uma forma de criar ``atalhos'' (\textit{shortcuts}) dentro posicionados espacialmente dentro do \textit{VE} para dados contidos no ambiente \textit{WIMP}. A representação deste atalho assumiu a forma de um ícone 3D no formato de um cubo virtual pequeno. 
 
Depois de definida a forma do tratamento dos dados simbolicos das informações na tarefa de anotação 3D, a definição das necessidades referentes às tarefas 3D ficaram definidas nas seguintes sub-tarefas:

\textbf{1) Navegação 3D :} Alguma forma de busca por um objeto no \textit{VE}, ou simplesmente uma forma de exploração que possibilitasse visualizar os objetos contidos nele;

\textbf{2) Seleção e Manipulação 3D :} Formas de seleção e manipulação (no sentido de mudança de posicionamento 3D através de translações e rotações) de objetos para permitir o posicionamento de um ou mais ícones. 

Resumidamente, os recursos de hardware e software escolhidos para a HUI deveriam permitir:

1) A execução de pelo menos uma \textit{3DIt} para a tarefa de navegação;

2) A execução de pelo menos uma \textit{3DIt} para selecionar um objeto para posteriormente ser utilizado para a tarefa de manipulação;

3) A execução de pelo menos uma \textit{3DIt} para a tarefa de manipulação;

4) Utilização de uma interface \textit{WIMP} (Microsoft Windows XP por exemplo) para criar e editar as informações referente a um objeto selecionado no \textit{VE}.

Além de prover as \textit{3DIts} necessárias, outra preocupação foi procurar explorar recursos de hardware que trouxessem vantagens na realização das tarefas no \textit{VE}, ou seja, explorar a ideia de imersão e os resultados dos estudos apontados na Seção ~\ref{sec:relatedworks:devices}. 

Para a tarefa de manipulação, ficou entendido que seria importante avaliar um objeto isoladamente, examinando detalhes na sua superfície. Isto possibilitaria identificar lugares específicos que poderiam ser alvo de anotações e, consequentemente, o posicionamento de ícones. Optou-se por restringir a escolha de \textit{3DIts} que valorizassem a manipulação direta e preferencialmente a curta distância, ou seja, buscar formas de interação que tivessem alguma semelhança com práticas reais para o aproveitamento de habilidades. 

Por fim, o Microsoft Windows XP ficou definido como o ambiente \textit{WIMP} escolhido, desta forma, a utilização do mouse e teclado seria importante, uma vez que estão fortemente vinculados às interações neste ambiente.

Analisando as necessidades mencionadas, uma restrição foi imposta para delinear também a escolha das \textit{3DIts}, assim como o arranjo tecnológico para a execução delas. Essa restrição basicamente referiu-se ao lugar de trabalho: o usuário deveria permanecer sentado durante todas as interações e ter disponível alguma forma de mesa para posicionar pelo menos o mouse e teclado. Esta restrição ficou influenciada pela posição que normalmente os usuários ficam durante o uso do ambiente \textit{WIMP}. Outro fator determinante foi o aproveitamento desta mesa como uma superfície de apoio para os cotovelos e braços, durante a execução das \textit{3DIts}. Pela natureza dos movimentos espaciais durante a execução de algumas \textit{3DIts}, após algum tempo de uso, problemas podem surgir decorrentes de cansaço causado por manter os braços suspensos durante muito tempo. Este apoio poderia beneficiar tanto algumas \textit{3DIts} de navegação assim como de manipulação propiciando apoio para os cotovelos durante o uso de ferramentas de interação como \textit{Wands}.

\subsection{Interaction Environments}

\subsubsection{VR-Nav}

O ambiente interativo semi-imersivo \textit{VR-Nav} é caracterizado pelo uso simultâneo das quatro telas de projeção para proporcionar uma área física de visualização maior juntamente com um \textit{FOV} elevado. Na Seção ~\ref{sec:TrabRel:DevicesAndTechniquesIssues} alguns trabalhos indicam que estas características trazem benefícios para tarefas de navegação, tanto na locomoção como no \textit{wayfinding}. 

\begin{figure}[hbt]
\centering
\includegraphics[bb=0 0 70mm 40mm]{wand_real_virtual.png}
\caption{\textit{Wand} virtual acompanhando os movimentos da \textit{Wand} real.}
\label{fig:ws_wand-real-virtual}
\end{figure}

Como dispositivo de entrada neste ambiente de interação, uma \textit{Wand} ficou disponível. No \textit{VE}, uma representação virtual desta \textit{Wand} foi acrescentada com similaridades na aparência. Esta representação acompanha todos os movimentos da \textit{Wand} real (Figura ~\ref{fig:ws_wand-real-virtual}). O \textit{head-tracking} ficou habilitado neste ambiente, juntamente com a visualização estéreo do tipo anaglifo.

\begin{figure}[hbt]
\centering
\includegraphics[bb=0 0 70mm 40mm]{ws_vr_nav.png}
\caption{\textit{VR Nav}.}
\label{fig:ws_vr_nav_p2}
\end{figure}

O espaço físico de interação fornecido por uma CAVE permite a execução de uma variedade de técnicas de interação através de movimentos físicos envolvendo braços, mãos e até pernas. Mas as técnicas de navegação envolvendo locomoção física não são muito aproveitadas neste ambiente porque seu espaço físico é pequeno, impossibilitando andar longas distâncias. De forma abrangente, a grande vantagem da CAVE é a sua imersão proporcionada pelas superfícies que envolvem o usuário, bem como a possibilidade da execução de técnicas envolvendo braços e mãos livremente. Por causa destas vantagens, buscou-se inspiração no formato das CAVES para o ajuste das superfícies de projeção no ambiente proposto, procurando uma imersão parcial que estimulasse visualmente o usuário e ao mesmo tempo disponibilizasse espaço para realizar movimentos físicos com os braços e mãos. A característica da CAVE de permitir a permanência do usuário em pé teve que ser sacrificada para possibilitar o uso dos outros ambientes, procurando manter uma postura física (posição sentada) comum ao longo da execução das tarefas em todos os ambientes interativos do sistema híbrido.

Duas \textit{3DIts} de navegação foram disponibilizadas. A primeira \textit{3DIt} foi baseada na técnica ``grabing the air'', ou seja, a locomoção virtual realizando arrastos usando a \textit{Wand}. O arrasto é realizado mantendo pressionando o botão ``B'' da \textit{Wand} durante os movimentos da \textit{Wand}. A segunda \textit{3DIt} realiza movimentos utilizando as teclas de navegação na \textit{Wand}. A tecla ``Up'' causa uma locomoção na direção da  \textit{Wand}; a tecla ``Down'' realiza o mesmo movimento na direção inversa; a tecla ``Right'' realiza um movimento para o lado direito do usuário e a tecla ``Left'' para o lado esquerdo.

Uma \textit{3DIt} do tipo \textit{raycasting} foi implementada e acionada pelo botão ``A'' da \textit{Wand}. Uma vez ativo o raio e em cima de algum objeto 3D, um outro clique no botão ``A'' aciona a seleção deste objeto. O raio virtual iniciava da ponta da representação virtual da \textit{Wand} (Figura ~\ref{fig:ws_ray}).

Sendo a \textit{Wand} um dispositivo de natureza 3D, por conter dados contínuos referentes à sua localização e orientação espacial, acredita-se que com a escolha dela como dispositivo deste ambiente foi mantida uma congruência dimensional nas \textit{3DIts} oferecidas, uma vez que todas necessitavam de informaçãoes de natureza 3D para sua realização. A \textit{3DIt} ``\textit{Grabbing in the Air}'' necessita de pontos 3D para calcular um delta de movimento, e a navegação por teclas e o \textit{raycasting} necessitam de um vetor direção 3D.

\subsubsection{VR-Manip}

O terceiro ambiente foi direcionado para tarefas de manipulação de objetos virtuais ao alcance das mãos conforme os requisitos levantados inicialmente. Este ambiente foi inspirado na ideia de \textit{reachin displays} para permitir a manipulação de objetos ao alcance das mãos. A grande maioria dos \textit{reachin displays} utiliza superfícies finas como espelhos e vidros para exibir o conteúdo digital normalmente proveniente de um monitor CRT. Apesar dos atuais monitores \textit{LCD} não serem da mesma espessura que um vidro ou espelho, acreditamos que este \textit{display} fornece também um acesso viável à sua parte traseira. Desta forma, a interação com as mãos é realizada diretamente atrás do monitor \textit{LCD}, ao invés de interagir atrás de uma superfície refletora.

Outra inspiração foi o \textit{setup} \textit{fishtank}, no sentido de prover o \textit{head-tracking} durante a interação na frente do monitor. Tal fato em conjunto com as características dos \textit{reachin displays} poderiam ser vistos como uma forma de ``acesso ao \textit{tank}''.

O dispositivo de entrada disponibilizado neste ambiente é a mesma \textit{Wand} disponibilizada no ambiente \textit{VR-Nav} (Figura ~\ref{fig:ws_vr_manip_p2}) e apresenta a mesma representação virtual dela. Mesmo o usuário não vendo as mãos e nem as representações reais dos apontadores (somente as representações virtuais), o fato de estar próximo e consistente com os movimentos das mãos pode vir a ser uma vantagem.

\begin{figure}[hbt]
\centering
\includegraphics[bb=0 0 75mm 45mm]{ws_vr_manip.png}
\caption{\textit{VR Manip}.}
\label{fig:ws_vr_manip_p2}
\end{figure}

A \textit{3DIt} implementada neste ambiente é baseada na associação direta de movimento entre um objeto virtual (o objeto escolhido visualizado no \textit{LCD}) e uma ferramenta de interação física, a \textit{Wand}. A técnica necessita manter o botão ``B'' pressionado para que o objeto acompanhe os movimentos da \textit{Wand}. 

Assim como no \textit{VR-Nav}, acredita-se que aqui foi mantida uma congruência dimensional da 3DIt implementada, dado que a \textit{Wand} forneceu os dados 3D necessários para realizar os arrastos e rotações para manipular o objeto escolhido.

No \textit{VR-Manip} o arquivo escolhido no \textit{WIMP} fica simbolizado por um ícone 3D na ponta da representação virtual da \textit{Wand} (Figura ~\ref{fig:interaction_icon_vr_manip}). Para anexar o ícone no objeto é preciso clicar no botão ``A'', feito isso, o arquivo aparece anexado ao objeto 3D no \textit{VR-Nav} com uma linha conectando o ícone 3D ao centro do objeto 3D.

O \textit{LCD} não ficou posicionado como as superfícies refletoras convencionais, pois nesta posição poderia haver obstrução dos apontadores dificultando o processo de \textit{tracking}. Desta forma, foi assumido o posicionamento vertical do \textit{LCD} facilitando assim a sua aproximação da MiniCave e proporcionando espaço para o usuário apoiar os cotovelos durante as interações de manipulação. 

Apesar do \textit{LCD} ficar posicionado quase verticalmente, isto não impede a visualização dos objetos virtuais que não estão atrás do \textit{display}, isto porque o \textit{head-tracking} estará habilitado. Com o \textit{head-tracking} habilitado o \textit{LCD} vai ser visto como uma janela para um mundo virtual acessível atrás dele. Isto quer dizer que o usuário poderá movimentar a cabeça para explorar melhor o que está atrás desta ``janela virtual''. 

A opção por integrar ao ambiente algo inspirado nesta tecnologia é uma tentativa de incorporar a vantagem do acesso a objetos virtuais ao alcance das mãos, sem ter a desvantagem de usar um capacete. 

\subsubsection{WIMP}

Para interface \textit{WIMP}, as telas da MiniCave e o do \textit{LCD} foram disponibilizadas como único \textit{desktop}. Sendo o \textit{LCD} considerado a tela inicial e as demais para organização das janelas. Os dispositivos de interação convencionais (mouse e teclado) foram disponibilizados nesse ambiente, mantendo a congruência dimensional das tarefas de desktop e a natureza destes dispositivos. As interações neste ambiente permaneceram as referentes ao ambiente Windows XP, desta forma, a visualização, manipulação e escolha de um arquivo para envio para o ambiente \textit{VR-Manip} se faz por meio das interações usuais do Windows XP utilizando o mouse e teclado. Não houve nenhuma alteração nas funcionalidades de interatividade deste ambiente, apenas a inclusão de menus de contexto para mover-se para os outros ambientes. Estes menus serão explicados na seção de transições (Seção \ref{sec:Implementacao:Interacoes}).

\section{Transitional Interface}

\begin{figure}[hbt]
\centering
\includegraphics[bb=0 0 115mm 85mm]{Transicao_devices.png}
\caption{Dispositivos utilizados em cada ambiente e as trocas necessárias durante as transições.}
\label{fig:ws_trans_devices}
\end{figure}

Nesta nova abordagem, algumas decisões foram ponderadas em relação às propriedades da continuidade para permitir explorar mais características favoráveis dos \textit{displays} nas tarefas de interação. Isto levou a algumas descontinuidades e principalmente na propriedade perceptiva, uma vez que mais de um \textit{display} foi utilizado nesta abordagem, forçando assim o usuário alternar entre os mesmos. Na Figura ~\ref{fig:ws_trans_devices} estão os dispositivos e \textit{displays} utilizados em cada ambiente de interação, assim como as trocas de dispositivos necessárias (descontinuidades funcionais) durante as transições entre os ambientes.

\section{Conclusion}

....

\section*{Acknowledgements}

To Robert, for all the bagels.

\bibliographystyle{acmsiggraph}
%\nocite{*}
%\bibliography{template}
\bibliography{Tese}
\end{document}
