CIDE (2009) Alessio
Une médiathèque virtuelle physique
|
Sommaire
- Résumé
- Un sujet d’étude particulier nécessite, de nos jours, d’accéder à des bases de connaissances diverses (vidéos, textes, objets 3D, sons, images 2D). Ces différentes bases de connaissances ne sont pas liées entre elles et nous devons les explorer séparément. Cela force l’utilisateur à ouvrir autant de fenêtre qu’il n’a de type de bases à interroger. Nous présentons dans cet article une interface en trois dimensions permettant de visualiser et manipuler conjointement ses informations hétérogènes. De plus, pour rendre leur manipulation plus naturelle, nous avons adjoint à notre environnement 3D des propriétés physiques pour le feuilletage des ouvrages et le déchirage des pages.
- Abstract
- A particular subject of study requires, nowadays, to reach various knowledge bases (videos, texts, 3D objects, sounds, 2D images). These various knowledge bases are independent and one must explore them separately. That forces the user to open as much window as there are bases to query. We present in this article an interface in three dimensions allowing to visualize and handle together this heterogeneous information. Moreover, to make their handling more natural, we associated with our 3D environment some physical properties to make it possible to turn and tear pages.
Introduction
Les techniques de visualisation et d’interaction 3D sont de plus en plus utilisées pour l’affichage et la gestion de documents numériques. Cette démocratisation de la 3D est directement liée au succès des jeux vidéos qui pousse le développement des architectures matérielles et logicielles 3D. Les aptitudes acquises au travers des jeux vidéos pour la manipulation des interfaces 3D ainsi que le bombardement de la 3D comme canon esthétique pour le grand public n’ont pas échappé aux concepteur des trois principaux systèmes d’exploitation (Linux, Microsoft Windows et MacOSX d’Apple). Les interactions 3D ont fait naturellement leur apparition dans les interfaces graphiques de ces trois
systèmes. Elles offrent maintenant des outils 3D pour la manipulation des fenêtres, des bureaux virtuels, voire même des documents. On pourra regretter le côté gadget ou inutile des widgets 3D proposées. En particulier, le basculement des tâches sous Windows n’apporte véritablement rien de nouveau. Cependant, certaines autres interfaces, telles que la time machine ou le mur de signets de Safari sur MacOSX, exploitent véritablement la troisième dimension pour représenter les informations (respectivement, l’utilisation de la profondeur pour représenter une chronologie et la répartition 3D pour favoriser les heuristiques visuelles basées sur la mémoire spatiale). Par ailleurs, d’autres interfaces graphiques telles que Looking Glass de Sun et BumpTop [1] ont été développées pour pousser bien au-delà les expérimentations 3D et nous laissent entrevoir si ce n’est l’avenir de l’interaction homme-machine, tout du moins les atouts de la 3D dans ce domaine.
Une approche semblable mêlant documents 2D et interface 3D pour la lecture détaillée de livres numérisés a été étudiée dans différents travaux de recherche [3,4, 5]. D’autres domaines, tels que la C.A.O., l’architecture, ou encore la numérisation d’objets pour les musées [2, 7] exploitent des technologies de visualisation 3D. Ces types d'applications rendent particulièrement nécessaire l'utilisation de méta-données textuelles pour enrichir le modèle 3D brut, mais leur présentation et utilisation reste complètement isolées de l’interface de navigation et de l’ensemble de la collection d'objets 3D. Ces informations sémantiques attachées à un objet 3D ne servent en général qu’aux moteurs d’indexation et de recherche.
Notre proposition de médiathèque numérique 3D multimédia se base sur ce constat. Le sujet central de cet article est la prise en compte de ces métadonnées pour enrichir une interface documentaire qui était à l’origine uniquement textuelle. Plus concrètement, nous proposons de lier sémantiquement différents médias dans une seule et unique interface 3D. Cela permet d’étudier de multiples ressources hétérogènes (textes, vidéos, sons, objets 3D) traitant d’un même sujet, sans avoir à effectuer une recherche de multiples fois dans différents moteurs de recherche ou applications. Ainsi on n’a plus à subir la lourdeur induite par le changement de paradigme de représentation graphique et de système recherche des informations et l’on y gagne par la mise en regard immédiate d’informations issues de bases différentes.
Le document en contexte
Il semble intéressant d'étudier la coexistence de documents textuels et d’objets 3D au sein d'un environnement de visualisation. Notre champ d'application potentiel est celui des bibliothèques numériques sur l'histoire de la technologie, pour lesquelles on voudrait pouvoir associer les modèles des machines ou des dispositifs scientifiques et les travaux qui les décrivent. De manière générale, la coexistance de différents médias (textes, images 2D, objets 3D, vidéos, sons) et la possibilité de les consulter dans un même environnement est un usage intéressant pour une médiathèque. Nous nous sommes intéressés en particulier au cas où ce type d'association contextuelle entre différents médias n'est pas conçu a priori, par l'auteur d'un hypermédia, mais a posteriori par un lecteur qui a accès à plusieurs sources d'information. Il est à noter que ce genre d’activité est effectué par un nombre considérable d'utilisateurs du Web lorsqu’ils téléchargent et lisent d’un côté les notices descriptives et qu’ils visualisent de l’autre les représentations 2D ou 3D de marchandises qu’ils désirent acheter.
_Alessio_fig_1.jpg)
La Fig. 1 met en regard une situation réelle (en haut à gauche) et deux situations vituelles (2D en haut à droite et 3D en bas) pour la même sessions de travail. Il s’agit de l’étude d’un polarimètre et des écrits associés. Pour la situation réelle, les documents et les objets sont organisés sur un bureau en fonction des préférences de l’utilisateur. La place dédiée à la lecture des documents nécessite une bonne organisation, une ergonomie appropriée voire même une esthétique adaptée à un travail efficace. D’un utilisateur à l’autre, on retrouvera ainsi des organisations spatiales différentes mettant à profit leur propre mémoire spatiale, leur propre habilité à organiser l’information et ceci sur la surface limitée du bureau. La contrepartie numérique repose en général sur des techniques classiques basées sur la métaphore WIMP (Windows Icons Menus Pointer) qui permet d’organiser les informations dans de multiples fenêtres recouvrantes que l’on peut déplacer et redimensionner à souhait. Cependant, la taille de ces bureaux virtuels est très insuffisante et ne permet pas d’atteindre un niveau de productivité comparable avec celui des bureaux traditionnels [8]. Les fenêtres recouvrantes qui habillent les documents mènent inexorablement à une superposition de documents qui est clairement opposée à une bonne organisation.
Nous avons décrit dans [5] comment des livres numériques peuvent être affichés avec des mouvements contraints sur un sol virtuel qui facilite leur manipulation. Concernant les objets 3D, la possibilité de les manipuler librement est la première fonctionnalité importante car ils doivent, comme tout autre document, être organisés spatialement. La seconde fonctionnalité est de permettre leur étude sous tous les angles tout comme de vrais objets peuvent être examinés en bougeant la main qui les porte. La contrainte de gravité qui s’applique à notre environnement est une obstruction à une telle métaphore d’examen des objets. Pour orienter et positionner un objet de la manière souhaitée il faudrait en effet prendre en compte pour chaque mouvement sa géométrie qui rentre en collision avec le sol à cause de la gravité. La solution retenue est de représenter un objet en lévitation au dessus du sol à l’intérieur d’une sphère englobante semi transparente qui elle seule subit la gravité. Cette sphère est posée sur un cylindre qui permet de positionner l’objet 3D. La sphère permet quant à elle de fournir une information de volume occupé par l’objet et y sont attachées les opérations d’orientation de l’objet. De cette manière, on peut laisser un objet au repos, dans la position et l’orientation qui conviennent à son étude.
La composante physique
Nos précédents travaux sur la manipulation 3D de documents ne mettent en œuvre que des techniques classiques. La manière d’interagir sur les objets y est basée sur les événements souris et sur leur répercussion visuelle à l’écran en terme de commandes de rendu 3D. De la même manière, les animations se font en calculant, par interpolation linéaire, une série de valeurs dans le temps. L’effet d’animation est alors obtenu en attribuant ces valeurs à des transformations géométriques. D’un point de vue strictement esthétique, ces effets sont relativement pauvres par rapport à ce que l’on a l’habitude de voir dans les derniers jeux vidéos. Or, l’œil d’un utilisateur sur les interfaces 3D s’est affûté avec le temps et est devenu très critique à tel point que la prouesse technique est un argument de vente. Sans parler de réalisme qui n’est pas l’effet recherché dans notre interface, bien au contraire puisque l’on essaye de s’abstenir des contraintes réelles souvent anti-productives dans un univers virtuel, l’accueil et donc l’adhésion à une interface 3D par un large public passe par la prise en compte de certains critères technico-esthétiques. En s’inspirant du domaine vidéo ludique, une solution consiste à modeler physiquement notre environnement et de confier la gestion des animations à un moteur physique. Une deuxième partie de cet article portera donc plus précisément sur la partie technique d’un tel environnement physique et de sa valeur ajoutée par rapport aux méthodes classiques.
_Alessio_fig_2.jpg)
Pour étudier les apports d’un moteur physique dans notre contexte de consultation de documents numériques, nous avons développé deux applications. La première très dépouillée, composée d’un unique livre de 4 pages (fig. 2), nous permet de régler les paramètres du moteur physique pour qu’il réponde à nos besoins. Elle nous permet également de tester certaines idées de fonctionnalités et d’interactions. Parce que sa vocation est uniquement de proposer un cadre pour le prototypage des interactions physiques, nous appellerons cette application l’atelier physique. La deuxième application (fig. 3), exploitable pour la lecture multi documents, utilise comme socle de base notre version précédente de l’atelier de lecture dans lequel les animations sont gérées par des transformations géométriques. Nous y avons donc remplacé ces dernières par certaines caractéristiques physiques validées techniquement dans l’atelier physique.
En théorie, tout peut être géré par le moteur physique. Des problèmes apparaissent cependant avec une solution entièrement physique : le manque de contrôle fin dû à l’inertie des objets et les tremblements perceptibles lorsque le simulateur physique est en recherche de stabilité, sans parler des cas rares mais possibles de situations aberrantes comme l’interpénétration d’objets. Nous expliquons donc dans notre article les compromis proposés entre une gestion toute physique et une gestion toute géométrique.
Le trépied physique
Le principe de base de l’application de lecture reste le même que précédemment : l’organisation spatiale afin de permettre la lecture de multiples documents ouverts simultanément. L’utilisateur a donc la possibilité de gérer lui-même son espace de lecture en ouvrant plusieurs livres au format PDF et en les répartissant spatialement selon son bon vouloir. Pour ce faire, il translate et oriente indirectement les livres 3D par l’intermédiaire de la métaphore du trépied qui fait office de widget de manipulation. Ces opérations se font facilement à l’aide d’une souris standard à deux degrés de liberté car les trépieds sont posés sur un plan 2D représentant le sol. Dans la version préliminaire du poste de lecture, un trépied que l’utilisateur est en train de manipuler peut interpénétrer les autres éléments de la scène 3D afin de le positionner dernière. Cette fonctionnalité est rendue possible par une gestion de la transparence des trépieds inactifs.
Le premier apport évident de l’ajout de la physique est la prise en compte de la gravité pour gérer la contrainte du sol et des collisions entre objets. Plutôt que de calculer par des techniques de picking la position contrainte des trépieds sur le sol en fonction de la position de la souris, ce peut être réalisé par le moteur physique. Le déplacement proprement dit des trépieds se fait toujours en prenant les informations de position de la souris et non d’accélération. Ceci afin que l’utilisateur garde un contrôle optimal qui n’est pas aisé lorsque le moteur physique affecte une certaine inertie aux objets poussés.
Un deuxième aspect que l’on peut implémenter facilement avec un moteur physique est la gestion des collisions. Notre choix préliminaire de ne pas les gérer était délibéré et non induite par les algorithmes à mettre en place qui somme toute sont classiques. Nous pensons en effet que la manipulation des trépieds serait malaisée s’ils collisionnent les uns avec les autres. En particulier, lorsque l’atelier de lecture est fortement encombré, pour positionner un trépied derrière tous les autres, il devra se frayer un passage. Or, cela modifierait très certainement le positionnement ou l’orientation d’autres trépieds que l’utilisateur avait placé minutieusement pour travailler confortablement. Les tests facilités par le moteur physique nous ont permis de valider ce choix initial et de l’améliorer.
Trois options s’offrent à nous pour les collisions : ne pas les prendre en compte, les gérer finement (par l’algorithme CCD – Continous Collision Detection) ou les gérer grossièrement. Pour les raisons évoquées précédemment, qui se sont révélées exactes, la gestion exacte des collisions est écartée. La gestion grossière des collisions, en ne considérant que les contacts à un instant particulier et non les vecteurs de déplacement, permet un mode hybride intéressant. Lors de mouvement rapide, les trépieds s’interpénètrent car l’instant précis de la collision n’intervient pas au moment où on dessine la scène. De ce fait, ils agissent comme si les collisions n’étaient pas gérées. Par contre, lorsque le déplacement est lent, la collision est captée et les trépieds la subissent en conséquence. Ainsi, l’utilisateur pourra en connaissance de cause, pousser plusieurs trépieds en même temps.
La page physique
Le deuxième apport de la physique concerne plus particulièrement les pages d’un livre. Lors d’un précédent travail portant sur la numérisation 3D de livres par la technique de photogrammétrie, nous nous sommes intéressés à la problématique de l’aplatissement de la page acquise en utilisant un système masse-ressort. Il en est ressorti que ce genre de système permet de modéliser de manière très réaliste une page déformable. Certains moteurs physiques utilisent ces systèmes masse- ressort pour simuler des textiles. Nous avons donc tenté de détourner
cette gestion de vêtements pour que cela convienne pour nos pages de livres. Le but avoué était, dans un premier temps, de reproduire un feuilletage réaliste et, dans un second temps, de permettre des interactions riches sur les pages.
Après réduction du nombre de sommets et réglages des contraintes des ressorts, nous sommes arrivés à une page « textile » tout à fait exploitable. Les calculs nécessaires pour la déformation étant peu coûteux, nous avons pu introduire la notion de feuilletage multi-pages (fig. 3). Par ailleurs, le moteur physique utilisé permet de gérer le déchirage des textiles en spécifiant quels sommets du système masse- ressort peuvent être désolidarisés des autres. Ceci nous a permis de mettre en place un système de déchirage des pages. La possibilité de casser la structure préétablie d’un livre et d’en recréer d’autres à partir de pages déchirées est désormais devenue envisageable, et ceci de manière entièrement physique. Dans un deuxième temps, nous avons étudié une autre possibilité des systèmes masse-ressort : la rupture des ressorts liant les masses. Cela permet d’intégrer la fonctionnalité de déchirage réaliste de pages ou de parties de pages ; ceci afin de permettre à l’utilisateur de supprimer des éléments d’un document ou de constituer lui-même un livre composé de différentes sources d’information. Pour cela, nous avons adjoint aux images des livres manipulés une description XML des blocs composant chaque page. Pour pousser plus en avant cette expérimentation physique, il nous a paru intéressant d’étudier également la physique du geste. Pour cela, nous avons intégré la prise en charge des interaction avec une wiimote. De simples gestes permettent de feuilleter les ouvrages, de les maximiser ou de les minimiser. Le point sensible concernait la sélection de l’ouvrage sur lequel ces opérations doivent être réalisées. Nous avons pour cela développé une technique baptisée sotalotre dont le but est de calculer, à partir d’un micro-mouvement (déterminé à l’aide d’un seuil temporel et spatial), le prochain trépied à sélectionner. En pratique, l’utilisateur n’a qu’à initier un mouvement à partir de la sélection courante et en direction du trépied suivant qu’il veut sélectionner.
Au delà du simple réalisme
Ces premiers travaux paraissent tout à fait prometteur et nous permettent d’envisager plusieurs autres applications. En particulier, nous pensons à intégrer dans notre représentation XML du contenu des pages, les différents systèmes de type popup décrits dans nos travaux précédents [6] pour qu’ils soient gérés de manière physique. De plus, nous voulons nous pencher sur un système d’annotation du type post-it. Chaque post-it se comportera comme une partie déchirable que l’utilisateur pourra déplacer, enlever et recoller à souhait. Dans le même ordre d’idées, nous souhaitons fournir une description XML des interactions possibles sur les maillages 3D des objets afin que leur manipulation de soit pas nécessairement monolithique comme cela est fait dans [7].
Références bibliographiques
[1] ↑ Agarawala A., Balakrishnan R. Keepin' it Real: Pushing the Desktop Metaphor with Physics, Piles and the Pen. Proceedings of CHI 2006 - the ACM Conference on Human Factors in Computing Systems. p. 1283-1292. 2006.
[2] ↑ Alisi, T.B., Del Bimbo, A., Valli, A., Natural Interfaces to Enhance Visitors' Experiences, IEEE MultiMedia, vol. 12, no. 3, pp. 80-85, Jul-Sept, 2005
[3] ↑ Card, S. K., Hong, L., Mackinlay, J. D., and Chi, E. H. 3Book: a scalable 3D virtual book. Proc. of ACM CHI '04. ACM Press, New York, NY, 1095-1098.
[4] ↑ Chu, Y., Bainbridge, D., Jones, M., and Witten, I. H. Realistic books: a bizarre homage to an obsolete medium?. Proc.of ACM/IEEE-CS JCDL '04. ACM Press, New York, NY, 78-86.
[5] ↑ Cubaud, P., Stokowski, P., and Topol, A. Binding browsing and reading activities in a 3D digital library. Proc. of ACM/IEEE-CS JCDL '02. ACM Press, New York, NY, 281-282.
[6] ↑ Cubaud, P., Dupire, J., and Topol, A. Digitization and 3D modeling of movable books. Proc. of ACM/IEEE-CS JCDL '05. ACM Press, New York, NY, 244-245.
[7] ↑ Hemminger, B., Bolas, G., Schiff, D. Capturing content for virtual museums : from pieces to exhibits. J. of Digital Information, vol. 6(1), march 2005.
[8] ↑ Mackinlay J. D., Heer J., Royer C.: Wideband Visual Interfaces: Sensemaking on Multiple Monitors. PARC Technical Report, 2003.[8] Mackinlay J. D., Heer J., Royer C.: Wideband Visual Interfaces: Sensemaking on Multiple Monitors. PARC Technical Report, 2003.
Notes
_Alessio_fig_3.png){kind=link}