wiki:SeaTouch

Le projet SeaTouch

Context :

Dans le cadre d’une thèse en psychologie du sport, le logiciel SeaTouch fait l’objet d’allers et retours permanents entre les marins aveugles de l’association ORION ( http://orion-brest.com) et les personnes qui développent.

Objet :

Commande vocale du projet logiciel de navigation maritime haptique et vocal adapté au public déficient visuel d’une part , et immersion sonore 3D d’autre part.

Description du Logiciel :

SeaTouch est un logiciel de navigation maritime adapté aux marins non-voyants. Il se compose de trois parties : le rendu haptique, le questionnement vocale des informations et la simulation du voilier.

Le rendu Haptique :

Grâce à une interface haptique (bras à retour d’effort de type Phantom, voir ci-dessous), les personnes aveugles peuvent toucher la carte 3D (voir ci-dessous). Des sons différents sont joués lors des contacts à la côte, à la terre et à l’eau. Des balises peuvent également être affichées et des points de route créés.

Vue JAVA 3D à partir de carte XML

Le questionnement vocal :

De nombreuses informations vocales telles que l’orientation et la vitesse du vent, le cap et la vitesse du bateau, cap et distance au point de route, etc… peuvent être demandées par pression des touches du pavé numérique. Ces informations sont issues des données NMEA délivrées par les instruments de navigation ou lors de la relecture d’un fichier.

La simulation :

Lors de la préparation d’itinéraire, il est possible de simuler la présence d’un voilier sur la carte. Ce voilier se déplace par interaction avec le vent en respectant les lois physiques de la navigation. L’objet est l’entrainement à la cartographie maritime pour tenir le poste de navigateur à bord d’un voilier équipé de ce système.

Historique :

Lot 1 : (septembre-janvier 2005/6) : Création d’une base de données de cartographie vectorielle marine au format XML à partir de la norme S57. (Cyril Avonde, Loïc

Lot 2 : (janvier-juin 2006) : Création d’un logiciel (SeaTouch) de cartographie adapté au public non-voyant : visualisation haptique, auditive et visuelle (Jonathan Winterflood, Btissam Chetouane).

Lot 3 : (janvier-juin 2006) : Création d’un logiciel (AudioGliss?) de fourniture d’informations par synthèse vocale adapté aux marins non-voyants Franck Creach Goulven Creignou).

Lot 4 : (juin-septembre 2006) : Création d’un simulateur de navigation maritime intégrant les logiciels SeaTouch et AudioGliss? dans l’environnement ARéViJava. (Olivier Riou)

Lot 5 : (septembre 2006 - décembre 2007) : fusion des logiciel SeaTouch Audiogliss et du simulateur, développement de fonctionnalité propre à la carte et à la simulation.

Lot 6 : Création d’un logiciel de monitoring (aspect) permettant d’analyser les stratégies d’exploration des marins aveugles en cours de navigation ou de simulation et de navigation.

Lot 7 : Développement des fonctionnalités de création et de contrôle d’itinéraire : points de route et route.

Lot 8 : Ajout d’une fonctionnalité de visualisation de la carte avec le cap en haut (heading). La vue existante était le nord en haut (northing).

Présentation des lots suivants :

Lot 9 : Utiliser Vocon 3200 pour accéder aux commandes de SeaTouch par reconnaissance vocale. Développement en C et tests au laboratoire et sur le bateau. Ex : l’utilisateur annonce « cap » en appuyant sur la barre d’espace et l’API simule l’appui clavier correspondant pour répondre à la question.

Lot 10 : Mettre au point un rendu sonore en trois dimensions pour améliorer l’immersion dans les simulations de navigations. Développement en JAVA. Utilisation d’une bibliothèque de nombreux sons naturels. Ex : le vent arrive par le travers, l’utilisateur entend le vent par à sa droite dans la salle d’immersion.

Attachments