conclusion.tex

%!TEX root = these.tex

%\chapterstar{CONCLUSION GÉNÉRALE ET PERSPECTIVES}


\chapterstar{Conclusion générale et perspectives}
\mtcaddchapter

%\addstarredpart{Conclusion générale et perspectives} % Pour ajouter une partie fictive dans la table des matière
%\mtcaddpart

\markboth{Conclusion générale et perspectives}{Conclusion générale et perspectives}

En réponse à la complexité grandissante des modèles 3d de structures moléculaires et à l'augmentation de la quantité de données générées, qui induisent de nouveaux problèmes non résolus de stockage et de transfert des données, nous proposons une nouvelle approche qui regroupe les processus de simulation, de visualisation scientifique et d'analyse des résultats. Dans cette approche, \textbf{une formalisation sémantique opérationnelle du contenu et de l'interaction}, supporte \textbf{l'intégration de l'activité de visualisation et l'activité d'analyse des résultats dans un contexte interactif commun}, en répondant aux contraintes de performance relatives au temps interactif. Par ailleurs, persuadé que la réalité virtuelle continuera à modifier peu à peu les usages en biologie moléculaire, nous avons aussi adressé des problématiques liées à l'exploration des structures moléculaires complexes. Nous avons en particulier développé \textbf{des paradigmes de navigation basés sur le contenu moléculaire et la tâche des experts scientifiques}, génériques et donc compatibles avec tous les environnements de travail, qu'ils soient immersifs ou plus classiques. Pour évaluer l'apport de ces approches par rapport aux outils communément utilisés en biologie structurale, nous avons proposé une \textbf{méthodologie théorique d'évaluation des performance basée sur l'analyse ergonomique des tâches} en collaboration avec des ergonomes et les experts du domaine. Nous avons pour cette évaluation, modéliser ces tâches métier complexes par une décomposition hiérarchique de ses activités, les activités atomiques étant celles dont il est possible d'estimer le temps de complétion, avec les experts, ou à travers des évaluations expérimentales des paradigmes d'interaction déjà disponibles dans la littérature.

\section*{Contributions de la thèse}

Nous avons mis en évidence, dans la première partie de ce manuscrit, \textbf{les usages, les enjeux et les perspectives en biologie structurale}, le domaine d'application de nos travaux de recherche. Le domaine de la biologie moléculaire, qui a pour principal objectif d'étudier les structures des complexes biomoléculaires afin d'en déduire leurs fonctions, a su s'adapter pour intégrer les résultats de recherche dans le domaine informatique, pour prendre en compte l'évolution des méthodes expérimentales produisant des résultats de plus en plus hétérogènes et de plus en plus complexes. L'informatique a tout d'abord fait partie intégrante du traitement des données générées par les méthodes expérimentales aboutissant à la production de connaissances qui constituent le fondements d'approches plus théoriques de modélisation et simulation moléculaire. Le domaine de modélisation moléculaire n'a reçu que très récemment ses plus belles lettres de noblesse en 2013, ses pionniers, M. Karplus, M. Levitt et A. Warshel, ayant été honorés par le prix Nobel de chimie.  Parmi les domaines dédiées à la compréhension de la structuration des biomolécules du vivant, la représentation moléculaire, d'abord physique puis informatique, fut un pilier de la production et de la transmission des connaissances, et ce depuis l'émergence de la biologie structurale. Le domaine de la biologie moléculaire est aujourd'hui confronté à la complexité et à l'hétérogénéité croissante des données expérimentales et à une explosion du volumes des résultats de simulation. La taille des complexes moléculaires et la variété des résultats expérimentaux et théoriques obligent à repenser les méthodes d'exploration usuelles de visualisation et de manipulation des représentations de biomolécules.

%%%%%%%%%%%%% RV %%%%%%%%%%%%%%%%%%

Par ailleurs, ces 10 dernières années ont été le témoin de l'essor de la Réalité Virtuelle qui n'est plus seulement cantonnée aux laboratoires de recherche de son domaine, en se démocratisant avec l'apparition de nombreux dispositifs immersifs et d'interaction mobiles et bon marché. Nous avons mis l'accent sur le fait que la majorité des travaux concernant la navigation dans les environnements virtuels concernent des scènes réalistes dont les repères spatiaux et les indices visuels écologiques sont nombreux, produisant donc des paradigmes de navigation qui ne sont que peu applicables aux données scientifiques abstraites. L'activité de visualisation et d'exploration de données scientifiques dans un contexte immersif passe par l'adaptation des \textbf{paradigmes de navigation au contenus moléculaires manipulés et aux tâches des experts, indépendants du contexte interactif}.  Nous avons donc présenté dans une seconde partie un survol du domaine de \textbf{la réalité virtuelle, de ses concepts, et des supports technologiques} permettant notamment l'immersion du sujet au coeur des scènes virtuelles, l'exploration des contenus 3d, et l'interaction avec ces contenus dans un contexte immersif.%%%%%%%%%%%% Navigation guidée %%%%%%%%%%%
Fort du constat de l'absence de paradigmes pour l'exploration de structures moléculaire et plus généralement de données scientifiques abstraites dans des dispositifs immersifs, nous avons donc proposé dans une troisième partie plusieurs paradigmes de navigation basés sur le contenu moléculaire et les tâches que les experts scientifiques sont amenées à effectuer. Ces paradigmes répondent aux différents niveaux de granularité des complexes moléculaires, en outillant la tâche d'exploration à la fois globale, locale et détaillée des phénomènes étudiés. Notre développement a été particulièrement attentif à la problématique du mal du simulateur, induite par l'exploration de représentations visuelles abstraites et non réalistes que constituent les résultats de biologie moléculaire, qui ne comportent pas d'indices visuels écologiques. Nous avons basé la conception de ces paradigmes sur la prise en compte des particularités géométriques observées dans les complexes moléculaires, notamment de leur symétrie, pour améliorer la conscience spatiale de l'utilisateur, la désorientation étant un facteur du \textit{cybersickness}, et plus généralement la performance lors des tâches supposant une activité de navigation. Grâce à l'utilisation d'axes et centres de symétries des complexes moléculaires, nos paradigmes de navigation guident l'utilisateur autour de chemins de navigation préférentiels adaptés au contenu exploré. Nous avons considéré des chemins de navigation externes et internes aux complexes et mis en place des solutions de génération automatique de ces chemins préférentiels dans le cadre de tâches expertes spécifiques comme l'accès à des régions d'intérêt enfouies dans le complexe ou la comparaison de phénomènes biologiques répétés sur les différentes sous-unités constituant le complexe moléculaire.
Nos paradigmes, centrés sur le contenu moléculaire et la spécificité symétrique du complexe observé ainsi que sur les tâches expertes en biologie structurale, sont par ailleurs indépendants du contexte d'interaction. Ce travail répond à la fois à une lacune de paradigmes de navigation adapté au contenu moléculaire dans les outils communément utilisé, mais plus généralement à une lacune en terme de paradigme de navigation dédiés à l'exploration de représentations abstraites de phénomènes scientifiques. 

%%%%%%%%%%% Appli mobile %%%%%%%%%%%%%%%%%

% Motivés par les apports de la RV dans les technologies de visualisation avancées et l'approche d'immersion cognitive, notre intérêt s'est ensuite porté sur les moyens de communication dans le monde scientifique. Ces derniers ont connu une évolution rapide ces dernières années profitant de l'évolution des moyens de communication standards. Ces derniers sont maintenant essentiellement basés autour du réseau internet et du support informatique. Au-delà de la simple lecture d'articles scientifiques sur un écran fixe, on tend à déporter cette lecture sur des périphériques mobiles type smartphones ou tablettes, ces derniers possédant la résolution nécessaire pour une expérience de lecture satisfaisante. Les moyens d'interactions avec les informations scientifiques ont également changé, profitant de l'outil informatique pour ajouter des couches de données aux simples textes et images.

% Notre approche s'est inscrite dans cette évolution et a pour but de fournir une méthode simple et rapide pour explorer des données de structures 3d de molécules à partir de fichiers légers et facilement échangeables ou téléchargeables. Basée sur un moteur de jeu largement utilisé au sein de la communauté des développeurs d'application mobiles, Unity3D, nous avons créé une application permettant de générer un objet 3d correspondant à une scène moléculaire grâce à l'utilisation de seulement 2 fichiers images, une image de texture et une carte de profondeur. Grâce à l'utilisation du gyroscope présent dans la grande majorité des périphériques mobiles, nous pouvons permettre à l'utilisateur de visualiser sous plusieurs angles une structure moléculaire avec la perception de profondeur qu'offre la 3d.
% Dans la continuité de notre approche, nous avons également mis au point la possibilité d'explorer un modèle 3d complet de molécule en situant l'utilisateur au milieu de sa structure et permettant à l'utilisateur d'utiliser son smartphone comme une fenêtre sur le monde virtuel.
% L'une des forces de notre application DepthMol3D est sa simplicité d'utilisation couplée à son absence de contraintes matérielles et logicielles. Nous fournissons plusieurs exemples de tutoriels et scripts destinés à générer des rendus 2d de profondeur et de texture au sein d'applications de visualisation expertes comme PyMol, VMD et Yasara.

%%%%%%%%%%% Visu Ana %%%%%%%%%%%%%%%%

La quatrième partie du manuscrit rappelle la nécessité de resituer l'utilisateur au coeur de la boucle de de visualisation et d'analyse grâce à des concepts de \textbf{Visual Analytics appliqué à la biologie moléculaire}, en lui permettant de manipuler conjointement la représentation 2D et 3D de résultats et d'analyse relatifs aux structures moléculaires, pour réduire la quantité de données échangées entre les deux espaces de travail, aujourd'hui dissociés. Nous sommes revenus sur la nécessité de faire évoluer l'organisation du travail donnant lieu à cette dissociation des étapes de visualisation et d'analyse, pourtant tout deux étroitement liées, en \textbf{proposant une organisation qui rapproche ces deux activités dans un contexte interactif commun et homogène}.

La concrétisation conceptuelle et logicielle de ce rapprochement des espaces de travail de visualisation et d'analyse a été inspirés par des résultats de travaux de \textit{Visual Analytics}. Ce domaine se base sur la mise en place d'une interactivité forte entre plusieurs représentations de données, éventuellement hétérogènes. Notre réflexion autour des techniques de \textit{Visual Analytics} nous ont amené à considérer la sémantisation des contenus et de l'interaction comme un pré-requis pour parvenir à relier interactivement les concepts identiques habituellement manipulés de manière séparées dans les espaces de visualisation et d'analyses, afin de créer un contexte interaction commun. Au-delà d'une plus grande disponibilité et simplicité d'accès à ces données représentées dans un formalisme sémantique homogène, il est aussi possible de raisonner sur celles-ci pour de mettre en place des liens interactifs dynamiques entre des objets moléculaires présentés selon différentes modalités, de la représentation des analyses à la visualisation 3d. 

La cinquième et dernière partie de notre manuscrit présente \textbf{la conception, l'architecture et l'implémentation d'un prototype d'application de Visual Analytics moléculaire adapté aux environnements virtuels} mixant visualisation et analyse au sein d'un même espace de travail. Après avoir introduit les différents aspects de notre plateforme, nous l'avons évaluée au moyen de scénarii définis avec les experts en suivant la même approche méthodologie que nous avons proposé pour évaluer les paradigmes d'évaluation. 


\section*{Perspectives}

% \subsection{Immersion cognitive via périphériques mobiles}

% Dans le monde connecté d'aujourd'hui, il est important de permettre un accès aux données à communiquer à tout instant. L'utilisation de technologies de QR-codes est une piste crédible pour permettre d'accélérer le processus d'acquisition des images nécessaires à l'application. Grâce à des méthodes de stockage dans le \textit{cloud}, il est possible d'imaginer la possibilité de rendre disponible à tout instant un ensemble de cartes de profondeur et leurs textures associées pouvant être téléchargées et chargées par l'application suite à la simple détection d'un QR-code (voir Figure \ref{Fig:qr_code}).

% \begin{figure}[h]
%   \centering
%   {\includegraphics[width=.75\linewidth]{./figures/conclusion/qr_code.jpg}}
%     \caption{{\it Exemple de QR-code redirigeant vers un site web.}}
%   \label{Fig:qr_code}
%   \hspace{0.2cm}
% \end{figure}

% Les évolutions de notre application vont également passer par les usages. Grâce à un paramétrage des conditions de déclenchement des rendus 2d lors d'une expérience de simulation, il est possible de mettre en place un système automatisé de contrôle générant des captures de l'évolution du système à intervalles de temps régulier. L'extrême légèreté des images nécessaires à l'application (quelques kilo-octets pour la carte de profondeur et moins de 1 méga-octet pour la texture) permet de générer et envoyer les images de façon systématique sans risques de surcharge de stockage.

% La résolution des cartes de profondeur est actuellement limitée à 250*250 pixels, résolution basse et ne permettant pas toujours de rapporter au mieux les différences de profondeur entre certaines zones fines d'une scène. Les contours d'atomes ou les liens sous forme de lignes peuvent parfois ne pas être intégrés dans la carte de profondeur générée, demandant ainsi un travail de traitement de l'image pour parvenir à faire ressortir les éléments concernés. La résolution maximum imposée découle de la limitation technique de Unity3D pour générer un objet 3d unique constitué de plus de 65 000 sommets. Notre projet à court terme est le contournement de cette limite, permettant ainsi d'accepter des cartes de profondeur de plus grande résolution et donc d'avoir une perception 3d de la scène encore plus importante.

\subsection*{Vers des paradigmes de navigation plus avancée pour la biologie moléculaire}

%Le retour d'expérience des utilisateurs d'un logiciel est important mais néanmoins souvent oublié quand on arrive aux étapes de post-développement. Avec l'évolution rapide des techniques, plateformes et approches de visualisation, il est important de revoir les nouveaux besoins des experts et les nouvelles possibilités offertes par les nouvelles technologies. 

%Il nous semble également important, d'un point de vue applicatif, d'utiliser l'expertise de l'utilisateur pour qu'il décide des motifs et structures qu'il considère comme importants afin qu'ils constituent la base de la génération automatique de chemins de navigation. Cette possibilité prendrait en compte la nature différente des complexes moléculaires observés mais également le désir de l'utilisateur de mettre l'accent sur une particularité structurelle autre que l'axe de symétrie ou principal d'un complexe.
%Les implémentations d'interactions pour l'utilisateur se situent actuellement dans le choix de cet axe principal au commencement de son expérience de navigation et le choix d'une cible pour la recherche d'un point de vue optimal, possible tout au long de la navigation. 

%Il est nécessaire d'équilibrer le nombre de processus d'interactions prenant place pendant la navigation, cette dernière restant bien souvent un moyen d'accéder à d'autres tâches plus complexes, nécessitant davantage de réflexion de la part de l'utilisateur. Et même si les études ont montré qu'une implication plus importante de l'utilisateur dans sa tâche de navigation est une bonne manière de réduire le \textit{cybersickness} (voir section \ref{cybersickness}) elle peut également réduire l'efficacité des tâches annexes au processus de navigation.

Les tâches expertes considérées comme prioritaire par les experts et qui ont été utilisées comme base pour la conception de nos paradigmes de navigation ne constituent pas une liste exhaustive des tâches pouvant être effectuées pendant une session d'exploration moléculaires. Parmi les tâches supplémentaires qui pourraient profiter de chemins de navigation créés au moyen de bases géométriques, le parcours de surfaces ou de structures moléculaires de grande taille (comme les membranes cellulaires) pourrait constituer une aide précieuse pour la recherche de singularités sur la membrane ou à l'interface des protéines membranaires. Le calcul de chemins de navigation pourrait aussi s'effectuer à partir des surfaces accessibles au solvant de la protéine ou à partir d'isosurfaces ou de lignes de champs électrostatiques. 
L'axe de développement autour de la réduction du \textit{cybersickness} est passée par l'ajout d'indices visuels réalistes dans la scènes moléculaire plus abstraite, par l'intermédiaire de \textit{skybox} orientée, ou indirects, associé à une contrainte d'orientation tout au long de l'exploration, mais pourrait aller plus loin. La conception de scènes d'immersion réalistes utilisent par défaut des repères spatiaux universels qui constituent des moyens de s'orienter naturellement. Il s'agit dans les scènes scientifiques non réalistes d'introduire des repères visuels pour faciliter l'orientation de l'utilisateur. Il serait aussi possible d'envisager une sonification spatialisée d'objet 3d dans la scène moléculaire qui serviraient d'indices d'orientation si les indices visuels sont insuffisants. Enfin si nous avons eu des retours informels positifs de la part des utilisateurs concernant nos paradigmes navigation, et que nous avons pu évaluer de manière théorique l'apport de ces paradigmes en terme de performance et d'adaptation à des tâches métier, nous n'avons cependant pas été en mesure d'évaluer de manière rigoureuse si l'utilisation de ces paradigmes permettait de diminuer le \textit{cybersickness}. Au delà de la difficulté d'évaluer le \emph{cybersickness} de manière plus objective que l'utilisation de questionnaires standards, qui ne permettent qu'une évaluation globale de l'expérience utilisateur, une évaluation sérieuse nécessitera un nombre de sujets important, imposant de plus que les sujets soient des experts en biologie structurale.

\subsection*{Supervision multimodale}

La mise en place d'une ontologie pour définir l'ensemble des concepts mis en jeu au sein de notre approche, nous a permis de construire un moteur d'interprétation de mot-clé métier, couplé à une reconnaissance vocale, permet de convertir ces mots-clés, en une commande exécutable par le logiciel de visualisation moléculaire utilisé. L'utilisation de la sémantique par le formalisme RDF/RDFS/OWL a permis de produire une solution de commandes vocales opérationnelles, du fait de sa simplicité pour l'expert (suite de mots clés métier dans la terminologie du domaine, insensible à l'ordre). Les répercussions de ce travail, concernent la supervision de la multimodalité en général. En effet, notre approche intègre la connaissance de la biologie moléculaire des tâches métiers relatives à la manipulation des complexes, en formalisant ces connaissances par une représentation homogène ainsi que tous les événements d'interactions génériques indépendants de l'application et du domaine ciblé. Les observateurs de contexte interactif dans des architectures de supervision de la multimodalité en entrée \cite{martin2014hardware}, produiraient des événements interactifs formalisées dans le même formalisme que celui utilisé pour modéliser la connaissance. Ensuite, le haut niveau de performance du langage SPARQL permet d'envisager d'effectuer des requêtes à la fois sur les contenus manipulés et sur la nature des interactions, permettant de construire et de déclencher des commandes multimodales appropriées au contenu manipulé (atome, résidu, structure...) et à la nature de l'interaction (focus, pointage, navigation, sélection, commande vocale...), dans la lignée de travaux de M. E. Latoschik \cite{Wiebusch:2015aa} ou de \cite{gutierrez2005semantics} mais appliqué à la biologie moléculaire. Le formalisme RDFS/RDF/OWL et le langage SPARQL permettent d'énoncer des règles d'inférences essentielles à la construction de ces commandes multimodales, pour répondre en particulier aux problématiques de prise de décision pour la  multimodalité dans un contexte collaboratif \cite{martin2014hardware}.
Dans un tel contexte, deux utilisateurs peuvent chacun émettre une commande multimodale de manière conjointe, qu'il peut être difficile à interpréter sans règle, si les commandes sont incohérentes, ou si elles provoquent une incohérence de manipulation de contenu partagé. Il s'agira donc d'intégrer des règles, dans un futur superviseur de la multimodalité en entrée, basé sur ce formalisme, prenant en compte le fait que pour certains auteurs \cite{martin2014hardware}, un utilisateur dans un environnement collaboratif durant l'interaction multimodale peut être considéré comme une modalité.


\subsubsection*{Automatisation de la génération de graphiques adaptés à la nature des données d'analyse à manipuler et à représenter}

Les modalités de représentations des résultats d'analyses est actuellement choisi \textit{a priori} par l'utilisateur. Les nuages de points et les courbes sont la modalité de représentation choisie par défaut pour visualiser les valeurs numériques caractérisant chaque objet moléculaire d'intérêt (les atomes, les résidus, les domaines de la protéine, la protéine dans son intégralité). Les représentations analytiques peuvent cependant prendre d'autres formes, variantes suivant la nature des données à représentées et l'information à mettre en valeur.  La fréquence d'apparition, au sein de l'ensemble des modèles d'une simulation, de l'association de valeurs de deux propriétés distinctes (les angles des domaines protéiques et les profondeurs d'insertion d'une protéine membranaire) est habituellement représenté grâce à un histogramme à deux dimensions, ou la fréquence d'apparition de chaque couple de valeurs dans la trajectoire est représentée par une couleur. Si nous avons défini dans l'ontologie tous les concepts liés à la visualisation moléculaire, nous n'avons pas modélisé  tous les concepts liés à la visualisation d'information. Cette modélisation pourrait permettre, à partir du choix des données de l'utilisateur par sélection interactives, de proposer des représentations préférentielles de ses données  adaptées à leur nature et aux usages des experts du domaine.

\subsubsection*{Annotations des objets 3d d'intérêt}

L'accès rapide aux informations contenues dans la base de données nous permet d'ajouter une couche informative aux représentations 3d de l'espace de visualisation. En effet, il est facile d'accéder et de présenter sous forme d'annotations les connaissances concernant un objet 3d sélectionné par l'utilisateur stockées dans la base de faits. Ces informations, pouvant par exemple se présenter sous forme de fenêtres dynamiques, permettraient à l'utilisateur d'enrichir son expérience d'exploration en possédant des clés de compréhension complémentaires aux seules informations structurelles.

\section*{Bilan global}

Nos approches ouvrent la porte à une nouvelle génération d'applications scientifiques, notre démarche ayant été plus spécifiquement consacrée au domaine de biologie structurale. Nos contributions intégrent les dernières avancées issues des domaines de la \textit{Réalité Virtuelle}, du \textit{Visual Analytics}, et de la \textit{Représentation Sémantique des connaissances}. La réalité virtuelle n'est plus seulement cantonnée aux laboratoires de recherche de son domaine, se démocratise avec l'apparition de nombreux dispositifs immersifs et d'interaction mobiles et bon marché. Nous avons dans ce travail de thèse proposé des approches intégrant toutes les étapes de biologie structurale au sein d'un contexte interactif commun, et favorisant les interactions directes, deux pré-requis d'une organisation du travail dans un contexte immersif. Ce travail pose les premières briques d'une plateforme dédiée à la biologie moléculaire où les espaces de visualisation de structures 3d et les espaces de représentation des résultats analytiques sont reliés par une interactivité bidirectionnelle supportés par une modélisation sémantique des contenus et de l'interaction, censés pour l'expert faciliter la mise en relation de ses résultats hétérogènes. Essentiellement motivé par une plus forte intégration de l'immersion dans les usages en biologie structurale, nos contributions n'en sont pas moins applicables aux stations de travail plus classiques proposant des paradigmes de navigation adaptés aux contenus et la tâche, indépendants du contexte et des dispositifs d'interaction, et de l'application  métier, en raccourcissant la boucle d'étude d'un complexe moléculaire du fait du rapprochement des étapes de visualisation et d'analyse.