La production de données pour les expériences de réalité virtuelle: un chemin critique ?
La 3D est de plus en plus utilisée dans différents domaines : recherche, communication, formation, engineering, …
Mais, aujourd’hui pour créer une expérience de réalité virtuelle ou 3D interactive, il est nécessaire de fournir un effort conséquent pour la création de l’univers 3D de l’expérience (la modélisation 3D, qui est plus adaptée aux contraintes du temps réel).
Il s’agit d’un facteur souvent déterminant, car il crée un obstacle au niveau budgétaire et temporel. C’est souvent le principal poste financier du projet.
Parallèlement, les outils de capture 3D du réel se démocratisent, que ce soient les algorithmes de photogrammétrie ou les scanners 3D. La création d’univers 3D est donc de plus en plus facilitée. Il était donc légitime de se poser la question de pouvoir utiliser ces données qui sont produites plus facilement que lors du recours à des infographistes.
Notre idée est de permettre à nos utilisateurs d’exploiter ces données instantanément de façon intuitive et temps réel :
- Accéder immédiatement et à distance aux scènes 3D
- Permettre une interaction naturelle, comme on le ferait en réalité, sans passer par des logiciels de spécialistes
- Réduire les temps et coûts de production (réduction de 70%)
- Interagir avec les autres dans ses univers
- Ajouter de l’information dans ces mondes et les partager simplement
- Fonctionner sur des machines standards
A titre d’exemple :
- Permettre à une société de créer un contexte de formation en réalité virtuelle rapidement sans délai après scanning 3D du lieu
- Permette à un enquêteur de s’immerger dans une scène de crime pour mieux la comprendre et la partager avec un juge d’instruction, sans délai après scanning 3D de la scène
- Permettre à un archéologue d’exercer son métier à distance, rapidement et sans surcoût, dans un environnement 3D scanné ou issu d’un algorithme de photogrammétrie
- Partager avec le grand public des expériences immersives dans des lieux patrimoniaux difficiles d’accès
Bien évidemment, aujourd’hui, il est possible de créer des expériences de ce type. A condition de modéliser la scène de crime, la pyramide de Khéops ou une centrale électrique, …
Beaucoup de ces projets ne se font donc pas faute d’argent et de budget…
Une barrière technologique immédiate
En effet, les données issues des processus de capture du réel sont très lourdes (nuages de points) et nécessitent un traitement particulier pour un usage temps réel (comprendre la possibilité d’interagir de façon naturelle dans ces environnements).
Un nuage de points, suivant sa taille, représente une telle somme de données à afficher qu’il est inutilisable directement dans une expérience temps réel. Les cartes graphiques ne peuvent gérer ce volume d’information à afficher et proposer une expérience utilisateur fluide.
A ce jour, il existe deux techniques pour exploiter les nuages de points dans des expériences temps réel
- Les transformer manuellement en modèle 3D polygonaux : la retopoligisation. C’est un processus long et coûteux qui nécessite l’intervention d’infographistes
- Les transformer automatiquement en modèles 3D polygonaux : le résultat et de mauvaise qualité et nécessite de toute manière un travail manuel complémentaire
Notre proposition : le nuage de points dans la réalité virtuelle, sans traitement
Nous proposons une autre alternative avec notre logiciel CloudXP
A savoir, l’exploitation directe et immédiate de la donnée nuage de points sans limite de taille pour une expérience temps réel, via notre algorithme qui permet de discrétiser l’affichage en fonction de l’expérience utilisateur.
A ce jour, notre solution logicielle résout cette barrière technologique et se concentre sur l’affichage. Elle est constituée de :
- Un
module de préparation de nuage de points : Cloud Prepare
- Import de tous les types de formats de nuages de points ASCII et conversion dans notre format de fichier binaire.
- Un composant CloudXP :
- Affichage fluide du nuage de points dans un moteur temps réel avec garantie d’un frame rate élevé
- Composant utilisable par tout développeur qui voudrait l’utiliser et développer sa propre application et ses propres fonctionnalités
- Une
application basée sur Cloud XP avec les fonctionnalités suivantes :
- Navigation
- Prise de notes
- Prises de mesures
- Affichage de photos 360 et POI
- Ajout d’objet CAO
- Isolation/densification de volume
Le viewer que nous proposons vient donc avec des fonctionnalités assez génériques qui peuvent satisfaire différents usages.
Néanmoins, la grande diversité d’usage de la 3D temps réel nous confirme qu’il serait restrictif de fermer notre approche et technologie à un usage trop étroit ou trop lié à un périphérique.
- Si la promesse des casques de réalité virtuelle est tentante, force est de constater que pour des raisons physiologiques elle ne peut répondre à des usages intensifs – par exemple. Il est donc clair que certains de nos clients souhaitent se tourner vers une version plus classique PC.
- C’est aussi dans le but de ne pas se fermer que nous choisissons de proposer un composant logiciel intégrable qui puisse servir de moteur à des applications très variées.
- Un point important : notre solution n’est pas fixée à un éditeur ou à constructeur de périphérique
Quel serait l’impact ou l’évolution pour les nuages de points en expérience temps réel/réalité virtuelle ?
- Le niveau social/collaboratif : avec le partage de ces données et des interactions en multiusers
- Des sujets plus techniques notamment la collision mesh/pointcloud.
- L’analyse sémantique du nuage de points : pouvoir identifier des éléments et les caractériser (classification/clustering/machine learning).
- L’utilisation du rendu nuage de points et de notre algorithme pourrait permettre de proposer des expériences fluides dans des contextes de données CAO très lourdes. En effet, utiliser le rendering pointcloud sur certains objets contournerait le problème du frame rate.
- L’émergence de scanner pour tous (téléphone) et donc se placer sur la possibilité de s’immerger dans une réalité partagée par une autre personne. Le traitement temps réel de ces données garantit la transmission immédiate d’une expérience temps réel, le partage d’une émotion forte à distance.
L’erreur serait de restreindre notre environnement aux acteurs du nuage de points. Le champ du possible est vaste.
Notre solution offre à tous les acteurs de contenus temps réel (formation, recherche), le moyen d’enrichir beaucoup plus simplement leurs applications en utilisant ces données. En apportant le moyen d’utiliser, nous élargissons le champ du possible pour tous ces acteurs.
Dans un premier temps, le contexte d’utilisation de cette technologie à tout l’univers de ceux qui veulent interagir virtuellement avec des « environnements capturables en 3D »
Si la navigation immersive est une des composantes clés de notre valeur ajoutée, l’extension de cet usage est très large. A ce titre, on pourra citer un sujet sur lequel nous travaillons, à savoir la détection en temps réel de collision entre les nuages de points et les modèles polygonaux. Ce sujet intéresse particulièrement EDF, afin de tester si le déplacement des barres d’uranium (modèle polygonal) est possible dans une cheminée de centrale, structure complexe (capturée elle sous forme de nuages de points).
Il est très probable que les dispositifs de capture 3D vont se démocratiser et équiper les portables. Des applications B2C seront alors envisageables.