Illustration : Magic Leap

Google a décidé d'investir 540 millions de dollars – soit un peu plus du quart de l'investissement de Facebook pour le rachat d'Oculus VR – dans une startup discrète, Magic Leap, qui développe de la réalité augmentée photoréaliste. Pourtant peu d'informations ont filtré sur la nature des travaux de Magic Leap. Renseignements pris, les caractéristiques de cette technologie cadre parfaitement avec la vision et les projets de Google en matière de réalité virtuelle, une vision que j'appelle plus largement la VR des coordonnées.

On aurait pu penser Google un peu timide sur la réalité virtuelle, notoirement plus investi dans la réalité augmentée "light" des Google Glass. On avait même senti un peu d'ironie à l'endroit de Facebook/Oculus au cours du Google I/O 2014, avec la mise en avant de Cardboard, ces lunettes de réalité virtuelle en carton plié – une idée française –. Pourtant, on avait pu remarquer également des boitiers de l'allemand Durovis qui fixait sur le visage des prototypes de Project Tango, ce smartphone Google bardé de capteurs qui fait un mapping temps réel de l'environnement.

Autres signes de l'intérêt de Google pour la réalité virtuelle, c'est le développement de briques VR pour son navigateur Chrome. Ensuite, ses investissements précédents, plus modestes, notamment dans Jaunt, cette startup d'informaticiens et de réalisateurs, pionnière dans la captation de films VR. Mais également dans High Fidelity, le futur monde virtuel de Philip Rosedale – créateur de Second Life –. Pourtant avec Magic Leap, on est plus en adéquation avec la logique de Google, coupler la VR avec le réel. D'aucun dirait que cela porte un nom : la réalité augmentée. Mais rien ne dit d'ailleurs que la VR immersive ne puisse pas également se mettre empathie avec la réalité.

Quelles sont donc les caractéristiques de Cinematic Reality, la technologie développée par Magic Leap, et bien apparemment, il s'agirait d'éléments de réalité augmentée qui s'ajustent en fonction de la profondeur de champ. Par quel miracle ? Et bien en exploitant la technologie du Light Field, déjà utilisée par les appareils photos de la marque Lytro. On ne capte plus seulement les photons qui frappent un objectif, on détermine le champ lumineux de toute la scène – y compris les rayons masqués par une surface opaque –. Un peu à la manière des voxels, les photons se déterminent les uns par rapport aux autres, pour faire simple.

Autre nouvelle d'importance, Magic Leap a dans ces projets, un casque ou des lunettes maison. Et surprise, c'est la projection rétinienne qui serait privilégiée. La même technologie que l'on retrouve dans le casque Avegant Glyph. Pas d'écran, c'est votre rétine qui sert de dalle pour projeter la scène. Le résultat est une lumière très pure, équivalente à ce que vous obtiendriez sur un écran de grande taille, mais au moyen d'un appareillage très petit.

Evidemment, c'est une technologie que Google connait bien puisque c'est celle qu'ils utilisent pour les Google Glass. Qui plus est, et c'est important de le préciser, seul les éléments CGI – Computer Generated Imagery – passent par le substrat technologique. A la différence de la réalité augmentée que nous avons tous essayé au travers de l'écran de notre smartphone, en l'occurence une réalité augmentée sur les images d'une caméra.

A mon sens, Google pourrait coupler cette technologie avec le mapping du project Tango, faisant courir des éléments VR sur les arrêtes tridimensionnelles de la captation d'un environnement. En effet, lors de la présentation de Project Tango, Google parlait en substance d'instant gamification, c'est à dire de transformer une pièce en décor pour un jeu. La question qui se pose, c'est de savoir quelle sera la part d'immersion et la part de réalité. Une question d'équilibre sans doute.

En effet, il ne s'agit pas, comme pour les Glass, de pousser quelques informations de Google Now. Le casque – s'il s'agit de cela – devra soit utiliser les coordonnées spatiales de l'environnement pour le reconstruire en VR, soit utiliser ces mêmes coordonnées en tache de fond et pousser des éléments CGI dans la vue réelle. On peut presque imaginer un casque hybride VR / AR, j'en veux pour preuve le Gear VR, le casque immersif de Samsung, qui permet de débrayer la caméra arrière du smartphone pour voir la réalité sans le retirer. Mais ici, point de projection rétinienne.

Toutefois, Google ne semble pas pressé, sur l'échiquier de la VR, il laisse Oculus prendre le marché de l'immersion et prépare le coup d'après, la rematérialisation.

Comment