Réalité augmentée : comment Facebook veut mettre votre poignet au centre de tout

Facebook a décidé d’accélérer sur ses travaux de recherches sur la réalité augmentée et sur la réalité virtuelle. Portés par les Facebook Reality Labs, les différents projets font régulièrement parler d’eux, même si la majorité reste secrète.

Après avoir exposé sa vision pour les 10 prochaines années sur les interactions et interfaces homme-machine, Facebook a officialisé ce jeudi ses avancées sur sa plateforme informatique du futur. Et pour cela, le poignet est son support physique inattendu.

Un dispositif intuitif, permanent et non intrusif

Une surprise ? Pas tant que cela à en croire les ingénieurs et chercheurs des Facebook Reality Labs chargés du projet. L’idée centrale : trouver une interface offrant peu de friction, intuitive et facile à utiliser, tout en offrant une grande fiabilité et une confidentialité. Le tout sans se couper du monde réel.

Alors pour porter le tout, il y a évidemment les lunettes de réalité augmentée qui sont dans les cartons de Facebook. Et pour l’interaction, le centre névralgique, aussi bien concrètement que de manière abstraite, serait alors le poignet.

Il y a six ans, à l’occasion de la fondation de Facebook Reality Labs Research, successeur nominatif d’Oculus Research, les équipes ont commencé à concevoir une technologie d’entrée généralisée, « capable de répondre à la grande variété des besoins de tous les types de personnes et d’être utilisable dans toutes les situations du quotidien », explique Facebook.

A donc commencé une réflexion autour d’un dispositif « intuitif, disponible en permanence, non intrusif et facile à utiliser », mais aussi capable de prendre en charge des commandes plus complexes comme la manipulation d’objets virtuels ou une modification de document. Et il fallait surtout qu’il puisse être confortable à porter au quotidien, capable de fonctionner sans interruption et sans consommer trop d’énergie.

Le poignet, l’atout à portée de main

La voix est intuitive, mais ne permet pas la confidentialité ni la fiabilité. Un appareil tel qu’un smartphone multiplie les frictions dès qu’on le pose sur une table ou dans son sac. Ainsi, FRL a eu l’idée d’un bracelet bardé de capteurs, porté au poignet et capable de se faire oublier à tout moment. Confort, facilité d’usage et confidentialité : toutes les cases étaient cochées pour une plateforme (système, batterie, antennes) aux interactions faciles avec les mains pour la réalité augmentée.

Mais, derrière le dispositif technologique, il y a aussi, une traduction scientifique nommée EMG ou électromyographie. L’EMG utilise différents capteurs pour traduire des signaux électriques envoyés des nerfs moteurs de la moelle épinière vers le poignet et la main. L’appareil les retranscrit alors en commandes pour communiquer et contrôler différentes fonctionnalités de manière personnalisable, mais aussi adaptée à la situation de chacun, valide ou non.

Et c’est pour cela que les chercheurs de Facebook se sont concentrés sur le poignet, zone où il est plus facile de capter les signaux envoyés par le système neuronal. Demander à son petit doigt de se lever, à sa main de se retourner… la simple intention est captée par l’EMG.

Anticiper votre action

« Avec les interfaces neurales, nous cherchons à vous donner le contrôle direct de la machine, en utilisant les émissions du système nerveux périphérique, les nerfs en dehors du cerveau qui font bouger votre corps », explique Thomas Reardon, Director of Neuromotor Interfaces au sein des FRL. « Au lieu d’écrire ou de faire glisser, vous exprimez votre intention de la même manière via votre système nerveux, et le bracelet utilise l’activité électrique des neurones de l’ensemble de votre système nerveux pour créer de nouvelles manières intuitives d’interagir avec vos appareils. »

Ici, point de magie ou de télépathie, il n’est pas question que la firme lise dans vos pensées, mais juste de retranscrire un courant électrique dans votre corps qui traduit une intention. Le même signal que celui envoyé lorsque vous réalisez une action sur l’écran de votre smartphone ou tapez sur un clavier. Facebook réfléchit ainsi à plusieurs prototypes, avec des capteurs qui pourraient être sous forme de bumpers miniatures contre votre peau ou bien à plat et en sensations.

Les usages possibles de l’EMG, en revanche, sont déjà assez avancés. Le bracelet pourrait ainsi servir à taper un texte sur un clavier virtuel qui n’existe pas ailleurs que sous vos yeux en réalité augmentée. Et cela aurait plusieurs bénéfices : adapter les « dimensions » du clavier à vos gestes, la vitesse de frappe ou encore l’ordre des touches. Une personnalisation virtuelle au top. L’aspect ludique n’est pas oublié avec la possibilité de « virtualiser » n’importe quel objet pris en main comme un arc et des flèches, une raquette de tennis, etc. Tout ce qui nécessite bien souvent des accessoires supplémentaires sur lesquels mettre des capteurs pour les utiliser en réalité virtuelle ou augmentée.

Et pour cela, les chercheurs des FRL évoquent aussi une « dimension haptique », sorte de réponse du système au poignet qui va permettre une meilleure immersion en ajoutant des sensations et garantir aussi que l’action correspond à la réalité, que vous l’ayez réussie ou non, comme dans la vraie vie. Pour Nicholas Colonnese, responsable de la recherche en science aux FRL, l’haptique est aussi un moyen d’ajouter et transmettre de l’émotion. Ce qu’il a baptisé « Emojis haptiques », des traductions de retours d’informations qui pourraient être symbolisés dans l’esprit par les célèbres images et permettre des interactions ludiques.

Le clic intelligent ou l’IA qui vous épaule

Au niveau des contrôles, l’individu pourrait interagir de manière très intuitive avec sa main ou ses doigts, en balayant, pinçant, déplaçant. Des gestes faciles à exécuter en toute circonstance, tout en parlant, marchant ou autre, avec une réponse adaptée.

https://www.youtube.com/watch?v=M5R1NS4CGxU

Facebook a baptisé à cela « Clic intelligent ». Il s’agit de micro-gestes combinés à une interface adaptative. L’IA traduit ainsi l’entrée des données et est capable d’adapter sa réponse au contexte. Vous êtes en train de cuisiner, car vos gestes trahissent vos actions. L’IA l’a compris et peut proposer/comprendre le besoin d’un minuteur parce que vous aurez peut-être lancé en réalité augmentée une recette. Elle propose une action et vous n’avez qu’à valider ou annuler.

L’IA a constaté que vous êtes sorti courir comme chaque jeudi matin et que bien souvent vous écoutez de la musique. L’interface adaptative le reconnaît et suggère la playlist avant même que vous la déclenchiez. Peut-être aussi simplement parce que le signal neuronal perçu est le même dans ce genre de circonstance.

Des millièmes de seconde gagnés qui s’accumulent

Il n’est pas question de voir l’IA anticiper vos besoins, mais juste de les comprendre plus vite et de gagner quelques millièmes de seconde qui, cumulés en fin de journée, peuvent s’avérer un précieux temps gagné.

Pour l’heure, Facebook Reality Labs n’a pas communiqué de date de sortie de son projet qui en est encore à l’élaboration de prototype. Les premiers retours sont « prometteurs », assure Sean Keller, responsable du projet. Et d’ajouter : « Cette phase d’innovation et de découverte est un moment incroyable, parce qu’elle annonce un bouleversement de l’Ancien Monde, un changement dans les règles que nous avons suivies et sur lesquelles nous reposions jusqu’alors pour faire évoluer la technologie. » Mais le changement, ce n’est pas encore pour maintenant.