Pour utiliser une souris sans les mains, Google propose de faire des grimaces

 
Google a lancé un projet open source baptisé Gameface. Le but : pouvoir utiliser un curseur d’ordinateur sans les mains, mais à l’aide des mouvements du visage. L’intérêt est principalement d’aider les personnes handicapées de leurs membres pour qu’elles puissent utiliser un ordinateur avec le moins de contraintes possibles.
Le projet Gameface // Source : Google

Parler d’intelligence artificielle ou de la dernière fonctionnalité d’Android, c’est bien, mais si ce n’est que ça, cela ne fait pas nécessairement avancer la société, surtout en matière d’accessibilité. Google a présenté lors de sa conférence I/O 2023 le projet Gameface, annoncé comme « une nouvelle souris de jeu mains libres open source ».

Une souris qui n’en est pas vraiment une

En fait, Gameface ne se présente pas sous la forme d’une souris de gaming, mais d’un logiciel. En effet, ce dernier suit les mouvements de la tête de l’utilisateur en n’ayant besoin que d’une webcam. L’avantage, c’est qu’il n’y a pas besoin de matériel coûteux, comme une souris adaptée à un handicap précis ou à un ensemble de capteurs de suivi de mouvements.

Les mouvements et gestes effectués sont reconnus par des modèles d’apprentissage automatique reliés par un outil nommé MediaPipe, qui permettent de déplacer le curseur ou de réaliser des clics. Le logiciel place 486 points sur le visage de son utilisateur et crée un maillage. Pour Lance Carr, joueur de World of Warcraft atteint de dystrophie musculaire qui a aidé à la création de Gameface, « c’est tellement précis que je peux même écrire en cursif ».

Le projet Gameface // Source : Google

Afin de s’adapter à tous les utilisateurs, des paramètres logiciels permettent de régler le déclenchement d’une action du curseur en fonction de l’intensité de leur geste. Gameface, comme son nom l’indique, est surtout pensé pour les joueurs, la pratique du jeu vidéo pouvant demander une certaine réactivité et une certaine précision, cela représente un vrai besoin aujourd’hui.

Le projet Gameface // Source : Google

L’outil Gameface est toujours en cours de développement, mais son code source est disponible sur Github.


Retrouvez un résumé du meilleur de l’actu tech tous les matins sur WhatsApp, c’est notre nouveau canal de discussion Frandroid que vous pouvez rejoindre dès maintenant !