Les lunettes connectées de Facebook transformées en machine de reconnaissance faciale sauvage

C’était sans doute à prévoir. Un an après leur sortie, les lunettes connectées de Facebook ont été détournées pour être utilisées comme véritable machine à piller les données personnelles. Comme l’explique 404 Media, deux étudiants de Harvard ont montré comment les lunettes pouvaient être combinées à un logiciel de reconnaissance faciale pour aller déterrer les informations privées de toutes les personnes que vous croisez dans la rue.

Le projet nommé « I-XRAY » se décompose en 4 parties, chacune utilisant des outils librement accessibles au grand public. Le flux vidéo des lunettes est d’abord enregistré et envoyé sur un téléphone. Ce dernier analyse alors la bande pour y trouver les visages des passants. Cette image est alors injectée dans Pimeyes, un logiciel de reconnaissance faciale. Une fois le visage reconnu, le téléphone mouline alors pour trouver le plus d’informations personnelles sur la personne et affiche un joli résumé généré par IA en quelques minutes à peine.

Une démonstration glaçante

La vidéo publiée sur X par AnhPhu Nguyen, l’un des deux chercheurs derrière l’invention, est aussi saisissante qu’elle est inquiétante. Avec une bête paire de lunettes sur le nez et un téléphone dans la poche, AnhPhu Nguyen récupère le nom, prénom, l’âge, l’activité professionnelle et même parfois l’adresse et le numéro de téléphone de gens croisés dans le métro ou dans la rue. Le papier détaillant le fonctionnement du système évoque même la possibilité d’aller chercher le numéro de sécurité sociale des victimes en exploitant les fuites de données disponibles sur le web.

« Cette synergie entre les grands modèles de langage et la recherche inversée de visages permet une extraction de données entièrement automatique qui n’était pas possible auparavant » synthétise le document de recherche. « Un mec pourrait simplement trouver l’adresse d’une fille dans le train et la suivre jusque chez elle », s’inquiète également AnhPhu Nguyen auprès de 404 Media.

Refusant de publier le code derrière le fonctionnement du système, les deux étudiants indiquent surtout vouloir « faire prendre conscience qu’il est possible de trouver l’adresse et d’autres informations personnelles d’une personne en la croisant simplement dans la rue ». Techniquement, la même manipulation est possible en prenant une photo avec un téléphone, mais les lunettes rendent l’opération encore plus discrète et vicieuse.

Un problème d’acceptabilité sociale ?

Si la démonstration technique est impressionnante et terrifiante à la fois, ce n’est pas la première fois qu’une telle technologie fait la une. Dans un article daté du 9 septembre 2023, le New York Times détaillait déjà comment Google et Facebook avaient développé une technologie similaire dès 2017, avant de la mettre sous le tapis au vu des risques qu’elle présentait. « À ma connaissance, il s’agit de la seule technologie développée par Google que nous avons décidé d’enterrer après l’avoir examiné de près », expliquait alors Eric Schmidt, ex-PDG de l’entreprise.

Si les détails techniques derrière cette technologie ne sont pas publics, il y a fort à parier qu’une personne avec un peu d’expérience de programmation saurait répliquer son fonctionnement sans trop de problèmes. Se pose alors la question bien plus complexe de l’acceptabilité sociale de ces lunettes connectées.