Amazon ne veut plus que la police utilise son logiciel de reconnaissance faciale

Faciliter les usages, identifier un objet ou une personne dans une manifestation : ce n’est plus la même chose pour Amazon. Face aux manifestations qui bouleversent actuellement les États-Unis à la suite de la mort de George Floyd, tué par un policier, l’entreprise va mettre en place un moratoire d’un an sur l’usage de son logiciel de reconnaissance faciale par les forces de l’ordre.

Dévoilée en 2016, la plateforme Rekognition était initialement un logiciel conçu pour identifier les objets dans les images fixes et la vidéo. Il était également possible de faire correspondre un visage à des images dans une base de données sans avoir besoin de comparer manuellement. Basée sur le cloud, elle comporte des données collectées par Amazon Web Services, le service de cloud d’Amazon, mais peut aussi former des algorithmes personnalisés avec des données compilées par un utilisateur.

Des grosses erreurs de reconnaissance à son passif

De nombreuses agences gouvernementales américaines, mais aussi la police de certains États et des organismes privés l’utilisent. Amazon avait d’ailleurs vanté son utilisation par la police comme argument marketing avant de se raviser à la suite d’une polémique naissante.

Une étude publiée en janvier 2019 par deux chercheurs en IA avait montré que le logiciel commettait davantage d’erreurs lorsqu’il s’agissait de personnes de couleur et notamment de femmes. L’IA de Microsoft a récemment commis le même type d’erreur en confondant deux chanteuses métisses. Dans d’autres situations, le logiciel d’Amazon avait été pris en défaut par l’Union américaine pour les libertés civiles. Soumettant les membres du Congrès au test du service, celui-ci avait fait correspondre les photos de 28 d’entre eux, souvent issus de minorités, avec celles de criminels.

La police, seule instance concernée

En suspendant l’utilisation du service par la police, Amazon veut donner le temps aux législateurs de mieux réglementer et encadrer l’usage de la technologie très controversée. La reconnaissance faciale a souvent été pointée du doigt pour ses difficultés à identifier correctement des personnes à la peau plus foncée. Sur son blog, Amazon n’a pas tardé à réagir :

Nous avons préconisé que les gouvernements mettent en place des réglementations plus strictes pour régir l’utilisation éthique de la technologie de reconnaissance faciale, et ces derniers jours, le Congrès semble prêt à relever ce défi. Nous espérons que ce moratoire d’un an pour donner au Congrès suffisamment de temps pour mettre en œuvre les règles appropriées et nous sommes prêts à l’aider s’il le faut.

Cette décision intervient alors qu’un projet de loi sur la réforme de la police a été présenté lundi. Et parmi les propositions faites se trouve une disposition pour bloquer l’analyse en temps réel de la reconnaissance faciale des caméras de la police fédérale. Amazon a d’ores et déjà annoncé que Rekognition continuerait d’être proposé à ses autres clients, notamment les organisations qui l’utilisent pour lutter contre la traite des êtres humains.

Tout en soutenant sa plateforme Rekognition, Amazon a reconnu quelques erreurs et commencé à les corriger.