Comment Google améliore l’accessibilité d’Android grâce à l’intelligence artificielle

 
L’attention de Google est peut-être tournée vers la sortie prochaine d’Android 15, mais cela ne signifie pas pour autant que l’entreprise oublie de déployer des fonctionnalités sur le reste des téléphones.
Une femme utilisant son téléphone avec, en surimpression, des icônes montrant les nouveaux outils d’accessibilité d’Android
L’accessibilité d’Android s’améliore par petites touches // Source : Google

L’IA se met au service de l’accessibilité. Dans un billet de blog publié le 3 septembre 2024, Google a annoncé plusieurs améliorations des outils d’accessibilité d’Android. L’entreprise a mis son IA Gemini au service des malvoyants en offrant des voix plus naturelles aux outils de lecture d’écran et même des améliorations concernant la description des photos.

La première mise à jour concerne l’outil Talkback (qui lit les contenus affichés à l’écran). L’outil va donc intégrer une dose d’IA pour analyser et décrire les images intégrées dans les pages web. Ainsi, si une photo est dépourvue de textes alternatifs (alt text), l’image sera envoyée sur les serveurs de Google pour que Gemini puisse en faire une description précise.

Des descriptions d’images plus riches

Dans l’exemple livré par Google, le robot de la firme conte avec moult détails le look d’une robe vendu sur un site marchand. L’entreprise précise même que cela fonctionne aussi dans l’application galerie, dans votre application de messages ou sur les réseaux sociaux. Globalement, partout où il y a des images, Talkback sera capable d’en fournir une description grâce à Gemini.

Une capture d'écran d'un mobile Android montrant l'IA de Google décrivant une photo
Gemini sait fournir des descriptions précises des photos rencontrées sur le web // Source : Google

L’autre grosse nouveauté ne concerne pas directement les outils d’accessibilité d’Android, mais pourrait tout de même faciliter la vie des personnes malvoyantes. Comme annoncé en juin dernier, le navigateur de Google se dote officiellement d’une option pour « Lire à voix haute » le contenu d’une page web.

Android vous fait la lecture

Similaire à ce que fait Talkback (mais directement intégré à Chrome), l’option arrive même avec des paramètres pour changer la voix ou la vitesse de lecture. Pratique pour transformer des articles texte en sorte d’épisodes de podcast personnalisé.

Pour aller plus loin
Technologies et handicap : pourquoi tout le monde est concerné

Pour le moment, aucune des deux fonctionnalités ne s’est montrée sur notre mobile de test (Pixel 8 sur la dernière version d’Android), mais Google promet que ces fonctionnalités arriveront sur tous les mobiles capables de faire tourner les différents modèles de langage Gemini. Les mobiles Android dépourvus de l’IA de Google ne sont pas en reste pour autant puisque la description des images est compatible sur tous les téléphones tournant sous Android 11 ou mieux. Le téléphone se reposera simplement sur des modèles d’intelligence artificielle un peu moins performants pour l’analyse d’image.

D’autres nouveautés comme une amélioration du mode hors-ligne sur Android Wear ou l’identification des musiques via Circle to Search devrait aussi arriver dans les prochains jours sur tous les mobiles éligibles.


Envie de retrouver les meilleurs articles de Frandroid sur Google News ? Vous pouvez suivre Frandroid sur Google News en un clic.