Pixel 9 : comment fonctionne « Pixel Screenshots », l’outil d’analyse de vos captures d’écran ?

 
Lors de la présentation des Pixel 9, Google a rapidement mentionné l’existence d’une nouvelle fonctionnalité boostée à l’IA : Pixel Screenshots. On en sait un peu plus sur le fonctionnement de cette dernière.
L’app Pixel Screenshots sur un Pixel 9 // Source : Google

Vous cherchez désespérément la photo de ce tweet humoristique que vous avez vu il y a trois heures, mais ne parvenez pas à remettre la main dessus ? Pas de panique, Pixel Screenshots va vous aider à faire du tri dans la mémoire de votre téléphone. Cette fonctionnalité, exclusive pour le moment aux Pixel 9, a été présentée le 13 août lors de la conférence de présentation des nouveaux mobiles. Android Authority est parvenu à regarder un peu sous le capot de l’outil.

Sur le principe, Pixel Screenshots a un fonctionnement très simple. À chaque fois que vous prenez une capture d’écran, votre téléphone analyse l’image et la rend « cherchable » en indexant le texte et le contenu des images s’il y en a.

Ainsi, si vous avez pris une capture d’écran d’un message contenant le code d’entrée de votre maison de vacances, il vous suffit de lancer l’app Google et de chercher un élément de contexte (comme « message », « code » ou du genre) pour que l’appli vous fasse remonter les informations enregistrées sur le téléphone.

Limité à 15 captures par jour

Le fonctionnement de l’outil rappelle furieusement Recall, la fonctionnalité que Microsoft a annoncée puis abandonnée récemment. Mais concrètement, Pixel Screenshots fait les choses assez différemment (et tant mieux). Tout d’abord, l’application ne déchiffre que 15 captures d’écran par jour maximum. La limite a été mise à la fois pour éviter de trop envahir votre vie privée comme le faisait la solution de Microsoft, mais aussi pour des raisons plus bêtement techniques.

Les résultats d’une recherche par IA au sein des captures d’écran sur un téléphone Pixel // Source : Google

Comme le déchiffrage des captures d’écran se fait en local grâce au modèle multimodal Gemini Nano, chaque image nécessite 15 à 20 secondes de traitement pour être indexable. Pour éviter de faire surchauffer l’appareil, de vider la batterie ou de monopoliser le processeur, Pixel Screenshots est donc intentionnellement bridé. Si vous prenez plus de 15 captures d’écran par jour, le téléphone ne traitera les données qu’une fois en veille et en charge.

Réservé au Pixel 9 (pour le moment)

Il restera possible de « forcer » le traitement d’une image en ouvrant l’application, mais par défaut Google se limitera à 15 captures, ce qui devrait être suffisant pour couvrir les usages d’une grande partie des mobinautes.

Pour aller plus loin
Google « intègre Gemini au cœur d’Android » : les meilleures nouveautés de l’IA sur les Pixel 9

Pour le moment, le modèle d’IA utilisé par Pixel Screenshots n’est disponible que sur les Pixel 9, 9 Pro et 9 Pro Fold. Peut-être apparaitra-t-il sur les modèles précédents de téléphone Google, si l’entreprise juge qu’ils en ont assez sous le pied pour digérer l’analyse de capture d’écran sans porter préjudice au bon fonctionnement de l’appareil.


Le saviez-vous ? Google News vous permet de choisir vos médias. Ne passez pas à côté de Frandroid et Numerama.