RealityOS était omniprésent à la WWDC 2022 malgré son absence

Depuis plusieurs mois, les rumeurs autour d’Apple se concentrent sur son projet de réalité augmentée. Ming-Chi Kuo et Mark Gurman de Bloomberg l’ont évoqué à plusieurs reprises. Apple n’a dévoilé ni son futur système realityOS ni ses lunettes de réalité augmentée ou virtuelle lors de sa conférence dédiée aux développeurs. Il faudra donc probablement attendre juin 2023 pour découvrir officiellement ce projet.

Pourtant, les ingrédients de ce futur produit étaient bel et bien un véritable fil rouge lors de cette WWDC 2022. Il fallait seulement être attentif.

Le plus évident : ARKit 6

Impossible de ne pas connecter l’arrivée d’ARKit 6 avec les futures lunettes d’Apple. Ce sera forcément l’une des briques fondatrices. ARKit 6 réunit tous les outils pour les développeurs sous iOS afin de créer des applications en réalité augmentée. Cette nouvelle version permet notamment de capturer des vidéos avec AR en 4K et l’utilisation simultanée de la caméra frontale et dorsale. Apple est aussi revenu sur des nouveautés d’ARKit 5 comme People Occlusion qui permet de maintenir un objet virtuel dans un espace réel où des personnes peuvent passer devant l’objectif sans gêner l’expérience.

Pour les futures lunettes, on peut aussi mentionner des améliorations autour de la motion capture où Apple annonce être en capacité de suivre les oreilles de l’utilisateur et une meilleure reconnaissance de la taille de l’utilisateur.

RoomPlan et Apple Plan : créer des jumeaux virtuels

RoomPlan est une autre nouveauté de cette WWDC22. Avec ARKit, cet outil permet à un iPhone ou un iPad équipé d’un LiDAR de créer un environnement en 3D à partir de votre intérieur. L’appareil va automatiquement recréer l’espace en virtuel avec la bonne échelle, les dimensions et les meubles.

Apple RoomPlan // Source : Apple

Les cartes 3D d’Apple Plans // Source : Apple

C’est aussi ce que prépare Apple à l’échelle des villes avec les cartes 3D d’Apple Plan. Dans les deux cas, Apple avance sur une recréation en 3D du monde en intérieur ou en extérieur, ce qui va permettre aux lunettes de s’aiguiller plus facilement.

Avec ces nouvelles fonctions et les ouvertures aux développeurs, Apple avance pour récupérer des données 3D qui serviront plus tard aux lunettes à mieux comprendre leur environnement.

Live Text et Quick Actions

Une partie des nouveautés d’iOS 16 nous oriente aussi clairement vers des travaux en direction des futures lunettes. Ainsi avec iOS 16, vos appareils vont mieux pouvoir interpréter l’environnement réel et vous proposer par exemple des traductions de panneaux. Ce sont des fonctions que l’on connait déjà dans des applications, notamment chez Google, mais ici Apple les intègre à son système, y compris en vidéo. L’objectif est bien sûr de les proposer nativement sur les futures lunettes.

Live text permet d’interagir avec n’importe quel texte dans une photo ou une vidéo. Quick Actions permet de convertir des devises à la volée depuis une image. Et surtout, Apple ouvre ces fonctions aux développeurs externes par une API.

Apple a également amélioré ses algorithmes de dictée vocale pour ajouter de la ponctuation dans le texte. Là encore, on imagine bien que les lunettes devront faire avec la voix pour composer des messages, il faut donc commencer à préparer ce futur.

Metal 3 et Apple M2 : au-delà du jeu vidéo

Le jeu vidéo a joué un rôle important à la WWDC 2022 d’Apple. La firme sait qu’elle propose désormais des puces graphiques capables de faire tourner des jeux sur Mac et doit donc convaincre les développeurs d’adopter ses outils. Mais Apple Metal 3 et la puce Apple M2 ne serviront pas qu’à faire tourner Resident Evil Village et d’autres jeux vidéo.

Par définition, la réalité augmentée utilise les API comme Metal pour créer des objets 3D en temps réel. Au lieu de les placer dans le monde virtuel d’un jeu vidéo, la réalité augmentée les place dans notre monde bien réel. Le principe reste identique et donc tout le travail opéré par Apple pour optimiser l’efficacité des logiciels de son écosystème à faire tourner de la 3D en temps réel sur ses puces est du travail de gagné pour ses futures lunettes.

La widgetisation d’Apple

Depuis plusieurs années, à travers watchOS, iOS et même CarPlay, Apple permet aux développeurs d’extraire des informations de leurs applications pour les présenter à l’utilisateur. Que ce soit des complications sur watchOS, les widgets d’iOS ou les nouveaux éléments de l’écran de verrouillage d’iOS 16, la philosophie reste la même.

Au fil de ces expériences, Apple a développé une interface familière pour l’utilisateur qui sait désormais réunir des informations venant de plusieurs applications dans un espace personnalisable, mais contrôlé par Apple. Là encore, il s’agit d’un ingrédient que la firme pourra réutiliser pour l’interface de ses futures lunettes.

Cela semble être une question de mois

Si on prend la réalité augmentée comme perspective, il devient clair que la WWDC 22 préparait très bien le terrain pour l’arrivée de nouveaux produits. Comme tout projet, Apple pourrait décider de tout abandonner ou changer complètement de stratégie, mais il semble clair que la marque se prépare dès aujourd’hui à se lancer sur un nouveau terrain dans les mois à venir.