Exclusif : les prochaines lunettes de Meta sont le moment OMG dont la réalité augmentée a besoin

Au cours de la dernière décennie, Meta a investi des milliards pour déterminer à quoi ressemblera la prochaine grande nouveauté. Qu'il s'agisse d'un casque VR, d'une paire de lunettes AR ou d'un compagnon IA que vous portez, Meta a travaillé dessus et Caitlin Kalinowski en a presque certainement été au centre.

J'ai eu le privilège de discuter avec Kalinowski – CK, comme elle aime l'appeler – qui dirigeait auparavant la conception et l'intégration de produits pour les gammes de casques Oculus Rift, Oculus Go et Oculus Quest. Elle possède deux décennies d'expérience en conception de produits, y compris l'équipe d'origine du MacBook Pro Unibody et tous les produits matériels Oculus sortis depuis les contrôleurs Touch d'origine pour l'Oculus Rift.

Mais même si ces réalisations sont impressionnantes, quelqu'un comme Kalinowski regarde toujours vers l'horizon pour la prochaine grande nouveauté. Elle travaille actuellement sur le projet Nazare, la première paire de véritables lunettes AR de Meta qui devrait redéfinir notre conception des lunettes intelligentes.

Et même si les lunettes intelligentes Ray-Ban Meta ont connu un énorme succès, Kalinowski me dit que le travail sur lequel son équipe a travaillé va au-delà des attentes fixées par les produits existants. Oui, cela inclut même les nouvelles fonctionnalités d'appel vidéo et d'IA qui viennent d'être lancées sur Ray-Ban Metas. Ils sont tellement impressionnants qu'elle m'a dit qu'ils offrent « le même degré de « oh mon Dieu, WOW ! Je n'arrive pas à y croire ! que le Rift original était » pour elle.

Le rendre portable

Il y a six ans, Meta s'est lancée dans le concept autonome en lançant l'Oculus Quest. Depuis lors, nous avons vu deux nouvelles générations de casques, culminant récemment avec le lancement de Meta Horizon OS, le propre Android pour VR de Meta. Kalinowski m'a dit qu'il y avait eu « un énorme débat en interne au début » pour savoir s'il fallait se concentrer sur des casques connectés comme le Rift ou aller de manière totalement autonome avec le concept Quest.

Mais bien après que la poussière de ces conversations soit retombée, le prochain grand produit de Meta aurait le même degré de « Oh mon Dieu, wow ! Je ne peux pas y croire ! » que le Rift original avait.

D’après mon expérience, la plupart des gens qui essaient un casque VR moderne sont généralement immédiatement impressionnés. C'est une de ces expériences qu'il est difficile de mettre en mots avant de l'avoir essayée par soi-même, car le virtuel devient réel la réalité à vos yeux et à votre esprit.

Kalinowski m'a dit qu'elle s'épanouit en « offrant aux clients une nouvelle expérience qu'ils n'ont jamais eue auparavant », quelque chose que le Projet Nazare devrait être en mesure de proposer si ce qu'on me dit sonne fidèle au produit final.

« La prochaine grande technologie sur laquelle je travaille actuellement est une paire complète de lunettes AR », dit-elle. Cela signifie non seulement une paire de lunettes qui peut refléter votre smartphone ou quelque chose comme des Ray-Ban Metas qui peuvent prendre des photos ou écouter de la musique, mais une paire qui augmente complètement le monde que vous voyez au moyen d'images projetées.

Meta travaille sur une version de ceci pour les casques Quest 3 cet automne – une fonctionnalité appelée à juste titre « Augments » – mais elle devrait pâlir en comparaison de ce qu'une bonne paire de lunettes AR peut offrir en raison de la dégradation de la qualité qui accompagne la vision pass-through. un casque VR.

Kalinowski a expliqué que « les clients pourront voir à la fois les photons originaux du monde réel ainsi que la superposition que vous souhaitez effectivement avoir ». En termes simples, cela signifie que votre vision du monde réel à travers ces lunettes n'est pas différente de la façon dont vous le verriez à travers une paire de lunettes de soleil. La lumière n'est pas transmise à travers les caméras puis reprojetée de manière « passthrough » comme c'est le cas sur le Meta Quest 3.

Au lieu de cela, les projecteurs micro OLED – suite aux fuites de spécifications précédentes du projet Nazare – superposeront des objets virtuels de manière convaincante sur le monde que vous voyez. Cependant, les lunettes AR actuelles qui tentent de le faire, comme Snap Spectacles 4 ou Magic Leap 2, ont un champ de vision extrêmement réduit. Cela signifie que la superposition d'objets virtuels ne se trouve que dans un petit carré dans votre champ de vision, ce qui interrompt immédiatement l'immersion.

Comme le note Kalinowski, « Rien ne vous prépare à l'immersion dans le champ de vision élevé » du Projet Nazare. En d’autres termes, ce sont les lunettes AR qui changent la donne, car elles peuvent offrir une expérience immersive ressemblant davantage à un casque VR tout en conservant un facteur de forme vraiment confortable et portable.

IA et disponibilité

Tout au long de l'interview, Kalinowski a pris soin de ne pas trop en révéler sur des produits comme le Projet Nazare « jusqu'à ce qu'ils soient prêts ». Il y a une attente importante à définir et Meta ne peut pas se permettre de publier quelque chose trop tôt, surtout si la société envisage de le présenter comme le « moment iPhone » que le PDG Mark Zuckerberg aurait souhaité.

Mais l’enthousiasme dans la voix de Kalinowski est indéniable. L’entreprise a clairement réalisé une percée dans plusieurs domaines importants et est, sans aucun doute, plus proche du succès que n’importe quelle autre entreprise avant elle.

Certaines des avancées majeures sont dues aux progrès récents de l'IA, mais ce n'est pas seulement à l'IA générative comme ChatGPT que vous pourriez penser lorsque vous entendez le terme. L’entreprise a pu réduire la taille des capteurs de ses caméras grâce à l’IA, qui peut débruiter les images en temps réel. Cela libère plus d'espace pour des éléments tels que les processeurs et les batteries.

De plus, Kalinowski a déclaré que l'IA peut désormais être utilisée pour améliorer davantage le SLAM – abréviation de Simultaneous Location and Mapping – et c'est ainsi que les robots aspirateurs intelligents savent où ils se trouvent dans votre maison, par exemple. De cette manière, l’IA peut être utilisée pour compresser des données importantes afin qu’elles puissent être traitées plus rapidement, réduisant ainsi la consommation d’énergie des lunettes.

Peut-être plus excitant, elle a admis que « nous ne savons même pas encore ce qu'ils seront tous » en faisant référence à toutes les façons dont l'IA peut être utilisée pour augmenter virtuellement la puissance de traitement et les capacités des appareils à faible consommation comme les lunettes AR. .

« Nous avons examiné ce qui se passe dans le domaine de l'IA et avons intentionnellement examiné notre feuille de route et apporté des modifications pour tirer parti de cette révolution de l'IA. » En d’autres termes, la façon dont nous pensions que les lunettes AR fonctionneraient est complètement différente maintenant que les systèmes d’IA modernes existent. « Ce qui est passionnant, c'est que l'IA évolue chaque semaine », ajoute-t-elle, ce qui rendrait certainement la conception d'un produit aussi important que le Projet Nazare un défi.

Sans utiliser d'exemples qui pourraient en révéler trop, Kalinowski a décrit un scénario qui permettrait d'illustrer les capacités d'apprentissage visuel de l'IA et comment elle peut commencer à comprendre le contexte de manière surprenante. L'IA pourrait « comprendre que vous faites du skateboard » et présenter différentes manières contextuelles de fournir des informations ou même aider à enregistrer rapidement une vidéo lorsque vous réalisez un trick malade – cette dernière partie est mon propre exemple basé sur la conversation.

Mais, comme le souligne Kalinowski, nous devons parfois attendre pour voir ce qui va se passer, même lorsque nous disposons de toute la technologie. « Lorsque le GPS est apparu pour la première fois, peu de gens auraient imaginé qu'il serait utilisé pour appeler un Uber de n'importe où », a-t-elle noté. C'est la combinaison intelligente d'idées matérielles et logicielles qui contribue réellement à donner à ces produits le sentiment d'être « indispensables ».

En réalité, cependant, cela signifie toujours que les consommateurs ne mettront probablement pas la main (ou la tête) sur la percée des lunettes AR de Meta avant trois ans. Le succès de Ray-Ban Metas a été « exceptionnellement impressionnant », comme l'a dit Kalinowski, et le produit semble avoir pris de l'ampleur de la même manière que l'Oculus Quest 2 lors de son lancement en 2020.

Ces bonnes ventes sont de bon augure pour les futures lunettes AR qui feront encore plus tout en ayant toujours l'air bien. Le composant IA des Ray-Ban Metas « n'était même pas à l'origine le cœur » du produit, et pourtant il semble être l'une des raisons les plus intéressantes d'en acheter une paire et de les utiliser quotidiennement.

Alors que Meta continue de promouvoir le mantra de « l'écosystème ouvert », l'ouverture et d'autres domaines de transparence l'aideront en fin de compte à gagner la confiance nécessaire pour que les gens utilisent une véritable paire de lunettes AR chaque jour. Il s'agit d'une pièce importante du puzzle qui ne doit pas être négligée, et c'est une pièce que des équipes comme celle de Kalinowski semblent avoir à l'esprit quotidiennement.

Kalinowski dit que son équipe a suivi de près la sortie de Ray-Ban Meta et a intégré les leçons apprises dans le prochain grand produit. Des éléments tels que les LED de confidentialité à l'avant et d'autres fonctionnalités similaires ont rendu les gens plus à l'aise avec le fait d'avoir des caméras sur (et dans) leur visage tout au long de la journée.

Et même si tout le monde ne sera pas à l'aise de les porter tout le temps, je peux certainement prévoir un avenir où la plupart des gens se promèneront avec une forme de technologie augmentant la réalité sur leur corps. Que cela ressemble davantage aux Ray-Ban Metas ou au Humane AI Pin, il est tout à fait probable que le monde actuel basé sur les applications dans lequel nous vivons deviendra une chose du passé.