Il tanto atteso API della fotocamera passthrough Da Meta Quest è ora accessibile a tutti gli sviluppatori per sperimentare e testare nuove funzionalità. Tuttavia, è attualmente impossibile integrare questa API nelle applicazioni destinate a Meta Horizon Store.
Disponibilità e contesto
Questa nuova funzione è stata annunciata durante il Meta Connect 2024 Lo scorso settembre, con la promessa di una gita prima della fine dell'anno. Mancato ma ora è disponibile in una versione sperimentale per la ricerca 3 e la ricerca 3s. Qualsiasi sviluppatore può quindi provarlo e distribuire applicazioni (APK) su piattaforme alternative come Sidequest. Tuttavia, l'API non è ancora autorizzata nelle applicazioni offerte sul cieco ufficiale di Meta orizzonte.
Meta ha già adottato questo approccio per altre nuove API in passato: una distribuzione iniziale da sperimentare, seguita da un'apertura più ampia nel corso dei mesi. Si noti che alcuni studi e sviluppatori erano già stati in grado di testare l'API a monte. Inoltre, Meta organizzerà una sessione con Niantico, Creatura ET Risoluzione Per discuterne durante il GDC (Conferenza degli sviluppatori di giochi) La prossima settimana.
Cos'è l'accesso alla fotocamera passthrough?
Quando si avvia un'applicazione utilizzando il “API della fotocamera passthrough“, Ciò richiede l'autorizzazione per accedere alle telecamere del casco, come la micro autorizzazione su uno smartphone. Se lo accetti, l'applicazione può quindi utilizzare le telecamere a colori senza testa e i dati associati (lenti intrinseche, posizione del casco, ecc.). Grazie a questo accesso, è possibile eseguire modelli di visione informatica personalizzati o utilizzare servizi di intelligenza artificiale nel cloud.
Possibili applicazioni:
- Balayage e monitoraggio dei codici QR;
- Rilevamento di set di giochi da tavolo per integrare i personaggi virtuali;
- Riconoscimento di oggetti fisici negli usi professionali (guida all'assembly, logistica, ecc.);
- Integrazione della visione artificiale nei modelli di intelligenza artificiale (LLM) ospitato nel cloud.
Gli unici limiti veri sono la potenza di calcolo del chip XR2 Gen 2, che deve gestire la visione artificiale in tempo reale e il budget che lo sviluppatore è pronto a dedicarsi ai modelli remoti ( Nuvola ).
Spettacoli e considerazioni tecniche
Flusso videoPassthrough Può raggiungere una definizione di 1280 × 960 per fotocamera a 30 fps, con una latenza annunciata da 40 a 60 ms. Ciò significa che questa soluzione non è ideale per seguire oggetti a movimento rapido (ad esempio, controller personalizzati) o per riconoscere dettagli molto piccoli o piccoli testi.
In termini di software, non si parla rigorosamente “API Passthrough Meta Quest Camera», D'Extension d '' 'OpenXr specifico. Gli sviluppatori devono semplicemente richiedere l'autorizzazione ” Telecamere auricolari» Orizon OSquindi sfruttare ilAPI Camera2 di Android per recuperare sia il video che la posizione del casco (l'installazione ottenuta tramite OpenXr ).
VersareUnità gli sviluppatori possono accedere a queste telecamere con API WebCamTexture del motore, lo stesso di quello utilizzato per le telecamere per smartphone o PC. Tuttavia, rimane un grande vincolo: WebCamTexture Gestisce solo una fotocamera alla volta, non due contemporaneamente.
Conclusione
L ' Camera passthrough API Per Quest 3 e Quest 3s rappresenta un progresso interessante per la realtà mista: accesso diretto alle telecamere anteriori che si apre la strada a esperienze più ricche nel riconoscimento, monitoraggio e interazione degli oggetti con l'ambiente. Attualmente è possibile eseguire test e distribuire applicazioni sperimentali tramiteSidequesto altri canali alternativi, ma l'uso di questa API nelle applicazioni diMeta Horizon StoreRimane, per il momento, vietato. Nota, sul lato di Google, Android XR consentirà questo accesso non appena viene rilasciato, il che spiega certamente il cambio di meta attrezzatura su questo argomento. .
È quindi molto probabile cheMetatermina permettendo il suo uso sul cieco in pochi mesi, dopo una prima fase di esperimenti. Gli sviluppatori hanno quindi ogni interesse a trarre vantaggio da questo periodo per familiarizzare con la tecnologia e preparare esperienze innovative per la gita pubblica nel prossimo futuro.
(TAGSTOTRANSlate) Quest 3 (T) Passthrough Camera (T) realtà mista