Microsoft ha recentemente pubblicato un documento e un brevetto per una nuova forma di streaming video chiamata “Gaze Based Video Stream Processing”. È uno strumento software semplice ma impressionante, basato sull'intelligenza artificiale, che porterebbe il concetto di rendering foveato in applicazioni per riunioni video e chat come Microsoft Teams, Zoom e Discord.
VISUALIZZA GALLERIA – 3 IMMAGINI
È una tecnologia basata sul modo in cui vediamo come esseri umani, in cui gli oggetti entro 5-10 gradi dal nostro focus principale vengono visualizzati con il massimo dettaglio, con una riduzione rapida del 20% al di fuori di questi 10 gradi.
Il rendering preferito per i giochi VR prevede l'utilizzo del tracciamento oculare per garantire che le aree o gli oggetti che stai guardando direttamente siano renderizzati con la massima qualità con tutti gli effetti e le impostazioni di dettaglio al massimo. Allo stesso tempo, le aree o gli oggetti che non vengono osservati hanno una qualità ridotta per migliorare le prestazioni. Con il suo nuovo brevetto, Microsoft porta questo concetto nello streaming video.
L'elaborazione del flusso video basato sullo sguardo utilizza un sistema per stimare o prevedere dove l'utente sta guardando, consentendo al processore del flusso video di ridurre la qualità dei flussi video che non vengono guardati. Il vantaggio immediato sarebbe una minore larghezza di banda e una connessione potenzialmente più stabile.
Il brevetto offre immagini che mostrano come apparirebbe. Senza il sistema, hai tre flussi video di qualità variabile: due 1080p e uno 720p. Come flusso video standard, tutti e tre vengono presentati alla massima qualità in base alla larghezza di banda disponibile. Con l'elaborazione video basata sullo sguardo, lo streaming guardato rimane alla massima qualità a 1080p 60 FPS, mentre i due streaming al di fuori dell'attenzione dell'utente scendono di qualità a 360p 24 FPS.
Riduce i requisiti di larghezza di banda per le riunioni video e garantisce che la larghezza di banda sia dedicata dove necessario. Poiché l'intelligenza artificiale e la rete neurale potenziano il rilevamento dello sguardo, questa funzionalità potrebbe essere disponibile sui PC Copilot+ con NPU integrate, con il primo esempio distribuito in Microsoft Teams.