Video Streaming Systems in Immersive mode = Sistemi di Streaming Video in modalità immersiva

In the last decade, we have been witness to the explosion of the Internet media delivery services, with the exponential grow of popular video streaming companies such as YouTube and Netflix. In this technological context, Virtual and Augmented Reality applications are becoming increasingly popular thanks to the improvements and the penetration of cheap Head Mounted Displays (HMDs). Therefore, the ability to stream Immersive videos, or Omnidirectional Video (OV) contents, is a key enabling technology for several emerging applications such as immersive cinema, social-media, and health-care, just to name a few. The provisioning of such new services pose numerous new issues, among which I mention: 1. the standardization of new video formats; 2. the design of new adaptive streaming algorithms; 3. the design of compression techniques suitable for immersive videos. World Standard Organizations - such as the Video Coding Experts Group (VCEG) and Moving Pictures Experts Group (MPEG) - have spent a lot of efforts to create and introduce new streaming systems for immersive videos. Starting from these premises, the present work wraps around the main topic of providing advanced control algorithms for Immersive streaming applications, with the aim of optimizing resources, with a particular emphasis on consumption of network bandwidth, server storage and client computing capabilities. With the focus on bandwidth optimization aspects, a methodology for generating Immersive contents specifically designed to optimize the video bitrate consumption has been conceived and implemented. The performance indicators of the conceived optimization technique have been evaluated, in terms of bitrate reduction and resulting visual quality in function of the user’s viewport. Through an extensive experimental campaign, some insights useful for the encoding of immersive videos have been catch and the best theoretical trade-off between bitrate reduction and visual quality (evaluated with both Peak Signal-to-Noise Ratio (PSNR) and Structural Similarity Index Measurement (SSIM) visual quality metrics) in viewer side has been found. Within the context of the Cloud-based pLatform for Immersive adaPtive video Streaming (CLIPS) project, the architecture of a Dynamic Adaptive Streaming over HTTP (DASH)-based control system for the adaptive streaming of immersive contents has been proposed. The DASH-based system is based on two distinct control algorithms which dynamically cooperate for adapting both to the varying network conditions and to the movement of the user’s viewport. The optimizing methodology described ahead has been used as a content generation algorithm. The complete streaming platform has been implemented and a performance evaluation has been carried out. Moreover, by following the most recent developments of the State-of-the-Art in the optimization techniques for the immersive video streaming, the two techniques used for implementing bitrate reduction of spatially partitioned immersive videos have been identified. To investigate the relationship between the obtainable bitrate reduction and the resulting video quality (evaluated with the Video Multi-Method Assessment Fusion (VMAF) visual quality metric), the identified techniques have been tested against a video dataset lasting a total of around 88 hours of immersive video contents. Finally, the open-source TAPAS-360 tool has been developed with the aim to aid in the research community the rapid prototyping of viewport adaptive control algorithms. Moreover, other research activities, strictly connected to those aforementioned, have been carried out during the PhD work.

Nell'ultimo decennio, siamo stati testimoni dell'esplosione dei servizi di media delivery su Internet, con la crescita esponenziale di popolari società di video streaming come YouTube e Netflix. In questo contesto tecnologico, le applicazioni di Realtà Virtuale e Aumentata stanno diventando sempre più popolari grazie ai miglioramenti e alla penetrazione di economici Head Mounted Displays (HMDs). Pertanto, la capacità di trasmettere video immersivi, o contenuti Omnidirectional Video (OV), è una tecnologia abilitante chiave per diverse applicazioni emergenti come il cinema immersivo, i social-media e la sanità, solo per citarne alcune. La fornitura di questi nuovi servizi pone numerosi nuovi problemi, tra i quali menziono: 1. la standardizzazione dei nuovi formati video; 2. la progettazione di nuovi algoritmi di streaming adattivo; 3. la progettazione di tecniche di compressione adatte ai video immersivi. Le organizzazioni standard mondiali - come il Video Coding Experts Group (VCEG) e il Moving Pictures Experts Group (MPEG) - hanno speso molti sforzi per creare e introdurre nuovi sistemi di streaming per video immersivi. Partendo da queste premesse, il presente lavoro si avvolge intorno al tema principale di fornire algoritmi di controllo avanzati per applicazioni di streaming immersivo, con l'obiettivo di ottimizzare le risorse, con particolare attenzione al consumo di banda di rete, allo storage del server e alle capacità di calcolo del client. Concentrandosi sugli aspetti di ottimizzazione della larghezza di banda, è stata concepita e implementata una metodologia per la generazione di contenuti immersivi specificamente progettata per ottimizzare il consumo di bitrate video. Sono stati valutati gli indicatori di performance della tecnica di ottimizzazione concepita, in termini di riduzione del bitrate e di qualità visiva risultante in funzione del viewport dell'utente. Attraverso un'estesa campagna sperimentale, sono state catturate alcune intuizioni utili per la codifica di video immersivi ed è stato trovato il miglior trade-off teorico tra la riduzione del bitrate e la qualità visiva (valutata con entrambe le metriche Peak Signal-to-Noise Ratio (PSNR) e Structural Similarity Index Measurement (SSIM) visual quality) in viewer side. Nel contesto del progetto Cloud-based pLatform for Immersive adaPtive video Streaming (CLIPS), è stata proposta l'architettura di un sistema di controllo basato su Dynamic Adaptive Streaming over HTTP (DASH) per lo streaming adattivo di contenuti immersivi. Il sistema basato su DASH è basato su due algoritmi di controllo distinti che cooperano dinamicamente per adattarsi sia alle condizioni variabili della rete che al movimento della finestra dell'utente. La metodologia di ottimizzazione descritta in precedenza è stata utilizzata come algoritmo di generazione del contenuto. La piattaforma di streaming completa è stata implementata ed è stata effettuata una valutazione delle prestazioni. Inoltre, seguendo i più recenti sviluppi dello Stato dell'Arte nelle tecniche di ottimizzazione per lo streaming video immersivo, sono state identificate le due tecniche utilizzate per implementare la riduzione del bitrate dei video immersivi partizionati spazialmente. Per indagare la relazione tra la riduzione di bitrate ottenibile e la qualità video risultante (valutata con la metrica di qualità visiva Video Multi-Method Assessment Fusion (VMAF)), le tecniche identificate sono state testate su un dataset video per un totale di circa 88 ore di contenuti video immersivi. Infine, il tool open-source TAPAS-360 è stato sviluppato con l'obiettivo di aiutare la comunità di ricerca nella prototipazione rapida di algoritmi di controllo adattivo delle viewport. Inoltre, altre attività di ricerca, strettamente connesse a quelle sopra citate, sono state svolte durante il lavoro di dottorato.