From low-cost to high-quality: a foss4G framework of uav photogrammetric processing for geospatial data extraction

One of the topics of Earth sciences most encouraged by the Big Data revolution is related to Earth Observation technologies and techniques. Recent developments in Remote Sensing and computing techniques have triggered an explosive growth of this data. New satellite, airborne, and terrestrial systems characterised by high spatial, temporal, and radiometric resolution are continuously evolving, and the large masses of data thus flow into Big Geospatial Data, geared to cross-sectorally help multiple industries and academia with a new approach. Whereas this data contains powerful information, it is at the same time heterogeneous, multi-source, multi-temporal, multi-scale, highly dimensional, highly complex, and unstructured, and difficulties emerged in data storage, processing, validation of results and even analysis. From the hardware perspective, the introduction of low-cost computers and sensors has expanded the potential for data acquisition. On the software side, the adoption of increasingly performant and specialised Free and Open-Source Software for Geospatial (FOSS4G) platforms is revolutionising the way of working, driving a shift towards open science, knowledge sharing, accessibility and reproducibility. It is evident that these renovations require the tailored implementation of high-level value chain frameworks. Given the numerous challenges in this field in which the scientific community appears to be rigorously engaged, an increasing share of interest is being placed in the progress of Unmanned Aerial Vehicles (UAVs). Aerial imagery captured by UAVs is playing an increasingly important role in various industries due to its efficiency, flexibility, transversality, and versatility of use. However, UAV technologies and techniques based on them are still under development and several problems need to be solved. Among the many already discussed by the scientific community, it was pointed out that manual interpretation and analysis of integrated data is no longer adequate, which is why sophisticated automatic analysis methods are needed to make the process efficient and effective. This dissertation thus seeks to develop a FOSS4G framework for pre-processing and post-processing of photogrammetric products, useful for the automatic extraction of near real-time information applied to high-resolution, multiscale, multi-temporal, and multi-sensor data for environmental monitoring and technical inspection of buildings. Therefore, it goes through the structure focusing on the currently low-cost UAV platforms equipped with economic sensors, on the configuration and optimisation of the field acquisition and pre-processing activities in order to reduce both the ancillary costs and the effort of operations and, at the same time, testing different methodologies to extract information from data characterised by different spectral and spatial resolutions. The validation procedures of the products obtainable from the process chain are proposed to identify their placement among the different more usual alternatives of Earth Observation data. As a result, this thesis reconstructs a repeatable and reproducible procedure, tests and validates the products that can be rendered, and proposes innovative image-based and point-based analysis methods. The work, therefore, sought to address some of the limitations regarding the collection and pre-processing of information in a timely and cost-effective manner, and the lack of an accredited framework for processing photogrammetric data that could be considered reproducible, repeatable, and widely accessible in the context of the Data Science democratisation. The strategic placement of UAV-based products among those of more established technologies is thus theorised and validated. Finally, the work proposes a response to the complexity of dealing with high spectral and spatial resolution data, such as large amounts of data in real-time applications, to extract targeted information to solve specific issues. Hence, the process of structuring the current research work goes through four main stages: (1) conceptual maturation of the platforms and sensors and their integration, (2) structuring of a FOSS4G processing framework, (3) geometric and radiometric pre-processing of the acquired datasets, and (4) image-based and point-based analysis and information extraction. In view of all this, the main contributions of this thesis were to organize a comprehensive open-source framework ranging from acquisition strategy and georeferencing step, geometric and radiometric pre-processing, output processing, and analysis. At the same time, to apply open methodologies for pixel-based and point-based analysis of producible photogrammetric results for multi-scale, multi-temporal, and multi-sensor surveys, and achieve these targets with high quality but using low-cost technologies and techniques to increase their accessibility. Important technical and technological implications, based on the automation of operations, result from the adoption of the proposed framework.

Uno degli argomenti delle scienze della Terra più incoraggiati dalla rivoluzione dei Big Data è legato alle tecnologie e alle tecniche di Osservazione della Terra. I recenti sviluppi nel Telerilevamento e nelle tecniche di calcolo hanno innescato una crescita esplosiva di questi dati. Nuovi sistemi satellitari, aerei e terrestri caratterizzati da un'alta risoluzione spaziale, temporale e radiometrica sono in continua evoluzione, e le grandi masse di dati confluiscono così nei Big Geospatial Data, orientati ad aiutare in modo intersettoriale molteplici industrie e il mondo accademico con un nuovo approccio. Mentre questi dati contengono importanti informazioni, sono allo stesso tempo eterogenei, multi-sorgente, multi-temporali, multi-scala, altamente dimensionali, altamente complessi e non strutturati, e sono emerse difficoltà nell’archiviazione dei dati, nell'elaborazione, nella convalida dei risultati e anche nella loro analisi. Dal punto di vista dell'hardware, l'introduzione di computer e sensori a basso costo ha ampliato il potenziale di acquisizione dei dati. Dal punto di vista software, l'adozione di piattaforme sempre più performanti e specializzate Free and Open Source Software for Geospatial (FOSS4G) sta rivoluzionando il modo di lavorare, guidando uno orientamento verso la scienza aperta, la condivisione delle conoscenze, l'accessibilità e la riproducibilità. È evidente che questi rinnovamenti richiedono l'implementazione su misura di frame della catena del valore di alto livello. Date le numerose sfide in questo campo in cui la comunità scientifica sembra essere rigorosamente impegnata, una quota crescente di interesse viene posta nel progresso degli Unmanned Aerial Vehicles (UAV), Sistemi Aeromobili a Pilotaggio Remoto. Le immagini aeree catturate dagli UAV stanno giocando un ruolo sempre più importante in varie industrie grazie alla loro efficienza, flessibilità, trasversalità e versatilità d'uso. Tuttavia, le tecnologie UAV e le tecniche basate su di esse sono ancora in fase di sviluppo e diversi problemi devono essere risolti. Tra i molti già discussi dalla comunità scientifica, è stato evidenziato che l'interpretazione e l'analisi manuale dei dati integrati non sono più adeguate, motivo per cui sono necessari sofisticati metodi di analisi automatica per rendere il processo efficiente ed efficace. Questa tesi cerca quindi di sviluppare un framework FOSS4G per il pre-processing e post-processing di prodotti fotogrammetrici, utile per l'estrazione automatica di informazioni quasi in tempo reale, applicati a dati ad alta risoluzione, multi-scala, multi-temporali e multi-sensore per il monitoraggio ambientale e l'ispezione tecnica degli edifici. Si percorre quindi la struttura con-centrandosi sulle piattaforme UAV attualmente a basso costo dotate di sensori economici, sulla configurazione e ottimizzazione delle attività in campo di acquisizione e preelaborazione al fine di ridurre sia i costi accessori che il sovraccarico delle opera-zioni e, allo stesso tempo, testando diverse metodologie per estrarre informazioni da dati caratterizzati da diverse risoluzioni spettrali e spaziali. Vengono proposte le procedure di validazione dei prodotti ottenibili dalla catena di processo per individuare la loro collocazione tra le diverse alternative più consuete dei dati di Osservazione della Terra. Come risultato, questa tesi dà forma ad una procedura ripetibile e riproducibile, testa e convalida i prodotti che possono essere restituiti, e propone metodi innovativi di analisi basati sul trattamento di immagini e sui punti. Il lavoro ha quindi cercato di affrontare alcune delle limitazioni riguardanti la raccolta e la preelaborazione delle informazioni in modo tempestivo ed economico, e la mancanza di un quadro accreditato per l'elaborazione dei dati fotogrammetrici che possa essere considerato riproducibile, ripetibile e ampiamente accessibile nel contesto della democratizzazione della Data Science. Viene così teorizzata e validata la collocazione strategica dei pro-dotti basati su UAV tra quelli di tecnologie più consolidate. Infine, il lavoro propone una risposta alla complessità nel trattamento e gestione di dati ad alta risoluzione spettrale e spaziale, come le grandi quantità di dati nelle applicazioni in tempo reale, per estrarre informazioni mirate per risolvere problemi specifici. Quindi, il processo di strutturazione del presente lavoro di ricerca passa attraverso quattro fasi principali: (1) maturazione concettuale delle piattaforme e dei sensori e la loro integrazione, (2) strutturazione di un quadro di elaborazione FOSS4G, (3) preelaborazione geometrica e radiometrica dei dataset acquisiti, e (4) analisi ed estrazione di informazioni basate su immagini e punti. In vista di tutto ciò, i principali contributi di questa tesi alla ricerca sono stati quelli di organizzare un quadro completo open-source che andasse dal-la strategia di acquisizione e la fase di georeferenziazione, passando per la preelaborazione geometrica e radiometrica, sino all'elaborazione dell'output e l'analisi. Allo stesso tempo, anche quella di applicare metodologie aperte per l'analisi basata sui pixel e sui punti derivati da processamenti fotogrammetrici ottenibili da indagini multi-scala, multi-temporali e multi-sensore, e di raggiungere questi obiettivi con alta qualità ma utilizzando tecnologie e tecniche a basso costo per aumentarne l'accessibilità. Importanti implicazioni tecniche e tecnologiche, basate sull'automazione delle opera-zioni, risultano dall'adozione del quadro proposto.