Innovative methods and techniques for diagnostics and monitoring of architectural heritage, through digital image processing and machine learning approaches

IIn Civil or Building engineering, the assessment of the state of conservation of a building or an infrastructure is fundamental, for monitoring and conservation purposes. This is of paramount importance also in the context of Cultural Heritage, where artefacts are denoted by historic-artistic interest, and often in widespread damaged conditions. The actual state of practice refers to costly and time-consuming technologies and equipment, often requiring invasive actions, or difficult applications. In Civil Engineering, several research works address these criticalities through the implementation of digital technologies like image processing or artificial intelligence. However, most proposals are applied on 2D data, with substantial losses of 3D information, and often single-defect oriented. On the contrary, in Cultural Heritage domain their diffusion is still scarce, with reality-based 3D data used mainly as reference for geometrical survey. In addition, there is a substantial lack of unified protocols for the acquisition and processing of data, finalized to the quantitative inspection of built heritages. In light of this, the aim of this research is to define, analogously to other fields of Engineering, innovative diagnostic approaches, to support the experts in the phase of knowledge, before planning an intervention. The evaluation of the general conditions of a building has been proposed through the analysis of reality-based 3D data, acquired by means of photogrammetry. Specific mapping and computerized evaluation routines have been created, for the detection of various decay morphologies, as defined by sectorial standards, through qualitative and quantitative analysis systems. Digital Image Processing and Machine Learning techniques have been adopted and implemented on high resolution three-dimensional models (dense point clouds, texturized polygonal meshes), to define distinct pipelines tailored on the basis of the kind of damage to investigate (geometry-based or colour-based alterations). A scalar strategy was outlined, articulated in different paths and levels of details. Furthermore, they have been tested on a plurality of case studies of significant historical-artistic interest, belonging to the territorial, regional or international, cultural heritage. Their heterogeneity, in terms of epoch, building type, surface material, architectural components and decay phenomena, allowed the experimental application of the proposed workflows, demonstrating their suitability and adaptability to the building diagnostic domain. Indeed, exterior walls, portals and pillars of Palmieri residential palace (XVIII century), portions of a tower in the medieval fortress of Bashtovë (XV century), or the interiors of the Romanesque cathedral of San Corrado (XII/XIII century), were considered because they are all characterized by decay phenomena expressed by changes in the geometry and shape, like stone surface decay (lacks, erosions, alveolizations..) or static instabilities (crack patterns). While specific areas of the archaeological site of Egnatia (I century B.C), or internal environments of ex-convents, like San Leonardo and Cappuccini, were selected, in light of chromatic-based modifications consistently affecting them, mainly ascribable to humidity problems. Those conditions have been monitored within intervals of years, in order to control their evolution overtime. The present research lays out an advancement in the analysis and control of the state of conservation of buildings, especially in cultural heritage domain, providing an articulated methodological workflow, to obtain and collect investigation data for the pre-diagnosis phase. Some principal contributions concern the possibility to achieve both qualitative and quantitative insights on different decay morphologies, starting from reality-based 3D data, with remote, non-invasive, semi-automatic procedures, in support of diagnostic activities. Furthermore, flexibility and scalability are paramount conditions, to address the peculiarity of the diagnostic process, in the perspective of a reduction of time cost requirements, a simplification of the investigation plan and a minimization of dependence from the technician’s expertise.

Nell’ambito dell’ingegneria civile e edile la valutazione dello stato di conservazione di un edificio o di un'infrastruttura è di fondamentale importanza, a fini di monitoraggio e di conservazione, tanto più in riferimento al patrimonio architettonico di interesse storico-artistico in condizioni di diffuso degrado. In tale contesto, il rilievo e la diagnostica attualmente fanno riferimento a tecnologie e strumentazioni onerose per costo e tempo, che sovente presuppongono interventi invasivi o di difficile attuazione. Nel campo del monitoraggio di infrastrutture diversi studiosi affrontano queste criticità attraverso l'implementazione di tecnologie digitali come l’image processing o l'intelligenza artificiale. Tuttavia, la maggior parte delle metodologie sono spesso orientate al riconoscimento di un’unica tipologia di difetto, e applicate su dati bidimensionali, comportando quindi la perdita di informazioni tridimensionali. Al contrario, la loro diffusione è ancora piuttosto limitata nel settore dei beni culturali, ambito nel quale i modelli tridimensionali reality-based sono utilizzati principalmente come riferimento geometrico. Inoltre, vi è una mancanza di protocolli unificati per l'acquisizione e l'elaborazione dei dati, finalizzati all’ispezione e al controllo del patrimonio costruito. In virtù di tali considerazioni, il lavoro di ricerca ha preso avvio dalla necessità di definire, in analogia a prassi esplorate in altri settori dell’ingegneria, approcci di diagnostica innovativa, di supporto agli operatori nella fase di conoscenza di un manufatto, preliminare alla progettazione di un intervento. Il progetto di ricerca mira ad un esame delle condizioni generali di un edificio mediante specifiche metodiche di valutazione computerizzata qualitativa e quantitativa di dati fotogrammetrici, volta all’individuazione e alla mappatura delle morfologie di degrado definite nelle normative di settore. Nel dettaglio, tecniche di digital image processing e machine learning sono state implementate su modelli tridimensionali ad alta risoluzione (nuvole di punti, mesh poligonali testurizzate), configurando opportune strategie scalari, ad un livello di dettaglio crescente, in relazione alla tipologia di degrado da investigare (alterazioni basate sulla geometria o sul colore). Tali procedure sono state validate su una pluralità di casi studio di rilevante interesse storico-artistico, appartenenti al patrimonio culturale territoriale, a scala regionale o internazionale. La grande eterogeneità, in termini di epoca, tipologia costruttiva, materiali, componenti architettonici e fenomeni di degrado, ha permesso un’ampia applicazione sperimentale dei flussi di lavoro proposti, dimostrandone l’idoneità e adattabilità alla diagnostica degli edifici. Esempi come la facciata esterna, il portale e i pilastri di palazzo Palmieri (XVIII secolo), la torre nord della fortezza medievale di Bashtovë (XV secolo), oppure gli interni della cattedrale romanica di San Corrado (XII/XIII secolo), sono stati presi in considerazione poiché caratterizzati da patologie associate a cambiamenti nella geometria e nella forma degli elementi architettonici, riconducibili al degrado superficiale della pietra (mancanze, erosioni, alveolizzazioni..) o a fenomeni di instabilità statica (quadri fessurativi). Di contro, alcune aree del sito archeologico di Egnazia (I secolo a.c.), o alcuni ambienti interni degli ex conventi di San Leonardo e dei Cappuccini (XVI secolo), sono prevalentemente interessati da alterazioni su base cromatica, attribuibili soprattutto a problemi di umidità. Tali condizioni sono state monitorate in intervalli di anni, al fine di osservarne l’evoluzione nel tempo. La presente ricerca propone un avanzamento nell'analisi e nel controllo dello stato di conservazione degli edifici, in particolare nel settore dei beni culturali, attraverso un articolato flusso di lavoro metodologico, finalizzato ad ottenere informazioni utili per la fase di pre-diagnosi. I principali contributi riguardano la possibilità di ottenere un approfondimento qualitativo e quantitativo su diverse morfologie di degrado, a partire da dati tridimensionali reality-based, mediante procedure remote, non invasive, e semi-automatiche, a supporto delle attività diagnostiche. Inoltre, la flessibilità e la scalabilità dell’approccio sono condizioni fondamentali, nell’ottica di una limitazione di costi e tempi, di una semplificazione del piano di indagini e di una riduzione della soggettività e dipendenza degli esiti dalle competenze del tecnico.