Intelligent Systems for Industry 4.0: Decision Support Systems and Immersive Human-Computer Interfaces

The aim of this PhD thesis is the design, development and evaluation of intelligent systems for Industry 4.0. In particular, because of the interest in innovative solutions for advanced services in manufacturing and bioengineering fields, the goal of the pro-posed solutions is the design, development and evaluation of intelligent systems fol-lowing the four main principles of Industry 4.0: interoperability, information transpar-ency, technical assistance and decentralized decisions. The focus is mainly on the technical assistance principle, which describes how assistance systems could support humans by comprehensively aggregating and visualising information via immersive and innovative human-computer interfaces when making informed decisions, solving urgent problems and conducting a range of unpleasant tasks. In manufacturing, the time to train operators for a task, rather than the time to solve a maintenance problem for a component on a manual working station, plays a vital role in the efficiency and efficacy of an industrial environment. Therefore, considering the innovative principles of Industry 4.0, the leading research question is as follows: How should we design and develop an immersive human-computer interface to allow the operators, without any wearable device, to quickly learn the tasks required during their work? A use case based on the application of a spatial (or projected) augmented reality system was investigated. This PhD work presents the approaches used to design the manual working station and to implement the algorithms used to recognise and track the objects on the station and opportunely project the information about a specific task. Moreover, in an industrial environment, the evaluation of postures performed by operators during their work has a crucial impact on the operators’ health and, in this case, on the efficiency and efficacy of industrial processes. Therefore, the central re-search question is as follows: How should we implement and validate a real-time sys-tem to detect awkward postures? This PhD dissertation presents the approach em-ployed to design the system using a depth camera sensor, such as Kinect v2, and to validate it using a standardised vision system used for motion analysis in clinical ex-aminations, such as the BTS platform. The industrial bioengineering field is strictly correlated to the manufacturing area, concerning both technologies and techniques used to design and implement systems to support physicians during clinical and diagnostic examinations or surgical operations. In the context of this PhD work, computer vision algorithms and decision support sys-tems able to detect and recognise tumours starting from medical images, also known as computer-aided diagnosis frameworks, were implemented to support physicians in their diagnostic decisions. Moreover, signals acquired using sensors during the clinical examination are opportunely elaborated to use them for training decision support sys-tems that recognise the severity of the certain neurological diseases. In this way, the problems created by the observational nature of this kind of examination are fixed, and the systems implemented help the clinicians make more precise decisions about disease severity. Finally, immersive human-computer interfaces used for comprehen-sively overlapping information (e.g., 3D reconstruction of a tumour) in the real world were designed and developed to help surgeons during surgical operations. After an introduction of Industry 4.0, the dissertation is organised into two main parts, which discuss the two topics covered during the PhD research. The dissertation ends with the conclusions and future works . In detail, the second chapter, entitled Design, Development and Evaluation of Intelligent, Immersive and Innovation Hu-man-Computer interfaces in an Industrial Scenario for Maintenance Services, is relat-ed to the discussion of immersive and innovative techniques and technologies used to improve the work quality, concerning postures in the workplace and time to finish a training task. The third chapter, entitled Intelligent Support in Industrial Bioengineer-ing: Decision Support Systems and Immersive Human-Computer Interfaces Applica-tion, is related to the discussion of decision support systems to support clinicians dur-ing diagnostic or clinical examinations and a mixed reality system to support surgeons during surgical operations.

Lo scopo di questa tesi di dottorato è la progettazione, lo sviluppo e la valutazione di sistemi intelligenti per Industria 4.0. Dato l'interesse verso soluzioni innovative per servizi avanzati nei settori manifatturiero e bioingegneristico, l'obiettivo delle soluzioni proposte è la progettazione, lo sviluppo e la valutazione di sistemi intelligenti che seguono i quattro principi principali dell'Industria 4.0: interoperabilità, informazioni trasparenti, assistenza tecnica e decisioni decentrate. L'attenzione si concentra principalmente sul principio dell'assistenza tecnica, che descrive come i sistemi di assistenza potrebbero supportare gli esseri umani aggregando e visualizzando le informazioni attraverso interfacce uomo-computer coinvolgenti e innovative utilizzate per prendere decisioni informate, risolvere problemi urgenti e svolgere una serie di compiti spiacevoli.   Nel settore manifatturiero, il tempo di addestramento di operatori su di una particolare mansione, piuttosto che il tempo per risolvere un problema di manutenzione, gioca un ruolo vitale nell'efficienza e nell'efficacia di un ambiente industriale. Pertanto, considerando i principi innovativi di Industria 4.0, la principale domanda di ricerca è la seguente: come dovremmo progettare e sviluppare un'interfaccia uomo-computer immersiva per consentire agli operatori, senza alcun dispositivo indossabile, di apprendere rapidamente i compiti richiesti durante il loro lavoro? È stato studiato un caso d'uso basato sull'applicazione di un sistema di realtà aumentata spaziale (o proiettata). Questo lavoro di dottorato presenta gli approcci utilizzati per progettare questo particolare tipo di sistemi e implementare gli algoritmi utilizzati per riconoscere e tracciare gli oggetti direttamente sul banco da lavoro. Inoltre, in un ambiente industriale, la valutazione delle posizioni eseguite dagli operatori durante il loro lavoro ha un impatto cruciale sulla salute degli operatori e, in questo caso, sull'efficienza e l'efficacia dei processi industriali. Pertanto, la domanda centrale di ricerca è la seguente: come dobbiamo implementare e convalidare un sistema che valuti in tempo reale posture a rischio? La tesi di dottorato presenta l'approccio adottato per progettare il sistema utilizzando un sensore di profondità della telecamera, come Kinect v2, e per convalidarlo utilizzando un sistema di visione standardizzato utilizzato per l'analisi del movimento in aminazioni cliniche, come la piattaforma BTS.   Il campo della bioingegneria industriale è strettamente correlato all'area di produzione, riguardante sia le tecnologie che le tecniche utilizzate per progettare e implementare sistemi per supportare i medici durante gli esami clinici e diagnostici o le operazioni chirurgiche. Nel contesto di questo lavoro di dottorato, sono stati implementati algoritmi di visione artificiale e sistemi di supporto alle decisioni in grado di rilevare e riconoscere i tumori partendo da immagini mediche, noti anche come diagnosi assistita dal computer per supportare i medici nelle loro decisioni diagnostiche. Inoltre, i segnali acquisiti utilizzando i sensori durante l'esame clinico sono opportunamente elaborati per essere usati nell'addestramento di sistemi di supporto decisionale che riconosano la gravità di certe malattie neurologiche. In questo modo, i problemi creati dalla natura osservativa di questo tipo di esame sono presenti e i sistemi implementati aiutano i medici a prendere decisioni più precise sulla gravità della malattia. Infine, nel mondo reale sono state progettate e sviluppate interfacce immersive uomo-computer utilizzate per informazioni che si sovrappongono in modo compresivo (ad es. Ricostruzione 3D di un tumore) per aiutare i chirurghi durante le operazioni chirurgiche.   Dopo un'introduzione di Industry 4.0, la dissertazione è organizzata in due parti principali, che trattano i due argomenti trattati durante la ricerca di dottorato. La tesi termina con le conclusioni e i lavori futuri. In dettaglio, il secondo capitolo, intitolato Design, sviluppo e valutazione di interfacce uomo computer intelligenti, immersive e innovative in uno scenario industriale per servizi di manutenzione, è relativo alla discussione di tecniche e tecnologie immersive e innovative utilizzate per migliorare la qualità del lavoro, riguardante le posture sul posto di lavoro e il tempo necessario per completare un compito di formazione. Il terzo capitolo, intitolato Intelligent Support in Industrial Bioingegnering: Decision Support Systems and Immersive Human-Computer Interface Application, è relativo alla discussione dei sistemi di supporto decisionale per supportare i clinici durante gli esami diagnostici o clinici e un sistema di realtà mista per supportare i chirurghi durante le operazioni chirurgiche.