Operator 4.0: Industrial Augmented Reality, Interfaces and Ergonomics

The German program Industry 4.0 and the corresponding international initiatives will continue to transform the industrial workforce and their work environment through 2025. In parallel with the evolution of the industry, the history of the interaction of operators with various industrial and digital production technologies can be summarized as a generational evolution towards the Operator 4.0 generation. This work aims at applying the enabling technologies of Industry 4.0 in order to design and develop, methods and applications supporting the figure of the Operator 4.0 with respect three out of her/his eight facets – the Augmented Operator, the Virtual Operator, and the Healthy Operator. In Chapter 1, we introduce the researches carried out in the IAR field. We describe the Augmented Reality (AR) technology and its application in the field of the Industrial Augmented Reality (IAR). In chapter 2, we present a Spatial Augmented Reality (SAR) workbench prototype designed in the early stage of this research and we describe the experiments carried out to validate its efficiency as support to the Operator 4.0. In Chapter 3, we describe the experiments carried out to optimize legibility of text shown in AR interfaces for optical see-through displays. In this research, we propose novel indices extracted from the background images, displayed on an LCD screen, and we compare them with those proposed in the literature by designing a specific user test. In Chapter 4, we present an AR framework for handheld devices that enhance users in the comprehension of plant information traditionally conveyed through printed Piping and Instrumentation Diagrams (P&ID). In Chapter 5 we describe the research carried out in the field of HMI related to the use of Natural User Interfaces in Virtual Reality. We designed and developed a gesture interface for navigation of virtual tours made-up of spherical images. We compared the developed interface with a classical mouse-controlled one to evaluate the effectiveness of such an interface in terms of user acceptance and user engagement. In Chapter 6, we describe a general framework to design a mid-air gesture vocabulary for the navigation of technical instructions in digital manuals for maintenance operations. A validation procedure is also proposed and utilized to compare gesture vocabularies in terms of fatigue and cognitive load. In Chapter 7, we treat the facet of the Healthy Operator. We describe the design and development of a semi-automatic software tool able at monitoring the operator ergonomics in the shop floor by assessing Rapid Upper Limb Assessment (RULA) metrics. We describe the design and development of our software prototype – the K2RULA - based on a low- cost sensor, the Microsoft Kinect v2 depth-camera. Subsequently, we validate our tool with two experiments. In the first one, we compared the K2RULA grand-scores with those obtained with a reference optical motion capture system. In the second experiment, we evaluate the agreement of the grand-scores returned by the proposed application with those obtained by a RULA expert rater. Finally, we draw our conclusions regarding the work carried out and try to map out a path for the future development of our researches in these fields.

Il programma Industry 4.0, in Germania, e le corrispondenti iniziative internazionali continueranno a trasformare la forza e l’ambiente di lavoro nell’industria fino al 2025. Parallelamente all'evoluzione del settore, la storia dell'interazione dell’operatori con le varie tecnologie di produzione industriale e digitale può essere riassunta come un'evoluzione generazionale verso la generazione dell’Operatore 4.0. Questo lavoro di tesi mira ad applicare le tecnologie abilitanti di Industry 4.0 per progettare e sviluppare, metodi e applicazioni a supporto della figura di Operator 4.0 rispetto a tre delle sue otto sfaccettature: l'Augmented Operator, il Virtual Operator e l'Healthy Operator. Nel Capitolo 1, presentiamo le ricerche svolte nel campo Industrial Augmented Reality. Descriviamo la tecnologia della Realtà Aumentata (AR) e la sua applicazione nel campo della Realtà Aumentata Industriale (IAR). Nel capitolo 2 presentiamo un prototipo di banco di lavoro badato su Spatial Augmented Reality (SAR) progettato nelle prime fasi di questa ricerca e descriviamo gli esperimenti effettuati per convalidare la sua efficienza come supporto per Operator 4.0. Nel Capitolo 3 descriviamo gli esperimenti effettuati per ottimizzare la leggibilità del testo mostrato nelle interfacce AR per Optical See-Through Displays. In questa ricerca, proponiamo nuovi indici estratti dalle immagini di background, visualizzati su uno schermo LCD, e li confrontiamo con quelli proposti in letteratura attraverso un test utente specifico. Nel Capitolo 4 presentiamo un framework AR per dispositivi palmari che aiuta gli utenti nella comprensione delle informazioni sugli impianti descritte tradizionalmente attraverso i Piping and Instrumentation Diagrams (P & ID) su supporto cartaceo. Nel Capitolo 5 descriviamo la ricerca svolta nel campo delle Human Machine Interfaces relativa all'uso delle interfacce utente naturali in realtà virtuale. Abbiamo progettato e sviluppato un'interfaccia gestuale per la navigazione di tour virtuali costituiti da immagini sferiche. Abbiamo confrontato l'interfaccia sviluppata con una classica controllata da mouse per valutare l'efficacia di tale interfaccia in termini di accettazione e coinvolgimento degli utenti. Nel Capitolo 6, descriviamo un framework generale per la progettazione di un vocabolario di gesti per la navigazione delle istruzioni tecniche nei manuali digitali per le operazioni di manutenzione. Viene anche proposta e utilizzata una procedura di validazione per confrontare i vocabolari gestuali in termini di fatica e carico cognitivo. Nel Capitolo 7, trattiamo l'aspetto dell’Healthy Operator. Descriviamo la progettazione e lo sviluppo di uno strumento software semi-automatico in grado di monitorare l'ergonomia dell'operatore nell’ambiente di lavoro valutando la metrica Rapid Upper Limb Assessment (RULA). Descriviamo il design e lo sviluppo del nostro prototipo software, il K2RULA, basato su un sensore a basso costo, il Microsoft Kinect v2. Successivamente, convalidiamo il nostro strumento con due esperimenti. Nel primo, lo confrontiamo con un sistema di tracking ottico, il golden standard di settore. Nel secondo confrontiamo i risultati restituiti dal prototipo con quelli calcolati da un valutatore esperto. Infine, traiamo le nostre conclusioni sul lavoro svolto e cerchiamo di tracciare un percorso per lo sviluppo futuro delle nostre ricerche.