SURFACE-INTEGRATED SENSING FOR HUMAN-ROBOT INTERACTION: Methods, electronics, and validation in healthcare robotics

Healthcare robots are increasingly expected to perceive and interact with people in ways that are safe, comfortable, and clinically meaningful. In current platforms, however, sensing is largely concentrated in a small number of internal points, which limits the ability to capture distributed interaction events and to gather physiological information during contact. This thesis investigates surface-integrated sensing as a unifying engineering paradigm to address these limitations, developing three experimental systems that span physiological monitoring and physical human-robot interaction, each carried through to embedded or close-to-embedded validation. The first system targets non-invasive vital-sign monitoring through multi-wavelength photoplethysmography (PPG) combined with infrared thermometry. Hardware, acquisition protocols, and processing pipelines were designed for heart rate, oxygen saturation, skin temperature, and cuffless blood pressure estimation, with explicit attention to deployability under heterogeneous reference-device conditions. For the latter two parameters, a compact residual 1D-CNN was identified as the most quantization-stable architecture among five evaluated families and deployed on an STM32N6 microcontroller after full-integer (INT8) quantization, achieving mean errors of 0.62 ± 4.68 mmHg for systolic and 0.59 ± 3.26 mmHg for diastolic blood pressure on an independent test set, and a 0.11 °C mean absolute error for contactless skin temperature. The second system is a tactile electronic skin based on fiber Bragg gratings (FBGs) embedded in a silicone substrate, with 21 multiplexed sensing units acquired through an optical interrogator. A convolutional neural network trained on 2074 robot-driven indentations achieved sub-4 mm coordinate-wise MAE and a mean Euclidean localization error of approximately 5 mm; once compressed and deployed on an STM32F767ZI microcontroller via X-CUBE-AI, the model executed in 12.22 ms with only 0.36 mm of RMSE degradation with respect to the floating-point reference. The third system is a capacitive-pneumatic electronic skin that uses only four capacitive channels and one pneumatic pressure cue to perform proximity sensing and 3D object localization over a 16 × 16 cm compliant surface. Its contribution combines a dedicated hardware refinement (shielding, grounding, and elimination of the ground-shift phenomenon), a data-driven surrogate model trained on real single-object measurements, a procedural multi-object synthesizer paired with domain adaptation and a permutation-invariant loss, and a GRU-based temporal extension for sequential events. On sequential multi-object tests, the temporal model reduced planar mean absolute error by roughly two thirds with respect to a non-sequential CNN baseline (e.g., from 13.7 to 4.6 mm on the x coordinate); this advantage, however, did not transfer to non-sequential conditions, motivating mixed-regime training as the most robust compromise across signal-formation regimes. Finally, the three platforms are framed as instances of a single design space, from which shared methodological lessons are distilled, hardware stability as a prerequisite for learning, validation under deployment constraints, data-centric design, and the joint co-design of sensing, representation, and inference, together with their implications for healthcare robotics.

I robot per l'assistenza sanitaria sono chiamati in misura crescente a percepire le persone e a interagire con esse in modi sicuri, confortevoli e clinicamente significativi. Nelle piattaforme attuali, tuttavia, il sensing è in larga parte concentrato in un piccolo numero di punti interni, il che limita la capacità di cogliere eventi di interazione distribuiti e di acquisire informazioni fisiologiche durante il contatto. Questa tesi indaga il sensing integrato in superficie come paradigma ingegneristico unificante per affrontare tali limiti, sviluppando tre sistemi sperimentali che spaziano dal monitoraggio fisiologico all'interazione fisica uomo-robot, ciascuno portato fino alla validazione embedded o prossima all'embedded. Il primo sistema è dedicato al monitoraggio non invasivo dei parametri vitali tramite fotopletismografia (PPG) multi-lunghezza d'onda combinata con termometria a infrarossi. Hardware, protocolli di acquisizione e pipeline di elaborazione sono stati progettati per la stima di frequenza cardiaca, saturazione di ossigeno, temperatura cutanea e pressione arteriosa senza bracciale (cuffless), con esplicita attenzione alla deployability in presenza di condizioni eterogenee dei dispositivi di riferimento. Per questi ultimi due parametri, una CNN 1D residuale compatta è stata individuata come l'architettura più stabile alla quantizzazione tra cinque famiglie valutate ed è stata importata su un microcontrollore STM32N6 dopo quantizzazione full-integer (INT8), raggiungendo errori medi di 0,62 ± 4,68 mmHg per la pressione sistolica e 0,59 ± 3,26 mmHg per la diastolica su un set di test indipendente, e un errore assoluto medio di 0,11 °C per la temperatura cutanea senza contatto. Il secondo sistema è una pelle elettronica tattile basata su reticoli di Bragg in fibra (FBG) inglobati in un substrato di silicone, con 21 unità di sensing multiplexate acquisite tramite un interrogatore ottico. Una rete neurale convoluzionale addestrata su 2074 indentazioni guidate da robot ha raggiunto un MAE per coordinata inferiore a 4 mm e un errore euclideo medio di localizzazione di circa 5 mm; una volta compresso e importato su un microcontrollore STM32F767ZI tramite X-CUBE-AI, il modello è stato eseguito in 12,22 ms con appena 0,36 mm di degradazione dell'RMSE rispetto al riferimento in virgola mobile. Il terzo sistema è una pelle elettronica capacitivo-pneumatica che impiega soltanto quattro canali capacitivi e un singolo segnale di pressione pneumatica per eseguire rilevamento di prossimità e localizzazione 3D di oggetti su una superficie cedevole di 16 × 16 cm. Il suo contributo combina un raffinamento hardware dedicato (schermatura, messa a terra ed eliminazione del fenomeno di ground-shift), un modello surrogato data-driven addestrato su misurazioni reali a singolo oggetto, un sintetizzatore procedurale multi-oggetto abbinato a domain adaptation e a una loss invariante alle permutazioni, e un'estensione temporale basata su GRU per gli eventi sequenziali. Nei test sequenziali multi-oggetto, il modello temporale ha ridotto l'errore assoluto medio planare di circa due terzi rispetto a una baseline CNN non sequenziale (ad esempio, da 13,7 a 4,6 mm sulla coordinata x); questo vantaggio, tuttavia, non si è trasferito alle condizioni non sequenziali, motivando l'addestramento a regime misto come compromesso più robusto tra i diversi regimi di formazione del segnale. Infine, le tre piattaforme sono inquadrate come istanze di un unico spazio di progettazione, dal quale vengono distillate lezioni metodologiche condivise: la stabilità hardware come prerequisito per l'apprendimento, la validazione sotto vincoli di deployment, la progettazione data-centric e la co-progettazione congiunta di sensing, rappresentazione e inferenza, insieme alle loro implicazioni per la robotica sanitaria.