Distributed Situational Awareness on a Heterogeneous Multi-Robot System

Multi-robot systems have gained substantial attention in the last decades for their potential in autonomously retrieving and providing situational awareness in environments that might be too far or dangerous for humans to approach. Examples include industrial monitoring, search and rescue, and planetary exploration. To accomplish the mission objective in such scenarios, heterogeneous multi-robot systems are usually employed due to their complementary exploration capabilities (e.g. terrestrial, aerial). The overall reliability of the situational awareness retrieved by the robot team strongly depends on the accuracy of on-board perception systems, such as localization and semantic understanding modules. In heterogeneous multi-robot systems agents might have different mobility, sensor suites and computational capabilities. For this reason, accuracy of perception systems is greatly challenged by potentially constrained on-board computational resources. In the localization domain, lidar odometry has gathered considerable attention during the last decade as a robust localization method for extreme terrains, while for semantic understanding, neural networks based modules represent the current state-of-the-art. While great progress has been achieved in these fields, their computational cost is still prohibitive for limited on-board computers of less capable robots, and actions need to be taken to not compromise the overall precision of the situational awareness retrieved by the robot team. This work is motivated by the aim of enabling robust and accurate situational awareness retrieval on a heterogeneous multi-robot system for extreme operations in GPS-denied and perceptually-degraded environments under severe computation and communication constraints. We present systems that can contribute in pushing the state-of-the-art boundaries in enhancing the overall accuracy of the situational awareness retrieved by an heterogeneous multi-robot system. First, to provide a reliable ego-motion estimation method for robotic exploration of GPS-denied and perceptually-degraded environments, we present a high-precision lidar odometry system that achieves robust and real-time operation under challenging perceptual conditions. LOCUS (Lidar Odometry for Consistent operation in Uncertain Settings), provides an accurate multi-stage scan matching unit equipped with an health-aware sensor integration module for seamless fusion of additional sensing modalities. Then, to enhance perception accuracy of computationally constrained platforms in heterogeneous multi-robot systems, we introduce Swarm Manager. The presented approach exploits Distributed Computation and Software Defined Networking paradigms allowing robots to offload heavy computation (e.g. lidar odometry, object detection) to other more resourceful peers in the team under decision of a globally-aware central orchestrator. For each offloading request, Swarm Manager simultaneously identifies the optimum server where is best to execute the task, and the optimum path through is best to route the data given the current system state. The presented approach provides resilience to the failure of the central orchestrator by means of a dynamic leader election mechanism. We evaluate the performance of LOCUS against state-of-the-art techniques in perceptually challenging environments, and demonstrate top-class localization accuracy along with substantial improvements in robustness to sensor failures. We then demonstrate real-time performance of LOCUS on various types of robotic mobility platforms involved in the autonomous exploration of the Satsop power plant in Elma, WA where the proposed system was a key element of the CoSTAR team's solution that won first place in the Urban Circuit of the DARPA Subterranean Challenge. Finally, we demonstrate enhancements achievable with Swarm Manager in the overall accuracy of the situational awareness retrieved by the heterogeneous multi-robot system for a multi-level and communication-constrained exploration of a dismissed power plant by a team of four autonomous robots. We demonstrate enhanced localization accuracy, improved semantic detection precision, and increased autonomy time.

I sistemi multi-robot hanno guadagnato una notevole attenzione negli ultimi decenni per il loro potenziale nel fornire in modo autonomo consapevolezza situazionale in ambienti che potrebbero essere troppo lontani o pericolosi da raggiungere per l'uomo. Esempi includono il monitoraggio industriale, la ricerca e il salvataggio, e l'esplorazione planetaria. Per raggiungere l'obiettivo della missione in tali scenari, vengono solitamente impiegati sistemi multi-robot eterogenei a causa delle loro capacità di esplorazione complementari (ad esempio terrestre, aerea). L'affidabilità complessiva della consapevolezza situazionale recuperata dal team di robot dipende fortemente dall'accuratezza dei sistemi di percezione a bordo, come i moduli di localizzazione e comprensione semantica. In sistemi eterogenei multi-robot gli agenti potrebbero avere mobilità, sensoristica e capacità computazionali differenti. Per questo motivo, l'accuratezza dei sistemi di percezione è fortemente minacciata dalle risorse computazionali a bordo potenzialmente limitate. Nel dominio della localizzazione, l'odometria lidar ha riscosso notevole attenzione nell'ultimo decennio come metodo di localizzazione robusto per terreni estremi, mentre per la comprensione semantica, i moduli basati su reti neurali rappresentano l'attuale stato dell'arte. Sebbene siano stati compiuti grandi progressi in questi campi, il costo computazionale di tali applicazioni è ancora proibitivo per robot con capacità computazionali limitate a bordo e devono essere intraprese azioni per non compromettere la precisione complessiva della consapevolezza situazionale recuperata dal team di robot. Questo lavoro è motivato dall'obiettivo di consentire un recupero affidabile e accurato della consapevolezza situazionale su un sistema multi-robot eterogeneo per operazioni estreme in ambienti privi di GPS e percettivamente degradati sotto severi vincoli di calcolo e comunicazione. Presentiamo sistemi che possono contribuire a spingere i confini dello stato dell'arte nel migliorare l'accuratezza complessiva della consapevolezza situazionale recuperata da un sistema eterogeneo multi-robot. Innanzitutto, per fornire un metodo affidabile di stima del movimento per l'esplorazione robotica di ambienti privi di GPS e percettivamente degradati, presentiamo un sistema di odometria lidar ad alta precisione che raggiunge un funzionamento robusto e in tempo reale in condizioni percettive difficili. LOCUS (Lidar Odometry for Consistent operation in Uncertain Settings), fornisce un'accurata unità di registrazione lidar dotata di un modulo di integrazione resiliente di sensoristica esterna aggiuntiva. Quindi, per migliorare l'accuratezza della percezione delle piattaforme computazionalmente limitate in sistemi multi-robot eterogenei, introduciamo Swarm Manager. L'approccio presentato sfrutta i paradigmi di computation offloading e software defined networking che consentono ai robot di offloadare computazioni particolarmente pesanti (ad esempio odometria lidar, rilevamento di oggetti) ad altri robot più dotati a livello computazionale nel team sotto la decisione di un orchestratore centrale che è globalmente consapevole. Per ogni richiesta di offload, Swarm Manager identifica contemporaneamente il server ottimale dove è meglio eseguire l'attività ed il percorso ottimale per instradare i dati da client a server dato lo stato corrente del sistema. L'approccio presentato fornisce resilienza al fallimento dell'orchestratore centrale per mezzo di un meccanismo dinamico di elezione del leader. Confrontiamo le prestazioni di LOCUS rispetto a tecniche dello stato dell'arte in ambienti percettivamente degradati e dimostriamo un'estrema accuratezza di localizzazione, insieme a miglioramenti sostanziali nella robustezza a potenziali guasti dei sensori a bordo. Dimostriamo quindi le prestazioni in tempo reale di LOCUS su vari tipi di piattaforme robotiche coinvolte nell'esplorazione autonoma della centrale elettrica Satsop a Elma, WA, dove il sistema proposto è stato un elemento chiave della soluzione del team CoSTAR che ha vinto il primo posto nell'Urban Circuit della DARPA Subterranean Challenge. Infine, dimostriamo i miglioramenti ottenibili con Swarm Manager nell'accuratezza complessiva della consapevolezza situazionale recuperata dal sistema multi-robot eterogeneo per un'esplorazione multilivello e con vincoli di comunicazione di una centrale elettrica dismessa da un team di quattro robot autonomi. Dimostriamo una maggiore accuratezza della localizzazione, una migliore precisione del rilevamento semantico ed un aumento del tempo di autonomia.