Diagnostic analysis of climate models by performance evaluation

Extreme events may have catastrophic effects on human life. Floods, droughts, and other hydrological events occurrence and their increasing frequency are often attributed to climate change, nevertheless understanding these changes within the most complex domain provided by the natural variability of climate is crucial, important, and challenging, Available tools we have for this purpose are climate models, but, as any other model, they are not perfect. Continuously evaluating their performance is a mandatory task for improving them, in addition, it is not feasible to use them for impact assessment studies without validation for the required study area, variables, and indices. This research has been divided into three sections, the first section includes performance evaluation of model outputs from the EURO-CORDEX initiative using methods that have been proposed in the recent literature. Daily precipitation, surface minimum temperature, and surface maximum temperature simulations have been evaluated over Southern Italy and 15 basins following Taylor (2001), Deidda et al., (2013), and Gupta et al. (2009). In section 2, we start searching for a single comprehensive tool that may uncover the skills (and flaws) of climate models, within the overwhelming amount of data and model outputs. First, we exploited the Taylor diagram, which is a very useful tool for evaluating climate models' performance but does not include bias quantification. Most climate models suffer from bias, so techniques for bias correction are usually suggested. Another point is that when we compare different models, variables, indices, and areas together, all results may cluster together providing uninterpretable patterns. For this reason, we propose a 2D diagram which we have called the “Aras diagram” based on the exploitation of the KGE performance metric. The strengths of the new diagram are analyzed through the same EURO-CORDEX historical experiment over Southern Italy using E-OBS as a reference dataset, for three hydrological variables; daily precipitation, daily surface minimum temperature, and daily maximum surface temperature), and 4 climate indices (i.e. total annual precipitation (PRCP), annual maxima of daily precipitation (RX1day), annual minima of daily minimum temperatures (TNn), and annual maxima of daily maximum temperatures (TXx). We found that the Aras diagram provides information that is useful to uncover the skills (and flaws) of complex models, including: bias percentage error, underestimation\overestimation of bias, variability percentage error, underestimation\overestimation of variability, total error, correlation error, sign of correlation, clusters of the same models that have the same behavior, etc.). In the second chapter of section 2, the Aras diagram was used for performance evaluation of precipitation, minimum and maximum temperature over 20 countries across Europe, which gave us a comprehensive overview regarding the performance of the high resolution of EURO-CORDEX for 9 indices, and 3 analysis for all the available combinations. The results of the performance evaluation show that EURO-CORDEX has cold and wet bias systematic patterns of error over Europe for a historical period. In the third chapter of section 3, we exploited machine learning tools for the performance evaluation of climate models and their ranking. We used a Random Forest algorithm and tested it over Italy (focusing on the Calabria region and Crati basin, Campania, and Emilia Romagna), and 20 countries across Europe. In section three, we track the progress of climate models from one generation (CMIP3, CMIP5) to the last generation (CMIP6) and explore the process of enhancing the models’ performance from our perspective. Also, we explore the drawbacks that we think should be tackled to further improve the models in the next generations. In this chapter all available models (93 GCMs) have been obtained from the ESGF website which has daily precipitations for all generations (CMIP3, CMIP5, and CMIP6), two indices have been chosen which are highly related to flood and drought events. Furthermore, we found that RCMs usually control the performance of GCM-RCM combinations in spatial climatological patterns while GCMs mainly affect the temporal interannual model simulation and performance. In general poor performances in terms of interannual temporal correlation are found for almost all variables and indices considered.

Gli eventi estremi possono avere effetti catastrofici sulla vita umana. Il verificarsi di inondazioni, siccità e altri eventi idrologici e la loro crescente frequenza sono spesso attribuiti al cambiamento climatico, tuttavia comprendere questi cambiamenti all'interno del dominio più complesso fornito dalla variabilità naturale del clima è cruciale, importante e impegnativo. Gli strumenti disponibili di cui disponiamo per questo scopo sono i modelli climatici ma, come qualsiasi altro modello, essi non sono perfetti. Valutare continuamente le loro prestazioni è un compito necessario per migliorarli, inoltre, non è possibile utilizzarli per studi di valutazione dell’impatto senza validazione per l’area di studio, le variabili e gli indici richiesti. Questa ricerca è divisa in tre sezioni: la prima sezione comprende la valutazione delle prestazioni dei risultati del modello dell'iniziativa EURO-CORDEX mediante metodi che sono stati proposti nella letteratura recente. Le simulazioni delle precipitazioni giornaliere, della temperatura minima superficiale e della temperatura massima superficiale sono state valutate sull'Italia meridionale e su 15 bacini seguendo Taylor (2001), Deidda et al., (2013) e Gupta et al. (2009). Nella sezione 2, si intraprende la ricerca di uno strumento completo che possa rivelare le capacità (e i difetti) dei modelli climatici, nell’enorme quantità di dati e risultati dei modelli disponibili. Per prima cosa abbiamo sfruttato il diagramma di Taylor, che è uno strumento grafico molto utile per la valutazione delle prestazioni dei modelli climatici, ma non include la quantificazione dei bias. In effetti, la maggior parte dei modelli climatici soffre di bias, per cui di solito vengono suggerite tecniche per la correzione del bias. Un altro punto è che quando confrontiamo diversi modelli, variabili, indici e aree, tutti i risultati possono raggrupparsi fornendo risultati non immediatamente interpretabili. Per questo motivo proponiamo un diagramma 2D che abbiamo chiamato “diagramma di Aras” basato sullo sfruttamento della metrica prestazionale KGE. I punti di forza del nuovo diagramma vengono analizzati attraverso lo stesso esperimento storico EURO-CORDEX sull'Italia meridionale utilizzando E-OBS come set di dati di riferimento, per tre variabili idrologiche (ovvero precipitazioni giornaliere, temperatura superficiale minima giornaliera e temperatura superficiale massima giornaliera), e 4 indici climatici; ovvero precipitazioni annuali totali (PRCP), massimi annuali di precipitazioni giornaliere (RX1day), minimi annuali di temperature minime giornaliere (TNn) e massimi annuali di temperature massime giornaliere (TXx). Abbiamo mostrato che il diagramma di Aras fornisce molte informazioni, utili per individuare qualità (e difetti) di modelli complessi, tra cui: errore percentuale di bias, sottostima\sovrastima della media, errore percentuale di variabilità, sottostima\sovrastima della variabilità, errore totale, errore di correlazione, segno della correlazione, cluster degli stessi modelli che hanno lo stesso comportamento, ecc. Nel secondo capitolo della sezione 2, il diagramma di Aras è stato utilizzato per la valutazione delle prestazioni delle precipitazioni, della temperatura minima e massima in 20 paesi in tutta Europa, che ci ha fornito una panoramica completa riguardo alle prestazioni dell'alta risoluzione di EURO-CORDEX per 9 indici e 3 analisi per tutte le combinazioni disponibili. I risultati della valutazione delle prestazioni mostrano che EURO-CORDEX ha un pattern sistematico di errore di tipo bias freddo e umido sull'Europa per il periodo storico di riferimento. Nel terzo capitolo della sezione 3, abbiamo introdotto l’uso di strumenti di machine learning per la valutazione delle prestazioni dei modelli climatici e la loro classificazione. Abbiamo utilizzato un algoritmo di Random Forest (RF) e lo abbiamo testato in Italia (con particolare attenzione alla regione Calabria e al bacino del Crati, a Campania, Emilia Romagna) e in 20 paesi in tutta Europa. Nella terza sezione si prova ad analizzare il progresso dei modelli climatici da una generazione (CMIP3, CMIP5) all’ultima generazione (CMIP6) esplorando l’effettivo processo di miglioramento delle prestazioni dei modelli dal punto di vista dell’applicazione idrologica. Inoltre esploriamo gli svantaggi che riteniamo debbano essere affrontati per migliorare ulteriormente i modelli nelle prossime generazioni. In questo capitolo tutti i modelli disponibili (93 GCM) sono stati ottenuti dal sito web ESGF che hanno precipitazioni giornaliere per tutte le generazioni (CMIP3, CMIP5 e CMIP6); sono stati scelti due indici che sono altamente correlati agli eventi di inondazioni e siccità. Inoltre abbiamo osservato che gli RCM solitamente controllano le prestazioni delle combinazioni GCM-RCM nell’analisi spaziale dei modelli climatologici mentre i GCM influenzano principalmente la simulazione e le prestazioni nell’analisi temporale interannuale. In generale si riscontrano scarse performance in termini di correlazione temporale interannuale per quasi tutte le variabili e gli indici considerati.