Beyond accuracy: enhancing multiple perspectives of recommendation through multi-objective optimization and evaluation

Recommender Systems (RSs) have become essential tools for alleviating information overload by providing personalized suggestions across various domains, including e-commerce, streaming platforms, and social networks. Traditionally, the evaluation and optimization of RSs have centered on accuracy as the primary success metric. While accuracy is critical for predicting user preferences, it fails to address broader dimensions crucial for enhancing user satisfaction, ensuring stakeholder fairness, and addressing societal impacts. Moreover, when multiple objectives are considered, conflicts often arise, i.e., improving one objective can detrimentally affect others, leading to a spectrum of possible optima. These challenges give rise to several critical questions: How can RSs evolve to balance accuracy with other objectives, such as diversity, novelty, and fairness, while meeting the needs of multiple stakeholders, including users, content providers, and platforms? How can we simultaneously evaluate RS effectiveness across diverse criteria? How can a single optimal solution be selected from a set of trade-offs? Finally, can we design a generic framework for optimizing RSs that accounts for multiple, often conflicting objectives? These questions highlight key open challenges in the field of RS research. This dissertation addresses these gaps by focusing on two main areas: methodologies for multi-objective evaluation of RSs and the challenges associated with designing Multi-Objective Recommender Systems (MORSs). After an in-depth exploration of the background of RSs and multi-objective optimization, the thesis makes significant contributions in the following areas: (i) the application of Pareto frontiers to conduct a multi-objective evaluation of graph-based RSs, focusing on fairness aspects; (ii) the introduction of quality indicators for Pareto frontiers to uncover the potential of RSs beyond traditional accuracy metrics; (iii) the development of an analytical framework to assess the sensitivity of RSs to hyper-parameter tuning in multi-objective scenarios; (iv) a reproducibility study that identifies key challenges and ambiguities in the design and evaluation of MORSs; (v) the proposal of a novel, post-hoc Pareto-optimal solution selection strategy tailored explicitly for RS tasks; (vi) designing a flexible MORS framework incorporating objective-agnostic and scale-aware loss functions to achieve optimization across diverse recommendation objectives.

I sistemi di raccomandazione sono diventati strumenti essenziali per alleviare il problema dell’information overload, fornendo suggerimenti personalizzati in vari settori, tra cui l'e-commerce, le piattaforme di streaming e i social network. Tradizionalmente, la valutazione e l'ottimizzazione dei sistemi di raccomandazione si sono concentrate sull'accuratezza come parametro principale di successo. Sebbene l'accuratezza sia fondamentale per predire le preferenze degli utenti, essa non affronta dimensioni più ampie, cruciali per migliorare la soddisfazione degli utenti, garantire l'equità degli stakeholder e affrontare gli impatti sociali. Inoltre, quando si considerano più obiettivi, spesso sorgono conflitti, cioè il miglioramento di un obiettivo può influire negativamente sugli altri, portando a uno spettro di possibili soluzioni ottimali. Queste sfide danno origine a diverse domande critiche: Come possono i sistemi di raccomandazione evolversi per bilanciare l'accuratezza con altri obiettivi, come la diversità, la novità e l'equità, soddisfacendo al contempo le esigenze di più parti interessate, tra cui utenti, fornitori di contenuti e piattaforme? Come possiamo valutare simultaneamente l'efficacia dei sistemi di raccomandazione attraverso diversi criteri? Come si può selezionare un'unica soluzione ottimale da un insieme di compromessi? Infine, possiamo progettare un framework generico per l'ottimizzazione dei sistemi di raccomandazione che tenga conto di obiettivi multipli, spesso in conflitto tra loro? Queste domande evidenziano le principali sfide aperte nel campo della ricerca sui sistemi di raccomandazione. Questa tesi affronta queste lacune concentrandosi su due aree principali: le metodologie per la valutazione multi-obiettivo deli sistemi di raccomandazione e le sfide associate alla progettazione di sistemi di raccomandazione multi-obiettivo. Dopo un'esplorazione approfondita del background dei sistemi di raccomandazione e dell'ottimizzazione multi-obiettivo, la tesi fornisce contributi significativi nelle seguenti aree: (i) l'applicazione delle frontiere di Pareto per condurre una valutazione multi-obiettivo di sistemi di raccomandazione basati su grafi, concentrandosi sugli aspetti di equità; (ii) l'introduzione di indicatori di qualità per le frontiere di Pareto per scoprire il potenziale dei sistemi di raccomandazione al di là delle tradizionali metriche di accuratezza; (iii) lo sviluppo di un quadro analitico per valutare la sensibilità dei sistemi di raccomandazione al tuning degli iperparametri in scenari multi-obiettivo; (iv) uno studio sulla riproducibilità che identifica le principali sfide e ambiguità nella progettazione e nella valutazione dei sistemi di raccomandazione multi-obiettivo; (v) la proposta di una nuova strategia di selezione di soluzioni Pareto-ottimali post-hoc, adattata esplicitamente ai task di raccomandazione; (vi) la progettazione di un framework flessibile di sistema di raccomandazione multi-obiettivo che incorpora loss functions indipendenti dagli obiettivi e consapevoli della loro magnitudine per ottenere l'ottimizzazione di diversi obiettivi di raccomandazione.