Evolutionary and Iterative Training of Recurrent Neural Networks via the Singular Value Decomposition

This work examines the use of the singular value decomposition (SVD) from linear algebra as a tool for the analysis of neural networks, as well as its use to speed up or even limit learning (to prevent over-fitting or maintain stability, for example) and as the basis for iterative and evolutionary learning algorithms. What we present here are methods of taking the inherent structure of the transformation into account — even while using evolutionary methods — using the singular value decomposition. Of course, preserving some structure of the transformations is not completely new — whether this means preserving sparseness or some type of invariance, as in the shift invariance of a convolutional layer. The methods we present allow us to train recurrent neural networks for a variety of problems with changes through time, including price prediction, predictive maintenance and model identification, and automatic control. Our method does not rely on back propagation and can be used in either supervised or unsupervised settings. Further, our models can be easily initialized by using either domain knowledge or (linear) least squares to “pre-program” the model and begin optimization in an area of the solution space likely to yield results. Finally, given a neural network previously trained in one domain, our models and methods allow the reuse and quick retraining for a similar domain, by preserving the inherent structure of the transformation at the heart of the neural network.

La tesi esamina l'uso della decomposizione ai valori singolari (SVD) dall'algebra lineare come strumento per l'analisi delle reti neurali, nonché il suo utilizzo per accelerare o addirittura limitare l'apprendimento (ad esempio, per prevenire l'over-fitting o mantenere la stabilità) e come base per gli algoritmi di apprendimento iterativo ed evolutivo. Ciò che si presenta sono metodi per tenere conto della struttura intrinseca della trasformazione, anche durante l'utilizzo di metodi evolutivi, impiegando la decomposizione ai valori singolari. Naturalmente, il tentativo di preservare una certa struttura delle trasformazioni non è inedito, sia che questo significhi preservare la scarsità sia che si riferisca a qualche tipo di invarianza, come nell'invarianza di spostamento di uno strato convoluzionale. I metodi presentati nel lavoro consentono di addestrare reti neurali ricorrenti per una varietà di problemi con cambiamenti nel tempo, tra cui la previsione dei prezzi, la manutenzione predittiva, l'identificazione del modello e il controllo automatico. Il nostro metodo non si basa sulla propagazione all'indietro e può essere utilizzato in ambienti supervisionati o non supervisionati. Inoltre, i nostri modelli possono essere facilmente inizializzati utilizzando la conoscenza del dominio o il metodo dei minimi quadrati (lineari) per "pre-programmare" il modello e iniziare l'ottimizzazione in un'area dello spazio della soluzione suscettibile di produrre risultati. Infine, data una rete neurale precedentemente addestrata in un dominio, i nostri modelli e metodi consentono il riutilizzo e la rapida riqualificazione per un dominio simile, preservando la struttura intrinseca della trasformazione nel cuore della rete neurale.