Learning and generalisation in neural networks with local preprocessing [Elektronische Ressource] / presented by Merab Kutsia

Sujets

• Physik

Informations

• Publié par: ruprecht-karls-universitat_heidelberg
• Publié le: 01 janvier 2007
• Nombre de lectures: 27
• Langue: English
• Poids de l'ouvrage: 1 Mo

Extrait

DISSERTATION submitted to the Combined Faculties of the Natural Sciences and of Mathematics of the Ruperto Carola University of Heidelberg, Germany for the degree of Doctor of Natural Sciences

presented by Merab Kutsia MSc born in Tbilisi, Georgia

Oral examination: July 23, 2007

Learning and Generalisation in Neural with Local Preprocessing

Referees:

Prof. Prof.

Dr. Dr.

Networks

Heinz Horner Franz Wegner

Learning and Generalisation in Neural Networks with Local Preprocessing We study learning and generalisation ability of a specific two-layer feed-forward neural network and compare its properties to that of a simple perceptron. The input patterns are mapped nonlinearly onto a hidden layer, much larger than the input layer, and this mapping is either fixed or may result from an unsupervised learning process. Such preprocessing of initially uncorrelated random patterns re- sults in the correlated patterns in the hidden layer. The hidden-to-output mapping of the network is performed by a simple perceptron, trained using a supervised learning process. We investigate the effects of the correlations on the learning and generalisation properties as opposed to those of a simple perceptron with uncorre- lated patterns. As it turns out, this architecture has some advantages over a simple perceptron.

Lernen und Generalisierung in neuronalen Netzen mit lokaler Vorverarbeitung Wir untersuchen Lern- und Generalisierungsverhalten eines zweischichtigen feed- forward neuronalen Netzes und vergleichen sie mit den Eigenschaften eines ein- fachen Perzeptrons. Die Eingangsmuster werden nichtlinear in einer Zwischen- schichtabgebildet,dievielgro¨ßeralsdieEingangsschichtist.DieseAbbildung istentwedervorgegebenoderwirddurcheinenun¨uberwachtenLernprozessbes- timmt.DerartigeVorverarbeitungurspru¨nglichunkorrelierterzuf¨alligerMuster erzeugt Korrelationen in der Zwischenschicht. Von der Zwischenschicht werden die MusterdurcheineinfachesPerzeptronklassifizert,dasmithilfeeines¨uberwachten Lernprozesses trainiert wird. Wir untersuchen den Einfluss der Korrelationen auf das Lern- und Generalisierungsverhalten des Netzes und vergleichen die Ergebnisse mit dem Fall eines einfachen Perzeptrons mit unkorrelierten Mustern. Diese Ar- chitekturweisteinigeVorteilegegen¨ubereinemeinfachenPerzeptron.

To

my

family