Kernel methods for high-dimensional biological data [Elektronische Ressource] / vorgelegt von Majid M. Beigi

Sujets

• Mathematics
• Biologie

Informations

• Publié par: eberhard_karls_universitat_tubingen
• Publié le: 01 janvier 2008
• Nombre de lectures: 26
• Langue: English
• Poids de l'ouvrage: 3 Mo

Extrait

Kernel Methods for High-Dimensional
Biological Data
Dissertation
¨der Fakultat fu¨r Informations- und Kognitionswissenschaften
der Eberhard-Karls-Universita¨t Tu¨bingen
zur Erlangung des Grades eines
Doktors der Naturwissenschaften
(Dr. rer. nat.)
vorgelegt von
Majid M. Beigi
aus Isfahan, Iran
Tu¨bingen
2008Tag der mu¨ndlichen Qualifikation: 4.7.2008
Dekan: Prof. Dr. Michael Diehl
1. Berichterstatter: Prof. Dr. Andreas Zell
2. Berichterstatter: Prof. Dr. Oliver KohlbacherAbstract
This thesis addresses the problem of finding robust, fast and precise learning methods for
noisy, incomplete high-dimensional biological data by means of so-called kernel meth-
ods. Kernel methods are at the heart of many modern machine learning techniques. The
intuitive idea behind kernel methods is that the data are nonlinearly mapped into a higher
dimensional feature space, related to a nonlinear kernel function. In general, such a pro-
cedure has the advantage that inseparable data becomes linearly separable. A kernel func-
tion represents a computational trick, which makes it possible to represent linear patterns
efficiently in high–dimensional spaces, to ensure adequate representational power.
We begin with a short overview over the basic theoretical concepts, which are neces-
sary to understand the kernel-based algorithms employed in this work. We present some
elements of statistical learning and regularization theory and introduce the concept of
kernel functions. Then, we derive the Support Vector Machine (SVM) algorithm from
Tikhonov regularization and geometric perspectives.
After this we turn our attention to applications of kernel methods for some problems
of high-dimensional biological data: To develop an accurate method for the classification
of (G-Protein Coupled receptors) GPCRs families, especially at the sub-subfamily level,
where we have a low number of protein sequences, we develop a new approach of over-
sampling, Synthetic Protein Sequence Oversampling (SPSO), in which the minority class
in the data space is oversampled by creating synthetic protein sequences, considering the
distribution of the minor and major classes. SPSO can be used for protein classification
problems and remote homology detection, where classifiers must detect a remote relation
between unknown sequence and training data with an imbalance problem.
Another problem from neurobiology of bats, which is surveyed in the content of this
thesis, is the pattern recognition and classification of biosonar signals by means of kernel
methods. We study the classification of biosonar signals as an example of random process
signals which contain local similarities. Inspired by the solutions for remote homology
detection in protein families, we suggest a similar kernel to string kernels which measures
the similarity of two time series. The more time series share similar subsequences, the
more similar they are. We also implement a more general kernel, which considers warping
in the subsequences. It measures the whole similarities of all warped non contiguous sub-
sequences of the two time series, independent of their positions. Furthermore, having a set
of the kernels for similarity extraction in time-series for different sizes of subsequences,
we find the optimal linear combination of kernels. We then use those kernels directly in
34
a SVM-based classifier. The results show that those kernels allow for a very reliable dis-
crimination of reflected sonar echoes from different objects. We also present an algorithm
based on gradient boosting for biosonar data classification. We present two kinds of base
learners for the gradient boosting: Ordinary Least Squares (OLS) and kernel-based base
learners. The main point of the signal preprocessing in our method, for biosonar classifi-
cation, is using a filter bank like that of the hearing system of bats. With this filter bank,
the one-dimensional sonar echoes are converted into shorter length but more informative
multi-dimensional signals. We get efficient and accurate results with the newly proposed
kernel based boosting method.
As a last application of kernel methods in this thesis, we deal with classification of bi-
ological data, having additive unknown noise. Activity profiles in the Forced Swimming
Test (FST) for animal behavior classification are examples of those signals. We imple-
ment FIR-based classifiers for animal behavior classification in which a Finite Impulse
Response (FIR) filter is used to filter out the additive noise from activity profiles. The
parameters of the FIR filter are obtained via maximizing the accuracy of a classifier that
tries to make a discrimination between two classes of the activity profiles. Our proposed
behavior classification method provides a reliable discrimination of different classes of
antidepressant drugs (imipramine and desipramine) administered to rats versus a vehicle-
treated group.Zusammenfassung
Diese Disseration befasst sich mit dem Problem, robuste, schnelle und pra¨zise Lernmetho-
den fu¨r verrauschte und unvollsta¨ndige hochdimensionale biologische Daten durch Kern-
methoden (engl. kernel methods) zu finden. Die intuitive Idee hinter diesen Verfahren ist,
dass die Daten mithilfe nicht-linearer Kernoperatoren in einen ho¨herdimensionalen Merk-
malsraum eingebettet werden. Ein Kernoperator stellt einen rechnerischen Trick dar, der
es ermo¨glicht, lineare Muster wirkungsvoll in hochdimensionalen Ra¨umen abzubilden.
¨Zu Beginn soll ein kurzer Uberblick u¨ber die grundlegenden theoretischen Konzepte
der kernbasierten Algorithmen gegeben werden, die in dieser Arbeit zur Anwendung
kommen. Darin werden auch einige Elemente des statistischen Lernens und der Reg-
ularisierungstheorie sowie das Konzept der Kernoperatoren vorgestellt. Anschließend
wird die Support-Vektor-Maschine, d. h., der SVM-Algorithmus, aus der Tikhonov-
Regulasierung und geometrischen Perspektiven hergeleitet.
Nach dieser Einfu¨hrung liegt das Augenmerk auf Anwendungen von Kernmethoden
¨fur einige Probleme mit hochdimensionalen biologischen Daten: Es wird eine genaue
Methode fu¨r die Klassifizierung von G-Protein-gekoppelten Rezeptor Familien, (eng. G-
Protein Coupled Receptor ,GPCR), entwickelt, insbesondere fu¨r die Unterunterfamilie,
in der nur eine geringe Anzahl von Proteinsequenzen zur Verfu¨gung steht. Dazu wird
¨ ¨ein neuer Ansatz zur Uberabtastung der Stichprobe vorgestellt, die Uberabtastung syn-
thetischer Proteinsequenzen (engl. Synthetic Protein Sequence Oversampling, SPSO).
Die Minderheitenklasse im Datenraum wird dabei unter Beru¨cksichtigung der Verteilung
der Mehr- und Minderheitenklassen u¨berma¨ßig abgetastet, indem SPSO ku¨nstliche Pro-
teinsequenzen erzeugt. SPSO kann fu¨r Proteinklassifikationsprobleme und zur Erkennung
entfernter Verwandtschaften (engl. remote homology) genutzt werden, wobei Klassifika-
toren eine entfernte Homologie zwischen einer unbekannten Sequenz und Trainingsdaten
in ungleich verteilten Stichproben erkennen mu¨ssen.
Eine weitere Fragestellung, die in dieser Arbeit untersucht wird, stellt die Anwen-
dung von Kernmethoden zur Mustererkennung und Klassifikation von Biosonarsignalen,
die in der Neurobiologie der Flederma¨use bedeutsam sind, dar. Die Klassifikation der
¨Biosonarsignale wird als Beispiel fu¨r zufa¨llige Prozesssignale, die lokale Ahnlichkeit
aufweisen, angefu¨hrt.
¨Inspiriert durch die Ergebnisse fur die Detektion entfernter Homologien in Protein-
familien empfiehlt sich ein den Kernoperatoren fu¨r Zeichenketten a¨hnlicher Kernoperator,
¨der die Ahnlichkeit zweier Zeitreihen misst. Zwei Zeitreihen a¨hneln sich umso mehr, je
56
mehr a¨hnliche Teilsequenzen sie aufweisen. Weiterhin wird ein allgemeinerer Kernoper-
ator implementiert, der Verzerrungen der Teilsequenzen beru¨cksichtigt. Dieser misst die
¨gesamte Ahnlichkeit aller verzerrten, nicht zusammenha¨ngenden Teilsequenzen der bei-
den Zeitreihen unabha¨ngig von ihren Positionen. Daru¨ber hinaus la¨sst sich die optimale
Linearkombination von Kernoperatoren identifizieren, wenn eine Menge von Kernopera-
¨toren zur Ahnlichkeitsextraktion in Zeitreihen verschiedener Gro¨ßen von Teilsequenzen
zur Verfu¨gung steht.
Diese Kernoperatoren werden dann direkt in einem SVM-basierten Klassifikator ver-
wendet. Die Ergebnisse zeigen, dass diese Kernel eine sehr zuverla¨ssige Unterschei-
dung reflektierter Sonarechos verschiedener Objekte erlauben. Zur Klassifikation von
Biosonardaten wird ein auf Gradientversta¨rkung (engl. gradient boosting) basierender
Klassifikationsalgorithmus vorgestellt. Zwei Arten von Basislernverfahren fu¨r die Gradi-
entversta¨rkung werden angewendet: Die Methode der gewo¨hnlichen kleinsten Quadrate
(engl. Ordinary Least Squares, OLS) und kernbasierte Lernverfahren. Der Schwerpunkt
der hier dargelegten Methode zur Signalvorverarbeitung zum Zwecke der Biosonarklas-
sifikation besteht in der Anwendung einer Filterbank in Analogie zum Ho¨rsystem der
Flederma¨use.
¨Mit dieser Filterbank werden die eindimensionalen Sonarechos in ihrer Dauer verkurzt,
aber in informativere multidimensionale Signale konvertiert. So lassen sich effizient
gena