Partially supervised learning of fuzzy classification rules [Elektronische Ressource] / von Aljoscha Alexander Klose

Sujets

• Informatik

Informations

• Publié par: otto-von-guericke-universitat_magdeburg
• Publié le: 01 janvier 2004
• Nombre de lectures: 21
• Langue: Deutsch
• Poids de l'ouvrage: 6 Mo

Extrait

Partially Supervised Learning
of Fuzzy Classi cation Rules
Dissertation
zur Erlangung des akademischen Grades
Doktoringenieur (Dr.-Ing.),
angenommen durch die Fakult at fur Informatik
der Otto-von-Guericke-Universit at Magdeburg
von Dipl.-Inform. Aljoscha Alexander Klose,
geboren am 1. April 1971 in Braunschweig
Magdeburg, den 23.01.2004Zusammenfassung
DasForschungsgebietData Mining oderauchWissensentdeckung in Daten-
banken istalsAntwortaufdieHerausforderungentstanden,dieenormwach-
senden Datenbest ande zu analysieren, die heutzutage von Unternehmen
und Forschungsinstitutionen gesammelt werden. Eine wichtige Aufgabe des
Data Minings ist die Klassi kation, wobei Fuzzytechniken zur Extraktion
von Klassi kationsregeln aus Daten wegen ihrer dem Menschen versant dli-
chen Modellierung reizvoll sind.
Oftmals enthalten die zu analysierenden Datensatze keine Klasseninfor-
mation, und ihre Anzahl verbietet ein manuelles Kennzeichnen. Daher gibt
es ein steigendes Interesse an teilub erwachten Verfahren, die auch mit nur
teilweise vorhandener Klasseninformation lernen k onnen. Leider verwenden
die meisten aktuellen Data-Mining-Verfahren uberwachtes Lernen, und die
meisten teiluberwachten Verfahren erzeugen keine dem Menschen verst and-
lichen Modelle.
In dieser Arbeit stelle ich die Ideen der Fuzzyklassi kation und des
Lernens von Fuzzyklassi katoren vor, wobei ich speziell deren Fahigkeiten
und Interpretierbarkeit betrachte und einige ihrer Eigenarten und Prob-
leme aufdecke. Weiterhin gebe ich einen Uberblick uber teilub erwachte
Lernverfahren mit einem Schwerpunkt auf Fuzzymethoden und untersuche
deren Schw achen insbesondere im Hinblick auf die Induktion interpretier-
barer Fuzzyregeln. Die wesentlichen Leistungen dieser Arbeit bestehen in
der Entwicklung eines evolutionaren Algorithmus und spezialisierter Fit-
nessfunktionen,diedasteiluberwachteLerneninterpretierbarerFuzzyregeln
erlauben.Abstract
The research area of Data Mining or Knowledge Discovery in Databases
has emerged in response to the challenges of analyzing the tremendously
growingdatasetsgatherednowadaysbycompaniesandresearchinstitutions.
Classi cation is one important task of data mining, where fuzzy techniques
to extract classi cation rules from data are appealing due to their human
understandable modeling.
Often, datasets to be analyzed do not contain class labels, and their size
renders manual labeling infeasible. Thus, there is an increasing interest in
semi-supervised methods that can learn from only partially labeled data.
Unfortunately, most current data mining methods are supervised, and most
current semi-supervised methods do not generate human understandable
models.
Inthisthesiswereviewthekeyconceptsoffuzzyclassi cationandfuzzy
classi er learning, with a focus on their capabilities and interpretability,
and reveal some common peculiarities and pitfalls. Furthermore, we review
approaches to semi-supervised learning with a stress on fuzzy methods,
and show their deciencies, particularly for inducing interpretable fuzzy
rules. The main achievements of this thesis are the development of an
evolutionary algorithm and specialized tness functions that allow semi-
supervised learning of interpretable fuzzy rules.Contents
1 Introduction 1
2 Classication with Fuzzy Rules 5
2.1 Fundamentals of Classi cation . . . . . . . . . . . . . . . . . 6
2.2 Fuzzy Rules to Represent Classi cation Knowledge . . . . . . 9
2.3 Properties of Fuzzy Rules . . . . . . . . . . . . . . . . . . . . 16
2.3.1 Representable Decision Boundaries . . . . . . . . . . . 17
2.3.2 In uence of the t-Norm . . . . . . . . . . . . . . . . . 19
2.3.3 Axis Parallelism Through Shared Fuzzy Sets . . . . . 22
2.3.4 Interpretability of Local Fuzzy Sets . . . . . . . . . . . 26
2.3.5 The Role of Rule Weights . . . . . . . . . . . . . . . . 27
2.3.6 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.4 Probabilistic Interpretation of Fuzzy Classi cation Rules . . . 30
2.4.1 Na ve Bayes Classi ers . . . . . . . . . . . . . . . . . 31
2.4.2 Converting Na ve Bayes into Fuzzy Classi ers . . . . 32
2.4.3 Converting Fuzzy into Na ve Bayes Classi ers . . . . . 34
2.4.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.5 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3 Extracting Fuzzy Rules from Data 39
3.1 Supervised Induction of Fuzzy Rules . . . . . . . . . . . . . . 40
3.1.1 Structure-Based Approach by Wang&Mendel . . . . . 41
3.1.2 Fuzzy Set Learning with Fixed Rules . . . . . . . . . . 41
3.1.3 Forming Fuzzy Partitions and Grid-Like Rules . . . . 43
3.1.4 Hyperbox-oriented Fuzzy Rule Learning . . . . . . . . 43
3.1.5 Hybrid Methods of Rule Extraction . . . . . . . . . . 45
3.2 Unsupervised Induction of Fuzzy Rules . . . . . . . . . . . . . 48
3.2.1 Models with Point-Prototype Clusters . . . . . . . . . 48
i