Human activity recognition with wearable sensors [Elektronische Ressource] / presented by Duy Tam Gilles Huynh

Tã¢M Huynh

Sujets

• Informatik

Informations

• Publié par: technischen_universitat_darmstadt
• Publié le: 01 janvier 2008
• Nombre de lectures: 29
• Langue: English
• Poids de l'ouvrage: 5 Mo

Extrait

Human Activity Recognition
with Wearable Sensors
A dissertation submitted to
TECHNISCHE UNIVERSITÄT DARMSTADT
Fachbereich Informatik
for the degree of
Doktor-Ingenieur (Dr.-Ing.)
presented by
DUY TAM GILLES HUYNH
Dipl. Inform.
thborn 29 of July, 1975
in Paris, France
Prof. Dr. Bernt Schiele, examiner
Prof. Dr. Paul Lukowicz, co-e
Darmstadt, 2008
D17
thDate of Submission: 16 of June, 2008
thDate of Defense: 25 of August, 2008Abstract
This thesis investigates the use of wearable sensors to recognize human activity. The
activity of the user is one example of context information – others include the user’s lo-
cation or the state of his environment – which can help computer applications to adapt to
the user depending on the situation. In this thesis we use wearable sensors – mainly ac-
celerometers – to record, model and recognize human activities. Using wearable sensors
allows continuous recording of activities across different locations and independent from
external infrastructure. There are many possible applications for activity recognition with
wearable sensors, for instance in the areas of healthcare, elderly care, personal fitness,
entertainment, or performing arts.
In this thesis we focus on two particular research challenges in activity recognition,
namely the need for less supervision, and the recognition of high-level activities. We
make several contributions towards addressing these challenges. Our first contribution
is an analysis of features for activity recognition. Using a data set of activities such as
walking, standing, sitting,orhopping, we analyze the performance of commonly used
features and window lengths over which the features are computed. Our results indicate
that different features perform well for different activities, and that in order to achieve
best recognition performance, features and window lengths should be chosen specific for
each activity.
In order to reduce the need for labeled training data, we propose an unsupervised
algorithm which can discover structure in unlabeled recordings of activities. The ap-
proach identifies correlated subsets in feature space, and represents these subsets with
low-dimensional models. We show that the discovered subsets often correspond to dis-
tinct activities, and that the resulting models can be used for recognition of activities in
unknown data. In a separate study, we show that the approach can be effectively deployed
in a semi-supervised learning framework. More specifically, we combine the approach
with a discriminant classifier, and show that this scheme allows high recognition rates
even when using only a small amount of labeled training data.
Recognition of higher-level activities such as shopping, doing housework,orcommut-
ing is challenging, as these activities are composed of changing sub-activities and vary
strongly across individuals. We present one study in which we recorded 10h of three dif-
ferent high-level activities, investigating to which extent methods for low-level activities
can be scaled to the recognition of high-level activities. Our results indicate that for set-
tings as ours, traditional supervised approaches in combination with data from wearable
accelerometers can achieve recognition rates of more than 90%.
While unsupervised techniques are desirable for short-term activities, they become
crucial for long-term activities, for which annotation is often impractical or impossible.
To this end we propose an unsupervised approach based on topic models that allows to
discover high-level structure in human activity data. The discovered activity patterns
correlate with daily routines such as commuting, office work,orlunch routine, and they
can be used to recognize such routines in unknown data.Zusammenfassung
Diese Arbeit untersucht den Einsatz von tragbaren Sensoren zur Erkennung menschlicher
Aktivitäten. Die Aktivitiät des Benutzers ist ein Beispiel von Kontext-Information – an-
dere Beispiele sind der Aufenthaltsort des Benutzers, oder der Zustand seiner Umgebung.
Die Erkennung von Kontext ermöglicht es Applikationen, sich an die Situation des Be-
nutzers anzupassen. In dieser Arbeit verwenden wir tragbare Sensoren – hauptsächlich
Beschleunigungssensoren – um menschliche Aktivitäten aufzunehmen, zu modellieren
und zu erkennen. Der Einsatz von tragbaren Sensoren ermöglicht eine kontinuierliche
Aufnahme, unabhängig von externer Infrastruktur. Für die automatische Erkennung von
Aktivitäten existiert eine Vielzahl von Einsatzfeldern, beispielsweise im Gesundheitswe-
sen, bei der Altersfürsorge, im Fitness-Bereich, oder im Unterhaltungsbereich.
In dieser Arbeit konzentrieren wir uns auf zwei spezielle Herausforderungen bei der
Erkennung von Aktivitäten: Erstens die Notwendigkeit, den Umfang der Überwachung
beim Training von Algorithmen des maschinellen Lernens zu reduzieren. Zweitens die
Erkennung von höherwertigen Aktivitäten, die sich über längere Zeiträume erstrecken
und aus mehreren Aktivitäten zusammengesetzt sein können. Zum Erreichen dieser Ziele
macht diese Arbeit mehrere Beiträge. Den Anfang macht eine Analyse von Merkmalen
(Features) für die Erkennung von Aktivitäten. Anhand eines Datensatzes von Aktivitäten
wie Laufen, Sitzen, Stehen, oder Springen analysieren wir die Effizienz verschiedener ge-
bräuchlicher Merkmale und Fensterlängen, über welche die Merkmale berechnet werden.
Unsere Resultate deuten darauf hin, dass die Performanz einzelner Merkmale von der zu
erkennenden Aktivität abhängt, und dass die besten Resultate dann erzielt werden, wenn
Merkmale und Fensterlängen pro Aktivität individuell ausgewählt werden.
Um die Notwendigkeit von annotierten Trainingsdaten zu reduzieren, schlagen wir
einen unüberwachten Lernalgorithmus vor, der Struktur in nicht-annotierten Aufnahmen
von Aktivitiäten entdecken kann. Der Ansatz identifiziert korrelierte Untermengen des
Merkmals-Raums und repräsentiert diese mit niedrig-dimensionalen Modellen. Wir zei-
gen, dass die entdeckten Untermengen oft mit unterschiedlichen Aktivitäten übereinstim-
men, und dass die resultierenden Modelle zur Erkennung von Aktivitäten in unbekannten
Daten eingesetzt werden können. In einer weiteren Studie zeigen wir, dass der Ansatz für
semi-überwachtes Lernen (semi-supervised learning) verwendet werden kann. Genauer
gesagt kombinieren wir den Ansatz mit einem diskriminanten Klassifizierer, und zeigen,
dass dieser Ansatz zu hohen Erkennungsraten führt, selbst wenn nur kleine Mengen an
annotierten Trainingsdaten verwendet werden.
Die Erkennung von höherwertigen Aktivitäten wie Einkaufen, Hausarbeiten verrich-
ten, oder (zur Arbeit) Pendeln ist eine Herausforderung, da diese Aktivitäten sich aus
wechselnden Unteraktivitäten zusammensetzen, und von Person zu Person stark variie-
ren. Wir führen eine Studie mit drei verschiedenen Typen von höherwertigen Aktivitäten
durch, in der wir untersuchen, zu welchem Ausmaß sich traditionelle Methoden zur Akti-
vitätenerkennung auf solche Aktivitäten anwenden lassen. Die Resultate deuten an, dass
sich unter bestimmten Bedingungen Erkennungsraten von mehr als 90% erreichen lassen.vi
Während unüberwachte Methoden für kurzfristige Aktivitäten vorteilhaft sind, sind
sie für längerfristige und höherwertige Aktivitäten unabdingbar, da für solche Aktivitä-
ten Annotationen nur sehr schwer zu erlangen sind. Zu diesem Zweck schlagen wir eine
unüberwachte Lernmethode vor, die Struktur in höherwertigen Aktivitätsdaten aufdeckt.
Die extrahierten Aktivitätsmuster korrelieren mit alltäglichen Routinen wie Pendeln, Bü-
roarbeit, oder Mensa-Routine, und sie können zur Erkennung solcher Routinen in unbe-
kannten Daten eingesetzt werden.Acknowledgments
First I would like to sincerely thank my supervisor, Professor Bernt Schiele, for giving me
the opportunity to enter the world of research, and for providing guidance, motivation and
countless advice during my academic journey. I’m amazed that I got this far, and it would
not have been possible without his excellent support. Thanks, Bernt! Apart from that, I
would also like to thank Professor Paul Lukowicz for agreeing to be the co-examiner of
this thesis.
Having a great supervisor is important, but equally important is to have great col-
leagues, and there is certainly no lack of them at the MIS group in Darmstadt. First I
would like to thank my longtime office mate Nicky Kern, for introducing me to the de-
tails of life as a researcher in wearable computing, as well as for his countless advice,
support and his amazing and contagious cheerfulness. Thanks also to my other office
mates Victoria Carlsson, Andreas Zinnen, Ulf Blanke, Ulrich Steinhoff and Maja Stikic,
for stimulating discussions and valuable feedback on my research and on other aspects
of life. Furthermore, I’d like to thank former group members Stavros Antifakos and Flo-
rian Michahelles, who introduced me to their projects at ETH Zurich and gave me a key
motivation to apply to the group in the first place.
Another important source of inspiration (and fun) were our bi-annual retreats, which