Construction, manipulation et visualisation de processus sonores dans des environnements virtuels immersifs pour la performance musicale

Florent Berthaut

Description

Sous la direction de Myriam Desainte-catherine
Thèse soutenue le 07 octobre 2010: Bordeaux 1
Le travail présenté dans cette thèse s’inscrit à la fois dans le domaine de l’informatique musicale et dans celui de la réalité virtuelle. Nous présentons tout d’abord les avantages des environnements virtuels immersifs et de l’interaction graphique 3D pour les instruments multi-processus et en particulier pour le live-looping hiérarchique, un nouveau modèle d’instrument que nous définissons. Nous proposons ensuite des solutions pour la visualisation et la manipulation des processus sonores dans ces environnements virtuels. Afin de représenter les processus sonores, nous introduisons les widgets réactifs 3D qui s’appuient sur des mappings audiovisuels que nous évaluons. Nous développons un nouveau dispositif d’interaction 3D adapté à l’interaction musicale, appelé Piivert, ainsi que des techniques associées, dont les tunnels, afin de manipuler les widgets réactifs 3D. Finalement, nous mettons en œuvre le live-looping hiérarchique avec l’instrument immersif Drile, en utilisant les techniques développées précédemment, et nous étudions plusieurs scènes pour les performances musicales immersives.
-Réalité virtuelle
-Interaction musicale
-Piivert
-Interaction 3D
-Drile
-Widgets réactifs 3D
-Mappings audiovisuels
-Processus sonores
-Live-looping hiérarchique
The work presented in this thesis belongs to the computer music field as well as to the virtual reality field. First, we describe the advantages of immersive virtual environments and of 3D graphical interaction for multiprocesses instruments and particularly for the hierarchical live-looping, a new instrument model that we define. We then suggest solutions to visualize and manipulate sound processes in these virtual environments. In order to display the sound processes, we introduce the 3D reactive widgets, which rely on audiovisual mappings that we study. We develop a novel 3D interaction device suitable for musical interaction, called Piivert, together with associated interaction techniques, among which the tunnels, in order to manipulate the 3D reactive widgets Finally, we implement the hierarchical live-looping with an immersive instrument called Drile, using the previously developped techniques, and we study different stages for immersive musical performances.
-Virtual Reality
Source: http://www.theses.fr/2010BOR14063/document

Sujets

• Réalité virtuelle

Informations

• Publié par: Thesee
• Nombre de lectures: 27
• Langue: Français
• Poids de l'ouvrage: 1 Mo

Extrait

´Universite´ de Bordeaux Ecole doctorale Mathematiques-Informatique´
Construction, manipulation et visualisation de processus sonores
dans des environnements virtuels immersifs
pour la performance musicale
`THESE
present´ ee´ et soutenue publiquement le 7 octobre 2010
pour l’obtention du
Doctorat de l’Universite´ de Bordeaux
(specialit´ e´ informatique)
par
Florent BERTHAUT
Composition du jury :
President´ : Pascal GUITTON - Universite´ de Bordeaux / INRIA
Rapporteurs : Dominique BECHMANN - Universite´ de Strasbourg
Marcelo WANDERLEY - McGill University
`Examinateur : Sergi JORDA - Universitat Pompeu Fabra
Directrice de these` : Myriam DESAINTE-CATHERINE - Universite´ de Bordeaux
Co-directeur de these` : Martin HACHET - INRIA
Laboratoire Bordelais de Recherche en Informatique UMR 58002Resum´ e´
Le travail present´ e´ dans cette these` s’inscrit a` la fois dans le domaine de l’informa-
tique musicale et dans celui de la realit´ e´ virtuelle.
Nous presentons´ tout d’abord les avantages des environnements virtuels immer-
sifs et de l’interaction graphique 3D pour les instruments multi-processus et en par-
ticulier pour le live-looping hier´ archique, un nouveau modele` d’instrument que nous
definissons.´
Nous proposons ensuite des solutions pour la visualisation et la manipulation des
´processus sonores dans ces environnements virtuels. Afin de representer les processus
sonores, nous introduisons les widgets reactifs 3D qui s’appuient sur des mappings´
audiovisuels que nous ev´ aluons. Nous dev´ eloppons un nouveau dispositif d’interaction
3D adapte´ a` l’interaction musicale, appele´ Piivert, ainsi que des techniques associees,´
dont les tunnels, afin de manipuler les widgets reactifs´ 3D.
Finalement, nous mettons en œuvre le live-looping hier´ archique avec l’instrument
immersif Drile, en utilisant les techniques dev´ eloppees´ prec´ edemment,´ et nous etudions´
plusieurs scenes` pour les performances musicales immersives.
34Abstract
The work presented in this thesis belongs to the computer music field as well as to
the virtual reality field.
First, we describe the advantages of immersive virtual environments and of 3D
graphical interaction for multiprocess instruments and particularly for the hierarchical
live-looping, a new instrument model that we define.
We then suggest solutions to visualize and manipulate sound processes in these
virtual environments. In order to display the sound processes, we introduce the 3D
reactive widgets, which rely on audiovisual mappings that we study. We develop a
novel 3D interaction device suitable for musical interaction, called Piivert, together
with associated interaction techniques, among which the tunnels, in order to manipulate
the 3D reactive widgets
Finally, we implement the hierarchical live-looping with an immersive instrument
called Drile, using the previously developped techniques, and we study different stages
for immersive musical performances.
56Table des matier` es
´1 Etat de l’art 15
1.1 Interaction musicale . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
´1.1.1 Evolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.1.2 Structure des instruments numeriques´ . . . . . . . . . . . . . 16
1.1.3 Classification des numeriques´ . . . . . . . . . . . 21
1.2 Interaction graphique musicale . . . . . . . . . . . . . . . . . . . . . 24
1.2.1 Historique . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
1.2.2 Specificit´ es´ . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
1.2.3 Composants Graphiques . . . . . . . . . . . . . . . . . . . . 26
1.2.4 Dispositifs pour l’interaction graphique musicale . . . . . . . 30
´ ´1.3 Realite virtuelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
1.3.1 Definition´ . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
1.3.2 Historique . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
1.3.3 Immersion . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
1.3.4 Techniques et dispositifs . . . . . . . . . . . . . . . . . . . . 35
2 Instruments multi-processus 39
2.1 Instrument multi-processus . . . . . . . . . . . . . . . . . . . . . . . 39
2.1.1 Definition´ . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.1.2 Limitations des controleursˆ materiels´ . . . . . . . . . . . . . 42
2.1.3 Avantages de l’interaction graphique . . . . . . . . . . . . . . 43
2.2 Live-looping hierarchique´ . . . . . . . . . . . . . . . . . . . . . . . . 44
2.2.1 Live-looping . . . . . . . . . . . . . . . . . . . . . . . . . . 44
2.2.2 Liv Hierarchique´ . . . . . . . . . . . . . . . . . . . 47
2.3 Environnements virtuels immersifs . . . . . . . . . . . . . . . . . . . 53
2.3.1 Environnements virtuels . . . . . . . . . . . . . . . . . . . . 53
2.3.2 Instruments immersifs existants . . . . . . . . . . . . . . . . 54
2.3.3 Problematiques´ . . . . . . . . . . . . . . . . . . . . . . . . . 56
3 Representation´ de processus sonores 59
3.1 Widgets Reactifs´ 3D . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.1.1 Principe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.1.2 Avantages pour les instruments multi-processus . . . . . . . . 61
3.2 Combinaison de mappings audiovisuels . . . . . . . . . . . . . . . . 63
7`8 TABLE DES MATIERES
3.2.1 Parametres` Sonores . . . . . . . . . . . . . . . . . . . . . . . 63
3.2.2 Parametres` Graphiques . . . . . . . . . . . . . . . . . . . . . 68
3.2.3 Travaux Existants . . . . . . . . . . . . . . . . . . . . . . . . 71
3.2.4 Tests utilisateurs : Pref´ erences,´ Performances et Combinaisons 73
3.2.5 Analyse et Discussion . . . . . . . . . . . . . . . . . . . . . 80
4 Interaction 87
4.1 Piivert . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
4.1.1 Motivation : Limitations des dispositifs d’interaction 3D . . . 87
4.1.2 Approche . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
4.1.3 Dispositif . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.1.4 Techniques d’interaction . . . . . . . . . . . . . . . . . . . . 94
´4.1.5 Evaluation de Piivert . . . . . . . . . . . . . . . . . . . . . . 101
4.1.6 Perspectives . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
4.2 Tunnels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
4.2.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
4.2.2 Principe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
4.2.3 Perspectives . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
5 Drile 113
5.1 Drile . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
5.1.1 Mise en œuvre . . . . . . . . . . . . . . . . . . . . . . . . . 113
5.1.2 Hierarchie´ . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
5.1.3 Pieces` . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
5.1.4 Apprentissage . . . . . . . . . . . . . . . . . . . . . . . . . . 121
5.1.5 Collaboration . . . . . . . . . . . . . . . . . . . . . . . . . . 121
5.1.6 Perspectives . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
5.2 Performances musicales immersives . . . . . . . . . . . . . . . . . . 124
5.2.1 Performances musicales immersives . . . . . . . . . . . . . . 124
5.2.2 Scene` Mixte . . . . . . . . . . . . . . . . . . . . . . . . . . 126
5.2.3 Scene` Virtuelle . . . . . . . . . . . . . . . . . . . . . . . . . 130
5.2.4 Perspectives . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
Appendices 145`TABLE DES MATIERES 9
Remerciements
Je tiens tout d’abord a` remercier Myriam Desainte-Catherine et Martin Hachet, qui
m’ont encourage´ a` faire cette these` et avec qui j’ai appris beaucoup pendant ces trois
´annees ainsi que les membres du jury : Dominique Bechmann, Marcelo Wanderley,
Sergi Jorda` et Pascal Guitton.
Merci eg´ alement :
Aux gens du bureau 327 : Luc, Raph et Antoine, puis Stan et Noemie.´
`A l’equipe´ Iparla (Sebastian, Benoit, Pascal, Nico, Fabrice, Mickael, Jerome,´ Romain)
pour les coups de main et les dem´ enagements.´
Au theme` Son : Pierre, Thomas, Robert, Mathias, Sylvain, Joan.
Au Scrime et en particulier Joseph et Annick.
`A Laurent pour les photos.
`A ma famille, mes amis et surtout a` Caro pour le soutien.`10 TABLE DES MATIERES