Thèse E. Pinska-Chauvin

Description

Auteur : Elzbieta Pinska ([e-mail]) Ecole Pratique des Hautes Etudes CHART, 41, Guy Lussac, 75 005 ParisDirecteur de Thèse : François Jouen d'Etudes, Ecole Pratique des Hautes Etudes([e-mail]) Thèsepresente par Elzbieta PinskaPour l'obtention du grade de Docteur de l'École Pratique des Hautes ÉtudesSpecialite : Psychologie Cognitive Analyses de l'Attention Visuelle en Environnements deRéalité Augmentée pour les Tours de ContrôlesD’Aéroport Soutenue publiquement le 18.12.2008 devant le jury compose de : Corinne Roumes – Associate Professor, Institut de Médecine Aérospatiale du Service de Santédes ArméesAdam Reeves – Professor, Northeastern University, BostonBrian Hilburn - Guest Professor, Lund University School of AviationPatrice Terrier - Professor, University Toulouse 2.Charles Tijus Professeur a l'Universite Paris 8François Jouen Directeur d'Etudes, Ecole Pratique des Hautes Etudes EPHE Banque de Monographies SVT 1Résumé Selon les dernières prévisions, le trafic aérien en Europe doublera d'ici 2025. L'augmentationconstante du trafic aérien est un véritable défi pour les services de la navigation aérienne quidoivent s’adapter, entre autres en augmentant l'efficacité de leurs services sans affecter lasécurité. La nécessité de s’adapter en étant plus efficace renforce le besoin de nouveaux outilscapable d'assister les contrôleurs aériens. Les techniques de ...

Informations

• Publié par: Fyan
• Nombre de lectures: 87
• Langue: English

Extrait

Auteur : Elzbieta Pinska ([e-mail])   Ecole Pratique des Hautes Etudes   CHART, 41, Guy Lussac, 75 005 Paris Directeur de Thèse : François Jouen Directeur d'Etudes, Ecole Pratique des Hautes Etudes ([e-mail])    

Thèse presente par   Elzbieta Pinska Pour l'obtention du grade de   Docteur de l'École Pratique des Hautes Études Specialite : Psychologie Cognitive       Analyses de l'Attention Visuelle en Environnements de Réalité Augmentée pour les Tours de Contrôles D’Aéroport       Soutenue publiquement le 18.12.2008 devant le jury compose de :     Corinne Roumes – Associate Professor, Institut de Médecine Aérospatiale du Service de Santé des Armées Adam Reeves – Professor, Northeastern University, Boston Brian Hilburn - Guest Professor, Lund University School of Aviation Patrice Terrier - Professor, University Toulouse 2. Charles Tijus Professeur a l'Universite Paris 8 François Jouen Directeur d'Etudes, Ecole Pratique des Hautes Etudes                                

Résumé   Selon les dernières prévisions, le trafic aérien en Europe doublera d'ici 2025. L'augmentation constante du trafic aérien est un véritable défi pour les services de la navigation aérienne qui doivent s’adapter, entre autres en augmentant l'efficacité de leurs services sans affecter la sécurité. La nécessité de s’adapter en étant plus efficace renforce le besoin de nouveaux outils capable d'assister les contrôleurs aériens. Les techniques de réalité augmentée (RA) pourraient fournir des dispositifs adéquats.   Un dispositif RA est un dispositif qui complète la perception du monde réel, en y ajoutant des éléments fictifs, virtuels, non perceptibles naturellement. Parmi les dispositifs de RA, il y a ceux qui superposent un scène visuelle virtuelle à la perception que nous avons naturellement de la scène réelle. La scène virtuelle se réalisant en même temps que la scène réelle, le couplage des deux scènes est en temps réel. Le recouvrement virtuel peut avoir lieu, par exemple, avec la projection de la scène virtuelle sur un verre monté sur un casque et se situant alors entre l'observateur et la scène réelle. Pour fonctionner en temps réel, le système RA prend en compte la localisation de l'objet et la position de l'observateur établir le couplage visio-spatial des objets réels et virtuels.   Les contrôleurs aériens, qui sont en charge de gérer le trafic sur l'aéroport, doivent prendre en compte des avions ou des véhicules localisés à de grande distance de la tour de contrôle. Outre les strips de vol, les informations météorologiques et la représentation du radar, l’information visuelle en provenance de l’aéroport est une source d'information primordiale.   Pour être en mesure d'accomplir leurs tâches, les contrôleurs doivent traiter de nombreuses informations provenant de sources dites « tête basse » lorsqu’ils penchent la tête pour prendre l’information portée sur les strips, les écrans radars ou météorologiques, et de sources dites « tête haute » lorsqu’ils lèvent la tête pour inspecter l’aéroport, à travers les fenêtres de la Tour de contrôle.   L'affichage « tête haute » des informations habituellement « tête basse » à été reconnu bénéfique en aviation : il a comme effet de rendre la navigation plus précise et plus sûre (meilleur surveillance de la tenue de trajectoire de vol en phase d'atterrissage par faible visibilité par exemple), en réduisant le nombre d'aller-retour « tête haute/ tête basse ». Les dispositifs RA pour la tour de contrôle pourraient être une solution qui apporterait les bénéfices de l'affichage « tête haute » au domaine du trafic aérien. Présenter des informations graphiques virtuelles, comme les labels, les trajectoires d'avions, ou encore « sur illuminer » les taxiways ou les pistes occupées en temps réel, directement dans le champ de vision du contrôleur, permettrait de réduire le balayage « tête basse » et ainsi de maintenir une surveillance constante de la surface d'aéroport.   L'objectif de cette thèse est d’étudier l'utilisation et l'utilité des applications de la RA pour les tours de contrôles d'aéroport du point de vue des sciences cognitives, et d’étudier en quoi la RA peut favoriser le traitement des informations et la prise de décision adéquate du contrôleur aérien.   La thèse comprend pour cela un état de l'art de la technologie RA et de son application à la tour de contrôle d'aéroport. Nous fournissons également une revue des futurs outils pour le contrôle aérien et une revue de questions sur les modèles centrés sur l'humain pour l'application de la réalité augmentée dans la tour de contrôle.   Elle comprend également une description et une analyse des activités du contrôleur aérien en situation d’observation naturelle. L’analyse empirique de l'activité des contrôleurs révèle, entre autres, l'importance de la variété des sources d'informations. Ainsi, en condition de visibilité normale, le contrôleur passe près de 65% de temps à balayer (scanner) la vue extérieure, 23% à scanner les strips de vol, et environ 7% à examiner son radar. Ces balayages visuels, ou «

scanning », diffèrent ainsi selon leur type « tête haute » ou « tête basse » : la surveillance de l'aire de l'aéroport est effectuée en long scans tandis que les activités « tête basse », comme la surveillance radar ou la lecture des strips de vol sont des scans courts.   Les résultats montrent aussi que les contrôleurs peuvent réduire le nombre de transitions « tête haute/ tête basse » lorsque la technologie RA est utilisée. Cependant, les dispositifs d'affichage doivent être bien réglés afin d'éviter une mise au point visuelle seulement sur la vision proche ou seulement sur la vision éloignée. Les résultats montrent encore que la technique de collimateur simulé sur écran de projection transparent augmente significativement la performance de recherche visuelle.   Enfin, la thèse comprend une étude du guidage de l'attention visuelle dans les environnements de réalité augmentée en projection transparente. Deux expériences ont été menées pour définir une manière efficace d'attirer l'attention visuelle d'un observateur vers les cibles désirées. Dans une expérience, nous avons vérifié des prédictions qui découlent de la segmentation hiérarchique modèle (HSM). Les résultats confortent l’hypothèse d’une augmentation de l’attention portée aux informations importantes, en influençant la répartition de l'attention entre tous les objets de la scène visuelle. Ainsi, des indices visuels, comme les labels ou les trajectoires, peuvent guider avec succès l'attention de l'observateur vers les cibles; ce qui est important d'un point de vue opérationnel, pour éviter qu’elles soient négligées.   Une autre expérience a porté sur le guidage de l'attention visuelle, en utilisant la couleur et la profondeur stéréoscopique, d'une façon systématique. Conformément aux résultats déjà obtenus, la couleur apparaît être un signal très efficace pour guider l'attention, améliorant d'une façon significative le temps de recherche. De plus, les signaux de couleur ont donné des résultats de 100% en termes de performance. La profondeur stéréoscopique n'a pas été assez efficace pour permettre un traitement visuel en parallèle de la scène, sans toutefois affecter les performances des opérateurs. Il s’ensuit que les signaux de profondeur peuvent être recommandés pour la manipulation d'objets standard, mais pas pour des avertissements de sécurité ou des alertes.   Les résultats présentés dans cette thèse contribue à la recherche dans le domaine du trafic aérien et du modèle d'interface homme-machine. Cette thèse fournit également des indications pour les futures recherches sur la réalité augmentée appliquée aux tours de contrôle.   Mot clés : Contrôle du Trafic Arien, Tour de Contrôle, Comportement de Contrôleurs, Vision Augmentée, Réalité Augmentée, Guidage de l'Attention visuelle, Principales de Conception Centre Humain, Expérimentation, In-situ Observation           Contents 1. Introduction 15 2. Towards Augmented Reality Environments for Control Tower 19 2.1. Augmented Reality . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 2.2. Augmented Reality Displays . . . . . . . . . . . . . . . . . . . . . . 20 2.2.1. Head Mounted displays (HMD) . . . . . . . . . . . . . . . . . 21 2.2.2. Handheld displays . . . . . . . . . . . . . . . . . . . . . . . . 21 2.2.3. Spatial Displays . . . . . . . . . . . . . . . . . . . . . . . . . 23 2.3. Augmented Reality Applications . . . . . . . . . . . . . . . . . . . . 23 2.4. Human Factors issues related to Augmented Reality . . . . . . . . . 24 2.4.1. Depth perception . . . . . . . . . . . . . . . . . . . . . . . . 24

2.4.2. Attention capture in head-up displays . . . . . . . . . . . . . 26 2.5. Future systems and support tools for control tower . . . . . . . . . . 26 2.5.1. Airport Collaborative Decision Making (CDM) . . . . . . . . 26 2.5.2. Advanced Surface Movements Guidance and Control System (A-SMGCS) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 2.5.3. Integrated Tower Working Positions (ITWP) . . . . . . . . . 27 2.5.4. Augmented Reality environments for ATC Tower. . . . . . . 27 2.6. Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 2.7. Research questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 3. Analysis of tower controllers activities 33 3.1. Tower environment . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 3.1.1. Tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 3.2. Tower controller tasks . . . . . . . . . . . . . . . . . . . . . . . . . . 37 3.2.1. Head - up and head - down time . . . . . . . . . . . . . . . . 40 3.2.1.1. Head-down time problem . . . . . . . . . . . . . . . 41 3.3. Research questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 3.3.1. Field study . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 4. Modelling of allocation of visual attention 45 4.1. Theories of Visual Attention. . . . . . . . . . . . . . . . . . . . . . . 45 4.2. Galois Lattice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 4.3. Hierarchical Segmentation Model . . . . . . . . . . . . . . . . . . . . 49 4.4. Hierarchical Segmentation Model applied to the design of the ATC interfaces 4.5. Guiding attributes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 4.5.1. Colour . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 4.5.2. Depth . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 4.5.3. Motion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 4.6. Research questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 4.6.1. Study IV . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 4.6.2. Study V . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 5. Experimentation 57 5.1. Research methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 5.1.1. Undisguised _eld observations . . . . . . . . . . . . . . . . . 57 5.1.2. Laboratory experiments . . . . . . . . . . . . . . . . . . . . . 58 5.1.2.1. Visual search . . . . . . . . . . . . . . . . . . . . . 58 5.1.2.2. Eye tracking . . . . . . . . . . . . . . . . . . . . . . 58 5.2. Study I - Behavioural Analysis of Tower Controller Activity . . . . . 59 5.2.1. Aim . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 5.2.2. Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 5.2.2.1. Participants . . . . . . . . . . . . . . . . . . . . . . 60 5.2.2.2. Materials . . . . . . . . . . . . . . . . . . . . . . . . 60 5.2.2.3. Procedure . . . . . . . . . . . . . . . . . . . . . . . . 60 5.2.2.4. Data analysis . . . . . . . . . . . . . . . . . . . . . . 60 5.2.3. Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 5.2.4. Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 5.3. Study II - Warsaw Tower Field Observations . . . . . . . . . . . . . . 64 5.3.1. Aim . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 5.3.2. Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 5.3.2.1. Participants . . . . . . . . . . . . . . . . . . . . . . 65 5.3.2.2. Materials . . . . . . . . . . . . . . . . . . . . . . . . 65 5.3.2.3. Procedure . . . . . . . . . . . . . . . . . . . . . . . . 65 5.3.2.4. Analysis of recordings . . . . . . . . . . . . . . . . . 66 5.3.2.5. Coding process . . . . . . . . . . . . . . . . . . . . . 68 5.3.3. Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 5.3.3.1. Tower and Ground Position . . . . . . . . . . . . . . 69 _ sity . . . . . . . . . . . . . 70 5.3.3.2. Tra c den . . . . . . . . 5.3.3.3. Day and night conditions . . . . . . . . . . . . . . . 72

5.3.3.4. Identi_cation of calling aircraft . . . . . . . . . . . . 73 5.3.3.5. Information acquisition patterns . . . . . . . . . . . 74 5.3.3.6. Findings from the interview . . . . . . . . . . . . . . 78 5.3.4. Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 5.4. Study III - Human Performance with Simulated Collimation . . . . 81 5.4.1. Aim . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 5.4.2. Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 5.4.2.1. Participants . . . . . . . . . . . . . . . . . . . . . . 82 5.4.2.2. Experimental Setup . . . . . . . . . . . . . . . . . . 82 5.4.2.3. Materials . . . . . . . . . . . . . . . . . . . . . . . . 84 5.4.2.4. Procedure . . . . . . . . . . . . . . . . . . . . . . . . 85 5.4.2.5. Data analysis . . . . . . . . . . . . . . . . . . . . . . 85 5.4.3. Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 5.4.3.1. Reaction Time . . . . . . . . . . . . . . . . . . . . . 85 5.4.3.2. Accuracy . . . . . . . . . . . . . . . . . . . . . . . . 86 5.4.3.3. Di culty level . . . . . . . . . . . . . . . . . . . . . 86 _ 5.4.3.4. Search Strategy . . . . . . . . . . . . . . . . . . . . 86 5.4.4. Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 5.5. Study IV - Modelling the Allocation of Visual Attention using Hierarchical Segmentation Model . . . . . . . . . . . . . . . . . . . . . . 88 5.5.1. Aim . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 5.5.2. Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 5.5.2.1. Participants . . . . . . . . . . . . . . . . . . . . . . 88 5.5.2.2. Materials . . . . . . . . . . . . . . . . . . . . . . . . 88 5.5.2.3. Stimuli . . . . . . . . . . . . . . . . . . . . . . . . . 91 5.5.2.4. Procedure . . . . . . . . . . . . . . . . . . . . . . . . 93 5.5.2.5. Data collection . . . . . . . . . . . . . . . . . . . . . 94 5.5.3. Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94 5.5.3.1. Frequency . . . . . . . . . . . . . . . . . . . . . . . . 94 5.5.3.2. Duration . . . . . . . . . . . . . . . . . . . . . . . . 95 5.5.4. Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 5.6. Study V - Colour and Depth Conjunction Search in Augmented Reality 97 5.6.1. Aim . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 5.6.2. Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100 5.6.2.1. Participants . . . . . . . . . . . . . . . . . . . . . . 100 5.6.2.2. Materials . . . . . . . . . . . . . . . . . . . . . . . . 100 5.6.2.3. Set up . . . . . . . . . . . . . . . . . . . . . . . . . . 102 5.6.2.4. Procedure . . . . . . . . . . . . . . . . . . . . . . . . 103 5.6.2.5. Data analysis . . . . . . . . . . . . . . . . . . . . . 103 5.6.3. Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 5.6.3.1. Viewing conditions . . . . . . . . . . . . . . . . . . . 104 5.6.3.2. Set size . . . . . . . . . . . . . . . . . . . . . . . . . 106 5.6.3.3. Target mobility . . . . . . . . . . . . . . . . . . . . 107 5.6.3.4. Accuracy . . . . . . . . . . . . . . . . . . . . . . . . 108 5.6.4. Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 6. Conclusion and perspectives 111 6.1. Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 6.2. Future work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112 Bibliography 115 A. 1. List of Publications 123 A. 2. Study I 125 A. 3. Study II 127 A. 4. Study III 137 A. 5. Study IV 139 A. 6. Study V 145 A. 7. Cognitive Task Analysis for ATM 149 A. 8. Deposit 155

                                                                              Glossary AC Aircraft AOI Area of Interest AR Augmented Reality ARTT Augmented Reality Tower Tool A-SMGCS Advanced Surface Movement Guidance and Control Systems _ ATC Air Tra c Control ATFM Air Tra c Flow Management _ ATM Air Tra_c Management ATIS Automatic Terminal Information Service ATHOS Airport Tower Harmonised Control System CDM Collaborative Decision-Making CMFU Central Flow Management Unit CREDOS Crosswind Reduced Separations for Departure Operations DOF Degree of Freedom DLR German Aerospace Centre FOV Field of Vision

GMR Ground Movement Radar GND Ground Control Position GPS Global Positioning System HMD Head Mounted Display HMI Human Machine Interface HRPS Holographic Rear Projection Screen HSM Hierarchical Segmentation Model HUD Head Up Display ICAO International Civil Aviation Organization ITWP Integrated Tower Working Position IFR Instrument Flight Rules IPD Interpupilary Distance NASA National Aeronautics and Space Administration SD Standard Deviation SSR Secondary Surveillance Radar TWR Tower Control Position VHF Very High Frequency UHF Ultra- High Frequency VR Virtual Reality                                     Introduction     Augmented reality (AR) offers the possibility to blend virtual objects into real environment. Virtual object are displayed directly in the field of vision of the observer in the way that preserves spatial relation between the virtual objects and the physical world. In comparison to virtual reality, research on augmented reality are much less advanced. Although last decades brought more interest to augmented reality applications, the research are still led mostly by academia and few industrial research labs. Augmented reality is the most beneficial applied to domain where visual augmentation could improve the performance of visual dependent tasks. Previous studies explored AR visualisation for medical applications, manufacturing industry, and various indoor and outdoor navigation applications. We argue that enhancing visual cues can be beneficial for airport tower controllers.

Tower controllers who manage traffic at the airport surface deal with moving objects (aircraft and vehicles) at various distances from the control tower. According to (ICAO4444, 2007) for aerodrome control, the visual input is a primary source of information together with flight strips, meteorological data and radar representation for standard operations under good visibility conditions. Looking outside the tower windows is a basic component of updating mental picture and situational awareness. In addition, radar representation that reflects three dimensional traffic situation is reduced to 2D picture, hence controllers, to complete their tasks, are required to merge the information from various head-up and head-down sources. Tower controllers frequently face the problem of low visibility due to meteorological conditions. In low visibility conditions, they should be provided with complementary information by surface movement radar (ICAO4444, 2007). Another problem occurring at aerodromes is occluded areas due to the architecture. In this case, controllers manage the traffic that is sometimes not visible from the tower. According to current forecast (STATFOR, 2006), air traffic in Europe will have an average growth of 2.7%-3.7% per year for the next twenty years. Overall, air traffic in Europe will double by 2025. In addition, traffic structure will change with increased number of large airports that will contribute to the major part of traffic. In order to accommodate the traffic growth, there is a need to enhance airport capacity and improve turnaround procedures. Air traffic service will be required to integrate additional traffic without the risk of decreasing safety standards. Currently, in low visibility conditions the aircraft separation standards are increased, which have a direct impact on airport capacity. In the future, airports are expected to have the same performance in both conditions to cope with traffic growth, therefore there is a need to automate the design support to controllers in low visibility conditions. Constant growth of the air traffic challenges air traffic service to increase the efficiency of airport operations, without an impact on safety. The need to accommodate additional traffic reinforces the requirements for assistance tools for controllers. According to (Wickens, Mavor, Parasuraman, & McGee, 1998), for the future of air traffic control, automation efforts should focus on the reliable high-level automation applications for information acquisition, integration and presentation for aiding controller decision making. The special attention should be given to tools that support conflict resolution detection and maintenance of separation. Regarding ground control, the future system should provide pilots and controller with automated warnings of potential runway incursion and ground traffic conflicts. In addition, this implementation should support the maintenance of situation awareness in low visibility conditions. The augmented reality could merge the warnings and alarms coming from automated safety systems into the view out of the tower windows. Increased use of head-down tools brings the problem of “eyes elsewhere problem“  described in (Hilburn, 2004a). Controllers, focused on scanning head-down tools, risk to miss critical event on the airport surface. In addition, constant attentional switch between near and far field of view, slows down the response time to critical events due to refocusing to different depth planes. Reducing the head-up/head-down scanning was found beneficial for head-up displays in aviation (Patterson, Winterbottom, & Pierce, 2006, Martin-Emerson & Wickens, 1992). Presentation of the information on head-up displays resulted in more precise navigation (Schmerwits, Tobben, Lorenz, & Korn, 2007). Augmented reality applications for tower could be a solution that brings the benefits of head- up displays to ATC domain. Presenting the information directly to controllers’ field of vision reduce the head-down scanning and allows to maintain constant surveillance on the airport surface. We also argue that augmented reality can provide graphical indications, such as labels, aircraft trajectories or highlight taxiways/runways in occupation. This could be especially advantageous considering that future systems of ATC should involve higher level of the automation. Automation can be defined “as device or system that accomplish (partially or fully) a function that was previously carried out by human operator” (Wickens et al.., 1998). Automation is a solution for the domain where the stress is high and the task requires cognitive effort. Benefits of the automation such as improved efficiency, reliability of operations and decreased workload are well - known (Wickens & Hollands, 1999). Despite new problems such as loss of situational awareness and vigilance, degradation of operational skills, difficulty to recover from the equipment failure,

automation was successfully applied to the safety critical domain such as nuclear plants, aviation or air traffic control. Considering that the augmented reality is still under development, the results of the applications from other research domains are still limited. In addition, the results cannot be easy translated due to the specific environment such as airport control tower. Firstly, AR applications for airport tower have to take into account the user that has limited working space, such as control room, however he/she has a panoramic view on the aircraft that can be placed at the distance up to 3000m from the tower. Usually AR applications are design to be used or in a limited working space with close distance to the objects (indoor applications) or in an unrestricted working volume with long distance to the objects (outdoors applications). The augmented reality applications for airport tower have to combine the user operating in close range, surrounded by the object at large distances. This implies different requirements for the technology therefore, none of the previous studies cannot be directly adopted. Secondly, air traffic control as a critical safety domain, constrains higher thresholds for accuracy of performance. The error rates acceptable in other domains would not follow the standards of safety critical domain. The high-level objective of this thesis was to investigate the usability and utility of AR applications for airport control towers. The general hypothesis of the thesis was: Augmented reality applications improve the performance of tower controllers. This wide hypothesis was explored under the following aspects • Analysis of augmented reality technology and its applicability to airport control tower. In addition, it placed the AR applications among other tools developed for tower controllers. • Analysis of controllers’ activities with the focus on direct observation.  Evaluation of simulated collimation technique in transparent projection screen. • • Investigation on visual attentional guidance in AR environments. The most relevant contributions of the thesis concern the following: 1. Empirical findings on of information acquisition pattern of tower controllers and positioning direct observation among the other sources of information contribute to air traffic control domain. The findings analyse the controller activity and describe the head-down time problem. 2. Evaluation of simulation collimation technique in transparent projection screens contributes to augmented reality technology research. 3. Identification of an effective method of visual attentional guidance in complex AR environments. In addition, it defines the impact of stereoscopic depth within the guiding attributes such as colour and motion. The outcome of this thesis can be used as a human – centred design principle for AR tools for tower control. This report is organised into six chapters Chapter 1 provides the context of the research, the objectives and the major contributions of the thesis. Chapter 2 presents the state-of-the-art of augmented reality technology and tools that are currently developed for airport control tower. It summarizes the technology requirements for AR applications for ATC domain and leads to the technology related research problem (Study III). Chapter 3 reviews the existing work on tower controllers task analysis and the empirical studies on controller activities in the perspective of requirements for augmented reality tools for airports towers. It analyses the needs for direct visual acquisition pattern of airport tower controllers (Studies I and II). Chapter 4 reviews the visual attention theories and visual guiding attributes. It introduces Hierarchical Segmentation Model and describes its applicability to ATC interfaces and identifies associated research problems (Studies IV and V). Chapter 5 presents the motivation for the chosen research methods, describes the experimental design, procedure and materials of Studies I, II, III, IV and V. It also presents experimental results and related discussions. Chapter 6 summarizes the main contributions of the thesis and presents some future directions. The author of the thesis is the main contributor of Study I, II, IV and V and joint contributor to Study

III.   Bibliography Ashby, F., Prinzmetal, W., Ivry, R., & Maddox, W. (1996). A formal theory of feature binding in object perception. Psychological Review , 103 , 165 - 192. Avary, B., Thomas, B., & Piekarski, W. (2008). User evaluation og see - through vision for mobile outdoor augmented reality. In 7th IEEE international symposium on mixed and augmented reality. Cambrige, UK: . Axholt, M. (2005). Tracking requirements for ATC tower AR environments. In 4th EUROCONTROL innovative research workshop and exhibition. Brétigny-sur-Orge, France: . Axholt, M., Peterson, S., & Ellis, S. (2008). User boresight calibration precision for large-format head-up displays. In ACM symposium on virtual reality software and technology.  Bordeaux, France: . Azuma, R. (1997). A survey of augmented reality. Presence: Teleoperators and Virtual Environments , 6(4) , 355-385. Bajura, M., Fuchs, H., & Ohbuchi, R. (1992). Merging virtual objects with the real world: seeing ultrasound imagery within the patient. In 19th annual conference on computer graphics and interactive techniques, SIGGRAPH ’92 (pp. 203–210). New York, NY: . Barbut, M., & Monjardet, B. (1970). Ordres et classifications : algèbre et combinatoire . Paris, Hachette. Bimber, O., & Raskar, R. (2005). Spatial augemnted reality. In ACM SIGGRAPH conference 2005. Los Angeles, CA: . Bruce, D. (1996). Physical performance criteria for air traffic control tower specialists, unpublished report. In K. Cardosi & A. Yost (Eds.), Controller and pilot errors in airport operations: A review of previous research and analysis of safety data.  Cambridge: Volpe National Transportation Systems Center. Cardosi, K. M., & Hannon, D. (1999). Guidelines for the use of color in ATC displays  (Tech. Rep. No. DOT-VNTSC-FAA-98-5). Washington, DC: Federal Aviation Administration. Cardosi, K. M., & Murphy, E. (1995). Human factors in the design and evaluation of air traffic control systems  (Tech. Rep. No. DOT/FAA/RD-95/3). Cambridge, Massachusetts: U.S. Department of Transportation, Volpe Research Center. Carpineto, C., & Romano, G. (2004). Exploiting the potential of concept lattices for information retrieval with CREDO. Journal of Universal Computing , 10(8) , 985 -1013. Carter, R. (1982). Visual search with color. Journal of Experimental Psychology , 8 , 127-36. Chau, A. W., & Yeh, Y. (1995). Segregation by colour and stereoscopic depth in three - dimensional visual space. Perception & Psychophysics , 57 , 1032-1044. Christ, R. (1975). Review and analysis of color coding research for visual displays. Human Factors , 17(6) , 542-570. Courboulay, M., & Kahn, J. (1996). ATHOS CDG airport tower controller task analysis WP3 (Tech. Rep. Nos. ATHOS/SOF-TEC-W3-006-R1, TR 1005). : Telematics Application Programme (Transport/Air). Cummings, L., & Tsonis, C. (2006). Partitioning complexity in air traffic management tasks. International Journal of Aviation Psychology , 16(3) , 277-295. Cutting, J., & Vishton, P. (1995). Perceiving layout and knowing distances: The integration relative potency and contextual use of different information about depth. In W. Epstein & S. Rogers (Eds.), Handbook of perception and cognition (p. 69 - 117). San Diego, CA: Academic Press. DiLollo, V., Kawahara, J., Zuvic, S. M., & Visser, T. A. W. (2001). The preattentive emperor has no clothes: a dynamic redressing. Journal of Experimental Psychology - General , 130 , 479-492. Dittman, A., Kallus, W., & Van Damme, D. (2000). Integrated task and job analysis of air traffic controllers, phase 3  (Tech. Rep. No. HUM.ET1.ST01.1000-REP-05). Belgium: EUROCONTROL.

Dubuisson, S. (2006). Integrated tower working position, initial study report  (Tech. Rep.). Bretigny sur Orge, France: EUROCONTROL. Duncan, J., & Humphreys, G. W. (1989). Visual search and stimulus similarity. Psychological Review , 96 , 433 - 458. EATMP. (2003). The human eror in ATM (HERA) technique  (Tech. Rep. No. HRS/HSP-002-REP- 03). Brussels: EUROCONTROL. EATMP. (2005). Definition of A-SMGCS implementation levels (DAP / APT). : EUROCONTROL. Egeth, H. E., & Yantis, S. (1997). Visual attention: control, representation, and time course. Annual Review of Psychology , 48 , 269-297. Eklund, P., Ducrou, J., & Brawn, P. (2004). Concept lattices for information visualization: Can novices read line diagrams? In P. Eklund (Ed.), Concept lattices: Second international conference on formal concept analysis (p. 14-27). Berlin: Springer. Fernandez-Caballero, A., Lopez, M. T., & Saiz-Valverde, S. (2008). Dynamic stereoscopic selective visual attention (DSSVA): Integrating motion and shape with depth in video segmentation. Expert Systems with Applications , 34(2) , 1394-1402. Fürstenau, N., Rudolph, M., Schmidt, B., Mand Lorenz, & Albrecht, T. (2004). On the use of transparent projection screens to reduce head down time in the air traffic control tower,. In Human performance, situation awareness and automation technology conference.  Daytona Beach, FL: . Fürstenau, N., Schmidt, M., Rudolph, M., Möhlenbrink, C., & B. Werther, B. (2007). Augmented vision videopanorama system for remote tower operation: Initial validation. In 6th EUROCONTROL innovative research workshop (p. 125-132). Bretigny sur Orge, France: . Frund, J., Gausemeier, J., Matysczok, C., & Radkowski, R. (2005). Using augmented reality technology to support the automobile development. In Computer supported cooperative work in design. Germany: Springer Berlin / Heidelberg. Ganter, B., Stumme, G., & Wille, R. (2005). Formal concept analysis: Foundations and applications (No. 3626). Verlag Springer. Grossberg, M. (1995). Impacts of HAB TCCC task on controller work, unpublished manuscript. In K. Cardosi & A. Yost (Eds.), Controller and pilot errors in airport operations: A review of previous research and analysis of safety data.  Cambridge: Volpe National Transportation Systems Center. Guironnet, M., Guyader, N., Pellerin, D., & Ladret, P. (2005). Static and dynamic feature-based visual attention model: Comparison with human judgement. In European signal processing conference. Antalya, Turkey: . Harris, J. M., McKee, S., & Watamaniuk, S. (1998). Visual search for motion-in-depth: masking by disparity noise. Nature Neuroscience , 1(2) , 165-168. Henrysson, A. (2007). Bringing augmented reality to mobile phones . Phd thesis, Department of Science and Technology Linköpings Universitet, Norrköping. (1145) Hilburn, B. (2004a). Head-down time in aerodrome operations: A scope study  (Tech. Rep.). Hague, Netherlands: Center for Human Performance Research. Hilburn, B. (2004b). Head-down time in ATC tower operations: Real time simulations results (Tech. Rep.). Hague, Netherlands: Center for Human Performance Research. Hilburn, B., Westin, C., Chalon, C., & Kirwan, B. (2008). Cognitive impact analysis - a prototype method for managing cognitive changes in future air traffic management systems. In Annual safety A&D seminar. Southampton, UK: . Huang, L., & Pashler, H. (2007). A boolean map theory of visual attention. Psychological Review , 114 , 599-631. ICAO4444. (2007). Air traffic management - procedures for air navigation services  (Fifteenth Edition No. Document 4444 ATM/501). : International Civil Aviation Organization. Inhoff, A. (1984). Two stages of word processing during eye fixations in the reading of prose. Journal of Verbal Learning and Verbal Behavior , 23 , 612 - 624. Ishihara, S. (1998). Ishihara’s tests for colour deficiency, 38 plates edition.  Kanehara & CO. LTD, Tokyo, Japan.