La lecture en ligne est gratuite
Le téléchargement nécessite un accès à la bibliothèque YouScribe
Tout savoir sur nos offres
Télécharger Lire

Middleware multimédia

De
57 pages
  • exposé - matière potentielle : èmédias
Réseaux Haut-Débits et Multimédia-Autrans-10/05/02 - D1 Middleware multimédia Gilles Privat France Télécom R&D Phuong-Hoang Nguyen France Télécom R&D et IMAG/LSR Réseaux Haut-Débits et Multimédia -Autrans -10/05/02 -D2 Middleware multimédia, plan de l'exposé èMédias : définitions, niveaux de représentation § Des signes aux médias, des mono-médias aux multimédias èDes médias « signal » aux médias structurés § Du codage de signal au codage basé-objet, structuration des médias continus § Le niveau syntaxique comme pont entre les différents médias, vers les hypermédias § Intégration des données et des
  • temporel vidéo
  • codage de signal au codage
  • langages déclaratifs de représentation de médias
  • modèles source-canal aux protocoles client-serveur
  • multimédia -autrans
  • systèmes de signes
  • système de signe
  • médias
  • média
  • vidéos
  • vidéo
Voir plus Voir moins

Middleware multimédia
Gilles Privat
France Télécom R&D
Phuong-Hoang Nguyen
France Télécom R&D et IMAG/LSR
Réseaux Haut-Débits et Multimédia-Autrans-10/05/02 - D1
Middleware multimédia, plan de l’exposé
ŁMédias : définitions, niveaux de représentation
§ Des signes aux médias, des mono-médias aux multimédias
ŁDes médias « signal » aux médias structurés
§ Du codage de signal au codage basé-objet, structuration des médias continus
§ Le niveau syntaxique comme pont entre les différents médias, vers les hypermédias
§ Intégration des données et des méta-données
ŁAbstractions déclaratives et abstractions programmatiques d’objets de médias
§ Langages déclaratifs de représentation de médias
§ APIs et représentations programmatiques basées-objet de contenus
ŁCommunication mono- et multimédia
§ Des modèles source-canal aux protocoles client-serveur
§ Protocoles "télécoms" d’héritage
§ Protocoles spécifiques au multimédia sur IP, RTSP, SIP
§ Des modèles client-serveur aux modèles « middleware réparti »
ŁDes API multimédias aux frameworks multimédias répartis
§ Frameworks spécifiques, JavaMediaFramework
§ Adaptations des ORB génériques pur des objets médias banalisés
ŁAdaptation des infrastructures multimédia à la communication « pervasive »
§ Exemples d’applications sur interfaces réparties/réseaux « ambiants »
ŁConclusion : vers une nouvelle théorie de la communication multimédia?
Réseaux Haut-Débits et Multimédia-Autrans-10/05/02 -D2à
Middleware multimédia : délimitation du sujet
ŁMiddleware/intergiciel
§ Au sens (trop) large : tout logiciel se situant entre le matériel/les systèmes d’exploitation et les
applications…
§ Spécifiquement 1 : middleware réparti
l Exclut les APIs locales à une plate-forme
l Exclut les solutions fermées…
l Abstraction logicielle du réseau (bus logiciel)
§ Spécifiquement 2 : middleware basé-objet
l Abstraction objet = commun dénominateur
ŁMultimédia : définition provisoire
§ Application utilisant conjointement plusieurs médias, dont au moins un média temporel
l médias spatiaux (statiques)
–texte
–graphique (vector graphics)
–image (raster graphics, bit-mapped graphics, bit-mapped image, still video)
l médias temporels (dynamiques)
–audio
–vidéo (moving pictures)
–animation
§ Propriétés caractéristiques
l Intégration des différents médias dans des modèles de représentation conjoints
l Programmabilité/adaptativité des contenus
l Interactivité mono/multi-utilisateurs Réseaux Haut-Débits et Multimédia-Autrans-10/05/02 -D3
l Répartition multilatérale de l’application (serveurs/terminaux clients/proxies pairs)
La triangle du multimédia
Télécoms
Transmission Interpersonnalité
BVT
Information Visiophonie Information
Visioconférence
TraitementProduction Globalité Intelligence
Communication de groupe
multimedia e-mail
multimédia
Objets Hypermédias répartis
WWWVidéo à la demande
Télévision Interactive
Télévision câblée
Télévision diffusée
DVD-vidéo DVD-ROM CD-ROM multimediaBVJ BVO
Médias Informatique
Réseaux Haut-Débits et Multimédia-Autrans-10/05/02 -D4Middleware multimédia, plan de l’exposé
ŁMédias : définitions, niveaux de représentation
§ Des signes aux médias, des mono-médias aux multimédias
ŁDes médias « signal » aux médias structurés
§ Du codage de signal au codage basé-objet, structuration des médias continus
§ Le niveau syntaxique comme pont entre les différents médias, vers les hypermédias
§ Intégration des données et des méta-données
ŁAbstractions déclaratives et abstractions programmatiques d’objets de médias
§ Langages déclaratifs de représentation de médias
§ APIs et représentations programmatiques basées-objet de contenus
ŁCommunication mono- et multimédia
§ Des modèles source-canal aux protocoles client-serveur
§ Protocoles "télécoms" d’héritage
§ Protocoles spécifiques au multimédia sur IP, RTSP, SIP
§ Des modèles client-serveur aux modèles « middleware réparti »
ŁDes API multimédias aux frameworks multimédias répartis
§ Frameworks spécifiques, JavaMediaFramework
§ Adaptations des ORB génériques pur des objets médias banalisés
ŁAdaptation des infrastructures multimédia à la communication « pervasive »
§ Exemples d’applications sur interfaces réparties/réseaux « ambiants »
ŁConclusion : vers une nouvelle théorie de la communication multimédia?
Réseaux Haut-Débits et Multimédia-Autrans-10/05/02 -D5
Théorie sémiotique/cognitive des médias
ŁModalité d'information
§ canal perceptuel utilisé par le destinataire du message ; on peut distinguer ainsi les
modalités :
l Auditive
l Visuelle
l Tactile
l Olfactive
l haptique…
ŁMedia, définition sémiotique/cognitive
§ support perceptuel de représentation d'information caractérisé par la modalité
d'information utilisée et le système sémiotique (système de signes) véhiculant
l'information dans cette modalité
Réseaux Haut-Débits et Multimédia-Autrans-10/05/02 -D6Caractéristiques d’un système de signes
ŁUn système de signes peut être
§ analogique (continu)
l variations continues entre les signifiants --> variations continues entre les
signifiés
§ digital (discret)
l signifiants caractérisés par différenciation entre eux et non par relation
directe avec le signifié, pas de relation continue entre signifiant et signifié
Ł Ne pas confondre avec la distinction analogique-numérique au niveau de
codage le plus bas
§ à articulation correspondante : signes composites = assemblage de sous-signes
à correspondance sémantique (e.g. graphique)
§non- : sous-signes non associés à des signifiés
propres (e.g. phonèmes, lettres de l'alphabet)
Réseaux Haut-Débits et Multimédia-Autrans-10/05/02 -D7
Caractéristiques d’un système de signes
ŁNiveaux d ’abstraction et motivation
§ indiciel
l lien physique causal du signifiant avec le signifié
§ iconique concret
l représentation analogique du signifié
§ iconique abstrait
l analogie du signifié dans un ensemble discret de
signifiants
§ symbolique
l la relation entre le signifiant et le signifié est arbitraire
Réseaux Haut-Débits et Multimédia-Autrans-10/05/02 -D8Les trois dimensions de la sémiotique
Interprétant
Pragmatique
Signe
Sémantique Signifié
(designatum)
Syntaxe
Autres signes
Réseaux Haut-Débits et Multimédia-Autrans-10/05/02 -D9
Syntaxes d’un système de signes
ŁSyntaxe = contraintes pour l ’arrangement des signes individuels d’un
système de signe, pour former des signes composés
§ Les systèmes de signe sont en cascade!
l le signifié d ’un système de signes est le signifiant d ’un autre!
l Le niveau perceptuel n ’est en général qu’un niveau intermédiaire
§ chaque niveau a sa propre syntaxe :
ŁSpatiale
§ 1D/linéaire : texte écrit simple, image bit-map
§ 2D : graphique, diagramme, textes mis en page, etc
ŁTemporelle
§ statique : un seule signe à extension temporelle et interprétation temporelle
§ linéaire : suite temporelle de signes individuels
ŁAbstraite hiérarchique/générative
§ grammaire formelle d'un code ou langage informatique
§ langage naturel au niveau supérieur (conceptuel)
ŁHyperliens
§ syntaxe liée à un modèle cognitif de haut niveau (réseau sémantique)
Réseaux Haut-Débits et Multimédia-Autrans-10/05/02 -D10Modalité
Visuel
Auditif
Caractéristique d’un média cognitif/perceptif
Abstraction
Symbolique
Iconique
abstrait
Iconique
concret
Indiciaire
Syntaxe
Temporelle Linéaire Spatiale 2D (Hiérarchique/générative) Hyperliens
Réseaux Haut-Débits et Multimédia-Autrans-10/05/02 -D11
Sémiotique et cognition : la double articulation
Łentités sémiotiques de niveau infra-sémantique (détection précognitive)
§ graphèmes, phonèmes, chromèmes , formèmes, texturèmes
Łentités sémiotiques à correspondance sémantique
§ monèmes : lexèmes, morphèmes, vidèmes
Łcontinuum cognitif
§ caractéristiques perceptuelles détectables
§ sous-signes
§ signes
§ méta-signes
Réseaux Haut-Débits et Multimédia-Autrans-10/05/02 -D12Définitions
ŁMedia numérique, définition "théorie de l'information"
§ chaîne de procédures de codage et ensemble des codes intermédiai res
correspondants, destinées à restituer perceptuellement à un utilisateur (sous forme
auditive ou visuelle, ou autre modalité) de l'information stockée ou transmise
l le code interne de niveau "physique" est numérique (non nécessairement binaire)
en fonction du support interne de transmission ou de stockage utilisé
l les codes "externes" sont adaptés aux dispositifs et supports de restitution
l tous ces codes sont mis bout à bout par transcodage cascadé pour constituer une
chaîne de communication complète
l en pratique cette définition amènerait à distinguer des médias différents pour
l'utilisation de toute code différent, même à un niveau "enfoui" ; on restreindra donc
cette distinction à des classes d'équivalence de codes possédant les mêmes
propriétés
Réseaux Haut-Débits et Multimédia-Autrans-10/05/02 -D13
Définitions
ŁMedia, définition synthétique (incluant et généralisant les 2 précédentes)
Łsystème de communication d'information caractérisé par :
l Une modalité d'information particulière utilisée par l'utilisateur final, le cas échéant
(i.e. s'il ne s'agit pas d'un contenu abstrait)
l Une hiérarchie de systèmes de signes, (codages externes ou "enfouis") utilisés au
travers de la chaîne de communication, caractérisés individuellement par
–un mapping entre signifiants et signifiés
–une syntaxe (imposant l'arrangement et l'articulation des signes élémentaires
pour créer des signes composites)
l le signifié d'un système de signes est le signifiant d'un système de niveau supérieur,
en partant du support matériel, (stimulus physique) jusqu'au niveau cognitif pertinent
le plus élevé
l le système de signes de niveau supérieur est en général pris comme
caractéristique du média considéré
Réseaux Haut-Débits et Multimédia-Autrans-10/05/02 -D14à
Lien entre codages numériques et modèles
cognitifs/sémiotiques
Ł Le modèle structurel de haut niveau caractéristique d'un média structuré est
indépendant des codages particuliers qui l'implémentent aux niveaux inférieurs ; il est
caractérisé, au niveau pertinent (perceptuel, cognitif ou d'un modèle de données
mathématique, par :
§ dictionnaire d'objets (signes) élémentaires (iconiques ou symboliques)
§ La syntaxe (spatiale, réseau) de composition de ces signes est riche et à correspondance sémantique
(articulation correspondante à au moins un niveau)
Ł les codages de type "signal" utilisés couramment pour les médias naturels non
structurés ne s'insèrent pas dans une telle hiérarchie sémiotique/cognitive
§ niveau supérieur iconique analogique
§ pas de structuration intermédiaire syntaxe linéaire triviale
§ niveau inférieur = échantillon codé numériquement
Ł évolution souhaitable
§ prise en charge d’une hiérarchie complète et cohérente de structuration dans la représentation des
médias synthétiques
§ prise en compte d'au moins un niveau de structuration intermédiaire minimal pour les médias naturels
Réseaux Haut-Débits et Multimédia-Autrans-10/05/02 -D15
Caractéristiques des différents monomédias

Articulation Média modal Primitives de premier niveau Caractéristique syntaxe
ité (signes élémentaires) des signes
non-Texte écrit visuel caractères symbolique Spatiale linéaire
correspondante Hypertexte, visuel Objets+liens hyperliens
N/A Image visuel Image entière iconique concret N/A (pas de structuration)
bitmap
correspondant Image visuel Regions, textures Iconiqueconcret Arrangement spatial 2D
structurée
correspondante Graphique visuel Segments de droite, courbes, Iconique abstrait
2D formes, couleurs, etc.
correspondante Graphique visuel Arrangement spatial 3D
3D
correspondant animation visuel Surfaces, mouvements, Iconique abstrait Arrangement spatial 2D/3D+
objets temporel
vidéo visuel images iconique concret Temporelle
naturelle
vidéo visuel Scènes, régions 2D, Iconique concret Temporel +arrangement spatial
structurée mouvement 2D
Non-parole audio phonèmes symbolique temporelle
correspondant
son naturel audio Waveform audio iconique concret N/A (pas de structuration)
Réseaux Haut-Débits et Multimédia-Autrans-10/05/02 -D16Audio audio Notes symbolique temporelle
synthétique Définitions, suite
Ł Multimodal
§ (système de communication) utilisant plusieurs modalités d'information distinctes au
niveau perceptuel du destinataire du message
Ł Multimédia
§ se dit d'un système de communication (ou d'un contenu véhiculé par ce système)
intégrant au moins 2 médias différant par la modalité utilisée (ex: auditif + visuel), l'un au
moins de ces médias ayant une dimension temporelle
Ł Hypermédia
§ se dit d'un système de communication multimédia (ou d'un "hyperdocument" manipulé
sur ce système) intégrant au plus haut niveau une syntaxe d'hyperliens , en
correspondance avec sa structure interne (modèle de Dexter)
Réseaux Haut-Débits et Multimédia-Autrans-10/05/02 -D17
Middleware multimédia, plan de l’exposé
ŁMédias : définitions, niveaux de représentation
§ Des signes aux médias, des mono-médias aux multimédias
ŁDes médias « signal » aux médias structurés
§ Syntaxes : des monomédias aux hypermédias
§ Du codage de signal au codage basé-objet, structuration des médias continus
§ Le niveau syntaxique comme pont entre les différents médias, vers les hyper-multi-médias
§ Intégration des données et des méta-données
ŁAbstractions déclaratives et abstractions programmatiques d’objets de médias
§ Langages déclaratifs de représentation de médias
§ APIs et représentations programmatiques basées-objet de contenus
ŁCommunication mono- et multimédia
§ Des modèles source-canal aux protocoles client-serveur
§ Protocoles "télécoms" d’héritage
§ Protocoles spécifiques au multimédia sur IP, RTSP, SIP
§ Des modèles client-serveur aux modèles « middleware réparti »
ŁDes API multimédias aux frameworks multimédias répartis
§ Frameworks spécifiques, JavaMediaFramework
§ Adaptations des ORB génériques pur des objets médias banalisés
ŁAdaptation des infrastructures multimédia à la communication « pervasive »
§ Exemples d’applications sur interfaces réparties/réseaux « ambiants »
ŁConclusion : vers une nouvelle théorie de la communication multimédia?
Réseaux Haut-Débits et Multimédia-Autrans-10/05/02 -D18Medias non-structurés (audio/vidéo/image) :
codage de signal
ŁModèle de données : signal
ŁInformation statistique seulement
Ł entité élémentaire = échantillon quantifié
§ non significative perceptuellement
§ non insérable dans une hiérarchie de représentation structurelle
Łcodage « waveform » : à partir signal numérisé
§ préfiltrage
§ échantillonnage
§ quantification
§ codage numérique
§ passage le cas échéant dans un espace transformé (codage prédicitif ou codage
fréquentiel)
Réseaux Haut-Débits et Multimédia-Autrans-10/05/02 -D19
Médias structurés (texte, graphique,
animation, audio synthétique)
Ł Medias représentés comme composition d'objets élémentaires
§ articulation signe --> sous-signes
l correspondante : graphique, audio synthétique, animation
– mais un tout composite peut être perçu comme tel, comme différent de la
somme des parties (gestalt)
l non correspondante : texte ( en écriture phonétique)
Łniveau syntaxique explicite
§ composition d’entités lexicales élémentaires
Łpropriétés souhaitables de la représentation de médias structurés
§ séparation de la structure et de la forme
§ correspondance de la structure et du codage
§ prise en charge, le cas échéant, d’une correspondance sémantique
Réseaux Haut-Débits et Multimédia-Autrans-10/05/02 -D20