Contribution à l'étude de quelques mesures du contenu ...

Description

Contribution à l'étude de
quelques mesures du contenu d'information des objets
Vers une théorie multicruciale de l'information
Gérard Pinson
(manuscrit version 1.0)
email : [e-mail] I / 2
 
Avant-propos
La mesure du contenu d’information d’un message ou d’un objet peut s’effectuer à l’aide
de grandeurs définies sous différents angles théoriques : quantité statistique d’information au
sens de Shannon, entropie de Von Neumann en théorie quantique, complexités algorithmiques
ou complexités de Kolmogorov de chaînes alphabétiques, profondeur logique au sens de
Bennet, voire spectre de Fourier en analyse harmonique, etc. L'analyse comparée des quantités
d'information statistique, quantique, algorithmiques, montre qu'il est nécessaire de préciser les
notions qui sont à la base du concept de contenu d'information, en cherchant à dégager les
invariants apparaissant dans les différentes théories mais aussi leurs dissemblances. Le
concept de contenu d'information est une notion délicate à manier : de la confrontation entre
les différentes théories on peut espérer dégager les caractéristiques et propriétés essentielles de
cette notion telle qu'elle apparaît à l'analyse, et peut-être ainsi rejoindre ses caractères
principaux tels qu'ils apparaissent à l'expérience. I / 3
 
Table des matières
Liste des symboles
Introduction
Section 1
INTRODUCTION : CONTENU D'INFORMATION & CONTENU D'IDENTIFICATION
1.1. Analyse ternaire de l'information
1.2. Structure ternaire de ...

Sujets

• D'une ombre à l'autre
• Domaine public en droit public français
• Dénombrable
• John von Neumann
• Maison de Dampierre
• Conclusions en procédure civile française

Informations

• Publié par: Ulla
• Nombre de lectures: 121
• Langue: Catalan

Extrait

Contribution à l'étude de quelques mesures du contenu d'information des objets Vers une théorie multicruciale de l'information Gérard Pinson (manuscrit version 1.0) email : [e-mail]

    Avant-propos 2 / I La mesure du contenu d’information d’un message ou d’un objet peut s’effectuer à l’aide de grandeurs définies sous différents angles théoriques : quantité statistique d’information au sens de Shannon, entropie de Von Neumann en théorie quantique, complexités algorithmiques ou complexités de Kolmogorov de chaînes alphabétiques, profondeur logique au sens de Bennet, voire spectre de Fourier en analyse harmonique, etc. L'analyse comparée des quantités d'information statistique, quantique, algorithmiques, montre qu'il est nécessaire de préciser les notions qui sont à la base du concept de contenu d'information, en cherchant à dégager les invariants apparaissant dans les différentes théories mais aussi leurs dissemblances. Le concept de contenu d'information est une notion délicate à manier : de la confrontation entre les différentes théories on peut espérer dégager les caractéristiques et propriétés essentielles de cette notion telle qu'elle apparaît à l'analyse, et peut-être ainsi rejoindre ses caractères principaux tels qu'ils apparaissent à l'expérience.

    Table des matières Liste des symboles Introduction Section 1 INTRODUCTION : CONTENU D'INFORMATION & CONTENU D'IDENTIFICATION 1.1. Analyse ternaire de l'information 1.2. Structure ternaire de l'information et sémantique 1.3. Information et compressibilité 1.4. Résumé : caractéristiques de l'information et des processus informationnels 1.5. Conclusion :vers une approche multicruciale du concept d'information Section 2 DÉFINITIONS 2.1. Les objets 2.2. Les symboles 2.2.1. Du symbole au message 2.2.2. Source symbolique 2.3. Les mots 2.4. Les textes 2.4.1. La transcription alphabétique des messages en textes 2.4.2. Source alphabétique 2.4.3. Source lexicale 2.4.4. Source faible 2.4.5. Source préfixée 2.4.6. Transcodage d'une source alphabétique vers une autre 2.4.7. Multicrucialité des textes 2.4.8. Résumé : classification des sources 2.5.Extensions au continu de la théorie de l'information 2.6. Conclusion : sources conjointes Section 3 SOURCES SYMBOLIQUES CLASSIQUES 3.1. Introduction 3.2. Entropie statistique d'une source unique 3.2.1. Approche intuitive 3.2.2. Approche axiomatique 3.2.3. Calcul approché 3.2.4. Propriétés 3.3. Entropies statistiques de sources conjointes 3.3.1. Information composée 3 / I

    3.3.2. Information mutuelle 3.3.3. Écart entropique 3.4. Exemple : structure ternaire et théories de l'information 3.4.1. Point de vue du récepteur : analyse statistique du message 3.4.2. Point de vue de l'émetteur : construction algorithmique du message 3.5. Conclusions 3.5.1. Interprétation ensembliste 3.5.2. Structure heuristique de la théorie statistique classique 3.5.3. Résumé des propriétés de l'entropie discrète 3.6. Extension au continu : entropie différentielle 3.6.1. Source infinie discrète ou source dénombrable 3.6.2. Entropie différentielle d'une source échantillonnée 3.6.3. Entropies différentielles de sources échantillonnées conjointes 3.6.4. Conclusions 3.6.4.1. Quantification 3.6.4.2. Résumé des propriétés de l'entropie différentielle Section 4 SOURCES SYMBOLIQUES QUANTIQUES 4.1. Introduction 4.1.1. Rappel succinct des axiomes de la mécanique quantique 4.1.1.1. États 4.1.1.2. Observables 4.1.1.3. Mesure 4.1.1.4. Dynamique 4.1.2. Bit quantique 4.1.3. Paires corrélées de bits quantiques 4.1.3.1. États quantiques d'une paire corrélée. Base de Bell 4.1.3.2. Création d'une paire corrélée 4.1.3.3. Exemple : photons corrélés 4.2. Entropies quantiques d'une source unique 4.2.1. Matrices de densité 4.2.2. Entropie de Von Neumann 4.2.3. Propriétés de l'entropie de Von Neumann 4.2.4. Théorème de Holevo 4.3. Sources symboliques quantiques : entropie classique quantique 4.3.1. Exemple 4.3.2. Structure heuristique de la théorie classique quantique 4.4. Sources faibles quantiques : entropie quantique quantique 4.4.1. Sources corrélées 4.4.2. Entropies de Von Neumann de sources corrélées 4.4.3. Exemple I4 / 

    4.5. Conclusion : résumé des propriétés de l'entropie de Von Neumann Section 5 SOURCES ALPHABÉTIQUES 5.1. Introduction 5.1.1. Source alphabétique lexicale 5.1.1.1. Description 5.1.1.2. Propriétés 5.1.2. Source alphabétique préfixée 5.1.2.1. Description 5.1.2.2. Propriétés 5.1.3. Transcodage d'une source lexicale vers une source préfixée : exemples 5.2. Complexités algorithmiques des sources alphabétiques 5.2.1. Présentation générale et classification 5.2.2. Complexité simple d'une source lexicale 5.2.2.1. Source unique 5.2.2.2. Sources conjointes 5.2.3. Complexité uniforme d'une source préfixée 5.2.3.1. Source unique 5.2.3.2. Sources conjointes 5.2.4. Complexité préfixée d'une source lexicale 5.2.4.1. Source unique 5.2.4.2. Sources conjointes 5.2.4.3. Complexité préfixée explicite d'une source lexicale 5.2.5. Complexité monotone d'une source préfixée 5.3. Extension au continu des complexités préfixées 5.4. Résumé 5.4.1. Structure heuristique de la théorie algorithmique 5.4.2. Résumé des propriétés des complexités algorithmiques 5.5. Conclusion : énumérabilité du message et du contexte 5.5.1. Complexités des processus informationnels 5.5.1.1. Problématique générale 5.5.1.2. Exemple 5.5.2. Trois classes de calculabilité Section 6 SOURCES ÉCHANTILLONNÉES 6.1. Introduction : classification élémentaire de quelques formalismes du traitement de l'information 6.1.1. Fini dénombrable 6.1.1.1. Niveau primaire 6.1.1.2. Niveau booléen 6.1.2. Infini dénombrable 5 / I

    6.1.2.1. Niveau arithmétique 6.1.2.2. Niveau algorithmique 6.1.3. Infini non dénombrable 6.1.3.1. Niveau harmonique 6.1.3.2. Niveau topologique 6.1.4. Résumé 6.2. Structure algébrique ( C, d , 1, *, ., , = ) 6.2.1 Restriction du formalisme harmonique au calcul booléen 6.2.1.1. Échantillonnage et quantification : discussion préliminaire 6.2.1.2. Calculs 6.2.2. Extension du calcul booléen au formalisme harmonique 6.2.2.1. Signe 6.2.2.2. Position 6.2.2.3. Précision 6.2.3. Conclusion Section 7 CONCLUSION GENERALE Annexe 1 Annexe 2 Bibliographie Résumé 6 / I

    Liste des symboles (les notations mathématiques usuelles sont omises) i j k k C ).(l m n o q ,p s ,r s t w ,v x, y, z A * A B C C C C K C F C G C E )..(E indice (notamment : index de bibliothèque et d’alphabet) indice (notamment : index de mot) indice (notamment : index de message et de texte) complexité préfixée explicite (complexité de Chaitin) longueur d’une chaîne (i.e. nb de caractères) nombre de symboles dans un message = nombre de mots dans un texte nombre de caractères dans un mot élément d’un objet dénombrable élément d’un objet non dénombrable probabilité tom chaîne inverse (l'ordre des caractères dans la chaîne est inversé) etxet tom caractère (variable de lettre) ; variable générique alphabet vocabulaire alphabet binaire {0,1} écriture binaire pondérée des nombres entiers source lexicale complexité simple complexité uniforme complexité harmonique complexité du graphe d'une fonction ensemble des nombres complexes émetteur encodage encodage transformation de Fourier (TF) 7 / I

    F F F 1 H )A(I I(A,B) I(A:B) I(A Τ B) I H K K C K K L L M N N + N O I ,Ø ).( Q R R R ).( S ).(  r r    U     ,V X TF discrète (TFD) TFD numérique (FFT) FFT normalisée à 1 entropie statistique quantité (i.e. mesure du contenu) d'information d'un objet A  contenu d'information de A È B contenu d'information mutuel de A Ç B contenu d'information conditionnel de A   sachant   B information de Holevo source préfixée complexité préfixée complexité monotone longueur moyenne des mots d’un langage langage application de N   vers B *  (encodage lexicographique) observable (opérateur de mesure) nombre d’éléments d’une bibliothèque ensemble des entiers naturels ensemble des entiers naturels > 0 objet dénombrable objet non dénombrable valeurs booléennes 0, 1 ensemble de parties nombre d’éléments d’un alphabet récepteur ensemble des nombres réels opérateur de rotation rotation source alphabétique transcription vecteur dans R n lettre 8 / I

    Z p ∃c d e f g∃ m∃ s h ñjΤ q r s i  r  s      w n :1 x ñyΤ F ± ñFΤ S ∃G L X ∃P Q * X ± ñYΤ @   .. ñ | á .. | á   ñ | ensemble des entiers relatifs ysbmloe distribution de Dirac chaîne vide application message variable symbolique vecteur d’état elgna matrice de densité matrices de Pauli vecteur de spin suite des n premiers caractères d’une chaîne infinie signe (variable symbolique) vecteur d’état machine de Turing, fonction récursive partielle base de Bell source symbolique nombre d’éléments d’un objet bibliothèque symbolique quantité totale d’information dans un message dictionnaire base de Bell eralitnod  eocrrseopdnnaece tnerc  ordre lexicographique croissant ordre lexicographique décroissant produit scalaire projecteur ahnîsee  tonbmer sneitres  / I9

étiladom euqigol noitagén noitulovnoc noitalérroc leirosnet tiudorp egadocne modalité marque élémentaire point fixe peigne de Dirac de pas a conjugaison complexe à Ø a * * Ä Ä     && ñ∃á I / 10

    Introduction : résumé général I / 11 De même que l'énergie subit dans les processus physiques divers changements de forme, dans le schéma : objets  ®  symboles  ®  mots  ®  textes-source  ®  textes-code  l'information apparaît sous différents états dont il convient d'analyser les transformations. En toute généralité, appelons processus informationnel de telles transformations (dont les processus communicants sont un cas particulier). Et, de même que les processus physiques s'appliquent à des systèmes physiques, convenons d'appeler sources  les systèmes de traitement de l'information auxquels s'appliquent les processus informationnels. L'expérience montre que la discernabilité est une condition première de l'analyse de l'information, qui est une entité nécessairement "diacritique" [Oswald, 1986] c'est-à-dire distinguable (par un opérateur de disjonction). On considère donc tout d'abord un objet O en tant qu'ensemble fini ou infini dénombrable d'éléments discernables. A chaque élémenot i  de l'objet on associe bijectivement un symbole c i . L'ensemble des symboles, discernables par définition, constitue une bibliothèque X  = { c 1 ,..., c i ,...} avec N = card( X ) si la bibliothèque est finie. Une source symbolique S  lit ou écrit des suites finies de symboles   appelées messages ou chaînes : m s1 x 1 ... x k ... x m  ; x k   ΠX   ; s Î X   , longueur l( s ) = m. Une source alphabétique comprend une source symbolique et un alphabet fini A = {X 1 ,...,X Q } de valence Q ; elle encode chaque symbole en une suite finie de caractères formant un mot : n s = x 1 ...x j ...x n ; x j   Π A ;  s Î  A , longueur l(s) = n, et chaque message en une suite finie de mots formant unt exte : t = s 1 ...s k ...s m  ; t  Î   vocabulaire A * 1 UA n         n ³ 1 Si l'encodage est singulier (c'est-à-dire non injectif : un mot est associé à plus d'un symbole), la source alphabétique sera dite source faible. Sinon, un encodage régulier (i.e. injectif) est ou n'est pas déchiffrable. Dans la négative, la source produit des mots sans délimiteur, équivalents à des suites de nombres qu'il n'est pas possible de distinguer les uns