La lecture en ligne est gratuite
Le téléchargement nécessite un accès à la bibliothèque YouScribe
Tout savoir sur nos offres
Télécharger Lire

Apprentissage et circulation de l'information

De
159 pages
Cadre actuel
Transition de phase en induction
Science de la dynamique
Apprentissage et circulation de l’information
Antoine Cornuejols´
Laboratoire de Recherche en Informatique
Universite´ de Paris Sud, Orsay
´ ´ ´Journee de la complexite du 2 fevrier 2006 Cadre actuel
Transition de phase en induction Etat de l’art
Science de la dynamique
Plan
1 Un point de vue sur l’apprentissage
Etat de l’art et limites
2 Transition de phase en induction
Gain d’information et transition de phase
Transitiondephaseeninductiondeprogrammeslogiques
Tr de en inference´ grammaticale
Analyse et bilan
3 Pour une science de la dynamique de l’apprentissage
L’apprentissage en ligne
Le cadre i.i.d.
´Les effets de sequences
Contributions Cadre actuel
Transition de phase en induction Etat de l’art
Science de la dynamique
L’essence du probleme`
Definition´ [Mitchell, 82]
Apprentissage = Recherche dans un espace d’hypotheses`
Sous la contrainte des exemples d’apprentissage `Hypotheses
´Les observations sont des realisations (i.i.d.) d’une variable
´aleatoire de loi f
ˆOn cherche un estimateur h aussi proche que possible de la loi f
Cadre actuel
Transition de phase en induction Etat de l’art
Science de la dynamique
Le paradigme
Definition´ (Apprentissage)
` ´Apprentissage = Probleme inverse mal pose
`A partir d’observations, trouver la loi f a` laquelle obeissent´
ces observations Cadre actuel
Transition de phase en induction Etat de l’art
Science de la dynamique
Le paradigme
Definition´ (Apprentissage)
` ...
Voir plus Voir moins
Cadre actuel Transition de phase en induction Science de la dynamique Apprentissage et circulation de l’information Antoine Cornuejols´ Laboratoire de Recherche en Informatique Universite´ de Paris Sud, Orsay ´ ´ ´Journee de la complexite du 2 fevrier 2006 Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique Plan 1 Un point de vue sur l’apprentissage Etat de l’art et limites 2 Transition de phase en induction Gain d’information et transition de phase Transitiondephaseeninductiondeprogrammeslogiques Tr de en inference´ grammaticale Analyse et bilan 3 Pour une science de la dynamique de l’apprentissage L’apprentissage en ligne Le cadre i.i.d. ´Les effets de sequences Contributions Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique L’essence du probleme` Definition´ [Mitchell, 82] Apprentissage = Recherche dans un espace d’hypotheses` Sous la contrainte des exemples d’apprentissage `Hypotheses ´Les observations sont des realisations (i.i.d.) d’une variable ´aleatoire de loi f ˆOn cherche un estimateur h aussi proche que possible de la loi f Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique Le paradigme Definition´ (Apprentissage) ` ´Apprentissage = Probleme inverse mal pose `A partir d’observations, trouver la loi f a` laquelle obeissent´ ces observations Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique Le paradigme Definition´ (Apprentissage) ` ´Apprentissage = Probleme inverse mal pose `A partir d’observations, trouver la loi f a` laquelle obeissent´ ces observations `Hypotheses ´Les observations sont des realisations (i.i.d.) d’une variable ´aleatoire de loi f ˆOn cherche un estimateur h aussi proche que possible de la loi f MRE ˆ ˆ`Choisir l’hypothese h telle que h = ArgMin R (h)Emph∈H X1 R (h) = ‘(h(x ),u)Emp i i m (x ,u )∈Si i Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique Le paradigme Apprentissage = Probleme` inverse mal pose´ ˆ... chercher h aussi proche que possible de la loi f Proximite´ : Esper´ ance de risque Z R(h) = E [h] = ‘(h(x),f(x)) dxdyDX×Y | {z }X×Y ˆcout pour une observation Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique Le paradigme Apprentissage = Probleme` inverse mal pose´ ˆ... chercher h aussi proche que possible de la loi f Proximite´ : Esper´ ance de risque Z R(h) = E [h] = ‘(h(x),f(x)) dxdyDX×Y | {z }X×Y ˆcout pour une observation MRE ˆ ˆ`Choisir l’hypothese h telle que h = ArgMin R (h)Emph∈H X1 R (h) = ‘(h(x ),u)Emp i i m (x ,u )∈Si i ´ ` ´→ Diversite de l’espace des hypothesesH limitee Qualite´ de l’estimation |R(h)−R (h)| ≤ fct(diversite´ ,m)Emp P H Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique La theor´ ie statistique de l’apprentissage Consistance du MRE Conditions sous lesquelles le critere` de MRE est correct? Qualite´ de l’estimation |R(h)−R (h)| ≤ fct(diversite´ ,m)Emp P H Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique La theor´ ie statistique de l’apprentissage Consistance du MRE Conditions sous lesquelles le critere` de MRE est correct? ´ ` ´→ Diversite de l’espace des hypothesesH limitee Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique La theor´ ie statistique de l’apprentissage Consistance du MRE Conditions sous lesquelles le critere` de MRE est correct? ´ ` ´→ Diversite de l’espace des hypothesesH limitee Qualite´ de l’estimation |R(h)−R (h)| ≤ fct(diversit´e ,m)Emp P H
Un pour Un
Permettre à tous d'accéder à la lecture
Pour chaque accès à la bibliothèque, YouScribe donne un accès à une personne dans le besoin