Apprentissage et circulation de l'information

De
Publié par

Cadre actuel
Transition de phase en induction
Science de la dynamique
Apprentissage et circulation de l’information
Antoine Cornuejols´
Laboratoire de Recherche en Informatique
Universite´ de Paris Sud, Orsay
´ ´ ´Journee de la complexite du 2 fevrier 2006 Cadre actuel
Transition de phase en induction Etat de l’art
Science de la dynamique
Plan
1 Un point de vue sur l’apprentissage
Etat de l’art et limites
2 Transition de phase en induction
Gain d’information et transition de phase
Transitiondephaseeninductiondeprogrammeslogiques
Tr de en inference´ grammaticale
Analyse et bilan
3 Pour une science de la dynamique de l’apprentissage
L’apprentissage en ligne
Le cadre i.i.d.
´Les effets de sequences
Contributions Cadre actuel
Transition de phase en induction Etat de l’art
Science de la dynamique
L’essence du probleme`
Definition´ [Mitchell, 82]
Apprentissage = Recherche dans un espace d’hypotheses`
Sous la contrainte des exemples d’apprentissage `Hypotheses
´Les observations sont des realisations (i.i.d.) d’une variable
´aleatoire de loi f
ˆOn cherche un estimateur h aussi proche que possible de la loi f
Cadre actuel
Transition de phase en induction Etat de l’art
Science de la dynamique
Le paradigme
Definition´ (Apprentissage)
` ´Apprentissage = Probleme inverse mal pose
`A partir d’observations, trouver la loi f a` laquelle obeissent´
ces observations Cadre actuel
Transition de phase en induction Etat de l’art
Science de la dynamique
Le paradigme
Definition´ (Apprentissage)
` ...
Voir plus Voir moins
Cadre actuel Transition de phase en induction Science de la dynamique Apprentissage et circulation de l’information Antoine Cornuejols´ Laboratoire de Recherche en Informatique Universite´ de Paris Sud, Orsay ´ ´ ´Journee de la complexite du 2 fevrier 2006 Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique Plan 1 Un point de vue sur l’apprentissage Etat de l’art et limites 2 Transition de phase en induction Gain d’information et transition de phase Transitiondephaseeninductiondeprogrammeslogiques Tr de en inference´ grammaticale Analyse et bilan 3 Pour une science de la dynamique de l’apprentissage L’apprentissage en ligne Le cadre i.i.d. ´Les effets de sequences Contributions Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique L’essence du probleme` Definition´ [Mitchell, 82] Apprentissage = Recherche dans un espace d’hypotheses` Sous la contrainte des exemples d’apprentissage `Hypotheses ´Les observations sont des realisations (i.i.d.) d’une variable ´aleatoire de loi f ˆOn cherche un estimateur h aussi proche que possible de la loi f Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique Le paradigme Definition´ (Apprentissage) ` ´Apprentissage = Probleme inverse mal pose `A partir d’observations, trouver la loi f a` laquelle obeissent´ ces observations Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique Le paradigme Definition´ (Apprentissage) ` ´Apprentissage = Probleme inverse mal pose `A partir d’observations, trouver la loi f a` laquelle obeissent´ ces observations `Hypotheses ´Les observations sont des realisations (i.i.d.) d’une variable ´aleatoire de loi f ˆOn cherche un estimateur h aussi proche que possible de la loi f MRE ˆ ˆ`Choisir l’hypothese h telle que h = ArgMin R (h)Emph∈H X1 R (h) = ‘(h(x ),u)Emp i i m (x ,u )∈Si i Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique Le paradigme Apprentissage = Probleme` inverse mal pose´ ˆ... chercher h aussi proche que possible de la loi f Proximite´ : Esper´ ance de risque Z R(h) = E [h] = ‘(h(x),f(x)) dxdyDX×Y | {z }X×Y ˆcout pour une observation Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique Le paradigme Apprentissage = Probleme` inverse mal pose´ ˆ... chercher h aussi proche que possible de la loi f Proximite´ : Esper´ ance de risque Z R(h) = E [h] = ‘(h(x),f(x)) dxdyDX×Y | {z }X×Y ˆcout pour une observation MRE ˆ ˆ`Choisir l’hypothese h telle que h = ArgMin R (h)Emph∈H X1 R (h) = ‘(h(x ),u)Emp i i m (x ,u )∈Si i ´ ` ´→ Diversite de l’espace des hypothesesH limitee Qualite´ de l’estimation |R(h)−R (h)| ≤ fct(diversite´ ,m)Emp P H Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique La theor´ ie statistique de l’apprentissage Consistance du MRE Conditions sous lesquelles le critere` de MRE est correct? Qualite´ de l’estimation |R(h)−R (h)| ≤ fct(diversite´ ,m)Emp P H Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique La theor´ ie statistique de l’apprentissage Consistance du MRE Conditions sous lesquelles le critere` de MRE est correct? ´ ` ´→ Diversite de l’espace des hypothesesH limitee Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique La theor´ ie statistique de l’apprentissage Consistance du MRE Conditions sous lesquelles le critere` de MRE est correct? ´ ` ´→ Diversite de l’espace des hypothesesH limitee Qualite´ de l’estimation |R(h)−R (h)| ≤ fct(diversit´e ,m)Emp P H
Soyez le premier à déposer un commentaire !

17/1000 caractères maximum.