La lecture en ligne est gratuite
Télécharger

Vous aimerez aussi

Cadre actuel Transition de phase en induction Science de la dynamique Apprentissage et circulation de l’information Antoine Cornuejols´ Laboratoire de Recherche en Informatique Universite´ de Paris Sud, Orsay ´ ´ ´Journee de la complexite du 2 fevrier 2006 Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique Plan 1 Un point de vue sur l’apprentissage Etat de l’art et limites 2 Transition de phase en induction Gain d’information et transition de phase Transitiondephaseeninductiondeprogrammeslogiques Tr de en inference´ grammaticale Analyse et bilan 3 Pour une science de la dynamique de l’apprentissage L’apprentissage en ligne Le cadre i.i.d. ´Les effets de sequences Contributions Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique L’essence du probleme` Definition´ [Mitchell, 82] Apprentissage = Recherche dans un espace d’hypotheses` Sous la contrainte des exemples d’apprentissage `Hypotheses ´Les observations sont des realisations (i.i.d.) d’une variable ´aleatoire de loi f ˆOn cherche un estimateur h aussi proche que possible de la loi f Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique Le paradigme Definition´ (Apprentissage) ` ´Apprentissage = Probleme inverse mal pose `A partir d’observations, trouver la loi f a` laquelle obeissent´ ces observations Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique Le paradigme Definition´ (Apprentissage) ` ´Apprentissage = Probleme inverse mal pose `A partir d’observations, trouver la loi f a` laquelle obeissent´ ces observations `Hypotheses ´Les observations sont des realisations (i.i.d.) d’une variable ´aleatoire de loi f ˆOn cherche un estimateur h aussi proche que possible de la loi f MRE ˆ ˆ`Choisir l’hypothese h telle que h = ArgMin R (h)Emph∈H X1 R (h) = ‘(h(x ),u)Emp i i m (x ,u )∈Si i Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique Le paradigme Apprentissage = Probleme` inverse mal pose´ ˆ... chercher h aussi proche que possible de la loi f Proximite´ : Esper´ ance de risque Z R(h) = E [h] = ‘(h(x),f(x)) dxdyDX×Y | {z }X×Y ˆcout pour une observation Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique Le paradigme Apprentissage = Probleme` inverse mal pose´ ˆ... chercher h aussi proche que possible de la loi f Proximite´ : Esper´ ance de risque Z R(h) = E [h] = ‘(h(x),f(x)) dxdyDX×Y | {z }X×Y ˆcout pour une observation MRE ˆ ˆ`Choisir l’hypothese h telle que h = ArgMin R (h)Emph∈H X1 R (h) = ‘(h(x ),u)Emp i i m (x ,u )∈Si i ´ ` ´→ Diversite de l’espace des hypothesesH limitee Qualite´ de l’estimation |R(h)−R (h)| ≤ fct(diversite´ ,m)Emp P H Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique La theor´ ie statistique de l’apprentissage Consistance du MRE Conditions sous lesquelles le critere` de MRE est correct? Qualite´ de l’estimation |R(h)−R (h)| ≤ fct(diversite´ ,m)Emp P H Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique La theor´ ie statistique de l’apprentissage Consistance du MRE Conditions sous lesquelles le critere` de MRE est correct? ´ ` ´→ Diversite de l’espace des hypothesesH limitee Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique La theor´ ie statistique de l’apprentissage Consistance du MRE Conditions sous lesquelles le critere` de MRE est correct? ´ ` ´→ Diversite de l’espace des hypothesesH limitee Qualite´ de l’estimation |R(h)−R (h)| ≤ fct(diversit´e ,m)Emp P H