La lecture en ligne est gratuite
Le téléchargement nécessite un accès à la bibliothèque YouScribe
Tout savoir sur nos offres

Partagez cette publication

Vous aimerez aussi

Cadre actuel Transition de phase en induction Science de la dynamique Apprentissage et circulation de l’information Antoine Cornuejols´ Laboratoire de Recherche en Informatique Universite´ de Paris Sud, Orsay ´ ´ ´Journee de la complexite du 2 fevrier 2006 Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique Plan 1 Un point de vue sur l’apprentissage Etat de l’art et limites 2 Transition de phase en induction Gain d’information et transition de phase Transitiondephaseeninductiondeprogrammeslogiques Tr de en inference´ grammaticale Analyse et bilan 3 Pour une science de la dynamique de l’apprentissage L’apprentissage en ligne Le cadre i.i.d. ´Les effets de sequences Contributions Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique L’essence du probleme` Definition´ [Mitchell, 82] Apprentissage = Recherche dans un espace d’hypotheses` Sous la contrainte des exemples d’apprentissage `Hypotheses ´Les observations sont des realisations (i.i.d.) d’une variable ´aleatoire de loi f ˆOn cherche un estimateur h aussi proche que possible de la loi f Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique Le paradigme Definition´ (Apprentissage) ` ´Apprentissage = Probleme inverse mal pose `A partir d’observations, trouver la loi f a` laquelle obeissent´ ces observations Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique Le paradigme Definition´ (Apprentissage) ` ´Apprentissage = Probleme inverse mal pose `A partir d’observations, trouver la loi f a` laquelle obeissent´ ces observations `Hypotheses ´Les observations sont des realisations (i.i.d.) d’une variable ´aleatoire de loi f ˆOn cherche un estimateur h aussi proche que possible de la loi f MRE ˆ ˆ`Choisir l’hypothese h telle que h = ArgMin R (h)Emph∈H X1 R (h) = ‘(h(x ),u)Emp i i m (x ,u )∈Si i Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique Le paradigme Apprentissage = Probleme` inverse mal pose´ ˆ... chercher h aussi proche que possible de la loi f Proximite´ : Esper´ ance de risque Z R(h) = E [h] = ‘(h(x),f(x)) dxdyDX×Y | {z }X×Y ˆcout pour une observation Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique Le paradigme Apprentissage = Probleme` inverse mal pose´ ˆ... chercher h aussi proche que possible de la loi f Proximite´ : Esper´ ance de risque Z R(h) = E [h] = ‘(h(x),f(x)) dxdyDX×Y | {z }X×Y ˆcout pour une observation MRE ˆ ˆ`Choisir l’hypothese h telle que h = ArgMin R (h)Emph∈H X1 R (h) = ‘(h(x ),u)Emp i i m (x ,u )∈Si i ´ ` ´→ Diversite de l’espace des hypothesesH limitee Qualite´ de l’estimation |R(h)−R (h)| ≤ fct(diversite´ ,m)Emp P H Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique La theor´ ie statistique de l’apprentissage Consistance du MRE Conditions sous lesquelles le critere` de MRE est correct? Qualite´ de l’estimation |R(h)−R (h)| ≤ fct(diversite´ ,m)Emp P H Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique La theor´ ie statistique de l’apprentissage Consistance du MRE Conditions sous lesquelles le critere` de MRE est correct? ´ ` ´→ Diversite de l’espace des hypothesesH limitee Cadre actuel Transition de phase en induction Etat de l’art Science de la dynamique La theor´ ie statistique de l’apprentissage Consistance du MRE Conditions sous lesquelles le critere` de MRE est correct? ´ ` ´→ Diversite de l’espace des hypothesesH limitee Qualite´ de l’estimation |R(h)−R (h)| ≤ fct(diversit´e ,m)Emp P H