Séminaires


Retour à la liste de tous les séminaires


Modèle de Single-Index Parcimonieux (ou "sparse")

Le : 05/12/2011 11h00
Par : Pierre ALQUIER (LPMA)
Lieu : I 103
Lien web :
Résumé : Les modèles dits à "Single-Index" sont très utilisés dans un certain nombre d'applications. L'idée est d'estimer la fonction de régression f(X)=E(Y|X) où X est dans un espace de grande dimension (p) par une fonction de la forme g(): ainsi, l'estimation de f est ramenée à l'estimation non paramétrique d'une fonction d'une seule variable réelle, g, et d'un paramètre, T. Malheureusement, malgré sa simplicité, ce modèle pose des difficultés sérieuses lorsque p est grand: difficultés computationnelles, et difficulté d'estimation du paramètre T. Pour éviter ce problème, nous proposons ici de supposer que le paramètre T est sparse. En utilisant l'approche PAC-Bayésienne, on propose un estimateur de (g,T) satisfaisant une inégalité oracle précise. Nous montrons également qu'il est possible d'implémenter l'estimateur proposé en utilisant l'algorithme de Hastings-Metropolis, et illustrons sur des simulations et des données réelles l'amélioration par rapport à d'autres méthodes d'estimation. Les modèles dits à "Single-Index" sont très utilisés dans un certain nombre d'applications. L'idée est d'estimer la fonction de régression f(X)=E(Y|X) où X est dans un espace de grande dimension (p) par une fonction de la forme g(): ainsi, l'estimation de f est ramenée à l'estimation non paramétrique d'une fonction d'une seule variable réelle, g, et d'un paramètre, T. Malheureusement, malgré sa simplicité, ce modèle pose des difficultés sérieuses lorsque p est grand: difficultés computationnelles, et difficulté d'estimation du paramètre T. Pour éviter ce problème, nous proposons ici de supposer que le paramètre T est sparse. En utilisant l'approche PAC-Bayésienne, on propose un estimateur de (g,T) satisfaisant une inégalité oracle précise. Nous montrons également qu'il est possible d'implémenter l'estimateur proposé en utilisant l'algorithme de Hastings-Metropolis, et illustrons sur des simulations et des données réelles l'amélioration par rapport à d'autres méthodes d'estimation. Les modèles dits à "Single-Index" sont très utilisés dans un certain nombre d'applications. L'idée est d'estimer la fonction de régression f(X)=E(Y|X) où X est dans un espace de grande dimension (p) par une fonction de la forme g(): ainsi, l'estimation de f est ramenée à l'estimation non paramétrique d'une fonction d'une seule variable réelle, g, et d'un paramètre, T. Malheureusement, malgré sa simplicité, ce modèle pose des difficultés sérieuses lorsque p est grand: difficultés computationnelles, et difficulté d'estimation du paramètre T. Pour éviter ce problème, nous proposons ici de supposer que le paramètre T est sparse. En utilisant l'approche PAC-Bayésienne, on propose un estimateur de (g,T) satisfaisant une inégalité oracle précise. Nous montrons également qu'il est possible d'implémenter l'estimateur proposé en utilisant l'algorithme de Hastings-Metropolis, et illustrons sur des simulations et des données réelles l'amélioration par rapport à d'autres méthodes d'estimation.