Dimension Reduction and Matrix Completion
Objectifs
Dans les ensembles de données modernes, de nombreuses variables sont collectées et, pour garantir de bonnes performances statistiques, il faut contourner la "malédiction de la dimensionnalité" en appliquant des techniques de réduction de la dimension. La notion clé pour clarifier les performances de la réduction de dimension est la rareté, entendue au sens large, c’est-à-dire que le phénomène étudié a une structure intrinsèque de faible dimension. La rareté est également au cœur de la détection compressive pour l’acquisition de données. La notion la plus simple de sparsité est développée pour les vecteurs, où elle ouvre la voie à la régression linéaire en haute dimension (LASSO) et à la régression non linéaire, comme par exemple les modèles linéaires généralisés en haute dimension, en utilisant des techniques de régularisation. Cependant, lorsque la structure à faible dimension n’est pas alignée avec la base choisie, ces méthodes finissent par échouer, et nous nous tournons alors vers des algorithmes d’intégration tels que SNE ou ses variantes afin d’obtenir une représentation à plus faible dimension de l’ensemble de données.rnrn – Comprendre la malédiction de la dimension et la notion de sparsité. rn- Connaître la définition du Lasso et de ses principales variantes, ainsi que ses principales implémentations algorithmiques. rn- Comprendre le réglage du Lasso et connaître les principales techniques. rn- Savoir comment régulariser un modèle linéaire généralisé de haute dimension. rn- Comprendre les bases des intégrations et les principaux algorithmes qui utilisent cette technique.rn
Plan
– Régression linéaire en haute dimension. rn- Modèles linéaires généralisés à haute dimension. rn- Algorithmes d’intégration : SNE, t-SNE, UMAP
Prérequis
Statistiques de base, algèbre linéaire et probabilités. rn