Apprentissage statistique

Objectifs

Ce cours présente les principes de l’apprentissage automatique (Machine Learning) ainsi que les modèles les plus utilisés.

Plan

– Principes de l’apprentissage automatique
-Apprentissage supervisé vs. non-supervisé ; échantillon d’entraînement et de validation, overfitting, erreur de généralisation ; fonction de coût (loss function) et minimisation d’une erreur ; évaluation des méthodes non-supervisées ;
– Réseaux de neurones
– Principe des réseaux de neurones ; propriétés des réseaux de neurones simples ; descente de gradient ; réseaux de neurones profonds ; architectures particulières (ex: réseaux de convolution ; réseaux récurrents ; …) ; réduction de la dimension à l’aide de réseaux de neurones (auto-encodeurs ; word2vec ; …).

– Méthodes d’agrégation
– Quelques rappels et approfondissements (CART, multiregression trees), Bagging, random forests, Boosting, XGBoost, Stacking (agrégation de modèles de types différents par construction d’un modèle « superviseur » qui combine au mieux les prédictions des modèles primaires.)
– Support Vector Machines
– Classification par hyper-plan séparateur ; classifieur de marge maximale ; données non linéairement séparable et méthodes à noyau ; SVM multi-classe ; liens avec d’autres modèles (logistique, réseaux de neurones) ; descente de gradient

Prérequis

R, Python, algèbre linéaire, optimisation de fonctions