Méthodes du 1er ordre en optimisation convexe
Objectifs
• Comprendre l’intérêt de la convexité en optimisation.rn• Comprendre les enjeux de l’optimisation convexe en grande dimension, notamment via l’analyse de convergence des différents algorithmes. rn• Comprendre l’intérêt des algorithmes proximaux pour optimiser les fonctions composites.rn• Savoir manipuler les diverses notions et inégalités liées à la convexité.rn
Plan
• Ensembles et fonctions convexes (avec différentiabilité et critère d’optimalité du premier ordre), Fonctons L-régulières et fortement convexes.rn• Algorithmes de descente de gradient (avec et sans contrainte, optimalité), gradient stochastique ; vitesses dans les cas convexe et fortement convexe, accélération de Nesterov.rn• Algorithmes proximaux ; analyse de convergence (convexe, fortement convexe).rn• Sous-différentielle, sous-gradient (définition, condition d’optimalité de Fermat), algorithmes de descente par sous-gradient. Analyse des opérateurs proximaux (lien avec la sous-différentielle).rn
Prérequis
analyse niveau prépa, probabilités générales.