Machine Learning for Natural Language Processing (NLP)
Objectifs
– Comprendre les fondements des modèles NLP récents (modèles de langage, transformateurs, GPT)
– Mettre en œuvre des pipelines de traitement du langage naturel
– Concevoir des solutions pour l’extraction d’informations textuelles
Plan
Le cours introduira les principales notions de NLP et détaillera les approches modernes de NLP basées sur l’apprentissage automatique, en passant par les points suivants : représentation des mots, classification des textes, étiquetage des mots, modélisation du langage, transformateurs et modèles de langage de grande taille, génération de textes.
Les cours mêleront étroitement cours magistraux et travaux pratiques guidés qui seront complétés par de petits projets personnels poursuivant les sessions de travaux pratiques guidés.
Prérequis
– Fondements de l’apprentissage automatique (probabilités/statistiques, optimisation, descente de gradient, fonction de perte, etc.)
– Bonne connaissance de Python
– Familiarité avec tensirflow/keras et/ou pyTorch