Chaînes de Markov

Objectifs

-objectif1 : Reconnaître et prouver qu’un processus stochastique est une chaîne de Markov.
-objectif2 : Analyser la structure statique d’une chaîne de Markov (c’est-à-dire établir le graphe de transition associé, identifier la structure en classes de communication, montrer la récurrence ou la transience des états de la chaîne, calculer les périodicités des classes).
-objectif3 : Décrire le comportement limite d’une chaîne ergodique (par le calcul de la loi stationnaire, éventuellement réversible ; citer et appliquer les théorèmes limites du cours).

Plan

Définition d’une chaîne de Markov homogène à temps discret sur un espace d’états discret. Illustration par des modèles fondamentaux introduits dans divers contextes de modélisation. Équation de Chapman-Kolmogorov et formules de conditionnement. Classification des états, périodicité, temps d’atteinte, récurrence et transience. Loi stationnaire et théorèmes limites, réversibilité d’une chaîne de Markov.

Prérequis

Cours de probabilités de base