markov

Soit un système \(\mathcal{S}\) possédant un nombre d’états finis.
On nomme \(S = \left\{ x_{1},x_{2},\ldots x_{n} \right\}\) les états dans lesquels peut se retrouver S.
À chaque instant \(n \in {\mathbb{N}}\), on note \(X_{n}\) la variable aléatoire décrivant l’état du système à cet instant \(n\).

Processus stochastique:

Suite représentant une évolution discrète dans le temps

Propriété de Markov à l’ordre k:

Suite \(\left( X_{n} \right)_{n \in {\mathbb{N}}}\) où \({\mathbb{P}}(X_{n}~|~X_{1}\ldots X_{n - 1}) = {\mathbb{P}}(X_{n}~|~X_{n - k}\ldots X_{n - 1})\)
En particulier à l’ordre 1: \({\mathbb{P}}(X_{n}~|~X_{1}\ldots X_{n - 1}) = {\mathbb{P}}(X_{n}~|~X_{n - 1})\). ❦

Chaine de Markov: ❦

Processus stochastique vérifiant la propriété de Markov à l’ordre 1

Chaı̂ne de Markov homogène:

Si vérifie: \[\forall n \in {\mathbb{N}}^{\ast},{\mathbb{P}}(X_{n}~|~X_{n - 1}) = {\mathbb{P}}(X_{1}~|~X_{0})\]

Relation de communication:

On dit que deux états i j communiquent (noté \(i \leftrightarrow j\)) si i et accessible par j et si j est accessible par i.

Chaine irréductible: ❦

Une chaine est dite irréductible s’il n’existe qu’une seule classe pour la relation d’équivalence \(\leftrightarrow\)

Sous ensemble absorbant:

Un sous-ensemble d’états C ⊂ S est absorbant si et seulement :

• C est une sous-chaı̂ne de Markov.

• C forme une chaı̂ne de Markov irréductible.

Périodicité:

Un état est périodique si l’on peut y revenir en n > 1 sauts, de période le nombre minimal de sauts. Une chaine est périodique si le PGCD des périodes est supérieur à 1.

Remarque: deux états communiquant ont même période

Temps de premier retour ❦:

On définit une nouvelle variable aléatoire \(\left( \tau_{i} \right)_{i \in {\mathbb{N}}}\) telle que: \[\forall i \in {\mathbb{N}},\tau_{i} = \begin{cases} \inf\left\{ k \geq 1~|~X_{k} = i \right\} & \text{si }\left\{ k \geq 1~|~X_{k} = i \right\} \neq \varnothing \\ + \infty & \text{sinon} \end{cases}\]

État récurrent ❦:

Un état \(i\) est récurrent si: \[{\mathbb{P}}(\tau_{i} < + \infty) = 1\]

État transient ❦:

Un état \(i\) est transient si: \[{\mathbb{P}}(\tau_{i} < + \infty) < 1\]

Proba de premier retour en i en n étapes

\[f_{ii}^{(n)} = {\mathbb{P}}(\tau_{i} = n)\]

Temps moyen de retour en i:

\[M_{i} = \sum_{n = 1}^{+ \infty}n \cdot f_{ii}^{(n)}\]

Érgodicité

Chaine ergodique

Une chaine de Markov est dite ergodique ssi elle est:

• irréductible

• apériodique

• récurente positive

Théorème ergodique

Soit \(\left( \pi_{n} \right)_{n \in {\mathbb{N}}}\) le vecteur représentant la probabilité de chaque état au moment \(n \in {\mathbb{N}}\). Pour une chaine ergodique, \(\pi\) converge vers \(\pi^{\ast}\) et: \[\begin{cases} \pi^{\ast} \cdot P & = \pi^{\ast} \\ \sum_{j = 1}^{n}\pi_{1j}^{\ast} & = 1 \end{cases}\] De plus, \[\pi_{1j}^{\ast} = \frac{1}{{\mathbb{E}}(\tau_{i})}\]

Page incomplète ou erronée? Contribuez sur le repo