Mster SID, FI GLSID, FI SEER et FI MLI

CORRIGÉ DE LA SÉRIE D’EXERCICES 9

Problème 1

a) On définit une chaı̂ne de Markov à quatre états, chacun d’eux étant formé du couple temps
de la veille - temps du jour. Le graphe et la matrice de transition de la chaı̂ne sont donnés
ci-dessous.
0.8

0.6 BB 0.2

0.4  BB BM MB MM 
0.8 0.2 0 0
MB BM P =
 0 0 0.4 0.6 

 0.6 0.4 0 0 
0.4 0 0 0.1 0.9

0.1 MM 0.6
0.9

Tous les états de la chaı̂ne sont persistants et apériodiques (et appartiennent à la même
classe). La chaı̂ne de Markov est donc ergodique.
b) La chaı̂ne de Markov étant ergodique, il existe une distribution stationnaire unique :

πP = π 1
⇒ π= ( 3 1 1 6 )
π1 = 1 11

À long terme, la probabilité d’être dans une journée de beau temps
est égale à πBB + πMB ,
3 1
le nombre moyen de jours de beau par année est donc 365 11 + 11 = 132.72 jours.
Le nombre moyen de jours de mauvais temps par année est donc de 232.28 jours.

Problème 2

a) La matrice de transition de cette chaı̂ne de Markov est

0 1 0 0 0
 

 1 0 0 0 0 

P =
 1/8 1/8 0 1/4 1/2 .

 0 0 0 1 0 
0 1/6 1/3 0 1/2
b) Les états 1 et 2 sont persistants et de période 2. Les états 3 et 5 sont transitoires. L’état 4
est absorbant et donc apériodique.
Il y a trois classes. Les états 1 et 2 forment une classe persistante. Les états 3 et 5 forment
une classe transitoire. L’état 4 forme une classe absorbante.
La chaı̂ne est réductible non ergodique et non absorbante (elle possède deux états persistants
non absorbants).

ENSET Mohammedia 79
Mster SID, FI GLSID, FI SEER et FI MLI

c) Considérons la chaı̂ne de Markov définie par le graphe de transition ci-dessous. La différence

avec la chaı̂ne de Markov d’origine est que les états 1 et 2 d’origine ont été fusionnés et que
les états persistants (absorbants en fait) ont été numérotés en premier.

1/4 1/4
1 2̃ 3̃ 1̃ 1
1/3
1/2
1/6
4̃

1/2

La matrice de transition sous forme canonique de cette chaı̂ne est

 
1 0 0 0
 0 1 0 0 
P =
 1/4 1/4 0 1/2  .


0 1/6 1/3 1/2

On peut calculer sa matrice fondamentale :
 
−1 3/2 3/2
N = (I − Q) = .
1 3
Celle-ci nous permet de calculer les probabilités d’absorption :
    
3/2 3/2 1/4 1/4 3/8 5/8
B = NR = = .
1 3 0 1/6 1/4 3/4

Dans la chaı̂ne de Markov d’origine, la probabilité de visiter l’état 2 partant de 3 est la

probabilité d’être absorbé par l’état 2̃ dans cette chaı̂ne de Markov auxiliaire. Elle est donc
de 5/8.
d) En utilisant la matrice fondamentale calculée au point c), on obtient que, dans la chaı̂ne de
Markov d’origine, le processus visite en moyenne 3 fois l’état 5 avant absorption. Comme le
processus part de l’état 5, il y reviendra en moyenne 2 fois.

Problème 3

a) Comme tous ses états sont transitoires, mis à part l’état inutilisable qui est absorbant, cette
chaı̂ne de Markov est absorbante. On calcule la matrice fondamentale N de cette chaı̂ne :
   
0.6 0.2 0.1 5/2 5/3 35/12
Q =  0 0.7 0.2  ⇒ N = (I − Q)−1 =  0 10/3 10/3  .
0 0 0.8 0 0 5
La durée de vie moyenne d’une machine neuve est égale au nombre moyen d’étapes avant ab-
sorption en commençant le processus dans l’état neuve, c’est-à-dire en sommant les éléments
85
de la première ligne de la matrice N . Cette durée est de 52 + 53 + 35
12 = 12 jours.

ENSET Mohammedia 80
Mster SID, FI GLSID, FI SEER et FI MLI

b) L’application de la politique P1 transforme notre processus en une chaı̂ne de Markov dont la

matrice de transition ne diffère de la matrice initiale qu’au niveau de la dernière ligne (seules
les transitions depuis l’état inutilisable sont affectées par cette politique) :
 
0.6 0.2 0.1 0.1
 0 0.7 0.2 0.1 
P1 =   0
.
0 0.8 0.2 
1 0 0 0

De manière similaire, pour la politique P2 , la transformation de la matrice de transition ne

touche que les deux dernières lignes :
 
0.6 0.2 0.1 0.1
 0 0.7 0.2 0.1 
P2 =   1
.
0 0 0 
1 0 0 0

Les chaı̂nes de Markov associées à ces deux politiques sont toutes deux ergodiques. Chacune
possède donc une unique distribution stationnaire que l’on obtient en résolvant les systèmes
 
π1P 1 = π1 π2P 2 = π2
et
π11 = 1 π21 = 1

Après calcul on obtient

   
30 30
1  20 
 1  20  .

π1 = et π2 =
97  35  62  7 
12 5

En utilisant la politique i, le gain journalier moyen de l’entreprise est de π i ci frs. Avec

   
1 000 1 000
 1 000   1 000 
c1 = 
 800 
 et c2 = 
 −K  ,


−K −K
on a :
78 000 12K
P1 : π 1 c1 = − ;
97 97
25 000 6K
P2 : π 2 c2 = − .
31 31
On a donc l’application des politiques optimale suivante :
– pour 0 ≤ K ≤ 100/3, il est préférable d’utiliser la politique P2 ;
– le coût moyen des deux politiques est identique pour K = 100/3 ;
– pour tout K > 100/3, il est préférable d’utiliser la politique P1 ; on remarque cependant
que pour K > 6 500, l’entreprise fonctionne à perte.

Problème 4

a) La chaı̂ne possède trois classes :

C1 = {1, 4} C2 = {2} C3 = {3, 5, 6}

ENSET Mohammedia 81
Mster SID, FI GLSID, FI SEER et FI MLI

(a) C1 est transitoire ainsi que ses états.

(b) C2 est absorbante et apériodique ainsi que son état.
(c) C3 est persistante et apériodique ainsi que ses états.
La chaı̂ne est réductible. Elle n’est ni absorbante ni ergodique.
b) On considère la classe C3 . Comme cette chaı̂ne est irréductible et apériodique, elle admet
une unique distribution stationnaire solution du système suivant :

πP = π
π1 = 1

La solution du système est donnée par π = (π3 π5 π6 ) = (2/3 1/9 2/9). Le nombre moyen
de transitions demandé est donc 1/π3 − 1 = 3/2 − 1 = 1/2.
c) En réordonnant les états dans l’ordre 2, 3, 5, 6, 1 et 4, on obtient la matrice de transitions
sous forme canonique. La matrice Q est donnée par
 
1/4 1/4
Q= .
2/5 1/3

La matrice fondamentale N est donnée par

 
−1 5/3 5/8
N = (I − Q) = .
1 15/8

Le processus passe en moyenne n22 = 15/8 périodes dans l’état 4.

d) L’état étant persistant, le nombre de périodes est infini.

Problème 5

a) Le problème peut être modélisé à l’aide d’une chaı̂ne de Markov à temps discret de la manière
suivante :
– L’ensemble des états du processus correspondent aux giratoires auxquels on a ajouté un
état absorbant pour l’hôtel.
– Les transitions représentent les choix possibles pour la sortie de chaque giratoire.
Le graphe représentatif de la chaı̂ne obtenue est

5
1/2
1
1/4
H
1/2 1/4 1/2

2 4
1/2 1/2

1/4 1
1/4

1 3
1/2

ENSET Mohammedia 82
Mster SID, FI GLSID, FI SEER et FI MLI

Cette chaı̂ne est absorbante et pour déterminer le nombre moyen de giratoires traversés,
il suffit de calculer le nombre moyen de transitions avec d’atteindre l’état absorbant H en
partant de 1. Pour cela on part de la matrice Q des probabilités de transition entre états
transitoires (les cinq états associés aux giratoires) :

0 1/2 1/2 0 0
 
 1/4 0 1/4 1/4 1/4 
 
Q=  0 0 0 1 0 
 0 1/2 0 0 0 
0 1/2 0 0 0

afin de calculer la matrice fondamentale de la chaı̂ne : N = (I − Q)−1 .

Le nombre moyen de giratoires traversés est donné par la somme des termes de la première
ligne de N (associée au giratoire 1).
b) La modélisation précédente n’est plus possible car, pour certains giratoires, il est important
de savoir d’où l’on vient afin de choisir correctement une sortie. Il faut donc modifier la
définition des états du processus afin d’introduire cette information lorsqu’elle est nécessaire.
– Pour le giratoire 1, on crée deux états : 1 (état de départ depuis lequel il est possible d’aller
vers les giratoires 2 ou 3) et 2 → 1 (représentant un retour au giratoire 1 depuis le giratoire
2).
– Pour le giratoire 2, on crée deux états : 1 → 2 et 4 → 2 représentant les différentes manières
d’arriver en 2 (il n’est pas possible d’arriver en 2 depuis 5 car la seule manière d’arriver en
5 est depuis 2).
– Pour le giratoire 3, un seul état est nécessaire car une seule sortie est possible.
– Pour le giratoire 4, on crée deux états : 2 → 4 et 3 → 4.
– Pour le giratoire 5, un seul état est nécessaire car la seule manière d’arriver en 5 est depuis
le giratoire 2.
Le graphe représentatif de la nouvelle chaı̂ne est

5
1/3 1 1

1/3
1→2 1/3 H

2→4 1

4→2 1/2
1/3
1/2
1/2
1/3 1/3
3→4

2→1 1 1
1 3
1/2

ENSET Mohammedia 83
Mster SID, FI GLSID, FI SEER et FI MLI

La fin de la résolution est similaire à celle du point précédent. On détermine la matrice Q

des probabilités de transition entre états transitoires (les cinq états associés aux giratoires) :

0 0 1/2 0 1/2 0 0 0 1
 

 0 0 0 0 1 0 0 0   2 → 1

 0 0 0 0 1/3 1/3 0 1/3  1 → 2

 0 1/3 0 0 1/3 0 0 1/3   4→2 .
Q=

 0 0 0 0 0 0 1 0   3

 0 0 0 0 0 0 0 0  2→4

 0 0 0 1/2 0 0 0 0  3→4
0 0 0 0 0 0 0 0 5

On calcule la matrice fondamentale de la chaı̂ne : N = (I − Q)−1 .

Le nombre moyen de giratoires traversés est donné par la somme des termes de la première
ligne de N (associée à l’état de départ 1).

Problème 6
Pour tout i ∈ S on a
X (1) X
πj pji = πi pij
j∈S j∈S
X
= πi pij
j∈S
(2)
= πi

On a utilisé :
(1) par hypothèse πi pij = πj pji pour tout i, j ∈ S ;
(4) P est une matrice stochastique.
Ainsi πP = π est π est une distribution invariante de la chaı̂ne de Markov.

ENSET Mohammedia 84