Ecole Centrale de Casablanca (ECC) Année: 2024 - 2025

Casablanca

TD 1 – Chaı̂nes de Markov à temps discret

Exercice 1.
On considère 5 points équirépartis sur un cercle. Un promeneur saute à chaque instant, d’un point à l’un de ses voisins
avec la probabilité 1/2 pour chaque voisin. Déterminer le graphe et la matrice de transition de la chaı̂ne ainsi obtenue.
Quelle est la période de ses états?

Exercice 2.
Dans un certain pays, il ne fait jamais beau deux jours de suite. Si un jour il fait beau, le lendemain il peut neiger ou
pleuvoir avec autant de chances. Si un jour il pleut ou il neige, il y a une chance sur deux qu’il y ait changement de
temps le lendemain, et s’il y a changement, il y a une chance sur deux que ce soit pour du beau temps.
1. Former, à partir de cela, une chaı̂ne de Markov et en déterminer sa matrice de transition.
2. Si un jour il fait beau, quel est le temps le plus probable pour le surlendemain?
3. Si on suppose que l’on a que deux états (beau temps et mauvais temps), déterminer la matrice de transition de la
nouvelle chaı̂ne ainsi obtenue.

Exercice 3.
Doudou, le hamster paresseux, ne connaı̂t que trois endroits dans sa cage : les copeaux où il dort, la mangeoire où
il mange et la roue où il fait de l’exercice. Ses journées sont assez semblables les unes aux autres, et son activité se
représente aisément par une chaı̂ne de Markov. Toutes les minutes, il peut soit changer d’activité, soit continuer celle
qu’il était en train de faire. L’appellation processus sans mémoire n’est pas du tout exagérée pour parler de Doudou.
ˆ Quand il dort, il a 9 chances sur 10 de ne pas se réveiller la minute suivante. Quand il se réveille, il y a 1 chance
sur 2 qu’il aille manger et 1 chance sur 2 qu’il parte faire de l’exercice.
ˆ Le repas ne dure qu’une minute, après il fait autre chose. Après avoir mangé, il y a 3 chances sur 10 qu’il parte
courir, mais surtout 7 chances sur 10 qu’il retourne dormir.
ˆ Courir est fatiguant; il y a 8 chances sur 10 qu’il retourne dormir au bout d’une minute. Sinon il continue en
oubliant qu’il est déjà un peu fatigué.
1. Tracer le graphe de cette chaı̂ne de Markov et donner sa matrice de transition.
2. Si Doudou dort la première minute, quelle est la probabilité qu’il dorme la minute suivante? Et celle d’après?
3. Montrer que la chaı̂ne est irréductible et apériodique. En déduire la nature des états.
4. Donner sa mesure stationnaire. Est-elle unique? Interpréter cette mesure.

Exercice 3.
Un fabricant veut fixer le niveau de publicité qu’il fait passer dans un média. Il peut choisir entre une couverture pub-
licitaire élevée (E) et une couverture publicitaire moyenne (M ). Les ventes mensuelles sont réparties en trois catégories
suivant leur nombre : C1 (peu de ventes), C2 (nombre de ventes normal ) et C3 (beaucoup de ventes). On estime que
l’évolution de la catégorie des ventes mensuelles au cours du temps peut être représentée par une chaine de Markov, dont
la matrice de transition dépend de la couverture publicitaire. Les deux matrices de transition sont respectivement les
suivantes:    
0.2 0.5 0.3 0.6 0.4 0
PE =  0.1 0.5 0.4  PM =  0.4 0.5 0.1  .
0.1 0.2 0.7 0.4 0.5 0.1
Un mois de vente de catégorie C1 (respectivement C2 et C3 ) rapporte environ 9000 euros (respectivement 12000 et 18000
euros). Une forte couverture publicitaire coûte 5000 euros par mois, alors qu’une couverture publicitaire moyenne ne
coûte que 1000 euros par mois.
1. Après avoir montré que la CM dans les deux cas est ergodique, calculer la mesure stationnaire pour les deux cas.
2. Calculer alors le bénéfice moyen du fabricant sur une grande période de temps lorsque la couverture publicitaire
est élevée, puis lorsqu’elle est moyenne. Quel est le choix le plus rentable?

1
Exercice 4.
On dispose de 2 machines identiques fonctionnant indépendamment et pouvant tomber en panne au cours d’une journée
avec la probabilité q = 1/4. On note Xn le nombre de machines en panne au début de la n−ième journée.
1. On suppose que, si une machine est tombée en panne un jour, elle est réparée la nuit suivante et qu’on ne peut
réparer qu’une machine dans la nuit. Montrer que l’on peut définir ainsi une chaı̂ne de Markov dont on déterminera
le graphe, la matrice de transition et éventuellement les distributions stationnaires.
2. Même question en supposant qu’une machine en panne n’est réparée que le lendemain, le réparateur ne pouvant
toujours réparer qu’une machine dans la journée.
3. Le réparateur, de plus en plus paresseux, met maintenant 2 jours pour réparer une seule machine. Montrer que
(Xn ) n’est plus une chaı̂ne de Markov, mais que l’on peut construire un espace de 5 états permettant de décrire le
processus par une chaı̂ne de Markov dont on donnera le graphe des transitions. Calculer la probabilité que les 2
machines fonctionnent après n jours (n = 1, n = 2 et n = 3) si elles fonctionnent initialement.

Exercice 5.
Soit la chaı̂ne de Markov à temps discret définie par la matrice de transition suivante:
 
0 1 0 0 0
 1 0 0 0 0 
 
 1/8 1/8 0 1/4 1/2 
 
 0 0 0 1 0 
0 1/6 1/3 0 1/2

1. Donner le graphe de transition de cette chaı̂ne et la classifier complètement.

2. Partant de l’état initial 3, quelle est la probabilité de visiter un jour l’état 2?

3. Partant de l’état initial 5, combien de fois en moyenne le processus y reviendra-t-il?

Exercice 6.
L’inspection d’un calculateur embarqué dans un vol habité est faite par les astronaute aux instants tk = kτ , pour
k = 1, · · · , avec τ > 0 fixé. Il n’y a pas de possibilité de réparation. Une inspection peut donner les résultats suivants:
fonctionnement parfait, défaillances mineures qui ne perturbent pas le fonctionnement global du système, défaillances
importantes qui perturbent le déroulement des expériences ou défaillance complète qui rend le vaisseau ingouvernable.
On modélise ce problème à l’aide d’une chaı̂ne de Markov. On suppose que le calculateur est en fonctionnement parfait
au départ (t = 0). Lors des vols précédents, on a estimé les probabilités de passage d’une situation à une autre lors de
deux inspections successives. Elles sont données par la matrice:
 
0.8 0.1 0.1 0
 0 0.8 0.1 0.1
 
0 0 0.8 0.2
0 0 0 1

1) Donner l’espace d’état, le graphe représentatif et la loi initiale?

2) Déterminer le nombre moyen d’inspections avant que le calculateur ne tombe en panne complète.

3) Si τ = 50 et que la durée de la mission est de 1000 heures, calculer la probabilité que les astronautes reviennent
sur terre.