Master Statistique Appliquée

Mention Statistique pour l’Entreprise

Modèles de régression linéaire

Magalie Fromont Renoir

Table des matières

1 Le modèle de régression linéaire simple 7

1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2 De très nombreux exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2.1 Exemples historiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2.2 Prix et consommation de tabac . . . . . . . . . . . . . . . . . . . . . . . 8
1.2.3 Consommation d’alcool et espérance de vie par pays . . . . . . . . . . 8
1.2.4 Qualité de l’air en Bretagne . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.2.5 Hauteur des eucalyptus . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.3 Modèle de régression linéaire simple . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3.1 Formulation analytique . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3.2 Formulation vectorielle . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.4 Estimation (ponctuelle) et prédiction dans le cas général . . . . . . . . . . . . 11
1.4.1 Estimation ponctuelle des cœfficients de régression . . . . . . . . . . . 11
1.4.2 Estimation ponctuelle de la variance, valeurs ajustées et résidus . . . . 14
1.4.3 Le cœfficient de détermination R2 . . . . . . . . . . . . . . . . . . . . . 15
1.4.4 Prédiction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.4.5 Ecritures matricielles et interprétations géométriques . . . . . . . . . . 16
1.5 Inférence sous hypothèse gaussienne . . . . . . . . . . . . . . . . . . . . . . . . 18
1.5.1 Estimateurs du maximum de vraisemblance . . . . . . . . . . . . . . . 18
1.5.2 Intervalles et régions de confiance pour les cœfficients de régression . 19
1.5.3 Tests d’hypothèses sur β0 . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.5.4 Tests d’hypothèses sur β1 . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.5.5 Intervalles de confiance et tests d’hypothèses sur la variance . . . . . . 20
1.5.6 Intervalles de prédiction . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.6 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

2 Le modèle de régression linéaire multiple 27

2.1 Introduction : retour sur les exemples . . . . . . . . . . . . . . . . . . . . . . . 27
2.2 Modélisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.3 Exemples de modèles de régression linéaire multiple . . . . . . . . . . . . . . 28
2.3.1 Variables explicatives quantitatives . . . . . . . . . . . . . . . . . . . . 28
2.3.2 Transformations de variables explicatives quantitatives . . . . . . . . . 29
2.3.3 Variables explicatives qualitatives . . . . . . . . . . . . . . . . . . . . . 29
2.3.4 Interactions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.4 Estimateur des moindres carrés ordinaires . . . . . . . . . . . . . . . . . . . . . 29
2.5 Valeurs ajustées, résidus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

3
Table des matières

2.6 Somme des carrés résiduelle et estimation ponctuelle de la variance . . . . . . 32

2.7 Equation d’analyse de la variance, cœfficient de détermination . . . . . . . . . 32
2.8 Prédiction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.9 Estimation par intervalles de confiance et tests d’hypothèses asymptotiques . 33
2.9.1 Théorèmes limites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.9.2 L’idée du bootstrap non paramétrique . . . . . . . . . . . . . . . . . . . 33
2.10 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

3 Le modèle de régression linéaire multiple sous hypothèse gaussienne 39

3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.2 Estimateurs du maximum de vraisemblance . . . . . . . . . . . . . . . . . . . 40
3.3 Lois des estimateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.4 Intervalles et régions de confiance pour les paramètres - Intervalles de prédiction 41
3.4.1 Intervalles et régions de confiance pour les cœfficients de régression . 41
3.4.2 Intervalles de confiance pour la variance σ2 . . . . . . . . . . . . . . . . 42
3.4.3 Intervalles de prédiction . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.5 Tests d’hypothèses sur les cœfficients de régression . . . . . . . . . . . . . . . 42
3.5.1 Test de nullité d’un cœfficient ou de (non) significativité d’une variable
explicative . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.5.2 Tests d’hypothèses linéaires sur les cœfficients . . . . . . . . . . . . . . 43
3.5.3 Test du rapport de vraisemblance maximale . . . . . . . . . . . . . . . 43
3.6 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

4 Détection (et correction) des écarts au modèle 53

4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.2 Analyse des résidus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.2.1 Les différents résidus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.2.2 Détection des écarts au modèle . . . . . . . . . . . . . . . . . . . . . . . 55
4.2.3 Données aberrantes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
4.3 Analyse de la matrice de projection, effet levier . . . . . . . . . . . . . . . . . . 56
4.3.1 Propriétés de la matrice de projection . . . . . . . . . . . . . . . . . . . 56
4.3.2 Effet levier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.4 Mesures d’influence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.4.1 Distance de Cook . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.4.2 Distance de Welsh-Kuh (DFFITS) . . . . . . . . . . . . . . . . . . . . . . 58
4.5 Correction des écarts au modèle . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
4.5.1 Ajout d’une variable explicative . . . . . . . . . . . . . . . . . . . . . . 58
4.5.2 Transformation des variables . . . . . . . . . . . . . . . . . . . . . . . . 59
4.5.3 Cas particulier d’hétéroscédasticité : Moindres Carrés Généralisés . . . 59
4.6 Exercice : Compléments / questions de cours . . . . . . . . . . . . . . . . . . . 60

5 Sélection de variables 63
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
5.2 Critères de qualité d’un modèle . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
5.2.1 Qualité de l’estimation, erreur quadratique moyenne (EQM) . . . . . . 64
5.2.2 Qualité de la prédiction, erreur quadratique moyenne de prédiction
(EQMP) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

4
 Table des matières

5.3 Critères de sélection de variables . . . . . . . . . . . . . . . . . . . . . . . . . . 65

5.3.1 Cadre général (conditions standards) . . . . . . . . . . . . . . . . . . . 65
5.3.2 Cadre gaussien . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
5.4 Liens entre les différents critères . . . . . . . . . . . . . . . . . . . . . . . . . . 68
5.4.1 R2a et test de validité de sous-modèle . . . . . . . . . . . . . . . . . . . . 68
5.4.2 Cp et test de validité de sous-modèle . . . . . . . . . . . . . . . . . . . . 68
5.4.3 Critères de vraisemblance pénalisée et test de validité de sous-modèle 68
5.5 Méthodes algorithmiques de sélection . . . . . . . . . . . . . . . . . . . . . . . 68
5.5.1 Méthode de recherche exhaustive . . . . . . . . . . . . . . . . . . . . . 68
5.5.2 Méthode de recherche descendante (backward) . . . . . . . . . . . . . 68
5.5.3 Méthode de recherche ascendante (forward) . . . . . . . . . . . . . . . 69
5.5.4 Méthode de recherche progressive (stepwise) . . . . . . . . . . . . . . . 69
5.6 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69

6 Annales corrigées 73
6.1 Examens partiels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
6.1.1 Sujet 1 (durée : 1h30) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
6.1.2 Sujet 1 : éléments de correction . . . . . . . . . . . . . . . . . . . . . . . 77
6.1.3 Sujet 2 (durée : 1h30) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
6.1.4 Sujet 2 : éléments de correction . . . . . . . . . . . . . . . . . . . . . . . 83
6.1.5 Sujet 3 (durée : 2h) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
6.1.6 Sujet 1 - Éléments de correction . . . . . . . . . . . . . . . . . . . . . . . 91
6.2 Examens terminaux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
6.2.1 Sujet 1 (durée : 3h) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
6.2.2 Sujet 1 - Éléments de correction . . . . . . . . . . . . . . . . . . . . . . . 100
6.2.3 Sujet 2 (durée : 3h) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
6.2.4 Sujet 2 : Éléments de correction . . . . . . . . . . . . . . . . . . . . . . . 109
6.2.5 Sujet 2 bis (durée : 2h) - Entraînement . . . . . . . . . . . . . . . . . . . 113
6.2.6 Sujet 3 (durée : 2h) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
6.2.7 Sujet 3 : Éléments de correction . . . . . . . . . . . . . . . . . . . . . . . 123

5
6
Chapitre 1

Le modèle de régression linéaire

simple

1.1 Introduction
On dispose au point de départ des observations (x1 , y1 ), . . . , (xn , yn ) de n couples (X1 , Y1 ), . . . , (Xn , Yn )
de variables aléatoires réelles.
Théorème de la variance totale : E[var(Yi |Xi )] ≤ var(Yi ). Interprétation : le phénomène
aléatoire représenté par les Xi peut servir à expliquer, ou plutôt à décrire, celui représenté par
les Yi , puis éventuellement à le prédire.
On va donc chercher une fonction f telle que pour tout i, f (Xi ) "approche au mieux" Yi .

Deux questions :
— Quel sens donner à "approcher au mieux" ?
— Quelle forme de fonction f choisir ?

Des réponses :
— Se donnant une fonction de perte (ou fonction de coût) l, comme par exemple la fonction
de perte absolue définie par l(y, y0 ) = |y−y0 | ou la
hPfonction de perte
i quadratique définie
n
par l(y, y ) = (y − y ) , on vise f minimisant E i=1 l(Yi , f (Xi )) .
0 0 2

— Beaucoup de possibilités pour la forme de f , mais la plus simple et naturelle (valable

dans de très nombreuses situations pratiques néanmoins) est la forme affine (ou
linéaire par abus de langage).

1.2 De très nombreux exemples

1.2.1 Exemples historiques
Gauss et Legendre (1795/1809, 1805) : mécanique céleste et méthode des moindres carrés
ordinaires.

Article de Francis Galton, Regression towards mediocrity in hereditary stature, Journal of the
Anthropological Institute 15 : 246-63 (1886), à l’origine de l’anglicisme régression. Travaux
antérieurs sur les diamètres de graines de pois de senteur et de leur descendance (1885).

7
Chapitre 1. Le modèle de régression linéaire simple

À l'origine de la régression

Adrien Marie Legendre Carl Friedrich Gauss

(1752-1833) (1777-1855)

Francis Galton
(1822-1911)

1.2.2 Prix et consommation de tabac

Données INSEE : prix relatif du tabac (indice 100 en 1970) et consommation de tabac (en
grammes par adulte de 15 ans ou plus et par jour) en France de 1951 à 2009.

1.2.3 Consommation d’alcool et espérance de vie par pays

Données issues du rapport de l’OMS datant de février 2011 sur la consommation d’alcool (en
L d’alcool pur par adulte de 15 ans ou plus) en projection pour l’année 2008, et l’espérance
de vie en 2009 par pays.

1.2.4 Qualité de l’air en Bretagne

Données fournies par Air Breizh : mesures du maximum journalier de la concentration en
O3 (en µg/ml) et de la température à 12h de 1994 à 2001.

1.2.5 Hauteur des eucalyptus

Données fournies par le Cirad (Centre de coopération internationale en recherche agrono-
mique pour le développement) : mesures de la circonférence à 1 mètre 30 du sol et de la
longueur du tronc d’eucalyptus d’une parcelle plantée.

8
 1.2. De très nombreux exemples

Figure 1.1 – Représentations graphiques des nuages de points

Données Insee sur le prix et la consommation de tabac (1951−2009) Espérance de vie et consommation d’alcool par pays
7

80
Espérance de vie à la naissance en 2009

75
Consommation par jour par adulte (g)

70
65
5

60
4

55
50
3

100 150 200 0 5 10 15 20

Prix relatif (indice 100 en 1970) Consommation d’alcool (en L d’alcool pur / adulte de plus de 15 ans) en 2008

Données Air Breizh sur l’année 2000 Données CIRAD sur la hauteur des eucalyptus
140

25
120
100

Hauteur
maxO3

20
80

15
60

5 10 15 20 25 30 30 40 50 60 70

T12 Circonférence à 1m30

9
Chapitre 1. Le modèle de régression linéaire simple

1.3 Modèle de régression linéaire simple

1.3.1 Formulation analytique
Les Yi et les Xi n’étant pas, dans l’immense majorité des cas, exactement liées de façon affine,
on suppose qu’elles le sont "en moyenne" c’est à dire que E[Yi ] = β0 + β1 E[Xi ] pour tout
i = 1 . . . n.

On introduit alors le modèle statistique suivant :

Yi = β0 + β1 Xi + εi , pour i = 1 . . . n,

où
— Xi est une variable aléatoire observée appelée régresseur ou variable explicative,
— Yi est une variable aléatoire observée, appelée variable à expliquer,
— β0 et β1 sont des paramètres réels inconnus appelés paramètres de régression ou cœfficients
de régression,
— les εi sont des variables aléatoires indépendantes des Xi , non observées, appelées
erreurs ou bruits, auxquelles on impose certaines conditions complémentaires.

Les conditions standards imposées aux εi sont les suivantes :

— (C1 ) : E[εi ] = 0 pour tout i = 1 . . . n (centrage),
— (C2 ) : cov(εi , ε j ) = 0 pour tout i , j (non corrélation),
— (C3 ) : var(εi ) = σ2 (inconnue) pour tout i = 1 . . . n (homoscédasticité).

Ce modèle est appelé modèle de régression linéaire simple.

Conditionnement sachant Xi = xi ⇒ on considère dans toute la suite du chapitre le modèle :

Yi = β0 + β1 xi + εi , pour i = 1 . . . n, (1.1)

où
— xi est déterministe, et il existe au moins un couple (i, j) tel que xi , x j ,
— Yi est une variable aléatoire observée,
— β0 et β1 sont des paramètres réels inconnus,
— les εi sont des variables aléatoires non observées vérifiant les conditions (C1 ) à (C3 ),

On a ainsi :
— E[Yi ] = β0 + β1 xi pour tout i = 1 . . . n,
— cov(Yi , Y j ) = 0 pour tout i , j et var(Yi ) = σ2 pour tout i = 1 . . . n.

10
 1.4. Estimation (ponctuelle) et prédiction dans le cas général

Objectifs de statistique inférentielle :

— Estimation ponctuelle de (β0 , β1 ) sur la base des observations y1 , . . . , yn de Y1 , . . . , Yn
de façon à expliquer "au mieux" les variables Yi en fonction des xi , puis à prédire "au
mieux" une valeur de Yn+1 à partir d’une nouvelle valeur xn+1 .
— Estimation ponctuelle de la variance σ2 .
— Construction d’intervalles de confiance, de tests d’hypothèses et de critères permettant
de juger de la qualité de l’explication ou de la prédiction : condition sur la loi des εi
nécessaire.

1.3.2 Formulation vectorielle

Y = β0 1 + β1 x + ε = Xβ + ε,
avec

Y1 1 x1 1 x1  ε1
         
β0
!
.. .. .. .. ..  , ..
        
Y =   , 1 =   , x =   , X =  β= et ε =   .
        
.  .  .  . .  β1 . 
   
Yn 1 xn 1 xn εn
     

Les conditions (C1 ) à (C3 ) se traduisent par :

— E[ε] = 0 et E[Y] = β0 1 + β1 x = Xβ,
— Var(ε) = Var(Y) = σ2 In .

Représentation géométrique :
E(X) désigne le sous-espace vectoriel de Rn engendré par les vecteurs 1 et x. On remarque
que la projection orthogonale de Y sur le sous-espace vectoriel engendré par 1 est Ȳ1.

1.4 Estimation (ponctuelle) et prédiction dans le cas général

1.4.1 Estimation ponctuelle des cœfficients de régression
hP i
Rappel : on vise f affine minimisant E ni=1 l(Yi , f (xi ) , c’est-à-dire un couple (β0 , β1 ) mini-
hP i
misant E ni=1 l(Yi , β0 + β1 xi )) . La loi des Yi étant inconnue, on applique le même principe
que celui de la méthode des moments. Les Pparamètres (β0 , β1 ) peuvent alors être estimés par
β̂0 et β̂1 tels que (β̂0 , β̂1 ) ∈ argmin(β0 ,β1 )∈R2 ni=1 l(Yi , β0 + β1 xi ).
n o
Définition 1. On appelle droite de régression l’ensemble D = (x, y), y = β̂0 + β̂1 x .

Représentation pour la perte absolue et pour la perte quadratique (moins robuste).

Choix usuel de la perte quadratique ⇒ moindres carrés ordinaires.

Moindres carrés ordinaires

Définition 2. On appelle estimateurs des moindres Pncarrés ordinaires2 (MCO) de β0 et β1 les

estimateurs β̂0 et β̂1 tels que (β̂0 , β̂1 ) ∈ argmin(β0 ,β1 )∈R2 i=1 (Yi − β0 − β1 xi ) .

11
Chapitre 1. Le modèle de régression linéaire simple

Calcul des estimateurs des MCO :

 β̂0 = Ȳ − β̂1 x̄ P


 Pn n Pn Pn Pn
i=1 xi Yi − i=1 xi Ȳ xi (Yi −Ȳ) (xi −x̄)Yi (x −x̄)(Yi −Ȳ)
 β̂1 = Pn x2 −Pn x x̄ = Pi=1 = Pi=1 = Pn i
i=1

n n
 2 2 2
i=1 i i=1 i i=1 (xi −x̄) i=1 (xi −x̄) i=1 (xi −x̄)

Preuve. On note L(β0 , β1 ) = ni=1 (Yi − β0 − β1 xi )2 . La fonction L est une fonction de deux
P
variables réelles. Ses points critiques sont obtenus par la résolution du système :

∂L

 ∂β0 (β0 , β1 ) = 0


∂L
(β0 , β1 ) = 0.


 ∂β
1

 Pn 
(x −x̄)(Y −Ȳ)
On obtient le point critique (β̂0 , β̂1 ) = Ȳ − β̂1 x̄, i=1Pn i (x −x̄)i 2 , et on vérifie que ce point cri-
i=1 i

tique correspond à un minimum local à l’aide des notations de Monge. p = ∂∂βL2 (β̂0 , β̂1 ) = 2n,
2

q = ∂β∂0 ∂β ∂2 L
2L Pn Pn 2
β̂ , β̂ = = β̂ , β̂ = 2 = 4(n n x2 − ( n x )2 ).
P P
1
( 0 1 ) 2 i=1 x i , r ∂β12 ( 0 1 ) 2 i=1 xi
, donc pr − q i=1 i i=1 i
Pn Pn 2 Pn 2 Pn 2
L’inégalité de Cauchy-Schwarz donne ( i=1 xi ) ≤ i=1 1 . i=1 xi ≤ n i=1 xi , avec égalité
2

lorsque (x1 , . . . , xn ) est colinéaire à (1, . . . , 1), c’est-à-dire lorsque tous les xi sont égaux (ce qui
n’est pas possible par hypothèse). On a donc pr − q2 > 0 et (β̂0 , β̂1 ) est bien un minimum local.

Remarque : la droite de régression des MCO calculée passe par le centre de gravité (x̄, ȳ) du
nuage de points.

Retour sur les exemples (Figure 1.2) : tracé des droites de régression des MCO calculées sur
les observations.

Propriétés des estimateurs des MCO

Thèorème 1. Les estimateurs des MCO vérifient les propriétés suivantes.
1. β̂0 et β̂1 sont des estimateurs linéaires en (Yi )i=1...n , sans biais de β0 et β1 respectivement ;
Pn 2
i=1 xi
2. var(β̂0 ) = Pn σ2 ;
n i=1 (xi − x̄)2
1
3. var(β̂1 ) = Pn 2
σ2 ;
i=1 (x i − x̄)
−x̄
4. cov(β̂0 , β̂1 ) = Pn 2
σ2 .
(x
i=1 i − x̄)
Preuve.
Pn
(xi −x̄)Yi
Pn xi −x̄ 2 .
Pn
β̂1 = Pi=1
n 2 = i=1 wi Yi , avec wi =
i=1 (xi −x̄) i=1 (xi −x̄)

P  
De même, β̂0 = Ȳ − β̂1 x̄ = ni=1 n1 − x̄wi Yi , donc les estimateurs des MCO sont bien des
estimateurs linéaires.
Pour la suite, on note au préalable que :
1. ni=1 wi = ni=1 Pn x(x
i −x̄
= 0,
P P
−x̄)2 i=1 i

12
 1.4. Estimation (ponctuelle) et prédiction dans le cas général

Figure 1.2 – Représentations graphiques des droites de régression

Données Insee sur le prix et la consommation de tabac (1951−2009) Espérance de vie et consommation d’alcool par pays
7

80
Espérance de vie à la naissance en 2009

75
Consommation par jour par adulte (g)

70
+

65
5

60
4

55
50
3

100 150 200 0 5 10 15 20

Prix relatif (indice 100 en 1970) Consommation d’alcool (en L d’alcool pur / adulte de plus de 15 ans) en 2008

Données Air Breizh sur l’année 2000 Données CIRAD sur la hauteur des eucalyptus
140

25
120

+
100

Hauteur
maxO3

20
80

+
15
60

5 10 15 20 25 30 30 40 50 60 70

T12 Circonférence à 1m30

13
Chapitre 1. Le modèle de régression linéaire simple

Pn Pn (x −x̄)xi Pn (xi −x̄)(xi −x̄)

2. i=1 wi xi = i=1
Pn i 2 = i=1
Pn 2 = 1,
i=1 (xi −x̄) i=1 (xi −x̄)
Pn Pn (x −x̄)2
3. 2
i=1 wi = P i
i=1 ( ni=1 (xi −x̄)2 )2 = Pn 1
2 .
i=1 (xi −x̄)

Alors :
E[β̂1 ] = E[ ni=1 wi Yi ] = ni=1 wi (β0 + β1 xi ) = β1 ni=1 wi xi = β1 , et
P P P
E[β̂0 ] = E[Ȳ − β̂1 x̄] = E[β0 + β1 x̄ + ε̄] − β1 x̄ = β0 .

En outre,   Pn 2
Pn  1    2 x
var(β̂0 ) = i=1 n2 − 2 x̄w n + x̄ wi σ = n − 0 + x̄
2 2 2 1 2 n w 2 σ2 = 1
+ Pn x̄ σ2 = Pn i=1 i 2 σ2 ,
i
P
i=1 i n i=1 i −x̄)
(x 2 n i=1 (xi −x̄i )
Pn 1 Pn Pn Pn 1 Pn 1
cov(β̂0 , β̂1 ) = cov( i=1 ( n − x̄wi )Yi , i=1 wi Yi ) = i=1 j=1 ( n − x̄wi )w j cov(Yi , Y j ) = i=1 ( n −
x̄wi )wi σ2 = − Pn (xx̄ −x̄)2 σ2 ,
P i=1 i σ2
et var(β̂1 ) = ni=1 w2i σ2 = Pn (x 2.
i=1 i −x̄)

Interprétation.

Thèorème 2 (Gauss Markov). Parmi les estimateurs linéaires sans biais de β0 et β1 respectivement
linéaires en (Yi )i=1...n , β̂0 et β̂1 sont de variance minimale.

La preuve sera vue dans le chapitre suivant.

1.4.2 Estimation ponctuelle de la variance, valeurs ajustées et résidus

Pourquoi estimer la variance σ2 ?
 Pn 2 
x
 Pn i=1 i 2 Pn −x̄ 2 
Var(β̂) = σ2  n i=1 (xi −x̄) i=1 (xi −x̄)
 
Pn −x̄ 2 Pn 1

 2

i=1 (xi −x̄) i=1 (xi −x̄)

Problème : les εi ne sont pas observés donc pour pouvoir estimer la variance σ2 , on introduit
les résidus.

Définition 3. On appelle résidus les quantités ε̂i = Yi − Ŷi , pour i = 1 . . . n, où Ŷi = β̂0 + β̂1 xi . Les
variables Ŷi sont appelées valeurs ajustées.

Les valeurs ajustées donnent une estimation de E[Yi ].

PropriétésP des résidus : les ε̂i sont des variables aléatoires observées, centrées, de somme
nulle i.e. ni=1 ε̂i = 0 (donc non indépendantes), corrélées négativement et hétéroscédastiques.
Pn
Une idée naturelle : estimer la variance σ2 par n1 i=1 ε̂i ,
2 mais c’est un estimateur biaisé,
n σ . On choisit donc plutôt :
d’espérance égale à n−2 2

n
1 X 2
σ̂ = 2
ε̂i ,
n−2
i=1

qui est un estimateur sans biais de σ2 .

14
 1.4. Estimation (ponctuelle) et prédiction dans le cas général

Preuve. On a
ε̂i = β0 +β1 xi +εi − β̂0 − β̂1 xi = Ȳ−β1 x̄− ε̄+β1 xi +εi − Ȳ+ β̂1 x̄− β̂1 xi = (εi − ε̄)+(β1 − β̂1 )(xi − x̄). D’où

ε̂2i = (εi − ε̄)2 + (β1 − β̂1 )2 (xi − x̄)2 + 2(β1 − β̂1 )(xi − x̄)(εi − ε̄).
Pn Pn Pn Pn Pn
(xi −x̄)Yi β0 i=1 (xi −x̄)+β1P i=1 (xi −x̄)xi + i=1 (xi −x̄)εi (x −x̄)(εi −ε̄)
Or β̂1 = Pi=1
n 2 = n 2 = β1 + Pn i
i=1
2 , d’où
i=1 (xi −x̄) i=1 (xi −x̄) i=1 (xi −x̄)

Pn Pn Pn Pn
i=1 ε̂i = − ε̄)2 + − β̂1 )2 (xi − x̄)2 − 2 − β̂1 )2 (xi − x̄)2
2
i=1 (εi i=1 (β1 i=1 (β1

Pn Pn hP i
n
= i=1 (εi − ε̄)2 − i=1 (β1 − β̂1 )2 (xi − x̄)2 , et E i=1 ε̂i
2 = (n − 1)σ2 − σ2 = (n − 2)σ2 .

1.4.3 Le cœfficient de détermination R2

Pn Pn Pn
i=1 ε̂i =
Les Ŷi étant tels que 2 soit minimale, puisque i=1 Ŷi i=1 Yi , on a le théorème
suivant :

Thèorème 3. La somme des carrés totale (SCT) est égale à la somme des carrés expliquée (SCE) plus
la somme des carrés résiduelle (SCR) :

n
X n
X n
X
(Yi − Ȳ) = 2
(Ŷi − Ȳ) +
2
(Yi − Ŷi )2 .
i=1 i=1 i=1
| {z } | {z } | {z }
SCT SCE SCR

La preuve sera vue dans le paragraphe suivant.

La décomposition ci-dessus s’appelle l’équation d’analyse de la variance.

Interprétations.

Définition 4. Le coefficient de détermination R2 est la fraction de la variabilité totale expliquée par

la régression. Plus précisément,

SCE  2
R2 = = corr(Yi , Ŷi ) .
SCT

On a R2 ∈ [0, 1]. Interprétation des cas limites.

1.4.4 Prédiction
A partir d’une nouvelle valeur explicative xn+1 , on souhaite prédire une nouvelle observation
d’une variable Yn+1 = β0 + β1 xn+1 + εn+1 , avec E[εn+1 ] = 0, var(εn+1 ) = σ2 et cov(εn+1 , εi ) = 0
pour tout i = 1 . . . n i.e. Yn+1 non corrélée avec les (Yi )i=1...n utilisées pour estimer les cœffi-
cients de régression.
p
Pour cela, on introduit Ŷn+1 = β̂0 + β̂1 xn+1 .

15
Chapitre 1. Le modèle de régression linéaire simple

p p
L’erreur de prédiction est définie par ε̂n+1 = Yn+1 − Ŷn+1 (inconnue), dont la variance est
égale à
(xn+1 − x̄)2
!
p 1
var(ε̂n+1 ) = σ 1 + + Pn
2
2
.
n i=1 (xi − x̄)
Preuve laissée en exercice.

Remarque : attention à la prédiction lorsque la valeur xn+1 est éloignée de x̄...

1.4.5 Ecritures matricielles et interprétations géométriques

On rappelle ici la formulation vectorielle du modèle de régression linéaire simple :

Y = β0 1 + β1 x + ε = Xβ + ε,

avec
Y1 1 x1 1 x1  ε1
         
β0
!
.. .. .. .. ..  , ..
        
Y =   , 1 =   , x =   , X =  β= ε =   .
        
. . . . .  et .

 


 β1 

Yn 1 xn 1 xn εn
     

Estimateurs des moindres carrés ordinaires, valeurs ajustées, résidus et projection ortho-
gonale
On commence par remarquer que ni=1 (Yi − β0 − β1 xi )2 = (Y − Xβ)0 (Y − Xβ) = kY − Xβk2 , où
P
k.k est la norme euclidienne de Rn .
Si l’on note
β̂0
!
β̂ = ,
β̂1
alors par définition, β̂ ∈ argminβ∈R2 (Y − Xβ)0 (Y − Xβ).
On cherche donc le point critique de la fonction L : β 7→ (Y − Xβ)0 (Y − Xβ) = Y0 Y − Y0 Xβ −
β0 X0 Y + β0 X0 Xβ = Y0 Y − 2β0 X0 Y + β0 X0 Xβ.

∇L(β) = 0 si et seulement si X0 Xβ = X0 Y et puisque X0 X est inversible (hypothèse sur les xi ),

β = (X0 X)−1 X0 Y.

Ce point critique correspond bien à un minimum puisque la matrice hessienne de L en

(X0 X)−1 X0 Y vaut 2X0 X qui est définie positive.
On a alors
β̂ = (X0 X)−1 X0 Y,
et
Ŷ = Xβ̂ = X(X0 X)−1 X0 Y,
où la matrice ΠX = X(X0 X)−1 X0 est appelée la matrice "chapeau" (hat matrix) (puisqu’elle
transforme Y en Ŷ !).
En fait, ΠX est la matrice de projection orthognale sur le sous-espace vectoriel de Rn E(X)
engendré par les vecteurs colonnes de la matrice X à savoir 1 et x.

16
 1.4. Estimation (ponctuelle) et prédiction dans le cas général

On a en effet les propriétés suivantes :

— Π0X = ΠX (symétrie),
— ΠX ΠX = X(X0 X)−1 X0 X(X0 X)−1 X0 = ΠX (idempotence),
— ΠX Xβ = Xβ pour tout β ∈ R2 .

On retrouve ainsi le résultat :

β̂ ∈ argminβ∈R2 kY − Xβk2 si et seulement si Xβ̂ est la projection orthogonale de Y sur E(X).
En utilisant ces notations, le vecteur des résidus vérifie ε̂ = (ε̂1 , . . . , ε̂n )0 = Y − Ŷ = (In − ΠX )Y,
c’est-à-dire que ε̂ est le projeté orthogonal de Y sur E(X)⊥ .
On peut ainsi montrer P facilement que
— X0 ε̂ = (0, 0)0 i.e. ni=1 ε̂i = 0 et ni=1 xi ε̂i = 0,
P
— E[ε̂] = 0,
— Var(ε̂) = σ2 (In − ΠX ) (corrélation négative et hétéroscédasticité).

Représentation géométrique.

Cœfficient de détermination R2 et théorème de Pythagore

On rappelle que la somme des carrés totale,Pla somme desPcarrés estimée etPnla somme des
n n
Pn 2résiduelle désignent respectivement i=1 (Yi − Ȳ) , i=1 (Ŷi − Ȳ) et i=1 (Yi − Ŷi ) =
carrés 2 2 2

i=1 ε̂i .
On a, en notant Π1 la matrice de projection orthogonale sur le sous-espace vectoriel de Rn
engendré par 1,

n
X
(Yi − Ȳ)2 = (Y − Π1 Y)0 (Y − Π1 Y)
i=1
= Y0 (In − Π1 )0 (In − Π1 )Y
= Y0 (In − ΠX + ΠX − Π1 )0 (In − Π1 )Y
= Y0 (In − ΠX )(In − Π1 )Y + Y0 (ΠX − Π1 )0 (In − Π1 )Y
= Y0 (In − ΠX )Y + Y0 (ΠX − Π1 )(In − Π1 )Y
= Y0 (In − ΠX )Y + Y0 (ΠX − Π1 − Π1 + Π1 )Y
= Y0 (In − ΠX )Y + Y0 (ΠX − Π1 − Π1 + Π1 )Y
= Y0 (In − ΠX )Y + Y0 (ΠX − Π1 )Y
Xn n
X
= (Yi − Ŷi ) +
2
(Ŷi − Ȳ)2 .
i=1 i=1

On a donc bien le résultat suivant : SCT=SCR+SCE, et on a en fait redémontré ici le théorème

de Pythagore dans ce cas c’est-à-dire :
kY − Π1 Yk2 = k(In − ΠX )(Y − Π1 Y)k2 + kΠX (Y − Π1 Y)k2 = k(In − ΠX )Yk2 + kΠX Y − Π1 Y)k2 .
Représentation graphique.

On a alors
kΠX Y − Π1 Yk2
R2 = = cos2 θ,
kY − Π1 Yk2

17
Chapitre 1. Le modèle de régression linéaire simple

où θ est l’angle formé par les vecteurs Y − Π1 Y et ΠX Y − Π1 Y = Ŷ − Π1 Y.

Interprétation géométrique des cas R2 = 1 et R2 = 0.

1.5 Inférence sous hypothèse gaussienne

On souhaite maintenant pouvoir construire des intervalles de confiance pour les cœfficients
de régression, la variance du modèle, puis des tests d’hypothèses sur les cœfficients de ré-
gression. On se place pour cela dans un cas "simple" (mais réaliste dans de très nombreux
cas pratiques) où les bruits εi - comme les Yi - sont supposés suivre une loi gaussienne.

On pose la condition (C4 ) : le vecteur ε suit une loi gaussienne.

Les hypothèses (C1 ) à (C4 ) réunies se résument ainsi à :

 
ε ∼ N 0, σ2 In .
On a alors  
Y ∼ N Xβ, σ2 In .
A noter que les variables εi sont maintenant supposées i.i.d. (mais les Yi seulement indépen-
dantes), et que le modèle devient paramétrique, dominé par la mesure de Lebesgue sur Rn .

1.5.1 Estimateurs du maximum de vraisemblance

La vraisemblance du modèle s’écrit
!n  n

1  1 X 
L(β0 , β1 , σ2 , Y1 , . . . , Yn ) = √ exp − 2 (Yi − β0 − β1 xi )2  ,
2πσ2 2σ i=1

d’où
n
n n 1 X
ln L(β0 , β1 , σ2 , Y1 , . . . , Yn ) = − ln(2π) − ln σ2 − 2 (Yi − β0 − β1 xi )2 .
2 2 2σ i=1

A σ2 fixé, ln L(β0 , β1 , σ2 , Y1 , . . . , Yn ) est maximale si ni=1 (Yi − β0 − β1 xi )2 est minimale. Les

P
estimateurs du maximum de vraisemblance de β0 et β1 sont donc égaux aux estimateurs des
moindres carrés ordinaires.

Par ailleurs, ∂∂σ ln L e2 e2 1 Pn

2 (β̂0 , β̂1 , σ , Y1 , . . . , Yn ) = 0 si et seulement si σ = n i=1 (Yi − β̂0 − β̂1 xi ) =
2

n
i=1 ε̂i . L’estimateur du maximum de vraisemblance σ de σ est biaisé : on lui préfèrera
1 P 2 e2 2
n
en général σb2 .

Thèorème 4. Les estimateurs des MCO vérifient

 Pn 2 les propriétés
 suivantes :
i=1 xi
−x̄  = (X0 X)−1 ,
 
— β̂ ∼ N β, σ2 V , où V = Pn (x1 −x̄)2  n

 
i=1 i −x̄ 1


— n−2 σb2 ∼ χ2 (n − 2),

σ2

18
 1.5. Inférence sous hypothèse gaussienne

— 1
σ2
(β̂
− β)0 V −1 (β̂ − β) ∼ χ2 (2),
— β̂ et σb2 sont indépendants.

La preuve sera vue dans les chapitres suivants.

On en déduit en particulier les propriétés suivantes.

β̂0 −β0
— s ∼ T (n − 2),
σ 2 n x2
cP
Pn i=1 i 2
n (x −x̄)
i=1 i
β̂1 −β1
— r ∼ T (n − 2),
σ2
c
Pn
(x −x̄)2
i=1 i
— 1
(β̂ − β)0 V −1 (β̂ − β) ∼ F (2, n − 2).
2σb2

1.5.2 Intervalles et régions de confiance pour les cœfficients de régression

Thèorème 5. Soit α ∈]0, 1[. On note tn−2 (u) et f2,n−2 (u) les u-quantiles respectifs des lois T (n − 2)
et F (2, n − 2).

— Un intervalle de confiance de niveau de confiance (1 − α) pour β0 est donné par

 v
t v
t 
σb2 ni=1 x2i σb2 ni=1 x2i
 P P 
β̂0 − tn−2 (1 − α/2) , β̂0 + tn−2 (1 − α/2)  .
 
n ni=1 (xi − x̄)2 n ni=1 (xi − x̄)2
 P P 
 

— Un intervalle de confiance de niveau de confiance (1 − α) pour β1 est donné par

 s s 
σ 2 σb2
 b 
β̂1 − tn−2 (1 − α/2) Pn , β̂ + t α/2)  .

−

2 1 n−2 (1 Pn 2
i=1 (xi − x̄) i=1 (xi − x̄)
 

— Une région de confiance simultanée pour (β0 , β1 ) de niveau de confiance (1 − α) est donnée par
   
n
 1  X  
, β β̂ β 2
+ β̂ β β̂ β + 2
β̂ β 2
α) .
 
(β ), n( − ) 2nx̄( − )( − ) x ( − ) ≤ f (1 −
 
 0 1 
 0 0 0 0 1 1 i 1 1 
 2,n−2 
2σb2

   

i=1

Remarque : la région de confiance simultanée pour (β0 , β1 ) est une ellipse. On parlera parfois
d’ellipse de confiance.

1.5.3 Tests d’hypothèses sur β0

On souhaite tester l’hypothèse nulle (H0 ) : β0 = b contre l’alternative (H1 ) : β0 , b (test
bilatère) ou β0 < b ou β0 > b (tests unilatères).
β̂0 −b
On utilise alors comme statistique de test T0 (Y) = s qui suit sous l’hypothèse (H0 )
σ 2 n x2
cP
Pn i=1 i 2
n (x −x̄)
i=1 i
la loi T (n − 2).

19
 Chapitre 1. Le modèle de régression linéaire simple

On peut ensuite prendre, pour un niveau α ∈]0, 1[, comme région de rejet ou région critique
dans le cas d’un test bilatère :
R(H0 ) = {y, |T0 (y)| ≥ tn−2 (1 − α/2)}.
Le test de significativité (H0 ) : β0 = 0 contre (H1 ) : β0 , 0 permet de tester l’utilité de la
constante β0 dans le modèle.

1.5.4 Tests d’hypothèses sur β1

On souhaite tester l’hypothèse nulle (H0 ) : β1 = b contre l’alternative (H1 ) : β1 , b (test
bilatère) ou β1 < b ou β1 > b (tests unilatères).
β̂1 −b
On utilise comme statistique de test T1 (Y) = r qui suit sous l’hypothèse (H0 ) la loi
σ2
c
Pn
(x −x̄)2
i=1 i
T (n − 2).
On peut prendre, pour un niveau α ∈]0, 1[, comme région de rejet ou région critique dans le
cas d’un test bilatère :
R(H0 ) = {y, |T1 (y)| ≥ tn−2 (1 − α/2)}.
Le test de significativité (H0 ) : β1 = 0 contre (H1 ) : β1 , 0 permet de tester l’utilité du modèle
R2
de régression. Dans ce cas, on peut montrer que (T1 (Y))2 = (n − 2) 1−R 2 . On retrouve ainsi

l’intérêt de l’introduction du R (et l’interprétation des cas limites pour les valeurs de R2 ).
2

Remarque : dans les sorties de logiciels, les p-valeurs des tests de significativité des variables
explicatives sont données, avec un "indice" de significativité des variables explicatives.

1.5.5 Intervalles de confiance et tests d’hypothèses sur la variance

Thèorème 6. Soit α ∈]0, 1[. On note cn−2 (u) le u-quantile de la loi χ2 (n − 2).  
(n−2)σb2 (n−2)σb2
Un intervalle de confiance de niveau de confiance (1 − α) pour σ2 est donné par cn−2 (1−α/2) , cn−2 (α/2) .

Si l’on souhaite tester l’hypothèse nulle (H0 ) : σ2 = s2 contre l’alternative (H1 ) : σ2 , s2

(test bilatère) ou σ2 < s2 ou σ2 > s2 (tests unilatères), on utilise comme statistique de test
S2 (Y) = n−2 σb2 qui suit sous l’hypothèse (H0 ) la loi χ2 (n − 2).
s2

1.5.6 Intervalles de prédiction

On peut utiliser les résultats précédents pour construire des intervalles de confiance pour
E[Yn+1 ] = β0 + β1 xn+1 , mais il est généralement plus intéressant de trouver un intervalle b
I dit
de prédiction tel que P(Yn+1 ∈ Î) ≥ 1 − α, pour α ∈]0, 1[.
On montre pour cela que
(xn+1 − x̄)2
!!
p 1
Yn+1 − Ŷn+1 ∼ N 0, σ 1 + + Pn
2
2
.
n i=1 (xi − x̄)
p
Puisque Yn+1 − Ŷn+1 et σb2 sont indépendantes, le théorème suivant est vérifié.
Thèorème 7. Un intervalle de prédiction de niveau (1 − α) est donné par
 s s 
 p 1 (x − x̄)2 1 (xn+1 − x̄)2
n+1 p

I = Ŷn+1 − tn−2 (1 − α/2)σ̂ 1 + + Pn
b
2
, Ŷ n+1
+ tn−2 (1 − α/2) σ̂ 1 + + P n 2
 .
n i=1 (xi − x̄) n i=1 (xi − x̄)


20
 1.6. Exercices

1.6 Exercices
Exercice 1 : Questions de cours - QCM

On dispose d’observations y1 , . . . , yn de variables aléatoires telles que Yi = β0 + β1 xi + εi pour

tout i = 1 . . . n, où les εi sont des variables aléatoires vérifiant les conditions standards d’un
modèle de régression linéaire simple.

1. Les variables Yi sont-elles supposées indépendantes et identiquement distribuées ?

a) Oui.
b) Non.
c) Pas toujours.

2. La droite de régression calculée sur les observations passe par le point (x̄, ȳ). Est-ce toujours
le cas ?
a) Oui.
b) Non.

3. Les estimateurs des moindres carrés ordinaires des cœfficients de régression sont-ils indé-
pendants ?
a) Oui.
b) Non.
c) Pas toujours.

4. Est-il possible de trouver des estimateurs des cœfficients de régression de plus faible va-
riance que celle des estimateurs des moindres carrés ordinaires ?
a) Oui.
b) Non.
c) Peut-être.

5. Les estimateurs des moindres carrés ordinaires des cœfficients de régression sont-ils égaux
aux estimateurs du maximum de vraisemblance sous hypothèse gaussienne ?
a) Oui.
b) Non.
c) Pas toujours.

6. L’estimateur du maximum de vraisemblance de la variance des εi sous hypothèse gaus-

sienne est-il sans biais ?
a) Oui.
b) Non.

7. Les résidus sont-il indépendants ?

a) Oui.
b) Non.
c) Pas toujours.
p
8. On dispose d’une nouvelle valeur xn+1 et on note Ŷn+1 la valeur prédite correspondante,

21
Chapitre 1. Le modèle de régression linéaire simple

p p
ε̂n+1 l’erreur de prédiction correspondante. La variance de ε̂n+1 est minimale lorsque :
a) xn+1 = 0.
b) xn+1 = x̄.
c) La variance ne dépend pas de la valeur de xn+1 .

9. Le coefficient de détermination R2 calculé sur les observations vaut 1. Les points (xi , yi )
sont-ils alignés ?
a) Oui.
b) Non.
c) Pas nécessairement.

10. Peut-on utiliser un test d’adéquation du khi-deux pour tester la normalité des variables
εi et Yi ?
a) Oui.
b) Non.

Exercice 2 : Les graines de pois de senteur de Galton (1885)

Dans ses premiers travaux sur l’hérédité, Francis Galton a cherché à mettre en évidence un
lien entre le diamètre de graines de pois de senteur et le diamètre moyen de leur descendance.
Il a mesuré pour cela le diamètre de 7 graines, et le diamètre moyen de leur descendance.
Les résultats qu’il a obtenus sont les suivants :

Observation Diamètre des graines mères Diamètre moyen de la descendance

(en 1/100 de pouce) (en 1/100 de pouce)
i xi yi
1 21 17.5
2 20 17.3
3 19 16
4 18 16.3
5 17 15.6
6 16 16
7 15 15.3

Déterminer les valeurs des estimateurs des moindres carrés ordinaires des cœfficients de
régression et des résidus de la régression linéaire simple correspondante calculés sur ces
observations. Représenter les observations, la droite de régression et les résidus calculés sur
un graphique.

Exercice 3 : Données Insee sur la consommation de tabac

On dispose des données Insee sur le prix relatif (indice 100 à 1970) et la consommation de
tabac (en grammes par adulte de plus de 15 ans et par jour) de 1951 à 2009. Les prix relatifs
étant notés xi pour i = 1 . . . 59 et les consommations correspondantes yi pour i = 1 . . . 59, on
a les résultats numériques suivants :

59
X 59
X 59
X 59
X 59
X
xi = 6806.5 x2i = 891776 xi yi = 35295.02 yi = 328.07 y2i = 1895.363.
i=1 i=1 i=1 i=1 i=1

22
 1.6. Exercices

Déterminer les valeurs des estimateurs des moindres carrés ordinaires des cœfficients de
régression, de l’estimateur sans biais de la variance, et du cœfficient de détermination de la
régression linéaire simple correspondante calculés sur ces observations.

Exercice 4 : Estimateurs linéaires sans biais de variance minimale

On considère le modèle de régression linéaire simple suivant :

Yi = β0 + β1 xi + εi , i = 1, · · · , n,
où les bruits εi sont des variables aléatoires telles que E[εi ] = 0 et cov(εi , ε j ) = σ2 δi, j .
On cherche des estimateurs β∗0 et β∗1 de β0 et β1 qui possèdent les propriétés suivantes :
— β∗0 et β∗1 sont des fonctions linéaires de Y1 , · · · , Yn .
— β∗0 et β∗1 sont des estimateurs sans biais.
— β∗0 et β∗1 sont de variance minimale parmi les estimateurs linéaires sans biais.

1. Déterminer ces estimateurs et montrer qu’ils sont égaux aux estimateurs des moindres
carrés ordinaires.
2. Quel résultat a-t-on retrouvé ici ?

Exercice 5 : Consommation de confiseries

Les données suivantes, publiées par Chicago Tribune en 1993, montrent la consommation de
confiseries en million de livres (variable Y) et la population en millions d’habitants (variable
X) dans 17 pays en 1991. On note yi la consommation et xi la population du ième pays,
i = 1 . . . , 17.
17
X 17
X 17
X 17
X 17
X
xi = 751.8 x2i = 97913.92 yi = 13683.8 y2i = 36404096.44 xi yi = 1798166.66
i=1 i=1 i=1 i=1 i=1

Pays Consommation Population

i yi xi
Australia 327.4 17.3
Austria 179.5 7.7
Belgium 279.4 10.4
Denmark 139.1 5.1
Finland 92.5 5.0
France 926.7 56.9
Germany 2186.3 79.7
Ireland 96.8 3.5
Italy 523.9 57.8
Japan 935.9 124.0
Netherland 444.2 15.1
Norway 119.7 4.3
Spain 300.7 39.0
Sweden 201.9 8.7
Switzerland 194.7 6.9
United Kingdom 1592.9 57.7
United States 5142.2 252.7

23
Chapitre 1. Le modèle de régression linéaire simple

On considère le modèle statistique défini par Yi = β0 + β1 xi + εi pour tout i = 1 . . . 17, avec εi

vérifiant les conditions standards d’un modèle de régression linéaire simple.

1. Ecrire le modèle sous forme matricielle. Donner les expressions des estimateurs des MCO
β̂0 et β̂1 de β0 et β1 . Donner les valeurs de ces estimateurs calculés sur les observations.
2. Ecrire l’équation d’analyse de la variance et calculer le coefficient de détermination R2 .
3. Donner l’expression de l’estimateur sans biais σb2 de σ2 . Calculer sa valeur sur les observa-
tions.
Dans les questions qui suivent, on suppose les εi i.i.d. de loi N(0, σ2 ).
4. Déterminer les lois du vecteur aléatoire β̂ = (β̂0 , β̂1 ) et des variables marginales β̂0 et β̂1 .
5. Donner les expressions des estimateurs σ̂(β̂0 ) et σ̂(β̂1 ) des écart-types σ(β̂0 ) et σ(β̂1 ) de β̂0 et
β̂1 . Donner les valeurs de ces estimateurs calculés sur les observations.
6. Déterminer un intervalle de confiance à 95% pour β1 . Tester l’hypothèse nulle (H0 ) : β1 = 0
contre l’alternative (H1 ) : β1 , 0 au niveau 5%. Commenter.
7. Tester l’hypothèse nulle (H0 ) : β0 = 0 contre l’alternative (H1 ) : β0 , 0 au niveau 5%.
Commenter.

Exercice 6 : Modèle de régression linéaire simple sans constante

On considère le modèle statistique de régression linéaire simple suivant :

Yi = βxi + εi , i = 1, · · · , n,

où les bruits εi sont des variables aléatoires vérifiant les conditions standards de la régression
(à rappeler). On définit deux estimateurs de β :
Pn Pn
i=1 xi Yi Yi
β̂ = Pn 2 et β = Pi=1
∗
n
i=1 xi i=1 xi

1. Quelle est la logique de construction de ces deux estimateurs ?

2. Montrer que β̂ et β∗ sont des estimateurs sans biais de β.
3. Montrer que var(β∗ ) > var(β̂) sauf dans le cas où les xi sont tous égaux.
P Ŷi = β̂xi . Pourquoi
4. On note P l’équation d’analyse P de la variance SCT = SCR + SCE, où
SCT = ni=1 (Yi − Ȳ)2 , SCE = ni=1 (Ŷi − Ȳ)2 et SCR = ni=1 (Yi − Ŷi )2 n’est-elle plus vérifiée dans
ce modèle ?
5. Par quelle équation peut-elle être remplacée ?
6. Comment peut-on définir dans ce cas le cœfficient de détermination ?

Exercice 7 : Consommation d’alcool et espérance de vie

On dispose des données issues du rapport publié par l’OMS en février 2011 sur la consom-
mation d’alcool dans le monde en projection pour l’année 2008 et de l’espérance de vie à la
naissance en 2009 pour 188 pays. Les consommations d’alcool (en L d’alcool pur par adulte
de plus de 15 ans pour l’année 2008) pour ces 188 pays sont notées xi pour i = 1 . . . 188. Les
espérances de vie à la naissance en 2009 sont notées pour les mêmes pays yi pour i = 1 . . . 188.
On a les résultats numériques suivants :

24
 1.6. Exercices

188
X 188
X 188
X 188
X 188
X
xi = 1250.77 x2i = 12699.04 xi yi = 88858.02 yi = 12935 y2i = 907647.
i=1 i=1 i=1 i=1 i=1

1. Pour un modèle de régression linéaire simple complet, déterminer les valeurs des esti-
mateurs des moindres carrés ordinaires des cœfficients de régression et du cœfficient de
détermination calculés sur ces données.
2. Pour un modèle de régression linéaire simple sans constante, déterminer les valeurs de
l’estimateur des moindres carrés ordinaires du cœfficient de régression et du cœfficient de
détermination (défini dans l’exercice 6) calculés sur ces données.
3. Que constate-t-on ? Faut-il pour autant préférer le modèle de régression linéaire simple
sans constante au modèle de régression linéaire simple complet ?

25
Chapitre 1. Le modèle de régression linéaire simple

26
Chapitre 2

Le modèle de régression linéaire

multiple

2.1 Introduction : retour sur les exemples

La modélisation des données des exemples choisis par un modèle de régression linaire simple
peut être critiquée : on voit bien dans certains des exemples que ce modèle, trop simpliste,
n’est pas adapté...
Des variables explicatives supplémentaires à prendre en considération, et si oui, lesquelles ?
Dans chacun des exemples, on peut envisager d’introduire de nouvelles variables explica-
tives, quantitatives ou qualitatives (catégorielles).
Pour les données Insee, on peut introduire des informations sur les campagnes ou lois anti-
tabac mises en place ; pour les données sur l’espérance de vie, on peut imaginer beaucoup de
variables explicatives, et parmi les plus pertinentes, des indicateurs de richesse, des variables
sur le système de santé ; pour les données Air Breizh, par ex. la nébulosité, la vitesse et la
direction du vent, les températures à différentes heures de la journée, etc. Pour les données
Cirad, il semble évident que la prise en compte de la racine carrée de la circonférence serait
pertinente, mais on peut aussi considérer la zone de plantation par ex.

On cherche donc à généraliser le modèle précédent, en considérant non pas une mais plu-
sieurs variables explicatives.
On ne considère pas dans ce chapitre le caractère éventuellement aléatoire des variables
explicatives, quitte à conditionner sachant les valeurs de ces variables.

2.2 Modélisation
On introduit le modèle statistique suivant :

Yi = β0 xi,0 + β1 xi,1 + . . . + βp−1 xi,p−1 + εi , pour i = 1 . . . n,

où
— p ≤ n,
— Yi est une variable aléatoire observée, appelée variable à expliquer,

27
Chapitre 2. Le modèle de régression linéaire multiple

— xi,0 , xi,1 , . . . , xi,p−1 sont des valeurs réelles déterministes appelées par extension directe
du cas aléatoire variables explicatives. Souvent xi,0 = 1 pour tout i = 1 . . . n, mais PAS
TOUJOURS.
— β0 , β1 , . . . , βp−1 sont des paramètres réels inconnus appelés paramètres de régression ou
cœfficients de régression,
— les εi sont des variables aléatoires, non observées, appelées erreurs ou bruits, aux-
quelles on impose certaines conditions complémentaires.

Les conditions standards imposées aux εi sont les conditions (C1 ) à (C3 ) vues dans le chapitre
précédent i.e.
— (C1 ) : E[εi ] = 0 pour tout i = 1 . . . n (centrage),
— (C2 ) : cov(εi , ε j ) = 0 pour tout i , j (non corrélation),
— (C3 ) : var(εi ) = σ2 (inconnue) pour tout i = 1 . . . n (homoscédasticité).

Ce modèle est appelé modèle de régression linéaire multiple.

Il s’exprime de façon vectorielle :

Y = Xβ + ε, (2.1)
avec
Y1  x1,0 . . . x1,p−1  β0 ε1
       
.. X =  ... .. β =  ... ..
     
Y =   ,  , ε =   .
       
.  . 

 et . 
   
Yn xn,0 . . . xn,p−1 βp−1 εn
   

Sous les conditions (C1 ) à (C3 ), on a alors :

— E[ε] = 0 et E[Y] = Xβ,
— Var(ε) = Var(Y) = σ2 In .

La matrice X est appelée matrice du plan d’expérience.

On suppose que cette matrice est de plein rang, c’est-à-dire rang(X) = p. Ses vecteurs colonnes
sont linéairement indépendants. Cela implique en particulier que la matrice symétrique X0 X
est définie positive.

2.3 Exemples de modèles de régression linéaire multiple

Les variables explicatives peuvent prendre différentes formes.

2.3.1 Variables explicatives quantitatives

Exemple des données Insee sur le tabac : Yi = consommation de tabac en grammes par adulte
par jour au cours de l’année i, xi,0 = 1, xi,1 = prix relatif du tabac l’année i, xi,2 = coût des
campagnes publicitaires anti-tabac diffusées au cours de l’année i.

Exemple des données de l’OMS sur l’espérance de vie : Yi = l’espérance de vie dans le ième
pays, xi,0 = le PIB, xi,1 = le revenu moyen par habitant, xi,2 = le budget consacré à la santé.

28
 2.4. Estimateur des moindres carrés ordinaires

Exemple des données Air Breizh : Yi = maximum journalier de la concentration en ozone au

jour i, xi,0 = 1, xi,1 = la température à midi au jour i, xi,2 = la température à 9 heures au jour
i, xi,3 = la nébulosité à midi au jour i, xi,4 = la nébulosité à 9 heures, xi,5 = la vitesse du vent
au jour i...

2.3.2 Transformations de variables explicatives quantitatives

Exemple des données Cirad : Yi = hauteur de l’eucalyptus i, xi,0 = 1, xi,1 = la circonférence à
√
1m30 de l’eucalyptus i, xi,2 = xi,1 .

On peut en fait considérer des transformations polynômiales, exponentielles, logarithmiques,

trigonométriques... des variables explicatives quantitatives. Attention, ces transformations
ne doivent pas faire intervenir de nouveaux paramètres inconnus !

2.3.3 Variables explicatives qualitatives

Dans le cas de variables explicatives qualitatives, on les représente sous la forme d’indica-
trices.

Exemple des données Insee : xi,3 = 1 si une loi anti-tabac a été votée au cours de l’année i, 0
sinon.

Exemple des données de l’OMS : , xi,3 = 1 si le pays est dans une zone géographique parti-
culière, 0 sinon, xi,4 = 1 si le pays est en guerre, 0 sinon...

Exemple des données Air Breizh : xi6 = 1 si le vent a pour direction l’est, 0 sinon, xi7 = 1 si
le vent a pour direction l’ouest, 0 sinon, xi8 = 1 si le vent a pour direction le nord, 0 sinon,
xi9 = 1 si le vent a pour direction le sud, 0 sinon, etc.

Exemple des données Cirad : xi,3 = 1 si l’eucalyptus i est situé dans le bloc A de la plantation,
0 sinon, xi,4 = 1 si l’eucalyptus i est situé dans le bloc B de la plantation, 0 sinon, etc.

2.3.4 Interactions
On peut envisager le cas où les variables explicatives interagissent entre elles. Ce phéno-
mène est modélisé par des produits des différentes variables. Ces interactions peuvent être
d’ordres variés.

Remarque : les modèles de régression linéaire multiple avec des variables explicatives qua-
litatives seront traités en cours d’ANOVA.

2.4 Estimateur des moindres carrés ordinaires

Comme pour la régression linéaire simple, on choisit ici comme fonction de perte la perte
quadratique.

29
Chapitre 2. Le modèle de régression linéaire multiple

Définition 5. L’estimateur des moindres carrés ordinaires de β dans le modèle de régression linéaire
multiple (2.1) est défini par
 p−1
2
n 
X X 
β̂ ∈ argmin β  = argmin kY − Xβk2 ,

Yi − j xi, j

β∈Rp   β∈R p
i=1 j=0

où k.k est la norme euclidienne de Rn .

On montre que
β̂ = (X0 X)−1 X0 Y.
Preuves analytique et géométrique (c.f. chapitre précédent).
Soit L : β 7→ (Y − Xβ)0 (Y − Xβ) = Y0 Y − Y0 Xβ − β0 X0 Y + β0 X0 Xβ = Y0 Y − 2β0 X0 Y + β0 X0 Xβ.

Le vecteur β̂ = (X0 X)−1 X0 Y est bien un point critique de L puisque ∇L(β̂) = 2X0 Xβ̂−2X0 Y = 0.
Ce point critique correspond à un minimum. En effet, la matrice hessienne de L en β̂ vaut
2X0 X qui est définie positive.
On introduit maintenant, comme pour la régression linéaire simple, le sous-espace vectoriel
E(X) de Rn engendré par les vecteurs colonnes de X. Par définition, Xβ̂ est un vecteur de
E(X) dont la distance euclidienne avec Y est la distance minimum entre Y et tout vecteur de
E(X). Par conséquent, si l’on note ΠX la matrice de projection orthogonale sur E(X), alors
Xβ̂ = ΠX Y. Là encore, on peut montrer que la matrice ΠX s’écrit aussi X(X0 X)−1 X0 , d’où
Xβ̂ = X(X0 X)−1 X0 Y, puis β̂ = (X0 X)−1 X0 Y.
Proposition 1. L’estimateur des MCO β̂ est un estimateur linéaire sans biais de β, dont la matrice
de variance covariance est donnée par

Var(β̂) = σ2 (X0 X)−1 .

Preuve.
Puisque β̂ = (X0 X)−1 X0 Y, il s’agit bien d’un estimateur linéaire (en Y). De
 plus, E[β̂] =
E[(X X) X Y] = (X X) X Xβ = β, donc β̂ est sans biais. Enfin, Var(β̂) = Var (X0 X)−1 X0 Y =
0 −1 0 0 −1 0
 
(X0 X)−1 X0 Var(Y)X(X0 X)−1 = (X0 X)−1 X0 σ2 In X(X0 X)−1 = σ2 (X0 X)−1 .

Thèorème 8 (Gauss Markov). L’estimateur β̂ des moindres carrés ordinaires est l’unique estimateur
linéaire sans biais de variance minimale parmi les estimateurs linéaires sans biais de β.
Preuve (sans l’unicité).
Soit β̃ un estimateur linéaire sans biais de β. β̃ s’écrit donc β̃ = AY, avec AXβ = β pour tout β
c’est-à-dire AX = Ip .

Var(AY) = Var (A(In − ΠX + ΠX )Y)

= Var(A(In − ΠX )Y + AΠX Y)
 
= A(In − ΠX )σ2 In (In − ΠX )A0 + 2A(In − ΠX )σ2 In ΠX A0 + Var AX(X0 X)−1 X0 Y
 
= σ2 A(In − ΠX )A0 + 0 + Var (X0 X)−1 X0 Y
 
= σ2 A(In − ΠX )A0 + Var β̂ .

30
 2.5. Valeurs ajustées, résidus

Puisque la matrice A(In − ΠX )A0 est symétrique réelle positive (rappel sur la relation d’ordre
partielle entre matrices symétriques réelles), on en conclut que β̂ est de variance minimale
parmi les estimateurs linéaires sans biais.

Figure 2.1 – Données Cirad : représentation de la courbe de régression obtenue

Données CIRAD sur la hauteur des eucalyptus

25
Hauteur

20
15

30 40 50 60 70

Circonférence à 1m30

2.5 Valeurs ajustées, résidus

Définition 6. Le vecteur aléatoire Ŷ = ΠX Y = X(X0 X)−1 X0 Y est appelé le vecteur des valeurs
ajustées.
Le vecteur ε̂ = Y − Ŷ = (In − ΠX )Y est appelé le vecteur des résidus.
La matrice ΠX est parfois appelée la matrice "chapeau" (hat matrix en anglais), et souvent notée dans
ce cas H. Ses cœfficients sont notés hi,j .

Remarque : ε̂ est orthogonal au vecteur Ŷ. Il correspond au projeté orthogonal de Y sur

E(X)⊥ .
Représentation géométrique.

On peut ensuite montrer (facilement) le résultat suivant.

Proposition 2. X0 ε̂ = 0, E[ε̂] = 0 et Var(ε̂) = σ2 (In − ΠX ).

Les résidus sont centrés, corrélés et hétéroscédastiques.

31
Chapitre 2. Le modèle de régression linéaire multiple

2.6 Somme des carrés résiduelle et estimation ponctuelle de la va-

riance
Comme dans le modèle de régression linéaire simple, le vecteur des résidus peut servir à
l’estimation ponctuelle de la variance σ2 .
On introduit la somme des carrés résiduelle : SCR = ni=1 ε̂2i = kε̂k2 .
P
h i
On a E kε̂k2 = E [ε̂0 ε̂] = E [tr (ε̂0 ε̂)] (astuce de la trace).
Orh pour i toutes matrices A, B, C, tr(ABC) = tr(CAB) = tr(BCA), d’où :
E kε̂k = E [tr (ε̂ε̂0 )] = trE [ε̂ε̂0 ] = tr(Var(ε̂)) = σ2 tr(In − ΠX ) = σ2 (n − tr(X(X0 X)−1 X0 )).
2
h i
On a donc E kε̂k2 = σ2 (n − tr(X0 X(X0 X)−1 )) = σ2 (n − tr(Ip )) = σ2 (n − p).

Proposition 3. Un estimateur sans biais de la variance σ2 est donné par σb2 =SCR/(n − p) =
kε̂k2 /(n − p).

2.7 Equation d’analyse de la variance, cœfficient de détermination

On a défini la somme des carrés résiduelle : SCR =kε̂k2 .
On introduit maintenant la somme des carrés totale : SCT =kY − Ȳ1k2 si 1 est l’un des vecteurs
colonnes de la matrice X, ou la somme des carrés totale sans constante : SCTsc =kYk2 si le vecteur
1 n’est pas l’un des vecteurs colonnes de la matrice X.
On introduit aussi la somme des carrés expliquée : SCE =kŶ − Ȳ1k2 si 1 est l’un des vecteurs
colonnes de la matrice X, ou la somme des carrés expliquée sans constante : SCEsc =kŶk2 si 1 n’est
pas l’un des vecteurs colonnes de la matrice X.
On a, par le théorème de Pythagore : SCT=SCE+SCR (équation d’analyse de la variance) si
1 est l’un des vecteurs colonnes de la matrice X, SCTsc =SCEsc +SCR dans tous les cas.
Définition 7. Le cœfficient de détermination R2 est défini par :

SCE SCR
R2 = =1− .
SCT SCT
Le cœfficient de détermination sans constante R2sc est défini par :

SCEsc SCR
R2sc = =1− .
SCTsc SCTsc
Interprétations géométriques dans les deux cas. Interprétations des cas limites.

Proposition 4. Le cœfficient de détermination croît avec le nombre de variables explicatives p.

Conséquence : on ne peut pas utiliser ce critère comme critère de comparaison entre deux
modèles dont les nombres de variables explicatives diffèrent... Idée du R2 ajusté comme
critère de comparaison dans ce cas.

2.8 Prédiction
A partir d’une nouvelle valeur explicative xn+1 = (xn+1,0 , . . . , xn+1,p−1 ), on souhaite prédire une
nouvelle observation d’une variable Yn+1 = β0 xn+1,0 + . . . + βp−1 xn+1,p−1 + εn+1 = xn+1 β + εn+1 ,

32
 2.9. Estimation par intervalles de confiance et tests d’hypothèses asymptotiques

avec E[εn+1 ] = 0, var(εn+1 ) = σ2 et cov(εn+1 , εi ) = 0 pour tout i = 1 . . . n i.e. Yn+1 non corrélée
avec les Yi , i = 1 . . . n, utilisées pour construire β̂.
p
Pour cela, on introduit Ŷn+1 = xn+1 β̂.
p p
L’erreur de prédiction est définie par ε̂n+1 = Yn+1 − Ŷn+1 (inconnue).
p
Elle est centrée, de variance égale à var(ε̂n+1 ) = var(xn+1 β + εn+1 − xn+1 β̂) = var(εn+1 ) +
xn+1 Var(β̂)x0n+1 = σ2 (1 + xn+1 (X0 X)−1 x0n+1 ).
 2 
p p
On remarque par ailleurs que : var(ε̂n+1 ) = E Yn+1 − Ŷn+1 appelée aussi erreur quadratique
moyenne de prédiction (EQMP), qu’on utilisera plus tard pour faire de la sélection de variables
ou de modèle.

2.9 Estimation par intervalles de confiance et tests d’hypothèses

asymptotiques
Pour construire des intervalles de confiance ou des tests d’hypothèses sur β, on a besoin de
connaître la loi de (β̂ − β). Dans le cas général, on ne fait aucune hypothèse sur la loi de ε,
donc on peut éventuellement chercher à en avoir une connaissance approximative lorsque
n est très grand.

2.9.1 Théorèmes limites

Pour chaque taille d’échantillon n, on précisera la dépendance en n à l’aide de (n) : Y sera
(n)
ainsi noté Y(n) , X, β̂, ε̂ et σb2 deviennent respectivement X(n) , β̂(n) , ε̂(n) et σb2 .
0
Thèorème 9. Si les εi sont maintenant supposées i.i.d. et si X(n) X(n) /n →n→+∞ A définie positive,
alors √  (n) 
n β̂ − β →(L) N(0, σ2 A−1 ).
(n)
Remarque : σ2 étant inconnu, on l’estime par σb2 .
(n)
Thèorème 10. Si les εi sont supposées i.i.d. alors σb2 →(P) σ2 .
0
Le lemme de Slutsky permet de conclure que si en plus X(n) X(n) /n →n→+∞ A, la loi de
q
(n)  
nA/σb2 β̂(n) − β est asymptotiquement gaussienne centrée réduite.

2.9.2 L’idée du bootstrap non paramétrique

√  
La loi de n β̂(n) − β étant inconnue, une méthode de rééchantillonnage permettra de
"recréer" à partir des Yi de nouvelles variables dont la loi conditionnelle sachant les Yi est
proche en un certain sens de cette loi inconnue.
Une méthode de rééchantillonnage classique est celle du bootstrap non paramétrique qu’on
peut décrire de la façon suivante.

On suppose que le vecteur 1 est l’un des vecteurs colonnes de X(n) .

33
Chapitre 2. Le modèle de régression linéaire multiple

1. Calcul de l’estimateur des MCO de β, β̂(n) à partir de Y(n) , puis du vecteur des résidus
ε̂(n) .
2. Tirage de n éléments notés (ε̂∗1 , . . . , ε̂∗n ), appelés résidus bootstrapés pris au hasard
avec remise dans {ε̂1 , . . . , ε̂n }.
3. A partir de ε̂∗ = (ε̂∗1 , . . . , ε̂∗n )0 , calcul de Y∗ = X(n) β̂(n) + ε̂∗ .
 0
−1 0
4. Calcul de l’estimateur bootstrapé : β̂(n)∗ = X(n) X(n) X(n) Y∗ .
Si d désigne une distance sur les lois de probabilité, alors :
 √    √   (P)
d L n β̂(n)∗ − β̂(n) |Y(n) , L n β̂(n) − β →n→+∞ 0.
√  
Puisque les variables n β̂(n)∗ − β̂(n) se calculent à partir de Y(n) , on peut simuler empiri-
√    √  
quement la loi L n β̂(n)∗ − β̂(n) |Y(n) qui "approche" la loi L n β̂(n) − β . On peut ainsi
déterminer des quantiles empiriques, etc.

34
 2.10. Exercices

2.10 Exercices
Exercice 1 : Questions de cours

On considère le modèle de régression linéaire multiple

Y = Xβ + ε,

où le vecteur Y à valeurs dans Rn représente la variable à expliquer, X est une matrice réelle
de taille n × p de rang p, β ∈ Rp (inconnu) et ε est le vecteur des bruits à valeurs dans Rn .

1. Quelles sont les conditions standards imposées au vecteur des bruits ? Expliquer comment
l’analyse du modèle est facilitée par ces conditions.
2. Rappeler les définitions de l’estimateur des moindres carrés ordinaires de β, de la valeur
ajustée de Y, puis du vecteur des résidus. Quelle est l’interprétation géométrique de ces
vecteurs aléatoires ?
3. Proposer un calcul matriciel de l’estimateur des moindres carrés ordinaires, et préciser
les propriétés de cet estimateur. Retrouver à partir du calcul matriciel les estimateurs des
moindres carrés ordinaires obtenus lorsque le modèle est un modèle de régression linéaire
simple.
4. Le vecteur des résidus ε̂ a-t-il des propriétés analogues à celles de ε ?
5. Donner un estimateur naturel de la variance du modèle. Cet estimateur est-il sans biais ?
6. Peut-on prévoir l’évolution de la somme des carrés résiduelle avec l’ajout d’une variable
explicative au modèle ?
7. Préciser l’équation d’analyse de la variance et son interprétation géométrique.
8. Donner la définition du cœfficient de détermination R2 , ainsi que son interprétation géo-
métrique. Discuter des cas limites, et de l’utilisation du R2 comme mesure de la qualité
explicative du modèle.
9. Comment peut-on mesurer la qualité prédictive du modèle ?
10. Peut-on construire des régions de confiance pour β sans faire d’hypothèse sur la loi de ε ?

Exercice 2 : Données Cirad sur la hauteur des eucalyptus

On reprend les données du Cirad présentées en cours, donnant 1429 mesures de la circonfé-
rence à 1 mètre 30 du sol et de la longueur du tronc d’eucalyptus d’une parcelle plantée. On
a représenté le nuage de points sur le graphique fourni en Annexe 1.1.

1. On cherche à expliquer la longueur du tronc d’un eucalyptus comme une fonction affine
de la circonférence du tronc, à une erreur aléatoire près.
a) Ecrire le modèle de régression correspondant, de façon analytique puis de façon vectorielle,
en veillant à bien poser les hypothèses.
b) Les valeurs calculées sur les observations des estimateurs des moindres carrés ordinaires
des cœfficients de régression sont égales à 9.04 et 0.26, celle du cœfficient de détermination
R2 à 0.7683, et celle de la somme des carrés résiduelle à 2051.457. Représenter la droite de
régression obtenue sur le graphique fourni.
2. On cherche maintenant à expliquer, à une erreur aléatoire près, la longueur du tronc
d’un eucalyptus comme une fonction linéaire des variables explicatives suivantes : 1, la
circonférence et la racine carrée de la circonférence.

35
Chapitre 2. Le modèle de régression linéaire multiple

a) Ecrire le modèle de régression correspondant, de façon analytique puis de façon vectorielle,

en veillant à bien poser les hypothèses : on notera Y le vecteur modélisant les longueurs des
troncs des eucalyptus, β le vecteur des cœfficients de régression et X la matrice du plan
d’expérience, supposée de plein rang. Si y désigne l’observation de Y, on a
   
 1429 67660 9791.6   30312.5 
X0 X =  67660 3306476 471237.9  , X0 y =  1461695.8  , SCR = 1840.247.
   
9791.6 471237.9 67660 209685.6
   

b) Donner la valeur de l’estimateur des moindres carrés ordinaires β̂ de β calculé sur les
observations. Représenter sur le graphique fourni la courbe de régression obtenue.
c) Donner l’expression d’un estimateur σb2 sans biais de la variance du modèle. Donner les
valeurs de cet estimateur et d’un estimateur sans biais de la matrice de variance-covariance
de β̂ calculés sur les observations.
d) Calculer les valeurs de la somme des carrés expliquée puis du cœfficient de détermination
R2 sur les observations. Comparer ce dernier résultat à la valeur du R2 dans le modèle de
régression linéaire simple. Que peut-on en conclure ?
3. Quelle valeur peut-on prédire pour la longueur du tronc d’un eucalyptus dont la circon-
férence à 1m30 du sol est de 48cm dans chaque modèle ? Estimer la variance de l’erreur de
prédiction correspondante dans les deux modèles. Commenter les résultats.

Exercice 3 : Rôle de la constante dans le modèle

Soit X une matrice n × p de rang p. Soit Ŷ le projeté orthogonal sur l’espace engendré par les
n
Pn de X d’un vecteur Y de R .
vecteurs colonnes
Montrer que i=1 (Yi − Ŷi ) = 0 si l’un des vecteurs colonnes de X est le vecteur 1 = (1, . . . , 1)0 .

Exercice 4 : Cœfficient de détermination et modèles emboîtés

Soit Z une matrice n × q de rang q, dont le premier vecteur colonne est 1, et X une matrice
n × p de rang p composée des q vecteurs colonnes de Z et de p − q autres vecteurs linéairement
indépendants (q ≤ p ≤ n). On considère les deux modèles de régression linéaire multiple
suivants :

Y = Zβ + ε
Y = Xβ̃ + ε̃,

où ε et ε̃ vérifient les conditions standards d’un modèle de régression linéaire multiple.

Comparer les cœfficients de détermination R2 dans les deux modèles. Discuter de l’utilisation
du R2 pour la sélection de modèle ou de variables explicatives.

Exercice 5 : Régression sur variables explicatives orthogonales

On considère le modèle de régression linéaire multiple :

Y = Xβ + ε,

où Y ∈ Rn , X est une matrice réelle de taille n × p (p ≤ n) composée de p vecteurs colonnes

orthogonaux, β = (β0 , . . . , βp−1 )0 ∈ Rp , ε ∈ Rn vérifiant les conditions standards. L’estimateur
(X) (X)
des moindres carrés ordinaires de β est noté β̂(X) = (β̂0 , . . . , β̂p−1 )0 .

36
 2.10. Exercices

Soit U la matrice des q premières colonnes de X et V la matrice des p − q dernières colonnes

de X. On définit à partir de ces matrices deux nouveaux modèles de régression linéaire
multiple, l’un à q variables explicatives, l’autre à p − q variables explicatives. Les estimateurs
des moindres carrés ordinaires de β obtenus dans ces modèles sont respectivement notés
(U) (U) (V) (V)
β̂(U) = (β̂0 , . . . , β̂q−1 )0 et β̂(V) = (β̂q , . . . , β̂p−1 )0 . Les sommes des carrés expliquées dans les
trois modèles sont notées SCE(X), SCE(U) et SCE(V).

1. Montrer que SCE(X)=SCE(U)+SCE(V).

(U) (X) (V) (X)
2. Montrer que pour 0 ≤ j ≤ q − 1, β̂ j = β̂ j et que pour q ≤ j ≤ p − 1, β̂ j = β̂ j .

37
Chapitre 2. Le modèle de régression linéaire multiple

38
Chapitre 3

Le modèle de régression linéaire

multiple sous hypothèse gaussienne

3.1 Introduction

On rappelle l’expression vectorielle du modèle de régression linéaire multiple (1 ≤ p ≤ n) :

Y = Xβ + ε,

avec
Y1  x1,0 . . . x1,p−1  β0 ε1
       
.. X =  ... .. β =  ... ..
     
Y =   ,  , et ε =   .
       
.  . 

 . 
   
Yn xn,0 . . . xn,p−1 βp−1 εn
   

On rappelle aussi les conditions standards imposées au vecteur des bruits ε :

— (C1 ) : E[ε] = 0 (centrage),
— (C2 ) : cov(εi , ε j ) = 0 pour tout i , j (non corrélation),
— (C3 ) : var(εi ) = σ2 (inconnue) pour tout i = 1 . . . n (homoscédasticité),

La matrice du plan d’expérience X est supposée de plein rang, c’est-à-dire rang(X) = p. Cela
implique en particulier que la matrice symétrique X0 X est définie positive.

On souhaite maintenant faire de l’inférence statistique (non asymptotique) sous une hypo-
thèse usuelle :
— (C4 ) : ε est un vecteur gaussien.

Les conditions (C1 ) à (C4 ) sont alors équivalentes à ε ∼ N(0, σ2 In ) et Y ∼ N(Xβ, σ2 In ).

On remarque que les variables εi sont maintenant supposées i.i.d., que les Yi sont supposées
indépendantes, et que le modèle est paramétrique, dominé par la mesure de Lebesgue sur
Rn .

39
Chapitre 3. Le modèle de régression linéaire multiple sous hypothèse gaussienne

3.2 Estimateurs du maximum de vraisemblance

La vraisemblance du modèle s’écrit :
  p−1
2 
!n n  !n
1  1 1 1
 X X    
L(β, σ , Y1 , . . . , Yn ) = √
2
β j xi,j   = √ exp − 2 kY − Xβk ,
2

exp − 2 Yi −
  
2πσ2  2σ    2πσ2 2σ
i=1 j=0

d’où
n n 1
ln L(β, σ2 , Y1 , . . . , Yn ) = − ln(2π) − ln σ2 − 2 kY − Xβk2 .
2 2 2σ
La fonction (β, σ2 ) 7→ ln L(β, σ2 , Y , . . . , Yn ) admet un seul point critique (β̃, σe2 ) tel que
1

kY − Xβ̃k2 kε̂k2 n − p b2
β̃ = β̂ = (X0 X)−1 X0 Y, et σe2 = = = σ .
n n n
On vérifie facilement que ce point critique correspond bien à un maximum.

On remarque que l’estimateur du maximum de vraisemblance de β est égal à l’estimateur

des MCO β̂ déterminé dans le chapitre précédent. Il est donc linéaire, sans biais de variance
minimale parmi les estimateurs linéaires sans biais (théorème de Gauss Markov). En re-
vanche, l’estimateur du maximum de vraisemblance σe2 est un estimateur biaisé de σ2 . En
pratique, on préfère utiliser σb2 .

3.3 Lois des estimateurs

Pour déterminer la loi de ces estimateurs, on se sert d’un résultat général sur les vecteurs
gaussiens : le théorème de Cochran.

Thèorème 11. Sous les conditions (C1 ) à (C4 ), les estimateurs β̂ et σb2 vérifient :
— Pour toute matrice réelle M de taille q × p de rang q (q ≤ p), alors
 h i
Mβ̂ ∼ N Mβ, σ2 M(X0 X)−1 M0 ,

et
1 h i0 h
−1 0 −1
i h i
M( β̂ − β) M(X 0
X) M M(β̂ − β) ∼ χ2 (q).
σ2
— (n − p)σb2 /σ2 ∼ χ2 (n − p).
— Les estimateurs β̂ et σb2 sont indépendants.

Preuve : Application directe des propriétés de base des vecteurs gaussiens puis du théorème
de Cochran.
On a : β̂ = (X0 X)−1 X0 (Xβ + ε) = β + (X0 X)−1 X0 ε, d’où Mβ̂ = Mβ + M(X0 X)−1 X0 ε. Puisque ε ∼
N(0, σ2 In ) on a bien Mβ̂ ∼ N(Mβ, σ2 M(X0 X)−1 X0 [M(X0 X)−1 X0 ]0 ) = N(Mβ, σ2 M(X0 X)−1 M0 ),
puis
h i0 h i−1 h i
M(β̂ − β) σ2 M(X0 X)−1 M0 M(β̂ − β) ∼ χ2 (q).

40
 3.4. Intervalles et régions de confiance pour les paramètres - Intervalles de prédiction

Pour appliquer le théorème de Cochran, on remarque que β̂ = β + (X0 X)−1 X0 ε = β +

(X0 X)−1 X0 ΠX ε, et (n − p)σb2 = kΠX⊥ Yk2 = kΠX⊥ (Xβ + ε)k2 = kΠX⊥ εk2 . Le vecteur des bruits ε
vérifie les hypothèses du théorème de Cochran (ε ∼ N(0, σ2 In )), donc on obtient bien la loi
de (n − p)σb2 /σ2 et l’indépendance de β̂ et σb2 .

Le théorème 11 permettra de dégager des fonctions pivotales pour la construction d’inter-

valles ou de régions de confiance pour les paramètres du modèle, et des statistiques de test
sur ces paramètres. Plus précisément, on utilisera les deux corollaires suivants.

Corollaire 1. Sous les conditions (C1 ) à (C4 ), pour tout j = 0 . . . p − 1,

β̂ j − β j
q ∼ T (n − p).
σ (X X) j+1, j+1
b2
 0 −1 

Preuve. Il suffit de prendre la matrice M = (0, . . . , 0, 1, 0, . . . , 0) dont tous

h les éléments
i sont
nuls, sauf le (j + 1)ème élément qui est égal à 1. Alors M(X X) M = (X X)
0 −1 0 0 −1 .
j+1, j+1

Corollaire 2. Sous les conditions (C1 ) à (C4 ), si M est une matrice réelle de taille q × p de rang q
(q ≤ p),
1 h i0 h i−1 h i
M(β̂ − β) M(X0 X)−1 M0 M(β̂ − β) ∼ F (q, n − p).
qσb2

3.4 Intervalles et régions de confiance pour les paramètres - Inter-

valles de prédiction
3.4.1 Intervalles et régions de confiance pour les cœfficients de régression
On peut à partir du Corollaire 1 construire un intervalle de confiance bilatère pour le cœffi-
cient β j :
Proposition 5. Soit α ∈]0, 1[. On note tn−p (u) le u-quantile de la loi T (n − p).
Un intervalle de confiance de niveau de confiance (1 − α) pour β j ( j = 0 . . . p − 1) est donné par
" q q #
Î j = β̂ j − tn−p (1 − α/2) σb2 (X0 X)−1 j+1,j+1 ; β̂ j + tn−p (1 − α/2) σb2 (X0 X)−1 j+1, j+1 .
   

On peut ensuite à partir du Corollaire 2 construire une région de confiance pour m = Mβ, où
M est une matrice réelle de taille q × p de rang q (q ≤ p).
Proposition 6. Soit α ∈]0, 1[. On note fq,n−p (u) le u-quantile de la loi F (q, n − p).
Une région de confiance de niveau de confiance (1 − α) pour m = Mβ est donnée par :
 
 q 1 h i0 h i−1 h i 
Î(M) =  , β̂ 0 −1 0
β̂ α) .
 
m ∈ M − m M(X M M − m ≤ f (1 −
 
R X) q,n−p 
qσb2

 


Exemples fondamentaux : région de confiance simultanée pour β (ellipsoïde de confiance)

ou un "sous-vecteur" de β (ellipse de confiance pour un couple de cœfficients de régression).

41
Chapitre 3. Le modèle de régression linéaire multiple sous hypothèse gaussienne

3.4.2 Intervalles de confiance pour la variance σ2

Proposition 7. Soit α ∈]0, 1[. On note cn−p (u) le u-quantile de la loi χ2 (n − p).
 
(n−p)σb2 (n−p)σb2
Un intervalle de confiance de niveau de confiance (1 − α) pour σ est donné par cn−p (1−α/2) ; cn−p (α/2) .
2

3.4.3 Intervalles de prédiction

A partir d’une nouvelle valeur explicative xn+1 = (xn+1,0 , . . . , xn+1,p−1 ), on souhaite prédire une
nouvelle observation d’une variable Yn+1 = β0 xn+1,0 + . . . + βp−1 xn+1,p−1 + εn+1 = xn+1 β + εn+1 ,
avec εn+1 ∼ N(0, σ2 ) et εn+1 indépendante des εi , i = 1 . . . n, i.e. Yn+1 indépendante des Yi ,
i = 1 . . . n, utilisées pour construire β̂.
p Pp−1
On introduit Ŷn+1 = xn+1 β̂ = j=0
xn+1, j β̂ j .
p p p
L’erreur de prédiction définie par ε̂n+1 = Yn+1 − Ŷn+1 vérifie alors : ε̂n+1 ∼ N(0, σ2 (1 +
xn+1 (X0 X)−1 x0n+1 )).

Thèorème 12. Un intervalle de prédiction pour Yn+1 de niveau de confiance (1 − α) est donné par
" q q #
p p p
In+1
b = Ŷn+1 − tn−p (1 − α/2) σ2 (1 + xn+1 (X0 X)−1 xn+1 ); Ŷn+1 + tn−p (1 − α/2) σ2 (1 + xn+1 (X0 X)−1 xn+1 ) .
b 0 b 0

3.5 Tests d’hypothèses sur les cœfficients de régression

Le niveau des différents tests présentés ici est fixé à α ∈]0, 1[.

3.5.1 Test de nullité d’un cœfficient ou de (non) significativité d’une variable

explicative
On souhaite tester l’hypothèse nulle (H0 ) : β j = 0 contre l’alternative (H1 ) : β j , 0 pour
j ∈ {0, . . . , p − 1}.
A partir du Corollaire 1, on construit une statistique de test :

β̂ j
T(Y) = q ,
σ (X X) j+1, j+1
b2
 0 −1 

qui suit sous l’hypothèse (H0 ) la loi T (n − p).

On peut alors prendre comme région de rejet ou région critique :

R(H0 ) = {y, |T(y)| ≥ tn−p (1 − α/2)}.

Il est aussi possible d’utiliser directement les intervalles de confiance construits ci-dessus
pour retrouver ce résultat : si 0 < Î j , on rejette l’hypothèse (H0 ) : β j = 0 au profit de l’alterna-
tive (H1 ) : β j , 0.

42
 3.5. Tests d’hypothèses sur les cœfficients de régression

3.5.2 Tests d’hypothèses linéaires sur les cœfficients

Plus généralement, si l’on souhaite tester l’hypothèse nulle (H0 ) : Mβ = m contre l’alternative
(H1 ) : Mβ , m, on peut, d’après le corollaire 2, utiliser comme statistique de test :

1 h i0 h i−1 h i
F(Y) = Mβ̂ − m M(X0 X)−1 M0 Mβ̂ − m ,
qσb2

qui suit sous l’hypothèse (H0 ) la loi F (q, n − p).

On prend alors comme région de rejet ou région critique :

R(H0 ) = {y, F(y) > fq,n−p (1 − α)}.

Ce résultat se retrouve aussi directement à partir de la région de confiance construite ci-

dessus : si m < Î(M) , on rejette l’hypothèse (H0 ) : Mβ = m au profit de l’alternative (H1 ) :
Mβ , m.

Exemples :
— Test de nullité d’un cœfficient ou test de (non) significativité d’une variable explicative.
En prenant la matrice M = (0 . . . 0 1 0 . . . 0) égale au vecteur ligne ne contenant que
des 0 sauf le (j + 1)ème élément qui vaut 1, on obtient la statistique :

β̂2j
F(Y) = = T(Y)2 ,
σb2 [(X0 X)−1 ] j+1,j+1

sachant qu’une loi de Fisher à (1, n − p) degrés de liberté est exactement la loi du carré
d’une variable de loi de Student à n − p degrés de liberté.
On retouve donc précisément le test introduit dans le paragraphe précédent.
— Test de nullité simultanée de plusieurs cœfficients c’est-à-dire de (H0 ) : β j1 = . . . =
β jq = 0 contre (H1 ) : il existe k ∈ {1, . . . , q} tel que β jk , 0 (j1 ≤ . . . ≤ jq ), ou test de
validité du sous-modèle
Y = X(p−q) β(p−q) + ε(p−q) ,
où X(p−q) est la matrice formée des p − q vecteurs colonnes de X dont on aura retiré
les colonnes j1 , . . . , jq , β(p−q) est un vecteur de Rp−q , et où ε(p−q) ∼ N(0, σ2 In ).
Choix de la matrice M : Mk,l = δlj .
k
— Dans le cas où xi,0 = 1 pour tout i, test de (H0 ) : β1 = . . . = βp−1 = 0 contre (H1 ) : il
existe k ∈ {1, . . . , p − 1} tel que βk , 0, ou test de validité globale du modèle (complet).
On choisit :
 0 1 0 0 . . . 0 
 
 0 0 1 0 . . . 0 
 
M =   .
 ... 
0 0 0 0 ... 1
 

3.5.3 Test du rapport de vraisemblance maximale

On montre ici que le test construit intuitivement dans le paragraphe précédent correspond
en fait au test du rapport de vraisemblance maximale.

43
Chapitre 3. Le modèle de régression linéaire multiple sous hypothèse gaussienne

Thèorème 13. - Le test du rapport de vraisemblance maximale de niveau α de l’hypothèse nulle (H0 ) :
Mβ = m contre l’alternative (H1 ) : Mβ , m a comme région critique l’ensemble R(H0 ) = {y, F̃(y) >
fq,n−p (1 − α)}, avec
 
kXβ̂ − Xβ̂(M) k2 /q kY − Xβ̂(M) k2 − kY − Xβ̂k2 /q
F̃(Y) = = . (3.1)
kY − Xβ̂k2 /(n − p) kY − Xβ̂k2 /(n − p)
β̂(M) est l’estimateur des moindres carrés ordinaires de β sous la contrainte Mβ = m. Il est donné par
h i−1
β̂(M) = β̂ + (X0 X)−1 M0 M(X0 X)−1 M0 (m − Mβ̂).

- La statistique du test du rapport de vraisemblance maximale F̃(Y) définie par (3.1) est égale à la
statistique de test F(Y). Le test du rapport de vraisemblance maximale est donc équivalent au test
construit intuitivement.
Preuve. On considère le test du rapport de vraisemblance maximale de l’hypothèse nulle
(H0 ) : Mβ = m contre l’alternative (H1 ) : Mβ , m, basé sur la statistique de test :

sup(β,σ2 )∈Rp × R+ ,Mβ=m L(β, σ2 , Y1 , . . . , Yn )

ρ(Y) = .
sup(β,σ2 )∈Rp × R+ L(β, σ2 , Y1 , . . . , Yn )

On a d’après ce qui précède,

!n/2
n n
 
sup(β,σ2 )∈Rp × R+ L(β, σ , Y1 , . . . , Yn ) = L(β̂, σe2 , Y1 , . . . , Yn ) =
2
exp − .
2πkY − Xβ̂k2 2

Pour déterminer sup(β,σ2 )∈Rp × R+ ,Mβ=m L(β, σ2 , Y1 , . . . , Yn ), on minimise la fonction β 7→ kY −

Xβk2 sous la contrainte Mβ = m.
Le Lagrangien du problème s’écrit :

Λ(β, λ) = kY − Xβk2 − λ(Mβ − m).

Ce Lagrangien admet un unique point critique (β̂(M) , λ̂(M) ) vérifiant :

−2X0 Y + 2X0 Xβ̂(M) − M0 λ̂(M) = 0

(

Mβ̂(M) − m = 0

En multipliant la première égalité à gauche par M(X0 X)−1 , on obtient :

−2M(X0 X)−1 X0 Y + 2Mβ̂(M) − M(X0 X)−1 M0 λ̂(M) = 0,

d’où
−2M(X0 X)−1 X0 Y + 2m − M(X0 X)−1 M0 λ̂(M) = 0,
puis
h i−1  
λ̂(M) = 2 M(X0 X)−1 M0 m − M(X0 X)−1 X0 Y .

On obtient finalement à partir de la première équation l’expression de β̂(M) :

h i−1
β̂(M) = (X0 X)−1 X0 Y + (X0 X)−1 M0 M(X0 X)−1 M0 (m − M(X0 X)−1 X0 Y),

44
 3.5. Tests d’hypothèses sur les cœfficients de régression

ou encore :
h i−1
β̂(M) = β̂ + (X0 X)−1 M0 M(X0 X)−1 M0 (m − Mβ̂).

On a enfin
!n/2
n n
 
sup(β,σ2 )∈Rp × R+ ,Mβ=m L(β, σ , Y1 , . . . , Yn ) =
2
exp − .
2πkY − Xβ̂(M) k2 2

La statistique du test du rapport de vraisemblance maximale s’écrit ainsi :

!n/2
kY − Xβ̂k2
ρ(Y) = .
kY − Xβ̂(M) k2

Le test du rapport de vraisemblance maximale de (H0 ) contre (H1 ) a une région critique de
la forme {y, ρ(y) < ρα }, ce qui est équivalent à rejeter (H0 ) lorsque

(kY − Xβ̂(M) k2 − kY − Xβ̂k2 )/q

> ρ0α .
kY − Xβ̂k2 /(n − p)

Il s’agit maintenant de montrer que kY − Xβ̂(M) k2 − kY − Xβ̂k2 = kXβ̂ − Xβ̂(M) k2 , puis que

kXβ̂ − Xβ̂(M) k2 /q 1 h i0 h i−1 h i

= Mβ̂ − m M(X0 X)−1 M0 Mβ̂ − m .
kY − Xβ̂k2 /(n − p) qσb2

On considère le sous-espace affine (vectoriel si m = 0) de E(X) défini par E(M) = {Xβ, Mβ = m}.
On a alors la décomposition suivante :

⊥ 
M 
E (M)⊥
= E(X) ⊥
E(X) ∩ E(M)⊥ .

Puisque β̂(M) minimise la fonction β 7→ kY − Xβk2 sous la contrainte Mβ = m, Xβ̂(M) est le

projeté orthogonal de Y sur E(M) . On a alors : Y − Xβ̂(M) ∈ E(M)⊥ . De plus, Y − Xβ̂ est le projeté
orthogonal de Y sur E(X)⊥ et Xβ̂ − Xβ̂(M) appartient à E(X) ∩ E(M)⊥ (Xβ̂(M) est aussi le projeté
orthogonal de Xβ̂ sur E(M) .
,→ Représentation géométrique dans le cas m = 0.
Par le théorème de Pythagore, on a donc bien kY − Xβ̂(M) k2 = kY − Xβ̂k2 + kXβ̂ − Xβ̂(M) k2
c’est-à-dire : kY − Xβ̂(M) k2 − kY − Xβ̂k2 = kXβ̂ − Xβ̂(M) k2 .
Par ailleurs, en reprenant l’expression matricielle de β̂(M) , on obtient que
h i−1
kXβ̂ − Xβ̂(M) k2 = kX(X0 X)−1 M0 M(X0 X)−1 M0 (m − Mβ̂)k2 , d’où
h i−1
kXβ̂−Xβ̂(M) k2 = (m−Mβ̂)0 M(X0 X)−1 M0 (m−Mβ̂), et on remarque que σb2 = kY−Xβ̂k2 /(n−p)
pour conclure.
Enfin, la loi de F(Y) sous (H0 ) étant donnée par le Corollaire 2, le test du rapport de vraisem-
blance maximale est bien équivalent au test construit intuitivement.

45
Chapitre 3. Le modèle de régression linéaire multiple sous hypothèse gaussienne

Retour sur le test de validité d’un sous-modèle

On revient sur le problème de test de nullité simultanée de q cœfficients de régression i.e.
(H0 ) : β j1 = . . . = β jq = 0 contre (H1 ) : il existe k ∈ {1, . . . , q} tel que β jk , 0, avec j1 ≤ . . . jq , ou
de validité du sous-modèle
Y = X(p−q) β(p−q) + ε(p−q) .
D’après le théorème précédent, la statistique de test F(Y) peut s’écrire également :

(SCR(M) − SCR)/q
F(Y) = ,
SCR/(n − p)
où SCR(M) est la somme des carrés résiduelle dans le sous-modèle, SCR la somme des carrés
résiduelle dans le modèle complet.
Si xi,0 = 1 pour tout i, et j1 ≥ 1, on peut aussi écrire :

(R2 − (R2 )(M) )/q

F(Y) = ,
(1 − R2 )/(n − p)
où (R2 )(M) est le cœfficient de détermination dans le sous-modèle.

Retour sur le test de validité globale du modèle

On revient sur le problème du test de validité globale du modèle dans le cas où xi,0 = 1
pour tout i, c’est-à-dire le problème de test de (H0 ) : β1 = . . . = βp−1 = 0 contre (H1 ) : il existe
k ∈ {1, . . . , p − 1} tel que βk , 0.
On a choisi
. . . 0 
 
 0 1 0 0
 0 0 1 0... 0
 
M =   .

 ... 
0 0 0 0 ... 1
 

Dans ce cas, Xβ̂(M) = Ȳ1, donc F(Y) s’écrit aussi :

kŶ − Ȳ1k2 /(p − 1) R2 n − p

F(Y) = = ,
kY − Ŷk2 /(n − p) 1 − R2 p − 1

et suit sous (H0 ) la loi F (p − 1, n − p).

On remarque ici à nouveau l’intérêt de l’introduction du cœfficient de détermination R2 (et

on retrouve l’interprétation des cas limites).

46
 3.6. Exercices

3.6 Exercices

Exercice 1 : Questions de cours

On considère le modèle de régression linéaire multiple

Y = Xβ + ε,

où le vecteur Y à valeurs dans Rn représente la variable à expliquer, X est une matrice réelle
de taille n × p de rang p, β = (β0 , . . . , βp−1 )0 ∈ Rp (inconnu) et ε est le vecteur des bruits
aléatoires à valeurs dans Rn .
On pose pour le vecteur des bruits ε les conditions standards du modèle de régression
linéaire multiple, ainsi qu’une hypothèse gaussienne.
1. Comment cette hypothèse gaussienne se formule-t-elle ?
2. Quelles conditions impose-t-elle sur les variables εi et Yi ?
3. Les estimateurs du maximum de vraisemblance de β et σ2 sont-ils sans biais ? Expliquer.
4. Quelle est la loi de ces estimateurs ? Sont-ils indépendants ?
5. Le produit des intervalles de confiance (individuels) de niveau de confiance 1 − α pour les
β j ( j = 0 . . . p − 1) correspond-il à la région de confiance simultanée de niveau de confiance
(1 − α) pour β ? Justifier la réponse.
6. Montrer que le test de Student de nullité d’un cœfficient de régression β j est équivalent au
test du rapport de vraisemblance maximale correspondant.
7. Montrer que la statistique du test du rapport de vraisemblance maximale permettant de
tester la validité globale du modèle peut s’écrire en fonction du cœfficient de détermination
R2 .
8. Peut-on tester la validité de n’importe quel sous-modèle à partir des intervalles de
confiance individuels pour les β j (j = 0 . . . p − 1) ?
9. Peut-on tester la validité d’un sous-modèle à partir des valeurs des cœfficients de dé-
termination calculés sur les observations dans le modèle complet et dans le sous-modèle ?
Expliquer.
10. Imaginer une procédure de sélection de variables explicatives basée sur les tests de
validité de sous-modèles.

Exercice 2 : Théorème de Cochran (version simplifiée)

Soit Y ∼ N(0, σ2 In ) et E un sous-espace vectoriel de Rn de dimension p. On note ΠE la matrice

de projection orthogonale de Rn sur E. Démontrer les propriétés suivantes :
1. ΠE Y ∼ N(0, σ2 ΠE ),
2. kΠE Yk2 /σ2 ∼ χ2 (p),
3. kY − ΠE Yk2 /σ2 ∼ χ2 (n − p),
4. Les vecteurs ΠE Y et Y − ΠE Y sont indépendants.
Expliquer en quoi le théorème de Cochran est central en modèle de régression linéaire
multiple sous hypothèse gaussienne.

47
Chapitre 3. Le modèle de régression linéaire multiple sous hypothèse gaussienne

Exercice 3 : Variables "centrées"

On considère le modèle de régression suivant :

Yi = β0 + β1 xi,1 + β2 xi,2 + β3 xi,3 + εi , 1 ≤ i ≤ n.

où les xi, j , j = 1, 2, 3, sont déterministes, et le vecteur des εi est un vecteur gaussien centré de
matrice de variance covariance σ2 In .
En posant :

1 x1,1 x1,2 x1,3 Y1

   
.. .. .. .. ..
   
X =  Y =   ,
   
. . . . 
 et . 
 
1 xn,1 xn,2 xn,3 Yn
 

et en notant y l’observation de Y, on a
   
 50 0 0 0   100 
 0 20 15 4   50 
   
X0 X =   , X0 y =   , y0 y = 640.
 0 15 30 10   40 
0 4 10 40 80
   

On admettra que
 −1  
 20 15 4   1100 −560 30 
1 
 15 30 10  =  −560 784 −140  .
  
  13720  
4 10 40 30 −140 375

1. Donner la valeur de n.
2. Interpréter les 0 de la matrice X0 X.
3. Estimer les paramètres β0 , β1 , β2 , β3 par la méthode du maximum de vraisemblance
et donner un estimateur sans biais de σ2 . Quelle est la loi des estimateurs obtenus ? Ces
estimateurs sont-ils indépendants ?
4. Donner les valeurs de ces estimateurs calculés sur les observations.
5. Donner un intervalle de confiance de niveau de confiance 95% pour σ2 .
6. Tester la validité globale du modèle au niveau 5%.
7. Construire un test de niveau 5% de l’hypothèse (H0 ) : β3 = 0 contre (H1 ) : β3 , 0 de deux
façons différentes. Que peut-on conclure ?
8. Construire un test de niveau 5% de l’hypothèse (H0 ) : β3 = −4β2 contre (H1 ) : β3 , −4β2 de
deux façons différentes. Que peut-on conclure ?
9. On suppose que l’on dispose de nouvelles valeurs xn+1,1 = 1, xn+1,2 = −1 et xn+1,3 = 0.5.
Donner un intervalle de prédiction de niveau de confiance 95% pour la variable Yn+1 telle
que Yn+1 = β0 + β1 xn+1,1 + β2 xn+1,2 + β3 xn+1,3 + εn+1 , avec (ε1 , . . . , εn+1 ) ∼ N(0, σ2 In+1 ).

48
 3.6. Exercices

Exercice 4 : Régression polynômiale

On considère le modèle de régression polynômiale suivant :

Yi = β0 + β1 xi + β2 x2i + εi , 1 ≤ i ≤ n,

où les xi sont déterministes, et les εi sont des variables aléatoires i.i.d. de loi gaussienne
centrée de variance σ2 .
On observe les valeurs :
i 1 2 3 4 5 6 7 8 9 10 11
xi −5 −4 −3 −2 −1 0 1 2 3 4 5
yi −3.37 −2.11 −2.24 1.59 3.28 3.96 6.42 8.57 10.71 14.32 15.91

1. Donner une condition simple pour que le modèle soit identifiable.

2. Tester la validité globale du modèle au niveau 5%.
3. Construire un intervalle de confiance de niveau de confiance 95% pour β2 .
4. Déterminer la p-valeur du test de nullité de β2 . Le résultat est-il cohérent avec celui de la
question précédente ?

Exercice 5 : Régression périodique

On considère le modèle de régression périodique suivant :

Yi = β0 xi + β1 cos(xi ) + εi , −n ≤ i ≤ n (n ≥ 1),

où xi = iπ/n et les εi sont des variables aléatoires i.i.d. de loi gaussienne centrée de variance σ2 .

1. Vérifier que
n n
X X π2 (n + 1)(2n + 1)
cos2 (xi ) = n + 1 et x2i = .
3n
i=−n i=−n

2. Déterminer les estimateurs du maximum de vraisemblance de β0 et β1 , puis un estimateur

sans biais de σ2 . Quelle est la loi de ces estimateurs ? Sont-il indépendants ?
3. Construire un test de niveau α de l’hypothèse nulle (H0 ) : β0 = 0 contre l’alternative (H1 ) :
β0 > 0.
4. Déterminer le test du rapport de vraisemblance maximale de niveau α de l’hypothèse
(H0 ) : β0 − 4β1 = 1 contre (H1 ) : β0 − 4β1 , 1.

Exercice 6 : Régression puissance

On cherche à expliquer la température absolue (en K) d’un gaz en équilibre thermodyna-

mique en fonction de la pression (en Pa) et du volume occupé (en m3 ) par une mole de
molécules de ce gaz. On considère pour cela un modèle de la forme :
β β
Ti = eβ0 Pi 1 Vi 2 ηi ,

où Ti , Pi , Vi désignent respectivement les valeurs de la température, de la pression et du

volume pour la ième observation du gaz (i ∈ {1, . . . , 50}), les ηi sont des termes d’erreur
aléatoires tels que

49
Chapitre 3. Le modèle de régression linéaire multiple sous hypothèse gaussienne

— les ηi sont indépendants,

— E[ln ηi ] = 0 pour tout i,
— var(ln ηi ) = σ2 pour tout i.
Ce modèle peut s’écrire sous la forme d’un modèle de régression linéaire multiple :

Y = Xβ + ε,

avec β = (β0 , β1 , β2 )0 .
Remarque : on considère ici que les variables explicatives Pi et Vi sont déterministes.
1. Préciser Y, X, ε et les hypothèses faites sur ε. Ces hypothèses sont-elles standards ?
2. On suppose que X est de plein rang avec
 
 1.38783 −0.23195 −0.03336 
(X0 X)−1 =  −0.23195 0.04608 −0.01167 
 
−0.03336 −0.01167 0.04535
 

et on a pour l’observation y de Y : X0 y = (283.29, 1613.49, 644.11)0 , SCRobs = 10.42653.

a) Donner la valeur de l’estimateur des moindres carrés ordinaires β̂ de β calculé sur les
observations.
b) Déterminer un estimateur σb2 sans biais de la variance σ2 . En déduire un estimateur sans
biais de la matrice de variance-covariance Var(β̂) de β.
3. On suppose désormais que ε ∼ N(0, σ2 I50 ).
a) Quels sont les estimateurs du maximum de vraisemblance de β et de σ2 ?
b) Donner les lois de β̂ et σb2 . Les estimateurs β̂ et σb2 sont-ils indépendants ?
c) Construire une région de confiance simultanée pour (β1 , β2 ) de niveau de confiance 95%.
Quelle forme cette région a-t-elle ?
d) L’équation d’équilibre thermodynamique des gaz parfaits s’écrit pour une mole de
molécules de gaz :
1
T = PV,
R
où R = 8.314. Les observations peuvent-elles provenir d’un gaz parfait ? Répondre à cette
question à l’aide d’un test d’hypothèses de niveau 5%.

Exercice 7 : Données d’Air Breizh, concentration maximale en ozone dans l’air

On souhaite expliquer le maximum journalier de la concentration en ozone dans l’air à

Rennes noté O à l’aide des variables explicatives suivantes : la température à 6h, la tempéra-
ture à 9h, la température à 12h, la nébulosité à 6h, la nébulosité à 12h, et la projection du vent
sur l’axe Est-Ouest notées respectivement T6 , T9 , T12 , N6 , N12 et V. On dispose pour cela de
n observations, et on introduit le modèle de régression linéaire multiple :

Oi = β + βT6 T6,i + βT9 T9,i + βT12 T12,i + βN6 N6,i + βN12 N12,i + βV Vi + εi pour i ∈ {1, . . . , n},

sous les conditions standards et sous hypothèse gaussienne.

Question préliminaire. Écrire le modèle de façon matricielle et rappeler les conditions impo-
sées aux variables Oi .

50
 3.6. Exercices

On a lancé sur les données fournies par Air Breizh une procédure de régression linéaire à
l’aide du logiciel R (fonction lm), et on a obtenu la sortie suivante :

Coefficients :
Estimate Std. Error t value Pr(>|t|)
(Intercept) 63.1193 3.5993 ??? < 2e-16 ***
T6 -1.6338 ??? -5.171 2.74e-07 ***
T9 0.2184 0.4863 0.449 ??? ???
T12 2.6335 0.3299 ??? ??? ???
N6 -0.1585 0.2482 -0.639 0.523
N12 -2.2416 0.3134 -7.153 1.49e-12 ***
V 1.1124 0.1624 6.850 1.18e-11 ***

Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 16.97 on 1179 degrees of freedom
Multiple R-Squared: 0.488, Adjusted R-squared: 0.4854
F-statistic: ??? on ??? and ??? DF, p-value: < 2.2e-16

1. Définir si possible les éléments fournis par cette sortie R.

2. Compléter la sortie.
3. Tester la validité globale du modèle au niveau 5%.
4. Quelles sont les variables significatives au niveau 5% individuellement ?
5. Peut-on prédire le maximum journalier de la concentration en ozone et donner un in-
tervalle de prédiction pour des nouvelles observations de T6 , T9 , T12 , N6 , N12 et V égales
respectivement à 7, 10, 20, 0, 0, 1 ? Expliquer.

Exercice 8 : Données du Cirad, hauteur des eucalyptus

On souhaite expliquer la longueur du tronc d’un eucalyptus (en m) d’une parcelle plantée à
partir de sa circonférence à 1m30 du sol (en cm). On dispose pour cela de n observations, et
on introduit le modèle de régression linéaire multiple :
√
Yi = β0 + β1 xi + β2 xi + εi pour i ∈ {1, . . . , n},

où Yi représente la hauteur du tronc du ième eucalyptus, et xi sa circonférence à 1m30 du

sol, sous les conditions standards et sous hypothèse gaussienne.

Question préliminaire. Ecrire le modèle de façon matricielle et rappeler les conditions impo-
sées aux variables Yi .

On a lancé sur les données fournies par le Cirad, à l’aide du logiciel SAS (PROC REG), une pro-
cédure de régression linéaire multiple, puis deux procédures de régression linéaires simples,
avec comme seule variable explicative : soit la circonférence à 1m30, soit la racine carrée de
cette circonférence. On a obtenu les sorties fournies en Annexe 1.2.

Que peut-on conclure de ces sorties ?

51
Chapitre 3. Le modèle de régression linéaire multiple sous hypothèse gaussienne

52
Chapitre 4

Détection (et correction) des écarts au

modèle

Analyse des résidus, effet levier et mesure d’influence

4.1 Introduction
On rappelle l’expression vectorielle du modèle de régression linéaire multiple (p ≤ n) :

Y = Xβ + ε,
avec
Y1  x1,0 . . . x1,p−1  β0 ε1
       
.. X =  ... .. β =  ... ..
     
Y =   ,  , et ε =   .
       
 .   .  

  . 
Yn xn,0 . . . xn,p−1 βp−1 εn
   

La matrice du plan d’expérience X est supposée de plein rang, c’est-à-dire rang(X) = p. Cela
implique en particulier que la matrice symétrique X0 X est définie positive.

On rappelle aussi les conditions standards imposées au vecteur des bruits ε :

— (C1 ) : E[ε] = 0 (centrage),
— (C2 ) : cov(εi , ε j ) = 0 pour tout i , j (non corrélation),
— (C3 ) : var(εi ) = σ2 (inconnue) pour tout i = 1 . . . n (homoscédasticité),
ainsi que l’hypothèse gaussienne :
— (C4 ) : le vecteur ε suit une loi gaussienne.

Dans ce chapitre, on s’interroge dans un premier temps sur la pertinence du modèle de façon
globale. Plus précisément, on se pose les questions fondamentales suivantes :
1. La relation E[Y] = Xβ est-elle bien vérifiée (choix des variables explicatives, linéarité,
bruits centrés i.e. (C1 ) satisfaite) ?
2. Les bruits sont-ils bien non-corrélés ((C2 ) satisfaite) ?
3. Les bruits sont-ils bien homoscédastiques ((C3 ) satisfaite) ?
4. Le vecteur des bruits est-il bien de loi gaussienne ((C4 ) satisfaite) ?

53
Chapitre 4. Détection (et correction) des écarts au modèle

Remarque : on ne se penche pas ici sur la pertinence de l’hypothèse que X est de plein rang,
qui est vérifiable directement. On peut d’ailleurs remédier au problème dans le cas contraire
ou dans un cas "presque" contraire ,→ régressions biaisées - ridge, LASSO, régression sur
composantes principales, PLS, etc.

Dans un second temps, on se pose la question suivante : y a-t-il des observations "remar-
quables" ou "suspectes", mettant éventuellement en cause le modèle, ou en tout cas sur
lesquelles l’attention devra se porter précisément ?

Etapes essentielles de la mise en œuvre d’une procédure de régression linéaire, principale-

ment basées sur des méthodes graphiques : peu de règles strictes ⇒ regard permanent sur
les données et leur signification indispensable.

4.2 Analyse des résidus

Les hypothèses du modèle portant essentiellement sur les bruits qui ne sont pas observés, il
est naturel d’étudier les variables qui sont censées les approcher et qui sont calculables sur
les observations : les résidus.

Rappel. Propriétés des résidus sous les hypothèses (C1 ) à (C3 ) : E[ε̂] = 0, Var(ε̂) = σ2 (In − ΠX ).
De plus, ε̂ et Ŷ sont non corrélés. Sous l’hypothèse (C4 ), le vecteur ε̂ suit en plus une loi
gaussienne.

On notera dans ce cours H ("hat matrix") la matrice de projection ΠX , et ses éléments hi,k ,
1 ≤ i ≤ n, 1 ≤ k ≤ n.

4.2.1 Les différents résidus

Les résidus - tels quels - sont souvent utilisés pour détecter les écarts au modèle, abstraction
faite de l’hétéroscédasticité de ces résidus. Ce n’est pas à recommander.

On introduit donc deux nouveaux types de résidus.

Définition 8. On désigne par résidus studentisés les variables définies par :

ε̂i
Ti = q .
σ (1 − hi,i )
b2

Remarque : les résidus studentisés ne sont pas indépendants (à cause de σb2 ) et sont peu
robustes à des erreurs grossières sur la ième observation (à cause de l’estimation de σ2 par
σb2 ). On préfère donc en général utiliser les résidus studentisés par validation croisée.

Définition 9. On désigne par résidus studentisés par validation croisée les variables définies
par :
Yi − xi βc(i)
Ti∗ = q ,
σ(i) (1 + xi (X(i) X(i) ) xi )
c2 0 −1 0

54
 4.2. Analyse des résidus

où xi est le ième vecteur ligne de la matrice X, X(i) correspond à la matrice X dont on a supprimé la
ième ligne, βc (i) est l’estimateur des moindres carrés ordinaires de β et σ est l’estimateur sans biais
c2
(i)
de la variance, obtenus tous deux après suppression de la ième observation.

Les propriétés de ces résidus sont énoncées dans la proposition suivante.

Proposition 8. 1. Les variables Ti∗ s’obtiennent à partir des résidus :

ε̂i
Ti∗ = q .
σ(i) (1 − hi,i )
2
c

2. Les variables Ti∗ s’obtiennent à partir des résidus studentisés :

s
n−p−1
Ti∗ = Ti .
n − p − Ti2

3. Sous les hypothèses (C1 ) à (C4 ), si X(i) est de rang p, alors les Ti∗ sont i.i.d. de loi T (n − p − 1).

Preuve. Pour la troisième propriété, on montre que Ti∗ correspond à la statistique d’un test
de validité d’un sous-modèle.

Remarque : La deuxième propriété permet de voir que les fortes valeurs de Ti seront encore
mieux repérées sur les Ti∗ , et qu’en pratique, pour avoir t∗i , on n’aura pas besoin de relancer
une procédure d’estimation par moindres carrés ordinaires en supprimant la ième observa-
tion.

On s’intéresse maintenant à la suppression éventuelle d’une variable explicative X j . Pour

cela, on définit la notion de résidu partiel. On note X(j) la matrice obtenue après suppression
dans X du (j + 1)ème vecteur colonne, β(j) le vecteur obtenu après suppression dans β de
l’élément β j , et X j le (j + 1)ème vecteur colonne de X.
On a alors :
Y = X(j) β(j) + β j X j + ε,
d’où, si ΠX(j)⊥ désigne la matrice de projection orthogonale sur l’orthogonal de l’espace
vectoriel engendré par les vecteurs colonnes de X(j) ,

ΠX(j)⊥ Y = β j ΠX(j)⊥ X j + ΠX(j)⊥ ε (régression partielle).

Définition 10. On définit le résidu partiel Ŷ(j) = ε̂ + β̂ j X j .

4.2.2 Détection des écarts au modèle

On note ti et t∗i les observations respectives des variables Ti et Ti∗ .
Diagnostics graphiques essentiellement.
- Oubli de variables explicatives ou non linéarité : tracés de ŷi 7→ t∗i et/ou de xi, j 7→ t∗i , tracé des
t∗i en fonction de la variable éventuellement oubliée, tracé des résidus partiels par rapport à
la variable éventuellement oubliée ou de la régression partielle, utilisation des "lisseurs".

55
Chapitre 4. Détection (et correction) des écarts au modèle

- Structure de la matrice de variance covariance (corrélation, hétéroscédasticité) : tracé de

ŷi 7→ t∗i et/ou de xi, j 7→ t∗i , tracé de i 7→ t∗i , de t∗i en fonction du temps pour détecter une
auto-corrélation, tracé de t∗i sous forme de carte pour détecter une corrélation spatiale.
- Non normalité : Histogramme des t∗i et estimation de la densité, "boîte à moustaches" (box-
plot), comparaison des quantiles empiriques associés aux t∗i à l’espérance de ces quantiles
sous hypothèse gaussienne (Q-Q plot ou droite de Henri). Ne pas oublier toutefois que la
distribution des Ti∗ n’est pas gaussienne (surtout quand n est petit).

Exemples : Modèle adéquat / détection d’écarts au modèle.

Mesures diagnostiques : tests de validité de sous-modèles, procédures de sélection de va-

riables (c.f. chapitre suivant) pour détecter l’oubli de variables explicatives, test de Breusch
et Pagan pour détecter l’hétéroscédasticité, test de Durbin-Watson pour détecter une auto-
corrélation, test de Shapiro-Wilk pour détecter la non normalité.

4.2.3 Données aberrantes

On a vu que sous les hypothèses (C1 ) à (C4 ), les variables Ti∗ sont i.i.d. de loi T (n−p−1). Même
sans l’hypothèse gaussienne, si l’on a très grand nombre d’observations, on peut considérer
que les Ti∗ suivent approximativement cette loi.

Retour sur la signification du résidu : utilisation pour la détection de données mal ajustées
par le modèle, i.e. isolées en la variable à expliquer Y.

Définition 11. Soit α ∈]0, 1[. La donnée (xi , yi ) est dite aberrante au niveau α si |t∗i | > tn−p−1 (1 −
α/2).

Remarque : Attention, par définition, en moyenne approximativement αn données seront

considérées comme aberrantes ! Si α est pris trop grand, on ne pourra pas vraiment parler
de données aberrantes...

4.3 Analyse de la matrice de projection, effet levier

Les données aberrantes ne sont pas les seules sur lesquelles l’attention devra se porter préci-
sément. On se concentre ici sur la détection des données isolées en les variables explicatives.

4.3.1 Propriétés de la matrice de projection

On rappelle que H = ΠX = X(X0 X)−1 X0 , et que hi,k désigne l’élément (i, k) de H.
Pn
Pn P9.n 2 — i=1 hi,i = p (trace de H),
Proposition
— i=1 k=1 hi,k = p (idempotence),
— 0 ≤ hi,i ≤ 1,
— |hi,k | ≤ 0.5 pour tout k , i,
— Si hi,i = 0 ou hi,i = 1 alors hi,k = 0 pour tout k , i,
— (1 − hi,i )(1 − hk,k ) − h2i,k ≥ 0,
— hi,i hk,k − h2i,k ≥ 0.

56
 4.4. Mesures d’influence

4.3.2 Effet levier

On remarque ici que ŷi = nk=1 hi,k yk . Par conséquent, hi,i représente le poids de la ième
P
observation sur son ajustement. D’après la proposition précédente, si hi,i = 1 alors hi,k = 0
pour tout k, si au contraire hi,i = 0. On a donc les cas extrêmes suivants : si hi,i = 1, ŷi est
entièrement déterminée par yi , si hi,i = 0, alors yi n’influe pas sur ŷi qui est alors nul. La
moyenne des hi,i étant par ailleurs égale à p/n, si hi,i est grand, cela signifie que yi influe
fortement sur ŷi

Définition 12. La donnée (xi , yi ) a un effet levier si

— hi,i > 2p/n (Hoaglin et Welsh, 1978),
— hi,i > 3p/n pour p > 6 et n − p > 12 (Velleman et Welsh, 1981),
— hi,i > 0.2 ou 0.5 (Huber, 1981).

Exemple de la régression linéaire simple : xi éloignée du centre de gravité x̄.

4.4 Mesures d’influence

On a donné des éléments de détection des données isolées en la variable à expliquer (données
aberrantes), puis des données isolées en les variables explicatives (données ayant un effet
levier).

Ces données influent-elles sur l’estimation des cœfficients de régression ?

Deux exemples de mesures d’influence basées sur l’estimation β̂(i) après suppression de la
ième observation.

4.4.1 Distance de Cook

Rappel : région de confiance simultanée de niveau de confiance 1 − α pour β :
 
 p 1  0   
Î =  β , β̂ β 0
β̂ β α) .
 
∈ − − ≤ f (1 −
 
R X X p,n−p 
pσb2

 


,→ ellipsoïde centré en β̂.

L’influence de la ième donnée peut être mesurée par le décentrage de cet ellipsoïde après
suppression de cette donnée.

Définition 13. La distance de Cook pour la ième donnée est définie par :

(β̂ − β̂(i) )0 X0 X(β̂ − β̂(i) )

Ci = .
pσb2

La distance de Cook s’exprime en fonction des résidus studentisés, ou des résidus.

Proposition 10.
1 hi,i 1 hi,i
Ci = T2 = ε̂2 .
p 1 − hi,i i p (1 − h )2 σb2 i
i,i

57
Chapitre 4. Détection (et correction) des écarts au modèle

Mesure l’influence de la ième donnée sur l’estimation simultanée des β j .

Cook suggère de comparer chaque valeur observée de Ci aux quantiles de niveaux 0.1 à 0.5
d’une loi de Fisher à (p, n − p) degrés de liberté, bien que les Ci ne suivent pas exactement
cette loi (ce n’est pas un test exact !).
Interprétation d’une valeur observée de Ci élevée :
— Soit t2i élevée : donnée aberrante,
— soit hi,i /(1 − hi,i ) élevée : donnée ayant un effet levier,
— soit les deux.

4.4.2 Distance de Welsh-Kuh (DFFITS)

Définition 14. La distance de Welsh-Kuh - appelée aussi DFFITS ou DFITS - pour la ième donnée
est définie par :
s
|xi (β̂ − β̂(i) )| hi,i
WKi = q = |Ti∗ | .
1 − hi,i
σ (i) hi,i
b 2

Mesure l’influence conjointe de la ième donnée sur β̂ et σb2 .

p p
Seuils habituels pour l’observation de WKi : 2 p/n ou 2 p/(n − p) (Chatterjee et Hadi, 1988).

Explication sur un exemple de la différence entre Ci et WKi .

4.5 Correction des écarts au modèle

Lorsque l’on identifie une donnée "suspecte", la question de savoir si on la conserve ou non
se pose nécessairement.
Il faut toujours être très vigilant lorsqu’on choisit de supprimer une donnée : cette donnée
peut en effet contenir une information capitale pour la compréhension du phénomène étudié.
Aussi, on recommande généralement de ne pas supprimer de données (en particulier celles
qui sont influentes) sans avoir la certitude qu’elles sont le fruit d’erreurs de mesure par
exemple, ou qu’une compréhension "locale" du problème est suffisante...
Si l’on souhaite conserver les données suspectes, ou si leur suppression (étudiée) ne suffit
pas à corriger les écarts au modèle mis en évidence, il faut alors envisager une correction de
ces écarts. Nous donnons ici quelques pistes de correction. Les corrections de la corrélation
linéaire entre variables explicatives ne sont pas abordées dans ce cours : on pourra alors
envisager des régression sur composantes principales ou des régressions de type PLS...

4.5.1 Ajout d’une variable explicative

Etape basée sur le diagnostic graphique pour le choix de la variable à considérer. Procédures
plus "propres" de sélection de variables explicatives dans le chapitre suivant. Dans tous les
cas, on devra à nouveau mettre en œuvre l’étape de détection des écarts au modèle.

58
 4.5. Correction des écarts au modèle

4.5.2 Transformation des variables

Transformation des variables explicatives : OK
Attention à la transformation de la variable à expliquer seule, qui est en général mesurée en
unités propres aux utilisateurs.
Transformation des variables à expliquer et explicatives.
Cas particuliers d’hétéroscédasticité : moindres carrés pondérés, moindres carrés généralisés.
Cas particulier de l’autocorrélation : différenciation.

4.5.3 Cas particulier d’hétéroscédasticité : Moindres Carrés Généralisés

On considère le modèle de régression linéaire multiple

(M) : Y = Xβ + ε,

où Y est un vecteur aléatoire à valeurs dans Rn , X une matrice de plan d’expérience de taille
n × p et de rang p, mais où le vecteur des bruits ε vérifie les conditions suivantes :
— (C1 ) : E[ε] = 0,
— (C02 ) : Var(ε) = σ2 Ω, Ω étant une matrice symétrique définie positive connue, différente
de In .

Exemples :
1. Régression pondérée : Ω = diag(w21 , . . . , w2n ). Les bruits sont non corrélés mais hété-
roscédastiques.
2. Bruits suivant un processus AR(1) (auto-régressif d’ordre 1) : εt = ϕεt−1 + ηt , avec
|ϕ| < 1, E[ηt ] = 0, cov(ηi , ηk ) = σ2 δki . Alors

 1 ϕ ϕ2 . . . ϕn−1
 

 ϕ 1 ϕ . . . ϕn−2
 

1  ϕ2 ϕ 1 . . . ϕn−3

Ω=  .
1 − ϕ2  .. .. .. ..

..

 . . . . .


 
ϕn−1 ϕn−2 ϕn−3 ... 1

3. Données agrégées par blocs.

L’estimateur des moindres carrés ordinaires de β noté β̂ est toujours défini par β̂ = (X0 X)−1 X0 Y,
il reste sans biais, mais il n’est plus de variance minimale parmi les estimateurs linéaires sans
biais de β.
De plus, l’estimateur σb2 de σ2 possède un biais.
La matrice Ω étant symétrique définie positive, il existe une matrice P inversible telle que
PP0 = Ω.
On pose Y∗ = P−1 Y, X∗ = P−1 X et ε∗ = P−1 ε. En multipliant l’équation du modèle (M) à
gauche par P−1 , on obtient un nouveau modèle :

(M∗ ) : Y∗ = X∗ β + ε∗ .

Ce nouveau modèle (M∗ ) vérifie les conditions standards d’un modèle de régression linéaire
multiple et la matrice X∗ est de rang p.

59
Chapitre 4. Détection (et correction) des écarts au modèle

Le calcul de l’estimateur des MCO dans ce nouveau modèle donne ce qu’on appelle l’esti-
mateur des moindres carrés généralisés β̂MCG .
Définition 15. L’estimateur des moindres carrés généralisés (ou estimateur d’Aitken) est
défini par
β̂MCG = (X0 Ω−1 X)−1 X0 Ω−1 Y.
Remarque : la matrice P n’est pas unique. On peut prendre par ex. la matrice racine carrée
de Ω (obtenue par diagonalisation de Ω), mais aussi la racine carrée de Ω multipliée par
une matrice Q orthogonale quelconque. Peu importe : le choix de P n’intervient pas dans
l’expression de l’estimateur des moindres carrés généralisés...
Propriétés : β̂MCG est un estimateur linéaire sans biais, de variance σ2 (X0 Ω−1 X)−1 . Par le
théorème de Gauss-Markov appliqué dans le modèle (M∗ ), on peut montrer que β̂MCG est de
variance minimale parmi les estimateurs linéaires sans biais de β.
Enfin, l’estimateur défini par

(Y − Xβ̂MCG )0 Ω−1 (Y − Xβ̂MCG )

σb2 MCG =
n−p

est un estimateur sans biais de σ2 .

Remarque de conclusion : si le modèle ne peut finalement pas être amélioré, on aura recours
à des procédures d’estimation robuste afin de réduire l’influence des données "suspectes",
ou des procédures de régression non paramétrique.

4.6 Exercice : Compléments / questions de cours

On considère une matrice de plan d’expérience X de taille n × p. On note xi la ième ligne de

la matrice X et X(i) la matrice X privée de sa ième ligne. Si H désigne la matrice de projection
orthogonale sur l’espace E(X) engendré par les vecteurs colonnes de X, hi,k désigne l’élément
(i, k) de H. Soit Y un vecteur aléatoire de taille n, tel que Y = Xβ + ε où ε est un vecteur
aléatoire satisfaisant les conditions standards d’un modèle de régression linéaire multiple
sous hypothèse gaussienne. On note Yi son ième élément et Y(i) le vecteur Y privé de son
ième élément.
1. Résidus studentisés par validation croisée.
a) Montrer que X0 X = (X0(i) X(i) ) + x0i xi .
b) En déduire que
1 1
(X0(i) X(i) )−1 = (X0 X)−1 + 0 −1 0
(X0 X)−1 x0i xi (X0 X)−1 = (X0 X)−1 + (X0 X)−1 x0i xi (X0 X)−1 .
1 − xi (X X) xi 1 − hi,i

c) Montrer que X0(i) Y(i) = X0 Y − x0i Yi .

d) Montrer que les résidus studentisés par validation croisée définis par :

Yi − xi βc(i)
Ti∗ = q ,
σ(i) (1 + xi (X(i) X(i) ) xi )
2
c 0 −1 0

60
 4.6. Exercice : Compléments / questions de cours

où βc
(i) et σ(i) sont respectivement l’estimateur des moindres carrés ordinaires de β et l’esti-
c2

mateur sans biais de σ2 obtenus après suppression de la ième observation, vérifient

s
n−p−1 ε̂i
Ti∗ = Ti 2
= q ,
n − p − Ti
σc
2 (1 − h )
(i) i,i

où les Ti sont les résidus studentisés, et ε̂i les résidus.

e) Montrer que les Ti∗ sont i.i.d. de loi T (n − p − 1).
f) Quel est l’intérêt pratique de ces résultats ?

2. Distance de Cook.
a) Montrer que βc(i) = β̂ − 1−hi,i (X X) xi (Yi − xi β̂). Quel est l’impact sur la valeur de β̂ de la
1 0 −1 0

suppression de la ième observation ?

b) Montrer que la distance de Cook définie par

(β̂ − βc
(i) ) X X(β̂ − β(i) )
0 0 c
Ci =
pσb2

s’exprime en fonction des résidus studentisés, ou des résidus comme :

1 hi,i 1 hi,i
Ci = Ti2 = ε̂2 .
p 1 − hi,i p (1 − h )2 σb2 i
i,i

c) Quel est l’intérêt pratique de ce résultat ?

3. Effet levier.
Montrer que P
P P = hi,i = p,
— tr(H)
— i k h2i,k = p,
— 0 ≤ hi,i ≤ 1 pour tout i,
— −0.5 ≤ hi,k ≤ 0.5 pour tout k différent de i,
— si hi,i = 1 ou 0, alors hi,k = 0 pour tout k différent de i.
Que peut-on déduire de ces propriétés ?

4. On considère un modèle de régression linéaire multiple à p variables explicatives.

a) Rappeler les méthodes algorithmiques de sélection de variables possibles et donner diffé-
rents critères pouvant être utilisés pour la mise en œuvre de ces méthodes.
b) Comment ces différents critères sont-ils justifiés ?
c) Pour un même critère, toutes les méthodes algorithmiques donnent-elles le même résul-
tat ? Pour une même méthode algorithmique, tous les critères donnent-ils le même résultat ?
Expliquer.

61
Chapitre 4. Détection (et correction) des écarts au modèle

62
Chapitre 5

Sélection de variables

5.1 Introduction
Dans ce chapitre, on s’intéresse à la question du choix de la matrice du plan d’expérience
pour le modèle de régression linéaire, c’est-à-dire à celle du choix des variables explicatives.

Pourquoi cette question se pose-t-elle ? En pratique, on dispose de variables potentiellement

explicatives seulement...
Les buts explicatif et prédictif de la modélisation statistique : problèmes liés à la multicoli-
néarité des variables explicatives, principe de parcimonie ⇒ critères de sélection de variables
nécessaires.
Par ailleurs, on ne peut pas toujours étudier en détail TOUS les modèles de régression linéaire
que l’on peut construire à partir de ces variables ⇒ méthodes algorithmiques de sélection
nécessaires.

On suppose ici que l’on a un modèle de régression linéaire multiple exact à p variables
explicatives (p ≤ n) :

Y = Xβ + ε,
avec
Y1  x1,0 . . . x1,p−1  β0 ε1
       
.. X =  ... .. β =  ... ..
     
Y =   ,  , et ε =   .
       
.  . 

 . 
   
Yn xn,0 . . . xn,p−1 βp−1 εn
   

On rappelle les conditions standards imposées au vecteur des bruits ε :

— (C1 ) : E[ε] = 0 (centrage),
— (C2 ) : cov(εi , ε j ) = 0 pour tout i , j (non corrélation),
— (C3 ) : var(εi ) = σ2 (inconnue) pour tout i = 1 . . . n (homoscédasticité),

ainsi que l’hypothèse gaussienne :

— (C4 ) : le vecteur ε suit une loi gaussienne.

On s’intéresse ici à des (sous-)modèles dont la matrice du plan d’expérience ne contient

qu’une partie des variables explicatives.

63
Chapitre 5. Sélection de variables

Soit ξ un sous-ensemble de {0, . . . , p − 1} correspondant aux indices des variables explicatives

conservées.
On note |ξ| le cardinal de ξ, Xξ la matrice composée des vecteurs colonnes de X qui sont
conservés, et βξ le vecteur composé des éléments de β dont les indices sont dans ξ.
On note aussi [β̂]ξ le vecteur composé des éléments de β̂ (Estimateur des MCO dans le
modèle exact) dont les indices sont dans ξ.
Exemple : ξ = {0, . . . , p − q − 1}.

Estimateur des moindres carrés ordinaires de βξ dans le sous-modèle (Mξ ) Y = Xξ βξ + η :

βbξ = (X0ξ Xξ )−1 X0ξ Y.

5.2 Critères de qualité d’un modèle

Suivant que la modélisation étudiée a un but explicatif ou un but prédictif, les critères de
qualité du modèle pris en compte ne seront pas les mêmes.

5.2.1 Qualité de l’estimation, erreur quadratique moyenne (EQM)

En général, βbξ , [β̂]ξ et βbξ est un estimateur biaisé de βξ . Mais Var([β̂]ξ ) − Var(βbξ ) est une
matrice semi-définie positive tout comme Var(Xβ̂) − Var(Xξ βbξ ) (estimation moins variable
avec βbξ ) : preuve laissée en exercice.
Le biais résultant de l’abandon de variables explicatives utiles peut donc être compensé
(mais pas forcément attention) par la diminution de la variance ,→ compromis biais-variance,
erreur quandratique moyenne.

Définition 16. L’erreur quadratique moyenne associée au sous-modèle (Mξ ) est définie par
h i
EQM(ξ) = E kXβ − Xξ βbξ k2 .

Proposition 11. On a la décomposition suivante.

h i
EQM(ξ) = kXβ − E[Xξ βbξ ]k2 + E kXξ βbξ − E[Xξ βbξ ]k2 = k(I − ΠXξ )Xβk2 + |ξ|σ2 .

Preuve. Astuce de la trace.

Remarque : valable si le choix de ξ n’est pas basé sur les données utilisées pour estimer βξ .

Etude dans un cas simple, tendance fréquente des termes de biais et de variance : le meilleur
ξ, noté ξ∗ , serait celui qui réalise le meilleur compromis biais-variance.
Mais EQM(ξ) est inconnue (donc ξ∗ est inaccessible, on parle d’"oracle") ⇒ nécessité de
construire des critères facilement accessibles, ou d’estimer EQM(ξ).

5.2.2 Qualité de la prédiction, erreur quadratique moyenne de prédiction (EQMP)

p
On cherche ici une valeur prédite Ŷn+1 de Yn+1 = x0n+1,ξ βξ + ηn+1 (ηn+1 vérifiant les conditions
usuelles) correspondant à une nouvelle valeur des variables explicatives du sous-modèle
(Mξ ) notée xn+1,ξ .

64
 5.3. Critères de sélection de variables

Définition 17. L’erreur quadratique moyenne de prédiction associée au sous-modèle (Mξ ) est
définie par h i
EQMP(ξ) = E (Yn+1 − x0n+1,ξ βbξ )2 .

5.3 Critères de sélection de variables

5.3.1 Cadre général (conditions standards)
Somme des carrés résiduelle, cœfficient de détermination R2
Le R2 dans le sous-modèle Mξ est défini par
SCR(ξ)
R2 (ξ) = 1 − .
SCT
Si ξ− ⊂ ξ avec |ξ− | = |ξ| − 1, on montre facilement que :

SCR(ξ− ) − SCR(ξ)
R2 (ξ) − R2 (ξ− ) =
SCT
kΠXξ Yk2 − kΠXξ− Yk2
= par Pyhtagore
SCT
kΠXξ− ΠXξ Y + (I − ΠXξ− )ΠXξ Yk2 − kΠXξ− Yk2
=
SCT
k(I − ΠXξ− )ΠXξ Yk2
= .
SCT
Ainsi le cœfficient de détermination R2 (ξ) est supérieur à R2 (ξ− ) : le cœfficient de détermi-
nation décroît à la suppression d’une variable explicative.
Choisir le (sous)-modèle dont la somme des carrés résiduelle est la plus petite ou dont le R2
est le plus grand revient donc à choisir le modèle complet : la somme des carrés résiduelle
et le R2 sont donc globalement de mauvais critères de sélection de variables.
Ils restent cependant utiles pour choisir entre deux modèles ayant le même nombre de va-
riables explicatives.

Deux possibilités : corriger le R2 ou décider si l’augmentation du R2 est statistiquement

significative (tests sous hypothèse gaussienne).

Cœfficient de détermination ajusté R2a

Définition 18. Le cœfficient de détermination ajusté dans le sous-modèle (Mξ ) est défini par
SCR(ξ)/(n − |ξ|)
R2a (ξ) = 1 − .
SCT/(n − 1)
(n−1)R2 (ξ)−(|ξ|−1)
Remarques : Le R2a se calcule à partir du R2 seul : R2a (ξ) = n−|ξ| . On a donc
R2a (ξ) < R2 (ξ) dès que |ξ| ≥ 2. Il est possible que R2a (ξ) soit négatif...

On cherche à maximiser le critère du R2a .

65
Chapitre 5. Sélection de variables

Cp de Mallows

On rappelle ici que EQM(ξ) = E[SCR(ξ)] − nσ2 + 2|ξ|σ2 .

Définition 19. Le critère du Cp introduit par Mallows en 1973 est défini par :

SCR(ξ)
Cp (ξ) = − n + 2|ξ|.
σb2
Représentation graphique de Cp (ξ).

Proposition 12. Si ξ ne dépend pas de Y, σb2 Cp (ξ) est un estimateur sans biais de EQM(ξ).

Important : on utilise donc ce critère sur un autre jeu de données que celui utilisé pour
l’estimation...

Choisir un modèle qui minimise le critère du Cp dans ces conditions revient alors à choisir
un modèle qui en moyenne à une erreur quadratique moyenne minimale.

On remarque enfin que si le sous-modèle (Mξ ) est correct, et si ξ ne dépend pas de Y, SCR(ξ)
estime sans biais (n − |ξ|)σ2 et Cp (ξ) ' |ξ|. Par conséquent, une règle usuelle est de retenir un
sous-modèle (Mξ ) si Cp (ξ) ≤ |ξ|.

Défaut : biais de sélection. Explication sur un exemple simple : matrice X orthogonale,

X0 X = Ip .
Dans ce cas, SCR(ξ) = (n − p)σb2 + β̂2 (exercice).
P
j<ξ j

Proposition 13. Si la matrice X est orthogonale,

p−1
X X
σb2 Cp (ξ) = (β̂2j − σb2 ) − (β̂2j − 2σb2 ).
j=0 j∈ξ

A |ξ| fixé, choisir le sous-modèle dont le Cp est minimum revient à choisir le modèle dont
les paramètres estimés sont les plus grands en valeur absolue : ce plénomène est appelé biais
de sélection ⇒ idée du shrinkage, EMCO sous contrainte de norme (régressions ridge, PLS,
lasso...).

Estimation de l’EQMP par bootstrap ou validation croisée

Si la modélisation a un but essentiellement prédictif, on peut utiliser une estimation boots-

trap ou par validation croisée de l’EQMP (critère du PRESS équivalent à l’estimation par
validation croisée Leave One Out).

5.3.2 Cadre gaussien

On peut dans ce cadre mettre en œuvre des tests d’hypothèses, ou considérer des critères
basés sur la vraisemblance.

66
 5.3. Critères de sélection de variables

Tests de validité de sous-modèles

Pour choisir entre deux sous-modèles emboîtés l’un dans l’autre, l’un (Mξ ) défini par ξ de
cardinal |ξ| ≥ 2, validé, et l’autre, (Mξ− ), défini par ξ− tel que ξ− ⊂ ξ et |ξ− | = |ξ| − 1, on peut
utiliser un test de validité de sous-modèle.
SCR(ξ− )−SCR(ξ)
Statistique de test : F = SCR(ξ)/(n−|ξ|) .
Sous l’hypothèse de validité du sous-modèle (Mξ− ), F ∼ F (1, n − |ξ|).
On rejette donc le sous-modèle (Mξ− ) au profit de (Mξ ) au niveau α si la valeur f de F est
supérieure au quantile de niveau (1 − α) de la loi F (1, n − |ξ|), noté f1,n−|ξ|,(1−α) .

Remarque : une variante consiste à réduire par la variance estimée dans le modèle complet
(plus pratique pour la mise en œuvre d’une méthode ascendante !).

Critères de vraisemblance pénalisée

Sous l’hypothèse gaussienne, la log-vraisemblance du modèle est donnée par
n n 1
ln L(Y, β, σ2 ) = − ln σ2 − ln(2π) − 2 kY − Xβk2 .
2 2 2σ
La log-vraisemblance maximale est obtenue dans le sous-modèle en β̃ξ = β̂ξ et σe2 ξ =
SCR(ξ)/n (estimateurs du maximum de vraisemblance) :
n SCR(ξ) n
ln L(Y, β̂ξ , σe2 ξ ) = − ln − (1 + ln(2π)).
2 n 2
Choisir un modèle maximisant la vraisemblance reviendrait donc à choisir un modèle (Mξ )
ayant la plus petite SCR(ξ), donc le modèle complet ⇒ comme pour les critères du R2 et
du Cp définis précédemment, nécessité de pénaliser les modèles ayant un grand nombre de
variables explicatives.
On introduit donc des critères de la forme
−2 ln L(Y, β̂ξ , σe2 ξ ) + |ξ| f (n),
où |ξ| f (n) est un terme de pénalité positif et en général croissant avec n.
Définition 20. Le critère AIC (Akaike’s Information Criterion) introduit par Akaike en 1973 est
défini par
SCR(ξ)
AIC(ξ) = −2 ln L(Y, β̂ξ , σe2 ξ ) + 2|ξ| = n ln + n(1 + ln(2π)) + 2|ξ|.
n
Le critère BIC (Bayesian Information Criterion) introduit par Schwarz en 1978 est défini par :
SCR(ξ)
BIC(ξ) = −2 ln L(Y, β̂ξ , σe2 ξ ) + |ξ| ln n = n ln + n(1 + ln(2π)) + |ξ| ln n.
n
On cherchera à minimiser ces critères.
Remarque : Dès que n ≥ 8, ln n ≥ 2 donc la pénalité du critère BIC est plus lourde que celle
du critère AIC : les modèles choisis par ce critère auront moins de variables explicatives.
On peut par ailleurs montrer que lorsque n tend vers +∞, la probabilité de sélectionner un
modèle exact par minimisation du critère BIC tend vers 1 (pour plus de détails, on renvoie
à l’ouvrage Modèle linéaire par l’exemple, d’Azaïs et Bardet).

67
Chapitre 5. Sélection de variables

5.4 Liens entre les différents critères

Sous hypothèse gaussienne, on peut comparer chaque critère à celui du test de validité de
sous-modèle.
On considère deux sous-modèles emboîtés l’un dans l’autre, l’un (Mξ ) défini par ξ de cardinal
|ξ| ≥ 2, l’autre (Mξ− ) défini par ξ− tel que ξ− ⊂ ξ et |ξ− | = |ξ| − 1.

5.4.1 R2a et test de validité de sous-modèle

SCR(ξ− ) SCR(ξ) (n−|ξ|)SCR(ξ− )
R2a (ξ− ) < R2a (ξ) si et seulement si n−|ξ|+1 > n−|ξ| , qui est équivalente à SCR(ξ) > n−|ξ|+1,
SCR(ξ− )−SCR(ξ)
puis (n − |ξ|) SCR(ξ) > 1 i.e. F > 1.
On retrouve le même critère que celui du test mais avec un seuil d’acceptation du sous-
modèle (Mξ− ) égal à 1 au lieu de f1,n−|ξ|,(1−α) qui est supérieur à 3.84. On rejette le sous-modèle
plus facilement avec le critère du R2a qu’avec celui du test : on aura tendance à sélectionner
avec le R2a un modèle avec un plus grand nombre de variables explicatives.

5.4.2 Cp et test de validité de sous-modèle

SCR(ξ− )−SCR(ξ)
Cp (ξ− ) > Cp (ξ) si et seulement si (n − p) SCR > 2.
Par conséquent, si F̃ est la statistique de test de validité de sous-modèle variante, correspon-
dant à une réduction par l’estimateur σb2 , Cp (ξ− ) > Cp (ξ) si et seulement si F̃ > 2.

5.4.3 Critères de vraisemblance pénalisée et test de validité de sous-modèle

 
−2 ln L(Y, β̂ξ− σe2 ξ− )+|ξ− | f (n) > −2 ln L(Y, β̂ξ σe2 ξ )+|ξ| f (n) si et seulement si F > (n−|ξ|) e2 f (n)/n − 1 .
 
Si 2 f (n)/n est proche de 0, (n − |ξ|) e2 f (n)/n − 1 ∼ 2 f (n)(1 − |ξ|/n).

5.5 Méthodes algorithmiques de sélection

5.5.1 Méthode de recherche exhaustive
Le nombre de sous-modèles pouvant être construits sur les p variables explicatives est de 2p .
Une recherche exhaustive n’est donc pas toujours possible lorsque p est grand.
De plus, ce type de recherche n’a pas de sens pour l’utilisation du critère de test de validité
de sous-modèle.
On envisage alors une recherche pas à pas.

5.5.2 Méthode de recherche descendante (backward)

On part du modèle complet que l’on compare à tous les sous-modèles obtenus par suppresion
d’une seule variable explicative. On retient éventuellement ensuite pour le critère de test le
sous-modèle obtenu par suppression de la variable la moins significative parmi les non
significatives à un niveau que l’on s’est fixé au départ (dont la valeur de la statistique du test
de Student est la plus faible), et pour les autres critères le sous-modèle dont le critère est soit
maximum et supérieur à celui du modèle de départ (R2a ) soit minimum et inférieur à celui
du modèle de départ (Cp , AIC, BIC).

68
 5.6. Exercices

On réitère ensuite cette étape en partant du modèle retenu, jusqu’à ce qu’on ne puisse plus
supprimer de variable ou lorsqu’un certain seuil est atteint par la p valeur du test.

5.5.3 Méthode de recherche ascendante (forward)

On part du modèle avec la constante que l’on compare à tous les modèles obtenus par ajout
d’une seule variable explicative. On retient éventuellement ensuite pour le critère de test le
modèle obtenu par ajout de la variable la plus significative (dont la valeur de la statistique
du test de Student est la plus grande), et pour les autres critères le modèle dont le critère
est soit maximum et supérieur à celui du modèle de départ (R2a ) soit minimum et inférieur à
celui du modèle de départ (Cp , AIC, BIC).
On réitère ensuite cette étape en partant du modèle retenu, jusqu’à ce qu’on ne puisse plus
ajouter de variable ou lorsqu’un certain seuil est atteint par la p valeur du test.

5.5.4 Méthode de recherche progressive (stepwise)

Méthode de recherche ascendante, avec possiblité de supprimer une variable précédemment
introduite à chaque étape. Méthode très utile dans le cas de variables explicatives corrélées
entre elles.

5.6 Exercices
Exercice 1 : Analyse de sorties R - Données Air Breizh

On souhaite pouvoir expliquer et prédire le maximum journalier de la concentration en ozone

dans l’air à Rennes noté O. On considère pour cela les variables explicatives suivantes : la
température à 6h, la température à 9h, la température à 12h, la nébulosité à 6h, la nébulosité à
12h, et la projection du vent sur l’axe Est-Ouest notées respectivement T6 , T9 , T12 , N6 , N12 et V.

1. Régression linéaire simple et détection des écarts au modèle.

On souhaite tout d’abord étudier un modèle de régression linéaire simple :

Oi = β0 + β1 T12,i + εi pour i ∈ {1, . . . , 91},

(données pour la seule année 1994, année durant laquelle certains capteurs étaient en panne)
sous les conditions standards et sous hypothèse gaussienne.
On fournit en Annexe 1.3 plusieurs résultats graphiques obtenus après mise en œuvre de la
régression via la fonction lm du logiciel R. Le nuage de points correspondant, avec la droite
de régression obtenue sont représentés sur la figure 1. Les résidus studentisés sont ensuite
représentés sur la figure 2 en fonction du jour, puis en fonction des valeurs ajustées. Les
éléments diagonaux de la matrice de projection H sont représentés sur la figure 3 ainsi que
la distance de Cook.
Que peut-on conclure de ces graphes ?

69
Chapitre 5. Sélection de variables

2. On considère maintenant le modèle de régression linéaire multiple complet :

Oi = β + βT6 T6,i + βT9 T9,i + βT12 T12,i + βN6 N6,i + βN12 N12,i + βV Vi + ηi pour i ∈ {1, . . . , 1186},

pour 1186 données ne comprenant pas celles de l’année 1994 sous les conditions standards
et sous hypothèse gaussienne.
a) Après mise en œuvre de cette régression via la fonction lm du logiciel R, on a obtenu les
résultats suivants :
Coefficients :
Estimate Std. Error t value Pr(>|t|)
(Intercept) 63.1193 3.5993 17.537 < 2e-16 ***
T6 -1.6338 0.3160 -5.171 2.74e-07 ***
T9 0.2184 0.4863 0.449 0.653
T12 2.6335 0.3299 7.983 3.37e-15 ***
N6 -0.1585 0.2482 -0.639 0.523
N12 -2.2416 0.3134 -7.153 1.49e-12 ***
V 1.1124 0.1624 6.850 1.18e-11 ***

Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 16.97 on 1179 degrees of freedom
Multiple R-Squared: 0.488, Adjusted R-squared: 0.4854
F-statistic: 187.3 on 6 and 1179 DF, p-value: < 2.2e-16
AIC: 10091.10, BIC: 10131.73.
Rappeler le résultat du test de validité globale du modèle au niveau 5%.
b) On a effectué les différentes régressions pour tous les sous-modèles possibles (avec la
constante), et on a obtenu les résultats présentés dans les tables de l’Annexe 1.4.
Tester la validité du sous-modèle obtenu en supprimant les variables non significatives au
niveau 5%. Décrire le test de façon détaillée, en justifiant la statistique de test.
À l’aide des différentes méthodes algorithmiques de sélection de variables, sur la base des
critères présentés dans les tables, proposer une sélection de variables explicatives.

Exercice 2 : Analyse de sorties SAS - Consommation de confiseries

On étudie des données, publiées par Chicago Tribune en 1993, montrant la consommation
de confiseries en millions de livres (variable Y) et la population en millions d’habitants
(variable X) dans 17 pays en 1991. On note yi la consommation et xi la population du ième
pays, i = 1 . . . , 17. On obtient les résultats donnés à la fin de l’exercice avec :
X X X X X
xi = 751.8 x2i = 97913.92 yi = 13683.8 y2i = 36404096.44 xi yi = 1798166.66

1. On considère le modèle statistique défini par Yi = β0 + β1 xi + εi pour tout i = 1 . . . 17, avec

εi vérifiant les hypothèses usuelles d’un modèle de régression linéaire simple.
a) Donner les expressions des estimateurs des MCO βb0 et βb1 de β0 et β1 , puis des estimateurs
σ̂(βb0 ) et σ̂(βb1 ) des écart-types σ(βb0 ) et σ(βb1 ) de βb0 et βb1 . . Calculer les valeurs observées de ces
estimateurs.
b) On suppose les εi i.i.d. de loi N(0, σ2 ). Tester l’hypothèse nulle (H0 ) : β0 = 0 contre
l’alternative (H1 ) : β0 , 0 au niveau 5%. Commenter.

70
 5.6. Exercices

2. On considère maintenant le modèle sans constante Yi = βxi + εi , avec εi i.i.d. de loi N(0, σ2 ),
et on cherche à diagnostiquer d’éventuels écarts au modèle. Pour cela, on met en œuvre la
procédure REG de SAS, avec les options influence et r, avec toutes les observations dans un
premier temps, on retirant deux observations dans un second temps. On obtient les sorties
fournies dans l’Annexe 1.5.
Que peut-on conclure de ces sorties ?

Pays Consommation Population

i yi xi
Australia 327.4 17.3
Austria 179.5 7.7
Belgium 279.4 10.4
Denmark 139.1 5.1
Finland 92.5 5.0
France 926.7 56.9
Germany 2186.3 79.7
Ireland 96.8 3.5
Italy 523.9 57.8
Japan 935.9 124.0
Netherland 444.2 15.1
Norway 119.7 4.3
Spain 300.7 39.0
Sweden 201.9 8.7
Switzerland 194.7 6.9
United Kingdom 1592.9 57.7
United States 5142.2 252.7

Exercice 3 : Analyse de sorties SAS - La processionnaire du pin

On considère un jeu de données classique issu de l’ouvrage de Tomassone et al. La régression

(1992). Ces données visent à une étude de la prolifération des chenilles processionnaires du
pin en fonction de certaines caractéristiques de peuplements forestiers. On dispose de 33
observations, chaque observation correspondant à une parcelle forestière de 10 hectares. Une
parcelle est considérée comme homogène par rapport aux variables étudiées. Les valeurs
observées de ces variables ont été obtenues comme des moyennes de valeurs mesurées sur
des placettes échantillon de 5 ares. La variable à expliquer est le logarithme du nombre
de nids de chenilles processionnaires par arbre de la placette échantillon, les 10 variables
explicatives potentielles sont :
1. L’altitude moyenne de la placette (en m).
2. La pente moyenne du terrain.
3. Le nombre de pins dans la placette.
4. La hauteur d’un arbre échantillonné au centre de la placette.
5. Le diamètre de cet arbre.
6. La note de densité du peuplement.
7. L’orientation de la placette (1= sud, 2=autre).

71
Chapitre 5. Sélection de variables

8. La hauteur (en m) des arbres dominants de la placette.

9. Le nombre de strates de végétation.
10. Le mélange du peuplement (1=non mélangé, 2= mélangé).

On a mis en œuvre différentes méthodes de sélection de variables à l’aide de la procédure

REG de SAS. Les résultats obtenus sont fournis dans l’Annexe 1.6.
Analyser ces sorties.

72
Chapitre 6

Annales corrigées

6.1 Examens partiels

6.1.1 Sujet 1 (durée : 1h30)

Exercice : Interprétations géométriques en régression linéaire simple

1. On considère un modèle de régression linéaire simple sans constante : Y = Xβ + ε, où :

— Y est un vecteur aléatoire à valeurs dans R2 ,
— X = (2, 1)0 ,
— β ∈ R,
— ε est un vecteur aléatoire vérifiant les conditions standards d’un modèle de régression
linéaire.
a) Rappeler la définition de l’estimateur des moindres carrés ordinaires β̂ de β, et donner une
interprétation géométrique du vecteur des valeurs ajustées Ŷ = Xβ̂.
b) La valeur observée de Y est y = (3, 4)0 . À l’aide de la question précédente exclusivement,
déterminer géométriquement sans faire de calcul la valeur de β̂.
2. On considère maintenant le modèle de régression linéaire simple avec constante Y = Xβ+ε,
où :
— Y est un vecteur
! aléatoire à valeurs dans R2 ,
1 2
— X= ,
1 1
— β ∈ R2 ,
— ε est un vecteur aléatoire vérifiant les conditions standards d’un modèle de régression
linéaire.
Déterminer géométriquement sans faire de calcul la valeur de β̂ dans ce cas.
3. Montrer que l’on retrouve les résultats connus dans le modèle de régression linéaire simple.

Problème : Consommation de Coca-Cola, restaurants Mac Donald’s et croissance

Dans un article de recherche économique publié le 1er avril 2010 par Natixis, on étudie les
effets de l’américanisation sur la croissance moyenne du PIB de 47 pays, entre 1996 et 2007
(avant la crise). Les indicateurs de l’américanisation retenus pour cette étude sont notamment

73
Chapitre 6. Annales corrigées

la consommation de Coca-Cola (en Ounces) par habitant et le nombre de restaurants Mac

Donald’s pour un million d’habitants.
On considère un modèle de la forme :

(M) Pi = β0 + β1 Ci + β2 Mi + εi pour i ∈ {1, . . . , 47},

où Pi , Ci , Mi désignent respectivement la valeur de la croissance moyenne du PIB (en %)

entre 1996 et 2007, la consommation de Coca-Cola par habitant (en Ounces) et le nombre de
restaurants Mac Donald’s pour un million d’habitants pour le pays i, les εi sont des termes
d’erreur aléatoires vérifiant les conditions standards d’un modèle de régression linéaire
multiple.
Ce modèle peut s’écrire sous la forme :

P = Xβ + ε,

avec P = (P1 , . . . , P47 )0 , β = (β0 , β1 , β2 )0 et ε = (ε1 , . . . , ε47 )0 .

On a alors  
 47 6500 397.69 
X0 X =  6500 1501754 71104.33  ,
 
397.69 71104.33 7587.418
 
 
 0.0589966941 −1.958369e − 04 −1.257021e − 03 
(X0 X)−1 =  −0.0001958369 1.847088e − 06 −7.045029e − 06  ,
 

−0.0012570207 −7.045029e − 06 2.637045e − 04


et si p désigne la valeur observée de P, X0 p = (178.97, 22080.38, 1291.301)0 , et p0 p = 819.0221.

1. Déterminer l’estimateur des moindres carrés ordinaires β̂ de β et calculer sa valeur.

2. Déterminer un estimateur sans biais de la matrice de variance-covariance Var(β̂) de β̂, et
donner sa valeur.
3. Montrer que la valeur du coefficient de détermination R2 est égale à 0.1302.
4. On suppose désormais que ε ∼ N(0, σ2 I47 ).
a) Quel est l’estimateur du maximum de vraisemblance de β ?
b) Quelle est la loi de cet estimateur et quelles sont ses propriétés statistiques ?
c) Construire un test de significativité globale du modèle au niveau α (α ∈]0, 1[). A partir des
tables fournies en Annexe 2, donner un encadrement de la p-valeur de ce test. Que peut-on
en conclure ?
d) Construire une région de confiance simultanée pour (β1 , β2 ) de niveau de confiance 95%.
Quelle forme cette région a-t-elle ? Quelle(s) hypothèse(s) pourrait-on tester directement à
partir de la construction de cette région de confiance ?
e) Quelles sont les variables explicatives significatives au niveau 5% ?
f) Tester l’hypothèse (H0 ) : β1 ≥ 0 contre (H1 ) : β1 < 0 au niveau 5%, puis l’hypothèse (H0 ) :
β2 ≥ 0 contre (H1 ) : β2 < 0 au niveau 5%.
5. On a lancé des procédures de régression à l’aide de la fonction lm du logiciel R pour
différents modèles obtenus par suppression d’une variable explicative, puis modification
des variables explicatives, sur les mêmes données, et on a obtenu les sorties fournies en
Annexe 2.1.

74
 6.1. Examens partiels

a) Est-il surprenant que la valeur du R2 dans les modèles (M(1) ) et (M(2) ) soit inférieure à
celle du modèle complet (M) défini ci-dessus ? Expliquer.
b) En première analyse, quel modèle choisirait-on de considérer ? Justifier précisément la
réponse.
6. On souhaite construire un intervalle de prédiction de niveau de confiance 95% pour la
croissance moyenne du PIB d’un pays dont la consommation de Coca-Cola est de 300 Ounces
par habitant, et le nombre de restaurants Mac Donald’s par million d’habitants de 5. Quelle
stratégie peut-on adopter pour construire cet intervalle au vu des résultats obtenus ? Donner
la valeur de l’intervalle ainsi construit.
7. La conclusion de l’article est la suivante : "L’étude montre sans ambiguïté que l’américa-
nisation est défavorable à la croissance.". Que pensez-vous de cette conclusion (vous aurez
noté la date de parution de l’article) ?
Et de la citation d’Albert Brie (Le mot du silencieux - L’hiver nous fait suer) : "La statistique est
moins une science qu’un art. Elle est la poésie des nombres. Chacun y trouve ce qu’il y met." ?

75
Chapitre 6. Annales corrigées

Extraits de tables statistiques

Table de la loi gaussienne : on donne pour différentes valeurs de α ∈ [0, 1], qα tel que
P(N ≤ qα ) = α lorsque N ∼ N(0, 1).

α 0.9 0.95 0.975

qα 1.282 1.645 1.96

Table de la loi de Student : on donne pour différentes valeurs de n et de α ∈ [0, 1], tn,α tel que
P(T ≤ tn,α ) = α lorsque T ∼ T (n) (on rappelle que la loi de Student est symétrique).

α 0.9 0.95 0.975

t43,α 1.302 1.681 2.017
t44,α 1.301 1.680 2.015
t45,α 1.301 1.679 2.014
t46,α 1.3 1.679 2.013
t47,α 1.3 1.678 2.012

Table de la loi de Fisher : on donne pour différentes valeurs de (n1 , n2 ) et de α ∈ [0, 1], fn1 ,n2 ,α
tel que P(F ≤ fn1 ,n2 ,α ) = α lorsque F ∼ F (n1 , n2 ).

α 0.025 0.05 0.95 0.975

f1,44,α 0.001 0.004 4.062 5.386
f1,45,α 0.001 0.004 4.057 5.377
f1,46,α 0.001 0.004 4.052 5.369
f2,44,α 0.025 0.051 3.209 4.016
f2,45,α 0.025 0.051 3.204 4.009
f2,46,α 0.025 0.051 3.2 4.001

Table de la loi de Fisher : on donne pour différentes valeurs de n1 , n2 et q la valeur de

pn1 ,n2 ,q = P(F ≤ q) lorsque F ∼ F (n1 , n2 ).

q 1 2 3 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.9 4

p1,44,q 0.677 0.836 0.910 0.915 0.919 0.924 0.928 0.932 0.936 0.939 0.942 0.945 0.948
p1,45,q 0.677 0.836 0.910 0.915 0.920 0.924 0.928 0.932 0.936 0.939 0.942 0.946 0.948
p1,46,q 0.677 0.836 0.910 0.915 0.920 0.924 0.928 0.932 0.936 0.939 0.943 0.946 0.949
p2,44,q 0.624 0.853 0.940 0.945 0.950 0.954 0.958 0.961 0.964 0.967 0.970 0.972 0.975
p2,45,q 0.624 0.853 0.940 0.945 0.950 0.954 0.958 0.961 0.965 0.967 0.970 0.973 0.975
p2,46,q 0.624 0.853 0.940 0.945 0.950 0.954 0.958 0.962 0.965 0.968 0.970 0.973 0.975

76
 6.1. Examens partiels

6.1.2 Sujet 1 : éléments de correction

Exercice : Interprétations géométriques en régression linéaire simple

1. a) L’estimateur des MCO de β est défini par β̂ = argminβ∈Rp kY − Xβk2 . Si E(X) désigne
l’espace vectoriel engendré par les vecteurs colonnes de X, le vecteur Xβ̂ est le vecteur de
E(X) dont la distance à Y est minimale. En d’autres termes, Xβ̂ est le projeté orthogonal de
Y sur E(X).
b) Après avoir tracé le projeté orthogonal de Y sur E(X), on trouve que Xβ̂obs = 2X , d’où
β̂obs = 2.
2. On ajoute la constante au modèle. On note X0 le vecteur constant et X1 le vecteur (2, 1)0 .
Les vecteurs X0 et X1 étant non colinéaires, l’espace E(X) engendré par ces vecteurs est R2
tout entier. Par conséquent, le projeté orthogonal de Y sur E(X) est égal à Y. De plus, on peut
voir que Y = 5X0 − X1 . On a donc β̂0,obs = 5 et β̂1,obs = −1.
3. Le modèle s’écrit également Yi = β0 + β1 xi + εi , pour i ∈ {1, 2}, avec y1 = 3, y2 = 4, x1 = 2,
x2 = 1. Avec les formules de la régression linéaire simple, on obtient bien β̂1,obs = −1 et
β̂0,obs = 7/2 − (−1).3/2 = 5.

Problème : Consommation de Coca-Cola, restaurants Mac Donald’s et croissance

1 C1 M1
 
.. .. ..
 
Ici, la matrice X s’écrit : X =   .
 
. . . 

1 C47 M47

Les conditions standards sont les conditions (C1 ) à (C3 ) du cours (centrage, non corrélation
et homoscédasticité des εi ).

1. On a β̂ = (X0 X)−1 X0 P d’où β̂obs = (4.611292, −0.003362, −0.040004)0 .

2. Un estimateur sans biais de Var(β̂) est donné par σb2 (X0 X)−1 , où σb2 = SCR/(47 − 3) =
(P0 P − P0 X(X0 X)−1 X0 P)/44 est un estimateur sans biais de la variance des P . La valeur de σb2
i
est 2.718764, d’où la valeur de l’estimateur sans biais de Var(β̂) :
 
 0.1603980880 −5.324344e − 04 −3.417543e − 03 
 −0.0005324344 5.021797e − 06 −1.915377e − 05  .
 
 
−0.0034175426 −1.915377e − 05 7.169504e − 04

3. R2 = 1 − SCR/SCT. Or SCTobs = p0 p − 47p̄2 = 819.0221 − 178.972 /47 = 137.5272, d’où

R2obs = 0.1302.
4. a) L’estimateur du maximum de vraisemblance est égal à β̂.
b) Il suit une loi gaussienne d’espérance β, de variance σ2 (X0 X)−1 . Il est sans biais, de variance
minimale parmi les estimateurs linéaires sans biais de β (Th. de Gauss-Markov).
c) Test de (H0 ) : β1 = β2 = 0 contre (H1 ) : il existe j ∈ {1, 2}, β j , 0.
2
Statistique de test : F(P) = 1−R
R 44
2 2 qui suit sous (H0 ) la loi F (2, 44).
La région critique du test est donnée par R(H0 ) = {p, F(p) > f2,44 (1 − α)}.

77
Chapitre 6. Annales corrigées

Or R2obs = 0.1302, d’où F(p) = 3.293, donc la p valeur du test est comprise strictement entre
0.046 et 0.05. On rejette (H0 ) pour un niveau 5%. Le modèle est tout juste globalement
significatif à ce niveau ! !
0 1 0
d) Région de confiance simultanée pour (β1 , β2 ) : en introduisant M = , on trouve
0 0 1
une région de confiance pour (β1 , β2 ) de la forme
( )
1
RC(β1 ,β2 ) = (β1 , β2 ), (β̂1 − β1 , β̂2 − β2 )[M(X X) M ] (β̂1 − β1 , β̂2 − β2 ) ≤ f2,47 (95%) ,
0 −1 0 −1 0

2σb2
c’est-à-dire
n
RC(β1 ,β2 ) (ω) = (β1 , β2 ), 0.1839071(602817.83(β̂1 − β1 )2 + 2 × 16104.649(β̂1 − β1 )(β̂2 − β2 )
o
+ 4222.368(β̂2 − β2 )2 ) ≤ 3.209 .

On obtient ainsi une ellipse de confiance.

e) Individuellement, seule la constante est significative.
q Pour le test de β1 = 0 contre β1 , 0,
la valeur de la statistique |T1 | avecT1 = β̂1 / σb2 (X0 X)−1 2,2
du test de Student est égale à
√
| − 0.003362/ 5.021797e − 06| = | − 1.500|. Pour le test de β2 = 0 contre β2 , 0, la valeur
observée de la statistique du test de Student est égale à | − 1.494|, pour un quantile de la loi
de Student à 44 degrés de liberté égal à 2.015.
f) Pour le test de (H0 ) : β1 ≥ 0 contre (H1 ) : β1 < 0, on rejette (H0 ) lorsque la statistique de test
T1 définie à la question précédente est inférieure à −1.68. Or la valeur de T1 est égale à −1.5 :
on ne peut pas rejeter (H0 ) au niveau 5%. De la même façon, on montre qu’on ne rejette pas
l’hypothèse β2 ≥ 0 au niveau 5%.
5. Le coefficient de détermination diminue nécessairement après la suppression d’une va-
riable explicative. Sans information supplémentaire, il semble que l’on puisse préférer le
modèle (M12 ), qui possède un R2 ajusté maximum, dont le test de significativité globale
possède la plus petite p valeur, et dont toutes les variables sont significatives au niveau 5%.
Cependant, le R2 observé reste très faible et, en mettant la régression en œuvre, on peut
détecter plusieurs écarts au modèle... L’étude est à revoir entièrement !
6. Pour construire un intervalle de prédiction, il serait souhaitable de considérer le modèle
retenu à la question précédente. Or on ne dispose pas dans les sorties R fournies de la matrice
X0 X correspondante. On doit donc se contenter de construire un intervalle de prédiction sur
la base du modèle (M(2) ) qui est meilleur que le modèle initial.
La valeur de l’intervalle de prédiction est alors donné par

s
!−1
47 6500
4.420602 − 0.004431 × 300 ± 2.014 × 1.671 1 + (1, 300) (1, 300)0 ,
6500 1501754

ou encore [−0.3811783; 6.563782].

7. La conclusion de l’article "Poisson d’avril" est fausse pour au moins deux raisons fonda-
mentales.

78
 6.1. Examens partiels

— Le fait que les cœfficients β̂1 et β̂2 soient négatifs pourrait éventuellement indiquer que
la croissance évolue dans le sens opposé à celui de la consommation de Coca-Cola ou
l’implantation de restaurants Mac Donald’s. En aucun cas, on a nécessairement une
relation de CAUSALITÉ !
— Les conclusions se basent sur l’estimation ponctuelle... qui est clairement insuffisante
au vu des résultats des tests sous hypothèse gaussienne.
Enfin, on l’a vu, l’étude doit être complétée par une étude des écarts au modèle. Le R2 observé
est en effet très petit...

79
Chapitre 6. Annales corrigées

6.1.3 Sujet 2 (durée : 1h30)

Données statistiques de vidéos musicales en accès sur YouTube

YouTube est un site web d’hébergement de vidéos : les internautes peuvent y déposer des
vidéos, les partager et peuvent également y consulter des statistiques relatives à ces vidéos.
On a choisi d’étudier certaines de ces statistiques pour n vidéos musicales, choisies parmi
celles déposées en 2010 et 2011 et les plus visionnées.
On s’intéresse en particulier pour chaque vidéo au nombre de "Favoris", de "J’aime", et de
"Je n’aime pas", qui correspondent respectivement aux nombres d’internautes ayant déclaré
la vidéo comme une de leurs favorites, ayant déclaré l’avoir aimée, et ayant déclaré ne pas
l’avoir aimée (en millions d’internautes).
On cherche ici à expliquer le nombre de "Favoris" en fonction du nombre de "J’aime" et du
nombre de "Je n’aime pas".
On considère pour cela un modèle de régression linéaire multiple de la forme :

Yi = β0 + β1 xi,1 + β2 xi,2 + εi pour i ∈ {1, . . . , n},

où Yi , xi,1 , xi,2 désignent respectivement les nombres de "Favoris", de "J’aime", de "Je n’aime
pas" pour la ième vidéo considérée, et où les εi sont des termes d’erreur aléatoires vérifiant
les conditions standards du modèle de régression linéaire multiple.
Ce modèle peut aussi s’écrire sous la forme matricielle : Y = Xβ + ε, avec

 Y1   1 x1,1 x1,2  ε1 
     
β
 
0
Y =  ...  , X =  ... .. ..  , β =  β  , ε =  ..  .
  

  
. .   1   . 
   β 
εn

 
Yn 1 xn,1 xn,2

2

On a alors
   
 42 7.763 0.606   0.038 −0.074 −0.038 
X0 X =  7.763 3.843 0.281  , (X0 X)−1 =  −0.074 0.544 −1.828  ,
   
0.606 0.281 0.059 −0.038 −1.828 26.043
   

et si y désigne la valeur observée de Y, X0 y = (7.686, 3.682, 0.236)0 .

On suppose que le vecteur des bruits ε est de loi gaussienne.

1. Préciser l’intérêt de chacune des hypothèses du modèle. Selon vous, ces hypothèses sont-
elles pertinentes pour l’étude sur les vidéos musicales de YouTube menée ici ?
2. Quel est le nombre n de vidéos considérées dans cette étude ?
3. Rappeler la définition de l’estimateur des moindres carrés ordinaires β̂ de β, et donner
une interprétation géométrique du vecteur des valeurs ajustées Ŷ = Xβ̂. En déduire une
expression matricielle de β̂, puis une interprétation géométrique du vecteur des résidus
ε̂ = Y − Ŷ.
4. Donner les lois de β̂, de Ŷ, et de ε̂. Ces vecteurs aléatoires sont-ils indépendants ?
5. La valeur de l’estimateur des moindres carrés ordinaires β̂ calculé sur les observations est
β̂obs = (0.011, 1.003, −0.877)0 . Expliquer comment cette valeur a pu être obtenue à partir des
données fournies ci-dessus.

80
 6.1. Examens partiels

6. Ecrire l’équation d’analyse de la variance, et rappeler la définition du cœfficient de dé-

termination R2 dans le modèle considéré. Donner l’interprétation géométrique de ces deux
notions.
7. Montrer que la somme des carrés expliquée est égale à β̂0 X0 Xβ̂ − nȲ2 , et calculer sa valeur
à partir des observations.
8. La valeur du cœfficient de détermination calculé sur les observations est R2obs = 0.981. En
déduire les valeurs de la somme des carrés totale, puis de la somme des carrés résiduelle
calculées sur les observations.
9. Déterminer un estimateur sans biais de la variance du modèle. Calculer sa valeur.
10. Tester la validité globale du modèle au niveau 5%.
11. On souhaite prédire le nombre de "Favoris" d’une vidéo qui aurait 0.4 (millions) de
"J’aime" et 0.02 (millions) de "Je n’aime pas". Donner un intervalle de prédiction de niveau
de confiance 95% pour ce nombre de "Favoris".
12. Tester l’hypothèse (H0 ) β1 ≤ 0 contre (H1 ) β1 > 0 au niveau 5%, puis l’hypothèse (H0 )
β2 ≥ 0 contre (H1 ) β2 < 0 au niveau 5%. Les résultats obtenus sont-ils surprenants ?
13. Donner, à partir des tables données en Annexe, une approximation ou un encadrement
de la p-valeur du test de significativité de la constante ((H0 ) β0 = 0 contre (H1 ) β0 , 0). En
déduire qu’il pourrait être opportun de considérer le modèle de régression linéaire multiple
sans constante.
14. Après la mise en œuvre d’une nouvelle procédure de régression linéaire multiple sans
constante, on a obtenu les résultats suivants :

Cœfficients estimés Ecart-type Statistique du test de Student p-valeur du test

"J’aime" 1.022 0.021 48.67 3.2e-37
"Je n’aime pas" -0.874 0.171 -5.11 8.3e-06
et R2obs = 0.987.

Expliquer par quels calculs chacun de ces résultats a été obtenu.

15. Quel modèle choisiriez-vous finalement pour faire de la prédiction ? Justifiez votre ré-
ponse.

81
Chapitre 6. Annales corrigées

Extraits de tables statistiques

Table de la loi gaussienne : on donne pour différentes valeurs de α ∈ [0, 1], qα tel que
P(N ≤ qα ) = α lorsque N ∼ N(0, 1).

α 0.9 0.95 0.975

qα 1.282 1.645 1.96

Table de la loi de Student : on donne pour différentes valeurs de n et de α ∈ [0, 1], tn,α tel que
P(T ≤ tn,α ) = α lorsque T ∼ T (n) (on rappelle que la loi de Student est symétrique).

α 0.9 0.95 0.975

t38,α 1.304 1.686 2.024
t39,α 1.304 1.685 2.023
t40,α 1.303 1.684 2.021
t41,α 1.303 1.683 2.02
t42,α 1.302 1.682 2.018
t43,α 1.302 1.681 2.017
t44,α 1.301 1.680 2.015

Table de la loi de Student : on donne pour les valeurs de n allant de 38 à 45 et pour différentes
valeurs de q la valeur de pq = P(T ≤ q) lorsque T ∼ T (n).

q 1 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8 1.9

pq 0.838 0.861 0.881 0.899 0.915 0.929 0.941 0.951 0.96 0.968

Table de la loi de Fisher : on donne pour différentes valeurs de (n1 , n2 ) et de α ∈ [0, 1], fn1 ,n2 ,α
tel que P(F ≤ fn1 ,n2 ,α ) = α lorsque F ∼ F (n1 , n2 ).

α 0.025 0.05 0.95 0.975

f1,38,α 0.001 0.004 4.098 5.446
f1,39,α 0.001 0.004 4.091 5.435
f1,40,α 0.001 0.004 4.085 5.424
f2,38,α 0.025 0.051 3.245 4.071
f2,39,α 0.025 0.051 3.238 4.061
f2,40,α 0.025 0.051 3.232 4.051
f3,38,α 0.071 0.116 2.852 3.483
f3,39,α 0.071 0.116 2.845 3.473
f3,40,α 0.071 0.116 2.839 3.463

82
 6.1. Examens partiels

6.1.4 Sujet 2 : éléments de correction

1. L’hypothèse de centrage implique la relation linéaire "en moyenne" : E[Y] = Xβ. La
non-corrélation, l’homoscédasticité et la loi gaussienne permettent de faire de l’inférence
statistique classique : les hypothèses du théorème de Cochran sont en effet vérifiées par
le vecteur des bruits ε. Toutes ces hypothèses ne sont pas forcément réalistes ici (sauf le
centrage a fortiori), en particulier la non-corrélation qui a peu de chances d’être vérifiée : les
vidéos les plus visionnées correspondent souvent aux mêmes catégories de musique.
2. Le premier terme de la matrice X0 X correspond au nombre de vidéos donc n = 42.
3. L’estimateur des MCO de β est défini par β̂ = argminβ∈R3 kY − Xβk2 . Si E(X) désigne
l’espace vectoriel engendré par les vecteurs colonnes de X, le vecteur Xβ̂ est le vecteur de
E(X) dont la distance à Y est minimale. En d’autres termes, Xβ̂ est le projeté orthogonal de
Y sur E(X). La matrice de projection orthogonale sur E(X) étant égale à X(X0 X)−1 X0 , on a
Xβ̂ = X(X0 X)−1 X0 Y, d’où X0 Xβ̂ = X0 Y et X0 X étant inversible, β̂ = (X0 X)−1 X0 Y. Par ailleurs :
ε̂ = Y − Ŷ est le projeté orthogonal de Y sur l’orthogonal de E(X).
4. On a β̂ = (X0 X)−1 X0 Y et Ŷ = X(X0 X)−1 X0 Y. Puisque Y ∼ Nn (Xβ, σ2 In ), β̂ ∼ Nn (β, σ2 (X0 X)−1 ),
Ŷ ∼ Nn (Xβ, σ2 X(X0 X)−1 X0 ), et ε̂ ∼ Nn (0, σ2 (In − X(X0 X)−1 X0 )).
β̂ et Ŷ = Xβ̂ ne sont évidemment pas indépendants. En revanche, on peut montrer en
appliquant le théorème de Cochran au vecteur ε que β̂ et ε̂ sont indépendants, ainsi que Ŷ et
ε̂ (voir cours pour une preuve complète).
5. On a vu que β̂ = (X0 X)−1 X0 Y, donc la valeur de β̂obs est obtenue par le produit matriciel de
(X0 X)−1 par X0 y.
6. L’équation d’analyse de la variance s’écrit :

SCT = SCE + SCR,

avec SCT = kY − Ȳ1k2 , SCE = kŶ − Ȳ1k2 et SCR = kY − Ŷk2 . Elle correspond au théorème
de Pythagore dans le triangle rectangle formé du vecteur Y − Ȳ1 et des deux vecteurs
orthogonaux Ŷ − Ȳ1 et Y − Ŷ.
Le cœfficient de détermination est défini par R2 = SCE/SCT et on a géométriquement
R2 = cos2 θ où θ est l’angle formé par les vecteurs Ŷ − Ȳ1 et Y − Ȳ1.
7. SCE = kŶ − Ȳ1k2 = kŶk2 − kȲ1k2 par Pythagore et donc SCE = β̂0 X0 Xβ̂ − nȲ2 . On a ainsi
SCEobs = (0.011, 1.003, −0.877)(X0 X)(0.011, 1.003, −0.877)0 − 42(7.686/42)2 = 2.175.
8. SCT = SCE/R2 donc SCTobs = 2.217, et SCR = SCT − SCE donc SCRobs = 0.042.

9. Un estimateur sans biais de σ2 est donné par σb2 = SCR/39, et σb2 obs = 0.042/39 = 0.0011.
10. Test de (H0 ) : β1 = β2 = 0 contre (H1 ) : il existe j ∈ {1, 2}, β j , 0.
2
Statistique de test : F(Y) = 1−R
R 39
2 2 qui suit sous (H0 ) la loi F (2, 39).

La région critique du test est donnée par R(H0 ) = {y, F(y) > f2,39 (0.95)}.
On a f2,39 (0.95) = 3.238. Or R2obs = 0.981, d’où F(y) = 1006.82 : on rejette clairement (H0 ) pour
un niveau 5% !
11. Un intervalle de prédiction pour Yn+1 de niveau de confiance 95% est donné par

83
Chapitre 6. Annales corrigées

" q
p
Î = Ŷn+1 − t39 (0.975) σb2 (1 + (1, 0.4, 0.02)(X0 X)−1 (1, 0.4, 0.02)0 );
p

q #
p
Ŷn+1 + t39 (0.975) σ (1 + (1, 0.4, 0.02)(X X) (1, 0.4, 0.02) ) .
b2 0 −1 0

p p
On a (Ŷn+1 )obs = (1, 0.4, 0.02)β̂obs = 0.39466, d’où Îobs = [0.326; 0.463].
12. Pour le test de (H q 0 ) : β1 ≤ 0 contre (H1 ) : β1 > 0, on rejette (H0 ) lorsque la statistique
de test T1 (Y) = β̂1 / 0.544σb2 est supérieure à t39 (0.95) = 1.685. Or ici T1 (y) = 41 donc on
de (H0 ) : β2 ≥ 0 contre (H1 ) : β2 < 0, on rejette (H0 )
rejette (H0 ) au profit de (H1 ). Pour le testq

lorsque la statistique de test T2 (Y) = β̂2 / 26.043σb2 est inférieure à t39 (0.05) = −1.685. Or ici
T2 (y) = −5.18 donc on rejette (H0 ) au profit de (H1 ) là aussi pour un niveau 5%.
Ces résultats ne sont certes pas très surprenants : on peut en effet imaginer que toutes choses
égales par ailleurs, plus on a de "J’aime", plus on aura de "Favoris", et moins on a de "Je
n’aime pas", plus on aura de "Favoris". Mais l’interprétation ne peut se faire que "toutes
choses égales par ailleurs"... L’interprétation individuelle de chaque cœfficient estimé dans
un modèle complet n’est pas conseillée !
q
13. Si T0 désigne la statistique du test de significativité de la constante, T0 (Y) = β̂0 / 0.038σb2 et
T0 (y) ' 1.7 donc la p-valeur du test est donnée par p ' Pβ0 =0 (|T0 (Y)| > 1.7) = 2∗(1−P(T ≤ 1.7)),
où T ∼ T (39). Ainsi p ' 0.098, et par exemple pour un niveau 5%, la constante n’est pas
significative.
14. Voir cours. En particulier, faire attention à la nouvelle définition du cœfficient de déter-
mination.
15. Les deux cœfficients de détermination sont assez proches l’un de l’autre dans les deux
modèles, très bons, mais non comparables, donc on ne peut pas se baser sur ce critère pour
choisir un modèle. La constante n’étant pas significative pour un niveau classique 5%, on
pourra s’autoriser à travailler dans le modèle sans constante. Le modèle avec constante reste
néanmoins plus facile à interpréter.

84
 6.1. Examens partiels

6.1.5 Sujet 3 (durée : 2h)

Problème : Étude de la criminalité aux États Unis

Une étude sur la criminalité aux États-Unis a permis de relever dans chaque état (le district de
Columbia étant considéré ici comme un état), les observations sur l’année 1997 des variables
suivantes :
— murder : nombre de meurtres commis pour 1 million d’habitants,
— poverty : pourcentage de la population vivant sous le seuil de pauvreté,
— single : pourcentage de la population vivant dans une famille monoparentale,
— pctmetro : pourcentage de la population vivant en zone urbaine,
— pcths : pourcentage de la population ayant fait des études supérieures.
Pour chaque état (i ∈ {1, . . . , 51}), on note :
— Yi : murder ou le nombre de meurtres commis pour un million d’habitants de l’état i,
— xi,1 : poverty ou le pourcentage de la population sous le seuil de pauvreté de l’état i,
— xi,2 : single ou le pourcentage de la population vivant dans une famille monoparentale
de l’état i,
— xi,3 : pctmetro ou le pourcentage de la population en zone urbaine de l’état i,
— xi,4 : pcths ou le pourcentage de la population ayant fait des études supérieures de
l’état i.

Partie I : Régression linéaire simple

On considère les modèles suivants : pour j = 1 . . . 4,

(M0, j ) Yi = β0 + β j xi, j + εi pour i ∈ {1, . . . , 51},
(M j ) Yi = β j xi, j + εi pour i ∈ {1, . . . , 51},
où les εi sont des termes d’erreur aléatoires supposés vérifier les conditions standards des
modèles de régression linéaire sous hypothèse gaussienne.

1. Qu’induisent les hypothèses faites sur les εi pour les Yi ? Qu’en pensez-vous par rapport
aux données étudiées ici ?
2. Quelle condition supplémentaire impose-t-on sur les xi, j dans le modèle (M0,j ) ? Dans le
modèle (M j ) ? Que se passe-t-il si cette condition n’est pas vérifiée ?
3. Pour les modèles considérés, on a mis en œuvre sous le logiciel R une procédure de
régression linéaire simple et on a obtenu les sorties données en Annexe 2.2.
a) Rappeler les définitions des éléments de ces sorties désignés par : Estimate, [Link],
t value, Multiple R-squared.
b) Sur la base de ces sorties, quel modèle de régression linéaire simple choisiriez-vous pour
ajuster les données ? Justifiez votre réponse.
c) Tester l’hypothèse (H0 ) β j ≤ 0 contre (H1 ) β j > 0 au niveau 5% dans le modèle retenu à la
question précédente. Que peut-on en déduire ?

85
Chapitre 6. Annales corrigées

Partie II : Régression linéaire multiple

On considère maintenant le modèle de régression linéaire multiple suivant :

(M0,1,2 ) Yi = β0 + β1 xi,1 + β2 xi,2 + εi pour i ∈ {1, . . . , 51}.

Ce modèle peut aussi s’écrire sous la forme matricielle : Y = Xβ + ε, avec

Y1 1 x1,1 x1,2 ε1
     
 β0 
 
.. .. .. .. ..
     
Y =   , X =   , β =  β1  , ε =   .
       
.  . . .  . 
β2
  
εn
 
Yn 1 xn,1 xn,2
  

On a alors, si y désigne la valeur observée de Y,

   
 51 727.2 577.6   0.59053 −0.00113 −0.04898 
X0 X =  727.2 11419.78 8502.66  , (X0 X)−1 =  −0.00113 0.00136 −0.00161  ,
   
577.6 8502.66 6766.64 −0.04898 −0.00161 0.00636
   

X0 y = (445.1, 7736.72, 6017.44)0 , et y0 y = 9627.91.

On suppose que le vecteur des bruits ε est de loi gaussienne centrée de variance-covariance
σ2 In .
1. Rappeler la définition de l’estimateur des moindres carrés ordinaires de β, donner son
expression matricielle, et calculer sa valeur sur les observations.
2. Donner une expression de la somme des carrés résiduelle en fonction de X0 X, X0 Y et Y0 Y,
et en déduire que la valeur de l’estimateur sans biais σb2 de la variance σ2 calculée sur les
observations est égale à 20.8386.
3. Donner les valeurs de la somme des carrés expliquée et de la somme des carrés totale
calculées sur les observations en justifiant les calculs de façon précise.
4. En déduire la valeur du R2 calculée sur les observations.
5. Construire un test de niveau 5% de (H0 ) : β1 = β2 = 0 contre (H1 ) : β1 , 0 ou β2 , 0, et
conclure à l’aide de ce test quant à la validité globale du modèle (M0,1,2 ).

6. Préciser les lois de β̂ et de σb2 et expliquer comment ces lois permettent de construire un
test de (non) significativité de chaque variable explicative du modèle.
7. Tester au niveau 5% la (non) significativité de chaque variable explicative du modèle.
8. Construire des intervalles de confiance de niveau de confiance 95% pour β j pour j ∈ {0, 1, 2}
et retrouver les réponses à la question 7.
9. Donner à l’aide des tables données un encadrement ou une majoration des p-valeurs des
tests de (non) significativité des variables explicatives du modèle, et retrouver les réponses
à la question 7.

86
 6.1. Examens partiels

Questionnaire à choix multiple

NOM : . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Prénom : . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

On considère un modèle général de régression linéaire multiple s’écrivant sous la forme

matricielle
Y = Xβ + ε, avec pour 1 ≤ p ≤ n :

 Y1   1 x1,1 · · · x1,p−1   β0   ε1 
       

Y =  ...  , X =  ... .. ..  , β =  ...  , ε =  ...  .
       
   . . 
 
 
 
 
Yn 1 xn,1 · · · xn,p−1 βp−1 εn


On suppose que les conditions standards des modèles de régression linéaire et l’hypothèse
gaussienne sont vérifiées. On reprend les notations usuelles du cours, et notamment, on note
ΠX la matrice de projection orthogonale sur le sous-espace vectoriel E(X) de Rn engendré
par les vecteurs colonnes composant la matrice X, et 1 le vecteur de Rn égal à (1, . . . , 1)0 .

1. Parmi les variables suivantes, lesquelles sont de valeur observée ou calculable sur les
observations :
Y,
ε,
ε̂,
Ŷ,
Y − Xβ.

2. Quelle(s) propriété(s) l’estimateur des moindres carrés ordinaires β̂ vérifie-t-il ?

Il est linéaire en Y, sans biais.
Il est optimal au sens du risque quadratique parmi les estimateurs sans biais.
Il est égal à l’estimateur du maximum de vraisemblance.
C’est un vecteur gaussien dont la matrice de variance-covariance est diagonale.

3. Parmi les variables suivantes, lesquelles sont indépendantes entre elles ?

les Yi ,
les β̂ j ,
les εi ,
les ε̂i ,
β̂ et ε̂,
Y et Ŷ,
Ŷ et ε̂.
TSVP

87
Chapitre 6. Annales corrigées

4. L’espace vectoriel E(X) est de dimension :

n,
p − 1,
p,
p + 1,
n − p.

5. Parmi les vecteurs suivants, lesquels sont orthogonaux entre eux ?

Y et ΠX Y,
Y et ε̂,
Ŷ et ε̂,
Y et 1,
Y − Ȳ1 et 1,
Ŷ − Ȳ1 et ε̂.

88
 6.1. Examens partiels

Extraits de tables statistiques

Table de la loi gaussienne : on donne pour différentes valeurs de α ∈ [0, 1], qα tel que
P(N ≤ qα ) = α lorsque N ∼ N(0, 1).

α 0.9 0.95 0.975

qα 1.282 1.645 1.96

Table de la loi de Student : on donne pour différentes valeurs de n et de α ∈ [0, 1], tn,α tel que
P(T ≤ tn,α ) = α lorsque T ∼ T (n) (on rappelle que la loi de Student est symétrique).

α 0.9 0.95 0.975

t47,α 1.300 1.678 2.012
t48,α 1.299 1.677 2.011
t49,α 1.299 1.677 2.010
t50,α 1.299 1.676 2.009
t51,α 1.298 1.675 2.008

Table de la loi de Student : on donne pour différentes valeurs de q et pour n = 47, 48, 49, 50,
51 ou 52 la valeur de pn,q = P(T ≤ q) lorsque T ∼ T (n).

q 1.7 1.8 1.9 2 2.1 2.2 2.3 2.4 2.5 2.6 2.7
pn,q 0.952 0.961 0.968 0.974 0.979 0.984 0.987 0.99 0.992 0.994 0.995

Table de la loi de Fisher : on donne pour différentes valeurs de (n1 , n2 ) et de α ∈ [0, 1], fn1 ,n2 ,α
tel que P(F ≤ fn1 ,n2 ,α ) = α lorsque F ∼ F (n1 , n2 ).

α 0.025 0.05 0.1 0.9 0.95 0.975

f1,47,α 0.001 0.004 0.016 2.815 4.047 5.361
f1,48,α 0.001 0.004 0.016 2.813 4.043 5.354
f1,49,α 0.001 0.004 0.016 2.811 4.038 5.347
f1,50,α 0.001 0.004 0.016 2.809 4.034 5.340
f2,47,α 0.025 0.051 0.106 2.419 3.195 3.994
f2,48,α 0.025 0.051 0.106 2.417 3.191 3.987
f2,49,α 0.025 0.051 0.106 2.414 3.187 3.981
f2,50,α 0.025 0.051 0.106 2.412 3.183 3.975
f3,47,α 0.071 0.116 0.194 2.204 2.802 3.409
f3,48,α 0.071 0.117 0.194 2.202 2.798 3.402
f3,49,α 0.071 0.117 0.194 2.199 2.794 3.396
f3,50,α 0.071 0.117 0.194 2.197 2.790 3.390

Table de la loi du Khi Deux : on donne pour différentes valeurs de n et de α ∈ [0, 1], kn,α tel
que
P(K ≤ kn,α ) = α lorsque K ∼ χ2 (n).

89
Chapitre 6. Annales corrigées

α 0.025 0.05 0.95 0.975

k47,α 29.956 32.268 64.001 67.821
k48,α 30.755 33.098 65.171 69.023
k49,α 31.555 33.93 66.339 70.222
k50,α 32.357 34.764 67.505 71.42
k51,α 33.162 35.6 68.669 72.616

90
 6.1. Examens partiels

6.1.6 Sujet 1 - Éléments de correction

Problème : Étude de la criminalité aux États Unis

Partie I : Régression linéaire simple

1. On suppose que les Yi sont indépendantes, de loi gaussienne d’espérance linéaire ou af-
fine en xi, j , et de même variance σ2 . L’indépendance peut être vérifiée, mais elle semble peu
crédible. On a un risque de corrélation spatiale entre les états par exemple. L’hypothèse de
normalité peut se vérifier à l’aide d’un test, mais elle peut être crédible, contrairement à l’hy-
pothèse linéaire qui le sera plus ou moins en fonction de j et l’hypothèse d’homoscédasticité
qui elle est peu crédible (états du Sud très différents sans doute des états du Nord, états très
urbains différents des états plus ruraux...).
2. Dans le modèle (M0,j ), on impose qu’il existePau moins un couple (i, i0 ) tel que i , i0 , et
xi, j , xi0 , j . Dans le modèle (M j ), on impose que x2i,j , 0 autrement dit que les xi,j ne soient
pas tous nuls.
Si la condition n’est pas vérifiée dans le modèle (M0, j ), on a un modèle dont la seule variable
explicative est la constante, autrement dit on aura Ŷ = Ȳ1.
Si la condition n’est pas vérifiée dans le modèle (M j ), cela signifie qu’on suppose que les Yi
constituent un échantillon de la loi gaussienne centrée, de variance σ2 , et que l’on cherche
juste à estimer la variance inconnue σ2 .
q
3. a) Pour chaque j = 1, . . . , 4, Estimate correspond à β̂ j , [Link] à σb2 (X0 X)−1 j+1, j+1
,t
value à la statistique du test de Student de (non) significativité de la variable x.,j c’est-à-
q
dire β̂ / σb2 (X0 X)−1
j j+1, j+1
, Multiple R-squared au cœfficient de détermination R2 = kXβ̂ −
Ȳ1k /kY
2 − Ȳ1
k2 dans le modèle (M0, j ), R2sc = kXβ̂k2 /kYk2 dans le modèle (M j ).
b) On retient le modèle M0,2 qui est un modèle avec constante, dont toutes les variables sont
significatives au niveau 5% et dont le R2obs est satisfaisant.
c) On teste (H0 ) : β2 ≤ 0 contre (H1 ) : βq2 > 0 dans ce modèle au niveau 5%. On rejette (H0 )

lorsque la statistique de test T(Y) = β̂ j / σb2 (X0 X)−1

j+1, j+1
est supérieure à t49 (0.95) = 1.677. Or
ici T(y) = 11.74 (cf sortie R) donc on rejette (H0 ) au profit de (H1 ) pour un niveau 5%. On
conclut que le nombre de meurtres dans un état évolue dans le même sens que le pourcentage
de personnes vivant dans une famille mono-parentale. On ne peut cependant, sur la base de
ces résultats seuls, conclure à une relation de cause à effet. Seuls des éléments de connaissance
dépassant cette étude statistique pourraient permettre de conclure à une telle relation.

Partie II : Régression linéaire multiple

1. L’estimateur des MCO de β est défini par β̂ = argminβ∈R3 kY − Xβk2 . Si E(X) désigne
l’espace vectoriel engendré par les vecteurs colonnes de X, le vecteur Xβ̂ est le vecteur de
E(X) dont la distance à Y est minimale. En d’autres termes, Xβ̂ est le projeté orthogonal de
Y sur E(X). La matrice de projection orthogonale sur E(X) étant égale à X(X0 X)−1 X0 , on a
Xβ̂ = X(X0 X)−1 X0 Y, d’où X0 Xβ̂ = X0 Y et X0 X étant inversible, β̂ = (X0 X)−1 X0 Y. On obtient
alors β̂obs = (X0 X)−1 X0 y = (−40.6318018, 0.3308978, 4.0138012)0 .

91
Chapitre 6. Annales corrigées

2. Par Pythagore, on a SCR = Y0 Y − Y0 X(X0 X)−1 X0 Y et σb2 = SCR/48, d’où σb2 obs = y0 y −
y0 X(X0 X)−1 X0 y/48 ' 20.8386.
3. Première méthode : SCE = kXβ̂ − Ȳ1k2 = kXβ̂k2 − nȲ2 = Y0 X(X0 X)−1 X0 Y − 51Ȳ2 , d’où
SCEobs = 4743.068 puis on utilise l’équation d’analyse de la variance pour trouver SCTobs =
SCEobs + SCRobs = 4743.068 + 48 × 20.8386 = 5743.321.
Deuxième méthode : SCT = Y0 Y − 51Ȳ2 , d’où SCTobs = 5743.322 et ensuite SCEobs = SCTobs −
SCRobs = 5743.322 − 48 × 20.8386 = 4743.069.
4. Le cœfficient de détermination est défini par R2 = SCE/SCT, d’où R2obs = 0.82584.
5. Test de (H0 ) : β1 = β2 = 0 contre (H1 ) : il existe j ∈ {1, 2}, β j , 0.
R2 48
Statistique de test : F(Y) = 1−R 2 2 qui suit sous (H0 ) la loi F (2, 48).
La région critique du test est donnée par R(H0 ) = {y, F(y) > f2,48 (0.95)}.
On a f2,48 (0.95) = 3.191. Or R2obs = 0.82584, d’où F(y) = 113.8 : on rejette clairement (H0 ) pour
un niveau 5% !
6. On a β̂ = (X0 X)−1 X0 Y et Ŷ = X(X0 X)−1 X0 Y. Puisque Y ∼ Nn (Xβ, σ2 In ), β̂ ∼ Nn (β, σ2 (X0 X)−1 ).
Puisque 48 ∗ σb2 /σ2 = kε̂k2 , et que ε̂ = ε − Π ε, par le théorème de Cochran, 48 ∗ σb2 /σ2 ∼ χ2 (48).
X
De plus, β̂ = β + (X0 X)−1 X0 ΠX ε, et comme par le théorème de Cochran, ΠX ε et ε − ΠX ε
sont indépendants, on en déduit que les variables β̂ j et σb2 sont indépendantes, puis que sous
q
(H0 ), T j (Y) = β̂ j / σb2 (X0 X)−1
j+1,j+1
, que l’on choisira comme statistique de test, suit une loi de
Student à 48 degrés de liberté.
7. Test de (H0 ) : β j = 0 contre (H1 ) : β j , 0.
q
Statistique de test : T j (Y) = β̂ j / σb2 (X0 X)−1
j+1,j+1
.
Loi de T j (Y) sous (H0 ) : Student à 48 degrés de liberté.
Région critique : R(H0 ) = {y, |T j (y)| > t48 (0.975)} = {y, |T j (y)| > 2.011}.
On a T0 (y) = −11.583, T1 (y) = 1.966, et T2 (y) = 11.025 donc seule la variable poverty n’est
pas significative au niveau 5%.
8. Un intervalle de confiance pour β j est donné par
 r r 
IC(β j ) = β̂ j − 2.011 σb2 (X0 X)−1 ; β̂ + 2.011 σb2 (X0 X)−1  ,
 
j+1,j+1 j j+1,j+1 

doù IC(β0 )obs = [−47.69; −33.58], IC(β1 )obs = [−0.0076; 0.669], et IC(β3 )obs = [3.282; 4.746]. On a
0 < IC(β0 )obs , 0 ∈ IC(β1 )obs et 0 < IC(β3 )obs , donc on retrouve les conclusions de la question 7.
9. On a vu que T0 (y) = −11.583 donc la p-valeur du test correspondant est donnée par
p0 ' Pβ0 =0 (|T0 (Y)| > 11.58) = 2 ∗ (1 − P(T ≤ 11.583)), où T ∼ T (48). D’après les tables on
obtient p0 << 2 ∗ (1 − 0.995) = 0.01. Ainsi p0 < 0.05, et on retrouve que pour un niveau 5%
par exemple (même beaucoup moins), la constante est significative.
On a vu que T1 (y) = 1.966 donc la p-valeur du test est donnée par p1 ' Pβ1 =0 (|T1 (Y)| > 1.966) =
2∗(1−P(T ≤ 1.966)), où T ∼ T (48). D’après les tables, on obtient 0.968 ≤ P(T ≤ 1.966) ≤ 0.974,
et 0.052 ≤ p1 ≤ 0.064 en particulier, p > 0.05 et on retrouve le résultat de la question 7 pour
la variable poverty.
Enfin, on a vu que T2 (y) = 11.025 donc la p-valeur du test est donnée par p2 ' Pβ2 =0 (|T2 (Y)| >
11.025) = 2 ∗ (1 − P(T ≤ 11.025)), où T ∼ T (48). D’après les tables on obtient p2 << 2 ∗ (1 −
0.995) = 0.01. Ainsi p2 < 0.05, et on retrouve le résultat de la question 7 pour la variable
single.

92
 6.1. Examens partiels

Questionnaire à choix multiple

1. Parmi les variables suivantes, lesquelles sont de valeur observée ou calculable sur les
observations :
× Y,
ε,
× ε̂,
× Ŷ,
Y − Xβ.

2. Quelle(s) propriété(s) l’estimateur des moindres carrés ordinaires β̂ vérifie-t-il ?

× Il est linéaire en Y, sans biais.
Il est optimal au sens du risque quadratique parmi les estimateurs sans biais.
× Il est égal à l’estimateur du maximum de vraisemblance.
C’est un vecteur gaussien dont la matrice de variance-covariance est diagonale.

3. Parmi les variables suivantes, lesquelles sont indépendantes entre elles ?

× les Yi ,
les β̂ j ,
× les εi ,
les ε̂i ,
× β̂ et ε̂,
Y et Ŷ,
× Ŷ et ε̂.

4. L’espace vectoriel E(X) est de dimension :

n,
p − 1,
× p,
p + 1,
n − p.

5. Parmi les vecteurs suivants, lesquels sont orthogonaux entre eux ?

Y et ΠX Y,
Y et ε̂,
× Ŷ et ε̂,
Y et 1,
× Y − Ȳ1 et 1,
× Ŷ − Ȳ1 et ε̂.

93
Chapitre 6. Annales corrigées

6.2 Examens terminaux

6.2.1 Sujet 1 (durée : 3h)

2010 : Année de la biodiversité

L’abondance de certaines espèces de papillons est reconnue comme un indicateur de la

biodiversité. Pouvoir comprendre et éventuellement prédire cette abondance est donc un
enjeu d’importance en écologie.
Le Moiré blanc-fascié ou Erebia ligea est une espèce de papillon protégée et menacée d’ex-
tinction en Wallonie notamment. On a réalisé le comptage de cette espèce dans 20 stations de
Wallonie, pour lesquelles on a également relevé les valeurs de certaines variables écologiques
ou géographiques comme la surface, l’humidité, l’altitude ou le type de paysage.

Partie I : Régression linéaire multiple

On considère dans cette partie le modèle suivant :

ln Li = β0 + β1 Si + β2 Hi + β3 Ai + εi pour i = 1 . . . 20,

où Li est une variable aléatoire représentant l’abondance de l’Erebia ligea dans la ième station,
Si , Hi et Ai désignent respectivement la surface, l’humidité et l’altitude de cette ième station,
les εi sont des termes d’erreur aléatoires tels que
— E[εi ] = 0 pour tout i,
— cov(εi , ε j ) = 0 pour tout i , j,
— var(εi ) = σ2 pour tout i.
Ce modèle s’écrit sous la forme matricielle classique :

Y = Xβ + ε,

avec β = (β0 , β1 , β2 , β3 )0 et ε = (ε1 , . . . , ε20 )0 .

On a
   
 20 226.8 54.1 12.7   0.9711 −0.0541 0.0769 −0.8115 
 226.8 3135.8 757.06 133.98   −0.0541 0.011 −0.0338 0.0333 
   
X X = 
0   et (X0 X)−1 =    .
 54.1 757.06 190.97 32.339   0.0769 −0.0338 0.1281 −0.064 
12.7 133.98 32.339 9.3258 −0.8115 0.0333 −0.064 0.9557
   

Par ailleurs, SCRobs = 3.4499 et si y désigne la valeur observée de Y, X0 y = (40.7378, 527.2645, 111.4137, 22.89)0 .

Question préliminaire : Préciser Y, X, et les hypothèses faites sur Y.

1. Après avoir rappelé la définition de l’estimateur des moindres carrés ordinaires β̂ de β,
son interprétation géométrique et son expression matricielle, calculer sa valeur.
2. Quelles sont les propriétés statistiques connues de β̂ (biais, matrice de variance-covariance
Var(β̂), optimalité...) ?

3. Déterminer un estimateur σb2 sans biais de la variance σ2 , donner sa valeur et en déduire

une estimation sans biais de la matrice de variance-covariance Var(β̂).

94
 6.2. Examens terminaux

4. On suppose maintenant que ε ∼ N(0, σ2 I).

a) Quels sont les estimateurs du maximum de vraisemblance de β et de la variance σ2 ? Quel
est le lien entre ces estimateurs et les estimateurs β̂ et σb2 ?
b) Donner les lois de β̂ et σb2 . Les estimateurs β̂ et σb2 sont-ils indépendants ? Justifier précisé-
ment la réponse.
c) Construire une région de confiance simultanée pour (β1 , β2 , β3 ) de niveau de confiance
95%. Quelle est la forme de cette région ?
On donne pour cette question :
 −1  
 0.011 −0.0338 0.0333   558.654 142.445 −9.926 
 −0.0338 0.1281 −0.064  =  142.445 44.397 −1.99  .
   
   
0.0333 −0.064 0.9557 −9.926 −1.99 1.259
d) Déduire de la question précédente un test de significativité globale du modèle au niveau
5%. Quelle est la conclusion du test ?
e) Donner un encadrement des p valeurs des tests de significativité des différentes variables
explicatives. Quelles sont les variables explicatives significatives au niveau 5% ?

Partie II : Sélection de variables et détection des écarts au modèle

Une généralisation du modèle précédent est le modèle de régression polynômiale (sans

interaction) suivant :

ln Li = β0 + β1 Si + β2 Hi + β3 Ai + β4 S2i + β5 Hi2 + β6 A2i + εi pour i = 1 . . . 20.

On suppose que ε = (ε1 , . . . , ε20 )0 ∼ N(0, σ2 I).
1. La somme des carrés résiduelle pour ce nouveau modèle a pour valeur 2.3658. Construire
un test permettant de choisir entre ce nouveau modèle et le précédent. Quelle est la conclusion
du test au niveau 5% ?
2. Pour pouvoir mieux prédire l’abondance de l’Erebia Ligea, on réalise à l’aide du logiciel
SAS une procédure de sélection de variables backward à partir du modèle de régression
polynômiale. Les sorties de la procédure sont fournies en Annexe 3.1.
a) Définir les différents critères de sélection de variables pouvant être utilisés pour une
procédure de type backward. Quel est le critère utilisé dans la procédure SAS ?
b) Le modèle retenu par la procédure SAS est le suivant :
ln Li = β0 + β1 Si + β5 Hi2 + εi pour i = 1 . . . 20. (6.1)
Expliquer ce résultat en justifiant et en analysant pas à pas les sorties fournies en Annexe 3.1.
3. On fournit en Annexes 3.2 et 3.3 plusieurs résultats numériques ou graphiques obtenus
après mise en œuvre de la régression retenue à la question précédente.
a) Définir les différentes quantités apparaissant dans ces résultats. Dire en particulier si ces
quantités permettent de détecter d’éventuels écarts au modèle, des données atypiques, ayant
un effet levier ou influentes, et si le fichier étudié contient de telles données. Si oui, quelles
sont ces données ?
b) Quelle décision finale prendriez-vous quant à ces données et à la validité du modèle ?

95
Chapitre 6. Annales corrigées

Partie III : Analyse de la variance à un facteur

On souhaite savoir si une nouvelle variable qualitative "paysage" précisant le type de paysage
de la station a un effet sur l’abondance de l’Erebia ligea.
Le facteur paysage possède quatre niveaux, et on dispose pour ces quatre niveaux (notés de
1 à 4) de n1 = 7, n2 = 3, n3 = 5 et n4 = 5 observations respectivement. On note (Li j ) j=1...ni les
abondances correspondant à un paysage de type i (i = 1 . . . 4), et (li j ) j=1...ni les observations
correspondantes.
On a relevé les valeurs suivantes : 7j=1 l1j = 108, 3j=1 l2j = 67, 5j=1 l3j = 50 et 5j=1 l4j = 101,
P P P P
P7 2 P3 2 P5 2 P5 2
j=1 l1j = 2200, j=1 l2j = 2449, j=1 l3j = 2032, j=1 l4j = 3547.

On considère un modèle d’analyse de la variance à un facteur sous contrainte identifiante

de type analyse par cellule.
1. Ecrire le modèle de façon analytique, puis de façon matricielle en précisant les hypothèses
faites sur ce modèle.
2. Quelles sont les valeurs des estimateurs des cœfficients du modèle ?
3. Donner le tableau d’analyse de la variance.
4. Montrer que le facteur paysage n’a pas d’effet significatif sur l’abondance au niveau 5%
sous hypothèse gaussienne.
5. Cela signifie-t-il nécessairement que les abondances pour deux paysages différents pris au
hasard ne sont pas significativement différentes au niveau 5% ? Expliquer.
6. Quels autres modèles d’analyse de la variance à un facteur pourrait-on considérer ici ?
Le test construit dans la question 4 est-il valide dans ces modèles ? Justifier précisément la
réponse.

Partie IV : Moindres carrés généralisés

On reprend le modèle défini dans la Partie II par l’équation (6.1) :

ln Li = β0 + β1 Si + β5 Hi2 + εi pour i = 1 . . . 20,

avec ε = (ε1 , . . . , ε20 )0 ∼ N(0, σ2 I).
On suppose ici qu’on dispose seulement des valeurs moyennes sur deux ou quatre sta-
P2j P2j
tions des ln Li , Si et Hi2 . On note ces moyennes Z j = 21 i=2j−1 ln Li , X1j = 12 i=2j−1 Si ,
P2j
X2j = 12 i=2j−1 Hi2 pour j ∈ {1, . . . , 8} et Z9 = 14 20 1 1 P20
i=17 ln Li , X9 = 4
1 P20
i=17 Si , X9 = 4
2 2
P
i=17 Hi .
On a alors pour tout j = 1 . . . 9,

Z j = γ0 + γ1 X1j + γ2 X2j + η j ,
P2j P20
avec γ0 = β0 , γ1 = β1 et γ2 = β5 , η j = 1
2 ε
i=2j−1 i
pour j ∈ {1, . . . , 8}, η9 = 1
4 i=17 εi .
Ce modèle s’écrit matriciellement
Z = X̄γ + η,
avec γ = (γ0 , γ1 , γ2 )0 et η = (η1 , . . . , η9 )0 .

96
 6.2. Examens terminaux

1. La matrice de variance-covariance de η vérifie Var(η) = σ2 Ω. Donner la matrice Ω, ainsi

qu’une matrice P inversible telle que PP0 = Ω.
2. Pourquoi n’est-il plus judicieux d’utiliser la méthode des moindres carrés ordinaires pour
estimer γ dans ce modèle ?
3. En considérant P−1 Z, P−1 X̄ et P−1 η, montrer que l’on obtient un nouveau modèle vérifiant
les conditions standards d’un modèle de régression linéaire multiple.
4. En déduire un estimateur pertinent de γ.
5. Montrer que cet estimateur est linéaire sans biais, de variance minimale parmi les estima-
teurs linéaires sans biais de γ.

97
Chapitre 6. Annales corrigées

Extraits de tables statistiques

Table de la loi gaussienne : on donne pour différentes valeurs de α ∈ [0, 1], qα tel que
P(N ≤ qα ) = α lorsque N ∼ N(0, 1).

α 0.9 0.95 0.975

qα 1.282 1.645 1.96

Table de la loi de Student : on donne pour différentes valeurs de n et de α ∈ [0, 1], tn,α tel que
P(T ≤ tn,α ) = α lorsque T ∼ T (n) (on rappelle que la loi de Student est symétrique).

α 0.9 0.95 0.975

t15,α 1.34 1.75 2.13
t16,α 1.34 1.75 2.12
t17,α 1.33 1.74 2.11
t18,α 1.33 1.73 2.10
t19,α 1.33 1.73 2.09
t20,α 1.33 1.72 2.09

Table de la loi de Student : on donne pour différentes valeurs de q et pour différentes valeurs
de n la valeur de pn,q = P(T ≤ q) lorsque T ∼ T (n).

q 1.5 1.6 1.7 1.8 1.9 2 2.1 2.2 2.3 2.4 2.5 5
p16,q 0.923 0.935 0.946 0.955 0.962 0.969 0.974 0.979 0.982 0.986 0.988 1
p17,q 0.924 0.936 0.946 0.955 0.963 0.969 0.975 0.979 0.983 0.986 0.989 1
p18,q 0.925 0.936 0.947 0.956 0.963 0.97 0.975 0.979 0.983 0.986 0.989 1
p19,q 0.925 0.937 0.947 0.956 0.964 0.97 0.975 0.98 0.984 0.987 0.989 1
p20,q 0.925 0.937 0.948 0.957 0.964 0.97 0.976 0.98 0.984 0.987 0.989 1

Table de la loi de Fisher : on donne pour différentes valeurs de (n1 , n2 ) et de α ∈ [0, 1], fn1 ,n2 ,α
tel que P(F ≤ fn1 ,n2 ,α ) = α lorsque F ∼ F (n1 , n2 ).

98
 6.2. Examens terminaux

α 0.025 0.05 0.95 0.975

f1,16,α 0.001 0.004 4.494 6.115
f1,17,α 0.001 0.004 4.451 6.042
f1,18,α 0.001 0.004 4.414 5.978
f1,19,α 0.001 0.004 4.381 5.922
f1,20,α 0.001 0.004 4.351 5.871
f2,16,α 0.025 0.051 3.634 4.687
f2,17,α 0.025 0.051 3.592 4.619
f2,18,α 0.025 0.051 3.555 4.56
f2,19,α 0.025 0.051 3.522 4.508
f2,20,α 0.025 0.051 3.493 4.461
f3,13,α 0.07 0.115 3.411 4.347
f3,14,α 0.07 0.115 3.344 4.242
f3,15,α 0.07 0.115 3.287 4.153
f3,16,α 0.07 0.115 3.239 4.077
f3,17,α 0.07 0.115 3.197 4.011
f3,18,α 0.07 0.115 3.16 3.954
f3,19,α 0.071 0.115 3.127 3.903
f3,20,α 0.071 0.115 3.098 3.859
f4,16,α 0.116 0.171 3.007 3.729
f4,17,α 0.116 0.171 2.965 3.665
f4,18,α 0.116 0.172 2.928 3.608
f4,19,α 0.117 0.172 2.895 3.559
f4,20,α 0.117 0.172 2.866 3.515

99
Chapitre 6. Annales corrigées

6.2.2 Sujet 1 - Éléments de correction

2010 : Année de la biodiversité

Partie I : Régression linéaire multiple

Question préliminaire : Y = (ln L1 , . . . , ln L20 )0 , X = (1, S, H, A), où 1 est le vecteur de taille

20 ne contenant que des 1, S le vecteur (S1 , . . . , S20 )0 , H le vecteur (H1 , . . . , H20 )0 , et A le
vecteur (A1 , . . . , A20 )0 . On a supposé E[Y] = Xβ, et Var(Y) = σ2 I i.e. les Yi non corrélées et
homoscédastiques.
1. L’estimateur des MCO de β est défini par β̂ = argminβ∈Rp kY−Xβk2 . Si E(X) désigne l’espace
vectoriel engendré par les vecteurs colonnes de X, le vecteur Xβ̂ est le vecteur de E(X) dont la
distance à Y est minimale. En d’autres termes, Xβ̂ est le projeté orthogonal de Y sur E(X). Or
on sait que lorsque X est de plein rang, la matrice de projection orthogonale sur E(X) est égale
à ΠX = X(X0 X)−1 X0 , d’où Xβ̂ = X(X0 X)−1 X0 Y et comme X est de plein rang, on a finalement
β̂ = (X0 X)−1 X0 Y. D’où la valeur de β̂ : β̂obs = (1.0279467, 0.5924485, −1.8816683, −0.7553206)0 .
2. β̂ est un estimateur sans biais, sa matrice de variance-covariance est égale à : Var(β̂) =
σ2 (X0 X)−1 . Par le théorème de Gauss-Markov, cet estimateur est de variance minimale parmi
les estimateurs linéaires sans biais de β.
3. Un estimateur sans biais de σ2 est donné par σb2 = SCR/(20 − 4) d’où σb2 obs = 0.2156187.
Une estimation sans biais de Var(β̂) est donc donnée par
 
 0.20939 −0.011665 0.0166 −0.175 
 −0.011665 0.002372 −0.0073 0.0072 
σb2 obs (X0 X)−1 =   .
 0.0166 −0.0073 0.0276 −0.0138 
−0.175 0.0072 −0.0138 0.206
 

4. a) L’estimateur du maximum de vraisemblance est égal à β̂, celui de σ2 à 16σb2 /20 = SCR/20.
b) β̂ suit une loi gaussienne d’espérance β, de variance σ2 (X0 X)−1 . Par le théorème de Cochran,
on montre que 20σb2 suit une loi du khi-deux à 16 degrés de liberté, et que β̂ et σb2 sont
indépendants (voir cours pour la preuve).
c) Une région de confiance simultanée pour (β1 , β2 , β3 ) de niveau de confiance 95% est donnée
par :
n 3 1 
(β1 , β2 , β3 ) ∈ R, 558.654(β̂1 − β1 )2 + 44.397(β̂2 − β2 )2 + 1.259(β̂3 − β3 )2
3σ
b2
 o
+ 284.89(β̂1 − β1 )(β̂2 − β2 ) − 19.852(β̂1 − β1 )(β̂3 − β3 ) − 3.98(β̂2 − β2 )(β̂3 − β3 ) ≤ f3,16 (0.95) ,

avec β̂obs = (1.0279467, 0.5924485, −1.8816683, −0.7553206)0 , σb2 obs = 0.2156187 et f3,16 (0.95) =
3.239. Cette région de confiance est un ellipsoïde.
d) Soit (H0 ) : β1 = β2 = β3 = 0 contre (H1 ) : β1 , β2 ou β3 , 0. Un test de (H0 ) contre (H1 ) a pour
région critique {Y, F(Y) > 3.239} , avec
1  
F(Y) = 558.654β̂21 + 44.397β̂22 + 1.259β̂23 + 284.89β̂1 β̂2 − 19.852β̂1 β̂3 − 3.98β̂2 β̂3 .
3σb2

100
 6.2. Examens terminaux

On a F(y) = 61.27. On rejette donc clairement l’hypothèse nulle. Le modèle est globalement
significatif au niveau 5%.
√
e) Pour la constante, la p valeur du test de significativité est égale à p = P(|T| > |β̂0,obs |/ 0.20939)
avec T ∼ T (16) i.e. p = 2 − 2P(T ≤ 2.246) ∈ [0.036, 0.042] donc la constante est significative
au niveau 5%.
Pour la première variable √ explicative potentielle S, la p valeur du test de significativité est
égale à p = P(|T| > |β̂1,obs |/ 0.002372) avec T ∼ T (16) i.e. p = 2 − 2P(T ≤ 12.16) ' 0 donc la
variable surface est significative au niveau 5%.
Pour la variable humidité H, p = 2 − 2P(T ≤ 11.33) ' 0 donc la variable humidité est
significative au niveau 5%.
Pour la variable altitude A, p = 2 − 2P(T ≤ 1.65) ∈ [0.108, 0.13] donc la variable altitude n’est
pas significative au niveau 5%.

Partie II : Sélection de variables et détection des écarts au modèle

1. Dans le nouveau modèle, on teste (H0 ) : β4 = β5 = β6 = 0 contre (H1 ) : l’un de ces

trois éléments est non nul. On montre que la statistique de test s’écrit F(Y) = 13(SCR −
SCRc )/(3SCRc ), où SCRc représente la somme des carrés résiduelle du nouveau modèle de
régression polynômiale ou modèle complet. Sous (H0 ), F ∼ F (3, 13) donc la région critique
du test est {Y, F(Y) > 3.41}, avec F(y) = 13 ∗ (3.4499 − 2.3658)/(3 ∗ 2.3658) = 1.986. On accepte
(H0 ) au niveau 5% i.e. on préfère le premier modèle au modèle complet.
2. On veut voir si un autre sous-modèle du modèle complet serait préférable au premier
modèle.
a) On peut utiliser pour n’importe quel type de procédure (exhaustive, backward, forward
ou stepwise) les critères du R2 ajusté (à maximiser), de l’AIC, du BIC, du Cp de Mallows (à
minimiser), mais aussi des tests de significativité de sous-modèles. La procédure SAS utilise
les tests de significativité.
b) On expliquera le "fonctionnement" de la procédure backward et on pourra donner les
statistiques de test à chaque étape et les conclusions des tests.
3. a) Pour les définitions, on renvoie au cours.
b) Le graphe des résidus ainsi que le QQplot ne contredisent pas a priori les hypothèses du
modèle.
Une seule donnée aberrante, la 15, au niveau 5% (tous les autres résidus studentisés sont
inférieurs à 2.12 en valeur absolue).
Donnée ayant un effet levier : l’observation 20, qui est peu influente.
Donnée 19 : donnée influente.
Il n’y a priori aucune raison de remettre le modèle en cause ni d’envisager de supprimer des
données.

Partie III : Analyse de la variance à un facteur

i = 1...4
(
1. Li j = αi + εi j , ,
j = 1 . . . ni

101
Chapitre 6. Annales corrigées

où les εi j vérifient les conditions standards :

- (C1 ) E[εi j ] = 0,
- (C2 ) cov(εi j , εi0 j0 ) = 0,
- (C3 ) var(εi j ) = σ2 .
Ecriture matricielle : L = Xβ + ε avec β = (α1 , α2 , α3 , α4 )0 et

1 0 0 0
 
 ) 
.. .. .. ..

. . . .
 

 7 
 

1 0 0 0
 
 


 0 1 0 0 

0 1 0 0
 
 


 0 1 0 0 
X =  0 0 1 0
)  .
 

.. .. .. ..

. . . .
 

 5 
 

0 0 1 0
 
 

 0 0 0 1 
 ) 
 .. .. .. ..
. . . .

5 


 
 
0 0 0 1

X est la matrice d’incidence du facteur paysage.

2. Pour tout i = 1, 2, 3, 4, α̂i = L̄i• , d’où α̂1,obs = 15.42857, α̂2,obs = 22.33333, α̂3,obs = 10,
α̂4,obs = 20.2.
3. Puisque 1 ∈ E(X) (et ce quelle que soit la contrainte), SCE = kL̂ − L̄•• 1k2 = 4i=1 ni (L̄i• −
P

L̄•• )2 = 4i=1 ni L̄2i• − 20L̄2•• , d’où SCEobs = 389.02.

P

On a SCR = kY − Ŷk2 = 4i=1 nj=1

P P i 2 P4
Li j − i=1 ni L̄2i• , d’où SCRobs = 4525.2.

Tableau d’analyse de la variance :

Variation ddl SC CM F Pr(> F)

Facteur paysage 3 389.02 129.7 0.4585 0.715
Résiduelle 16 4525.2 282.8

4. La p valeur du test étant égale à 0.715, pour un niveau 5%, on accepte l’hypothèse d’absence
d’effet du facteur paysage.
5. Le test d’effet du facteur paysage ne débouche pas sur un test de comparaison de deux
cœfficients directement.
6. Modèles d’analyse de la variance à un facteur sous d’autres contraintes identifiantes
classiques (analyse par cellule de référence, contrainte d’orthogonalité ou de type somme).
Le test d’effet du facteur reste le même (voir cours).

102
 6.2. Examens terminaux

Partie IV : Moindres carrés généralisés

   
1. Ω = diag 2, . . . , 2, . . . , 4
1 1 1
, donc on peut prendre P = diag √1 , . . . , √1 , . . . , 1
2 .
2 2

2. Les termes d’erreur ne sont plus homoscédastiques. On peut certes toujours calculer
l’EMCO dans le nouveau modèle. Il est sans biais. Cependant, sous l’hypothèse de normalité,
il n’est pas de variance minimale parmi les estimateurs linéaires sans biais dans ce modèle.
3. On a P−1 Z = P−1 X̄β + P−1 η, et Var(P−1 η) = P−1 σ2 ΩP−1 = σ2 I donc on retrouve un modèle
de régression linéaire avec les conditions standards.
4. On peut alors calculer l’EMCO dans ce nouveau modèle. Cet estimateur est appelé
estimateur des moindres carrés généralisés, et son expression est donnée par γ̂MCG =
(X̄0 Ω−1 X̄)−1 X̄0 Ω−1 Z.
5. Par application du théorème de Gauss-Markov dans le nouveau modèle vérifiant les
conditions standards, l’estimateur des moindres carrés généralisés est bien sans biais de
variance minimale parmi les estimateurs linéaires sans biais de γ.

103
Chapitre 6. Annales corrigées

6.2.3 Sujet 2 (durée : 3h)

Etude de l’espérance de vie

L’espérance de vie est un indicateur influençant de nombreuses décisions politiques notam-

ment sur les plans sanitaire et économique. Pouvoir comprendre et éventuellement prédire
cette espérance de vie est donc un enjeu d’importance.
Nous cherchons ici à étudier l’espérance de vie de 114 pays au travers de données sur les
consommations moyennes d’alcool et de tabac, le QI moyen, ainsi que le PIB par habitant et
l’indice de démocratisation de ces pays.
On introduit pour cela les variables suivantes : pour le ième pays étudié (i ∈ {1, . . . , 114}),
— Yi son espérance de vie,
— xi,1 la consommation annuelle moyenne d’alcool de ses adultes de plus de 15 ans (en
L d’alcool pur),
— xi,2 le nombre annuel moyen de cigarettes consommées par ses habitants,
— xi,3 le QI moyen de ses habitants,
— xi,4 son PIB par habitant (en dollar international),
— xi,5 son indice de démocratisation (note sur 10).

Partie I : Régressions linéaires simples

On considère les modèles de régression linéaire simple suivants :

(Mp ) Yi = β0 + β1 xi,p + εi pour i ∈ {1, . . . , 114} et p ∈ {1, . . . , 5}, et

(Mln p ) Yi = β0 + β1 ln(xi,p ) + εi pour i ∈ {1, . . . , 114} et p ∈ {2, 3, 4},

sous conditions standards et sous condition gaussienne.

1. Préciser quelles sont les conditions imposées aux εi .

2. Donner l’expression des estimateurs des moindres carrés ordinaires β̂0 et β̂1 des coefficients
de régression β0 et β , puis de l’estimateur σb2 usuel de la variance σ2 des ε , par exemple
1 i
dans le modèle (M1 ).
3. Quelles sont les lois et les propriétés statistiques de ces estimateurs ? Sont-ils indépen-
dants ?
4. Pour chacun des modèles considérés, on a mis en œuvre sous le logiciel R une procédure
de régression linéaire simple. On a obtenu les sorties données en Annexe 3.4.
a) Quelles sont les commandes R utilisées pour obtenir ces sorties ?
b) Au vu de ces seules sorties, quels sont les modèles de régression linéaire simple les plus
pertinents ? Expliquer.

104
 6.2. Examens terminaux

5. On se penche désormais précisément sur le modèle de régression linéaire simple (Mln 3 ).

On a tracé le nuage de points correspondant, puis des graphes permettant une analyse
précise des résidus et des écarts éventuels au modèle. Les résultats sont reportés en Annexe
3.5.
a) Pour chacun des graphes tracés, préciser :
— les éléments qu’on a exactement représentés sur ce graphe,
— l’information que ces éléments peuvent apporter sur un modèle de régression : remise
en cause des hypothèses du modèle, présence de données remarquables,
— l’information réellement apportée par ces éléments sur le modèle étudié ici.
b) Expliquer graphiquement, à partir de la représentation du nuage de points, la nature des
données remarquables éventuellement trouvées à la question précédente.

Partie II : Régression linéaire multiple

On considère dans cette partie le modèle de régression linéaire multiple à 2 variables expli-
catives suivant :

(Mln 3,ln 2 ) Yi = β0 + β1 ln(xi,3 ) + β2 ln(xi,2 ) + εi pour i ∈ {1, . . . , 114}.

1. On a mis en œuvre sous le logiciel R une procédure de régression linéaire multiple pour
le modèle (Mln 3,ln 2 ). Compléter la sortie obtenue ci-dessous.

Coefficients :
Estimate Std. Error t value Pr(>|t|)
(Intercept) -179.3450 20.1054 ??? 1.08e-14 ???
log(X3) ??? 5.3455 10.077 < 2e-16 ***
log(X2) 1.3953 0.7654 ??? ??? ???

Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 5.315 on ??? degrees of freedom
Multiple R-Squared: 0.7409, Adjusted R-squared: ???
F-statistic: ??? on ??? and ??? DF, p-value: ???

2. Le modèle considéré est-il globalement significatif au niveau 5% ?

3. Quelles sont les variables explicatives significatives au niveau 5% ? Au niveau 10% ?
4. Si l’on considère notamment les résultats obtenus après mise en œuvre des procédures de
régression linéaire simple pour les modèles (Mln 2 ) et (Mln 3 ) (c.f. Partie I, Annexe 3.4), en
quoi les résultats obtenus ici sont-ils surprenants au premier abord ? Comment ce phénomène
peut-il s’expliquer ?
5. En notant X la matrice du plan d’expérience associée au modèle (Mln 3,ln 2 ), et A = (X0 X)−1 ,
on donne !−1 !
A2,2 A2,3 2.361 12.573
= .
A3,2 A3,3 12.573 115.159
En déduire une région de confiance simultanée pour (β1 , β2 )0 de niveau de confiance 95% et
confirmer à l’aide de cette région de confiance la réponse de la question 2.

105
Chapitre 6. Annales corrigées

6. Déterminer un intervalle de confiance de niveau de confiance 95% pour chaque cœfficient

de régression du modèle.
7. Déterminer un intervalle de confiance de niveau de confiance 95% pour la variance des εi .

Partie III : Régression linéaire multiple et sélection de variables

On considère finalement le modèle de régression linéaire multiple décrit de la façon suivante :

(M) Yi = β0 + β1 xi,1 + β2 xi,2 + β3 ln(xi,2 ) + β4 xi,3 + β5 ln(xi,3 ) + β6 xi,4 + β7 ln(xi,4 ) + β8 xi,5 + εi ,

pour i ∈ {1 . . . 114}.

1. On met en œuvre des procédures de sélection de variables exhaustives à l’aide des logiciels
SAS et R, pour les critères du R2 ajusté, du Cp , et du BIC. On obtient les sorties données en
Annexe 3.6.
a) Quel est le lien entre l’utilisation de ces différents critères pour une sélection de variables
et les tests de validité de sous-modèles ?
b) Expliquer les sorties données en Annexe 3.6.
c) Quel modèle peut-on finalement retenir ?
2. On met en œuvre une procédure de sélection de variables backward, puis une procédure
de sélection de variables forward avec le logiciel SAS. On obtient les sorties données en
Annexe 3.7.
a) Quel critère de sélection de variables est utilisé dans ces procédures ?
b) Quels sont les critères d’arrêt de ces procédures ?
c) Décrire pas à pas la procédure de sélection backward.
d) Commenter les sorties obtenues pour les modèles retenus par les deux procédures. Com-
parer au modèle retenu à la question 1.
3. Après une étude soigneuse des résidus et des éventuelles données remarquables pour
le modèle retenu à la question 1, on ne remet pas en cause ce modèle. On obtient dans ce
modèle, pour la France qui a une consommation annuelle moyenne d’alcool par adulte de
plus de 15 ans de 12.48 L, un nombre annuel moyen de cigarettes consommées par habitant
de 2058, un QI moyen de ses habitants de 98, un PIB par habitant de 34092.259 dollars, et un
indice de démocratisation de 7.77 (seulement !), un intervalle de prédiction pour l’espérance
de vie calculé sur les observations égal à [70.2; 86.8].
Expliquer comment cet intervalle a été calculé.

106
 6.2. Examens terminaux

Extraits de tables statistiques

Table de la loi gaussienne : on donne pour différentes valeurs de α ∈ [0, 1], qα tel que
P(N ≤ qα ) = α lorsque N ∼ N(0, 1).

α 0.9 0.95 0.975

qα 1.282 1.645 1.96

Table de la loi de Student : on donne pour différentes valeurs de n et de α ∈ [0, 1], tn,α tel que
P(T ≤ tn,α ) = α lorsque T ∼ T (n) (on rappelle que la loi de Student est symétrique).

α 0.9 0.95 0.975

t105,α 1.290 1.659 1.983
t106,α 1.290 1.659 1.983
t107,α 1.290 1.659 1.982
t108,α 1.289 1.659 1.982
t109,α 1.289 1.659 1.982
t110,α 1.289 1.659 1.982
t111,α 1.289 1.659 1.982
t112,α 1.289 1.659 1.981
t113,α 1.289 1.658 1.981
t114,α 1.289 1.658 1.981

Table de la loi de Student : on donne pour différentes valeurs de q et pour différentes valeurs
de n la valeur de pn,q = P(T ≤ q) lorsque T ∼ T (n).

q 1.8 1.81 1.82 1.83 1.84 1.85 1.86 1.87 1.88 1.89 1.9
p111,q 0.963 0.963 0.964 0.965 0.966 0.967 0.967 0.968 0.969 0.969 0.970
p112,q 0.963 0.964 0.964 0.965 0.966 0.967 0.967 0.968 0.969 0.969 0.970
p113,q 0.963 0.964 0.964 0.965 0.966 0.967 0.967 0.968 0.969 0.969 0.970

Table de la loi de Fisher : on donne pour différentes valeurs de (n1 , n2 ) et de α ∈ [0, 1], fn1 ,n2 ,α
tel que P(F ≤ fn1 ,n2 ,α ) = α lorsque F ∼ F (n1 , n2 ).

α 0.025 0.05 0.1 0.5 0.95 0.975

f1,111,α 0.001 0.004 0.016 0.458 3.927 5.163
f1,112,α 0.001 0.004 0.016 0.458 3.926 5.162
f2,111,α 0.025 0.051 0.105 0.697 3.078 3.814
f2,112,α 0.025 0.051 0.105 0.697 3.077 3.813
f3,111,α 0.072 0.117 0.194 0.794 2.686 3.236
f3,112,α 0.072 0.117 0.194 0.793 2.686 3.235

107
Chapitre 6. Annales corrigées

Table de la loi de Fisher : on donne pour différentes valeurs de q et pour différentes valeurs
de (n1 , n2 ) la valeur de pn1 ,n2 ,q = P(F ≤ q) lorsque F ∼ F (n1 , n2 ).

q 10 20 30
p1,111,q 0.99798 0.99998 1
p1,112,q 0.99799 0.99998 1
p1,113,q 0.99799 0.99998 1
p2,111,q 0.9999 1 1
p2,112,q 0.9999 1 1
p2,113,q 0.9999 1 1
p3,111,q 0.99999 1 1
p3,112,q 0.99999 1 1
p3,113,q 0.99999 1 1

Table de la loi du Khi Deux : on donne pour différentes valeurs de n et de α ∈ [0, 1], kn,α tel
que
P(K ≤ kn,α ) = α lorsque K ∼ χ2 (n).

α 0.025 0.05 0.95 0.975

k111,α 83.735 87.681 136.591 142.049
k112,α 84.604 88.570 137.701 143.180
k113,α 85.473 89.461 138.811 144.311
k114,α 86.342 90.351 139.921 145.441

108
 6.2. Examens terminaux

6.2.4 Sujet 2 : Éléments de correction

Partie I : Régressions linéaires simples

j
1. On impose E[εi ] = 0 ∀i = 1 · · · 114 (centrage), cov(εi , ε j ) = σ2 δi (non corrélation et homos-
cédasticité), puis ε ∼ N(0, σ2 I114 ) (hypothèse gaussienne sur le vecteur ε).
2. Les estimateurs des MCO sont donnés par :

β̂ = Ȳ − β̂ x̄
 0 P114 1 .,1P114


,
 P114 P114 P114
i=1 xi,1 Yi − i=1 xi,1 Ȳ xi,1 (Yi −Ȳ) (xi,1 −x̄.,1 )Yi i=1 (xi,1 −x̄.,1 )(Yi −Ȳ)

 β̂
 1
 = P 114 2 P 114 = Pi=1
114 2
= Pi=1
114 2
= P114 2
i=1 x − i=1 xi,1 x̄.,1
i,1 i=1 (xi,1 −x̄.,1 ) i=1 (xi,1 −x̄.,1 ) i=1 (xi,1 −x̄.,1 )

2 P114
l’estimateur usuel de la variance est donné par σb2 = 1
112 i=1 ε̂2i , où ε̂i = Yi − β̂0 − β̂1 xi,1 .
3. Lois des estimateurs sous!l’hypothèse gaussienne :
P114 2  
i=1 xi,1
β̂0 ∼ N β0 , P114 2
σ , β̂1 ∼ N β1 , P114
2 1
2
σ et 112σb2 /σ2 ∼ χ2 (112).
2
114 i=1 (xi,1 −x̄.,1 ) i=1 (xi,1 −x̄.,1 )

Indépendance ? β̂ = (β̂0 , β̂1 )0 et σb2 sont indépendants par le théorème de Cochran. En re-
vanche, β̂0 et β̂1 sont indépendants si et seulement si x̄.,1 = 0.
β̂ est un estimateur linéaire (en les Yi ), sans biais de β = (β0 , β1 )0 , de variance minimale parmi
les estimateurs linéaires sans biais de β (théorème de Gauss-Markov).
σb2 est un estimateur sans biais de σ2 .
4. Tous les modèles considérés contiennent le même nombre de variables explicatives. On
peut donc pour les comparer utiliser le critère du R2 . Ici, les trois modèles les plus pertinents
sont les modèles (M3 ), (Mln 3 ) et (Mln 4 ) qui ont des R2 respectivement égaux à 0.7205, 0.7331
et 0.716. On aura une préférence pour le modèle (Mln 3 ), dont le R2 est le plus élevé et dont
les toutes les variables explicatives sont significatives à 5% par exemple.
5. a) Graphe 1 : nuage de points et droite de régression estimée. On peut y vérifier la tendance
linéaire, et regarder les points qui s’écartent de la droite (valeurs aberrantes si points éloignés
en la variable à expliquer, effet levier si points éloignés en la variable explicative).
Graphe 2 : résidus studentisés par validation croisée en fonction du pays, fonction de lissage,
droites horizontales en les quantiles de niveaux 0.025 et 0.975 de la loi de Student à 111 degrés
de liberté, c’est-à-dire ici −1.982 et 1.982 (cf tables). On peut y observer les valeurs aberrantes
(résidus dont la valeur absolue dépasse 1.982), c’est-à-dire ici les pays 1, 52, 55 et dans une
moindre mesure 113, y vérifier la non auto-corrélation des résidus.
Graphe 3 : résidus studentisés par validation croisée en fonction des valeurs ajustées, fonction
de lissage, droites horizontales en les quantiles de niveaux 0.025 et 0.975 de la loi de Student
à 111 degrés de liberté. On peut y observer les valeurs aberrantes, les mêmes bien sûr, y
vérifier l’homoscédasticité des résidus (qui peut ceci dit être discutée dans le cas présent car
le lisseur semble présenter une légère tendance particulière).
Graphe 4 : QQ plot des résidus = tracé des quantiles empiriques des résidus studentisés
par VC en fonction des quantiles théoriques d’une loi gaussienne. Ici, vu que le nombre
d’observations est grand (114), même si la loi des résidus studentisés par VC est une loi de
Student, elle peut être approchée par une loi gaussienne. On valide donc ici la loi de Student
avec un grand nombre de degrés de liberté.

109
Chapitre 6. Annales corrigées

Graphe 5 : résidus studentisés par VC en fonction des ln xi,4 et une fonction de lissage. Si la
fonction de lissage a une tendance linéaire, cela peut indiquer l’oubli d’une variable explica-
tive, ou au moins la pertinence de l’ajout de cette variable dans le modèle. Ici, effectivement,
il peut être intéressant de rajouter la variable ln x4 .
Graphe 6 : tracé des hi,i , éléments diagonaux de la matrice chapeau H = X(X0 X)−1 X0 et de la
droite horizontale au niveau du seuil 4/114 = 0.035. On y repère les pays à effet levier, ici 17,
23, 34, 69, 90, et dans une moindre mesure 37, 89, 114.
Graphe 7 : tracé des distances de Cook et du seuil égal au quantile de la loi de Fisher de
niveau 0.1 à 2 et 112 degrés de liberté égal à 0.105. On peut y détecter les points influents.
Ici, aucun point influent, donc aucune donnée n’est à étudier en particulier.
b) Pour les valeurs aberrantes, on peut voir sur le graphe 1 l’éloignement en la variable à
expliquer.
Pour les données à effet levier, on peut voir l’éloignement en la variable explicative.
En conclusion, le modèle n’est pas à remettre en cause, sauf à ajouter peut-être la variable
ln x4 , et à examiner une éventuelle hétéroscédasticité.

Partie II : Régression linéaire multiple

1. La sortie complétée :
Coefficients :
Estimate Std. Error t value Pr(>|t|)
(Intercept) -179.3450 20.1054 -8.920 1.08e-14 ***
log(X3) 53.8656 5.3455 10.077 < 2e-16 ***
log(X2) 1.3953 0.7654 1.823 0.072 .

Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 5.315 on 111 degrees of freedom
Multiple R-Squared: 0.7409, Adjusted R-squared: 0.7362
F-statistic: 158.7 on 2 and 111 DF, p-value: < 2.2e-16

2. Le modèle est globalement significatif au niveau 5% (cf dernière ligne de la sortie : p-value:
< 2.2e-16).
3. Variables significatives au niveau 5% : la constante et ln x3 . Variables significatives au
niveau 10% : la constante, ln x3 et ln x2 .
4. La variable ln x2 n’est pas significative au niveau 5% alors qu’elle l’était dans le modèle
(Mln 2 ). Cela s’explique par une forte corrélation entre les variables ln x2 et ln x3 . Par ailleurs,
le modèle (Mln 2 ) n’était pas très pertinent (R2 environ égal à 0.5), mais l’ajout de la variable
ln x2 au modèle (Mln 3 ) permet néanmoins de passer d’un R2a de 0.7308 à 0.7362. Il peut donc
être intéressant de la garder. Regarder les autres critères de sélection de variables est conseillé
ici.
5. Une région de confiance simultanée pour (β1 , β2 )0 de niveau de confiance 95% est donnée
par :
!0
β1 β̂1 − β1 β̂1 − β1
( ! ! ! )
1 2.361 12.573
, ≤ 3.078 .
β2 2σb2 β̂2 − β2 12.573 115.159 β̂2 − β2

110
 6.2. Examens terminaux

Pour confirmer la réponse à la question 2, il s’agit de regarder si le vecteur (0, 0)0 appartient
à cette région de confiance, autrement dit de regarder si
!0
β̂1 β̂1
! !
1 2.361 12.573
≤ 3.078.
2σb2 β̂2 12.573 115.159 β̂2

On doit logiquement trouver, en le calculant, pour le premier terme, la valeur de la statistique

du test de significativité globale du modèle c’est-à-dire ici 158.7 qui est très largement
supérieur à 3.078. On rejette donc l’hypothèse que (β1 , β2 )0 = (0, 0)0 pour un niveau 5%.
6. Intervalles de confiance calculés à partir du quantile de niveau 0.975 de la loi de Student
à 111 degrés de liberté et des valeurs données dans la sortie R uniquement (sans autre
calcul ! ! !) : h i
— pour β0 , Î0 = β̂0 − 1.982 × 20.1054; β̂0 + 1.982 × 20.1054 , puis Î0obs = [−219.194; −139.496],
h i
— pour β1 , Î1 = β̂1 − 1.982 × 5.3455; β̂1 + 1.982 × 5.3455 , puis Î1obs = [43.27; 64.46],
h i
— pour β2 , Î2 = β̂2 − 1.982 × 0.7654; β̂1 + 1.982 × 0.7654 , puis Î2obs = [−0.12; 2.91].

Partie III : Régression linéaire multiple et sélection de variables

1. a) Considérons un modèle (M) et le modèle (M− ) contenant toutes les variables explicatives
de (M) sauf une variable, notée x. On a vu en cours que le R2a du modèle (M) est strictement
supérieur à celui du modèle (M− ) si et seulement si la statistique du test de Fisher de
significativité de la variable x est strictement supérieure à 1. De même, le Cp du modèle (M)
est strictement inférieur à celui du modèle (M− ) si et seulement si la statistique variante
du test de Fisher de significativité de la variable x est strictement supérieure à 2. Enfin, le
BIC du modèle (M) est strictement inférieur à celui du modèle (M− ) si et seulement si la
statistique du test de Fisher de significativité de la variable x est strictement supérieure à
(114 − p)(e2 ln 114/114 − 1), où p est le nombre de variables explicatives du modèle (M).
b) La sortie SAS donne les valeurs des R2a , R2 , Cp et BIC pour les 10 meilleurs modèles du
point de vue du R2a . Les modèles sont rangés par ordre décroissant des valeurs du R2a , la
première colonne donne les nombres de variables explicatives des modèles.
La sortie R donne pour p allant de 2 à 9, les valeurs du R2a , du Cp ou du BIC du meilleur modèle
parmi les modèles ayant un nombre p de variables explicatives. Chaque ligne correspond à
un nombre p et au meilleur modèle à p variables explicatives. Les lignes sont rangées par
ordre décroissant en fonction des valeurs du critère considéré, les intensités des couleurs
décroissent également en fonction des valeurs de ce critère. Un bloc de couleur au niveau
d’une certaine variable indique que cette variable est dans le modèle.
c) Les critères du Cp et du BIC, qui sont plus fiables que celui du R2a (cf question a), indiquent
que le modèle contenant la constante, x1 , ln x3 , x4 , ln x4 et x5 est préférable aux autres modèles.
2. a) Le critère utilisé par les différentes procédures algorithmiques de SAS est celui des tests
de significativité des variables explicatives.
b) Dans la procédure backward, le critère d’arrêt est le suivant : on s’arrête lorsque toutes
les variables explicatives du modèle sont significatives au niveau 10%. Dans la procédure
forward, on s’arrête lorsqu’aucune variable significative au niveau 50% ne peut être ajoutée.
c) A chaque étape, on retire la variable dont la p-value pour le test de significativité est la
plus élevée et supérieure à 10%.

111
 Chapitre 6. Annales corrigées

d) A l’aide de la procédure backward, on retient le modèle contenant la constante, x1 , ln x3 ,

x4 , ln x4 et x5 , qui est le même modèle que celui retenu par une procédure exhaustive à l’aide
du Cp ou du BIC (cf question 1). A l’aide de la procédure forward, on retient le modèle
contenant la constante, x1 , ln x2 , x3 , ln x3 , x4 , ln x4 et x5 , qui est le modèle retenu par une
procédure exhaustive à l’aide du R2a (moins fiable que les autres critères). On retiendra donc
de préférence le modèle contenant la constante, x1 , ln x3 , x4 , ln x4 et x5 .
3. On note x115 = (1, 12.48, ln 98, 34092.259, ln 34092.259, 7.77) la nouvelle variable explicative
pour le modèle retenu à la question précédente. On souhaite prédire une nouvelle observa-
tion d’une variable Y115 = β0 x115,0 + . . . + β5 x115,5 + ε115 = x115 β + ε115 , avec ε115 ∼ N(0, σ2 )
et ε115 indépendante des εi , i = 1 . . . 114, i.e. Y115 indépendante des Yi , i = 1 . . . 114, utilisées
pour construire β̂.
p
On introduit Ŷ115 = x115 β̂ = 5j=0 x115, j β̂ j .
P
Un intervalle de prédiction pour Y115 de niveau de confiance (1 − α) est donné par
" q q #
p p p
I115 = Ŷ115 − t108 (1 − α/2) σb2 (1 + x115 (X0 X)−1 x0115 ); Ŷ115 + t108 (1 − α/2) σb2 (1 + x115 (X0 X)−1 x0115 ) ,
b

où X est la matrice du plan d’expérience du modèle retenu à la question précédente.

112
 6.2. Examens terminaux

6.2.5 Sujet 2 bis (durée : 2h) - Entraînement

Etude de l’espérance de vie (suite)

L’Annexe 3.8, l’Annexe 3.11 (recto-verso), et l’Annexe 3.12 seront à rendre avec la copie.
L’espérance de vie est un indicateur influençant de nombreuses décisions politiques notam-
ment sur les plans sanitaire et économique. Pouvoir comprendre et éventuellement prédire
cette espérance de vie est donc un enjeu d’importance.
Nous cherchons ici à compléter l’étude, menée dans le sujet d’examen, sur l’espérance de vie
de 114 pays au travers de données sur les consommations moyennes d’alcool et de tabac, le
QI moyen, ainsi que le PIB par habitant et l’indice de démocratisation de ces pays.
On rappelle que l’on a introduit les variables suivantes : pour le ième pays étudié (i ∈
{1, . . . , 114}),
— Yi son espérance de vie,
— xi,1 la consommation annuelle moyenne d’alcool de ses adultes de plus de 15 ans (en
L d’alcool pur),
— xi,2 le nombre annuel moyen de cigarettes consommées par ses habitants,
— xi,3 le QI moyen de ses habitants,
— xi,4 son PIB par habitant (en dollar international),
— xi,5 son indice de démocratisation (note sur 10).

On considère le modèle de régression linéaire multiple suivant :

(Mm ) Yi = β0 + β1 xi,1 + β2 xi,3 + β3 ln(xi,4 ) + εi pour i ∈ {1, . . . , 114},

où les εi sont des termes d’erreur aléatoires supposés vérifier les conditions suivantes :
— E[εi ] = 0 pour tout i,
— cov(εi , ε j ) = 0 pour tout i , j,
— var(εi ) = σ2 pour tout i,
— ε = (ε1 , . . . , ε114 )0 suit une loi gaussienne.
Ce modèle s’écrit sous la forme matricielle classique : Y = Xβ + ε.

Partie I : Régression linéaire multiple

1. Estimation de β et σ2 .
a) Quelle hypothèse sur X doit-on faire pour pouvoir calculer l’estimateur des moindres
carrés ordinaires β̂ de β ? Expliquer.
b) Sous cette hypothèse, donner l’expression de β̂.
c) L’estimateur β̂ est-il un estimateur :
— sans biais ?
— de variance minimale parmi les estimateurs linéaires sans biais de β ?
— d’erreur quadratique moyenne minimale ?

d) Donner l’estimateur usuel σb2 de la variance σ2 . Pourquoi choisit-on en général d’utiliser

cet estimateur plutôt que l’estimateur du maximum de vraisemblance ?

e) Préciser les lois de β̂ et σb2 .

113
Chapitre 6. Annales corrigées

2. Pour le modèle considéré, on a mis en œuvre sous le logiciel SAS une procédure de
régression linéaire multiple. On a obtenu la sortie donnée en Annexe 3.8 (à rendre).
Compléter la sortie obtenue sur l’Annexe 3.8 (à rendre), en précisant la commande SAS
utilisée pour obtenir cette sortie et les justifications nécessaires, et la rendre avec la copie (ne
pas oublier d’y inscrire son nom !).

Partie II : Signe des cœfficients de régression et modèle sans constante

1. Signe des cœfficients.

a) Tester l’hypothèse (H0 ) β1 ≥ 0 contre (H1 ) β1 < 0 au niveau 5% dans le modèle (Mm ), dont
la mise en œuvre sous SAS a produit la sortie complétée précédemment en Annexe 3.8.
b) Tester l’hypothèse (H00 ) β01 ≤ 0 contre (H10 ) β01 > 0 au niveau 5% dans le modèle de régression
linéaire simple
(Ms ) Yi = β00 + β01 xi,1 + ε0i pour i ∈ {1, . . . , 114},
dont la mise en œuvre sous SAS a produit la sortie donnée en Annexe 3.9.
c) Peut-on déduire des tests précédents une interprétation de l’influence de la consommation
annuelle moyenne d’alcool par adulte sur l’espérance de vie des habitants d’un pays ? Si non,
pourquoi ? Si oui, laquelle ? Expliquer très précisément.
2. Modèle sans constante.
La constante n’étant pas significative au niveau 5% dans le modèle de régression linéaire
multiple (Mm ), on a mis en œuvre une procédure de régression linéaire pour ce même
modèle, mais sans la constante, et on a obtenu la sortie donnée en Annexe 3.10.
Que peut-on dire de cette sortie ? Donner la définition et une interprétation géométrique du
cœfficient de détermination R2 dans le modèle (Mm ), puis dans ce nouveau modèle sans
constante. Peut-on faire un choix entre (Mm ) et le modèle sans constante sur la base du R2 ?
Du R2 ajusté ? Expliquer.

Partie III : Détection des écarts au modèle

On a mis en œuvre une procédure de regréssion linéaire multiple pour le modèle (Mm ) à
l’aide du logiciel R, afin de pouvoir tracer des graphes complémentaires de son choix. Ces
graphes sont reportés en Annexe 3.11 (à rendre).
1. Tracer sur les quatre premiers graphes de l’Annexe 3.11 (à rendre) les droites horizon-
tales représentant les seuils permettant de détecter les éventuelles valeurs aberrantes, les
éventuelles données à effet levier et les éventuelles données influentes.
2. Compléter le questionnaire de l’Annexe 3.11 (à rendre) et rendre cette annexe avec la copie
(ne pas oublier d’y inscrire son nom !).

Partie IV : Sélection de variables

Compléter le questionnaire de l’Annexe 3.12 (à rendre) et rendre cette annexe avec la copie
(ne pas oublier d’y inscrire son nom !).

114
 6.2. Examens terminaux

Extraits de tables statistiques

Table de la loi gaussienne : on donne pour différentes valeurs de α ∈ [0, 1], qα tel que
P(N ≤ qα ) = α lorsque N ∼ N(0, 1).

α 0.9 0.95 0.975

qα 1.282 1.645 1.96

Table de la loi de Student : on donne pour différentes valeurs de n et de α ∈ [0, 1], tn,α tel que
P(T ≤ tn,α ) = α lorsque T ∼ T (n) (on rappelle que la loi de Student est symétrique).

α 0.9 0.95 0.975

t105,α 1.290 1.659 1.983
t106,α 1.290 1.659 1.983
t107,α 1.290 1.659 1.982
t108,α 1.289 1.659 1.982
t109,α 1.289 1.659 1.982
t110,α 1.289 1.659 1.982
t111,α 1.289 1.659 1.982
t112,α 1.289 1.659 1.981
t113,α 1.289 1.658 1.981
t114,α 1.289 1.658 1.981

Table de la loi de Student : on donne pour différentes valeurs de q et pour différentes valeurs
de n la valeur de pn,q = P(T ≤ q) lorsque T ∼ T (n).

q 2.9 2.91 2.92 2.93 2.94 2.95 2.96 2.97 2.98 2.99
p110,q 0.99775 0.99781 0.99788 0.99794 0.99800 0.99806 0.99812 0.99817 0.99823 0.99828
p111,q 0.99775 0.99782 0.99788 0.99794 0.99800 0.99806 0.99812 0.99817 0.99823 0.99828
p112,q 0.99775 0.99782 0.99788 0.99795 0.99801 0.99807 0.99812 0.99818 0.99823 0.99828

Table de la loi de Fisher : on donne pour différentes valeurs de (n1 , n2 ) et de α ∈ [0, 1], fn1 ,n2 ,α
tel que P(F ≤ fn1 ,n2 ,α ) = α lorsque F ∼ F (n1 , n2 ).

α 0.025 0.05 0.1 0.5 0.95 0.975

f2,110,α 0.025 0.051 0.105 0.698 3.079 3.815
f2,111,α 0.025 0.051 0.105 0.697 3.078 3.814
f2,112,α 0.025 0.051 0.105 0.697 3.077 3.813
f3,110,α 0.072 0.117 0.194 0.794 2.687 3.237
f3,111,α 0.072 0.117 0.194 0.794 2.686 3.236
f3,112,α 0.072 0.117 0.194 0.793 2.686 3.235
f4,110,α 0.120 0.177 0.265 0.844 2.454 2.904
f4,111,α 0.120 0.177 0.265 0.844 2.453 2.903
f4,112,α 0.120 0.177 0.265 0.844 2.453 2.902

115
Chapitre 6. Annales corrigées

Table de la loi du Khi Deux : on donne pour différentes valeurs de n et de α ∈ [0, 1], kn,α tel
que
P(K ≤ kn,α ) = α lorsque K ∼ χ2 (n).

α 0.025 0.05 0.95 0.975

k111,α 83.735 87.681 136.591 142.049
k112,α 84.604 88.570 137.701 143.180
k113,α 85.473 89.461 138.811 144.311
k114,α 86.342 90.351 139.921 145.441

116
 6.2. Examens terminaux

6.2.6 Sujet 3 (durée : 2h)

Exercice : Interprétations géométriques

On considère un modèle de régression linéaire avec constante : Y = Xβ + ε, où :

— Y estun vecteur 3
 aléatoire à valeurs dans R ,
 1 x1 
— X =  1 x2  ,
 
1 x3
 
— β ∈ R2 ,
— ε est un vecteur aléatoire vérifiant les conditions standards d’un modèle de régression
linéaire.
On note 1 = (1, 1, 1)0 , x = (x1 , x2 , x3 )0 , et <, > le produit scalaire de R3 .
1. Représenter graphiquement : le vecteur 1, le vecteur x, l’espace vectoriel E(X) engendré
par 1 et x, Y, Ŷ, Ȳ1, ε̂. Représenter tous les angles droits visibles sur le graphe, ainsi que
l’angle θ permettant de définir le critère du R2 . Quelle est l’interprétation géométrique de
l’équation d’analyse de la variance ?
2. Donner une expression simplifiée de :
— hY − Ŷ, Ŷi,
— hY, 1i,
— kY − n−1 hY, 1i1k2 − kΠX (Y − Ȳ1)k2 ,
— kYk2 − kε̂k2 ,
— ΠX (Y − Ȳ1) − (Y − Ȳ1),
— ΠX (Y − Xβ) − (Y − Xβ).

Problème : Modèles de Cobb-Douglas en Économie

On dispose de données correspondant aux valeurs du capital, du travail et de la valeur

ajoutée sur les 15 dernières années pour divers secteurs économiques d’un pays européen.

Partie I : Régression linéaire multiple

Pour chaque secteur économique, on considère un modèle de type Cobb-Douglas :

β β
Vi = AKi 1 Li 2 ηi , (6.2)

où Ki , Li , Vi désignent respectivement les valeurs du capital, du travail et de la valeur ajoutée

pour la ième année d’étude (i ∈ {1, . . . , 15}), les ηi sont des termes d’erreur aléatoires tels que
— E[ln ηi ] = 0 pour tout i,
— cov(ln ηi , ln η j ) = 0 pour tout i , j,
— var(ln ηi ) = σ2 pour tout i.
La valeur A est souvent interprétée comme le niveau de technologie dans le secteur écono-
mique considéré.

117
Chapitre 6. Annales corrigées

Ce modèle peut s’écrire sous la forme d’un modèle de régression linéaire multiple :

Y = Xβ + ε.

1. Définitions, hypothèses.
a) Préciser Y, X, β, ε et les hypothèses faites sur ε.
b) Rappeler la définition de l’estimateur des moindres carrés ordinaires β̂ de β. Sous une
hypothèse nécessaire (à préciser) sur X, donner l’expression de β̂.
c) Déterminer un estimateur σb2 sans biais de la variance résiduelle σ2 .
2. Pour le secteur économique de l’automobile, gravement touché par la crise économique
actuelle, on a  
 1496.5823 −150.9911 44.04131 
(X0 X)−1 =  −150.9911 45.58669 −34.78859  ,
 
44.04131 −34.78859 31.63375
 

et si y désigne la valeur observée de Y, X0 y = (139.269, 1949.137, 1949.658)0 , et SCRobs =

0.067416.
Donner les valeurs de β̂ et σb2 calculées sur les observations.
3. On considère toujours le secteur de l’automobile, mais on suppose ici que ε ∼ N(0, σ2 I).
a) Quels sont les estimateurs du maximum de vraisemblance β̂MV et σb2 MV de β et de σ2 ? Ces
estimateurs sont-ils optimaux ? Préciser.
b) On rappelle que l’on peut montrer à partir du théorème de Cochran les résultats suivants :
— Pour toute matrice réelle M de taille q × 3 de rang q (q ≤ 3), alors
h i
Mβ̂ ∼ N(Mβ, σ2 M(X0 X)−1 M0 ),

et
1 h i0 h
−1 0 −1
i h i
M( β̂ − β) M(X 0
X) M M(β̂ − β) ∼ χ2 (q).
σ2
— 12σb2 /σ2 ∼ χ2 (12).
— Les estimateurs β̂ et σb2 sont indépendants.
Construire de façon détaillée, à partir de ces résultats, un test de significativité globale du
modèle au niveau 5%. Quelle est la conclusion du test ?
c) Construire une région de confiance simultanée pour (β1 , β2 ) de niveau de confiance 95%
et retrouver le résultat précédent.
d) La fonction de production donnée par (6.2) est plus facile à interpréter si elle est à
rendements d’échelle constants, c’est-à-dire si β1 + β2 = 1. Construire un test de l’hypothèse
(H0 ) β1 + β2 = 1 contre l’alternative (H1 ) β1 + β2 , 1 au niveau 5%. Quelle est la conclusion
de ce test ?
e) Donner un encadrement de la p-valeur du test de la question précédente. Retrouver la
conclusion précédente.

Partie II : Sélection de variables

Une généralisation du modèle de Cobb-Douglas défini par (6.2) est le modèle translog :

ln Vi = β0 + β1 ln Ki + β2 ln Li + β3 (ln Ki )2 + β4 (ln Li )2 + β5 (ln Ki )(ln Li ) + γi .

118
 6.2. Examens terminaux

On suppose que γ = (γ1 , . . . , γ15 )0 ∼ N(0, σ2 I).

Toujours pour le secteur de l’automobile, la somme des carrés résiduelle pour ce nouveau
modèle calculée sur les observations est égale à 0.057158. On rappelle que la somme des
carrés résiduelle du modèle de Cobb-Douglas précédent calculée sur les observations est
égale à 0.067416.
1. Sous quelles hypothèses sur les β j retrouve-t-on un modèle de Cobb-Douglas ?
2. Tester l’hypothèse que le modèle de Cobb-Douglas est adéquat contre l’alternative que le
modèle translog est nécessaire au niveau 5%.
3. On souhaite faire une procédure de sélection de variables de façon à simplifier au mieux
le modèle.
a) Le R2 est-il un bon critère de sélection de variables ? Expliquer.
b) On a réalisé toutes les régressions possibles et obtenu pour différents critères de sélection
de variables les résultats présentés en Annexe 3.13. Quel sous-modèle choisirait-on pour
chaque critère, par les méthodes exhaustive, ascendante (ou forward) et descendante (ou
backward) ?
c) Tester, en utilisant les valeurs du R2 ajusté par exemple, la validité du sous-modèle sélec-
tionné par la méthode exhaustive par rapport au modèle translog complet au niveau 5%.
d) Le sous-modèle sélectionné peut-il contenir des variables explicatives non significatives
au niveau 5% ? Expliquer.

Partie III : Détection d’éventuels écarts au modèle, données aberrantes, leviers, influentes

On fournit en Annexe 3.14 plusieurs résultats numériques ou graphiques obtenus après mise
en œuvre de la régression pour le modèle de Cobb-Douglas défini par (6.2), sous hypothèse
gaussienne.
1. Quels résultats peuvent éventuellement permettre de détecter des écarts au modèle ?
Que peut-on conclure ici ?
2. Quels résultats peuvent éventuellement permettre de détecter des données aberrantes ?
En détecte-t-on ici ?
3. Quels résultats peuvent éventuellement permettre de détecter des données ayant un effet
levier ?
En détecte-t-on ici ?
4. Enfin, quels résultats peuvent éventuellement permettre de détecter des données in-
fluentes ?
En détecte-t-on ici ?

119
Chapitre 6. Annales corrigées

Partie IV

On considère maintenant trois secteurs économiques différents, considérés comme les mo-
dalités d’une variable qualitative ou facteur. On souhaite savoir si ce facteur a un effet sur le
logarithme de la valeur ajoutée.
On considère les trois secteurs suivants : agriculture, industries agricoles et alimentaires,
industries des biens de consommation. On dispose pour ces trois secteurs (notés de 1 à 3)
de n = 15 observations chacun. On note Yi, j = ln Vi, j , où Vi,j est la valeur ajoutée de la jème
année pour le secteur i (i = 1, 2, 3; j = 1, . . . , 15), et yi,j (i = 1, 2, 3; j = 1, . . . , 15) les observations
correspondantes.
1. On suppose que les Yi, j vérifient :

Yi, j = βi + εi, j , i = 1, 2, 3, j = 1, . . . , 15,

avec :
— E[εi, j ] = 0 pour tout (i, j),
— cov(εi, j , εi0 , j0 ) = 0 pour tout (i, j) , (i0 , j0 ),
— var(εi,j ) = σ2 pour tout (i, j).
En notant Y = (Y1,1 , . . . , Y1,15 , Y2,1 , . . . , Y2,15 , Y3,1 , . . . , Y3,15 )0 , ε = (ε1,1 , . . . , ε1,15 , ε2,1 , . . . , ε2,15 , ε3,1 , . . . , ε3,15 )0 ,
et β = (β1 , β2 , β3 )0 , le modèle précédent peut s’écrire sous la forme classique d’un modèle de
régression linéaire :
Y = Xβ + ε.
1. Donner la forme de la matrice X, et vérifier que les hypothèses standards, ainsi que
l’hypothèse de rang sur la matrice du plan d’expérience sont satisfaites.
2. Donner les expressions de X0 X et de (X0 X)−1 .
3. En déduire des expressions simples de l’estimateur des moindres carrés ordinaires β̂ de β,
du vecteur des valeurs ajustées Ŷ, et de l’estimateur sans biais usuel σb2 de la variance σ2 .
4. On a relevé les valeurs suivantes : 15
P15 P15
j=1 y1j = 156.7362, j=1 y2j = 151.7167, j=1 y3j =
P
P15 2 P15 2 P15 2
155.6461 et j=1 y1j = 1637.84, j=1 y2j = 1534.59, j=1 y3j = 1615.07. Calculer les valeurs de
β̂ et σb2 sur les observations.
5. Le vecteur 1 = (1, . . . , 1) de R45 appartient-il à l’espace engendré par les vecteurs colonnes
de X ? Écrire l’équation d’analyse de la variance dans ce cas.
6. Sous hypothèse gaussienne, construire un test permettant de tester l’absence d’effet du
facteur secteur économique, i.e. un test de (H0 ) : β1 = β2 = β3 au niveau 5%. Quelle est la
conclusion de ce test ?

120
 6.2. Examens terminaux

Extraits de tables statistiques

Table de la loi gaussienne : on donne pour différentes valeurs de α ∈ [0, 1], qα tel que
P(N ≤ qα ) = α lorsque N ∼ N(0, 1).

α 0.9 0.95 0.975

qα 1.282 1.645 1.96

Table de la loi de Student : on donne pour différentes valeurs de n et de α ∈ [0, 1], tn,α tel que
P(T ≤ tn,α ) = α lorsque T ∼ T (n) (on rappelle que la loi de Student est symétrique).

α 0.9 0.95 0.975

t11,α 1.36 1.80 2.20
t12,α 1.36 1.78 2.18
t13,α 1.35 1.77 2.16
t14,α 1.35 1.76 2.14
t15,α 1.34 1.75 2.13

Table de la loi de Student : on donne pour différentes valeurs de q et pour différentes valeurs
de n la valeur de pn,q = P(T ≤ q) lorsque T ∼ T (n).

q 1 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8 1.9 2

p11,q 0.831 0.853 0.872 0.890 0.905 0.919 0.931 0.941 0.950 0.958 0.965
p12,q 0.831 0.854 0.873 0.891 0.907 0.920 0.932 0.943 0.951 0.959 0.966
p13,q 0.832 0.854 0.874 0.892 0.908 0.921 0.933 0.944 0.952 0.960 0.967

121
Chapitre 6. Annales corrigées

Table de la loi de Fisher : on donne pour différentes valeurs de (n1 , n2 ) et de α ∈ [0, 1], fn1 ,n2 ,α
tel que P(F ≤ fn1 ,n2 ,α ) = α lorsque F ∼ F (n1 , n2 ).

α 0.025 0.05 0.1 0.5 0.95 0.975

f1,11,α 0.001 0.004 0.017 0.486 4.844 6.724
f1,12,α 0.001 0.004 0.016 0.484 4.747 6.554
f1,13,α 0.001 0.004 0.016 0.481 4.667 6.414
f1,14,α 0.001 0.004 0.016 0.479 4.6 6.298
f2,11,α 0.025 0.052 0.106 0.739 3.982 5.256
f2,12,α 0.025 0.052 0.106 0.735 3.885 5.096
f2,13,α 0.025 0.051 0.106 0.731 3.806 4.965
f2,14,α 0.025 0.051 0.106 0.729 3.739 4.857
f3,9,α 0.069 0.113 0.191 0.852 3.863 5.078
f3,10,α 0.069 0.114 0.191 0.845 3.708 4.826
f3,11,α 0.07 0.114 0.191 0.840 3.587 4.63
f4,9,α 0.112 0.167 0.254 0.906 3.633 4.718
f4,10,α 0.113 0.168 0.255 0.899 3.478 4.468
f4,11,α 0.114 0.168 0.256 0.893 3.357 4.275
f1,42,α 0.001 0.004 0.016 0.463 4.073 5.404
f1,43,α 0.001 0.004 0.016 0.463 4.067 5.395
f1,44,α 0.001 0.004 0.016 0.463 4.062 5.386
f2,42,α 0.025 0.051 0.106 0.705 3.220 4.033
f2,43,α 0.025 0.051 0.106 0.704 3.214 4.024
f2,44,α 0.025 0.051 0.106 0.704 3.209 4.016

122
 6.2. Examens terminaux

6.2.7 Sujet 3 : Éléments de correction

Exercice : interprétations géométriques

1. Pour cette question, il s’agit du cours...

2. On a :
— hY − Ŷ, Ŷi = 0,
— hY, 1i = nȲ,
— kY − n−1 hY, 1i1k2 − kΠX (Y − Ȳ1)k2 = kε̂k2 ,
— kYk2 − kε̂k2 = kŶk2 ,
— ΠX (Y − Ȳ1) − (Y − Ȳ1) = −ε̂,
— ΠX (Y − Xβ) − (Y − Xβ) = −ε̂.

Modèles de Cobb-Douglas en Economie

Partie I

1. a) On a pour tout i, ln Vi = ln A + β1 ln Ki + β2 ln Li + ln ηi . On peut donc écrire Y = Xβ + ε

avec

 ln V1   1 ln K1 ln L1   ln η1 
     
β
 
0
..  , X =  ... .. .. ..

 

Y =   , β =  β1  , ε =   ,
     
.   . .   . 
β2
      
ln η15
 
ln V15 1 ln K15 ln L15


où β0 = ln A, ε est centré : E[ε] = 0, et sa matrice de variance-covariance est var(ε) = σ2 I.

b) L’estimateur des MCO de β est défini par β̂ = argminβ∈R3 kY − Xβk2 . Sous l’hypothèse que
X est de rang 3, β̂ = (X0 X)−1 X0 Y.
c) Un estimateur sans biais de la variance résiduelle est σb2 = SCR/(15 − 3).

2. D’après la question précédente, β̂obs = (−9.32697, 0.4718784, 0.8550131)0 et σb2 obs = SCR/12 =
0.005618.

3. a) Les estimateurs du maximum de vraisemblance de β et σ2 sont donnés par β̂MV = β̂ et

σb2 MV = SCR/15. On préfère σb2 à σb2 MV car ce premier est sans biais (ce qui n’est pas forcément
justifié puisqu’on n’évalue pas la variance de cet estimateur...). β̂MV peut être dit optimal
dans le sens où il est sans biais, de variance minimale parmi les estimateurs linéaires en Y
sans biais de β (mais pas optimal au sens de la minimisation du risque quadratique !). On ne
sait en revanche rien sur l’optimalité de σb2 MV (hormis sa consistance).
b) On souhaite tester (H0 ) : β1 = β2 = 0 contre (H1 ) : β1 , 0 ou β2 , 0.
En introduisant !
0 1 0
M= ,
0 0 1
on peut prendre comme statistique de test

1 h i0 h i−1 h i
F(Y) = Mβ̂ M(X0 X)−1 M0 Mβ̂ ,
2σb2

123
Chapitre 6. Annales corrigées

qui suit sous l’hypothèse (H0 ) la loi F (2, 12).

Ici F(y) = 26.27, et le 0.95 quantile de la loi F (2, 12) étant égal à 3.885, on rejette l’hypothèse
(H0 ) de non significativité globale du modèle.
c) Une région de confiance pour (β1 , β2 ) est donnée par
( )
1 h 0 0
i h
−1 0 −1
i h i
R = (β1 , β2 ), Mβ̂ − (β1 , β2 ) 0
M(X X) M Mβ̂ − (β1 , β2 ) ≤ 3.885 .
0

2σb2

 R. 
On vérifie que (0, 0) <
d) Ici on prend M = 0 1 1 et m = 1, donc la statistique du test de Fisher est

1
F(Y) = (Mβ̂ − 1)0 (M(X0 X)−1 M0 )−1 (Mβ̂ − 1)
σ2
b

qui suit sous (H0 ) la loi F (1, 12). Pour un niveau 5%, on rejette l’hypothèse (H0 ) lorsque
F(y) ≥ 4.747. On a F(y) = 2.4885. On ne rejette donc pas (H0 ) au niveau 5%.
e) La p-valeur du test est égale à p(y) = P(H0 ) (F(Y) ≥ 2.4885), or sous (H0 ), F(Y) ∼ F (1, 12), donc
√
F(Y) est de même loi que |T|, avec T ∼ T (12). Par conséquent, p(y) = 2(1 − P(T ≤ 2.4885)),
p
√
et comme 0.92 ≤ P(T ≤ 2.4885) ≤ 0.932, 0.136 ≤ p(y) ≤ 0.16. Puisque p(y) > 0.05, on ne
rejette pas (H0 ) au niveau 5%.

Partie II

1. On retrouve un modèle de Cobb-Douglas lorsque β3 = β4 = β5 = 0.

2. On teste (H0 ) : β3 = β4 = β5 = 0 contre (H1 ) : l’un des (β3 , β4 , β5 ) au moins est non nul au
niveau 5%. La statistique de test s’écrit

(SCR − SCR1 )/(6 − 3)

F(Y) = ,
SCR1 /(15 − 6)

où SCR1 est la somme des carrés résiduelle dans le modèle translog, SCR étant la somme
des carrés résiduelle dans le modèle de Cobb-Douglas. Sous (H0 ), on sait que F(Y) ∼
F (3, 9), donc on rejette l’hypothèse (H0 ) lorsque F(y) ≥ 3.863. On a ici F(y) = 3(0.067416 −
0.057158)/0.057158 = 0.5384. On ne rejette donc pas l’hypothèse (H0 ) au niveau 5%, c’est-à-
dire qu’on ne rejette pas l’hypothèse que le modèle de Cobb-Douglas est adéquat.
3. a) Le R2 est croissant en fonction du nombre de variables explicatives, donc choisir un
modèle qui a le plus grand R2 dans une collection de modèles revient à choisir systémati-
quement un modèle ayant le plus grand nombre de variables explicatives. Ce n’est donc pas
un bon critère de sélection de variables. En revanche, le R2 reste un bon critère pour choisir
entre deux modèles ayant le même nombre de variables.
b) Il existe quatre types de procédures de sélection de variables : procédures exhaustive,
backward, forward et stepwise. On peut utiliser pour chacune de ces procédures les critères
du R2 ajusté, d’AIC et de BIC, ainsi que le Cp de Mallows, mais les tests de validité de
sous-modèles ne sont pas utilisables avec une procédure de sélection exhaustive.
Pour la procédure exhaustive, on choisit M5 avec les 3 critères. Pour la procédure ascendante
ou forward, on choisit également M5. Enfin, pour la procédure descendante, on choisit M345
avec le R2 ajusté, M5 avec AIC et BIC.

124
 6.2. Examens terminaux

c) On teste (H0 ) : M5 est valide contre (H1 ) : il ne l’est pas au niveau 5%. La statistique de test
s’écrit
(SCRM5 − SCR1 )/4
F(Y) = ,
SCR1 /9

où SCR1 est la somme des carrés résiduelle dans le modèle translog, SCRM5 est la somme des
carrés résiduelle dans le modèle M5. Sous (H0 ), on sait que F(Y) ∼ F (4, 9), donc on rejette
l’hypothèse (H0 ) lorsque F(y) ≥ 3.633. On a ici pour le modèle M5,

SCRM5 /13
R2a,M5 = 1 − ,
SCT/14

et pour le modèle translog complet :

SCR1 /9
R2a = 1 − ,
SCT/14

d’où
(13(1 − R2a,M5 ) − 9(1 − R2a ))/4
F(Y) = ,
1 − R2a

et F(y) = 0.426. On accepte donc l’hypothèse (H0 ) au niveau 5%, c’est-à-dire qu’on accepte
l’hypothèse que le modèle M5 est valide.
d) Ce modèle peut avoir été sélectionné à l’aide des critères ci-dessus sans que toutes ses
variables explicatives soient significatives.

Partie III

1. Graphes des résidus et graphe quantiles - quantiles gaussiens. Une seule donnée aberrante
ici, ce qui ne vient pas contredire le modèle. Le graphe quantiles - quantiles gaussions semble
assez satisfaisant, mais on a le problème du peu de données : dans ce cas, la loi de Student
des résidus n’est pas proche d’une loi gaussienne. En revanche, on observe une structuration
du graphe des résidus en fonction des valeurs ajustées, mais on a aussi peu d’observations,
donc il est difficile de voir précisément...
2. Graphe des résidus : une donnée aberrante, la 12ème.
3. La donnée des Hat Values peut permettre de détecter des données à effet levier : plusieurs
dépassent 0.2 (seuil de Huber). Les données 3,4,7,11,15.
4. Le quantile de la loi de Fisher à 3 et 12 degrés de liberté de niveau 0.1 étant égal à 0.192,
on peut considérer la donnée 12 comme influente (donnée aberrante).

Partie IV

1. Il s’agit ici d’un modèle d’ANOVA à un facteur avec une contrainte de type analyse par
cellule (constante nulle).

125
Chapitre 6. Annales corrigées

La matrice X est de la forme :

1 0 0 
 
.. .. .. 



 . . . 
1 0 0 
 


0 1 0 
 
.. .. ..  .



 . . . 
0 1 0 
 

0 0 1 
 

.. .. .. 

. . . 



0 0 1


Les hypothèses standards sont vérifiées par ε et la matrice X est bien de rang 3.
2. X0 X = 15I3 et (X0 X)−1 = 15
1
I3 .
1 P15
3. β̂ = (X X) X Y = (Ȳ1• , Ȳ2• , Ȳ3• ), avec Ȳi• = 15
0 −1 0
j=1 Yi, j pour tout i. Le vecteur des valeurs
ajustées est défini par Ŷ = (Ȳ1• , . . . , Ȳ1• , . . . , Ȳ3• , . . . , Ȳ3• )0 , celui des résidus par : ε̂i,j = Yi,j −Ȳi• ,
et σb2 = 1 3
P P15 2
ε̂ = 1 3
P P15
42 i=1 j=1 i, j 42 i=1 (Y − Ȳ )2 .
j=1 i, j i•

4. β̂obs = (10.44933, 10.11467, 10.37667)0 , σb2 obs = 0.1732/42 = 0.004124.

5. Le vecteur 1 appartient bien à l’espace engendré par les colonnes de X, donc l’équation
d’analyse de la variance s’écrit :

kY − Ȳ1k2 = kŶ − Ȳ1k2 + kY − Ŷk2 .

SCTobs = ky − ȳ1k2 = 1.102627. Statistique de test : F(Y) = SCR/42 SCE/2

 
= 21 SCTSCE − 1 , avec
F(y) = 112.685. Sous (H0 ), F(Y) ∼ F (2, 42), et puisque f2,42,0.95 = 3.22, on rejette l’hypothèse
(H0 ) pour un niveau 5%.

126
Bibliographie

[1] Azaïs, J.-M., Bardet, J.-M. (2006). Le modèle linéaire par l’exemple. Régression analyse de la
variance et plans d’expérience, Dunod, Paris.
[2] Cornillon, P.-A., Matzner-Løber, E. Régression avec R, Springer.
[3] Dodge, Y., Rousson, V. Analyse de régression appliquée, Dunod.
[4] Kleinbaum, D. et al. Applied regression analysis and other multivariate methods.
[5] Tomassone, R. La régression, Masson.

127