Approximation au sens des moindres carrés

2.1 Introduction

On cherche à calculer les valeurs d’une fonction f (x) pour toutes les valeurs de x mais on
ne connaît pas explicitement f . Elle n’est connue qu’en certains points xi expérimentaux. On
remplace f par une fonction simple dont l’évaluation est aisée (ex : utilisation de polynômes,
fonctions rationnelles, ...). A cet effet, on a vu dans le précédent chapitre la méthode d’interpo-
lation, plus particulièrement l’interpolation polynômiale (approcher f par un polynôme Pk (x)
de degré k). Il existe aussi une autre approche différente de celle-ci, qui plutôt que d’imposer
qk
que Pk (x) = j=0 –j xj et f coïncident en certains nœuds, elle demande qu’ils soient proches
d’une manière plus globale. Plus explicitement, si on suppose qu’on possède des valeurs mesu-
rées yi pour f (xi ) en n points xi , 0 Æ i Æ n avec (n > k), et on veut déterminer les valeurs
–j , 0 Æ j Æ k.

2.2 Approximation discrète au s.m.c

Soient (n + 1) points distincts (xi , yi ), i = 0, n et m Ø 1 un entier fixé. La méthode des

moindres carrés consiste à chercher un polynome Pmú de degré Æ m qui vérifie :

n
ÿ n
ÿ
(yi ≠ Pmú (xi ))2 Æ (yi ≠ Pm (xi ))2 (2.1)
i=0 i=0

Ceci pour tout polynôme Pm de degré Æ m.

L’inégalité (2.1) signifie qu’on cherche un polynôme Pmú de degré Æ m qui réalise la plus petite
distance aux points (xi , yi )

Cas particulier : m=1

Dans ce cas on cherche un polynôme P1ú de degré Æ 1 qui vérifie :

20
 n
ÿ n
ÿ
(yi ≠ P1ú (xi ))2 Æ (yi ≠ P1 (xi ))2
i=0 i=0

Pour tout polynôme de degré 1 nous avons : P1ú (x) = –0 + –1 x et P1 (x) = a0 + a1 x.

On cherche donc –0 et –1 tels que :

n
ÿ n
ÿ
2
(yi ≠ (–0 + –1 x)) Æ (yi ≠ (a0 + a1 x))2 (2.2)
i=0 i=0
qn
Il suffit donc de trouver le minimum de la fonction f (a0 , a1 ) = i=0 (f (xi ) ≠ (a0 + a1 xi ))2 .

n
ÿ
(2.2) ≈∆ min
a ,a
(f (xi ) ≠ (a0 + a1 xi ))2
0 1
i=0
¸ ˚˙ ˝
f (a0 ,a1 )
n 1
ÿ 2
≈∆ min f (xi )2 ≠ 2f (xi )(a0 + a1 xi ) + (a0 + a1 xi )2
a0 ,a1
i=0
A n n n
B
ÿ 2
ÿ ÿ
2
≈∆ min f (xi ) ≠ 2 f (xi )(a0 + a1 xi ) + (a0 + a1 xi )
a0 ,a1
i=0 i=0 i=0

Une méthode pour trouver les coefficients – estYde trouver le minimum de la fonction
_
_ ˆf = 0
_
_
]
f (a0 , a1 ) ( f : R2 æ R ) est atteint quand _ ˆa0
_ ˆf
_
_
[ =0
Y ˆa1
_ ÿn ÿ4
_ ˆf
_
_
_
] ˆa = ≠2 f (x i ) + 2 (–0 + –1 xi ) = 0
0
Or i=0
n
i=0
n
_
_ ˆf ÿ ÿ
_
_
_
[ ˆa = ≠2 x i f (x i ) + 2 xi (–0 + –1 xi ) = 0
1 i=0 i=0
Y Y n
_ÿn n
ÿ ÿ n
ÿ n
ÿ
_ _
] (–0 + –1 xi ) = f (xi )
_
_ _
_( 1)– + x – = f (xi )
_ _
] 0 i 1
i=0 i=0 ≈∆ i=0 i=0 i=0
_ÿn n
ÿ _ ÿn n
ÿ n
ÿ
_ _
_
_
_
[ xi (–0 + –1 xi ) = xi f (xi ) [(
_
_ xi )–0 + xi 2 –1 = xi f (xi )
i=0 i=0 i=0 i=0 i=0

D’où l’on a l’écriture matricielle :

Q n n R Q n R
ÿ ÿ Q R ÿ
c 1 xi d – ú c f (xi ) d
c dc 0 d c d
(2.2) ≈∆ c i=0
c ÿn
i=0
ÿn
dc
da
d
b =c i=0
c ÿ
n
d
d
2 b
a
xi xi –1ú a
f (xi ) xi b
i=0 i=0 i=0

Cas général : m quelconque

Dans le cas général on est amené à résoudre le systéme linéaire (m + 1) ◊ (m + 1) suivant :

21
 Y
_ ÿ n ÿn ÿn
_ qn
_–0 ( 1) + –1 xi + · · · + –m i = f (xi )
_
_ xm
_ i=0
_
_ i=0 i=0 i=0
_
_
_
_ ÿ n ÿn ÿn
_ 2 qn
_
_–
] 0 ( x i ) + –1 x i + · · · + –m xm+1
i = i=0 xi f (xi )
i=0 i=0 i=0 (2.3)
_
_
_..
_
_
_
_ .
_
_
_
_ n n n
_ ÿ ÿ ÿ qn
x2m
_
_
_
[ – 0 ( x m
i ) + –1 xi m+1 + · · · + –m i = i=0 i f (xi )
xm
i=0 i=0 i=0

D’où l’on a l’écriture matricielle :

Q n n n R Q n R
ÿ ÿ ÿ Q R ÿ
c 1 xi ··· xm
id c f (xi ) d
c
c i=0 i=0 i=0
dc
dc –0ú d c
c i=0
d
d
c ÿn ÿn n
ÿ d d c n
ÿ d
m+1 d c d
c
c xi x2i ··· xi dc –1ú d c
c f (xi ) xi d
d
c dc d c d
(2.3) ≈∆ c i=0 i=0 i=0 dc
..
d = c i=0 d
c .. dc d c .. d
c
c . dc
dc . d
d c
c . d
d
c dc d c d
c n
ÿ n
ÿ ÿn da ú
b c n
ÿ d
2m b
a
xm
i xm+1
i ··· xi –m a
f (xi ) xi m b

i=0 i=0 i=0 i=0

Remarque : le cas où m = n
Pour ce cas on remarque que la relation 2.1 est satisfaite lorsque Pmú = Pnú est un polynôme
d’interpolation aux points (xi , f (xi )).
Comme on a Pnú (xi ) = f (xi ) pour i = 0, · · · , n alors l’équation 2.1 devient

n
ÿ
0Æ [yi ≠ Pm (xi )]2 .
i=0

Théorème 2.2.1. Lorsque m = n le polynôme des moindres carré Pmú coïncide avec le polynôme
d’interpolation aux points (xi , f (xi )) pour i = 0, · · · , n.

2.2.1 Exemple

On considère la fonction f définie sur [≠2, 2], par le tableau de valeurs :

xi -2 -1 0 1 2
f (xi ) 2 1 0 1 2

q2
1. Déterminer la meilleure approximation P ú (x) = j=0 –jú xj , de degré deux, au s.m.c de
f.

Solution :

22
 1. Cela revient à minimiser la quantité :

5 Ë
ÿ 1 2È2
E= f (xi ) ≠ –0 + –1 xi + –2 x2i
i=0

par rapport aux coefficients –i . C’est à dire

ˆE ˆE ˆE
= = =0
ˆ–0 ˆ–1 ˆ–2

D’après ce qui précède la meilleure approximation de degré 2 de la fonction f au sens des

moindres carrés aux points x0 , x1 , x2 , x3 , x4 pour i = 0, 1, 2, 3, 4.
Alors, les coefficients –ú = (–0ú , –1ú , –2ú ) de P ú constituent l’unique solution du système A– = b
ce qui conduit à la résolution du système

Q RQ R Q R
q4 q4 q3 q4
i=0 1 i=0 f (xi )
2
c i=0 xi i=0 xi
dc –0úd c d
c dc d c d
c q q4 q3 dc d c q d
c
c
4
i=0 xi i=0 x2i 3 dc
i=0 xi d c
ú d
–1 d = c
c
4
i=0 f (xi )xi
d
d
c dc d c d
a q q4 q3 ba b a q b
4 4
i=0
2
xi i=0 x3i 4
i=0 xi –2ú i=0 f (xi )xi
2

ce qui se traduit numériquement :

Q RQ R Q R
c 5 0 10 d c –0úd c 6 d
c dc d c d
c dc d c d
c
c 0 10 0 dc
dc
ú d
–1 d = c
c 0 d
d
c dc d c d
a ba b a b
10 0 34 –2ú 18

Ce qui donne les valeurs de la solution.

Y
_ 12
_
_
_
_ –0ú = 35
_
]
_ –1ú = 0
_
_
_
_ 3
_
[ –3ú = 7

Et donc
3 12
P ú (x) = x2 +
7 35

23
2.3 Approximation continue au s.m.c (ou en moyenne qua-

dratique)

La méthode des moindres carrés dans le cas continue consiste à chercher un polynome Pmú
de degré Æ m sur l’intervalle [a, b]qui vérifie :

⁄ b ⁄ b
(yi ≠ Pmú (xi ))2 Æ (yi ≠ Pm (xi ))2 (2.4)
a a

En utilisant le même principe que dans le cas discret on peut affirmer que le meilleur approxi-
qk
mant au s.m.c de la fonction f œ E s’écrit P ú (x) = i=0 –iú xi où (–0ú , –1ú , . . . , –kú ) est l’unique
solution du système matriciel :
Q RQ R Q R
sb sb sb k sb
c a dx a xdx ··· ··· ax dx dc –0ú d c a f (x) dx d
c dc d c d
c s sb 2 s b k+1 dc d c s d
c b xdx x dx ··· ··· x dx dc ú d
–1 d c b xf (x) dx d
c a dc c a d
=
a a
c dc d c d
c .. .. .. dc .. d c .. d
c
c . . ··· ··· . dc
dc . dd
c
c . d
d
c dc d c d
a s s b k+1 s b 2k ba b a s b
b k
a x dx a x dx ··· ··· x dx
a –kú b k
a x f (x) dx

2.3.1 Exemple

Déterminer le polynôme P ú (x) de meilleure approximation au s.m.c s de f (x) = P3 (x) =

x3 ≠ 6x2 ≠ x + 30 pour x œ [≠1, 1].
Solution :
On pose P ú (x) = –0ú + –1ú x + –2ú x2 , il suffit de résoudre d’écrire le système comme suit :

Q RQ R Q R
s1 s1 s1 s1
≠1 f (x) dx
2
c ≠1 dx ≠1 xdx ≠1 x dx d c –0úd c d
c dc d c d
c s s1 s1 dc d c s d
c 1 xdx
c ≠1 ≠1 x2 dx ≠1 x3 dx dc
dc
ú d
–1 d = c 1 xf (x) dx
c ≠1
d
d
c dc d c d
a s s1 s1 ba b a s b
1 1
≠1
2
x dx ≠1 x3 dx ≠1 x4 dx –2ú ≠1
2
x f (x) dx

après calcul on obtient le système :

Y
_
_
_
_
_ 56 = 2–0ú + 23 –2ú
_
]
4 2 ú
_ ≠ 15 = –
3 1
_
_
_
_ 88 2 ú
_
5
= –
3 0
+ 25 –2ú

24
 ou encore

Q RQ R Q R
2
c 2 0 c 56 d
ú
3 d c –0 d
c dc d c d
c dc d c d
c
c 0 2
3
0 dc
dc –1ú d
d = c
c
4
≠ 15 d
d
c dc d c d
a ba b a b
2 2 88
3
0 5
–2ú 5

La solution est –0ú = 30, –1ú = ≠ 25 et –2ú = ≠6,

D’où
2
P ú (x) = ≠6x2 ≠ x + 30
5

25