12/18/2017
Regresi
Linear
Statistik
1
12/18/2017
REGRESI LEAST SQUARES
Ada dua pendekatan curve fitting:
Regresi: pendekatan “terbaik” di sekitar data yang ada tidak harus
melalui semua data.
REGRESI LINEAR
Tinjauan kasus: n-pasangan data (xi,yi) didekati dengan garis lurus
y = ao + alx + e.
Dalam pers tsb, e = kesalahan/residu = penyimpangan antara harga
yang sebenarnya dengan harga pendekatan pers garis lurus tsb.
Fitting Terbaik
2
12/18/2017
Kesalahan Pendekatan, ERROR
Transformasi
Linearisasi hubungan tak linear
3
12/18/2017
4
12/18/2017
Linear Regression
Assume n points, with each point having values of both an independent
variable x and a dependent variable y.
The values of x are x1 , x2 , x3 ,...., xn .
The values of y are y1 , y2 , y3 ,...., yn .
A best-fitting straight line equation
will have the form
y = a1 x + a0
9
Preliminary Computations
1 n
x = sample mean of the x values = ∑ xk
n k =0
1 n
y = sample mean of the y values = ∑ yk
n k =0
1 n 2
x = sample mean-square of the x values = ∑ xk
2
n k =1
1 n
xy = sample mean of the product xy = ∑ xk yk
n k =1
10
5
12/18/2017
Best-Fitting Straight Line
a1 =
( xy ) − ( x )( y )
( )
x 2
− ( x )
2
a0 =
( x ) ( y ) − ( x )( xy )
2
(x )−(x)2 2
Alternately, a0 = y − a1 x
y = a1 x + a0
11
Example 13-1. Find best fitting straight
line equation for the data shown below.
x 0 1 2 3 4 5 6 7 8 9
y 4.00 6.10 8.30 9.90 12.40 14.30 15.70 17.40 19.80 22.30
1 10 0 + 1 + 2 + 3 + 4 + 5 + 6 + 7 + 8 + 9 45
x = ∑ xk = = = 4.50
10 k =1 10 10
1 10 4 + 6.1 + 8.3 + 9.9 + 12.4 + 14.3 + 15.7 + 17.4 + 19.8 + 22.3
y= ∑
10 k =1
yk =
10
130.2
= = 13.02
10
12
6
12/18/2017
Example 13-1. Continuation.
1 10 2
x2 = ∑ xk
10 k =1
(0) 2 + (1) 2 + (2)2 + (3)2 + (4) 2 + (5) 2 + (6) 2 + (7) 2 + (8) 2 + (9)2
=
10
285
= = 28.50
10
1 10
xy = ∑ xk yk
10 k =1
0 + 6.1 + 16.6 + 29.7 + 49.6 + 71.5 + 94.2 + 121.8 + 158.4 + 200.7
=
10
748.6
= = 74.86
10
13
Example 13-1. Continuation.
a1 =
( xy ) − ( x )( y ) = 74.86 − (4.50)(13.02)
( )
x 2
− ( x )
2
28.50 − (4.50) 2
16.27
= =1.9721
8.250
a0 = y − a1 x = 13.02 − 1.972 × 4.50 = 4.1455
y = 1.9721x + 4.1455
14
7
12/18/2017
y
25
y = 1.9721x + 4.1455
R² = 0.9973
20
15
y
Linear (y)
10
0
0 1 2 3 4 5 6 7 8 9 10
15
Example 13-1. Continuation.
>> x = 0:9;
>> yapp = 1.9721*x + 4.1455;
>> y = [the 10 values of y];
>> plot(x, yapp, x, y, 'o')
The best-fit plot and the actual points are shown on the next slide.
16
8
12/18/2017
17
18
9
12/18/2017
Koefisien determinasi
Koefisien determinasi (R 2 ) pada intinya mengukur seberapa jauh
kemampuan model dalam menerangkan variasi variabel dependen. Nilai
koefisien determinasi adalah antara nol dan satu. Nilai R2 = yang kecil
berarti kemampuan variabel-variabel independen dalam menjelaskan
variasi variabel dependen amat terbatas. Nilai yang mendekati satu
berarti variabel-variabel independen memberikan hampir semua
informasi yang dibutuhkan untuk memprediksi variasi variabel dependen.
Secara umum koefisien determinasi untuk data silang (crossection) relatif
rendah karena adanya variasi yang besar antara masing-rnasing
pengamatan, sedangkan untuk data runtun waktu (time series) biasanya
mempunyai nilai koefisien determinasi yang tinggi.
19
Kelemahan mendasar penggunaan koefisien determinasi adalah bias
terhadap jumlah variabel independen yang dimasukkan kedalam model.
Setiap tambahan satu variabel independen, maka R2 pasti meningkat
tidak perduli apakah variabel tersebut berpengaruh secara signifikan
terhadap variabel dependen. Oleh karena itu banyak peneliti
menganjurkan untuk menggunakan nilai Adjusted R2 pada saat
mengevaluasi mana model regresi terbaik. Tidak seperti R2 , nilai Adjusted
R 2 dapat naik atau turun apabila satu variabel independen ditambahkan
kedalam model. Dalam kenyataan nilai adjusted R 2 dapat bernilai negatif,
walaupun yang dikehendaki harus bernilai positif. Menurut Gujarati (2003)
jika dalam uji empiris didapat nilai adjusted R 2 negatif, maka nilai
adjusted R 2 dianggap bernilai nol. Secara matematis jika nilai R2 = 1,
maka Adjusted R2 = R2 = I sedangkan jika nilai R 2 = 0, maka adjusted R 2 =
(1 - k)/(n - k). Jika k > 1 , maka adjusted R= akan bernilai negative.
20
10
