Bài giảng Kinh tế lượng - Chương 6: Đa cộng tuyến - Phạm Văn Minh

Chương 6 ĐA CỘNG TUYẾN 1 NỘI DUNG 1. Bản chất của đa cộng tuyến 2. Nguồn gốc của đa cộng tuyến 3. Ước lượng trong trường hợp có đa cộng tuyến 4. Hậu quả của đa cộng tuyến 5. Cách phát hiện đa cộng tuyến 6. Biện pháp khắc phục đa cộng tuyến 2 1. Bản chất của đa cộng tuyến 3
Một giả thiết trong mô hình hồi quy bội là giữa các biến giải thích không có hiện tượng cộng tuyến, nghĩa là các biến giải thích không có tương quan với nhau.
Đa cộng tuyến là sự tồn tại mối quan hệ tuyến tính “hoàn hảo”/chính xác hay không hoàn hảo giữa một số hoặc tất cả các biến giải thích trong một mô hình hồi quy. kikiii XXXY ββββ ˆ...ˆˆˆˆ 33221 ++++= 1. Bản chất của đa cộng tuyến (tt) 4
Nếu tồn tại các số λ2, λ3, , λk sao cho: λ2X2i + λ3X3i + + λkXki = 0 Với λi (i = 2, 3, , k) không đồng thời bằng 0 thì mô hình xảy ra hiện tượng đa cộng tuyến hoàn hảo.
Nếu λ2X2i + λ3X3i + + λkXki + Vi = 0 Với Vi là sai số ngẫu nhiên thì mô hình xảy ra hiện tượng đa cộng tuyến không hoàn hảo (một biến giải thích có tương quan tuyến tính chặt chẽ với một số biến giải thích khác).
Thực tế thường xảy ra hiện tượng đa cộng tuyến không hoàn hảo. 5Y X3 X2 1 2 (a) Không có đa cộng tuyến Y X3X2 (b) đa cộng tuyến thấp Y X3 X2 1 2 (d) đa cộng tuyến hoàn hảo Y X3 X2 (c) đa cộng tuyến cao 1. Bản chất của đa cộng tuyến (tt) 6
Xem xét các mối quan hệ sau để “chẩn đoán” khả năng xảy ra hiện tượng đa cộng tuyến: (1) Nhu cầu về café (Y) với giá café (X2) và thu nhập của người dùng café (X3) ở Brasil. (2) Mức lương nhân viên (Y) của một công ty với bậc thợ (X2), độ tuổi (X3) và thâm niên lao động (X4). (3) Giá bán nhà (Y) với diện tích (X2) và số phòng (X3). (4) Số giờ tự học của SV (Y) với số giờ rảnh, số giờ dành cho các hoạt động giải trí. Ta có: X3i = 5X2i có hiện tượng cộng tuyến hoàn hảo giữa X2 và X3 và r23 =1 X4i = 5X2i + Vi có hiện tượng cộng tuyến không hoàn hảo giữa X2 và X4, tính được r24 = 0.9959. X2 10 15 18 24 30 X3 50 75 90 120 150 X4 52 75 97 129 152 Ví dụ: Yi = β1+β2X2i+β3X3i+ β4X4i + Ui Với số liệu của các biến độc lập: 1. Bản chất của đa cộng tuyến (tt) Montgomery và Peck cho rằng đa cộng tuyến là do các yếu tố sau:
Phương pháp thu thập dữ liệu: việc lấy mẫu chỉ giới hạn trong 1 phạm vi hẹp các giá trị của các biến giải thích trong tổng thể.
Giới hạn về mô hình hoặc trong tổng thể được lấy mẫu: ví dụ khi hồi quy Mức tiêu thụ điện (Y) theo thu nhập (X2) và kích thước nhà (X3). Có một giới hạn trong tổng thể là gia đình có thu nhập cao thường có nhà lớn hơn gia đình có TN thấp. 2. Nguốn gốc của đa cộng tuyến 8
An overdetermined model: mô hình có số lượng các biến giải thích nhiều hơn số lượng các quan sát.
Trong dữ liệu chuỗi thời gian (time series data), khi các biến giải thích có cùng xu hướng thì cũng thường xảy ra đa cộng tuyến. ◦ Ví dụ: Khi hồi quy tiêu dùng theo thu nhập, sự giàu có và dân số, các biến giải thích thu nhập, sự giàu có và dân số có thể đều tăng trong khoảng thời gian nghiên cứu với tỷ lệ gần giống nhau, đưa đến hiện tượng cộng tuyến giữa các biến này. 2. Nguốn gốc của đa cộng tuyến 9 3. Ước lượng khi có đa cộng tuyến 10 3.1. Trường hợp có đa cộng tuyến hoàn hảo:  Các hệ số hồi quy không xác định; phương sai và các sai số chuẩn của chúng là vô hạn.  Không thể tách riêng ảnh hưởng của từng biến giải thích lên biến phụ thuộc từ một mẫu cho trước.  Không thể có lời giải duy nhất cho các hệ số hồi quy riêng, chỉ có thể có được lời giải duy nhất cho tổ hợp tuyến tính của các hệ số này. 3. Ước lượng khi có đa cộng tuyến (tt) 3.1. Trường hợp có đa cộng tuyến hoàn hảo 11 Xét mô hình: Yi = β1+β2X2i+β3X3i+ Ui (1) Giả sử: X3i = λX2i x3i = λx2i Theo OLS: ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ − − = − − = 2 3i2i 2 3i 2 2i i2i3i2i 2 2ii3i 2 3i2i 2 3i 2 2i i3i3i2i 2 3ii2i )xx(xx yxxxxyx )xx(xx yxxxxyx 3 2 ˆ ˆ β β Tuy nhiên nếu thay X3i = λX2i vào hàm hồi qui (1), ta được: Yi = β1+β2X2i+β3 λX2i + Ui Hay Yi = β1+ (β2+ λβ3) X2i + Ui (2) Ước lượng (2), ta có: 0 0 λ)λ( )λ)(λ()λ(ˆ 22 2 2 = − − = ∑ ∑ ∑ ∑ ∑ ∑ ∑ 22 2i 2 2i 2 2i i2i 2 2i 2 2ii2i )x(xx yxxxyx β 0 0 3ˆ =β 3201 ˆˆˆ,ˆ βλβββ += Thay x3i = λ2x2i vào công thức: Tương tự: ( : không xác định) 3. Ước lượng khi có đa cộng tuyến (tt) 3.1. Trường hợp có đa cộng tuyến hoàn hảo 32 ˆ , ˆ ββ
Tóm lại, khi có đa cộng tuyến hoàn hảo thì không thể ước lượng được các hệ số trong mô hình mà chỉ có thể ước lượng được một tổ hợp tuyến tính của các hệ số đó.
Hay có thể ước lượng được nhưng không thể ước lượng với một lời giải duy nhất. 3. Ước lượng khi có đa cộng tuyến (tt) 3.1. Trường hợp có đa cộng tuyến hoàn hảo 320 ˆˆˆ βλββ += 32 ˆ , ˆ ββ  Thực hiện tương tự như trong trường hợp có đa cộng tuyến hoàn hảo nhưng với X3i = λX2i +Vi Vẫn có thể ước lượng được các hệ số trong mô hình.  Dữ liệu chuỗi thời gian thường xảy ra đa cộng tuyến không hoàn hảo. 3. Ước lượng khi có đa cộng tuyến (tt) 3.1. Trường hợp có đa cộng tuyến không hoàn hảo Về mặt lý thuyết, khi có đa cộng tuyến gần hoàn hảo (đa cộng tuyến cao), các ước lượng OLS vẫn thỏa mãn tính chất BLUE, nhưng hậu quả thực tế của nó gồm: 1. Phương sai và hiệp phương sai của các ước lượng OLS lớn. 2. Khoảng tin cậy của các hệ số hồi quy rộng hơn. 3. Tỷ số t “không có ý nghĩa”. Sai số chuẩn của các hệ số hồi quy lớn làm cho giá trị t nhỏ đi, từ đó sẽ làm tăng khả năng chấp nhận giả thiết H0 4. R2 cao nhưng tỷ số t ít có ý nghĩa Dựa trên cơ sở kiểm định t, một hoặc một số hệ số hồi qui riêng không có ý nghĩa về mặt thống kê. Tuy nhiên, R2 lại rất cao (thường trên 0,9). 15 4. Hậu quả của đa cộng tuyến 5. Các ước lượng OLS và sai số chuẩn của chúng trở nên rất nhạy với những thay đổi nhỏ trong dữ liệu. 6. Dấu của các ước lượng của các hệ số hồi qui có thể sai. Ví dụ khi ước lượng hồi quy cầu của hàng hóa thông thường theo thu nhập, nếu xảy ra hiện tượng đa cộng tuyến gần hoàn hảo, thì có thể hệ số của biến thu nhập mang dấu (-), điều này mâu thuẫn với lý thuyết kinh tế. 7. Thêm vào hay bớt đi các biến cộng tuyến với các biến khác, mô hình sẽ thay đổi về dấu hoặc thay đổi về độ lớn của các ước lượng. Đa cộng tuyến làm tăng sai số chuẩn, sai số chuẩn lớn hơn phản ánh sự biến thiên của hệ số hồi qui từ mẫu này đến mẫu khác cao hơn. 16 4. Hậu quả của đa cộng tuyến (tt) 17 4. Hậu quả của đa cộng tuyến (tt)
Thí dụ: 18 4. Hậu quả của đa cộng tuyến (tt)
Kết quả phân tích hồi quy của 2 mẫu quan sát lần lượt là: 19 5. Cách phát hiện đa cộng tuyến (1). Hệ số R2 lớn (>0,8) nhưng rất ít tỷ số t có ý nghĩa. (2). Tương quan cặp giữa các biến giải thích cao (hệ số tương quan > 0,8). Lưu ý là có trường hợp tương quan cặp không cao nhưng vẫn xảy ra hiện tượng đa cộng tuyến, đặc biệt là khi mô hình có nhiều hơn 2 biến giải thích. (3). Sử dụng mô hình hồi quy phụ: Hồi quy 1 biến giải thích X nào đó theo các biến còn lại. Tính R2 và F cho mô hình. Kiểm định H0: R2 = 0 bằng kiểm định F, tức kiểm định giả thiết biến X không tương quan tuyến tính với các biến còn lại. Nếu chấp nhận H0 thì không có hiện tượng cộng tuyến. Xét : Yi = β1+β2X2i+β3X3i+ β4X4i + Ui Cách sử dụng mô hình hồi qui phụ như sau: - Hồi qui mỗi biến độc lập theo các biến độc lập còn lại. Tính R2 cho mỗi hồi qui phụ: 2 2R 2 3R 2 4R 4...2j0R2j =∀= Hồi qui X2i = α1 + α2X3i + α3X4i+u2i  Hồi qui X3i = λ1 + λ2X2i + λ3X4i+u3i  Hồi qui X4i = γ1 + γ2X2i + γ3X3i+u4i  - Kiểm định các giả thiết H0: - Nếu chấp nhận các giả thiết trên thì không có đa cộng tuyến giữa các biến độc lập. 5. Cách phát hiện đa cộng tuyến (tt) (4). Sử dụng nhân tử phóng đại phương sai (VIF): - Đối với mô hình có 2 biến giải thích X2 và X3: VIF = 1/(1-r223) Với r23 là hệ số tương quan giữa X2 và X3 Khi r23=1 thì VIF tiến đến vô hạn. Khi không có cộng tuyến giữa X2 và X3 thì VIF=1. - Trường hợp có (k-1) biến giải thích: VIF = 1/(1-R2j) Với R2j là giá trị R2 trong hàm hồi quy của Xj theo (k- 2) biến giải thích còn lại. Theo quy tắc kinh nghiệm, nếu VIF của 1 biến vượt quá 10 (khi R2j>0,9) thì biến này được coi là có cộng tuyến cao. 21 5. Cách phát hiện đa cộng tuyến (tt) 5. Cách phát hiện đa cộng tuyến (tt) Xét số liệu thí dụ trang 143. Hãy kiểm định hiện tượng đa cộng tuyến bằng cách sử dụng mô hình hồi quy phụ 23 5. Cách phát hiện đa cộng tuyến (tt) Với mức ý nghĩa 5%, tra bảng phân phối F: F0,05(1,10) = ? (1). Sử dụng thông tin tiên nghiệm Thông tin có thể có được từ công việc thực tế trước đây hoặc từ các lý thuyết trong lĩnh vực nghiên cứu. Ví dụ: Yi = β0 + β1X1i + β2X2i +Ui Trong đó: Y: chi tiêu cho tiêu dùng X1: thu nhập X2: sự giàu có X1 và X2 có khuynh hướng cộng tuyến cao. Giả sử nghiên cứu thực nghiệm trước đây cho kết quả: β2 = 0,1β1 24 6. Biện pháp khắc phục đa cộng tuyến (1). Sử dụng thông tin tiên nghiệm (tt) Biến đổi mô hình hồi quy trên, ta được: Yi = β0 + β1Xi + Ui Với Xi = X1i + 0,1X2i Sau khi ước lượng được tham số , ta có thể dễ dàng ước lượng = 0,1 Lưu ý là khi sử dụng thông tin tiên nghiệm để khắc phục đa cộng tuyến thì xem như thông tin tiên nghiệm này thích hợp với dữ liệu thực tế, nhưng có thể dữ liệu này lại không thích hợp. 1β ⌢ 2β ⌢ 1β ⌢ 25 6. Biện pháp khắc phục đa cộng tuyến (tt) (2). Loại trừ 1 biến giải thích ra khỏi mô hình - Bước 1: Xem cặp biến giải thích nào có quan hệ chặt chẽ dựa vào ma trận tương quan (ví dụ X2 và X3) - Bước 2: Tính R2 đối với các hàm hồi quy: có mặt cả hai biến; không có mặt 1 trong 2 biến - Bước 3: Loại biến mà giá trị R2 tính được khi không có mặt biến đó là lớn hơn Bỏ bớt biến là cách đơn giản nhất khi chúng ta phải đối diện với tình trạng đa cộng tuyến nghiêm trọng. 26 6. Biện pháp khắc phục đa cộng tuyến (tt) (3). Thu thập thêm số liệu hoặc lấy mẫu mới Vì đa cộng tuyến là một đặc tính của mẫu nên đôi khi chỉ cần tăng cỡ mẫu cũng có thể làm giảm bớt vấn đề này (4). Sử dụng sai phân cấp 1 Ta có mô hình hồi quy sau: Yt = β1 + β2X2t + β3X3t + Ut (1) Suy ra: Yt-1 = β1 + β2X2t-1 + β3X3t-1 + Ut-1 (2) (1)-(2): Yt-Yt-1 = β2(X2t-X2t-1) + β3(X3t-X3t-1) + Ut-Ut-1 Hay: yt = β2x2t + β3x3t + Vt (3) 27 6. Biện pháp khắc phục đa cộng tuyến (tt) Mô hình hồi quy (3) thường làm giảm tính nghiêm trọng của đa cộng tuyến vì dù X2 và X3 có thể tương quan cao nhưng không có lý do tiên nghiệm nào cho rằng sai phân của chúng cũng tương quan cao. Tuy nhiên sử dụng sai phân bậc nhất cũng làm nảy sinh một số vấn đề như sai số Vt trong mô hình (3) có thể không thỏa mãn giả thiết của mô hình hồi quy tuyến tính cổ điển là các nhiễu không tương quan. Xem thí dụ trang 143 về cách phát hiện và khắc phục đa cộng tuyến. 28 6. Biện pháp khắc phục đa cộng tuyến (tt) Đa cộng tuyến có thật sự xấu?
Đa cộng tuyến không phải là vấn đề nghiêm trọng nếu mục đích của phân tích hồi quy chỉ là dự báo, vì R2 càng cao thì việc dự báo càng chính xác.
Tuy nhiên, nếu mục đích của phân tích hồi quy còn là để ước lượng giá trị tin cậy của các thông số thì đa cộng tuyến là vấn đề cần xem xét vì sai số chuẩn của các ước lượng lớn. 29 6. Biện pháp khắc phục đa cộng tuyến (tt)