Bài giảng Các phương pháp định lượng - Hồi quy đa biến

HỒI QUY ĐA BIẾN GV : Đinh Công Khải – FETP Môn: Các Phương Pháp Định Lượng Giới thiệu mô hình hồi qui tuyến tính đa biến  Hàm hồi qui tuyến tính tổng thể (PRF) E(Y|Xk’s) = β1 + β2 X2i + β3 X3i +.+ βK XKi  E(Y|X’s) là trung bình (tổng thể) của phân phối của Y với điều kiện các biến Xki (k = 2 - K)  β1 là tung độ gốc; β2,, βK là hệ số hồi qui riêng (hệ số góc). Yi = β1 + β2 X2i + β3 X3i +.+ βK XKi + ui k i k X sXYE    ]'|[  Giới thiệu mô hình hồi qui tuyến tính đa biến  Ví dụ:  QD = f(giá, thu nhập, giá của SP thay thế, quy mô thị trường,)  QS = f(vốn, lao động, công nghệ)  Lương nhân viên = f(trình độ, kinh nghiệm, giới tính, độ tuổi,..)  Giá nhà = f(diện tích, số phòng ngủ, số phòng tắm, ) Mô hình hồi qui tuyến tính đa biến  Hàm hồi qui mẫu (SRF) trong đó: là ước lượng của E(Yi|X’s) là các ước lượng của β1, β2, ., βK. KiKiii XXXY  ˆ...ˆˆˆˆ 33221  iYˆ K ˆ,...,ˆ,ˆ 21 iKiKiiiii uXXXuYY ˆ ˆˆˆˆˆˆ 33221   Phương pháp bình phương tối thiểu thông thường (OLS)  Phương pháp OLS   2221 ˆ,...,ˆ,ˆ 2 )ˆ...ˆˆ(ˆmin 21 KiKiii XXYu K                      0 X ˆ - - ˆ - ˆ - ˆ - Y 2- ˆ ˆ 0 X ˆ - - ˆ - ˆ - ˆ - Y 2- ˆ ˆ 0 ˆ - - ˆ - ˆ - ˆ - Y 2- ˆ ˆ KiK33221i 2 2iK33221i 2 2 K33221i 1 2 Kiii K i Kiii i Kiii i XXX u XXX u XXX u           Phương pháp bình phương tối thiểu thông thường (OLS)  Giả sử chúng ta có hàm hồi qui Yi = β1 + β2 X2i + β3 X3i + ui           232i23i22 32i3i 2 3i2i 2 x - x x y- x y ˆ    ii iii xx xxx  33221 ˆ - ˆ - Y ˆ XX             232i23i22 32i2i 2 2i3i 3 x - x x y- x y ˆ    ii iii xx xxx  Ý nghĩa của các hệ số ước lượng trong mô hình hồi qui tuyến tính đa biến  (k = 2-K) được gọi là hệ số hồi qui riêng hay hệ số độ dốc riêng.  Ý nghĩa: Nếu như các biến giải thích khác không đổi, khi một biến giải thích Xki thay đổi một đơn vị thì biến phụ thuộc sẽ thay đổi trung bình là đơn vị.  phản ánh sự tác động trực tiếp của biến giải thích Xki lên biến phụ thuộc sau khi đã loại trừ ảnh hưởng các biến hồi qui khác. kˆ kˆ kˆ Mô hình hồi qui tuyến tính cổ điển Gauss (CLRM): Các giả thiết của OLS  Giá trị kỳ vọng của ui bằng không: E(ui  X’s) = 0  Không có tương quan chuỗi: cov(ui, uj X’s ) = 0 với i ≠ j  Phương sai đồng nhất: var(ui) =  2  Nhiễu ngẫu nhiên không có tương quan với các X: cov(ui, Xki ) = 0  Không có thiên lệch đặc trưng (thiếu biến quan trọng, dạng mô hình sai)  Không có hiện tượng đa cộng tuyến  Có hiện tượng đa cộng tuyến 0 K3322  Kiii XXX   Mô hình hồi qui tuyến tính cổ điển Gauss (CLRM): Các giả thiết của OLS  Định lý Gauss-Markov: Ước lượng của OLS là ước lượng tuyến tính không thiên lệch, có tính nhất quán, và có hiệu quả nhất, BLUE. Độ chính xác của ước lượng  Phương sai và độ lệch chuẩn của ước lượng trong đó (mẫu số sẽ bằng n-K trong trường hợp tổng quát) 3 ˆ ˆ 2 2    n ui                2 3i 2 2 2 322 23 2 2 23 2 2 2 2 32i 2 3i 2 2 2 3i 2 )( )r-(1 1 - )ˆ( xx xx r xxxxx x Var i ii iii         2 2 23 2 3i 2 2 32i 2 3i 2 2 2 2i 3 )r-(1 1 - )ˆ(     xxxxx x Var ii Độ chính xác của ước lượng  Điều kiện: Số lượng các quan sát n phải lớn hơn số lượng các tham số được ước lượng (n>K)  Đồng phương sai giữa 2 ước lượng 2 2 3 2 2 2 23 23 32 )r-(1 )ˆ,ˆ(     ii xx r Cov 12 Độ thích hợp của mô hình Mối liên hệ giữa TSS, ESS, và RSS TSS = Tổng bình phương toàn phần ESS = Tổng bình phương giải thích được RSS = Tổng bình phương phần dư TSS = ESS + RSS 2)( YYi 2 )ˆ(  YYi 2)ˆ( ii YY  Độ thích hợp của mô hình (goodness of fit)  Hệ số xác định (coefficient of determination)  0 ≤ R2 ≤ 1  R2 = 1, các biến độc lập giải thích 100% sự biến thiên của biến phụ thuộc  R2 = 0, mô hình không giải thích được bất kỳ sự biến đổi nào của biến phụ thuộc    2 2 2 ˆ 11 i i y u TSS RSS TSS ESS R Độ thích hợp của mô hình  Hệ số xác định có điều chỉnh  Khi so sánh 2 mô hình dựa trên tiêu chí R2 hay R2 điều chỉnh cần lưu ý rằng cỡ mẫu n và biến phụ thuộc của 2 mô hình phải giống nhau (các biến giải thích có thể ở bất kỳ dạng gì). Kn n RR ny Knu nTSS KnRSS R i i            1 )1(1 )1/( )/(ˆ 1 )1/( )/( 1 22 2 2 2