Hồi quy và các ứng dụng - Trần Kim Thanh

74 Journal of Transportation Science and Technology, Vol 19, May 2016 HỒI QUY VÀ CÁC ỨNG DỤNG REGRESSION AND ITS APPLICATIONS Trần Kim Thanh Trường ĐH Tài chính – Marketing Tóm tắt: Trong bài báo này có ba chủ đề chính được trình bày: Các khái niệm về hồi quy, tổng ngẫu nhiên; một số kết quả về ứng dụng hồi quy trong bài toán đặc trưng phân phối và những ứng dụng của hồi quy trong thực tế. Từ khóa: Hồi quy, tổng ngẫu nhiên, bài toán đặc trưng phân phối, phân tích phương sai. Abstract: There are three main topics in this article: The notions of regression and random sum, some of the results of the application of regression in characteristic distribution problem, some applications of the regression in practice. Keywords: Regression, random sum, characterization problems for distributions, analysis of variance. 1. Giới thiệu Trong bài này, chúng tôi đề cập đến các nội dung sau: các khái niệm về hồi quy, tổng ngẫu nhiên và ứng dụng hồi quy trong bài toán đặc trưng phân phối, trong các vấn đề phân tích và dự báo, phân tích phương sai. 2. Một số khái niệm và kết quả cần thiết: 2.1.Hàm hồi quy Hàm hồi quy hay trung bình có điều kiện (kỳ vọng có điều kiện) là một công cụ rất quan trọng được ứng dụng trong nhiều lĩnh vực: Kinh tế lượng hay giải quyết các vấn đề phân tích và dự báo,. Chúng ta sẽ trình bày một số hướng tiếp cận khái niệm này. - Hướng tiếp cận từ thực tế: Trên mỗi cá thể của tổng thể Ω, ta quan sát hai biến (2 tiêu chuẩn) X, Y. Ký hiệu Ω𝑥 là tập hợp các phần tử của Ω có cùng giá trị X = x. Nếu chỉ giới hạn quan sát Y trên Ωx, ta có biến quan sát Yx, tức là: Yx = Y│Ωx (thu hẹp của Y trên Ωx). Khi đó giá trị trung bình (kỳ vọng) của biến Yx là EYx được gọi là trung bình có điều kiện hay kỳ vọng có điều kiện của biến Y với điều kiện X = x và được ký hiệu là E(Y|X = x). Vậy: E(Y|X = x) = EYx Khi x thay đổi, ta có hàm số f(x) = E(Y|X = x). Ký hiệu E(Y|X) = f(X), là biến ngẫu nhiên, lấy giá trị E(Y|X = x) khi X = x, và gọi là kỳ vọng có điều kiện hay trung bình có điều kiện của Y theo X. Nó còn được gọi là hàm hồi quy tổng thể của Y theo X, ký hiệu là PRF của Y theo X. - Tiếp cận theo hướng mô hình toán học: Giả sử X, Y là các biến ngẫu nhiên trên không gian xác suất cơ sở (Ω, ℱ, P). Trong đó Y có mô men cấp 1 hữu hạn. Ký hiệu ℬ là σ - đại số Borel trên ℝ;ℬ(X) = X−1(ℬ) là σ - đại số sinh bởi X; Pℬ(X) = P│ℬ(X). Khi đó hàm tập: A φ (A)= Y dP, A ∈ ℬ(X) là một độ đo suy rộng trên ℬ(X), liên tục tuyệt đối theo độ đo Pℬ(X). Đạo hàm Radon của φ theo Pℬ(X): 𝑑𝜑 𝑑𝑃ℬ(𝑋) là hàm ℬ(X) - đo được và được gọi là kỳ vọng có điều kiện của Y theo X, ký hiệu: E(Y|X) = dφ dPℬ(X) Đó là hàm của X, gọi là hàm hồi quy của Y theo X. Nếu E(Y|X) = const (= EY), ta nói Y có hồi quy hằng số đối với X. - Hướng tiếp cận từ yêu cầu chung: Khi khảo sát hai biến X, Y trong sự phụ thuộc thống kê, dựa vào những thông tin về X, người ta muốn tìm một biến ngẫu nhiên (tất nhiên phụ thuộc vào X, hay là hàm của X), mà nó là xấp xỉ tốt nhất cho Y theo nghĩa cực tiểu sai số bình phương trung bình. Biến ngẫu nhiên cần tìm đó chính là hình chiếu (vuông góc) của Y lên không gian các hàm của X, bình phương khả tích. Nó được gọi là kỳ vọng có điều kiện của Y với điều kiện X, hay là hàm hồi quy của Y theo X, ký hiệu là E(Y|X). TẠP CHÍ KHOA HỌC CÔNG NGHỆ GIAO THÔNG VẬN TẢI, SỐ 19 - 05/2016 75 Ví dụ: Tổng thể là các hộ gia đình ở một khu vực. Với mỗi hộ, ta quan tâm hai tiêu chuẩn: X (triệu đồng) là thu nhập hàng tháng, Y (triệu đồng) là mức chi tiêu hàng tháng. Khi đó Ωx là tập hợp các hộ gia đình ở khu vực có cùng mức thu nhập X = x; Yx là mức chi tiêu của hộ gia đình có mức thu nhập X = x; E(Y|X = x) = EYx là mức chi tiêu bình quân của các hộ gia đình trong khu vực có cùng mức thu nhập X = x. 2.2. Tổng ngẫu nhiên: Cho N là đại lượng ngẫu nhiên có giá trị nguyên, không âm và ξ1, ξ2, ξn, là các đại lượng ngẫu nhiên độc lập, có cùng phân phối và độc lập với N. Biến ngẫu nhiên: X = { 0, nếu N = 0 ξ1 + ξ2 +⋯+ ξn, nếu N = n được gọi là một tổng ngẫu nhiên. Để đơn giản, ta ký hiệu là: X = ξ1 + ξ2 +⋯+ ξN, trong đó quy ước hiểu: X = 0, nếu N = 0. Tổng ngẫu nhiên X còn được gọi biến phức hợp của các biến ξ1, ξ2, ξn, bởi N Nói chung ta gọi tên của biến phức hợp theo tên phân phối của biến N, chẳng hạn: nếu N là biến ngẫu nhiên có phân phối hình học thì tổng ngẫu nhiên X được gọi là biến phức hợp hình học. Chúng ta biết rằng (xem [13]): Nếu E|ξk| < +∞ thì E|Z| < +∞ và EZ = EN. Eξk (1) Tổng ngẫu nhiên mô tả nhiều mô hình trong thực tế (xem [12]). 2.3. Điều kiện cần và đủ đối với hồi quy hằng Định lý 1 (Xem [1]): Giả sử X, Y là các biến ngẫu nhiên có 𝐸|𝑌| < +∞ . Khi đó: Y có hồi quy hằng số đối với X khi và chỉ khi đối với mọi số thực t, ta đều có: 𝐸{𝑌. 𝑒𝑖𝑡𝑋} = 𝐸𝑌. 𝐸𝑒𝑖𝑡𝑋 3. Giới thiệu một số ứng dụng của hồi quy Có thể nói hàm hồi quy là công cụ toán học có rất nhiều ứng dụng trong các lĩnh vực khác nhau. 3.1. Ứng dụng trong Lý thuyết đặc trưng. Trong Lý thuyết đặc trưng phân phối, việc ứng dụng hàm hồi quy đã mở ra một hướng nghiên cứu: Đặc trưng phân phối bởi hồi quy. Theo hướng nghiên cứu này, nhiều tác giả đã gặt hái được những kết quả quan trọng và đặc sắc. Những người đi tiên phong trong hướng này là Kagan A.M, Linnik Yu.V và Rao [2] (1965). Các tác giả này đã chỉ ra một đặc trưng của luật chuẩn như sau. Định lý 2 (xem [2]): Giả sử X̅ là trung bình cộng của n biến ngẫu nhiên X1, X2, , Xn độc lập, cùng phân phối, có EXj = 0 và thỏa điều kiện: E(X̅|X1 − X̅, , Xn − X̅) = 0. Khi đó các biến X1, X2, , Xn có phân phối chuẩn. Hướng đặc trưng bởi hồi quy được phát triển như là một sự mở rộng tự nhiên của kết quả nói trên với một loạt các công trình của Rao [6], Ramachandran và Rao [7], [8], Khatri và Rao [3], [4], Pathak và Pillai [9], Shimizu [10]. Kết quả trên cũng đã được chính các tác giả tổng quát hóa (xem [1, 156 - 158], trong đó các thành phần điều kiện: X1 − X̅, , Xn − X̅ được thay bởi: M1, ,Mp, với 𝑀𝑘 = 𝑋𝑘 + 𝑐𝑘1𝑋𝑘+1 +⋯+ 𝑐𝑘𝑛−𝑘𝑋𝑛, 𝑘 = 1,2, , 𝑝. Với hai biến ngẫu nhiên X1, X2 độc lập cùng phân phối có EXi = 0, từ điều kiện hồi quy không: E(X1 − αX2|X1 + βX2) = 0, Kagan A.M, Linnik Yu.V và Rao C.R [1, 158 - 161] đã chỉ ra X1, X2 suy biến, nếu αβ < 0; X1, X2 là đối xứng nếu α = −1, X1, X2 có phân phối chuẩn nếu αβ = 1,−1 < β < 1 . Các tác giả này cũng đã chỉ ra (xem [1, 191]), với một số giả thiết nhất định, đối với các biến ngẫu nhiên X1, X2, , Xn độc lập có mô men cấp 2 hữu hạn, điều kiện hồi quy tuyến tính: E(L|M) = α + β.M, với: Var(L|M) = const Trong đó: L = a1X1 + a2X2 +⋯+ anXn; M = b1X1 + b2X2 +⋯+ bnXn) đảm bảo cho các thành phần X1, X2, , Xn có phân phối chuẩn. Định lý 3 (xem [1, 215]). Giả sử Λ là tổng của n biến ngẫu nhiên X1, X2, , Xn độc 76 Journal of Transportation Science and Technology, Vol 19, May 2016 lập, cùng phân phối, có VarXj = σ 2, và Q = ∑ ajkXjXk n j,k=1 + ∑ bjXj. n j=1 Khi đó nếu: B1 =∑ajj ≠ 0 , B2 =∑ ajk = 0 n j,k=1 , B3 =∑bj = 0 thì điều kiện hồi quy hằng số của Q theo Λ là đặc trưng cho phân phối chuẩn của các thành phần X1, X2, , Xn. Khatri và Rao [1] , Laha và Lukacs [11] cũng đã chỉ ra các đặc trưng cho phân phối Gamma bởi điều kiện hồi quy hằng số; Lukacs cũng đã chỉ ra một đặc trưng của phân phối Poisson theo hướng này,Cũng theo hướng đặc trưng bởi hồi quy, trong [13], chúng tôi đã nhận được một kết quả về đặc trưng suy biến của các thành phần Xj của biến phức hợp hình học Z, đó là hồi quy của Z theo 𝑋𝑗 là hằng số: E(Z|Xj) = EZ. Trong bài báo này, chúng tôi nhận được kết quả sau: Mệnh đề: Giả sử Z = ξ1 + ξ2 +⋯+ ξN là tổng ngẫu nhiên, trong đó các biến ξ1, ξ2, ξn, độc lập, cùng phân phối với Eξk = m và N là biến ngẫu nhiên có phân phối Poisson với tham số λ hoặc có phân phối hình học tham số p. Khi đó: Hồi quy của Z theo N là hằng số khi và chỉ khi m = 0. Để chứng minh mệnh đề này, ta ký hiệu: α = EN; pk = P(N = k), k = 0,1,2, ; Ι{N=k} là hàm chỉ tiêu của tập hợp {𝑁 = 𝑘}, 𝜑𝑁(𝑡) là hàm đặc trưng của biến N. Sử dụng tính chất của kỳ vọng có điều kiện, ta có: E{Z. eitN} = E{E(Z. eitN|N)} = E {∑E(Z. eitN|N = k) ∞ k=0 . Ι{N=k}} = ∑E{(ξ1 + ξ2 +⋯+ ξk). e itk. P(N = k)} ∞ k=0 = m.∑ k. eitk. pk ∞ k=0 (2) EZ. EeitN = m.α. φN(t) (3) Vậy theo định lý 1, từ (2) và (3) thì hồi quy của Z theo N là hằng số khi và chỉ khi: m.∑ k. eitk. pk ∞ k=0 = m.α. φN(t), ∀t (4) Từ đó: - Khi N có phân phối Poisson với tham số λ: pk = λke−λ k! ; α = EN = λ; φN(t) = e λ(eit−1), Do đó: (4) trở thành: m.∑k. eitk. λke−λ k! ∞ k=0 = m. λ. eλ(e it−1), ∀t ⇔ m. λeit−λ∑ (λeit) k−1 (k−1)! ∞ k=1 = m. λ. e λ(eit−1), ∀t ⇔m.λeλ(e it−1). eit = m. λeλ(e it−1), ∀t ⇔ m(1 − eit) = 0, ∀t Hay: m = 0. - Khi N có phân phối hình học tham số p: 𝑝𝑘 = 𝑝(1 − 𝑝) 𝑘−1; 𝛼 = 𝐸𝑁 = 1 𝑝 ; 𝜑𝑁(𝑡) = 𝑝𝑒𝑖𝑡 1 − 𝑞𝑒𝑖𝑡 (𝑞 = 1 − 𝑝), Do đó: (4) trở thành: m.∑kpqk−1eitk ∞ k=1 = meit 1 − qeit , ∀t ⇔ m.peit∑k(qeit)k−1 ∞ k=1 = meit 1 − qeit , ∀t ⇔ m.peit {∑xk ∞ k=0 } ′ | x = qeit = meit 1 − qeit , ∀t ⇔ mpeit (1 − qeit)2 = meit 1 − qeit , ∀t ⇔mq(1 − eit) = 0, ∀t Hay: m = 0. 3.2. Ứng dụng trong các lĩnh vực khác Chúng ta biết rằng hàm hồi quy: f(X) = E(Y|X) mô tả sự phụ thuộc của giá trị trung bình của Y theo X, hơn nữa nó là xấp xỉ tốt nhất (theo nghĩa sai số bình phương trung bình nhỏ nhất), do đó hàm hồi quy thường được sử dụng để đánh giá, phân tích một cách định lượng mối quan hệ giữa X và Y, đồng thời dự báo cho giá trị của biến Y khi biến X lấy giá trị nào đó. Kinh tế lượng thực chất là phép đo lường kinh tế thông qua mô hình hồi quy. Trong thực tế, biến Y không chỉ phụ thuộc vào một biến X, mà còn phụ thuộc vào nhiều yếu tố ngẫu nhiên khác. Vì thế trong kinh tế lượng, người ta đặt: U = Y − E(Y|X) (5) TẠP CHÍ KHOA HỌC CÔNG NGHỆ GIAO THÔNG VẬN TẢI, SỐ 19 - 05/2016 77 là sai lệch giữa giá trị thực tế của biến Y (gọi là biến phụ thuộc) so với trung bình có điều kiện E(Y|X) và gọi U là sai số ngẫu nhiên, nó là sự tác động của các yếu tố ngẫu nhiên khác ngoài X (biến giải thích), tác động vào Y, khiến Y lệch khỏi giá trị trung bình (đây chính là bản chất của sự phụ thuộc thống kê). Vì thế từ (5) ta nhận được mô hình kinh tế lượng: Y = E(Y|X) + U (6) Chính nhờ hồi quy mà trong kinh tế lượng, người ta có thể phân tích, đánh giá một cách định lượng mối quan hệ giữa biến kinh tế Y (biến phụ thuộc) và các biến kinh tế X là các biến giải thích (X có thể là một đại lượng ngẫu nhiên hoặc một véc tơ ngẫu nhiên), giải quyết các bài toán thống kê trên mô hình như ước lượng, kiểm định, dự báo. Để kết thúc bài báo này, chúng tôi sẽ sử dụng mô hình hồi quy để giải quyết bài toán phân tích phương sai một nhân tố (và tương tự cho bài toán phân tích phương sai hai nhân tố) Bài toán: Ta muốn khảo sát sự tác động của nhân tố F, với p mức nhân tố khác nhau, đối với biến quan sát X~N(a, σ2), mà dưới tác động của F ở mức j nó lệch khỏi trung bình tổng thể a một lượng αj và do tác động của các yếu tố ngẫu nhiên khác, nó lệch tiếp một lượng Uj, tức là ta có mô hình: X tác động mức j của F → Xj = a + αj + Uj (7) Trong đó αj đặc trưng cho sự khác biệt về gía trị trung bình: aj = a + αj của X dưới tác động của F ở mức j; còn Uj là sai số ngẫu nhiên có phân phối chuẩn N(0, σj 2). Để xác minh có sự ảnh hưởng của các mức nhân tố của F đến X hay không, ta kiểm định giả thuyết H: α1 = α2 = ⋯ = αp = 0, đối với thuyết K: ∃αj ≠ 0. - Như chúng ta đã biết, trong phân tích phương phương sai, người ta sử dụng các tổng bình phương các độ lệch: TSS = ∑ ∑ (Xki − X̅) 2ni k=1 p i=1 = ∑ 𝑄𝑖𝑖 − 1 𝑛 (∑ 𝑇𝑖𝑖 ) 2 (8) 𝐌𝐒𝐒 = ∑ 𝐧𝐢. (�̅�𝐢 − 𝐗 ̅̅ ̅) 𝟐 𝐢 = ∑ 𝐓𝐢 𝟐 𝐧𝐢 𝐢 − 𝟏 𝐧 (∑ 𝐓𝐢𝐢 ) 𝟐 (9) 𝐑𝐒𝐒 = ∑ ∑ (𝐗𝐤𝐢 − 𝐗�̅�) 𝟐𝐧𝐢 𝐤=𝟏 𝐩 𝐢=𝟏 = ∑ 𝐐𝐢𝐢 − ∑ 𝐓𝐢 𝟐 𝐧𝐢 𝐢 (10) Trong đó: 𝑛𝑖 là số quan sát của biến Xi, Xki là quan sát thứ k của biến Xi. X̅ = 1 n ∑∑Xki ki ; Qi =∑Xki 2 k ; Ti =∑Xki k ; n =∑ni Tiêu chuẩn bác bỏ giả thuyết H là: 𝑊 = {𝐹 > 𝐹𝛼(𝑝 − 1, 𝑛 − 𝑝)}, với: 𝐅 = 𝐌𝐒𝐒/(𝐩−𝟏) 𝐑𝐒𝐒/(𝐧−𝐩) (11) - Ứng dụng hồi quy, chúng ta có thể giải quyết bài toán này bằng việc sử dụng mô hình hồi quy với biến giả. X được xét dưới sự tác động của biến định tính F gồm p thuộc tính (p mức nhân tố). Chọn một mức nhân tố nào đó, chẳng hạn mức nhân tố p, làm thuộc tính cơ sở, ta đưa vào p – 1 biến giả nhị phân: Zj = { 1, với mức nhân tố j 0, với các mức nhân tố khác. ; j = 1,2, p − 1 Ta có mô hình hồi quy PRF: X = a + b1Z1 + b2Z2 +⋯+ bp−1Zp−1 + U. Khi đó bài toán trên có nghĩa là kiểm định giả thuyết về các hệ số hồi quy: b1 = b2 = ⋯ = bp−1 = 0, đối thuyết K: ∃bj ≠ 0 . Để kiểm định, ta có thể dùng phương pháp kiểm định Wald hoặc phương pháp p - value, hoặc dùng tiêu chuẩn thống kê F Ví dụ: Năng suất X một loại cây trồng qua 4 nơi trồng có số liệu: F 1 2 3 4 X 1.38 1.38 1.42 1.42 1.41 1.42 1.44 1.45 1.32 1.33 1.34 1.31 1.33 Ta muốn biết: nơi trồng có ảnh hưởng tới năng suất (bình quân) của cây trồng không? - Dùng phân tích phương sai, từ mẫu lập bảng phân tích phương sai, tính được: TSS = 0,029292;MSS = 0,026292; 𝑅𝑆𝑆 = 𝑇𝑆𝑆 − 𝑀𝑆𝑆 = 0,003 Fqs = 26,29 > 𝐹0,05(3, 9) = 3,86. Vậy ta bác bỏ H và cho rằng năng suất bình quân cây trồng nói trên ở bốn nơi trồng này là khác nhau. 78 Journal of Transportation Science and Technology, Vol 19, May 2016 - Ứng dụng hồi quy, đối với bài toán này: biến phụ thuộc là X (năng suất cây trồng), biến giải thích là biến nơi trồng, có bốn thuộc tính, được đại diện bởi ba biến giả nhị phân 𝑍1, 𝑍2, 𝑍3, với thuộc tính cơ sở là nơi trồng thứ 4, mô hình PRF có dạng: 𝑋 = 𝑎 + 𝑏1𝑍1 + 𝑏2𝑍2 + 𝑏3𝑍3 + 𝑈. Ta có bài toán kiểm định giả thuyết H: 𝑏1 = 𝑏2 = 𝑏3 = 0, đối thuyết K: ∃𝑏𝑗 ≠ 0 . Chạy hồi quy ước lượng SRF, có kết quả: Từ kết quả hồi quy, đối với hệ số hồi quy của Z1, Z2 có p - value tương ứng là 0,0007 và 0,0001 đều bé hơn α = 0,05 nên X thực sự phụ thuộc thống kê vào Z1, Z2. Điều này cũng có nghĩa là năng suất bình quân X phụ thuộc vào nơi trồng. Lưu ý là kết quả chạy hồi quy cũng cung cấp cho chúng ta giá trị của thống kê F nói trên: F = 26,29231 - Nếu dùng kiểm định Wald Wald Test: Equation: Untitled Test Statistic Value df Probability F-statistic 19504.40 (3, 9) 0.0000 Chi-square 58513.20 3 0.0000 Kết quả kiểm định Wald cho ta p-value = 0,0000< 𝛼 = 0,05, nên ta bác bỏ giả thuyết H, chấp nhận đối thuyết K và có cùng kết luận như trên  Tài liệu tham khảo [1] A.M.Kagan, Yu.V.Linnik and C.RRao, Characterization Problems in Mathematical Statistics, John Wiley and Sons, New York 1973. [2] A.M. Kagan, Yu.V. Linnik and C.R.Rao, On a characterization of the normal low based on a property of the sample average, Sankhya, Ser. A27, 1965, 405-406. [3] C.G. Khatri and C.R. Rao, Some characterization of the Gamma ditribution, Sankhya, Ser, A30, 1968, 157-166. [4] C.G. Khatri, C.R. Rao, Solutions to some functional equation and their applicati- ons to characterization of probability distrib- utions, Sankhya, Ser A30, 1968, 167-170. [5] C.R. Rao, Characterization of the distrib- ution of random variables in linear structural relations, Sankhya, Ser. A28, 1966,251-260. [6] C.R.Rao, On some characterizations of the normal laws, Sankhya, Ser.A29, 1967 [7] B. Ramachandran, Advanced theory of characteristic functions, Statistical publishing society, Calcutta 1967 [8] B. Ramachandran and C.R. Rao, Solutio- ns of functional equations arising in some regression problems and of a characterization of of the Cauchy law, Sankhya, Ser. A32, 1970, 1-30 [9] P.K. Pathak and R.N. Pillai, On a characterization of the normal law, Sankhya, Ser. A30, 1968, 141-144. [10] R. Shimizu, Characteristic functions satisfying a function equation-I, Ann. Inst. Statist. Math.20, 1968, 187-209 [11] E. Lukacs and R.G. Laha, applications of characteristic Functions, 1964, Hajner Publishing Co., New York. [12] Trần Kim Thanh, Tổng ngẫu nhiên và ứng dụng, Tạp chí Khoa học công nghệ Giao thông vận tải, Trường ĐHGTVT Tp. HCM, 4-02/2013, 74-77. [13] Trần Kim Thanh, Đặc trưng phân bố của tổng ngẫu nhiên các đại lượng ngẫu nhiên và tính ổn định của chúng, Luận án Tiến sĩ Toán học. Hà Nội 2000. Ngày nhận bài: 14/04/2016 Ngày hoàn thành sửa bài: 06/05/2016 Ngày chấp nhận đăng: 13/05/2016 Dependent Variable: X Method: Least Squares Included observations: 13 Variable Coefficien t Std. Error t-Statistic Prob. C 1.320000 0.012910 102.2468 0.0000 Z1 0.080000 0.015811 5.059644 0.0007 Z2 0.110000 0.015811 6.957011 0.0001 Z3 0.010000 0.016667 0.600000 0.5633 R-squared 0.897584 Mean dependent var 1.380769 RSS 0.003000 Schwarz criterion -4.747000 F 26.29231 Durbin-Watson stat 1.900000