Luận văn Ước lượng và kiểm định trong thống kê nhiều chiều

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN HUỲNH VĂN HIẾU ƯỚC LƯỢNG VÀ KIỂM ĐỊNH TRONG THỐNG KÊ NHIỀU CHIỀU Chuyên ngành : Xác suất – Thống kê Mã ngành : 60 46 15 LUẬN VĂN THẠC SỸ TOÁN HỌC Người hướng dẫn khoa học: GS.TSKH Nguyễn Văn Thu TP.HCM, tháng 7 năm 2009 LỜI CẢM ƠN Lời đầu tiên tác giả xin gởi lời cảm ơn sâu sắc nhất đến GS.TSKH. Nguyễn Văn Thu. Cảm ơn sự hướng dẫn nhiệt tình và tận tâm của Thầy trong suốt thời gian thực hiện luận văn. Chân thành cảm ơn các Thầy phản biện đã đọc luận văn và cho những nhận xét rất quý báu. Cảm ơn các Thầy Cô trong Khoa Toán-Tin học, Đại học Khoa học Tự nhiên Tp.HCM nhất là các Thầy Cô trong Bộ môn Xác suất – Thống kê đã tận tình giúp đỡ tác giả trong suốt quá trình học tập và tham gia các hoạt động khoa học tại trường. Cảm ơn phòng Quản lý khoa học – Hợp tác Quốc tế – Sau Đại học trường Đại học Khoa học Tự nhiên Tp.HCM đã giúp đỡ về mặt thủ tục hành chính trong suốt quá trình tác giả học tập và tham gia các hoạt động khoa học tại trường. Tác giả không thể không kể đến sự giúp đỡ nhiệt tình của các các bạn học cùng khóa trong suốt thời gian tham gia khóa học. Vì thời gian hạn hẹp mà đề tài tương đối rộng nên chắc chắn có nhiều sai sót. Tác giả vô cùng biết ơn mọi đóng góp, chỉ dẫn của quý thầy cô và các bạn để luận văn được hoàn thiện hơn. Tp.HCM, tháng 8 năm 2009 Học viên Huỳnh Văn Hiếu MỤC LỤC Trang phụ bìa Lời cảm ơn Mục lục Lời giới thiệu CHƯƠNG 1 : CÁC KHÁI NIỆM................................................................................. 1 1. 1 Véc tơ ngẫu nhiên nhiều chiều ........................................................................... 1 1. 1. 1 Véc tơ ngẫu nhiên nhiều chiều .................................................................... 1 1. 1. 1. 1 Định nghĩa .......................................................................................... 1 1. 1. 1. 2 Hàm phân phối xác suất ..................................................................... 1 1. 1. 1. 3 Phân phối xác suất .............................................................................. 1 1. 1. 2 Vector trung bình – vector kỳ vọng............................................................. 2 1. 2 Ma trận hiệp phương sai..................................................................................... 5 1. 2. 1 Ma trận hiệp phương sai mẫu ...................................................................... 5 1. 2. 2 Ma trận hiệp phương sai tổng thể ................................................................ 6 1. 2. 3 Ma trận tương quan ..................................................................................... 7 1. 2. 4 Vector trung bình - ma trận hiệp phương sai cho nhiều nhóm con của các biến ............................................................................................................ 10 1. 2. 4. 1 Hai nhóm .......................................................................................... 10 1. 2. 4. 2 Ba hoặc nhiều các nhóm hơn............................................................ 14 1. 3 Sự kết hợp tuyến tính giữa các biến ................................................................. 15 1. 3. 1 Tính chất của mẫu...................................................................................... 15 1. 3. 2 Tính chất của tổng thể ............................................................................... 22 1. 4 Hàm mật độ của một đại lượng ngẫu nhiên nhiều chiều.................................. 24 1. 4. 1 Định nghĩa ................................................................................................. 24 1.4.2 Tính chất ................................................................................................24 1. 5 Phân phối đại lượng ngẫu nhiên nhiều chiều ................................................... 24 1. 5. 1 Định nghĩa ................................................................................................. 24 1. 5. 2 Tính chất .................................................................................................... 25 1. 6 Phân phối chuẩn nhiều chiều............................................................................ 26 1. 6. 1 Hàm mật độ phân phối chuẩn một biến..................................................... 27 1. 6. 2 Hàm mật độ của phân phối chuẩn nhiều chiều.......................................... 28 1. 6. 3 Tổng quát hóa phương sai tổng thể ........................................................... 28 1. 6. 4 Tính chất phân phối chuẩn của biến ngẫu nhiên nhiều chiều.................... 30 1. 6. 5 Ước lượng trong phân bố chuẩn nhiều chiều ............................................ 36 1. 6. 5. 1 Ước lượng hợp lý tối đa (MLE) ....................................................... 36 1. 6. 5. 2 Phân phối của y và S ...................................................................... 38 CHƯƠNG 2 : ƯỚC LƯỢNG KHÔNG CHỆCH TUYẾN TÍNH............................ 40 2. 1 Mô hình thống kê tuyến tính tổng quát hạng đầy đủ........................................ 40 2. 2 Ước lượng không chệch cho mô hình thống kê tuyến tính tổng quát hạng đầy đủ ...................................................................................................................... 42 2. 2. 1 Định lí 2.1 (Gauss – Markov).................................................................... 42 2. 2. 2 Bổ đề 2.1.................................................................................................... 43 2. 2. 3 Hệ quả 2.1.................................................................................................. 44 2. 3 Mô hình thống kê tuyến tính với hạng không đầy đủ ...................................... 46 2. 4 Ước lượng không chệch cho mô hình thống kê tuyến tính hạng không đầy đủ .. .......................................................................................................................... 46 2. 4. 1 Định lí 2.2 .................................................................................................. 46 2. 4. 2 Bổ đề 2.2................................................................................................... 47 2. 4. 3 Định lí 2.3 ( Gauss – Markov ).................................................................. 48 2. 4. 4 Ước lượng bình phương bé nhất mở rộng ................................................. 49 2. 4. 5 Tổ hợp tuyến tính tốt nhất của thống kê thứ tự ......................................... 52 2. 5 Ứng dụng trong mô hình ước lượng tham số hồi quy nhiều chiều .................. 59 2. 5. 1 Hàm hồi quy tổng thể (PRF)...................................................................... 59 2. 5. 2 Dạng ma trận của hàm hồi quy.................................................................. 60 2. 5. 2. 1 Hàm hồi quy tổng thể PRF ............................................................... 60 2. 5. 2. 2 Hàm hồi quy mẫu SRF ..................................................................... 60 2. 5. 3 Ước lượng bình phương bé nhất thông thường (OLS) .............................. 61 2. 5. 3. 1 Giới thiệu.......................................................................................... 61 2. 5. 3. 2 Điều kiện cần.................................................................................... 62 2. 5. 3. 3 Nghiệm hệ phương trình chuẩn ........................................................ 67 2. 5. 3. 4 Điều kiện đủ ..................................................................................... 69 2. 6 Xây dựng thuật toán hồi quy cho lập trình trên máy tính................................. 72 2. 6. 1 Bài toán xây dựng phương trình siêu phẳng hồi qui. ................................ 72 2. 6. 2 Bài toán tính hệ số tương quan riêng ........................................................ 72 2. 6. 3 Bài toán hồi quy từng bước ....................................................................... 73 2. 6. 4 Mô tả phương pháp tính toán..................................................................... 74 2. 6. 4. 1 Các ký hiệu sử dụng ......................................................................... 74 2. 6. 4. 2 Phương pháp tính toán...................................................................... 74 2. 6. 5 Xây dựng hàm tính định thức của ma trận (sau đó sử dụng hàm này để tính định thức của ma trận covarian L_Da) ...................................................... 75 2. 6. 5. 1 Phần 1 ............................................................................................... 75 2. 6. 5. 2 Phần 2 ............................................................................................... 76 2. 6. 5. 3 Xây dựng hàm tính định thức của ma trận khi bỏ đi 1 hàng 1 cột ....... .......................................................................................................... 77 2. 6. 6 Bài toán về tương quan riêng..................................................................... 78 2. 6. 7 Bài toán về hồi quy từng bước................................................................... 78 2. 6. 8 Lưu đồ thuật toán của ba bài toán nêu trên................................................ 79 CHƯƠNG 3 : KIỂM ĐỊNH GIẢ THIẾT TRÊN VECTƠ KỲ VỌNG................... 82 3. 1 Mâu thuẫn giữa kiểm định nhiều chiều và một chiều ...................................... 82 3. 2 Kiểm định trên μ với Σ đã biết ...................................................................... 83 3. 2. 1 Nhắc lại kiểm định đơn biến giả thiết 0 :H 0μ μ= với σ đã biết........... 83 3. 2. 2 Kiểm định nhiều chiều cho giả thiết : 0 0:μ μH = với đã biết ........... 84 ∑ 3. 3 Kiểm định giả thiết trên μ khi ∑ chưa biết .................................................... 89 3. 3. 1 Nhắc lại kiểm định đơn biến cho giả thiết 0 :H 0μ μ= khi σ chưa biết ... ................................................................................................................... 89 3. 3. 2 của Hotelling kiểm định giả thiết 2T 0 0:μ μH = với chưa biết ....... 90 ∑ 3. 4 So sánh hai vetor trung bình ............................................................................ 95 3. 4. 1 Nhắc lại hai mẫu một chiều với kiểm định t Test− ................................ 95 3. 4. 2 Kiểm định với hai mẫu nhiều chiều ...................................... 96 2 TestT − 3. 5 Kiểm định trên từng biến riêng lẻ với điều kiện bác bỏ giả thiết 0H bởi ........................................................................................................ 100 2T tes− t 3. 6 Thao tác tính toán của - Thu được từ hồi quy nhiều chiều............... 106 2T 2T 3. 7 Kiểm định các cặp quan sát ............................................................................ 108 3. 7. 1 Trường hợp một chiều ............................................................................. 108 3. 7. 2 Trường hợp nhiều chiều .......................................................................... 110 3. 8 Kiểm định thêm thông tin............................................................................... 113 3. 9 Phân tích hình thể ........................................................................................... 118 3. 9. 1 Phân tích hình thể một mẫu ..................................................................... 118 3. 9. 2 Phân tích hình thể hai mẫu ...................................................................... 121 CHƯƠNG 4: KIỂM ĐỊNH GIẢ THIẾT TRÊN MA TRẬN HIỆP PHƯƠNG SAI ...................................................................................................................................... 130 4. 1 Giới thiệu........................................................................................................ 130 4. 2 Kiểm định mô hình dự kiến cho ∑ ............................................................... 130 4. 2. 1 Kiểm định giả thiết H0: 0∑ = ∑ ............................................................. 130 4. 2. 2 Kiểm định tính cầu .................................................................................. 132 4. 2. 3 Kiểm định ( )20 1:H I+ Jσ ρ ρ⎡ ⎤∑ = −⎣ ⎦ ............................................... 135 4. 3 So sánh các kiểm định ma trận phương sai .................................................... 138 4. 3. 1 Kiểm đinh phương sai bằng nhau............................................................ 139 4. 3. 2 Kiểm định bằng nhau các ma trận hiệp phương sai nhiều chiều............. 140 4. 4 Kiểm định tính độc lập ................................................................................... 145 4. 4. 1 Độc lập của hai vector con ...................................................................... 145 4. 4. 2 Sự độc lập của nhiều vectors con ............................................................ 147 4. 4. 3 Kiểm định độc lập cho tất cả các biến ..................................................... 151 Tài liệu tham khảo Phụ lục Lời Giới Thiệu Ước lượng và kiểm định là các bài toán có ý nghĩa lớn trong thống kê. Từ mẫu ngẫu nhiên khảo sát được ta có thể đưa ra những nhận định sát với tổng thể để có được những dự đoán tương đối chính xác về một hiện tượng của xã hội hay các biến động trong tương lai… Ở nước ta hiện nay, phân tích thống kê nhiều chiều chưa được quan tâm một cách đáng kể trong các trường đại học và cao đẳng. Ước lượng và kiểm định lại là bài toán có ý nghĩa quan trọng trong việc phân tích hồi quy và phương sai nhiều chiều. Bắt nguồn từ những suy nghĩ trên, với sự hướng dẫn của Thầy và sự nghiên cứu của bản thân, tác giả xin được giới thiệu luận văn thạc sĩ của mình với đề tài : “Ước Lượng và Kiểm Định Trong Thống Kê Nhiều Chiều”. Nội dung chủ yếu của luận văn này nhằm giới thiệu : ¾ Hàm ( )g F nào đối với nó có ước lượng tuyến tính không chệch. Tìm trong lớp tất cả các ước lượng tuyến tính không chệch của ( )g F ước lượng có phương sai bé đều nhất. Từ đó ứng dụng trong mô hình ước lượng tham số hồi quy và xây dựng các thuật toán cho bài toán tìm siêu phẳng hồi quy. ¾ Các kiểm định giả thiết chủ yếu là trên vector kỳ vọng và ma trận hiệp phương sai. Phân tích để làm nổi rõ ưu điểm của việc sử dụng kiểm định nhiều biến trong thống kê nhiều chiều thay vì sử dụng kiểm định một biến thông thường. Dựa vào nội dung cơ bản trên luận văn gồm bốn chương với bố cục như sau Chương 1 : CÁC KHÁI NIỆM Chương này nhằm giới thiệu sơ lược về các khái niệm, thuộc tính của biến ngẫu nhiên nhiều chiều. Giới thiệu rõ về các tính chất của phân phối chuẩn nhiều chiều. Đây là phân phối quan trọng trong bài toán ước lượng và kiểm định. Chương 2 : ƯỚC LƯỢNG KHÔNG CHỆCH TUYẾN TÍNH Giới thiệu các định lí (Gauss – Markov) và bổ đề dùng để giải quyết bài toán ước lượng cho mô hình thống kê tuyến tính với hạng đầy đủ và hạng không đầy đủ. Từ lý thuyết có được ta xây dưng mô hình để ứng dụng ước lượng tham số hồi quy bằng phương pháp bình phương bé nhất. Sau đó là ứng dụng để xây dựng thuật toán tìm phương trình siêu phẳng hồi quy. Cuối chương là sơ đồ thuật toán tìm phuơng trình siêu phẳng hồi quy và hồi quy từng bước. Chương 3 : KIỂM ĐỊNH GIẢ THIẾT TRÊN VECTƠ KỲ VỌNG Ta tìm thấy từ chương này các kiểm định giả thiết 0 0:μ μH = cho trường hợp ma trận hiệp phương sai đã biết hoặc chưa biết. Bài toán kiểm định giả thiết với đối thiết ∑ 1:μ μoH = 2 21 1:μ μH ≠ tức là so sánh hai vector trung bình của hai mẫu ngẫu nhiên nhiều chiều cũng được trình bày ở chương này. Hoặc là bài toán kiểm định các cặp quan sát từ ghép nối hai mẫu nhiều chiều cũng được thảo luận khá kĩ trong chương này… Ưu điểm của chương này là các phần đều được xây dưng từ mô hình đơn chiều và phát triển thành mô hình đa chiều, giúp người đọc có thể so sánh ưu điểm của kiểm định nhiều chiều so vói dùng kiểm định một biến cho bài toán kiểm định nhiều chiều. Đồng thời các ví dụ được trình bày cụ thể với kết quả rõ ràng làm sáng tỏ hơn phần lý thuyết đã được trình bày. Chương 4 : KIỂM ĐỊNH GIẢ THIẾT TRÊN MA TRẬN HIỆP PHƯƠNG SAI Trong chương này , bao gồm ba loại hình cơ bản của kiểm định giả thiết : (1) mô hình dự kiến của ma trận hiệp phương sai, (2) hai hoặc nhiều ma trận phương sai bằng nhau, và (3) chắc chắn thành phần của ma trận phương sai là 0, kéo theo tính độc lập tương ứng của các biến ngẫu nhiên (chuẩn nhiều chiều). Trong hầu hết trường hợp, chúng ta sử dụng xấp xỉ tỉ số hợp lí. Kết quả thống kê kiểm định thường liên quan đến tỉ số xác định của các ma trận hiệp phương sai mẫu với giả thiết không và với đối thiết khác không. Ưu điểm của chương này là bên cạnh phần trình bày lý thuyết đều có kèm theo các ví dụ rất cụ thể với các kết quả rất rõ ràng và có liên thông với các kết quả của chương 1 và 3. Điều này giúp chúng ta có cái nhìn rõ liên hệ giữa các bài toán kiểm định với phương sai và cấu trúc của ma trận hiệp phương sai. Nhằm giúp luận văn chặt chẽ hơn về lí luận , cuối luận văn là phụ lục các bảng tra của phân phối như : phân phối chuẩn, phân phối chi bình phương, phân phối Student, phân phối Fisher… 1 Chương 1 CHƯƠNG 1 : CÁC KHÁI NIỆM 1. 1 Véc tơ ngẫu nhiên nhiều chiều : 1. 1. 1 Véc tơ ngẫu nhiên nhiều chiều n 1 2 nX (X ,X ,...,X ) : ( , ,P)= Ω F R→ X là hàm đo được, tức là nghịch ảnh của mọi ”hình hộp” đều là tập thuộc . F 1. 1. 1. 1 Định nghĩa Thứ tự trong : với nR n1 2 n 1 2 na (a ,a ,...a ), b (b ,b ,...b )= = R∈ , ta nói a b≺ nếu i ii 1,2,...,n : a b∀ = ≤ Hình hộp trong : nR 1 2 n[a, b] {x (x , x ,..., x ) : a x b}= = ≺ ≺ 1 2 n k k k(a, b] {x (x ,x ,..., x ) : a x b k 1,2,...,n}= = < ≤ ∀ = 1. 1. 1. 2 Hàm phân phối xác suất ( ) ( ){ } nXF x : P : X x x= ω∈Ω ω < ∀ ∈\ - Là hàm đơn điệu không giảm : X Xx y F (x) F (y⇒ ≤≺ ) - Liên tục phải, có giới hạn trái : k 0 X k X 0 k 0 X k X 0x x F (x ) F (x ) ; x x F (x ) c F (x ) ↓ ⇒ ↓ ↑ ⇒ ↑ ≤ - Tiến tới 0 khi với một chỉ số j nào đó jx ↓−∞ - Tiến tới 1 khi x ↑+∞ 1. 1. 1. 3 Phân phối xác suất j j n 1 1 n n n n m m 1 m m 1 m X X 1 1 n n m {0,1} P ((a, b]) : ( 1) F (b a ,...,b a ) 0 a, b : a b≤ ⎛ ⎞⎟⎜ ⎟⎜ ⎟−⎜ ⎟⎜ ⎟⎜ ⎟⎜ − −⎝ ⎠ ∈ ∑ = − ≥ ∀∑ ≺ Từ định nghĩa trên ta có thể nới rộng ra một độ đo XS trên nR - nX XP ( ) 0, F ( ) 1∅ = =R - n nX XP ( A) 1 P (A) A ( )− = − ∀ ∈R RB __________________________________________________________________ 2 Chương 1 - nX X XP (A B) P (A) P (B) A,B ( ),A B∪ = + ∀ ∈ ∩ =∅RB - nX k X k 1 2 i k k 1 k 1 P ( A ) P (A ) A ,A ,... ( ),A A i k ∞∞ = = = ∀ ∈ ∩ =∅∑∪ RB ∀ ≠ * Hệ quả : Trong nghiên cứu các đại lượng ngẫu nhiên nhiều chiều, có thể dùng các độ đo xác suất trên (phân phối XS của ĐLNNNC) thay cho độ đo xác suất P trên . nR Ω 1. 1. 2 Vector trung bình – vector kỳ vọng : Cho y là biểu diễn của một vector ngẫu nhiên p biến đo được trên đơn vị mẫu. Nếu n vectors riêng lẻ được quan sát trong mẫu : , thì : 1 2y ,y ,...,yn 1 2yi p y y y ⎛ ⎞⎜ ⎟⎜ ⎟= ⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠ # Vector trung bình mẫu y có thể có thể được tìm tương tự như n vector được quan sát hoặc được tính bởi trung bình của mỗi một p biến riêng lẻ : 1 2 1 1y y n i i p y y n y = ⎛ ⎞⎜ ⎟⎜ ⎟= = ⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠ ∑ # (1.1) ở đây cụ thể như : 22 1 n ii y y==∑ n . Do đó 1y là trung bình của n quan sát trên biến đầu tiên, 2y là trung bình của biến thứ hai và cứ như thế. Tất cả n vector được quan sát có thể được chuyển vị đến vector dòng và được liệt kê trong ma trân Y như sau 1 2y ,y ,...,yn __________________________________________________________________ 3 Chương 1 Đơn vị dòng Các biến Đơn vị dòng Các biến ở đây n thường là lớn hơn p. Dữ liệu được sắp xếp theo dạng bảng bằng việc truy nhập vào các vector quan sát theo hàng chứ không phải là theo cột. Chú ý rằng chỉ số dưới đầu tiên i tương ứng với các đơn vị dòng và chỉ số thứ hai j chỉ đến các biến. Quy ước này sẽ được mặc định cho bất kì các trình bày tương tự . Có thể bổ sung một cách thứ 2 để tính y , ta có thể có được y từ Y . Ta tính tổng n dữ liệu vào từ mỗi cột của Y và chia cho n. Điều này có thể được biểu diễn từ hướng dẫn sau : 1 2 'j A , ,...,i i i i i i a a a⎛ ⎞= ⎜ ⎟⎝ ⎠∑ ∑ ∑ p , 1 2Aj jj jj n jj a a a ⎛ ⎞⎜ ⎟⎜ ⎟= ⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠ ∑ ∑ ∑ # Vậy nên ta có : 1' 'y j Y n = (1.3) ở đây 'j là vector dòng của : 1 1 1 j ⎛ ⎞⎜ ⎟⎜ ⎟= ⎜ ⎟⎜ ⎟⎝ ⎠ # __________________________________________________________________ 4 Chương 1 Một minh họa thứ hai của 'j Y là : ( ) 12 22 2 1 2 1 1 1, , ..., n i i n y y y y = ⎛ ⎞⎜ ⎟⎜ ⎟ =⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠ ∑# Ta có thể biến đổi ' y để thu được : 1 'y Y j n = (1.4) Bây giờ ta đề cập đến tổng thể. Trung bình của y trên tất cả các giá trị có thể có trong tổng thể được gọi là vector kì vọng lí thuyết hoặc là giá trị kì vọng của y. Nó được định nghĩa như là vector của giá trị kì vọng của mỗi một biến. ( ) ( ) ( ) ( ) 11 1 22 2y μ p pp E yy E yy E E y E y μ μ μ ⎛ ⎞⎛ ⎞ ⎛ ⎞⎜ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟⎜ ⎟ ⎜ ⎟= = =⎜ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟⎝ ⎠ ⎝ ⎠⎝ ⎠ # ## = (1.5) ở đây jμ là kì vọng lí thuyết của biến thứ j. Điều này cho thấy rằng giá trị kì vọng của mỗi một trong jy y là jμ , đó chính là ( ) jjE y μ= , do đó giá trị kì vọng của y (trên tất cả các giá trị của mẫu) là ( ) ( ) ( ) ( ) 11 1 222y μ pp p E yy E yy E E y E y μ μ μ ⎛ ⎞⎛ ⎞ ⎛ ⎞⎜ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟= = =⎜ ⎟ ⎜ ⎟⎜ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎝ ⎠⎜ ⎟⎝ ⎠ ⎝ ⎠ ## # = (1.6) Thành ra y là một ước lượng không chệch của μ . Ta nhấn mạnh lại, y sẽ không bao giờ bằng tới μ __________________________________________________________________ 5 Chương 1 1. 2 Ma trận hiệp phương sai : 1. 2. 1 Ma trận hiệp phương sai mẫu : Ma trận hiệp phương sai mẫu ( )S jks= là ma trận của các phương sai và hiệp phương sai mẫu với p biến ( ) 11 12 1 21 22 2 1 2 S p p jk p p pp s s s s s s s s s s ⎛ ⎞⎜ ⎟⎜ ⎟= = ⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠ " " # # " # " (1.7) Trong S, phương sai mẫu của p biến nằm trên đường chéo ma trận. Tất cả các hiệp phương sai xuất hiện ngoài đường chéo chính của ma trận. Với j dòng (cột) bao gồm các hiệp phương sai của y j với p - 1 biến khác. Ta đưa ra hai cách tiếp cận để thu được S. Đầu tiên là các phép tính riêng lẻ của jks . Phương sai mẫu của phương sai của biến j, 2 jj js s= được tính bởi công thức : ( )212 1 n ii jj y y s s n = −= = − ∑ (1.8) Hoặc là : 22 2 1 1 n ii y n y s n = −= − ∑ (1.9) Nếu dùng cột j của Y thì : ( )22 1 1 1 n jj j ij j i s s y n = = = −− ∑ y (1.10) 221 1 ij ji y n y n ⎛ ⎞= −⎜− ⎝ ⎠∑ ⎟ (1.11) ở đây jy là trung bình của j các biến. Hiệp phương sai của j x k các biến, jks được tính bởi : __________________________________________________________________ 6 Chương 1 ( )( )1 1 n i ii xy x x y y s n = − −= − ∑ (1.12) Hoặc 1 1 n i ii xy x y nx y s n = −= − ∑ (1.13) Nếu dùng j và k cột của Y thì : ( )( 1 1 1 n jk ij ik )j k i s y y y y n = = −− ∑ − (1.14) 1 1 ij ik j ki y y ny y n ⎛ ⎞= −⎜− ⎝ ⎠∑ ⎟ (1.15) 1. 2. 2 Ma trận hiệp phương sai tổng thể Nếu y là một vector ngẫu nhiên được lấy từ bất kì một giá trị nào của tổng thể nhiều chiều , ma trận hiệp phương sai của tổng thể được định nghĩa là (1.16) ( ) 11 12 1 21 22 2 1 2 cov y p p p p pp σ σ σ σ σ σ σ σ σ ⎛ ⎞⎜ ⎟⎜ ⎟∑ = = ⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠ " " # # " # " Ma trận hiệp phương sai tổng thể ở trên cũng có thể được tìm như sau : ( )( )'y μ y μE ⎡ ⎤∑ = − −⎣ ⎦ (1.17) Ma trận ∑ ( p x p) là ma trận ngẫu nhiên. Giá trị được kỳ vọng của một ma trận ngẫu nhiên được xác định như là một ma trận những giá trị được kỳ vọng của sự tương ứng các phần tử. Ta sẽ thấy được sự xây dựng ma trận phương sai hiệp phương sai mẫu của p chiều như sau : __________________________________________________________________ 7 Chương 1 ( )( ) ( ) ( ) ( )( ) ( )( ) ( )( ) ( ) ( )( ) ( )( ) ( )( ) ( ) ( ) ( )( ) ( )( ) 1 1 2 2 1 1 2 2 2 1 1 1 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1 1 2 2 2 1 1 1 1 2 2 1 1 'y μ y μ , , ..., p p p p p p p p p p p p p p p p y y E E y y y y y y y y y y y y y y E y y y y y E y E y y E y y μ μ μ μ μ μ μ μ μ μ μ μ μ μ μ μ μ μ μ μ μ μ μ μ μ −⎛ ⎞⎜ ⎟−⎜ ⎟⎡ ⎤∑ = − − = − − −⎜ ⎟⎣ ⎦ ⎜ ⎟⎜ ⎟−⎝ ⎠ ⎛ ⎞− − − − −⎜ ⎟⎜ ⎟− − − − −⎜ ⎟= ⎜ ⎟⎜ ⎟⎜ ⎟− − − − −⎝ ⎠ − − − − = " " " # # # " " ( )( ) ( ) ( )( ) ( )( ) ( )( ) ( ) 2 2 2 1 1 2 2 1 1 2 1 1 2 2 11 12 1 21 22 2 1 2 p p p p p p p p p p p p pp E y y E y E y y E y y E y y E y μ μ μ μ μ μ μ μ μ μ σ σ σ σ σ σ σ σ σ ⎛ ⎞⎜ ⎟⎜ ⎟− − − − −⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟− − − − −⎝ ⎠ ⎛ ⎞⎜ ⎟⎜ ⎟= ⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠ " # # # " " " # # " # " μ− Vì ( )jk jkE s σ∑ = = với mọi j và k nên ma trân hiệp phương sai mẫu S là một ước lượng không chệch của ∑ : ( )SE = ∑ (1.18) 1. 2. 3 Ma trận tương quan : Tương quan mẫu giữa (j x k ) các biến được định nghĩa bỡi : jk jkjk j kjj kk s s r s ss s = = (1.19) Ma trận tương quan mẫu là tương tự ma trận hiệp phương sai với sự tương quan trong không gian của các phương sai. __________________________________________________________________ 8 Chương 1 (1.20) ( ) 12 1 21 2 1 2 1 1 1 R p p jk p p r σ σ σ σ σ σ ⎛ ⎞⎜ ⎟⎜= = ⎜⎜ ⎟⎜ ⎟⎝ ⎠ " " # # " # " ⎟⎟ Ví dụ ở dòng thứ 2, bao gồm tương quan của với mỗi thành phần của y (bao gồm cả tương quan của với chính nó, là 1). Dĩ nhiên ma trận tương quan là ma trận đối xứng, vì . Ma trận tương quan có thể thu được từ ma trận hiệp phương sai, và ngược lại, 2y 2y jk kjr r= ( ) ( ) 11 22 1 2 D diag , ,..., diag , ,..., s pp p s s s s s s = = 0 0 0 0 0 0 s s s ⎛ ⎞⎜ ⎟⎜ ⎟= ⎜ ⎟⎜ ⎟⎝ ⎠ " " # # " # " (1.21) Ta có : 1 1R D SDs s − −= (1.22) S D RDs s= (1.23) Tương tự ma trận tương quan tổng thể và được định nghĩa là : (1.24) ( ) 12 1 21 2 1 2 1 1 1 P p p jk p p ρ ρ ρ ρ ρρ ρ ρ ⎛ ⎞⎜ ⎟⎜ ⎟= = ⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠ " " # # " # " Ở đây : jk jk j k σρ σ σ= __________________________________________________________________ 9 Chương 1 Ví dụ 1.1 : Cho bảng dữ liệu sau, với ba biến được đo (mẫu thử là 100g )tại mười địa điểm khác nhau y1=calcium trong đất, y2=lượng calcium đã được chuyển đổi, y3=calcium có trong cây cải xanh. Địa điểm Bảng 1.1 : Lượng calcium trong đất và trong cây cải xanh Để tính được ma trận phương sai mẫu cho cột dữ liệu calcium của bảng. Ta tính tổng bình phương của mỗi một cột và tổng các kết quả mỗi cặp của cột, ta minh họa phép tính của 13s : Từ các công thức ở trên ta dễ dàng tính được : 1 28 1.y = và 3 3 089.y = Từ công thức (1.14) và (1.15), ta có : Tiếp tục với sự tương tự ta có được ma trận hiệp phương sai là : Để có được ma trận tương quan với dữ liệu trên ta có thể tính toán riêng lẻ bằng cách dùng công thức ( 1.19) . Hoặc có thể dùng trực tiếp từ thủ thuật ma trận : __________________________________________________________________ 10 Chương 1 1 1R D SDs s − −= Ma trận đường chéo chính Ds có thể tìm bằng cách lấy căn bậc hai trên các đường chéo chính của ma trận S : Từ đó ta có : 1. 2. 4 Vector trung bình - ma trận hiệp phương sai cho nhiều nhóm con của các biến : 1. 2. 4. 1 Hai nhóm : Nhiều khi một khảo sát nào đó quan tâm đến hai dạng khác nhau của biến, cả hai cùng được đo trên một đơn vị mẫu. Một số hành vi được quan sát trong lớp học dành cho sinh viên, và trong cùng một khoảng thời gian nhất định (các đơn vị cơ bản thực nghiệm) một số hành vi của giáo viên cũng được quan sát. Khảo sát muốn nghiên cứu mối liên hệ các biến của học sinh và các biến của giáo viên. Ta sẽ biểu diễn hai nhóm vector bỡi y và x với p biến trong y và q biến trong x. Vì vậy, mỗi một vector quan sát trong mẫu là được phân chia là : (1.25) 1 1 1 2 y , , , ..., x i ipi i i y y i n x xp ⎛ ⎞⎜ ⎟⎜ ⎟⎜ ⎟⎛ ⎞ = =⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠ # # S S S S S yy yx xy xx ⎛ ⎞= ⎜ ⎟⎜ ⎟⎝ ⎠ (1.26) __________________________________________________________________ 11 Chương 1 Ở đây là (p x p), S là ( p x q ) , S yy yx Sxy là ( q x p) và Sxx là (q x q). Cũng cần chú ý rằng vì tính chất đối xứng của S nên 'S Sxy y= x ⎟⎟ (1.27) Vậy nên, ta có thể viết : (1.28) ' S S S S S yy yx yx xx ⎛ ⎞= ⎜⎜⎝ ⎠ Để minh họa ta cho p = 2 và q = 3, ta có : Các mẫu trong mỗi và SS ,S ,Syy yx xy xx được biểu diễn rõ ràng trong minh họa này. Ví dụ dòng đầu của S là hiệp phương sai của với mỗi yx 1y 1 2 3, ,x x x . Dòng thứ hai là biểu diễn hiệp phương sai của với ba biến của x. Mặt khác ta cũng có ở dòng đầu của S 2y xy là các hiệp phương sai của 1x với và và cứ thế … Như vậy : 1y 2y 'S Sxy y= x Tương tự, đối với tổng thể kết quả của việc phân chia các vector ngẫu nhiên là : ( ) ( ) y μy x μx y x E E E ⎛ ⎞ ⎛ ⎞⎛ ⎞ = =⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟⎝ ⎠ ⎝ ⎠⎝ ⎠ (1.29) y cov x yy yx xy xx ∑ ∑⎛ ⎞⎛ ⎞ = ∑ = ⎜⎜ ⎟ ⎜∑ ∑⎝ ⎠ ⎝ ⎠ ⎟⎟ (1.30) __________________________________________________________________ 12 Chương 1 ở đây 'xy∑ = ∑ yx . Ma trận con yy∑ là ma trận hiệp phương sai ( p x p) chứa phương sai của trên đường chéo chính và hiệp phương sai của mỗi và nằm ngoài đường chéo. Tương tự như vậy, 1 2, , ..., py y y jy ky xx∑ là ma trận hiệp phương sai ( q x q ) của 1 2, , ..., kx x x . Ma trận yx∑ là ( p x q ) và bao gồm hiệp phương sai của mỗi với mỗi jy kx . Ma trận hiệp phương sai yx∑ thì cũng được biểu diễn bởi ( )cov y,x tức là : ( )cov y,x yx= ∑ (1.31) Cần chú ý sự khác nhau trong ý nghĩa giữa trong công thức (1.30) và y cov x ⎛ ⎞ = ∑⎜ ⎟⎝ ⎠ ( )cov y,x yx= ∑ trong công thức (1.31). ycov x ⎛ ⎞⎜ ⎟⎝ ⎠ bao gồm một vector đơn chứa p+q biến, và ( )cov y,x thì bao gồm hai vector. Nếu x và y là độc lập thì 0yx∑ = . Điều này có nghĩa là mỗi một biến đều không tương quan với mỗi jy kx vì thế nên 0j ky xσ = cho 1 2 1 2, , ..., ; , , ...,j p k q= = . Ví dụ 1.2: Reaven và Miller (1979; Andrews và Herzberg 1985, pp. 215-219) đo lường năm biến so sánh giữa người bình thường và của bệnh nhân đái tháo đường . Trong Bảng 1.2 ta chỉ xét một phần dữ liệu cho người bình thường. Ba biến chính được quan tâm là : 1x = lượng đường không được dung nạp 2x = isulin dùng để cân bằng lượng đường được uống 3x = kháng isulin Thêm hai bổ sung các biến nhỏ cũng được quan tâm là : 1y = quan hệ trọng lượng 2y =Lưu lượng đường huyết __________________________________________________________________ 13 Chương 1 Số người bệnh Bảng 1.2 : Quan hệ giữa nồng độ Insulin với cân nặng và lượng đường trong máu __________________________________________________________________ 14 Chương 1 Vector trung bình được phân chia theo công thức là : Ma trận hiệp phương sai được phân chia như trong phân tích trên sẽ là : Lưu ý là ma trận và S yy Sxx là các ma trận vuông, và Sxy là ma trận chuyển vị của S yx 1. 2. 4. 2 Ba hoặc nhiều các nhóm hơn : Trong một số tình huống ba hay nhiều hơn các nhóm rất được quan tâm. Nếu vector y quan sát được phân chia như sau : 1 2 y y y yk ⎛ ⎞⎜ ⎟⎜ ⎟= ⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠ # , ở đây có 1y 1p các biến, có 2y 2p ,…,và có yk kp các biến với : 1 2 ... kp p p p= + + + Vector trung bình mẫu và ma trận hiệp phương sai được cho bởi : 1 2 y yy yk ⎛ ⎞⎜ ⎟⎜ ⎟= ⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠ # (1.32) __________________________________________________________________ 15 Chương 1 (1.33) 11 12 1 21 22 2 1 2 S S S S S S S S S S p p p p pp ⎛ ⎞⎜ ⎟⎜ ⎟== ⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠ " " # # " # " Ví dụ như ma trận con ( )2 2S k kp x p bao gồm phương sai và hiệp phương sai của các biến trong với các biến trong . 2y yk Tương ứng với tổng thể ta có kết quả như sau : 1 2 μ μ μ μk ⎛ ⎞⎜ ⎟⎜ ⎟= ⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠ # , (1.34) (1.35) 11 12 1 21 22 2 1 2 k k k k kk ∑ ∑ ∑⎛ ⎞⎜ ⎟∑ ∑ ∑⎜ ⎟∑ = ⎜ ⎟⎜ ⎟⎜ ⎟∑ ∑ ∑⎝ ⎠ " " # # " # " 1. 3 Sự kết hợp tuyến tính giữa các biến 1. 3. 1 Tính chất của mẫu : Ta thường quan tâm đến sự kết hợp tuyến tính giữa các biến .Trong phần này chúng ta sẽ khảo sát trung bình, phương sai và hiệp phương sai của sự kết hợp tuyến tính. 1 2, , ..., py y y Cho là các là hệ số và được xem như là sự kết hợp tuyến tính của các yếu tố của vector y, 1 2, , ..., pa a a 1 1 2 2 '... a yp pz a y a y a y= + + + = (1.36) __________________________________________________________________ 16 Chương 1 Ở đây . Nếu cùng một hệ số của vector a được áp dụng cho mỗi trong mẫu , ta có : ( 1 2'a , , ..., pa a a= ) yi 1 1 2 2 1 2 'z ... a y , , , ....,i i i p ip ia y a y a y i p= + + + = = (1.37) Trung bình mẫu của z có thể được tìm thấy bởi trung bình cộng của n giá trị , ,…, hoặc là như một kết hợp tuyến tính của 1 1 'a yz = 2 2'a yz = 'a ynz = n y các vector trung bình mẫu của . 1 2y ,y ,...,yn 1 1 'a y n i i z z n = = =∑ (1.38) Kết quả trên đây là tương tự như kết quả ở trường hợp đơn biến z a y= ở đây 1, , ...,i iz ay i= = n nTương tự như vậy, phương sai mẫu của có thể được tìm như là phương sai mẫu của hoặc trực tiếp từ a và S , ở đây S là ma trận hiệp phương sai của 1'a , , ...,i iz y i= = 1 2, , ..., nz z z 1 2y ,y ,...,yn ( )212 1 'a Sa n ii z z z s n = −= − ∑ = 2 (1.39) Chú ý rằng là mô hình nhiều biến từ kết quả đơn biến 2 'a Sazs = 2 2zs a s= ở đây và 1' , , ...,i iz a y i= = n 2s là phương sai của 1 2, , ..., ny y y Vì phương sai là luôn không âm, ta có và thành ra cho mỗi a. Do đó ít nhất S là nửa xác định dương. Nếu các biến là liên tục và không quan hệ tuyến tính, và nếu n-1> p (do S hạng đầy đủ ) thì S được xác định dương ( với xác xuất là 1 ) 2 0zs > 0'a Sa> Nếu ta xác định một kết hợp tuyến tính khác ở đây là vector hệ số ( hằng số ) khác . Vì thế hiệp phương sai của z và w được cho bởi : 1 1 2 2 'b y ... p pw b y b y b= = + + + y )( 1 2'b , , ..., pb b b= 'a __________________________________________________________________ 17 Chương 1 ( )( )1 1 'a Sb n i ii zw z z w w s n = − −= − ∑ = (1.40) Tương quan mẫu giữa w và z sẵn sàng nhận được là : ( )( )2 2 ' ' ' a Sb a Sa b Sb zw zw z w sr s s = = (1.41) Giờ ta sẽ biểu diễn luôn hai vector hệ số ( hằng số ) a và b là và để tạo điều kiện thuận lợi về sau khi mở rộng nhiều hơn hai vectors như vậy. Cho : 1a 2a 1 2 , , a A a ⎛ ⎞= ⎜ ⎟⎜ ⎟⎝ ⎠ và định nghĩa: 1 1 22 ' ' a y z a y z z ⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎝ ⎠⎝ ⎠ Và sau đó ta có thể có nhân tố y từ biểu diễn của biểu thức : 1 2 ' , a z y Ay a ⎛ ⎞⎜ ⎟= =⎜ ⎟⎝ ⎠ Nếu ta ước lượng hai chiều từ cho mỗi p – biến trong mẫu. Chúng ta nhận được và giá trị trung bình của z trên mẫu có thể được tìm thấy từ zi yi 1 2z Ay , , ,...,i i i= = n y : 1 1 2 2 ' ' y z y z a z a ⎛ ⎞⎛ ⎞= = ⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠ (1.42) 1 2 ' ' z y Ay a a ⎛ ⎞== =⎜ ⎟⎜ ⎟⎝ ⎠ (1.43) Ta có thể dùng (1.39) và (1.40) để xây dựng ma trận hiệp phương sai mẫu cho z : __________________________________________________________________ 18 Chương 1 (1.44) 1 1 2 2 1 2 2 1 1 1 2 2 2 1 2 2 ' ' ' ' a a a a S a a a a z z z z z z z s s S S s s S S ⎛ ⎞ ⎛ ⎞⎜ ⎟= = ⎜ ⎟⎜ ⎟⎜ ⎟ ⎝ ⎠⎝ ⎠ Bởi vì : 1 1 1 2 2 1 2 2 ' ' ' ' ' a a a a ASA a a a a S S S S ⎛ ⎞= ⎜ ⎟⎜ ⎟⎝ ⎠ Yếu tố này đưa đến : (1.45) ( )1 1 2 2 ' ' ' a S S a , a A az ⎛ ⎞= =⎜ ⎟⎜ ⎟⎝ ⎠ SA Kết quả hai biến ở trên có thể sẳn sàng để mở rộng nhiều hơn hai kết hợp tuyến tính. Nếu chúng ta có k phép biến đổi tuyến tính, chúng ta có thể biểu diễn như sau : 1 11 1 12 2 1 1 2 21 1 22 2 2 2 1 1 2 2 ' ' ' ... a y ... a y ... a y p p p p k k k kp p k z a y a y a y z a y a y a y z a y a y a y = + + + = = + + + = = + + + = # Hoặc bằng kí hiệu ma trận là : 1 11 2 2 2 ' ' ' ' ' ' a y a a y a z y Ay a y ak k k z z z ⎛ ⎞ ⎛ ⎞⎛ ⎞ ⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎜ ⎟= = = =⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠ ⎝ ⎠ # # # ở đây z là ( k x 1 ) chiều, A là ( k x p ) chiều, và y là ( p x 1 ) chiều ( chúng ta quy ước là k ). Nếu là định trị cho tất cả các p≤ z Ayi = i n1y , ,...,i i = điều này cho bởi (1.38) Vectror trung bình mẫu của z là : __________________________________________________________________ 19 Chương 1 1 1 22 ' ' '' '' a y a aa yz y Ay aa y kk ⎛ ⎞ ⎛ ⎞⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟= = =⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟⎜ ⎟ ⎝ ⎠⎝ ⎠ ## (1.46) Mở rộng từ biểu diễn (1.44) ta có ma trận hiệp phương sai mẫu của trở thành : z (1.47) 1 1 1 2 1 2 1 2 2 2 1 1 ' ' ' ' ' ' ' ' ' a Sa a Sa a Sa a Sa a Sa a Sa S a Sa a Sa a Sa k k z k k k ⎛ ⎞⎜ ⎟⎜ ⎟= ⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠ " " # # # " k ( ) ( ) ( ) 1 1 2 2 1 2 1 1 ' ' ' a Sa , Sa , Sa a Sa , Sa , Sa a Sa , Sa , Sa k k k k ⎛ ⎞⎜ ⎟⎜ ⎟⎜ ⎟= ⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠ " " # # # " ( ) 1 2 1 2 ' ' ' a a Sa , Sa , ,Sa a k k ⎛ ⎞⎜ ⎟⎜ ⎟= ⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠ "# (1.48) ( ) 1 2 1 2 ' ' ' ' a a S a , a , ,a ASA a k k ⎛ ⎞⎜ ⎟⎜ ⎟= =⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠ "# Chú ý rằng từ (1.47) và (1.48) ta có : (1.49) ( ) 1 ' 'tr ASA a Sa k i i i= =∑ biến đổi tuyến tính yếu hơn là : 1 2z Ay b, , , ...,i i i n= + = (1.50) Vector trung bình và hiệp phương sai mẫu được cho bởi : z Ay b= + (1.51) (1.52) 'S ASAz = __________________________________________________________________ 20 Chương 1 Ví dụ 1.3: Timn (1975, p. 233; 1980, p. 47) đã báo cáo về kết quả của một thí nghiệm ở đây chủ đề là tìm kiếm trả lời “đáp từ ” ở năm vị trí trong một chủ đề. Các biến là thời gian đáp ứng cho j đáp từ 1 2 5, , ...,jy j = . Dữ liệu được cho trong Bảng 1.3 sau: Số chủ đề Bảng 1.3: Thời gian đáp ứng cho năm đáp từ của một chủ đề Những biến này được quy ước ( đo trên cùng một đơn vị tương tự như trung bình và phương sai ) và các nhà nghiên cứu có thể muốn kiểm tra một số kết hợp tuyến tính đơn giản. Xem xét các kết hợp tuyến tính sau đây là mục đích để minh họa : Nếu z là được tính cho mỗi của 11 quan sát, chúng ta có được với trung bình 1 2 11288 155 146, , ....,z z z= = = 197 0.z = và phương sai . Ta cũng có cùng một kết quả như vậy nếu dùng công thức (1.38) và (1.39) thì vector trung bình mẫu và ma trận hiệp phương sai cho dữ liệu trên là : 2 2084 0.zs = __________________________________________________________________ 21 Chương 1 Kế đó , vì (1.38) nên ta có : và từ (1.39) : Bây giờ ta sẽ nêu ra một tổ hợp tuyến tính thứ hai : Trung bình mẫu và phương sai của w là : 44 45'w b y .= = và 2 605 67'b Sb .ws = = Ma trận hiệp phương sai mẫu của z và w được tính bởi (1.40) là : 40 2'a Sb .z ws = = Tiếp tục dùng công thức (1.41)ta tìm được tương quan của z và w là : Bây giờ chúng ta xét ba hàm tuyến tính : Ta cũng có thể biểu diễu dưới dạng ma trận như sau : __________________________________________________________________ 22 Chương 1 hoặc : Vector trung bình mẫu cho bởi (1.46) là : Ma trận hiệp phương sai mẫu được cho bởi : là : 'S ASAz = Ma trận hiệp phương sai có thể biến đổi đến một ma trận tương quan bởi công thức (1.22): S z ở đây : Là nhận được từ căn bậc hai các phần tử trên đường chéo chính của S . z 1. 3. 2 Tính chất của tổng thể : Các kết quả về sự kết hợp tuyến tính ở trên có bản sao trong tổng thể. Cho ở đây a là một vector hệ số (hằng số ). Trung bình mẫu của z sẽ là: 'a yz = __________________________________________________________________ 23 Chương 1 ( ) ( ) ( )' 'a y a y a'μE z E E= = = (1.53) Và phương sai của tổng thể là : ( )2 ' 'var a y a azσ = = ∑ (1.54) Cho ở đây b là vector hệ số (hằng số) khác a. Hiệp phương sai tổng thể của và là : 'b yw = 'a yz = 'b yw = ( ) 'cov , a bz wz w σ= = ∑ (1.55) Từ công thức tương quan của x và y: ( ) ( )( )( ) ( )22, x yxy xy x y x y E x y corr x y E x E y μ μσρ σ σ μ μ − −= = = − − Ta có tương quan tổng thể của z và w là : ( ) ( )( ) ' ' ' ' ' a ba y,b y a a b b zw zw z w corr σρ σ σ ∑= = = ∑ ∑ (1.56) Nếu Ay là biểu diễn cho nhiều kết hợp tuyến tính, vector trung bình mẫu và ma trận hiệp phương sai cho bởi : ( ) ( )Ay A y AμE E= = (1.57) ( ) 'cov Ay A A= ∑ (1.58) Phép biến đổi tuyến tính tổng quát hơn z Ay b= + có vector trung bình mẫu và ma trận hiệp phương sai là : ( ) ( )Ay b A y b Aμ bE E+ = + = + (1.59) ( ) 'cov Ay b A A+ = ∑ (1.60) __________________________________________________________________ 24 Chương 1 1. 4 Hàm mật độ của một đại lượng ngẫu nhiên nhiều chiều 1. 4. 1 Định nghĩa Ta nói rằng đại lượng ngẫu nhiên nhiều chiều X là liên tục nếu tồn tại một hàm số sao cho n nf : ( , ) : [0, )+= −∞ ∞ → = ∞R R n 2 1x x xx n X 1 2 n 1 2 n 1F (x) f ( t )d t ... f (t , t ,..., t )dt dt ...dt x (x ,x ,..., x ) −∞ −∞ −∞−∞ = = ∀ =∫ ∫ ∫ ∫ R2 n ∈ Lúc đó hàm f được gọi là hàm mật độ (XS) của véc tơ NN X . 1. 4. 2 Tính chất i) n 2 1 n 2 1 b b bb n X 1 2 n 1 2 a a a a P ((a, b]) f ( t )d t = ... f (t , t ,..., t )dt dt ...dt a,b= ∀∫ ∫ ∫ ∫ Rn ∈ ii) E(X) t .f ( t )d t ∞ −∞ = ∫ iii) TVar(X) ( t E(X)).( t E(X)) .f ( t )d t ∞ −∞ = − −∫ 1. 5 Phân phối đại lượng ngẫu nhiên nhiều chiều : 1. 5. 1 Định nghĩa Cho là một đại lượng ngẫu nhiên nhiều chiều. Và hàm mật độ xác suất kết hợp của chúng là f 1 2 nX (X ,X ,...,X )= X(X1, X2, …, Xn). Tương tự như trước đây, chúng là độc lập nếu hàm mật độ xác suất chung là tích của mỗi hàm mật độ xác suất riêng lẻ. Vì vậy, chúng ta có fX(X1, X2, …, Xn) = fX1(X1) . fX2(X2) . . . fXn(Xn) Trong trường hợp đặc biệt khi mỗi giá trị x được phân phối giống nhau và độc lập lẫn nhau, chúng ta có fX(X1, X2, …, Xn) = fX(X1) . fX(X2) . . . fX(Xn) Trong đó fX(x) là hàm phân phối chung của mỗi giá trị x. __________________________________________________________________ 25 Chương 1 1. 5. 2 Tính chất : a. Nếu a1, a2, …, an là hằng số hoặc không ngẫu nhiên thì E[a1X1 + a2X2 + . . . + anXn] = a1E(X1) + a2E(X2) + . . . + anE(Xn). Giá trị kỳ vọng của một tổ hợp tuyến tính các số hạng bằng tổ hợp tuyến tính của mỗi giá trị kỳ vọng riêng lẻ. b. Nếu mỗi Xi đều có giá trị trung bình bằng nhau thì E(Xi) = µ, chúng ta có ( )i iE a .X aΣ =μΣ i Đặc biệt, nếu tất cả hệ số ai đều bằng nhau và bằng (1/n) thì chúng ta có: ( )ixE E X n ⎛ ⎞Σ ⎟⎜ = =⎟⎜ ⎟⎜⎝ ⎠ μ Giá trị kỳ vọng của giá trị trung bình của các biến ngẫu nhiên có phân phối giống nhau sẽ bằng giá trị trung bình chung của chúng. c. ( ) ( ) ( )2i i i i i i j i j i j Var a .X a .Var x a .a cov X .X ≠ ⎡ ⎤Σ =Σ +⎣ ⎦ ∑∑ trong đó các hệ số ai được giả thiết là hằng số hoặc không ngẫu nhiên. d. Nếu tất cả các biến X1, X2, …, Xn đều độc lập thì mỗi cặp tương quan và hiệp phương sai sẽ bằng 0 hay Cov(x ijρ i, xj) = 0 = với mọi i ≠ j. ijρ e. Từ (c) và (d) ta có thể rút ra kết luận rằng khi biến x độc lập thì ( ) (2i i i i iVar a .X a .Var x )⎡ ⎤Σ =Σ⎣ ⎦ vì số hạng hiệp phương sai sẽ không tồn tại nữa. Do đó, phương sai của tổng các biến ngẫu nhiên độc lập sẽ bằng tổng các phương sai. Đặc biệt, nếu tất cả các giá trị phương sai đều bằng nhau, nghĩa là với mỗi i thì ( ) 2iVar X =σ __________________________________________________________________ 26 Chương 1 ( ) 2 2i i iVar a .X a⎡ ⎤Σ = σ Σ⎣ ⎦ f. Nếu tất cả các X1, X2, . . ., Xn đều là biến ngẫu nhiên độc lập nghĩa là tập biến X i có phân phối chuẩn với giá trị trung bình µi và phương sai hay được thể hiện bằng ký hiệu X 2 iσ i ~ N(µi, ) thì tổ hợp tuyến tính của tập biến x cho trước có dạng 2 iσ a1X1 + a2X2 + . . . + anXn cũng sẽ có dạng phân phối chuẩn với giá trị trung bình là a1 µ1 + a2 µ2 + . . . + an µn và giá trị phương sai là . 2 2 2 2 2 21 1 2 2 n na a .... aσ + σ + + σ Trong ký hiệu phép lấy tổng, chúng ta có thể viết như sau ( ) ( ) ( )2 2i i i i 1 iU a X ~ N a , a⎡ ⎤=Σ Σ μ Σ σ⎢ ⎥⎣ ⎦ g. Nếu tất cả các X1, X2, . . ., Xn đều độc lập và có phân phối giống nhau tuân theo phân phối chuẩn N(µ, ) thì giá trị trung bình của chúng là 2σ i 1X n = ΣX sẽ có dạng phân phối chuẩn với giá trị trung bình bằng µ và phương sai bằng 2 n σ , nghĩa là X ~ N 2 , n ⎛ ⎞σ ⎟⎜ ⎟μ⎜ ⎟⎜ ⎟⎝ ⎠ . Tương tự, chúng ta có z = ( )n X−μ σ ~ N(0, 1). 1. 6 Phân phối chuẩn nhiều chiều : Đa số kiểm định của biến ngẫu nhiên một chiều và các khoảng tin cậy dựa trên phân phối chuẩn đơn chiều. Tương tự như vậy, phần lớn các phương pháp ngẫu nhiên đa chiều có phân phối chuẩn nhiều chiều như chính nền tảng cơ sỡ của nó. Có nhiều ứng dụng hữu ích cho phân phối chuẩn nhiều chiều. Phân phối có thể được mô tả bằng cách sử dụng : trung bình, phương sai và hiệp phương sai. Đồ __________________________________________________________________ 27 Chương 1 thị của biến ngẫu nhiên hai chiều có xu hướng biểu thị tuyến tính. Hàm tuyến tính của biến ngẫu nhiên nhiều chiều có phân bố chuẩn thường là chuẩn tắc. Như trong trường hợp một chiều biểu hiện thuận lợi của hàm mật độ là mượn chính nó để làm nguồn gốc cho nhiều tính chất và các kiểm định thống kê. Thậm chí khi dữ liệu không phải là chuẩn tắc nhiều chiều thì chuẩn tắc nhiều chiều có thể xử lí bằng các xấp xỉ có lợi. Đặc biệt là trong những kết luận liên quan đến vector trung bình mẫu, thường được xấp xỉ chuẩn tắc nhiều chiều bởi định lí giới hạn trung tâm. Khi hàm mật độ chuẩn nhiều biến được mở rộng từ hàm mật độ chuẩn một chiều nó được thừa hưởng nhiều tính chất đặc trưng. Ta sẽ nhắc lại hàm mật độ của phân phối chuẩn một biến trong mục 1.6.1 và sau đó sẽ mở rộng để mô tả hàm mật độ phân phối chuẩn của biến ngẫu nhiên nhiều chiều trong mục 1.6.2. Các mục còn lại của chương dành cho việc nghiên cứu mở rộng các tính chất của phân phối chuẩn nhiều chiều. 1. 6. 1 Hàm mật độ phân phối chuẩn một biến : Nếu một biến ngẫu nhiên y, với trung bình μ và phương sai 2σ , có phân phối chuẩn thì hàm mật độ của nó được cho bởi công thức : ( ) ( )2 22 2 1 2 ,yf y e yμ σπ σ − −= −∞ < < ∞ (1.61) Khi biến y có hàm mật độ (1.61), ta nói rằng y có phân phối chuẩn ( )2,N μ σ . Hàm số này thường được biểu diễn minh họa bởi đồ thị hình quả chuông trong hình 1.1 khi cho 10μ = và 2.5σ = Hình 1.1 : Đồ thị hàm mật độ phân phối chuẩn __________________________________________________________________ 28 Chương 1 1. 6. 2 Hàm mật độ của phân phối chuẩn nhiều chiều Nếu biến y có phân phối chuẩn nhiều chiều với vector trung bình μ và ma trận hiệp phương sai , hàm mật độ được cho bởi : ∑ ( ) ( ) ( ) ( ) 1 2 1 2 1 2 'y μ y μy pf eπ −− − ∑ −= ∑ (1.62) ở đây p là số lượng các biến trong y có mật độ (1.62) ta nói y có phân phối hoặc đơn giản y là ( ,μpN Σ) ( ),μpN Σ . Số hạng ( ) ( )( ) (12 2 2y y )yμ σ μ σ −− = − − μ trong số mũ của hàm mật độ phân phối chuẩn một chiều là bình phương khoảng cách từ y đến μ , đơn vị độ lệch chuẩn . Tương tự như vậy số hạng ( ) ( )1y μ y μ−− ∑ − trong số mũ của hàm mật độ của phân phối chuẩn nhiều chiều là bình phương khoảng cách suy rộng từ y đến μ hoặc khoảng cách Manhalanobis ( ) ( )2 1'y μ y μ−Δ = − ∑ − (1.63) Khoảng cách Δ đồng biến với số lượng của p biến. Hệ số của hàm mũ ở (1.62) , 1 2Σ xuất hiện như sự tương tự của 2σ trong (1.61). 1. 6. 3 Tổng quát hóa phương sai tổng thể : Ta biết rằng S như là một tổng quát hóa phương sai mẫu. Tương tự Σ là tổng quát hóa phương sai tổng thể. Nếu 2σ là bé trong phân phối chuẩn một biến, thì giá trị y tập trung gần trung bình . Tương tự giá trị nhỏ của Σ trong trường hợp nhiều chiều chứng tỏ rằng ,y s tập trung gần μ trong không gian p chiều hoặc là các đa cộng tuyến tính giữa các biến. __________________________________________________________________ 29 Chương 1 Số hạng đa cộng tuyến tính chỉ ra tương quan cao độ giữa các biến. Trong trường hợp có lợi số bậc ít hơn p. (a) ∑ nhỏ (b) ∑ lớn Hình 1.2 : Mật độ của phân phối chuẩn hai chiều Trong sự hiện diện của đa cộng tuyến tính một hoặc nhiều hơn giá trị riêng của ma trận sẽ gần 0 và Σ Σ sẽ nhỏ như vậy Σ là kết quả của các giá trị riêng. Hình 4.2 cho thấy rằng, trong trường hợp hai chiều, một phép so sánh của một phân bố với Σ nhỏ và một phân bố với Σ lớn hơn. Một cách khác để biểu diễn mật độ tập trung các điểm trong phân phối chuẩn hai chiều là biểu đồ đường viền. Hình 4.3 biểu diễn biểu đồ đường viền cho phân phối hai chiều ở hình 4.2 . Mỗi một ellipse bao hàm một tỉ lệ khác nhau giữa các vector y được quan sát.. Mặt cắt của mật độ chuẩn hai biến ở một vòng của ellipse là nơi bao gồm các tỉ lệ các quan sát. (a) ∑ nhỏ (b) ∑ lớn Hình 1.3: Biểu đồ đường viền cho các phân phối trong hình 1.2 __________________________________________________________________ 30 Chương 1 Ở cả Hình 1.2 và 1.3, Σ nhỏ xuất hiện ở hình bên trái và Σ lớn hơn xuất hiện ở hình bên phải. Trong Hình 1.3a có sự tương quan chặt hơn giữa y1 và y2. Trong Hình 1.3b phương sai lớn hơn. Trong thực tế cho một p biến bất kì, Nếu giảm sự tương quan giữa các biến hoặc là tăng phương sai thì dẫn tới một Σ lớn hơn. Hình 1.4 : Đồ thị hàm mật độ phân phối chuẩn hai chiều 1. 6. 4 Tính chất phân phối chuẩn của biến ngẫu nhiên nhiều chiều : Dưới đây là một số tính chất của vector ngẫu nhiên y (p x 1) có phân phối chuẩn ( ),μpN Σ : 1 – Tính chuẩn tắc của kết hợp tuyến tính các biến trong y : (a). Nếu a là một vector hệ số ( hằng số ),thì hàm tuyến tính là chuẩn đơn biến : 1 1 2 2 'a y ... p pa y a y a y= + + + Nếu y là thì là ( ),μpN Σ 'a y ( )' 'aμ,a apN ∑ __________________________________________________________________ 31 Chương 1 Trung bình và phương sai của được cho bởi công thức (1.53) và (1.54). Như vậy thì 'a y ( )' 'a y aμE = và ( ) 'cov Ay A A= ∑ cho bất kì một vector ngẫu nhiên y. Bây giờ chúng ta có thêm thuộc tính có phân phối chuẩn nếu y có phân phối 'a y ( ),μpN Σ (b). Nếu A là ma trận hệ số (q x p) có hạng là q. Ở đây , q dòng kết hợp tuyến tính trong A q p≤ y có phân phối chuẩn nhiều chiều : Nếu y có phân phối ( ),μpN Σ thì Ay có phân phối ( )'Aμ,A ApN ∑ Ở đây một lần nữa nhắc lại ( )Ay AμE = và ( ) 'cov Ay A A= ∑ nhưng bây giờ có thêm các tính năng của q biến trong Ay với phân phối chuẩn nhiều chiều. 2 – Biến đã được chuẩn hóa : Chuẩn hóa vector z có thể đạt được bằng hai cách sau : ( ) ( )1z T y μ−= − (1.64) ở đây là chỉ số được dùng bởi phương pháp Cholesky hoặc : 'T T∑ = ( ) ( )11 2z y μ−= ∑ − (1.65) ở đây 1 2∑ là căn bậc hai của ma trận đối xứng của ∑ được xác định bởi 1 2 1 2 'A CD C= . Như vậy mà 1 2 1 2∑ = ∑ ∑ . Trong cả hai công thức (1.64) và (1.65) vector của biến ngẫu nhiên được chuẩn hóa có tất cả trung bình bằng 0 và phương sai bằng 1 và tất cả các hệ số tương quan bằng 0. Trong cả hai trường hợp từ (1b) ta thấy z có phân phối chuẩn nhiều chiều : Vậy nếu y là ( ,μpN )Σ thì z là ( ),0 IpN 3 – Phân phối chi ( khi )- bình phương: __________________________________________________________________ 32 Chương 1 Một biến ngẫu nhiên chi-bình phương với p bậc tự do được xác định như là tổng bình phương p biến ngẫu nhiên chuẩn độc lập. Vì vậy, nếu z là vector đã được chuẩn hóa xác định như trong (1.64) và (1.65) thì có phân phối 2 1 'z zp jj z= =∑ 2χ với p bậc tự do, kí hiệu là 2pχ hoặc ( )2 pχ . Từ một trong hai công thức (1.64) và (1.65) ta có được ( ) (1''z z y )μ y μ−= − ∑ − . Do đó, Nếu y có phân phối ( ),μpN Σ thì ( ) (1'y )μ y μ−− ∑ − có phân phối 2pχ . (1.66) 4 – Tính chuẩn tắc của phân phối biên duyên : (a). Bất kì một nhóm con nào của y đều có phân phối chuẩn nhiều chiều, với vector trung bình tương ứng với vector con của μ và ma trận hiệp phương sai tương ứng với ma trận con của ∑ . Để minh họa điều này, cho vector ( )'1 1 2, ,...,y ry y y= là vector con này chứa r phần tử đầu của y và ( )'2 1,...,y ry y+= p bao gồm p – r phần tử còn lại. Như vậy y,μ và ∑ được phân chia như sau : 1 1 11 2 2 21 , , y μ y μ y μ ∑ ∑⎛ ⎞ ⎛ ⎞ ⎛= = ∑ =⎜ ⎟ ⎜ ⎟ ⎜∑ ∑⎝ ⎠ ⎝ ⎠ ⎝ 12 22 ⎞⎟⎠ Ở đây và là ( r x 1) và 1y 1μ 11∑ là ( ). Như vậy là có phân bố chuẩn nhiều chiều. r x r 1y Vậy nếu y là thì là ( ),μpN Σ 1y ( )1 11,μrN Σ Cũng cần nhắc lại là ta có ( )1 1y μE = và ( )1cov y 11= ∑ cố định cho bất kì một vector ngẫu nhiên nào được phân chia theo cách này. Nếu y là ngẫu nhiên p – biến phân bố chuẩn thì là r biến phân bố chuẩn. 1y __________________________________________________________________ 33 Chương 1 (b). Một trường hợp đặc biệt của các kết quả trước, với mỗi y j trong y có phân phối chuẩn đơn : Nếu y là thì là ( ,μpN Σ) jy ( ), , 1,2,...,j jjN jμ σ = p Cách đảo vấn đề này không thực sự đúng. Nếu mật độ của mỗi một trong y là phân bố chuẩn thì không nhất thiết y phải là phân bố chuẩn nhiều chiều theo như ở trên. jy Trong ba tính chất tiếp theo, ta cho một vector được quan sát và phân chia thành hai vector phụ được kí hiệu bởi y và x , ở đây y là (p x 1)và x là (q x 1). Hoặc, ngoài ra, cho phép x là đại diện cho một số bổ sung để cùng xét với các biến trong y. Từ kết quả trước ta có : , cov μy y x xμ yy yxy xy xxx E ∑ ∑⎛ ⎞⎛ ⎞⎛ ⎞ ⎛ ⎞= = ⎜ ⎟⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ ⎟∑ ∑⎝ ⎠ ⎝ ⎠⎝ ⎠ ⎝ ⎠ Trong tính chất 5, 6, 7, chúng ta giả thiết rằng : y x ⎛ ⎞⎜ ⎟⎝ ⎠ là , μ μ yy yxy p q xy xxx N + ⎡ ∑ ∑⎛ ⎞⎛ ⎞ ⎤⎢ ⎥⎜ ⎟⎜ ⎟ ⎜ ⎟∑ ∑⎢ ⎥⎝ ⎠ ⎝ ⎠⎣ ⎦ 5 – Tính độc lập : (a). Nếu Vector con y và x là độc lập thì 0yx∑ = (b). Hai biến riêng lẻ và độc lập nếu jy ky 0jkσ = . Chú ý rằng điều này không thực sự đúng cho các biến ngẫu nhiên không có phân bố chuẩn. 6 – Phân bố có điều kiện : Nếu y và x không độc lập, tức là 0yx∑ ≠ phân phối có điều kiện của y đối với x, ( )y xf là phân bố chuẩn nhiều chiều với : ( ) ( )1y x μ x μy yx xxE −= + ∑ ∑ − x (1.67) ( ) 1cov y x yy yx xx xy−= ∑ −∑ ∑ ∑ (1.68) __________________________________________________________________ 34 Chương 1 Chú ý rằng ( )y xE là một vector của các hàm tuyến tính của x, trong khi ( )cov y x là một ma trận không phụ thuộc vào x. Xu hướng tuyến tính trong công thức (1.67) cố định cho bất kì các cặp biến. Như vậy ta có thể dùng công thức trên để kiểm tra tính chuẩn tắc, kiểm tra đồ thị phân tán hai chiều của tất cả các cặp biến và cũng để xem xét bất kì một xu hướng phi tuyến nào. Trong công thức (1.67) ta có được sự điều chỉnh trong việc dùng phương sai và tương quan để đo sự liên hệ giữa hai biến ngẫu nhiên có phân bố chuẩn. Như đã trình bày ở phần trước hiệp phương sai và tương quan chỉ tốt cho việc đo mối liên hệ của các biến có xu hướng tuyến tính và thực tế sẽ không phù hợp cho biến ngẫu nhiên phi chuẩn với mối liên hệ phi tuyến. Ma trận 1yx xx −∑ ∑ trong công thức (1.67) được gọi là ma trận của các hệ số hồi quy (matrix of regression coefficients) bởi vì nó liên hệ từ ( )y xE đến x. 7 – Phân phối của tổng của hai vector phụ : Nếu y và x có cũng cỡ (p x 1) và độc lập thì : là y x+ ( ),μ μp d d yy xxN + ∑ +∑ (1.69) y x− là ( ),μ μp d d yy xxN − ∑ +∑ (1.70) Trong phần còn lại của mục này, ta sẽ minh họa trường hợp đặc biệt của tính chất 6 của phân bố chuẩn hai biến. Cho u y x ⎛ ⎞= ⎜ ⎟⎝ ⎠ Có phân phối chuẩn hai biến với : ( )u y x E μ μ ⎛ ⎞= ⎜ ⎟⎝ ⎠ , ( ) 2 2 cov u y yx yx x σ σ σ σ ⎛ ⎞⎜ ⎟= ∑ = ⎜ ⎟⎝ ⎠ Từ định nghĩa ( ) ( ) ( ),f y x g y x h x= ở đây ( )h x là hàm mật độ của x và là hàm mật độ kết hợp của y và x. Do đó : ( ,g y x) __________________________________________________________________ 35 Chương 1 ( ) ( ) ( ),g y x f y x h x= Và bởi vì bên phải là một tích số. Chúng ta cố gắng tìm kiếm một hàm của y và x, hàm này thì độc lập với x và mật độ của nó có chức năng như là ( )f y x . Từ hàm tuyến tính của y và x là chuẩn tắc bởi tính chất (1a) , ta có thể xem y xβ− như thế. Ta sẽ cố gắng tìm giá trị của β sao cho y xβ− và x là độc lập với nhau. Khi mà z y xβ= − và x là chuẩn tắc và độc lập thì Để tìm ( )cov , 0x z = (cov , )x z ta biểu diễn x và z như là hàm số của u, ( ) ( )0, 1 0, 1 'u a uyx x ⎛ ⎞= =⎜ ⎟⎝ ⎠ = , ( )1, 'u b uz y xβ β= − = − = Bây giờ : ( ) ( )cov , cov ,' ' 'a u b u a bx z = = ∑ [từ công thức (1.55)] ( ) ( )2 2 22 1 10, 1 ,= y yx xy x yx x yx x σ σ σ σ σβ βσ σ ⎛ ⎞⎛ ⎞ ⎛ ⎞⎜ ⎟ = =⎜ ⎟ ⎜ ⎟⎜ ⎟ − −⎝ ⎠ ⎝ ⎠⎝ ⎠ βσ− Khi ( )cov , 0x z = ta thu được 2= yx xβ σ σ và z y xβ= − trở thành : 2 yx x z y x σ σ= − Bởi vì tính chất (1a) , mật độ của ( )2yx xy σ σ− x là chuẩn tắc với : 2 2 yx yx y x x x E y x σ σμ μσ σ ⎛ ⎞− = −⎜ ⎟⎝ ⎠ ( )2var var ' 'b u b byx x y x σ σ ⎛ ⎞− = =⎜ ⎟⎝ ⎠ ∑ __________________________________________________________________ 36 Chương 1 2 2 2 22 2 1 1, y yxyx yxyx y x xyx x x σ σσ σσ σσ σσ σ σ ⎛ ⎞⎛ ⎞⎛ ⎞ ⎜ ⎟⎜ ⎟= − = −⎜ ⎟ ⎜ ⎟⎜ ⎟ −⎝ ⎠ ⎜ ⎟⎝ ⎠⎝ ⎠ Đối với một giá trị của x, chúng ta có thể biểu diễn y như sau ( )y x y xβ β= + − ở đây xβ là đại lượng cố định tương ứng với giá trị của x và y xβ− là độ phân tán ngẫu nhiên. Nên ( )f y x là chuẩn tắc, với : ( ) ( ) ( )y x yE y x x E y x x x xβ β β μ βμ μ β μ= + − = + − = + − ( ) 2 2var yxy x y x σσ σ= − 1. 6. 5 Ước lượng trong phân bố chuẩn nhiều chiều : 1. 6. 5. 1 Ước lượng hợp lý tối đa (MLE) : Khi một phân phối là phân bố chuẩn nhiều chiều được giả định để cố định cho một tổng thể, ước lượng các tham số thường được tìm bởi phương pháp hợp lý cực đại. Kỷ thuật này dựa trên ý tưởng đơn giản, các vector được quan sát được xem như là đã biết trước và giá trị của 1 2, ,...,y y yn μ và ∑ được tìm như một tối đa hóa mật độ đồng thời của y được gọi là hàm hợp lý. Cho một phân bố chuẩn nhiều chiều thì ước lượng hợp lý tối đa của μ và ∑ là : μ y= (1.71) l ( )( )' 1 1 1 1y y y y W S n i i i n n n= n −∑ = − − = =∑ (1.72) ở đây ( )( )'W y y y yi i= − − và S là ma trận hiệp phương sai mẫu được định nghĩa bởi công thức (1.7) Khi có số chia là n thay vì n – 1, nó là một ước lượng chệch và ta thường dùng thay thế l∑ S l∑ __________________________________________________________________ 37 Chương 1 Bây giờ ta cho một vector y được hiệu chỉnh và xem như là một ước lượng hợp lý tối đa của μ Vì từ cấu tạo của mẫu ngẫu nhiên, chúng độc lập, và mật độ đồng thời là tích của các mật độ của yi y . Hàm hợp lí sẽ là : ( ) ( ) ( ) ( ) ( )' 1 2 1 2 1 2 1 1 1, ,..., , , , , 2 y μ y μy y y μ y μ n n n i p i i L f eπ −− − ∑ − = = ∑ = ∑ = ∑∏ ∏ ( ) ( ) ( )' 11 2 2 1 2 y μ y μn i np n e π − =− − ∑ −∑= ∑ (1.73) Để thấy rằng μ y= tối ưu là hàm hợp lí. Chúng ta bắt đầu bởi việc cộng trừ y trong công thức mũ ở (1.73) : ( ) ( ), 1 1 1 2 y y y μ y y y μ n i i i − = − − + − ∑ − + −∑ Khi điều này được khuyết đại trong các số hạng của yi y− và y μ− hai trong bốn kết quả của các số hạng bị triệt tiêu bởi vì ( )y yii −∑ và (4.13) trở thành : ( ) ( ) ( ) ( ) ( )' '1 11 2 2 2 1 2 y y y y y μ y μn i ii n np n L e π − − =− − ∑ − − − ∑ −∑= ∑ (1.74) Vì là xác định dương, ta có 1−∑ ( ) ( )' 1 2 0y μ y μn −− ∑ − ≤ và ( ) ( )' 1 20 y μ y μne −− − ∑ −< 1≤ tối ưu hóa xảy ra khi số mũ là 0, lúc này L được tối ưu hóa khi μ y= Ước lượng hợp lý tối đa của ma trận tương quan tổng thể Pρ [ xem công thức (1.24)] là : l ρP R= __________________________________________________________________ 38 Chương 1 Mối quan hệ giữa các biến chuẩn nhiều chiều là tuyến tính, điều này đã được đề cập ở phần trước. Như vậy và chỉ phục vụ tốt cho phân bố chuẩn nhiều chiều. Bởi vì chúng chỉ đo được trong mối quan hệ tuyến tính [ xem mục 1.6.4]. Những ước lượng này không hữu ích cho các phân bố phi chuẩn. S R 1. 6. 5. 2 Phân phối của y và S : Xây dựng phân phối của 1 y yn ii n==∑ ta có thể chia thành hai trường hợp : 1- Khi y dựa trên cơ sỡ mẫu ngẫu nhiên từ phân phối chuẩn nhiều chiều , thì 1 2, ,...,y y yn ( ,μpN Σ) y có phân phối ( ),μpN nΣ . 2- Khi y dựa trên cơ sỡ một mẫu ngẫu nhiên từ phân phối phi chuẩn nhiều chiều tổng thể với vector trung bình 1 2, ,...,y y yn μ và ma trận hiệp phương sai , với độ rộng n, ∑ y được xấp xỉ ( ),μpN nΣ . Rõ hơn nữa, kết quả này được biết như là định lí giới hạn trung tâm nhiều chiều : “Nếu y là vector trung bình của một mẫu ngẫu nhiên từ một tổng thể với vector trung bình 1 2, ,...,y y yn μ và ma trận hiệp phương sai ∑ , thì khi , phân phối của n →∞ ( )y μn − xấp xỉ ( ),0pN ∑ Có p biến trong S và 2 p⎛ ⎞⎜⎝ ⎠⎟ hiệp phương sai, cho tổng cộng có : ( ) ( )1 1 2 2 2 p p p p p p p − +⎛ ⎞+ = + =⎜ ⎟⎝ ⎠ đầu vào khác biệt nhau. Phân phối đồng thời của ( )1 2p p + các biến khác nhau này trong ( ) ( )( )'1W S y y y yi iin= − = − −∑ là phân phối Wishart, kí hiệu là ( )1,pW n − ∑ ở đây là số bậc tự do. 1n − __________________________________________________________________ 39 Chương 1 Phân phối Wishart có số chiều tương tự như phân phối 2χ và nó được sử dụng một cách tương tự. Trong tính chất 3 mục 1.6.4 , phân phối 2χ của một biến ngẫu nhiên được định nghĩa là tổng bình phương của các biến ngẫu nhiên chuẩn độc lập : ( )22 2 1 1 n n i i i i y z μ σ= = −=∑ ∑ là phân phối ( )2 nχ Nếu y được thay thế cho μ thì ( ) ( )2 2 21ii y y n s 2σ σ− = −∑ có phân phối ( )2 1nχ − . Tương tự công thức xác định của biến ngẫu nhiên có phân bố Wishart : ( )( )' 1 y μ y μ n i i i= − −∑ là ( ),pW n ∑ ở đây là độc lập và có phân phối như 1 2, ,...,y y yn ( ),μpN Σ Khi y được thay thế cho μ phân phối phần còn lại Wishart với ít hơn một bậc tự do : ( ) ( )( )' 1 1 S y y y y n i i i n = − = − −∑ là ( )1,pW n − ∑ Cuối cùng, lưu ý là khi lấy mẫu từ phân phối chuẩn nhiều chiều, y và S là độc lập. __________________________________________________________________ 40 Chương 2 CHƯƠNG 2 : ƯỚC LƯỢNG KHÔNG CHỆCH TUYẾN TÍNH Lớp tất cả các đại lượng không chệch tuyến tính của hàm ( )g F nào đấy là họ tất cả các ước lượng không chệch các hàm tuyến tính của đại lượng ngẫu nhiên được quan sát. Trong chương này ta sẽ nghiên cứu hai vấn đề : 1) Hàm ( )g F nào đối với nó có ước lượng tuyến tính không chệch 2) Tìm trong lớp tất cả các ước lượng tuyến tính không chệch của ( )g F ước lượng có phương sai bé đều nhất. 2. 1 Mô hình thống kê tuyến tính tổng quát hạng đầy đủ : Mô hình thống kê tuyến tính tổng quát với hạng đầy đủ bao gồm vector ngẫu nhiên n chiều quan sát được Y được biểu diễn dưới dạng : Y Xβ ε= + (2.1) Trong đó X là ma trận cấp n x p đã biết, vector β là vector cột p chiều và là vector tham số chưa biết, còn ε là vector sai số ngẫu nhiên n chiều với (2.2) 2ε 0 ; εε IT nE E σ= = Với 20 σ< < ∞ , 2σ nói chung là chưa biết, là ma trận đơn vị cấp n. Mô hình được gọi là mô hình tuyến tính hạng đầy đủ nếu hạng In ( )r X p= . Mô hình tuyến tính là trường hợp đặc biệt với mô hình tuyến tính cùng dạng nhưng với : 2εε STE σ= (2.3) với S là ma trận cấp n đã biết, có hạng bằng n. Tuy nhiên ta có thể đưa mô hình (2.1), (2.3) về (2.1),(2.2). Thật vậy, vì S là ma trận hiệp phương sai xác định dương nên có tồn tại ma trận không suy biến D cấp n x n sao cho . V DDT= __________________________________________________________________ 41 Chương 2 Nếu đặt ta có 1*Y D−= Y ** *Y X β ε= + trong đó , do đó 1 1* *X D X,ε D ε− −= = *ε 0E = và ( ) ( )2 1 1 2* *ε ε D S D IT T nE σ σ− −= = . Như vậy mô hình tuyến tính đối với thõa mãn (2.2). Do đó giả thiết (2.2) không làm giảm tính tổng quát của mô hình. *Y Nếu ma trận S suy biến thì không thể áp dụng được phương pháp trên và cần phải xét một lí thuyết tổng quát hơn. Chú ý rằng p vector cột của X là vector n chiều nằm trong một đa tạp tuyến tính (không gian con) của không gian n chiều. Vì vậy với bất kì vector p – chiều β , vector có chiều là n và nằm trong đa tạp tuyến tính p chiều cảm sinh bởi p cột của X. Ký hiệu đa tạp đó là . Giả sử η Xβ= pD ( ) ( ) ( ){ }1 2ξ ,ξ ...,ξ p là cơ sỡ trực chuẩn của . Khi đó vector có thể biểu diễn dưới dạng pD η Xβ= ( )1η ξ p i ii c==∑ . Khoảng cách giữa vector η pD∈ và Y đạt cực tiểu khi là hình chiếu trực giao của Y lên . η pD Giả sử là vector sao cho : β  η Xβ= β là ước lượng bình phương bé nhất của . Để tìm ta để ý rằng β β Xβ là hình chiếu trực giao của Y lên , do đó pD ( )( ) ( ) 0 1ξ Y Xβ , , ..., .Ti i p− = = Vì vector cột bất kỳ của X là tổ hợp tuyến tính của ( ) ( ) ( )1 2ξ ,ξ ...,ξ p nên β thỏa mãn phương trình : ( )X Y Xβ 0T − = Hoặc phương trình chuẩn Gauss – Markov : X Xβ X YT = T (2.4) __________________________________________________________________ 42 Chương 2 Vì là ma trận không suy biến nên X XT  ( ) 1β X X X YT T−= (2.5) Rõ ràng là ước lượng bình phương bé nhất β đó là duy nhất. Ta sẽ chứng minh rằng ước lượng không chệch tuyến tính tốt nhất của hàm tuyến tính λ là βT λ βT khi mô hình là mô hình hạng đầy đủ. 2. 2 Ước lượng không chệch cho mô hình thống kê tuyến tính tổng quát hạng đầy đủ : 2. 2. 1 Định lí 2.1 (Gauss – Markov) : Giả sử Y Xβ+ε= là mô hình tuyến tính hạng đầy đủ, là hàm tuyến tính của β . Khi đó ước lượng λ βT λ βT là ước lượng không chệch tốt nhất của , trong đó được xác định bởi λ βT β  ( ) 1β X X X YT T−= . Chứng minh : Trước tiên ta chứng minh rằng λ βT là ước lượng không chệch của . Thật vậy , λ βT  ( ) ( )1 -1T T T T Tλ β λ X X X EY=λ X X X Xβ=λ βT TE −= T Giả sử là một ước lượng không chệch của bất kì của , tron đó là ma trận cấp p x n nào đấy. Để cho là ước lượng không chệch ta phải có : AY β A AY AY A Y AXβ βE E= = = tức là AX I p= . Ta sẽ chứng minh rằng : ( ) ( )T Tβ βλ β λ AYD D≤ với bất kì và bất kì β trong đó λ Dβ là kí hiệu của toán tử hiệp phương sai ứng với , hoặc tương đương β __________________________________________________________________ 43 Chương 2 ( ) ( )T β βλ β λ λ AY λTD D≤ Tức là ta phải chứng minh được rằng ( ) ( )β AY βD D− β là ma trận xác định không âm. Đặt với -1 TQ=A - V X TV X X= , khi đó : ( ) ( ) ( ) 2 12β β βAY QY β QXVD D D σ −= + + Vì nên AX I p= ( ) ( )1 1QX V AX I V 0p− −= − = , và vì vậy ( ) ( ) ( )β β βAY β QYD D D− = là ma trận xác định không âm. Dễ dàng thấy rằng ( ) 2T -β λ β λ V λTD σ= 1 . Bây giờ ta hãy xác định ước lượng không chệch của 2σ 2. 2. 2 Bổ đề 2.1 : Ước lượng không chệch của 2σ trong mô hình tuyến tính có hạng đầy đủ có dạng : l ( )( )2 11 1 TY X X X XT Tn pσ −= −− Y . (2.6) Chứng minh : Chú ý rằng ma trận là ma trận lũy đẳng, tức là : -1 TI XV X− ( )21 - T -1XV X I XS XT− = − . Hơn nữa ( )-1 TX I XV X X 0− = , do đó __________________________________________________________________ 44 Chương 2 ( )( ) ( )( )( ) ( ) ( )2 2 T -1 T T -1 T -1 T Y I XV X Y Y I XV X I XV X E tr D tr n p β β σ σ − = − = − = − trong đó ( ).tr là kí hiệu vết của ma trận vuông ( tức là tổng các phần tử trên đường chéo chính ) và ta cũng cần chú ý đến tính chất của ( ).tr là ( ) ( )tr AB tr BA= . Từ đó suy ra rằng nếu l 2σ cho bởi (3.6) thì l 2 2Eσ σ= . 2. 2. 3 Hệ quả 2.1 : Xét mô hình tuyến tính tổng quát (2.1), (2.3). Khi đó ước lượng không chệch bình phương bé nhất của là : β  ( )-1-1 T T -1β XS X X S Y= , (2.7) Còn ước lượng không chệch cho 2σ là : l ( )( )2 1 T -1 -1 T -1 T -1Y S S X X S X X S Yn pσ = −− . (2.8) Thật vậy, nếu áp dụng (2.3) và bổ đề 1.1 cho mô hình (2.1), (2.2) trong đó thay bởi và bởi ta sẽ nhận được (2.7), (2.8). Y -1D Y X -1D X Ví dụ 2.1 : Giả sử là vector quan sát n chiều có Y ( )Y , 1,...,11 1 TE θ= = , θ−∞ < < ∞ và ma trận hiệp phương sai là . Hãy tìm ước lượng không chệch tuyến tính với phương sai bé nhất của 2 2 0,Sσ σ > θ . Ta có mô hình Y 1 εθ= + trong đó 2εε STE σ= . Do đó áp dụng hệ quả trên ta được :  -1 -1 1 S Y 1 S 1 T Tθ = , (2.9) __________________________________________________________________ 45 Chương 2 l ( )( )2 1 T -1 -1 T -1 T -1Y S S 1 1 S 1 1 S Yn pσ = −− . Đặc biệt nếu ( )21S ,...,diag 2nσ σ= , trong đó ( ).diag là kí hiệu của ma trận đường chéo, ta có :  21 2 1 Y 1 n i ii n ii σθ σ = = = ∑∑ l 1 1 1 2 2 2 2 2 2 i i j , 1 Y Y Y n n n i i j i i j in p σ σ σ σ− − − = = = ⎡ ⎤⎛ ⎞= −⎢ ⎥⎜ ⎟− ⎢ ⎥⎝ ⎠⎣ ⎦∑ ∑ ∑ iσ − còn  1 2 1 θ n i i D σ − − = ⎛ ⎞= ⎜ ⎟⎝ ⎠∑ Khi 2σ đã biết (cho 2 1σ = ) thì ước lượng không chệch tuyến tính với phương sai bé nhất của θ cho bởi (3.9) trùng với ước lượng không chệch vớ phương sai bé nhất khi Y có phân bố chuẩn ( )1,SN θ . Tuy nhiên có trường hợp ước lượng tuyến tính không chệch bằng phương pháp bình phương bé nhất rất là kém hiệu quả , chẳng hạn lấy mẫu ngẫu nhiên từ phân bố đều trên ( 1, ..., nX X )0,θ thì có ước lượng không chệch với phương sai bé nhất là :  ( ) 1 θ n n X n += Còn ước lượng tuyến tính bình phương bé nhất, như ta dễ dàng thấy là : l 1 2 θ X= l 1θ là ước lượng có phương sai lớn hơn đáng kể so với phương sai của θ khi n lớn. __________________________________________________________________ 46 Chương 2 2. 3 Mô hình thống kê tuyến tính với hạng không đầy đủ Xét mô hình tuyến tính tương tự như ở (2.1) và (2.2) dạng : Y Xβ+ε= , (2.10) với : 2εε ITE σ= , (2.11) còn ( )Xr p< Mô hình như vậy gọi là mô hình tuyến tính hạng không đầy đủ. Đối với mô hình tuyến tính hạng không đầy đủ không phải hàm tuyến tính dạng nào cũng là hàm ước lượng được (tức là có ước lượng tuyến tính không chệch). λ βT 2. 4 Ước lượng không chệch cho mô hình thống kê tuyến tính hạng không đầy đủ : 2. 4. 1 Định lí 2.2 : Xét mô hình (3.10), (3.11) với ( )Xr p< . Hàm tuyến tính ước lượng được khi và chỉ khi λ βT ( ) ( )X X : λT Tr r= , (2.12) ( )X :T λ là ma trận nhận được bằng cách thêm vào ma trận cột số XT ( )1λ , ..., Tpλ λ= Chứng minh : Giả sử có ước lượng tuyến tính không chệch Tλ β ( )1γ Y;γ , ..., TT T pγ γ= . Khi đó T Tγ Y Xβ λ β; βTE γ= = ∀ Do đó : __________________________________________________________________ 47 Chương 2 Tλ γ XT = Vì vậy mà là tổ hợp tuyến tính của các vector cột của . Từ đó ta có thể suy ra (2.12). λT X Bây giờ ta giả sử ngược lại rằng (3.12) được thỏa mãn khi đó tồn tại vector ( )1γ , ..., TT nγ γ= sao cho Tλ γ XT = . Dễ thấy Tγ Y là ước lượng không chệch của . Tλ β 2. 4. 2 Bổ đề 2.2 : Ta hãy xét mô hình (2.10), (2.11) với ( )Xr r p= ≤ . Giả sử ước lượng được. Ta ký hiệu đa tạp tuyến tính căng trên các vector cột của bởi Tλ β X rD ( đa tạp đó có chiều là r ). Khi đó tồn tại duy nhất một vector *L rD∈ sao cho ( )T*L Y là ước lượng không chệch của . Hơn nữa nếu là ước lượng không chệch của thì Tλ β TL Y Tλ β *L là hình chiếu của vector trên L rD , tức là ( )*L Pr LrojD= Chứng minh : Vì là ước lượng được nên tồn tại vector Tλ β ( )1, ..., nL l l= sao cho ( )TL Y λ βE = T . Giả sử , *L=L +K ( )*L =Pr LrojD , còn là vector trực giao với . Do đó ta có và ta có : K *L TK X 0= ( )( ) ( ) ( ) ( )( )T T TT * * * *λ β L +K Y L +K Xβ L Xβ L YE E= = = = T , Như vậy ( )T*L Y là ước lượng không chệch của . Bây giờ ta sẽ chứng minh rằng là một vector duy nhất thuộc Tλ β *L rD có tính chất đó : Giả sử A rD∈ sao cho ( )TA Y λ βE = T khi đó ( )*A-L Xβ 0= với mọi Xβ rD∈ . Do đó mà . *A L= __________________________________________________________________ 48 Chương 2 2. 4. 3 Định lí 2.3 : ( Gauss – Markov ) Xét mô hình tuyến tính (2.10), (2.11) với ( )Xr r p= ≤ . Hàm ước lượng được bất kỳ có ước lượng tuyến tính không chệch tốt nhất , trong đó Tλ β Tλ β β là ước lượng không chệch bình phương bé nhất của , tức là là nghiệm bất kỳ của phương trình chuẩn β β T TX Xβ=X Y Chứng minh : Cho hàm ước lượng được. Giả sử là ước lượng tuyến tính không chệch của , theo bổ đề 1.2 sẽ tồn tại ước lượng tuyến tính không chệch duy nhất Tλ β TL Y Tλ β ( )T*L Y của sao cho Tλ β ( )* Pr LrL ojD= . Phương sai của ước lượng là : TL Y ( ) 2T TL Y L LD σ= . Như vậy ( )T*L Y là ước lượng không chệch tuyến tính với phương sai bé nhất. Bây giờ ta sẽ chứng minh rằng ( )T*L Y λ β= T * trong đó là nghiệm nào đấy của phương trình chuẩn. Giả sử là hình chiếu trực giao của Y lên , như ta đã chứng minh ở mục trước là nghiệm của phương trình chuẩn *β *Xβ β T * TX Xβ X Y= . Bởi vì *L rD∈ nên ( ) ( )*L Y Xβ 0T − = , và do đó ( ) ( ) T T* *L Y L Xβ= . Hơn nữa vì ( )T*L Y là ước lượng không chệch nên ( )T*L X λT= . Do đó ( ) T* TL Y λ β= . __________________________________________________________________ 49 Chương 2 2. 4. 4 Ước lượng bình phương bé nhất mở rộng Theo định lý Gauss – Markov 2.3 nếu ước lượng được thì nghiệm bất kỳ của phương trình chuẩn sẽ cho ta ước lượng tuyến tính không chệch với phương sai bé nhất λ βT T TX Xβ X Y= λ βT . Bây giờ ta hãy mô tả phương pháp để nhận được ước lượng như vậy. Nếu mô hình tuyến tính có hạng đầy đủ p thì tồn tại duy nhất nghiệm β của phương trình chuẩn, nghiệm đó cho ta ước lượng bình phương bé nhất. Khi hạng của ma trận bằng TX X r p< , nghiệm của hệ phương trình chuẩn TX Xβ X Y= T (3.4) không duy nhất. Tồn tại đa tạp p r− chiều các nghiệm của phương trình chuẩn. Một trong các nghiệm đó được gọi là ước lượng bình phương bé nhất mở rộng. Để nghiên cứu ước lượng bình phương bé nhất mở rộng ta sẽ sử dụng khái niệm ma trận nghịch đảo mở rộng sau đây: Cho ma trận cấp n x m, ma trận S S− cấp m x n được gọi là ma trận nghịch đảo mở rộng yếu ( hoặc nghịch đảo yếu ) của ma trận nếu đối với bất kỳ vector n chiều đã cho Y , vector S là nghiệm của hệ phương trình tương thích . g − S Y− SX Y= Nếu ma trận g − nghịch đảo S− của S tồn tại thì nó thỏa mãn đẳng thức : SS S S− = Hơn nữa nếu đặt thì : H S S−= (i) là ma trận lũy đẳng, tức là H 2H H= ; (ii) SH và hạng S= ( ) ( ) ( )S Hr r tr= = H ; (iii) Nghiệm mở rộng của phương trình SX Y= có dạng : l ( )X S Y H I Z−= + − trong đó Z là vector tùy ý ; __________________________________________________________________ 50 Chương 2 (iv) Ma trận như nhau đối với mọi thỏa mãn phương trình SX khi và chỉ khi λ XT X Y= T THλ λ= ; (v) Luôn luôn tồn tại ma trận S− của và S ( ) ( )r S r S− ≥ , hơn nữa luôn tồn tại nghịch đảo S với hạng lớn nhất − ( ) ( )min ,r S m n− = không phụ thuộc vào ( )r S . Ma trận S− với hạng lớn nhất có thể được xây dựng như sau : đối với đã cho cấp m x n , , ta hãy xây dựng ma trận vuông cấp n x n S m n< * SS O ⎡ ⎤= ⎢ ⎥⎣ ⎦ Trong đó O là ma trận các số không cấp ( )n-m x n . Khi đó dựa vào các phép biến đổi cơ bản có thể đưa về ma trận Hermite chính tắc. Nói khác đi, tồn tại ma trận không suy biến C cấp n x n sao cho *S * I K CS ... . ... O O r ⎡ ⎤⏐⎢ ⎥= ⎢ ⎥⎢ ⎥⏐⎣ ⎦ trong đó ( )Sr r= . Đặt . Dễ thấy rằng là ma trận lũy đẳng. Do đó *H CS= H * *CS CS H= Bởi vì C không suy biến nên : 1* *S CS C H−= Hơn nữa , (2.13) 1* * * * * * * S S H S S CS CS C CS S ... O − ⎡ ⎤⎢ ⎥= = = = = ⎢ ⎥⎢ ⎥⎣ ⎦ Giả sử S là ma trận cấp n x m được lập bởi m cột đầu tiên của ma trận C , tức là − -C S D⎡ ⎤= ⎣ ⎦ khi đó : __________________________________________________________________ 51 Chương 2 - * * - S S SS S CS = ... S D ... = ... O O S O ⎡ ⎤⎡ ⎤ ⎡ ⎤ ⎢ ⎥⎢ ⎥ ⎢ ⎥⎡ ⎤ ⎢ ⎥⎣ ⎦⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥⎣ ⎦ ⎣ ⎦ ⎣ ⎦ , (2.14) So sánh (2.13) và (2.14) ta được . Điều đó có nghĩa rằng ma trận S-SS S=S − được xác định như vậy là nghịch đảo yếu của ma trận . Cuối cùng vì không suy biến nên m cột của là độc lập tuyến tính ,do đó g − S C S− ( )( )Sr − = m , không phụ thuộc vào hạng ( )Sr . Sử dụng ma trận nghịch đảo của trong phương trình chuẩn ta nhận được ước lượng không chệch của g − TX X 2σ trong mô hình tuyến tính hạng không đầy đủ. Như ta đã biết ước lượng Xβ cực tiểu hóa khoảng cách giữa vector quan sát và , tức là : Y Xβ ( ) ( ) ( ) ( )20 Y Xβ Y Xβ min Y Xβ Y XβT TR = − − = − − . 2 0R có thể viết dưới dạng khác  ( ) ( )( ) 2 0 T T T T T T T T T Y Y Y Xβ Y Y Y X X X X Y Y I X X X X Y R − − = − = − = − Bởi vì β là nghiệm của phương trình chuẩn TX Xβ X Y= T hoặc l ( )T TX X X Yβ −= . Mệnh đề 1.1 : Ước lượng l 22 0R n r σ = − , trong đó ( )r r X= là ước lượng không chệch của 2σ Chứng minh : Dựa vào tính chất của ma trận nghịch đảo mở rộng ta có : __________________________________________________________________ 52 Chương 2 ( )-T T TX X X X X XT= . Từ đó ta có ( ) ( )( )( )20 -T TY Xβ I X X X X Y XβTR = − − − Và do đó ( )( ) ( ) ( )( ) ( ) 2 2 0 2 2 T T T I X X X X X X X X TER tr n tr n r σ σ σ − − = − = − = − Từ đó ta suy ra l ( )2 2 20E E R n rσ σ= − = . Việc tìm ma trận thiết kế sao cho ma trận hiệp phương sai của ước lượng bình phương bé nhất X β được cho bởi l ( ) 12 TX XDβ σ −= có Dβ nhỏ nhất là bài toán thiết kế thí nghiệm tối ưu. Bài toán được nhiều tác giả nghiên cứu nhưng nó vượt ra ngoài phạm vi nghiên cứu của đề tài này. Sau đây sẽ là phần trình bày của mô hình tuyến tính vào việc nghiên cứu các ước lượng là tổ hợp tuyến tính của các thống kê : 2. 4. 5 Tổ hợp tuyến tính tốt nhất của thống kê thứ tự Một tổ hợp tuyến tính của thống kê thứ tự trong nhiều trường hợp là ước lượng không chệch tốt nhất, ví dụ, trong trường hợp ước lượng các tham số ( ) ( )1 , ..., nX X 1 2,θ θ của phân bố đều ( )1 2,R θ θ trên ( )1 2,θ θ , 1 2θ θ−∞ < < < ∞ , tổ hợp tuyến tính của và là ước lượng không chệch tốt nhất. Ngược lại trong nhiều trường hợp tổ hợp tuyến tính của các thống kê thứ tự không phải là ước lượng ( )1X ( )nX __________________________________________________________________ 53 Chương 2 không chệch tốt nhất. Chẳng hạn nếu là mẫu từ phân bố chuẩn 1, ..., nX X ( ,N )2μ σ , khi đó ước lượng không chệch với phương sai bé nhất của σ sẽ là : m ( ) 1 22 1 n n n i i C X Xσ = ⎛ ⎞= −⎜ ⎟⎝ ⎠∑ trong đó 1 2 2 2 n n C n −⎛ ⎞Γ⎜ ⎟⎝ ⎠= ⎛ ⎞Γ⎜ ⎟⎝ ⎠ ( lưu ý ta có thể thử lại rằng lσ là ước lượng không chệch của σ nếu để ý rằng ( ) ( )22 11 n ii X Xσ = −∑ có phân bố 2χ với n bậc tự do) bởi vì mnσ là hàm của thống kê đủ bé nhất ( )21, n iiX X=∑ . Tuy nhiên người ta cũng thường sử dụng ước lượng không chệch đơn giản hơn của σ là : ( ) ( ) ( )1 2,nn n X X n d σ −= ≥ trong đó là giá trị trung bình của độ rộng mẫu ngẫu nhiên từ phân bố chuẩn nd 1, ..., nY Y ( )0 1,N , tức là ( ) ( )( )1n nd E Y Y= − . Ước lượng đó được ứng dụng rộng rãi trong việc kiểm tra chất lượng sản phẩm. Bảng các giá trị của có thể được tìm thấy trong bất kì một tài liệu nào về kiểm tra chất lượng. Tuy nhiên cũng dễ nhận thấy là ước lượng nd σ kém hiệu quả hơn ( có phương sai lớn hơn ) so với lσ . Độ hiệu quả của nó giảm nhanh khi ta tăng cỡ mẫu vì rằng σ không phải là hàm của thống kê đủ bé nhất ( )21, n iiX X=∑ . Một số ước lượng tốt hơn là hàm của thống kê thứ tự. Mặc dù các ước lượng như vậy là kém hiệu quả hơn ước lượng mnσ , nhưng chúng __________________________________________________________________ 54 Chương 2 vẫn được sử dụng rộng rãi do tính đơn giản của chúng, đặc biệt là khi cỡ mẫu lớn. Việc nghiên cứu sự tiện lợi của các ước lượng tuyến tính đã được tiến hành bởi Mosteller. Các ước lượng như vậy rất ưu việt khi cắt bỏ các giá trị cực biên của các quan sát, đặc biệt hơn là trong phép thử độ tin cậy. Hiệu quả của các phương pháp ước lượng đó khi phân bố cơ sở là chuẩn, Gamma, đều, phân bố giới hạn của các giá trị cực biên đã được nghiên cứu bởi Sarhan và Greenberg. Để ước lượng các tham số tỉ lệ và dịch chuyển dựa trên tổ hợp tuyến tính của các thống kê thứ tự ta xây dựng mô hình tuyến tính như đã làm bởi Lloyd. Giả sử 0ζ là lớp các hàm phân bố phụ thuộc vào tham số dịch chuyển μ và tham số tỷ lệ σ . Hàm phân bố bất kỳ của 0ζ có dạng ( )( )/F x μ σ− , trong đó ( )F x đã cho trước. Nếu có phân bố X ( )( )F x μ σ− thì đại lượng chuẩn hóa có phân bố ( )F x . Giả sử là thống kê thứ tự từ mẫu còn ( ) ( )1 , ..., nX X 1, ..., nX X ( )( ) 1, , ...,r rU X rμ σ= − = n là thống kê thứ tự từ phân bố . Đặt ( )F x ( ) 1, ..., ;r rEU r nα = = ( ) ( )( ) 1cov , , ,...,rt r ts U U r t n= = là các đại lượng đã biết. Đặt ( ) [ ]1 1α , ..., , S ; , , ...,Tn rts r t nα α= = = là ma trận hiệp phương sai , ( )S 0,1 1,...,1 Tn≥ = , ( ) ( )( )1Y ,...,T nX X= . Khi đó ta có mô hình tuyến tính ( )Y 1n μα εσ ⎡ ⎤= +⎢ ⎥⎣ ⎦ với ( ) 2ε 0, εε STE E σ= = . Giả sử rằng là ma trận xác định dương khi đó theo (3.7) thì ước lượng bình phương bé nhất của S μ và σ là __________________________________________________________________ 55 Chương 2   11 1 1 1 1 1 1 S 1 1 S 1 S Yμ 1 S S S Yσ T T T n n n n T T T n α α α α α −− − − − − − ⎡ ⎤ ⎡ ⎤ ⎡ ⎤=⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎢ ⎥⎢ ⎥⎢ ⎥ ⎣ ⎦⎣ ⎦⎣ ⎦ Nếu đặt ( )1 1S 1 1 S C T T n nα α γ − −−= trong đó ( )( ) ( )21 1γ 1 S 1 α S α 1 S αT Tn n n− − −= − 1 thì ta có thể viết  μ α CY, σ 1 CYT Tn= − = Theo định lý Gauss – Markov , lμ và lσ là tổ hợp tuyến tính tốt nhất của thống kê thứ tự. Phương sai của chúng có dạng : ( ) ( ) ( ) ( )2 T -1 2 1σ α S α σ 1 S 1μ , σγ γ T n nD D − = = còn  ( ) ( )2 -σ 1 S αcov μ,σ γn= = − 1 X Bây giờ ta sẽ xét một ví dụ đơn giản đối với phân phối mũ. Ví dụ 2.2 : Giả sử là mẫu ngẫu nhiên từ phân bố mũ hai tham số : 1 , , nX … 0 1 x nêú xxF e nêú x μ σ μμ σ μ −− <⎧− ⎪⎛ ⎞ = ⎨⎜ ⎟⎝ ⎠ ⎪ − ≥⎩ trong đó μ−∞ < < ∞ và 0 σ< < ∞ . Giả sử là thống kê thứ tự từ phân bố : ( ) ( )1 , , nX X… __________________________________________________________________ 56 Chương 2 ( ) 0 0 1 0x nêú x F x e nêú x− <⎧= ⎨ − ≥⎩ Bây giờ ta sẽ chứng minh rằng ( ) ( ) 1 1 1 1, , ..., r r r i EU n i rα − = = = − + =∑ n (3.15) ( ) ( )( ) ( ) 2 1 1 1cov , , n r t r t i s U U n i r t n− = = = − + ≤∑ ≤ ≤ , (3.16) Đặt ( ) ( )' xf x F x e−= = , với 0x > , khi đó mật độ phân bố đồng thời của là ( ) ( )1 ... nU U< < ( ) ( ) ( )1 2 1, , ..., ! ...nf u u u n f u f n= với 1 20 ... nu u u≤ < < < Từ đó ta nhận được phân bố của là ( )rU ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1 2 2 1 1 1 2 2 1 10 1 1 2 2 *...* * ! * ... r r n u u u r ru u r r r r nu u u f u n f u du f u du f u du . r nf u du f u du f u du − + − − − ∞ ∞ ∞ + + + + = ∫ ∫ ∫ ∫ ∫ ∫ ( ) ( ) ( ) ( ) ( )( ) ( )( ) 1 1 1 ! ! ! r n r nf u f u F u F u r n r r− −= −− − hoặc ( ) ( ) ( ) ( ) ( ) 11 1 01 ! ,! ! rn r u ur nf u e e ur n r −− − + −= −− − > Từ đó suy ra ( ) ( ) 1 0 1 1 n r r i uf u du n iα ∞ − = = = −∑∫ + còn mật độ phân bố đồng thời của và với ( )rU ( )tU r t< là __________________________________________________________________ 57 Chương 2 ( ) ( ) ( ) ( ) ( ) ( ) ( )1 1111 1, !, ! ! ! r tn t vu u u vr t nf u v e e e e er n t t r r− − −− − +− − − −= −− − − − − với . 0 u v< < < ∞ Đặc biệt với ta có : 1t r= + ( ) ( ) ( ) ( ) ( )11 11 1, !, ! ! r n r vu ur r nf u v e e er n r − − −− −+ = −− − − , (2.17) với . 0 u v< < < ∞ Nếu dùng phép biến đổi : ( ) ( ) ( )1,r rY U Z U U+ r= = − thì mật độ phân bố đồng thời của Y và Z là ( ) ( ) ( ) ( ) ( ) ( ) ( )1 111 !, ! ! r n r y n r zynf y z e e n r er n r − − − + − −−= − −− − , 0 y z< < < ∞ Như vậy độc lập với ( )rU ( ) (1r rU U+ )− và ( ) (1rU U+ )r− có phân bố mũ với tham số là ( )n r− . Tương tự như vậy có thể chỉ ra rằng, từ (3.17) bằng phép biến đổi , ta có Y và ( ) ( ) ( ),r tY U Z U U= = − r Z là độc lập với nhau. Đặc biệt, từ đó ta có : ( ) ( ) ( ) ( )( )1 1r r r rEU E U U U− −= + − hoặc 1 1 1r r z z n r− = + − + , (2.18) Vì ( )1 1 1EU nα = = , ( do có mật độ mũ với tham số n ), do đó từ (2.18) một lần nữa ta lại nhận được (3.15). Hơn nữa, do độc lập với nên ta có ( )1U ( )rU ( ) (1rU U+ − )r ( ) ( )( ) ( ) ( )( ) ( )( ) ( )21 1 1r r r r rDU D U D U U D U n r+ += + − = + − , (2.19) còn __________________________________________________________________ 58 Chương 2 ( )1 2 1DU n = do đó ( ) ( ) 1 21 1 1 1 r r i DU n i + + = = − +∑ Hơn nữa vì độc lập với ( )rU ( ) ( )tU U r− nên : ( ) ( )( ) ( )( )cov ,r t rU U D U= , (2.20) Từ (2.19), (2.20) ta suy ra (3.16). Sarhan và Greenberg đã chứng minh được rằng ma trận 1, ,r tS s r t n⎡ ⎤= ≤ ≤⎣ ⎦ với r ts cho bởi (2.16) có ma trận nghịch đảo là ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 2 22 2 2 2 2 2 2 2 1 1 1 0 1 2 1 2 0 0 2 3 2 0 0 0 0 0 0 ... ... ... ... ... ... ... ... ... ... ... n n n n n n n n n nS − ⎛ ⎞− + − −⎜ ⎟⎜ ⎟− − − + − − −⎜ ⎟⎜ ⎟− − − + −= ⎜ ⎟⎜ ⎟⎜ ⎟−⎜ ⎟⎜ ⎟−⎝ ⎠ 0 0 0 0 0 2 1 1 1 Dễ dàng thấy rằng ( )1 2 11 ,T Tn nS n O− −= và 1 1T TnSα − = Từ đó ta nhận được ( )2 1n nγ = − và l ( ) l ( )1 1 1 1 ; nX X nX X n n μ σ− −= =− − Ma trận hiệp phương sai của các ước lượng đó bằng : ( ) ( ) ( ) 1 11 1 2 1 1 1 1 n n n n n σ − −− − − ⎡ ⎤− − −⎢ ⎥∑ = ⎢ ⎥−⎣ ⎦ __________________________________________________________________ 59 Chương 2 Chúng ta có thể dễ dàng kiểm tra lại rằng thống kê ( )( )1 ,X X là thống kê đủ bé nhất đối với họ mũ hai tham số. Do đó theo định lí Blackwell Rao lμ và lσ không những là ước lượng tuyến tính không chệch tốt nhất mà còn là ước lượng không chệch với phương sai bé nhất đề. Ước lượng cho tham số μ và σ bằng cách sử dụng định lí Blackwell – Rao tìm được rất nhanh và rất đơn giản , trong khi đó sử dụng lí thuyết bình phương bé nhất ta phải tính toán rất phức tạp. Mặt khác nếu thống kê có các mômen không đơn giản (ví dụ ( )rU ( )F x là phân bố chuẩn ( )0 1,N ) thì phương pháp bình phương bé nhất rất bất tiện và không thể thực hiện bằng các công thức đại số. 2. 5 Ứng dụng trong mô hình ước lượng tham số hồi quy nhiều chiều : 2. 5. 1 Hàm hồi quy tổng thể (PRF) * Định nghĩa: Hàm hồi quy tổng thể là hàm hồi quy được xây dựng trên kết quả nghiên cứu khảo sát tổng thể, kí hiệu PRF. Hàm hồi qui tuyến tính PRF (k + 1) biến dạng xác định như sau: t 0 1 1t 2 2t kY X X ...= β +β +β + +β ktX trong đó: - t thể hiện thời điểm trong chuỗi thời gian hoặc là trị quan sát trong một chuỗi dữ liệu. - Xt1; Xt2; ... ; Xtk và Yt là bộ giá trị quan sát thứ t (t = 1 đến n) của biến độc lập và biến phụ thuộc - là hệ số tự do; (i = 1, …, k) gọi là hệ số hồi quy riêng, đều là các tham số chưa biết và sẽ được ước lượng. 0β iβ - Hệ số hồi quy cho biết ảnh hưởng riêng của biến Xiβ i lên giá trị trung bình (có điều kiện) của Y khi các biến độc lập còn lại được giữ cố định __________________________________________________________________ 60 Chương 2 2. 5. 2 Dạng ma trận của hàm hồi quy 2. 5. 2. 1 Hàm hồi quy tổng thể PRF Giả sử ta có n bộ giá trị quan sát của là 1 2 k(Y,X ,X ,...,X ) t 1t 2t kt(Y ,X ,X ,...,X ); t 1;n= . Hàm hồi quy tổng thể PRF ứng với từng quan sát là: 1 0 1 11 2 12 k 1k 1 2 0 1 21 2 22 k 2k n 0 1 n1 2 n2 k nk Y X X ... X U Y X X ... X U ................................................................. Y X X ... X U = β +β +β + +β + = β +β +β + +β + = β +β +β + +β + 2 n , U × ⎛ ⎞⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟=⎜ ⎟⎜ ⎟⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜⎝ ⎠ 1 2 n× × ⎟ ⎟⎟ ⎟⎟ ⎟⎟ ⎟⎟ ⎟⎟ ⎟+⎟ ⎟⎟ ⎟⎟ ⎟⎟ ⎟⎟ ⎟ Đặt các ma trận tương ứng như sau: 11 12 1k 0 1 1 21 22 2k 1 2 2 n1 n 2 nk k n nn k k 1 n 1 n 1 1 X X X Y U 1 X X X Y U X , ,Y 1 X X X Y U× × × ⎛ ⎞ ⎛ ⎞ ⎛ ⎞β⎟ ⎟ ⎟⎜ ⎜ ⎜⎟ ⎟ ⎟⎜ ⎜ ⎜⎟ ⎟ ⎟⎜ ⎜ ⎜⎟ ⎟ ⎟β⎜ ⎜ ⎜⎟ ⎟ ⎟⎜ ⎜ ⎜⎟ ⎟ ⎟= β= =⎜ ⎜ ⎜⎟ ⎟ ⎟⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎟ ⎟ ⎟⎜ ⎜ ⎜⎟ ⎟ ⎟⎜ ⎜ ⎜⎟ ⎟ ⎟⎜ ⎜ ⎜⎟ ⎟ ⎟⎜ ⎜ ⎜β⎝ ⎠ ⎝ ⎠ ⎝ ⎠ " " # # # % # # # # " Khi đó hàm hồi quy PRF ngẫu nhiên dưới dạng ma trận như sau: 1 11 12 1k 0 2 21 22 2k 1 n n1 n2 nk kn 1 n k k 1 n 1 Y 1 X X X U Y 1 X X X U Y 1 X X X U× × ⎛ ⎞ ⎛ ⎞ ⎛ ⎞ ⎛ ⎞β⎟ ⎟⎜ ⎜ ⎜ ⎜⎟ ⎟⎜ ⎜ ⎜ ⎜⎟ ⎟⎜ ⎜ ⎜ ⎜⎟ ⎟ β⎜ ⎜ ⎜ ⎜⎟ ⎟⎜ ⎜ ⎜ ⎜⎟ ⎟= ×⎜ ⎜ ⎜ ⎜⎟ ⎟⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎟ ⎟⎜ ⎜ ⎜ ⎜⎟ ⎟⎜ ⎜ ⎜ ⎜⎟ ⎟⎜ ⎜ ⎜ ⎜⎟ ⎟⎜ ⎜ ⎜ ⎜β⎝ ⎠ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠ " " # # # # % # # # " Y X U⇔ = ×β+ 2. 5. 2. 2 Hàm hồi quy mẫu SRF Ứng với n bộ giá trị quan sát của là 1 2 k(Y,X ,X ,...,X ) t 1t 2t kt(Y ,X ,X ,...,X ); t 1;n= , ta có n bộ ước lượng l t 1t 2t kt(Y ,X ,X ,...,X ); t 1;n= là ước lượng của t 1t 2t kt(Y ,X ,X ,...,X ); t 1;n= và là bộ ước lượng của ; 0 1 2 k( , , ,..., )β β β β    0 1 2 k( , , ,..., )β β β β l l l1 2 n(U ,U ,..., U ) là bộ phần dư. Hàm hồi quy mẫu SRF ứng với từng ước lượng là: __________________________________________________________________ 61 Chương 2 l l l l l l 1 10 1 2 k11 21 k1 2 20 1 2 k12 22 k2 n n0 1 2 k1n 2n kn Y X X ... X U Y X X ... X ................................................................. Y X X ... X U = β +β +β + +β + = β +β +β + +β + = β +β +β + +β +             U Đặt các ma trận tương ứng như sau: l l l l l l l l 1 1011 21 k1 2 212 22 k 2 1 1n 2n kn n k nnk k 1 n 1 Y U1 X X X 1 X X X UYX , ,Y 1 X X X UY× × × ⎛ ⎞⎛ ⎞ ⎛ ⎞β⎛ ⎞ ⎟⎟ ⎟⎜⎜ ⎜⎟⎟ ⎟ ⎟⎜ ⎜⎜ ⎜⎟⎟ ⎟ ⎟⎜ ⎜⎜ ⎜⎟⎟ ⎟ ⎟⎜ ⎜⎜ ⎜⎟⎟ ⎟ ⎟β⎜ ⎜⎜ ⎜⎟⎟ ⎟ ⎟⎜ ⎜⎜ ⎜⎟⎟ ⎟ ⎟= β= =⎜ ⎜ ⎟⎟ ⎜ ⎟ ⎜ ⎟⎟⎜ ⎟ ⎟ ⎟⎜⎜ ⎜⎟⎟ ⎟ ⎟⎜ ⎜⎜ ⎜⎟⎟ ⎟ ⎟⎜ ⎜⎜ ⎜⎟⎟ ⎟ ⎟⎜ ⎜⎜ ⎜⎟⎜ ⎟⎟ ⎟⎝ ⎠ ⎜⎜ ⎜⎟ ⎟β⎝ ⎠ ⎝ ⎠⎝ ⎠ " "  # # # % # # ## "  n 1×⎟ ,U= Khi đó hàm hồi quy PRF ngẫu nhiên dưới dạng ma trận như sau: l l l l l l 1 1011 12 1k 2 221 22 2k 1 n1 n2 nk n k nn k k 1 n 1n 1 Y U1 X X X 1 X X X UY 1 X X X UY × × ×× ⎛ ⎞ ⎛ ⎞ ⎛ ⎞β⎛ ⎞⎟ ⎟ ⎟⎜ ⎜ ⎜⎟ ⎟ ⎟ ⎟⎜⎜ ⎜ ⎜⎟ ⎟ ⎟ ⎟⎜⎜ ⎜ ⎜⎟ ⎟ ⎟ ⎟⎜⎜ ⎜ ⎜⎟ ⎟ ⎟ ⎟β⎜⎜ ⎜ ⎜⎟ ⎟ ⎟ ⎟⎜⎜ ⎜ ⎜⎟ ⎟ ⎟ ⎟= ×⎜⎜ ⎟ ⎟ ⎜ ⎟ ⎜ ⎟⎟ ⎜ ⎟ ⎟ ⎟⎜ ⎜ ⎜⎟ ⎟ ⎟ ⎟⎜⎜ ⎜ ⎜⎟ ⎟ ⎟ ⎟⎜⎜ ⎜ ⎜⎟ ⎟ ⎟ ⎟⎜⎜ ⎜ ⎜⎟⎜⎟ ⎟ ⎟⎝ ⎠⎜ ⎜ ⎜⎟ ⎟⎟ β⎝ ⎠ ⎝ ⎠⎝ ⎠ " " # # # % # # ## "  + l lY X U⇔ = ×β+ 2. 5. 3 Ước lượng bình phương bé nhất thông thường (OLS) 2. 5. 3. 1 Giới thiệu Ta có thể có rất nhiều mẫu khảo sát nên có thể xây dựng được rất nhiều hàm hồi quy mẫu khác nhau được xây dựng từ những mẫu khác nhau. Những hàm hồi quy mẫu đều là ước lượng xấp xỉ của hàm hồi quy tổng thể. Vấn đề đặt ra là có quy tắc hay phương pháp nào để tìm ra hàm hồi quy mẫu “sát” với hàm hồi quy tổng thể nhất có thể được. Nói cách khác là làm thế nào để xác định được giá trị các tham số gần với các giá trị thực . mặc dù trên thực tế chúng ta không bao giờ biết được các giá trị thực này. T 0 1 2 k( , , ,..., )β= β β β β     T0 1 2 k( , , ,..., )β= β β β β Mục tiêu tiếp theo sẽ là sử dụng các dữ liệu Xt1; Xt2; ... ; Xtk và Yt để tìm kiếm ước lượng “tốt nhất” của các tham số của tổng thể là . Sau đây chúng ta sẽ dùng phương pháp ước lượng được dùng phổ biến nhất là phương pháp T 0 1 2 k( , , ,..., )β= β β β β __________________________________________________________________ 62 Chương 2 bình phương tối thiểu (OLS). Phương pháp này thường được gọi là bình phương tối thiểu thông thường, để phân biệt với những phương pháp bình phương tối thiểu khác. Giả sử ta có n bộ giá trị quan sát của (X1; X2; ... ; Xk) và Y, kí hiệu là (Xt1; Xt2; ... ; Xtk) và Yt, trong các các giá trị (Xt1; Xt2; ... ; Xtk) không đồng nhất. Nhắc lại ký hiệu ước lượng của là , phần dư ước lượng thì bằng T 0 1 2 k( , , ,..., )β= β β β β T0 1 2 k( , , ,..., )β= β β β β     l l ttU Y Y= − . Chúng ta phải tìm giá trị tính toán l tY sao cho l tY càng gần các giá trị quan sát thực tế Yt càng tốt, tức l l ttU Y Y= − càng nhỏ càng tốt. Để khảo sát tất cả các quan sát cùng lúc thì người ta xét và mong muốn Æ min. Vậy tiêu chuẩn tối ưu được sử dụng bởi phương pháp bình phương tối thiểu là cực tiểu hóa hàm mục tiêu ln 2 t t 1 U = ∑ ln 2 t t 1 U = ∑ l ( )n n 22t 0 1 2 kt t1 t2 t 1 t 1 ESS U Y X X X = = = = −β −β −β − −β∑ ∑    … tk với các tham số chưa biết là . ESS gọi là tổng bình phương các phần dư và phương pháp OLS là cực tiểu tổng bình phương các phần dư. ESS là khoảng cách bình phương được đo lường từ đường hồi quy. Sử dụng khoảng cách đo lường này, có thể nói rằng phương pháp OLS là tìm đường thẳng “gần nhất” với dữ liệu trên đồ thị. T 0 1 2 k( , , ,..., )β= β β β β     2. 5. 3. 2 Điều kiện cần Để cực tiểu ESS với sẽ thoả hệ phương trình sau đây, được gọi là hệ phương trình chuẩn. T 0 1 2 k( , , ,..., )β= β β β β     __________________________________________________________________ 63 Chương 2 n n n n 0 1 2 kt 1t 2t kt t 1 t 1 t 1 t 1 n n n n n 2 0 1 2 kt 1t 1t 1t 2t 1t kt 1t t 1 t 1 t 1 t 1 t 1 n n n n n 2 0 1 2 kt 2t 2t 1t 2t 2t kt 2t t 1 t 1 t 1 t 1 t 1 Y n X X ... X Y X X X X .X ... X .X Y X X X .X X ... X .X ...... = = = = = = = = = = = = = = = β +β +β + +β = β +β +β + +β = β +β +β + +β ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑             n n n n n 0 1 2 kt it it 1t it 2t it kt it t 1 t 1 t 1 t 1 t 1 ................................................................................................. Y X X X .X X .X ... X .X ............................. = = = = = = β +β +β + +β∑ ∑ ∑ ∑ ∑    n n n n n 2 0 1 2 kt kt it 1t kt 2t kt kt t 1 t 1 t 1 t 1 t 1 ........................................................................... Y X X X .X X .X ... X = = = = = = β +β +β + +β∑ ∑ ∑ ∑ ∑    * Chứng minh Để tối thiểu ESS với , chúng ta xét đạo hàm T0 1 2 k( , , ,..., )β= β β β β     ESS∂∂β riêng theo từng biến 0 1 2 i ESS ESS ESS ESS ESS; ; ; ; ;∂ ∂ ∂ ∂ ∂∂β ∂β ∂β ∂β ∂β" "    k tk của hàm mục tiêu l ( )n n 22t 0 1 2 kt t1 t2 t 1 t 1 ESS U Y X X X = = = = −β −β −β − −β∑ ∑    … . Ta có: ( ) ( )n 20 1 2 i kt t1 t2 ti tk t 10 n n n n n n 0 1 2 i kt t1 t2 ti t 1 t 1 t 1 t 1 t 1 t 1 ESS 2 Y X X X X . 1 2 Y X X X X = = = = = = = ∂ = −β −β −β − −β − −β −∂β ⎛ ⎞⎟⎜=− − β −β −β − −β − −β ⎟⎜ ⎟⎜ ⎟⎝ ⎠ ∑ ∑ ∑ ∑ ∑ ∑ ∑     … …     … … tk ( ) ( )n 20 1 2 i kt t1 t2 ti tk t 11 n n n n 2 0 1 2t t1 t1 t1 t2 t1 t 1 t 1 t 1 t 1 n n i kit 1t tk t1 t 1 t 1 ESS 2 Y X X X X . X Y .X X X X .X 2 X .X X .X = = = = = = = ∂ = −β −β −β − −β − −β −∂β ⎛ ⎞⎟⎜ −β −β −β −⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜=− ⎟⎜ ⎟⎜ ⎟⎟⎜ −β − −β ⎟⎜ ⎟⎜ ⎟⎝ ⎠ ∑ ∑ ∑ ∑ ∑ ∑ ∑     … …     … … t1 __________________________________________________________________ 64 Chương 2 ( ) ( )n 20 1 2 i kt t1 t 2 ti tk t 12 n n n n 2 0 1 2t t 2 t1 t1 t2 t 2 t 1 t 1 t 1 t 1 n n i kti t 2 tk t2 t 1 t 1 ESS 2 Y X X X X . X Y .X X X .X X 2 X .X X .X = = = = = = = ∂ = −β −β −β − −β − −β −∂β ⎛ ⎞⎟⎜ −β −β −β − ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜=− ⎟⎜ ⎟⎜ ⎟⎟⎜−β − −β ⎟⎜ ⎟⎜ ⎟⎝ ⎠ ∑ ∑ ∑ ∑ ∑ ∑ ∑     … …    …  … t 2 ……………………………………………………………………………………… ( ) ( )n 20 1 2 i kt t1 t 2 ti tk t 1i n n n n 0 1 2t ti ti t1 ti t 2 ti t 1 t 1 t 1 t 1 n n 2 i kti tk ti t 1 t 1 ESS 2 Y X X X X . X Y .X X X .X X .X 2 X X .X = = = = = = = ∂ = −β −β −β − −β − −β −∂β ⎛ ⎞⎟⎜ −β −β −β − ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜=− ⎟⎜ ⎟⎜ ⎟⎟⎜−β − −β ⎟⎜ ⎟⎜ ⎟⎝ ⎠ ∑ ∑ ∑ ∑ ∑ ∑ ∑     … …    …  … ti ……………………………………………………………………………………… ( ) ( )n 20 1 2 i kt t1 t2 ti tk t 1k ESS 2 Y X X X X . X = ∂ = −β −β −β − −β − −β −∂β ∑     … … tk n n n n 0 1 2t tk tk t1 tk t 2 tk t 1 t 1 t 1 t 1 n n 2 i kti tk tk t 1 t 1 Y .X X X .X X .X 2 X .X X = = = = = = ⎛ ⎞⎟⎜ −β −β −β − ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜=− ⎟⎜ ⎟⎜ ⎟⎟⎜−β − −β ⎟⎜ ⎟⎜ ⎟⎝ ⎠ ∑ ∑ ∑ ∑ ∑ ∑    …  … Hàm mục tiêu đạt cực trị khi các đạo hàm riêng = 0 ESS 0∂⇔ =∂β ( ) T T 1 k 0 1 2 i k 1 k ESS ESS ESS ESS ESS; ; ; ; ; ; 0;0;0; ;0; ;0 × × ⎛ ⎞∂ ∂ ∂ ∂ ∂ ⎟⎜ ⎟⇔ =⎜ ⎟⎜ ⎟⎜ ∂β ∂β ∂β ∂β ∂β⎝ ⎠" " " "     Hiệp nhất các thành phần, ta có : 0 1 2 i k ESS ESS ESS ESS ESS0; 0; 0; ; 0; ; 0∂ ∂ ∂ ∂ ∂⇒ = = = = =∂β ∂β ∂β ∂β ∂β" "     __________________________________________________________________ 65 Chương 2 n n n n 0 1 2t t1 t2 t 1 t 1 t 1 t 1 n n i kti tk t 1 t 1 t Y X X 2 0 X X .............................................................................................. Y .X 2 = = = = = = ⎛ ⎞⎟⎜ − β −β −β −⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟− =⎜ ⎟⎜ ⎟⎟⎜ ⎟−β − −β⎜ ⎟⎜ ⎟⎜⎝ ⎠ − ⇔ ∑ ∑ ∑ ∑ ∑ ∑     … … n n n n 2 0 1 2t1 t1 t1 t2 t1 t 1 t 1 t 1 t 1 n n i kti t1 tk t1 t 1 t 1 X X X .X 0 X .X X .X ....................................................................................... = = = = = = ⎛ ⎞⎟⎜ −β −β −β −⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟=⎜ ⎟⎜ ⎟⎟⎜ ⎟−β − −β⎜ ⎟⎜ ⎟⎜⎝ ⎠ ∑ ∑ ∑ ∑ ∑ ∑     … … n n n n 2 0 1 2t t2 t1 t1 t2 t2 t 1 t 1 t 1 t 1 n n i kti t2 tk t2 t 1 t 1 ................ Y .X X X .X X 2 0 X .X X .X ................................................................. = = = = = = ⎛ ⎞⎟⎜ −β −β −β −⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟− =⎜ ⎟⎜ ⎟⎟⎜ ⎟−β − −β⎜ ⎟⎜ ⎟⎜⎝ ⎠ ∑ ∑ ∑ ∑ ∑ ∑     … … n n n n 0 1 2t ti ti t1 ti t 2 ti t 1 t 1 t 1 t 1 n n 2 i kti tk ti t 1 t 1 ......................................... Y .X X X .X X .X 2 0 X X .X ........................................ = = = = = = ⎛ ⎞⎟⎜ −β −β −β −⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟− =⎜ ⎟⎜ ⎟⎟⎜ ⎟−β − −β⎜ ⎟⎜ ⎟⎜⎝ ⎠ ∑ ∑ ∑ ∑ ∑ ∑     … … n n n n 0 1 2t tk tk t1 tk t2 tk t 1 t 1 t 1 t 1 n n 2 i kti tk tk t 1 t 1 .................................................................. Y .X X X .X X .X 2 0 X .X X = = = = = = ⎧⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪ ⎨ ⎛ ⎞⎟⎜ −β −β −β −⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟− =⎜ ⎟⎜ ⎟⎟⎜ ⎟−β − −β⎜ ⎟⎜ ⎟⎜⎝ ⎠ ∑ ∑ ∑ ∑ ∑ ∑     … … ⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪ ⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎩ __________________________________________________________________ 66 Chương 2 n n n n n n 0 1 2 i kt t1 t2 ti t 1 t 1 t 1 t 1 t 1 t 1 t t1 t Y X X X X .......................................................................................................................... Y .X = = = = = = − β −β −β − −β − −β = ⇔ ∑ ∑ ∑ ∑ ∑ ∑    … … n n n n 2 0 1 2t1 t1 t2 t1 1 t 1 t 1 t 1 n n i kti t1 tk t1 t 1 t 1 n n 0 1t t2 t1 t 1 t 1 X X X .X X .X X .X 0 .......................................................................................... Y .X X = = = = = = = = −β −β −β − −β − −β = −β −β ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑     … …   n n 2 2t1 t2 t2 t 1 t 1 n n i kti t2 tk t2 t 1 t 1 n n n n 0 1 2t ti ti t1 ti t2 ti t 1 t 1 t 1 t 1 n n 2 i kti tk ti t 1 t 1 X .X X X .X X .X 0 Y .X X X .X X .X X X .X 0 = = = = = = = = = = −β − −β − −β = −β −β −β − −β − −β = ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑   … … """"""""""""""""""""""""     … … """"""""""""""""""""""" n n n n 0 1 2t tk tk t1 tk t2 tk t 1 t 1 t 1 t 1 n n 2 i kti tk tk t 1 t 1 Y .X X X .X X .X X .X X 0 = = = = = = ⎧⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪ −β −β −β −⎪⎪⎪⎪⎪⎪⎪ −β − −β =⎪⎪⎪⎪⎪⎪⎩ ∑ ∑ ∑ ∑ ∑ ∑ "     … … tk 0 __________________________________________________________________ 67 Chương 2 n n n n 0 1 2 i kt t1 t2 ti t 1 t 1 t 1 t 1 t 1 n n n n 2 0 1 2t t1 t1 t1 t2 t1 t 1 t 1 t 1 t 1 n n i kti t1 tk t1 t 1 t 1 n n n 2 0 1 2t t2 t1 t1 t2 t2 t 1 t 1 t 1 Y n X X X X Y .X X X X .X X .X X .X Y .X X X .X X = = = = = = = = = = = = = = β +β +β + +β + +β =β +β +β + +β + +β =β +β +β ⇔ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑     … …     … …    n t 1 n n i kti t 2 tk t2 t 1 t 1 n n n n 0 1 2t ti ti t1 ti t2 ti t 1 t 1 t 1 t 1 n n 2 i kti tk ti t 1 t 1 n 0t tk t 1 X .X X .X Y .X X X .X X .X X X .X Y .X = = = = = = = = = = + +β + +β =β +β +β + +β + +β =β ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑  … … """"""""""""""""""""""""""""     … … """"""""""""""""""""""""""""  n n n 1 2tk t1 tk t2 tk t 1 t 1 t 1 n n 2 i kti tk tk t 1 t 1 X X .X X .X X .X X = = = = = ⎧⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪ +β +β +⎪⎪⎪⎪⎪⎪⎪ +β + +β⎪⎪⎪⎪⎪⎪⎪⎩ ∑ ∑ ∑ ∑ ∑    … … n tk = ∑ ,Y ⎛ ⎞ =⎜ ⎟ ⎝ ⎠ Ta có hệ phương trình chuẩn cần chứng minh 2. 5. 3. 3 Nghiệm hệ phương trình chuẩn Trong chương 2, chúng ta có: 011 12 1k 1 21 22 2k 21 n1 n2 nk nn k n 1k k 1 1 X X X Y 1 X X X Y X , 1 X X X Y× ×× ⎛ ⎞β⎛ ⎞ ⎟⎜⎟ ⎟⎟⎜ ⎜⎜⎟ ⎟⎟⎜ ⎜⎜⎟ ⎟⎟⎜ ⎜⎜⎟ ⎟⎟β⎜ ⎜⎜⎟ ⎟⎟⎜ ⎜⎜⎟ ⎟⎟= β=⎜ ⎜⎟ ⎟⎜ ⎟⎜ ⎟ ⎟⎜⎟ ⎟⎟⎜ ⎜⎜⎟ ⎟⎟⎜ ⎜⎜⎟ ⎟⎟⎜ ⎜⎜⎟ ⎟⎜ ⎜⎟⎝ ⎠ ⎜ ⎟β⎝ ⎠ " "  # # # % # ## "  __________________________________________________________________ 68 Chương 2 11 21 n1 T 12 22 n2 1k 2k nk k n 1 1 1 X X X X X X X X X X × ⎛ ⎞⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⇒ = ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎟⎜⎝ ⎠ " " " # # % # " 11 12 1k 11 21 n1 21 22 2kT 12 22 n2 n1 n2 nk n k 1k 2k nk k n 1 1 1 1 X X X X X X 1 X X X X X X X X 1 X X X X X X ×× ⎛ ⎞⎟⎜ ⎛ ⎞⎟⎜ ⎟ ⎟⎜⎜ ⎟ ⎟⎜⎜ ⎟ ⎟⎜⎜ ⎟ ⎟⎜⎜ ⎟ ⎟⎜⎜ ⎟ ⎟⇒ × = ×⎜⎟ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎟⎜⎜ ⎟ ⎟⎜⎜ ⎟ ⎟⎜⎜ ⎟⎜⎟ ⎝ ⎠⎜ ⎟⎟⎜⎝ ⎠ " "" ""