Luận văn Ứng dụng mạng Nơron nhân tạo dự báo phụ tải ngắn hạn hệ thống điện Miền Bắc

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI ----------------------------------------- LUẬN VĂN THẠC SĨ KHOA HỌC ỨNG DỤNG MẠNG NƠRON NHÂN TẠO DỰ BÁO PHỤ TẢI NGẮN HẠN HỆ THỐNG ĐIỆN MIỀN BẮC NGÀNH: CễNG NGHỆ THễNG TIN MÃ SỐ: CHU NGHĨA Người hướng dẫn khoa học: PGS.TS. NGUYỄN ĐỨC NGHĨA HÀ NỘI 2007 1 Mục lục Danh mục các từ viết tắt ............................................................................. 3 Mở đầu..................................................................................................................... 4 CHƯƠNG I.................................................................................................................. 7 PHụ TảI Hệ THốNG ĐIệN MIềN BắC và bài toán dự báo...................... 7 1.1. Phụ tải Hệ thống điện miền Bắc .......................................................................7 1.1.1. Giới thiệu chung về HTĐ miền Bắc...........................................................7 1.1.2 Tầm quan trọng của dự báo phụ tải...........................................................10 1.1.3. Những yếu tố ảnh h−ởng đến phụ tải ngắn hạn .......................................11 1.1.4. Mục tiêu và phạm vi nghiên cứu dự báo phụ tải ......................................15 1.2. Bài toán dự báo phụ tải ...................................................................................16 1.2.1. Đặc điểm đồ thị phụ tải HTĐ miền Bắc...................................................16 1.2.2. Dự báo phụ tải ngắn hạn cho 24h tiếp theo..............................................19 CHƯƠNG II .............................................................................................................. 23 Tổng quan Về MạNG NƠRON NHÂN TạO .................................................. 23 2.1. Lịch sử phát triển của mạng nơron nhân tạo...................................................23 2.2. Cơ sở lý thuyết mạng nơron............................................................................26 2.3. Bộ não và nơron sinh học ...............................................................................27 2.4 Mô hình mạng nơron nhân tạo.........................................................................30 2.4.1 Mô hình một nơron nhân tạo ....................................................................30 3.4.2. Mô hình mạng nơron nhân tạo.................................................................33 Ch−ơng III ............................................................................................................. 40 ứng dụng mạng nơron ánh xạ đặc tr−ng tự tổ chức Kohonen trong bài toán phân loại ngày.............................................................. 40 3.1. Sự cần thiết phân loại đồ thị phụ tải................................................................40 3.1.1. Tập hợp các kiểu đồ thị phụ tải đặc tr−ng ................................................40 3.1.2. Sự cần thiết phân loại ngày bằng ph−ơng pháp mạng nơron....................42 3.2. Mạng nơron ánh xạ đặc tr−ng tự tổ chức Kohonen ........................................43 3.2.1. Cấu trúc mạng ..........................................................................................44 3.2.2. Huấn luyện mạng .....................................................................................45 3.2.3. Sử dụng mạng...........................................................................................47 3.3. Xây dựng mạng Kohonen để phân loại ngày..................................................48 3.3.1. Thiết kế cấu trúc mạng.............................................................................48 3.3.2. Huấn luyện mạng .....................................................................................49 3.3.3. Xây dựng cấu trúc phần mềm mô phỏng mạng Kohonen phân loại ngày. ...........................................................................................................................52 3.3.4. Kết quả sử dụng mạng Kohonen phân loại ngày .....................................52 3.3.5. Phân tích kết quả phân loại ngày trong tháng 2/2006, tháng 5/2006.......54 CHƯƠNG iV............................................................................................................. 58 2 ứNG DụNG MạNG NƠRON NHIềU LớP LAN TRUYềN NGƯợC SAI Số Dự BáO PHụ TảI Ngắn hạn THEO NHIệT Độ MÔI TRƯờNG.......................... 58 4.1 Các khái niệm cơ bản về mạng nơron nhiều lớp lan truyền ng−ợc sai số (Back propagation neural network). .................................................................................58 4.1.1 Kiến trúc mạng truyền thẳng. ...................................................................59 4.1.2. Huấn luyện mạng .....................................................................................60 4.1.3. Sử dụng mạng...........................................................................................64 4.1.4. Nghiên cứu sự hội tụ và độ phức tạp của quá trình huấn luyện mạng. ....64 4.1.5. Một số vấn đề về mạng nơron nhiều lớp. .................................................67 4.2. ứng dụng mạng nơron nhiều lớp lan truyền ng−ợc sai số xây dựng bài toán dự báo phụ tải hệ thống điện.......................................................................................68 4.2.1. Các b−ớc xây dựng bài toán dự báo phụ tải. ............................................68 4.2.2. Xây dựng cấu trúc phần mềm mô phỏng mạng nơron lan truyền ng−ợc sai số ứng dụng trong bài toán dự báo đỉnh và đáy đồ thị phụ tải. ..........................72 4.2.3 Dự báo phụ tải cho 24 giờ trong ngày.......................................................85 CHƯƠNG V .............................................................................................................. 99 Hệ thống phần mềm dự báo phụ tải ngắn hạn cho hệ thống điện miền bắc..................................................................................................... 99 5.1. Giới thiệu về cơ sở dữ liệu. .............................................................................99 5.2. Đặc tả các chức năng ....................................................................................100 5.2.1. Truy vấn dữ liệu.....................................................................................100 5.2.2. Phân loại dữ liệu ....................................................................................101 5.2.3 Chuẩn hoá dữ liệu...................................................................................101 5.2.4 Huấn luyện mạng....................................................................................101 5.2.5 Dự báo phụ tải.........................................................................................101 5.3 H−ớng dẫn sử dụng........................................................................................102 5.3.1 Truy vấn dữ liệu......................................................................................102 5.3.2 Phân loại dữ liệu .....................................................................................103 5.3.3 Chuẩn hoá dữ liệu...................................................................................103 5.3.4 Huấn luyện mạng....................................................................................104 5.3.5 Dự báo ....................................................................................................104 CHƯƠNG vI........................................................................................................... 106 so sánh với một số kết quả đ∙ có và Đánh giá kết quả.......... 106 6.1. So sánh với một số ph−ơng pháp đã có.........................................................106 6.2. Đánh giá kết quả..........................................................................................111 KếT LUậN ............................................................................................................. 114 Tài liệu tham khảo....................................................................................... 116 Phụ lục i ............................................................................................................. 118 Phụ lục II ............................................................................................................ 120 Tóm tắt luận văn.......................................................................................... 123 Summary ............................................................................................................ 124 3 Danh mục các từ viết tắt ANN Mạng nơron nhân tạo DBPT Dự báo phụ tải HTĐ Hệ thống điện HTĐ1 Trung tâm Điều độ Hệ thống điện miền Bắc MSE Trung bình tổng bình ph−ơng sai số SSE Tổng bình ph−ơng sai số CNTT Công nghệ thông tin ĐTPT Đồ thị phụ tải 4 Mở đầu Trong những năm gần đây, do nhu cầu năng l−ợng không ngừng biến đổi và tăng lên rõ rệt theo thời gian nên ngành Điện lực đã và đang xây dựng rất nhiều các nhà máy điện để đáp ứng nhu cầu tiêu thụ điện năng trong cả n−ớc. Vì vậy, một trong những vấn đề quan trọng mà ngành Điện lực cần phải giải quyết tốt là bài toán dự báo phụ tải ngắn hạn và dài hạn. Cho đến nay tuy đã có nhiều ph−ơng pháp luận trong việc giải quyết bài toán dự báo, song bài toán này luôn là một bài toán khó. Hiện nay, trong ngành Điện lực Việt Nam bài toán dự báo phụ tải đ−ợc giải quyết chủ yếu nhờ sử dụng các ph−ơng pháp dự báo truyền thống mang tính kinh nghiệm thuần tuý. Trong số các h−ớng nghiên cứu nhằm triển khai các hệ thống thông minh ở giai đoạn tới, mạng nơron giữ một vai trò quan trọng trong việc phát triển các giải pháp nhận dạng, dự báo…Mạng nơron nhân tạo là kỹ thuật xử lý thông tin có triển vọng ứng dụng trong việc giải quyết bài toán dự báo. Kết hợp chặt chẽ với logic mờ, mạng nơron nhân tạo có thể giúp giải quyết hiệu quả hơn các bài toán phức tạp. Nhờ các −u điểm nh− có cấu trúc xử lý song song, khả năng học và ghi nhớ, khả năng tự tổ chức và tổng quát hoá, mạng nơron nhân tạo ANN (Artificial Newal Networks) đã đ−ợc nghiên cứu và ứng dụng thành công trong rất nhiều lĩnh vực nh− xấp xỉ hàm nhận dạng mẫu, dự báo… Luận văn này chủ yếu tập trung tìm hiểu về mạng nơron nhân tạo và nghiên cứu ứng dụng giải quyết bài toán dự báo phụ tải ngắn hạn cho hệ thống điện miền Bắc. Mục đích của luận văn là phát triển các ph−ơng pháp để giải bài toán dự báo phụ tải ngắn hạn. Đối t−ợng cụ thể của nghiên cứu là dự báo phụ tải cho 24 giờ sau nhằm đ−a ra các thông số cần thiết cho công tác vận hành và lập ph−ơng thức điều hành hệ thống điện. Luận văn bao gồm sáu ch−ơng và hai phụ lục. 5 Ch−ơng I – Phụ tải hệ thống điện miền Bắc và bài toán dự báo: Trình bày tổng quan về HTĐ miền Bắc. Phát biểu bài toán dự báo phụ tải, nêu phạm vi, tầm quan trọng của bài toán, các yếu tố ảnh h−ởng đến phụ tải ngắn hạn. Ch−ơng II – Tổng quan về mạng nơron nhân tạo: Trình bày các khái niệm cơ bản về mạng nơron nhân tạo: cơ sở lý thuyết và mô hình mạng. Ch−ơng III – ứng dụng mạng nơron ánh xạ đặc tr−ng tự tổ chức Kohonen trong bài toán phân loại ngày: Trình bày các khái niệm cơ bản về mạng nơron ánh xạ đặc tr−ng tự tổ chức Kohonen, đề xuất cấu trúc mạng để giải quyết bài toán, xây dựng cấu trúc phần mềm và phân tích đánh giá kết quả đạt đ−ợc. Ch−ơng IV – ứng dụng mạng nơron nhiều lớp lan truyền ng−ợc sai số trong bài toán dự báo phụ tải theo nhiệt độ môi tr−ờng: Trình bày các khái niệm cơ bản về mạng nơron nhiều lớp lan truyền ng−ợc sai số, đ−a ra các b−ớc xây dựng bài toán, đề xuất cấu trúc mạng, xây dựng cấu trúc phần mềm, đánh giá kết quả và so sánh với một số ph−ơng pháp đã có. Ch−ơng V - Hệ thống phần mềm dự báo phụ tải ngắn hạn cho Hệ thống điện miền Bắc: Giới thiệu về cơ sở dữ liêụ, đặc tả các chức năng của hệ thống và h−ớng dẫn sử dụng phần mềm. Ch−ơng VI - So sánh với một số kết quả đã có và đánh giá kết quả: So sánh ph−ơng pháp dự báo phụ tải ngắn hạn của Hệ thống điện miền Bắc sử dụng mạng nơron nhân tạo với một số ph−ơng pháp dự báo truyền thống. Đánh giá kết quả đạt đ−ợc và khả năng ứng dụng của phần mềm. Phụ lục I – Phần mềm mô phỏng mạng Kohonen trong bài toán phân loại kiểu ngày. 6 Phụ lục II – Phần mềm mô phỏng mạng nơron lan truyền ng−ợc sai số ứng dụng trong bài toán dự báo đỉnh và đáy đồ thị phụ tải. Em xin chân thành cảm ơn PGS.TS Nguyễn Đức Nghĩa đã h−ớng dẫn và cho em những ý kiến quý báu, em xin chân thành cảm ơn các thầy cô giáo khoa Công nghệ Thông tin – Tr−ờng Đại học Bách khoa Hà Nội đã trang bị kiến thức giúp em hoàn thành luận văn này. 7 CHƯƠNG I PHụ TảI Hệ THốNG ĐIệN MIềN BắC và bài toán dự báo Ch−ơng này đề cập đến các vấn đề sau: • Giới thiệu chung về HTĐ miền Bắc • Tầm quan trọng của dự báo phụ tải • Những yếu tố ảnh h−ởng đến phụ tải ngắn hạn • Mục tiêu và phạm vi nghiên cứu dự báo phụ tải • Đặc điểm đồ thị phụ tải HTĐ miền Bắc • Dự báo phụ tải ngắn hạn cho 24h tiếp theo 1.1. Phụ tải Hệ thống điện miền Bắc 1.1.1. Giới thiệu chung về HTĐ miền Bắc Ranh giới của Hệ thống điện miền Bắc đ−ợc tính từ Hà tĩnh trở ra, là một vùng có vị trí địa lý t−ơng đối phức tạp, trải dài và nằm sát bờ biển, có nhiều đồi núi, có nhiều vùng khí hậu khác nhau, kinh tế các khu vực trên toàn miền Bắc phát triển không đồng đều dẫn đến công suất phụ tải ở các khu vực có sự chênh lệch lớn. Phụ tải chủ yếu tập trung ở vùng đồng bằng, các thành phố lớn có công nghiệp phát triển. Tại những vùng này phụ tải cao điểm và thấp điểm chênh lệch nhau không lớn lắm Pmin/Pmax khoảng 0.7 do phụ tải công nghiệp tại các khu vực này phát triển. Đối với những vùng miền núi hoặc sản xuất nông nghiệp, công nghiệp không phát triển thì Pmin/Pmax khoảng 0.3 do phụ tải vào cao điểm chủ yếu là phụ tải sinh hoạt, điều nay gây khó khăn rất lớn trong vận hành kinh tế hệ thống điện. Vào thấp điểm của hệ thống ta không khai thác cao đ−ợc các nguồn điện rẻ tiền còn vào cao điểm của hệ thống ta phải chạy các nguồn điện đắt tiền để phủ đỉnh, có khi còn phải hạn chế phụ tải vào cao điểm do nguồn điện không đáp ứng đ−ợc nhu cầu của phụ tải. Các thành phần cấu thành phụ tải đ−ợc thể hiện ở biều đồ sau: 8 Trên biểu đồ ta thấy phụ tải Quản lý & Tiêu dùng dân c−, Công nghiệp & xây dựng chiếm tỷ trọng lớn, đến 90% tổng công suất phụ tải. Theo thống kê, mức độ tăng tr−ởng phụ tải hệ thống điện từ năm 2001 – 2005 là rất cao. Bảng 1.1 và bảng 1.2 d−ới đây thể hiện tốc độ tăng tr−ởng phụ tải về sản l−ợng của các năm trên. Bảng 1.1: Sản l−ợng điện tiêu thụ của HTĐ miền Bắc từ năm 2001-2005 2001 2002 2003 2004 2005 HTĐ miền Bắc 10.765.767,2 12.251.947,5 14.215.228,6 16.008.894,1 18.057.297,9 Cty I 7.042.600,7 8.125.911,1 9.573.472,8 10.857.462,9 12.292.387,7 Hà Nội 2.777.100,4 3.079.711 3.486.549 3.879.340,1 4,329.367,2 Hải Phòng 946.066,1 1.046.325,4 1.155.206,9 1.272.091,1 1.415.610,8 Hình 1.1. Biểu đồ các thành phần cấu thành nên phụ tải Công nghiệp và xây dựng 45.20% Th−ơng nghiệp & KSNH 4.49% Quản lý & Tiêu dùng dân c− 44.59% Nông nghiệp và thuỷ sản 1.40% Các hoạt động khác 4.32% 9 Bảng 1.2: Tốc độ tăng tr−ởng phụ tải 2002 2003 2004 2005 HTĐ Bắc 13,84% 16,02% 12,62% 12,8% Cty I 15,38% 17,81% 13,41% 13,22% Hà Nội 10,89% 13,21% 11,27% 11,6% Hải Phòng 10,6% 10,41% 10,12% 11,28% Do điện năng của Quản lý & Tiêu dùng dân c− là rất lớn nên chênh lệch công suất giữa giờ cao điểm và thấp điểm rất lớn (khoảng 2-3 lần) và phụ thuộc rất nhiều vào thời tiết, gây ảnh h−ởng lớn đến việc khai thác tối −u các nguồn điện. Phụ tải cao điểm là nhân tố quyết định việc huy động nguồn điện trong khi đó phụ tải thấp điểm lại giữ vai trò quan trọng trong việc quyết định phối hợp và điều chỉnh các nguồn điện nhằm đảm bảo vận hành kinh tế. Do đó việc dự báo chính xác phụ tải có ý nghĩa hết sức quan trọng trong bài toán vận hành kinh tế hệ thống điện cũng nh− cải tạo, thiết kế hệ thống cung cấp điện, giảm thiểu đ−ợc tổn thất công suất và điện năng. Đặc biệt việc dự báo phụ tải cao điểm chính xác mang lại lợi ích và hiệu suất sử dụng năng l−ợng cho khách hàng, tránh trình trạng thiếu công suất giờ cao điểm. Do đó phụ tải cao điểm và thấp điểm chính là hai giá trị đặc biệt trên đồ thị phụ tải ngày và là mối quan tâm hàng đầu của ng−ời lập quy hoạch và thiết kế hệ thống điện. Khi phụ tải thấp thì tỉ lệ tổn thất tăng do tổn hao không tải. 10 1.1.2 Tầm quan trọng của dự báo phụ tải Nh− chúng ta biết tháng 5/2005 sản l−ợng điện tiêu thụ đột biến trong khi đó nguồn tài nguyên n−ớc tại thời điểm đó bị thiếu hụt dẫn đến ảnh h−ởng lớn đến nền kinh tế Việt Nam. Vì vậy dự báo phụ tải điện đóng vai trò hết sức quan trọng đối với việc quy hoạch, đầu t−, phát triển nguồn điện và vận hành hệ thống điện. Nhu cầu tiêu thụ điện năng phụ thuộc vào khả năng phát triển của nền kinh tế quốc dân. nếu dự báo phụ tải quá thấp so với nhu cầu thực tế thì dẫn đến kết quả nguồn dự phòng thấp, không đáp ứng đầy đủ nhu cầu điện cho sản xuất công nghiệp và tiêu dùng, còn nếu dự báo phụ tải quá cao sẽ phải huy động các nguồn đắt tiền gây lãng phí cho nền kinh tế n−ớc nhà. Dự báo phụ tải dài hạn (khoảng 10-20 năm) nhằm mục đích cung cấp dữ liệu cho công tác quy hoạch và đầu t− phát triển HTĐ. Còn dự báo phụ tải ngắn hạn (trong vòng 30 ngày) có nhiệm vụ đảm bảo vận hành hệ thống điện an toàn và kinh tế. Đối với dự báo dài hạn có tính chất chiến l−ợc thì chỉ nêu lên những ph−ơng h−ớng phát triển chủ yếu mà không yêu cầu xác định chỉ tiêu cụ thể. Các chức năng quan trọng trong kế hoạch vận hành HTĐ nh− phân phối nguồn một cách kinh tế, hiệu quả, lên kế hoạch bảo d−ỡng và sửa chữa, th−ờng đ−ợc thực hiện nhờ việc dự báo phụ tải, vì vậy dự báo phụ tải đóng vai trò đặc biệt quan trọng đối với điều độ viên, những ng−ời hoạch định kế hoạch, lên ph−ơng thức vận hành HTĐ. Trong công tác vận hành, việc lập ph−ơng thức ngày, ph−ơng thức tuần của Trung tâm Điều độ, hay dự báo phụ tải báo tr−ớc một giờ, một ngày, một tuần là những công việc tối cần thiết. Những ph−ơng thức vận hành cơ bản trong ngày nh− huy động nguồn, phối hợp nguồn, truyền tải công suất giữa các miền, giải quyết các công tác sửa chữa trên l−ới điện và đánh giá mức độ an toàn HTĐ đều đòi hỏi phải có dự báo phụ tải t−ơng đối chính xác. 11 Trong thực tế vận hành HTĐ Việt Nam nói chung và HTĐ miền Bắc nói riêng, phụ tải cao điểm (phụ tải cao nhất trong ngày Pmax) và thấp điểm (phụ tải thấp nhất trong ngày Pmin) là hai điểm đặc biệt trong đồ thị phụ tải ngày và đ−ợc quan tâm nhiều nhất trong vận hành. Phụ tải cao điểm quyết định việc huy động các nguồn nhiệt điện, tua-bin khí, diesel dự phòng nhằm đảm bảo đủ nguồn phủ đỉnh và dự phòng nóng, tăng độ an toàn cung cấp điện. Phụ tải thấp điểm quyết định việc phối hợp và điều chỉnh các nguồn tua-bin khí, nhiệt điện, thủy điện nhằm đảm bảo vận hành kinh tế, tránh nhà máy thuỷ điện Hoà Bình vận hành trong vùng công suất không cho phép về kỹ thuật, trong đó dự báo phụ tải lúc cao điểm Pmax là quan trọng nhất trong ngày. Dự báo chính xác phụ tải cao điểm có hiệu quả lớn về kinh tế vào mùa lũ khi cần khai thác tối đa nguồn thủy điện, trong khi n−ớc các hồ chứa đang xả thì các nguồn điện khác huy động chỉ nhằm mục đích an toàn, bù điện áp và phủ đỉnh. Nếu sai số dự báo phụ tải lúc cao điểm giảm 2%, Điều độ Quốc Gia (ĐĐQG) có thể tiết kiệm đ−ợc khoảng 80 MW nguồn tuabin khí chạy dầu đắt tiền chạy phủ đỉnh lúc cao điểm, góp phần đáng kể vào việc tăng hiệu quả vận hành HTĐ và tiết kiệm đ−ợc hàng trăm triệu đồng trên mỗi giờ cho ngành điện nói riêng và cho cả nền kinh tế Quốc dân nói chung. Hạn chế phụ tải lúc cao điểm cũng th−ờng xảy ra trong mùa lũ khi thiếu nguồn phủ đỉnh. Tính chính xác đ−ợc l−ợng công suất thiếu để chủ động cắt phụ tải những khu vực không quan trọng, tránh cắt thừa hoặc cắt thiếu, tránh sa thải phụ tải do bảo vệ tần số thấp tác động cũng có ý nghĩa lớn trong vận hành, giảm thiệt hại do cắt điện. 1.1.3. Những yếu tố ảnh h−ởng đến phụ tải ngắn hạn Để tìm ra đ−ợc ph−ơng pháp dự báo tối −u đối với bài toán dự báo phụ tải ngày của HTĐ miền Bắc với sai số nhỏ, ta cần xác định đ−ợc các yếu tố ảnh h−ởng đến phụ tải ngày, ví dụ: thứ của các ngày trong tuần, ngày lễ, các 12 Hình 1.2. Đồ thị phụ tải các ngày đặc tr−ng trong tuần Đồ thị phụ tải 0 500 1000 1500 2000 2500 3000 3500 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 Giờ C ô n g s u ất Thứ 5 Thứ 2 CN đặc điểm của ngày cần dự báo, nh− nhiệt độ trong ngày… Chính vì vậy để nâng cao độ chính xác của quá trình dự báo phụ tải ta cần phải xét đến các yếu tố chủ yếu ảnh h−ởng đến phụ tải. Qua thực tế vận hành cho thấy phụ tải của l−ới điện Việt Nam nói chung và miền Bắc nói riêng phụ thuộc chủ yếu vào các yếu tố chính sau: 1. Thứ của ngày trong tuần Có quy luật giữa phụ tải và ngày trong tuần - Phụ tải thấp nhất trong đêm thứ 2 - Đồ thị phụ tải các ngày làm việc th−ờng có dạng giống nhau - Phụ tải ngày nghỉ cuối tuần giảm. 2. Các ngày đặc biệt trong năm 13 Ngày đặc biệt trong năm nh− các ngày lễ tết, 30/4, 1/5, 2/9... phụ tải các ngày này giảm đáng kể so với ngày th−ờng. Phụ tải các ngày sát với các ngày này cũng bị ảnh h−ởng, ta có thể thấy rõ điều đó trên đồ thị phụ tải HTĐ miền Bắc ngày lễ 1/5/2006 và ngày làm việc bình th−ờng 3/5/2006. Dự báo phụ tải trong các ngày đặc biệt không đ−ợc áp dụng nh− ngày thông th−ờng mà phải tách biệt bằng ph−ơng pháp riêng dựa vào sự thay đổi phụ tải của các ngày này so với các ngày dạng này của các năm tr−ớc đó. 3. Thời tiết trong ngày. Bao gồm các thông số tự nhiên: nhiệt độ, độ ẩm, tốc độ gió, c−ờng độ sáng, trong đó nhiệt độ có ảnh h−ởng lớn nhất, nhiệt độ tăng thì phụ tải tăng và ng−ợc lại vì n−ớc ta là n−ớc nhiệt đới. Chỉ có tr−ờng hợp đặc biệt ở miền Bắc khi nhiệt độ quá lạnh, phụ tải tăng do sử dụng các thiết bị s−ởi ấm. Đồ thị phụ tải 0 500 1000 1500 2000 2500 3000 3500 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 Giờ C ô n g s u ất Ngày 3/5 Ngày 1/5 Hình 1.3. Đồ thị phụ tải HTĐ miền Bắc hai ngày 1/5, 3/5 14 4. Truyền hình trực tiếp các sự kiện thể thao văn hoá Công suất tiêu thụ vào các giờ tuyền hình trực tiếp bóng đá quốc tế, giải bóng đá có đội tuyển Việt Nam tham gia tăng đột ngột từ 150 - 200 MW. Các điều độ viên th−ờng dự báo phụ tải những ngày này theo kinh nghiệm những ngày t−ơng tự tr−ớc đó. Ví dụ: khi dự báo đồ thị phụ tải ngày có truyền hình trực tiếp Worldcup 2006, ta dựa vào đồ thị phụ tải trong ngày cũng có truyền hình trực tiếp Worldcup 2006 tr−ớc đó để dự báo. Đồ thị phụ tải 0 500 1000 1500 2000 2500 3000 3500 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 Giờ C ôn g su ất Đờm khụng cú WC Đờm cú WC Hình 1.5. Đồ thị phụ tải HTĐ miền Bắc có truyền hình trực tiếp Worldcup 2006 và ngày bình th−ờng. Đồ thị phụ tải 0 500 1000 1500 2000 2500 3000 3500 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 Giờ C ôn g su ất 26-33 độ 18 –26 độ Hình 1.4. Đồ thị phụ tải ngày hai ngày có nhiệt độ khác 15 5. Kế hoạch sửa chữa lớn trong ngày có cắt điện. Trong quá trình thực hiện kế hoạch sửa chữa lớn, nh− cắt điện đ−ờng dây đang vận hành để kéo đ−ờng dây mới, sửa chữa trạm 220Kv, 500Kv phải cắt tải diện rộng dẫn đến điện năng tiêu thụ vào các ngày này giảm một cách đáng kể. Dự báo phụ tải những ngày này phải tính toán khấu trừ phụ tải giảm do ngừng cung cấp điện. Dạng của đồ thị phụ tải trong ngày có cắt điện diện rộng cũng mang đặc thù riêng, thay đổi tuỳ thuộc vào thời gian, vùng , miền cắt điện. Qua quá trình vận hành thực tế và dữ liệu thống kê, các điều độ viên, các chuyên viên chuyên phân tích về phụ tải hệ thống điện đi đến kết luận: Nhiệt độ môi tr−ờng, đặc thù của các ngày trong tuần, ngày lễ, ngày tết là các yếu tố ảnh h−ởng lớn nhất đến giá trị phụ tải ngày. 1.1.4. Mục tiêu và phạm vi nghiên cứu dự báo phụ tải • Mục tiêu của luận văn Nghiên cứu áp dụng kỹ thuật mạng nơron để dự báo phụ tải cao điểm (Pmax), thấp điểm đêm (Pmin) và phụ tải ngày (24 giờ) của HTĐ miền Bắc theo dữ liệu phụ tải quá khứ, nhiệt độ môi tr−ờng và một số các yếu tố ảnh h−ởng khác. • Phạm vi nghiên cứu. Dự báo luôn giữ vai trò quan trọng trong nhiều lĩnh vực, quyết định kế hoạch sản xuất, h−ớng đầu t− phát triển trong t−ơng lai do đó có rất nhiều các mô hình toán học áp dụng cho dự báo. Cũng nh− các dự báo khác, dự báo phụ tải ngày cũng phải dựa vào dữ liệu thống kê, phân tích và áp dụng thuật toán để xác định mối quan hệ giữa phụ tải và các yếu tố ảnh h−ởng, từ đó dự báo phụ tải dựa trên các yếu tố ảnh h−ởng đó. 16 Tr−ớc đây, các mô hình toán học truyền thống hay đ−ợc áp dụng cho dự báo nh−: hồi qui tuyến tính (linear regression), san bằng hàm mũ (exponential smoothing), san trung bình (moving averages), hệ số ngẫu nhiên (stochatic) .... Gần đây, với sự phát triển của việc nghiên cứu một số thuật toán dựa trên trí tuệ của con ng−ời (artificial intelligence), mạng nơron nhân tạo (artificial neural networks) đã đ−ợc áp dụng trong dự báo và đ−ợc đánh giá cao. Đây là mô hình phi tuyến với nhiều −u điểm và đang đ−ợc áp dụng rộng rãi. Mạng nơron nhân tạo đ−ợc xây dựng trên cơ sở mô phỏng hoạt động của hệ thống nơron thần kinh sinh học do đó mạng nơron nhân tạo có một số đặc điểm nh− bộ não con ng−ời, đó là khả năng học đ−ợc những gì đã đ−ợc dạy. Quá trình học này đ−ợc gọi là quá trình huấn luyện. Trong quá trình này các mẫu thể hiện quan hệ giữa các biến ngẫu nhiên đ−ợc đ−a vào trong mạng nơron, mạng nơron sẽ nhận biết đ−ợc quan hệ giữa các biến ngẫu nhiên đó sau khi kết thúc quá trình huấn luyện. Chính do đặc điểm này mà mạng nơron đ−ợc ứng dụng rất nhiều trong lĩnh vực dự báo. Đặc biệt đối với bài toán dự báo phụ tải ngắn hạn thì đây là mô hình đ−ợc đánh giá cao hơn hẳn các mô hình tr−ớc đó và hiện nay mô hình này đang đ−ợc áp dụng phổ biến ở một số n−ớc phát triển trong dự báo phụ tải . Nghiên cứu ph−ơng pháp dự báo phụ tải ngày là nghiên cứu và áp dụng các ph−ơng pháp toán học để tìm quan hệ giữa phụ tải ngày và các yếu tố chủ yếu ảnh h−ởng đến phụ tải ngày. Thuật toán áp dụng cho dự báo phụ tải theo nhiệt độ phải dựa trên dự báo thời tiết ngày hôm sau gồm các thông tin nh−: nhiệt độ cao nhất và thấp nhất trong ngày, nắng hay m−a, giông bão ... 1.2. Bài toán dự báo phụ tải 1.2.1. Đặc điểm đồ thị phụ tải HTĐ miền Bắc Phụ tải của HTĐ miền Bắc có các thành phần điện Quản lý & Tiêu dùng dân c− và Công nghiệp & xây dựng chiếm tỷ trọng lớn. Bảng 1.3 thống kê sản 17 l−ợng tiêu thụ của từng ngành trong ba năm 2003 đến 2005. Có thể nhận thấy rằng, tỉ trọng điện tiêu thụ trong quản lý & tiêu dùng dân c− rất lớn làm chế độ tiêu thụ điện năng xấu đi, hệ số phụ tải giảm, gây nhiều khó khăn cho việc đảm bảo an toàn cung cấp điện. Bảng 1.3 Tỉ trọng sản l−ợng điện tiêu thụ của các thành phần kinh tế Năm Tiêu dùng dân c− Công nghiệp & xây dựng Nông lâm nghiệp Th−ơng nghiệp Khác 2003 45,32% 44,2% 1,41% 4,52% 4,55% 2005 44,59% 45,2% 1,4% 4,49% 4,32% 2006 44,31% 45,91 1,42 4,38 3,98 Đồ thị phụ tải ngày của HTĐ miền Bắc đ−ợc xây dựng theo giá trị phụ tải 24h trong ngày. Trên hình 1.6 là đồ thị hai ngày làm việc bình th−ờng vào mùa đông và mùa hè. Đồ thị phụ tải biến đổi theo từng giờ, phụ tải cao nhất trong ngày (Pmax) lớn hơn rất nhiều so với phụ tải thấp nhất trong ngày (Pmin). Cao điểm tr−a th−ờng xảy ra 10h-11h, cao điểm chiều th−ờng xảy ra 18h-19h. Thấp điểm th−ờng xảy ra vào ban đêm trong khoảng 3h-4h vào mùa hè, 2h-3h vào mùa đông. Đồ thị của những ngày mùa hè th−ờng đồng đều hơn mùa đông, chứng tỏ sản l−ợng điện sinh hoạt tiêu thụ rất lớn so với các ngành khác. 18 Trong quá trình vận hành của điều độ, phụ tải cao điểm (Pmax) và phụ tải thấp điểm (Pmin) là hai điểm quan trọng nhất trong ngày. Phụ tải cao điểm và thấp điểm quyết định huy động nguồn và điều chỉnh phối hợp nguồn thuỷ điện, nhiệt điện, diesel… • Vào thời điểm cao điểm Điều độ Quốc Gia phải huy động các nguồn điện đắt tiền nh− các nhà máy diesel, tua bin khí cho việc khởi động và nâng công suất, trong tr−ờng hợp sự cố thiếu nguồn, điều độ viên cần phải dự báo công suất thiếu để chuẩn bị tr−ớc ph−ơng án cắt tải sau đó phối hợp với các điều độ miền phân bổ các công suất cần phải cắt cho các Điều độ l−ới điện phân phối. Cắt tải có chuẩn bị tr−ớc sẽ ít gây thiệt hại về kinh tế hơn cắt tải do rơ le tần số thấp tác động. Đặc biệt rất đảm bảo an toàn đối với các nhà máy sản xuất công nghiệp nặng. • Vào giờ thấp điểm. (phụ tải th−ờng thấp hơn giờ cao điểm 2-3 lần) Cần điều chỉnh cắt giảm các nguồn điện đắt tiền nh− nguồn tua bin khí chạy dầu, nhiệt điện sao cho thoả mãn chỉ tiêu kinh tế. Nếu dự báo càng chính xác Pmin, Pmax, thì có thể huy động và điều chỉnh nguồn hợp lý, dẫn đến vận hành hệ thống an toàn, hiệu quả và kinh tế hơn. Đ ồ th ị phụ tải 0 500 1000 1500 2000 2500 3000 3500 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 G iờ C ô n g s u ất 14/12/2005 11/07/2006 Hình 1.6. ĐTPT hai ngày làm việc vào mùa đông và mùa hè 19 1.2.2. Dự báo phụ tải ngắn hạn cho 24h tiếp theo Dự báo phụ tải l−ới điện cho 24h tiếp theo nhằm đ−a ra các giá trị phụ tải dự báo theo từng giờ của ngày tiếp theo sát với thực tế vận hành, trong đó giảm sai số là vấn đề mang tính chiến l−ợc trong quá trình dự báo. Trong quá trình phân tích, so sánh đồ thị phụ tải của miền Bắc và các miền khác trong một thời gian dài cho thấy kiểu đồ thị phụ tải ngày chủ yếu bị ảnh h−ởng bởi thói quen tổ chức sinh hoạt, cách phân công sắp xếp công việc của khách hàng, từ đó ta thấy ĐTPT có mối liên quan chặt chẽ với môi tr−ờng hoạt động, ngày làm việc, ngày nghỉ, lễ, tết,… của cả cộng đồng dân c−. Còn đáy và đỉnh phụ tải là hàm của biến thời tiết nh− nhiệt độ, l−ợng m−a, độ ẩm… Bài toán dự báo phụ tải HTĐ có thể chia thành hai bài toán nhỏ: • Bài toán dự báo đỉnh và đáy ĐTPT ngày cần dự báo • Bài toán xác định dạng ĐTPT ngày cần dự báo 1.2.2.1. Các dạng của đồ thị phụ tải Xét đồ thị phụ tải HTĐ trên hình 1.7, đây là đồ thị phụ tải của Công ty điện lực I các ngày 14/5/2006 (chủ nhật) và ngày 15/5/2006 (Thứ hai) đ−ợc xây dựng theo giá trị phụ tải 24h trong ngày. ĐTPT hai ngày điễn hình này có dạng t−ơng tự nh− ĐTPT ngày của HTĐ miền Bắc, ta thấy các giá trị phụ tải phân bố trên ĐTPT không đồng đều. Đặc biệt độ chênh lệch giữa hai giá trị Pmax và Pmin là rất lớn. 20 CN 14/05/2006 T2 15/05/2006 - Gọi giá trị phụ tải đỉnh là Pmax - Gọi giá trị phụ tải đáy là Pmin - Gọi giá trị phụ tải giờ thứ i là P(i) với i=1ữ24 ứng với 24h trong ngày Ta cần đ−a ĐTPT trên về dạng ĐTPT ngày chuẩn, muốn vậy ta phải quy chuẩn hoá phụ tải của từng giờ theo công thức sau: Pn(i)= minmax min)( PP PiP − − (1.1) Pn(i): là phụ tải quy chuẩn hoá của giờ thứ i. Dựa vào công thức trên ta tính đ−ợc giá trị phụ tải quy chuẩn hoá của 24h trong ngày, đồ thị này còn đ−ợc gọi là véctơ ĐTPT. Đặt véctơ ĐTPT là P, ta có: P = [p1 , p2, … , pi , … , p24] T (1.2) Pn(i) =[Pn(1), Pn(2), … ,Pn(i), … , Pn(24)] T (1.3) Với Pn(i) là phụ tải đ−ợc quy chuẩn hoá của giờ thứ i. Đ ồ th ị p h ụ tả i 0 500 1000 1500 2000 2500 3000 3500 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 G iờ C ô n g s u ất Hình 1.7. ĐTPT hai ngày điển hình (CN,T2) của Cty điện lực I 21 Đ ồ th ị p h ụ tả i 0 .0 0 .1 0 .2 0 .3 0 .4 0 .5 0 .6 0 .7 0 .8 0 .9 1 .0 0 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 2 0 2 1 2 2 2 3 2 4 G iờ C ô n g s u ất CN 14/05/2006 T2 15/05/2006 Hình 1.8. ĐTPT hai ngày (CN,T2) của Cty điện lực I đã chuẩn hoá. Hình 1.8 là ĐTPT ngày đ−ợc chuẩn hoá theo biến i và Pn(i). ĐTPT đã đ−ợc quy chuẩn vẫn giữ nguyên dạng biến thiên ban đầu, các giá trị đ−ợc quy chuẩn nằm trong khoảng từ 0 ữ1, với Pnmax=1, Pnmin= 0. 1.2.2.2 Đỉnh và đáy của đồ thị phụ tải. Hai giá trị phụ tải đặc biệt trong ngày mà đ−ợc các kỹ s− vận hành cũng nh− ng−ời làm ph−ơng thức ngày quan tâm nhiều nhất đó là, phụ tải cao điểm và phụ tải thấp điểm. Đây cũng chính là mục tiêu quan trọng hàng đầu trong bài toán dự báo phụ tải điện. Tính kinh tế, hiệu quả, ph−ơng thức vận hành, cũng nh− h−ớng đầu t− phát triển trong t−ơng lai của HTĐ phụ thuộc rất lớn vào việc dự báo và độ chính xác của việc dự báo hai giá trị này. Có nhiều ph−ơng pháp có thể áp dụng để dự báo Pmax và Pmin. nh− dự báo theo ph−ơng pháp ngoại suy theo thời gian, ph−ơng pháp hồi quy tuyến tính… Trong luận văn này chúng ta chỉ nghiên cứu ph−ơng pháp DBPT sử dụng mạng nơron nhân tạo. Sau khi đã xác định đ−ợc hai giá trị quan trọng nhất Pmax và Pmin trên ĐTPT thì các giá trị phụ tải khác trong ngày sẽ đ−ợc xác định theo mối quan hệ của chúng. Vậy nếu biết đ−ợc dạng đồ thị phụ tải quy chuẩn, tức là các giá 22 trị Pn(i), xác định đ−ợc Pmax và Pmin trong ngày ta sẽ tính đ−ợc phụ tải của từng giờ theo công thức 1.1. 1.2.2.3 Dự báo phụ tải cho 24h Khi ta đã dự báo đ−ợc Pmax và Pmin trong ngày nếu ta xác định đ−ợc đồ thị phụ tải quy chuẩn tức là xác định đ−ợc các giá trị Pn(i) với i=1ữ24 ta sẽ xác định đ−ợc phụ tải của từng giờ trong ngày. Từ công thức (1.1) ta xác định đ−ợc công thức 1.4 sau: P(i) = Pmin + (Pmax – Pmin ) Pn(i) (1.4) Qua các phân tích nêu trên có thể đi đến kết luận: Để dự báo đ−ợc phụ tải từng giờ cho một ngày cụ thể, ta cần dự báo đ−ợc giá trị phụ tải đỉnh Pmax và phụ tải đáy Pmin của ngày đó và tìm ra véctơ ĐTPT Pn(i) của ngày cần dự báo. Tóm lại cũng nh− các dự báo khác, dự báo phụ tải ngày phải dựa vào số liệu thống kê, phân tích và áp dụng các thuật toán để xác định mối quan hệ giữa phụ tải và các yếu tố ảnh h−ởng, từ đó xây dựng ph−ơng pháp dự báo phụ tải ngày dựa trên các yếu tố ảnh h−ởng đã đ−ợc nêu. Phần tiếp theo, ta sẽ nghiên cứu ph−ơng pháp giải quyết bài toán dự báo phụ tải thông qua việc sử dụng các loại mạng nơron nhân tạo. Việc phân tích đặc điểm riêng, yêu cầu và mục đích từng bài toán sẽ là cơ sở để chọn loại mạng nơron nhân tạo thích hợp vào việc giải quyết từng bài toán. 23 CHƯƠNG II Tổng quan Về MạNG NƠRON NHÂN TạO Mạng nơron nhân tạo là một lĩnh vực đ−ợc đề xuất và nghiên cứu vào cuối thập kỷ 1800 khi ng−ời ta cố gắng mô tả hoạt động của trí tuệ con ng−ời. ý t−ởng này bắt đầu đ−ợc áp dụng cho các mô hình tính toán từ mạng Perceptron và đến nay đã có nhiều ứng dụng trong thực tế, đặc biệt là trong lĩnh vực dự báo, nhận dạng, điều khiển… Ví dụ, mạng nơron nhân tạo có thể sử dụng để nhận dạng ký tự thông qua khả năng học từ kinh nghiệm hoặc từ tập mẫu, trong khi các ph−ơng pháp truyền thống phải tiêu tốn nhiều thời gian cho việc làm mảnh ký tự, khả năng nhận dạng sẽ không cao khi chất l−ợng quét của scanner tồi hoặc bản thân ký tự đ−ợc lấy từ văn bản mờ hoặc có nhiều nét đứt. Cách tiếp cận mạng nơron nhân tạo có ý nghĩa thực tiễn rất lớn cho phép tạo ra các thiết bị có thể kết hợp khả năng song song cao của bộ não với tốc độ tính toán cao của máy tính. 2.1. Lịch sử phát triển của mạng nơron nhân tạo Trí tuệ nhân tạo (Artificial Intelligence) hay tạo cho máy móc khả năng suy luận, phán đoán và cảm nhận nh− con ng−ời là một trong những tham vọng to lớn của loài ng−ời. Tham vọng này đã có từ lâu và cùng với sự ra đời của máy tính, con ng−ời từng b−ớc đ−a kiến thức của mình vào máy, biến chúng trở thành những công cụ thực sự có trí tuệ. Mạng nơron nhân tạo là một bộ phận của ngành khoa học trí tuệ nhân tạo, là lĩnh vực tin học nghiên cứu ứng dụng máy tính điện tử thông minh hoạt động theo cơ chế mô phỏng t− duy của con ng−ời. Mạng nơron nhân tạo có cấu trúc t−ơng tự nh− bộ não tuy nhiên số nơron trong mạng nơron nhân tạo là hữu hạn tuỳ thuộc vào nhu cầu thực tế của bài toán, còn đối với bộ não con ng−ời số nơron lên tới xấp xỉ 15 tỉ nơron. Mạng nơron có khả năng học và tái tạo lại những gì đã đ−ợc dạy, chính 24 vì đặc điểm này mà mạng nơron đang đ−ợc phát triển rất mạnh mẽ và đang đ−ợc ứng dụng rất nhiều trong thực tế, đặc biệt là trong lĩnh vực dự báo, nhận dạng, điều khiển… Con ng−ời bắt đầu nghiên cứu mạng nơron vào cuối thập kỷ 1800 khi ng−ời ta cố gắng mô tả hoạt động của trí tuệ con ng−ời, ý t−ởng này bắt đầu đ−ợc áp dụng cho các mô hình tính toán từ mạng Perceptron. Đầu thập kỷ 1950 Friedrich Hayek là ng−ời đầu tiên khẳng định ý t−ởng về trật tự tự phát trong não xuất phát từ các mạng phân tán gồm các đơn vị đơn giản (nơron). Cuối thập kỷ 1940, Donnald Hebb đ−a ra giả thuyết đầu tiên về một cơ chế thần kinh mềm dẻo (neural plasticity). Hebbian learning đ−ợc coi là một quy tắc 'điển hình' của học không có giám sát. Nó (và các biến thể) là mô hình thời kỳ đầu của long term potentiation. (tạo tiềm lực dài hạn). Perceptron là một bộ phân loại tuyến tính dành cho việc phân loại dữ liệu xác định bằng các tham số và một hàm đầu ra g = w'x + b. Các tham số của nó đ−ợc thích nghi với một quy tắc tùy biến (ad- hoc) t−ơng tự với xuống dốc ngẫu nhiên (stochastic steepest gradient descent). Perceptron chỉ có thể phân loại hoàn hảo một tập dữ liệu mà các lớp khác nhau là (linearly separable) trong không gian đầu vào. Nó th−ờng thất bại hoàn toàn đối với dữ liệu không chia tách đ−ợc. Sự phát triển của thuật toán này ban đầu đã tạo ra một số hứng khởi, phần vì mối quan hệ của nó đối với các cơ chế sinh học. Sau này, phát hiện về điểm yếu này đã làm cho các mô hình Perceptron bị bỏ mặc cho đến khi các mô hình phi tuyến đ−ợc đ−a ra. Cognitron (1975) là một mạng nơron đa tầng thời kỳ đầu với một thuật toán huấn luyện. Các chiến l−ợc thần kinh khác nhau sẽ khác nhau về cấu trúc thực sự của mạng và các ph−ơng pháp thiết lập trọng số cho các kết nối. Mỗi dạng có các −u điểm và nh−ợc điểm riêng. Mạng có thể lan truyền thông tin chỉ theo một h−ớng, hoặc thông tin có thể đ−ợc đẩy đi đẩy lại cho đến khi tại một nút xuất hiện sự tự kích hoạt và mạng sẽ dừng tại một trạng thái kết thúc. 25 Mạng nơron nhiều lớp lan truyền ng−ợc sai số đã đ−ợc Rosenblatt và một số tác giả khác mô tả từ những năm 50, nh−ng họ chủ yếu chỉ nghiên cứu sâu về mạng Perceptron một lớp. Sở dĩ nh− vậy là do không tìm đ−ợc cách thay đổi trọng số liên kết tại các lớp ẩn. Ngay cả khi đã biết đ−ợc sai số tại các đầu ra, nh−ng ng−ời ta vẫn ch−a hình dung đ−ợc các sai số đó đ−ợc phân bố nh− thế nào tại các nơron ẩn. Minsky và Papert đã chỉ ra rằng khó có thể tổng quát hoá luật học đối với mạng một lớp sang mạng nhiều lớp, có hai lý giải chính cho vấn đề này. Thứ nhất, thuật giải học của mạng nhiều lớp có thể không hiệu quả, hoặc không hội tụ về điểm cực trị tổng thể trong không gian véctơ trọng số. Mặt khác, các nghiên cứu trong lý thuyết tính toán đã chỉ ra rằng trong tr−ờng hợp tồi nhất quá trình học các hàm tổng quát từ mẫu học không phải lúc nào cũng giải quyết đ−ợc. Các nguyên tắc cơ bản trong luật học đối với mạng nhiều lớp đã đ−ợc Bryson và Ho đề xuất từ năm 1969, nh−ng phải tới giữa năm 1980 vấn đề này mới đ−ợc quan tâm trở lại bởi công trình nghiên cứu của Rumelhart năm 1986. Mạng truyền ng−ợc (backpropagation) có lẽ đã là nguyên nhân chính của sự tái xuất của mạng nơron từ khi công trình "Learning Internal Representations by Error Propagation" (học các biểu diễn bên trong bằng cách lan truyền lỗi) đ−ợc xuất bản năm 1986. Mạng truyền ng−ợc ban đầu sử dụng nhiều tầng, mỗi tầng gồm các đơn vị tổng trọng số có dạng g = f(w'x + b), trong đó f là một hàm sigmoid. Huấn luyện đ−ợc thực hiện theo kiểu xuống dốc ngẫu nhiên. Việc sử dụng quy tắc tính nguyên hàm cho hàm hợp (chain rule) khi tính toán các thay đổi thích hợp cho các tham số dẫn đến một thuật toán có vẻ truyền ng−ợc lỗi, đó là nguồn gốc của thuật ngữ truyền ng−ợc. Tuy nhiên, về bản chất đây chỉ là một dạng xuống dốc, việc xác định các tham số tối −u cho một mô hình thuộc dạng này không đơn giản, không thể dựa vào các ph−ơng pháp xuống dốc để có đ−ợc lời giải tốt mà không cần một xuất phát điểm tốt. Ngày nay, các mạng có cùng kiến trúc với mạng 26 truyền ng−ợc đ−ợc gọi là các mạng Perceptron đa tầng. Thuật ngữ này không hàm ý bất cứ giới hạn nào đối với loại thuật toán dùng cho việc học. Mạng truyền ng−ợc đã tạo ra nhiều hứng khởi và đã có nhiều tranh cãi về quy trình học đó có thể đ−ợc thực hiện trong bộ não hay không. Một phần vì khi đó ch−a tìm ra cơ chế truyền tín hiệu ng−ợc. Nh−ng lý do quan trọng nhất là ch−a có một nguồn tín hiệu 'dạy' hay tín hiệu 'đích' đáng tin cậy. 2.2. Cơ sở lý thuyết mạng nơron Mạng nơron nhân tạo là một lĩnh vực nghiên cứu rộng lớn và chỉ mới phát triển mạnh khoảng 20 năm gần đây. Nó đ−ợc nghiên cứu và phát triển dựa trên nhiều lĩnh vực khoa học khác nhau bao gồm: Sinh học, sinh lý học, toán học, tin học. - Nơron sinh lý học: Các nơron nhân tạo đều có cấu trúc dựa các mô hình nơron sinh vật. Các nhà nghiên cứu đã chọn ph−ơng pháp nghiên cứu đặc tính đáp ứng nơron với các xung kích thích từ thấp đến cao, từ một đơn thể đến một mạng nhiều lớp, từ các khu thần kinh trung −ơng đến các cơ cấu thần kinh chấp hành. - Sinh lý học nơron: Các nhà sinh lý học nơron nghiên cứu cách nhận thức, các hành vi, cách tổ chức của não ng−ời để giải quyết những bài toán phức tạp, đòi hỏi sáng tạo. Rất nhiều các thuật học đ−ợc bắt nguồn từ những nghiên cứu về sinh lý học. - Cơ sở toán học: Toán học là một công cụ không thể thiếu trong quá trình nghiên cứu khoa học nói chung và mạng nơron nói riêng. - Công nghệ thông tin: Biễu diễn và xử lý nhanh các vấn đề đã đ−ợc nghiên cứu, là yếu tố thúc đẩy các ứng dụng và kỹ thuật mạng nơron nhân tạo phát triển nhanh chóng. 27 2.3. Bộ não và nơron sinh học Các nhà nghiên cứu sinh học cho ta thấy rằng các nơron (tế bào thần kinh) là đơn vị cơ sở đảm nhiệm những chức năng xử lý nhất định trong hệ thần kinh, bao gồm não, tuỷ sống và các dây thần kinh. Mỗi nơron có một phần thân với nhân bên trong (gọi là soma), một đầu thần kinh ra (gọi là sợi trục axon) và một hệ thống dạng cây các dây thần kinh vào (gọi là dendrite). Các dây thần kinh vào tạo thành một l−ới dày xung quanh thân tế bào, chiếm diện tích khoảng 0.25 mm2, còn dây thần kinh tạo thành trục dài có thể từ 1 cm đến hàng mét. Đ−ờng kính của thân tế bào th−ờng chỉ là 10-4m. Trục dây thần kinh ra cũng có thể phân nhánh các dây thần kinh theo dạng cây để nối với các dây thần kinh vào hoặc trực tiếp với nhân tế bào các nơron khác thông qua các khớp nối (gọi là synapse). Thông th−ờng, mỗi nơron có thể gồm vài chục cho tới vài trăm ngàn khớp nối để nối với các nơron khác. Ng−ời ta −ớc l−ợng rằng l−ới các dây thần kinh ra cùng với các khớp nối bao phủ diện tích khoảng 90% bề mặt nơron (hình 2.1) Hình 2.1. Cấu tạo nơron sinh học 28 Các tín hiệu truyền trong các dây thần kinh vào và dây thần kinh ra của các nơron là tín hiệu điện và đ−ợc thực hiện thông qua các quá trình phản ứng và giải phóng các chất hữu cơ. Các chất này đ−ợc phát ra từ các khớp nối dẫn tới các dây thần kinh vào sẽ làm tăng hay giảm điện thế của nhân tế bào. Khi điện thế này đạt tới một ng−ỡng nào đó, sẽ tạo ra một xung điện dẫn tới trục dây thần kinh ra. Xung này đ−ợc truyền theo trục, tới các nhánh rẽ khi chạm tới các khớp nối có các nơron khác sẽ giải phóng các chất truyền điện, có hai loại khớp nối: khớp nối kích thích (excitatory) hoặc khớp nối ức chế (inhibitory). Phát hiện quan trọng nhất trong ngành nghiên cứu về bộ não là các liên kết khớp thần kinh khá mềm dẻo, có thể biến động và chỉnh đổi theo thời gian tuỳ thuộc vào dạng kích thích. Hơn nữa, các nơron có thể sản sinh các liên kết mới với các nơron khác và đôi khi l−ới các nơron có thể di chuyển từ vùng này sang vùng khác trong bộ não. Các nhà khoa học cho rằng đây chính là cơ sở quan trọng để giải thích cơ chế học của bộ não con ng−ời. Phần lớn các quá trình xử lý thông tin đều xảy ra trên vỏ não. Toàn bộ vỏ não đ−ợc bao phủ bởi mạng các tổ chức cơ sở có dạng hình thùng tròn với đ−ờng kính khoảng 0.5mm, độ cao 4mm. Mỗi đơn vị cơ sở này chứa khoảng 2000 nơron. Ng−ời ta chỉ ra rằng mỗi vùng não có những chức năng nhất định. Điều rất đáng ngạc nhiên là các nơron rất đơn giản trong cơ chế làm việc, nh−ng mạng nơron liên kết với nhau lại có khả năng tính toán, suy nghĩ, tính toán nghi nhớ, và điều khiển. Có thể điểm qua những chức năng cơ bản của bộ não nh− sau: - Bộ nhớ đ−ợc tổ chức theo các bó thông tin và truy nhập theo nội dung (có thể truy xuất thông tin dựa theo giá trị các thuộc tính của đối t−ợng); 29 - Bộ não có khả năng tổng quát hoá, có thể truy xuất các tri thức hay các mối liên kết chung của các đối t−ợng t−ơng ứng với một khái niệm chung nào đó; - Bộ não có khả năng dung thứ lỗi theo nghĩa có thể điều chỉnh hoặc tiếp tục thực hiện ngay khi có những sai lệch do thông tin bị thiếu hoặc không chính xác. Ngoài ra, bộ não còn có thể phát hiện và phục hồi các thông tin mất dựa trên sự t−ơng tự giữa các đối t−ợng; - Bộ não có khả năng xuống cấp và thay thế dần, khi có trục trặc tại các vùng não (do bệnh, chấn th−ơng) hoặc bắt gặp những thông tin hoàn toàn mới lạ, bộ não vẫn có thể tiếp tục làm việc; - Bộ não có khả năng học. Dễ dàng thấy rằng bộ não con ng−ời có thể l−u giữ nhiều thông tin hơn các máy tính hiện đại; Tuy rằng điều này không phải đúng mãi mãi, vì bộ não tiến hoá chậm, trong khi đó nhờ những tiến bộ trong công nghệ vi điện tử, bộ nhớ máy tính đ−ợc nâng cấp rất nhanh. Hơn nữa, sự hơn kém về bộ nhớ trở nên hoàn toàn thứ yếu so với sự khác biệt về tốc độ tính toán và khả năng tính toán song song. Các bộ vi xử lý có thể tính 108 lệnh trong một giây, trong khi đó mạng nơron xử lý chậm hơn, cần khoảng vài miligây để kích hoạt. Tuy nhiên, bộ não có thể kích hoạt hầu nh− cùng một lúc tại rất nhiều nơron khớp nối, trong khi đó ngay cả máy tính hiện đại cũng chỉ có một số hạn chế các bộ vi xử lý song song. Nếu chạy một mạng nơron nhân tạo trên máy tính, phải tốn hàng trăm lệnh máy để kiểm tra một nơron có đ−ợc kích hoạt hay không (tiêu phí khoảng10-8 x 10 giây trên nột nơron). Do đó, cho dù bộ vi xử lý có thể tính toán nhanh hơn hàng triệu lần so với các nơron bộ não, nh−ng xét tổng thể bộ não lại tính toán nhanh hơn hàng tỷ lần. Cách tiếp cận mạng nơron nhân tạo có ý nghĩa thực tiễn rất lớn cho phép tạo ra các thiết bị có thể kết hợp khả năng song song cao của bộ não và tốc độ 30 tính toán cao của máy tính. Tuy vậy, cần phải có một khoảng thời gian dài nữa để các mạng nơron nhân tạo có thể mô phỏng các hành vi sáng tạo của bộ não con ng−ời. Chẳng hạn, bộ não có thể thực hiện một nhiệm vụ khá phức tạp nh− nhận ra khuôn mặt ng−ời quen sau không quá một giây, trong khi đó một máy tính tuần tự phải thực hiện hàng tỷ phép tính (khoảng10 giây) để thực hiện cùng một thao tác đó, nh−ng với chất l−ợng kém hơn nhiều, đặc biệt trong tr−ờng hợp thông tin không chính xác, đầy đủ. 2.4 Mô hình mạng nơron nhân tạo Mạng nơron nhân tạo (Artificial Neural Network) bao gồm các nút (đơn vị xử lý, nơron) đ−ợc nối với nhau bởi liên kết nơron. Mỗi liên kết kèm theo một trọng số nào đó, đặc tr−ng cho đặc tính kích hoạt/ ức chế giữa các nơron. Có thể xem các trọng số là ph−ơng tiện để l−u thông tin dài hạn trong mạng nơron và nhiệm vụ của quá trình huấn luyện (học) mạng là cập nhật các trọng số khi có thêm các thông tin về các mẫu học, hay nói một cách khác, các trọng số đ−ợc điều chỉnh sao cho dáng điệu vào ra của nó mô phỏng hoàn toàn phù hợp môi tr−ờng đang xem xét. Trong mạng, một số nơron đ−ợc nối với môi tr−ờng bên ngoài nh− các đầu ra, đầu vào. 2.4.1 Mô hình một nơron nhân tạo a=∑ Z f xi wi Các liên kết vào Cỏc liờn kết ra Hàm vào Đầu raHàm kớch hoạt Hình 2.2. Mạng nơron nhân tạo 31 Mỗi nơron nhân tạo (nút) đ−ợc nối với các nơron khác và nhận các tín hiệu xi từ chúng với các trọng số wi, tổng các thông tin vào có trọng số là a =∑ = n i ii xw 1 a là thành phần tuyến tính của nơron. Hàm kích hoạt f (hàm chuyển) đóng vai trò biến đổi từ a sang tín hiệu đầu ra z. z =f(a) Trong đó: xi: Các tín hiệu đầu vào. wi: Các trọng số t−ơng ứng với các đầu vào n: số đầu vào của nơron. a: Tổng trọng số của mỗi nơron. f: hàm kích hoạt z: là đầu ra của nơron, đây là thành phần phi tuyến của nơron. Hàm kích hoạt f th−ờng có 3 dạng hay dùng trong thực tế. • Hàm dạng b−ớc: 1 nếu x ≥ 0 f(x)= 0 nếu x < 0 hoặc 1 nếu x ≥ θ f(x)= 0 nếu x < θ 1 0 32 • Hàm dấu 1 nếu x ≥ 0 f(x)= -1 nếu x < 0 hoặc 1 nếu x ≥ θ f(x)= 0 nếu x < θ • Hàm singmoid f(x) = xe α−+1 1 ở đây ng−ỡng đóng vai trò làm tăng tính thích nghi và khả năng tính toán của mạng nơron. Sử dụng ký pháp véctơ, X = (x1, x2, …,xn) véctơ tín hiệu vào, W = (w1,w2, …,wn) véctơ trọng số, khi đó ta có. Z = f(a), a =WS Tr−ờng hợp xét ng−ỡng, ta biểu diễn véctơ mới X’ = (x1,x2, …,xn, θ ), W = (w1,w2, …,wn, -1) 1 -1 33 3.4.2. Mô hình mạng nơron nhân tạo Mạng nơron là hệ thống bao gồm nhiều phần tử xử lý đơn giản (nơron) hoạt động song song. Tính năng của hệ thống này tuỳ thuộc vào cấu trúc của hệ các trọng số liên kết nơron và quá trình tính toán các nơron đơn lẻ. Mạng nơron có thể học từ dữ liệu mẫu và tổng quát hoá dựa trên các dữ liệu mẫu học. Trong mạng nơron, các nơron đón nhận tín hiệu vào gọi là nơron vào và các nơron đ−a thông tin ra gọi là nơron ra. 3.4.2.1. Phân loại các mạng nơron Theo kiểu liên kết nơron: Ta có mạng nơron truyền thẳng (feel- forward Neural Network) và mạng nơron qui hồi (recurrent NN). Trong mạng nơron truyền thẳng, các liên kết nơron đi theo một h−ớng nhất định, không tạo thành đồ thị có chu trình (Directed Acyclic Graph) với các đỉnh là các nơron, các cung là các liên kết giữa chúng. Ng−ợc lại, các mạng qui hồi cho phép các liên kết nơron tạo thành chu trình. Vì các thông tin ra của các nơron đ−ợc truyền lại cho các nơron đã góp phần kích hoạt chúng, nên mạng qui hồi còn có khả năng l−u giữ trạng thái trong của nó d−ới dạng ng−ỡng kích hoạt ngoài các trọng số liên kết nơron. Lớp vào Nơron vào Lớp ẩn Lớp ra Nơron ra a) Mạng nơron nhiều lớp b) Mạng nơron truyền thẳng Hình 2.3. Mạng truyền thẳng và nhiều lớp 34 Theo số lớp: Các nơron có thể tổ chức lại thành các lớp sao cho mỗi nơron của lớp này chỉ đ−ợc nối với các nơron ở lớp tiếp theo, không cho phép các liên kết giữa các nơron trong cùng một lớp, hoặc từ nơron lớp d−ới lên nơron lớp trên. ở đây cũng không cho phép các liên kết nơron nhảy qua một lớp. Dễ dàng nhận thấy rằng các nơron trong cùng một lớp nhận đ−ợc tín hiệu từ lớp trên cùng một lúc, do vậy về nguyên tắc chúng có thể xử lý song song. Thông th−ờng lớp nơron vào chỉ chịu trách nhiệm truyền đ−a tín hiệu vào, không thực hiện một tính toán nào nên khi tính số lớp của mạng, ng−ời ta không tính lớp vào. Ví dụ, mạng nơron ở hình 2.6 có hai lớp: một lớp ẩn và một lớp ra. Đầu vào Lớp nơron a1 a2 an Y2 Y1 Yn s1 s2 s3 sm w1,1 wm,n Hình 2.5. Mạng nơron một lớp Hình 2.4. Mạng nơron hồi qui. 35 Đầu vào Lớp 1 Lớp 2 2.4.2.2. Cách nhìn về mạng nơron • Mạng nơron nh− một công cụ tính toán: Giả sử mạng nơron NN có n nơron vào và m nơron ra, khi đó với mỗi véctơ các tín hiệu vào X = (x1,…,xn ), sau quá trình tính toán tại các nơron ẩn, ta nhận đ−ợc kết quả ra Z =( z1, z2,...,zm). Theo nghĩa nào đó mạng nơron làm việc với t− cách một bảng tra, mà không cần biết dạng phụ thuộc hàm t−ờng minh giữa Z và X. khi đó có thể viết: Z=Tinh(X, NN ) Các nơron trên cùng một lớp có thể tính toán đồng thời, do vậy độ phức tạp tính toán nói chung sẽ phụ thuộc vào số lớp mạng. Các thông số cấu trúc mạng nơron bao gồm. + Số tín hiệu vào, số tín hiệu ra. + Số lớp nơron. + Số nơron trên mỗi lớp ẩn. + Số l−ợng liên kết của mỗi nơron (liên kết đầy đủ, liên kết bộ phận và liên kết ngẫu nhiên). a11 a12 a1n X2 X1 Xn s1 s2 s3 sm w1,1 wm,n a21 a22 a2k Y2 Y1 Yk Hình 2.6. Mạng nơron nhiều lớp 36 + Các trọng số liên kết nơron. • Mạng nơron nh− một hệ thống thích nghi có khả năng học (huấn luyện) để tinh chỉnh các trọng số liên kết cũng nh− cấu trúc của mạng sao cho phù hợp với các mẫu học (samples). Có ba loại kỹ thuật học (i) Học có giám sát (supervised learning) hay còn gọi học có thầy; (ii) Học không có giám sát (unsupervised leraning) hay còn gọi học không có thầy (iii) Học tăng c−ờng. Trong học có giám sát, mạng đ−ợc cung cấp một tập mẫu học {(XS,DS)} theo nghĩa XS là tín hiệu vào, thì kết quả ra đúng của hệ phải là DS. ở mỗi lần học, véctơ tín hiệu vào XS đ−ợc đ−a vào mạng, sau đó so sánh sự sai khác giữa các kết quả ra đúng DS với kết quả tính toán ZS. Sai số này sẽ đ−ợc dùng để hiệu chỉnh lại các trọng số liên kết trong mạng. Quá trình cứ tiếp tục cho đến khi thỏa mãn một tiêu chuẩn nào đó. Có hai cách sử dụng tập mẫu học: Hoặc dùng các mẫu lần l−ợt, hết mẫu này đến mẫu khác, hoặc sử dụng đồng thời tất cả các mẫu một lúc. Các mạng với cơ chế học không giám sát đ−ợc gọi là các mạng tự tổ chức. Các kỹ thuật học trong mạng nơron có thể nhằm vào hiệu chỉnh các trọng số liên kết (gọi là tham số) hoặc điều chỉnh, sửa đổi cấu trúc của mạng bao gồm số lớp, số nơron, kiểu và trọng số các liên kết (gọi là học cấu trúc). Cả hai mục đích học này có thể thực hiện đồng thời hoặc tách biệt. Học tham số: Giả sử có k nơron trong mạng và mỗi nơron có đúng l liên kết vào với các nơron khác. Khi đó, ma trận trọng số liên kết W sẽ có kích th−ớc kxl. Các thủ tục học tham số nhằm mục đích tìm kiếm ma trận W sao cho ZS = Tinh ( XS, W ) đối với mọi mẫu học S = (XS, DS) (2.1) 37 Học cấu trúc: Với học tham số ta giả định rằng mạng có một cấu trúc cố định. Việc học cấu trúc của mạng truyền thẳng gắn với yêu cầu tìm ra số lớp của mạng L và số nơron trên mỗi lớp nj. Đối với các mạng hồi qui còn phải xác định thêm các tham số ng−ỡng θ của các nơron trong mạng. Một cách tổng quát phải xác định bộ tham số P = ( L,n1…..,n1, θ1,….,θk), ở đây k = ∑ nj sao cho: YS = Tinh ( XS,P) đối với mọi mẫu học s = (XS, DS) (2.2) Về thực chất, việc điều chỉnh các véctơ tham số W trong (2.1) hay P trong (2.2) đều qui về bài toán tìm kiếm tối −u trong không gian tham số. Do vậy, có thể áp dụng các cơ chế tìm kiếm kinh điển theo gradient hay các giải thuật di truyền, lập trình tiến hoá. 3.4.2.3. Khả năng tính toán và biểu diễn phụ thuộc dữ liệu của mạng nơron Mạng nơron truyền thẳng chỉ đơn thuần tính toán các tín hiệu ra dựa trên các tín hiệu vào và các trọng số liên kết nơron đã xác định rõ trong mạng. Do đó chúng không có trạng thái bên trong nào khác ngoài véctơ trọng số W. Đối với mạng qui hồi, trạng thái trong của mạng đ−ợc l−u giữ tại các ng−ỡng của các nơron, các mạng qui hồi có thể không ổn định, thậm chí rối loạn theo nghĩa, khi cho véctơ giá trị đầu vào X nào đó, mạng cần phải tính toán rất lâu, Mạng nơron N Hiệu chỉnh W Sai số Hình 2.7. Học tham số có giám sát Xs Ds Zs 38 thậm chí có thể lặp vô hạn tr−ớc khi đ−a ra đ−ợc kết quả mong muốn. Quá trình học của mạng qui hồi cũng phức tạp hơn nhiều. Tuy vậy, các mạng qui hồi có thể cho phép mô phỏng các hệ thống t−ơng đối phức tạp trong thực tế. 3.4.2.4. Xác định cấu trúc mạng tối −u. Nh− ta đã đề cập phần trên, lựa chọn sai cấu trúc mạng có thể dẫn tới hoạt động mạng trở nên kém hiệu quả. Nếu chọn mạng quá nhỏ có thể chúng không biểu diễn đ−ợc sự phụ thuộc dữ liệu mong muốn. Nếu chọn mạng quá lớn để có thể nhớ đ−ợc tất cả các mẫu học d−ới dạng bảng tra, nh−ng hoàn toàn không thể tổng quát đ−ợc cho những tín hiệu vào ch−a biết tr−ớc. Nói cách khác, cũng giống nh− trong các mô hìng thống kê, các mạng nơron có thể đ−a tới tình trạng quá thừa tham số. Bài toán xác định cấu trúc mạng tốt có thể xem nh− bài toán tìm kiếm trong không gian tham số. Một cách làm là sử dụng giải thuật di truyền, tuy vậy, không gian tham số có thể rất lớn và để xác định một trạng thái W ( hoặc P) trong không gian đòi hỏi phải huấn luyện mạng, do vậy rất tốn thời gian. Có thể áp dụng t− t−ởng tìm kiếm leo đồi (hill-climbing) nhằm sửa đổi một cách có lựa chọn, mang tính địa ph−ơng cấu trúc mạng hiện có. Có hai cách làm: + Hoặc bắt đầu với một mạng lớn, sau đó giảm nhỏ xuống; + Hoặc bắt đầu với một mạng nhỏ, sau đó tăng dần lên. Một kỹ thuật khác có thể áp dụng gọi là “tổn th−ơng tối −u“ nhằm loại bỏ một số liên kết trọng số trong mạng dựa trên các tiếp cận lý thuyết thông tin, đơn giản nhất là các liên kết có trọng số bằng 0. Quá trình cứ tiếp tục nh− vậy. Kỹ thuật này có thể loại trừ 3/4 các liên kết, do đó nâng cao đáng kể hiệu quả của mạng. 39 Ngoài việc loại trừ các liên kết nơron thừa, có thể bỏ qua những nơron không đóng góp nhiều vào quá trình thực hiện của mạng. Giải thuật “Lợp ngói” là một biến thể của kỹ thuật tăng tr−ởng mạng xuất phát từ cấu hình ban đầu t−ơng đối nhỏ. ý t−ởng ở đây là xác định một cấu hình mạng cho phép tính đúng các mẫu học đã biết. Sau đó, mỗi khi thêm dần mẫu học mới, mạng đ−ợc phép thêm một số nơron cho phép đoán đúng kết quả học hiện tại và quá trình cứ tiếp tục nh− vậy. 40 Ch−ơng III ứng dụng mạng nơron ánh xạ đặc tr−ng tự tổ chức Kohonen trong bài toán phân loại ngày Bài toán phân loại ngày trong dự báo phụ tải ngắn hạn cho hệ thống điện là một bài toán rất quan trọng để phân loại các dữ liệu đầu vào và dự báo các kiểu ngày tiếp theo. Trong một số phần mềm dự báo phụ tải ngắn hạn tr−ớc đây, ch−a có phần mềm nào thực hiện vấn đề phân loại dữ liệu, mà việc phân loại dữ liệu đầu vào đều đ−ợc thực hiện thủ công bằng kinh nghiệm. Trong ch−ơng này tôi trình bày các khái niệm cơ bản về mạng nơron ánh xạ đặc tr−ng tự tổ chức Kohonen, sau đó phát biểu bài toán, đề xuất cấu trúc mạng, cách ứng dụng kỹ thuật “mạng nơron ánh xạ đặc tr−ng tự tổ chức Kohonen” để giải quyết bài toán. Xây dựng phần mềm và phân tích đánh giá kết quả đạt đ−ợc. Ch−ơng trình đ−ợc viết bằng phần mềm Matlab. 3.1. Sự cần thiết phân loại đồ thị phụ tải 3.1.1. Tập hợp các kiểu đồ thị phụ tải đặc tr−ng Trong các bài toán dự báo nói chung và dự báo phụ tải hệ thống điện nói riêng, để đạt đ−ợc kết quả dự báo chính xác cao và thời gian huấn luyện ngắn, ta cần phải phân loại đ−ợc các loại dữ liệu đầu vào. Đặc biệt đối với bài toán dự báo phụ tải ta cần phân dạng kiểu ngày dự báo vì qua số liệu thống kê và thực tế vận hành cho thấy tồn tại một vài dạng đồ thị phụ tải đặc tr−ng phụ thuộc vào các tính chất của ngày nghiên cứu. Đồ thị phụ tải trong ngày làm việc của các tháng giống nhau trong các năm giống nhau th−ờng có dạng giống nhau. D−ới đây là đồ thị phụ tải của ngày làm việc trong tháng 2 năm 2005, 2006 và các ngày làm việc trong tháng 41 Đồ thị phụ tải 0 500 1000 1500 2000 2500 3000 3500 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 Giờ C ôn g su ất Đồ thị phụ tải 0 500 1000 1500 2000 2500 3000 3500 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 Giờ C ôn g su ất Đồ thị phụ tải 0 500 1000 1500 2000 2500 3000 3500 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 Giờ C ôn g su ất 6 năm 2005, 2006 của hệ thống điện Miền Bắc (Hình 3.1). Qua đồ thị phụ tải ta thấy các ngày làm việc trong cùng một tháng của hai năm có dạng giống nhau. Đồ thị phụ tải của tháng 2 có dạng hoàn toàn khác với tháng 6 và ta cũng thấy rằng giá trị phụ tải của ngày nghỉ bao giờ cũng nhỏ hơn ngày làm việc bình th−ờng, dạng đồ thị của các ngày này cũng có sự thay đổi. Đối với các ngày truyền hình trực tiếp các sự kiện thể thao văn hoá đồ thị phụ tải cũng có dạng t−ơng tự nh− các ngày có cùng sự kiện tr−ớc đó. Dạng của đồ thị phụ tải trong ngày có cắt điện diện rộng cũng mang đặc thù riêng tuỳ thuộc vào thời gian, vùng cắt điện. Những ngày này nếu áp dụng các ph−ơng pháp dự báo th−ờng cho kết quả chính xác không cao. Từ 22 đến 24/02/2005 Từ 9 đến 11/05/2005 Từ 22 đến 24/02/2006 42 Đồ thị phụ tải 0 500 1000 1500 2000 2500 3000 3500 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 Giờ C ôn g su ất Tóm lại để kết quả dự báo phụ tải chính xác cao ta cần phân loại các đồ thị phụ tải của các ngày trong năm thành một số nhóm, mỗi nhóm bao gồm các ngày có các dạng đồ thị phụ tải t−ơng tự. Những ngày có dạng đồ thị phụ tải t−ơng tự đ−ợc định nghĩa là những ngày có cùng kiểu ngày. 3.1.2. Sự cần thiết phân loại ngày bằng ph−ơng pháp mạng nơron. Tr−ớc đây, bằng kinh nghiệm vận hành lâu năm các kỹ s− điều hành và các cán bộ lập ph−ơng thức có thể phân biệt đ−ợc các kiểu ngày gốc đặc tr−ng trong quá khứ và dự đoán các kiểu ngày tiếp theo. Tuy nhiên, trong quá trình biến đổi không ngừng của xã hội, cơ cấu kinh tế và tỉ trọng giữa các ngành công nghiệp thay đổi, thói quen sinh hoạt của khách hàng thay đổi sẽ xuất hiện một số kiểu ngày mới mà các chuyên gia với kinh nghiệm của mình có thể đ−a ra nhận định với độ chính xác không cao. Hơn nữa sẽ có một số kiểu ngày nào đó có thể hầu nh− không xuất hiện, thậm chí biến mất hoàn toàn mà không đ−ợc loại trừ khỏi tập hợp các kiểu ngày gốc đặc tr−ng. Đó chính là nh−ợc điểm lớn trong quá trình dự báo dạng đồ thị phụ tải dựa vào kinh nghiệm của chuyên gia. Từ 9 đến 11/05/2006 Hình 3.1. ĐTPT đặc tr−ng của các ngày trong tháng 2, 5 của năm 2005 và 2006 43 Việc sử dụng mạng nơron nhân tạo để phân loại ngày là một giải pháp khắc phục đ−ợc hạn chế trên. Nhờ cơ chế huấn luyện mạng nơron với các dữ liệu phụ tải cập nhật theo định kỳ, phần mềm dự báo có thể tìm ra các kiểu ngày, các ngày t−ơng tự và các kiểu ngày mới phát sinh không giống với một số kiểu ngày trong dạng gốc hoặc loại bỏ một số ngày không còn xuất hiện nữa. Trong suốt quá trình huấn luyện mạng, khi đ−a các tập mẫu vào mạng, ta cần phải thu đ−ợc kết quả gì, bao nhiêu kiểu ngày đầu ra? Quá trình học nh− vậy gọi là học không giám sát. Trong phần tiếp theo, ta sẽ đi sâu nghiên cứu mạng nơron ánh xạ đặc tr−ng tự tổ chức Kohonen và ứng dụng nó để phân loại ngày. 3.2. Mạng nơron ánh xạ đặc tr−ng tự tổ chức Kohonen Cách xử lý thông tin của các mạng nơron thông th−ờng chỉ quan tâm tới giá trị và dấu của các thông tin đầu vào, mà ch−a quan tâm khai thác các mối liên hệ có tính chất cấu trúc trong lân cận của các vùng dữ liệu mẫu hay toàn thể không gian mẫu Chẳng hạn, với hai phần: 1 tam giác, 1 hình chữ nhật, ta có thể tạo thành ngôi nhà khi chúng đ−ợc phân bố kề giáp với nhau theo một tật tự nhất định. Teuvo kohonen (1989) đã đề xuất một ý t−ởng rất đáng chú ý về ánh xạ các đặc tr−ng tự tổ chức (theo nghĩa không cần có mẫu học) nhằm bảo toàn các trật tự sắp xếp các mẫu trong không gian biểu diễn nhiều chiều sang một không gian mới các mảng nơron (một hoặc hai chiều). Trong mạng Kohonen, Hình 3.2. Ví dụ về mối liên hệ có tính chất lân cận 44 các véctơ tín hiệu vào gần nhau sẽ đ−ợc ánh xạ sang các nơron trong mạng lân cận nhau. 3.2.1. Cấu trúc mạng Mạng kohonen rất gần gũi với kiểu cấu trúc mạng nơron sinh học cả về cấu tạo lẫn cơ chế học. Mạng kohonen thuộc vào nhóm mạng một lớp, các nơron đ−ợc phân bố trong mặt phẳng hai chiều theo kiểu l−ới vuông, hay l−ới lục giác (hình 3.3). Phân bố này phải thoả mãn yêu cầu: Mỗi nơron có cùng số nơron trong từng lớp láng giềng, ý t−ởng cơ bản của Kohonen là các đầu vào t−ơng tự nhau sẽ kích hoạt các nơron gần nhau về khoảng không gian. Mối quan hệ t−ơng tự (theo khoảng cách) có thể tổng quát hoá cho một lớp đối t−ợng rộng các quan hệ t−ơng tự giữa các tín hiệu đầu vào. ` Một cách trực quan, có thể xem thuật giải huấn luyện mạng Kohonen nhằm biến đổi không gian tín hiệu vào sang mạng nơron giống nh− các thủ tục kiểu “làm trơn” hay “tạo hình” dữ diệu. Tất cả các nơron ở lớp kích hoạt có liên kết đầy đủ với lớp vào. Điểm quan trọng nhất trong mạng Kohonen là với một véctơ tín hiệu vào, nó chỉ cho phép các phản hồi có tính địa ph−ơng, nghĩa là đầu ra của mỗi nơron không Hình 3.3. L−ới các nơron trong mặt phẳng hai chiều 45 đ−ợc nối với tất cả các nơron khác mà chỉ với một số nơron lân cận. Sự phản hồi mang tính địa ph−ơng của những điều chỉnh (nếu có) tạo ra hiệu ứng là các nơron gần nhau về vị trí sẽ có hành vi t−ơng tự khi có những tín hiệu giống nhau đ−ợc đ−a vào. 3.2.2. Huấn luyện mạng Quá trình học đ−ợc sử dụng trong mạng Kohonen dựa trên kỹ thuật cạnh tranh, không cần có tập mẫu học. Khác với học có giám sát, các tín hiệu đầu ra có thể không đ−ợc biết một cách chính xác. Xét mạng nơron hai lớp, lớp đầu vào gồm có các tín hiệu đầu vào Xs, mỗi tín hiệu vào bao gồm N nơron với X = [x1, x2, …,xN] T. Lớp ẩn bao gồm M nơron. Trên hình 3.4 mô tả liên kết giữa tín hiệu đầu vào tới một nơron ra. Hình 3.4. Liên kết giữa tín hiệu đầu vào tới một nơron ra Tín hiệu vào Trọng số liên kết wij 46 Mỗi đầu vào i đ−ợc kết nối với nơron đầu ra j thông qua một trọng số wij. Giá trị đầu ra aj đ−ợc gán cho nút đầu ra j theo các biến đầu vào và trọng số liên kết wij. aj = ∑ = N i iij xw 1 (3.1) Tại mỗi thời điểm chỉ có nơron duy nhất C trong lớp kích hoạt đ−ợc lựa chọn sau khi đã đ−a vào mạnh các tín hiệu Xs. Nơron này đ−ợc chọn theo một trong hai nguyên tắc sau: Nguyên tắc 1 Nơron C có tín hiệu ra cực đại Outc← )( 1 jj aaxm = = )(max( 1 ∑∑ =i jisiWX (3.2) Nguyên tắc 2 Véctơ trọng số của nơron C gần với tín hiệu vào nhất Errc← )min( 1 j j err = = ))(min( 2∑ − jisi WX (3.3) Sau khi đ−a vào một tập các véctơ X(1), X(2),…,X(K), các véctơ đầu vào với các đặc điểm t−ơng tự đ−ợc gán cho đơn vị đầu ra giống hoặc gần giống nhau. Nh− vậy đây là quá trình véctơ đầu vào tự tổ chức trong quá trình học và in vào sơ đồ đầu ra. Sự sắp xếp của nút đầu ra thông qua một véctơ đầu vào t−ơng ứng dựa trên các đặc điểm nêu trên nên loại mạng nơron này đ−ợc gọi là mạng ánh xạ đặc tr−ng tự tổ chức Kohonen. Sau khi xác định đ−ợc nơron C, các trọng số wci đ−ợc hiệu chỉnh nhằm làm cho đầu ra của nó lớn hơn hoặc gần hơn giá trị trọng số mong muốn. Do vậy, nếu tín hiệu vào xsi với trọng số wci cho kết quả ra quá lớn thì phải giảm trọng số và ng−ợc lại. Các trọng số của các nơron láng giềng cũng phải đ−ợc hiệu chỉnh giảm tuỳ thuộc vào khoảng cách lân cận Nc tính từ C. Với khoảng lân cận Nc thì số nơron lân cận với nút c là (2Nc+1)2 đ−ợc phân bố trong một hình vuông mà nút C là trung tâm (Hình 3.5). 47 Tuỳ thuộc vào nơron trung tâm C đ−ợc chọn theo nguyên tắc 1 hoặc nguyên tắc 2 ta có cách hiệu chỉnh các trọng số wij t−ơng ứng: wji=wji +η(1-xiwji) (3.4) hoặc wji=wji +η(xi – wji) (3.5) Sau đó chuẩn hoá các trọng số sao cho: 1 1 =∑ = n i ijw Với luật học này các nơron lân cận sẽ đ−ợc cập nhật t−ơng tự nhau và nh− thế sẽ phù hợp với sự kiện đáp ứng đầu vào lân cận. Trên thực tế khoảng lân cận Nc và hằng số η sẽ đ−ợc thay đổi trong quá trình học. Bắt đầu Nc rất lớn và η t−ơng đối và sau đó giảm cả hai. Theo kinh nghiệm, cần phải tạo ra phân bố ngẫu nhiên các trọng số trong khoảng -0.1 đến 0.1 hoặc -1/m đến 1/m, ở đây m là số trọng số của mạng và chuẩn hoá dữ liệu vào, ra bằng -1 hoặc 1. Tuy nhiên cũng phải chú ý một điều là việc lựa chọn tiêu chuẩn chuẩn hoá, định cỡ dữ liệu phụ thuộc rất nhiều vào bản chất bài toán. 3.2.3. Sử dụng mạng Giả sử đã huấn luyện mạng để nhận đ−ợc ma trận trọng số W. Khi đ−a vào mạng một véctơ X, toàn bộ ma trận W lại đ−ợc cập nhật theo các công Hình 3.5. Phân bố giữa nơron trung tâm và các nơron theo l−ới vuông 48 thức (3.4) hoặc (3.5) tuỳ thuộc vào việc xác định nơron trung tâm C sử dụng theo nguyên tắc 1 hay nguyên tắc 2. Nh− vậy, mạng Kohonen cho chúng ta biết đ−ợc sự phân bố và quan hệ t−ơng đối về mặt “địa lý” giữa các mẫu trong không gian biểu diễn. 3.3. Xây dựng mạng Kohonen để phân loại ngày 3.3.1. Thiết kế cấu trúc mạng. Với đặc thù của bài toán dự báo phụ tải, dữ liệu đầu vào gồm có 24 giá trị t−ơng ứng với 24h (N=24),vì vậy ta chọn đầu vào X= (X1, X2, …XN). Chọn lớp đầu ra gồm M= 19x19 nơron với Y = (Y1, Y2, …YM). Các nơron đầu ra đ−ợc sắp xếp trên một mạng kẻ ô hình bàn cờ, mỗi nơron đ−ợc mô tả bằng một hệ toạ độ chữ nhật. Để đơn giản trong mô hình này, ta đánh số thứ tự các nơron theo tuần tự và so sánh vị trí t−ơng quan cụ thể giữa chúng bằng cách tự phân tích (Hình 3.6 ). 1 2 3 4 5 6 … … 17 18 19 20 21 22 … 36 37 38 39 40 41 … 55 56 57 58 59 60 … 74 75 76 … … … … … … … … … … … … … … 286 287 288 … 302 303 304 305 306 307 … 321 322 323 49 324 325 326 … 340 341 342 343 344 345 346 347 348 … 359 360 361 3.3.2. Huấn luyện mạng Sau khi đã chọn đ−ợc cấu trúc mạng, b−ớc tiếp theo ta sẽ huấn luyện mạng dựa trên kỹ thuật học cạnh tranh, không cần có tập mẫu học. Giả sử ta có véctơ ĐTPT P= (P1, P2 , …, P24), ta thực hiện quy chuẩn hoá để thu đ−ợc véctơ đơn vị theo công thức (3.5) xi = ∑24 2i i p p (3.6) Nh− vậy véctơ đầu vào tại mạng ánh xạ đặc tr−ng tự tổ chức X = [X1, X2,…..Xn] T Quá trình huấn luyện đ−ợc bắt đầu bằng việc chọn các véctơ đầu vào X(1), X(2), ….X(n) phụ thuộc vào số ngày mà chúng ta dựa vào phân dạng. B−ớc tiếp theo ta chọn các giá trị trọng số ban đầu wij (i=1, 2,…..24); j = (1, 2,…, M) và chiều dài khoảng lân cận là Nc. Theo Kohonen thì các trọng số liên kết bắt đầu từ các giá trị nhỏ ngẫu nhiên trong khoảng –0.1 đến 0.1. Sau khi đã xác định đ−ợc các trọng số ban đầu W’’ij b−ớc tiếp theo ta cần quy chuẩn hoá để thu đ−ợc chiều dài véctơ đơn vị theo công thức (3.7). wij = ∑24 2 ' ij ij w w (3.7) Nói cách khác trọng số đ−ợc quy chuẩn sao cho: Hình 3.6. Sắp xếp các nơron đầu ra của mạng. 50 1 24 1 =∑ =i ijw (3.8) Với véctơ đầu vào X và trọng số liên kết wij, giá trị đầu ra aj của nơron thứ j đ−ợc xác định aj =∑ = 24 1i iij xw (3.9) Thông th−ờng đối với bài toán phân loại ngày đ−ợc phân loại theo từng tháng, vì vậy số véctơ ĐTPT đầu vào là X(1), X(2), …, X(k) với k = 28,29, 30,31 (phụ thuộc vào số ngày trong tháng đang xét). Mỗi l−ợt đ−a các véctơ X(1), X(2), …, X(k) vào mạng gọi là một tác động. Giả sử ta chọn khoảng lân cận của Nơron C là Nc=3, và ứng với mỗi Nc số lần tác động của đầu vào là I = 20 lần. Khi đó các trọng số liên kết cho nút C và các nút lân cận sẽ liên tục đ−ợc chỉnh theo công thức (3.5) và đ−ợc chuẩn hoá theo công thức (3.7) để thoả mãn điều kiện (3. 8). Trong quá trình thu hẹp khoảng lân cận tức là giảm dần Nc, ta sử dụng 4 giá trị khác nhau của Nc (3,2,1,0). Nếu t−ơng ứng mỗi Nc có 20 tác động thì trong một quá trình huấn luyện sẽ có 80 tác động. Hình (3.7) là sơ đồ trình tự các b−ớc của thuật toán tạo lập mạng ánh xạ đặc tr−ng tự tổ chức Kohonen cho bài toán phân loại ngày. 51 Nc=Nc-1 k=K Đọc các mẫu vào P(1), P(2)…P(K), số nơron vào, ra, số mẫu,chọn η , wkj , Nc, NI Bắt đầu I = 1,..,NI k=1,..,K Tính giá trị đầu ra aj =∑ = N i iij xw 1 I=NI Kết thúc Chọn nơron trung tâm C: Outc← )( 1 jj aaxm = Đúng Sai Sai Đúng Tính W của nơron C và các nơron láng giềng wji=wji +η(xi – wji) với i =1,…,N và j ∈Nc Hình 3.7. Sơ đồ khối trình tự các b−ớc của thuật toán phân loại kiểu ngày. Nc=0 Đúng Sai 52 3.3.3. Xây dựng cấu trúc phần mềm mô phỏng mạng Kohonen phân loại ngày. Căn cứ vào thuật toán đã trình bày trong phần tr−ớc và cấu trúc của mạng ta xây dựng phần mềm mô phỏng cho bài toán phân loại các kiểu ngày của ĐTPT. Ch−ơng trình đ−ợc viết bằng phần mềm Matlab, toàn bộ ch−ơng trình đ−ợc đ−a ra trong phần phụ lục 1. Mạng mô phỏng là loại mạng một lớp bao gồm 24 nút đầu vào và 361 nút đầu ra đ−ợc phân bố trên mặt phẳng hai chiều theo l−ới vuông thoả mãn yêu cầu. Mỗi nơron ở lớp ra có cùng số nơron trong từng lớp lân cận. Tất cả các nơron lớp ra có liên kết đầy đủ với lớp vào. Mô hình mạng Kohonen là mạng nơron học không giám sát, để kiểm tra quá trình làm việc của mạng và nghiên cứu ảnh h−ởng của kích th−ớc b−ớc cập nhật η=0.001 tới sơ đồ đầu ra, ta đ−a vào mạng tập hợp các mẫu vào nằm trong một số nhóm đã biết tr−ớc, với mong muốn ở đầu ra mạng có thể phân các mẫu đầu ra giống nhau vào chung một nhóm. Trong phần tiếp theo là kết quả phân loại ngày của tháng 2/2006 và tháng 5/2006. 3.3.4. Kết quả sử dụng mạng Kohonen phân loại ngày D−ới đây xin giới thiệu một vài nghiên cứu điển hình về phân loại ĐTPT tại hệ thống điện Miền Bắc. 1. Chạy thử mạng với thông số tháng 5/2006 với Nc =5 53 Bảng 3.1. Kết quả dự báo ứng với thông số NI = 150, η= 0.01 Bảng 3.2. NI = 150, η= 0.005 2. Chạy thử mạng với thông số tháng 2/2006 với Nc =5 Bảng 3.3. Kết quả dự báo ứng với thông số NI = 150, η= 0.01 54 Bảng 3.4. NI = 150, η= 0.008 3.3.5. Phân tích kết quả phân loại ngày trong tháng 2/2006, tháng 5/2006. Đối với bài toán phân loại ngày, qua quá trình huấn luyện cho thấy chọn khoảng lân cận NC = 5 số lần tác động NI = 100 – 200 lần, kích th−ớc cập nhật cỡ η=0.005 – 0.01 thì cho kết quả t−ơng đối tốt. • Phân tích kết quả phân loại ngày trong tháng 5/2006 với Nc=5, NI=150, η = 0.005. Ta nhận thấy các ngày thứ 7, Chủ nhật trong tháng có cùng kiểu ngày và cùng kích hoạt các nơron 249, 268, 287 và 270. Thứ hai 1/5 là ngày lễ, phụ tải trong ngày này có dạng giống nh− ngày chủ nhật và kích hoạt nơron 268 . Nh− vậy ta xếp vào chủ nhật, thứ bảy, ngày lễ vào nhóm có cùng kiểu ngày. 249 268 270 287 Xét các ngày thứ ba đến thứ sáu, các nơron kích hoạt đầu ra khá đa dạng bao gồm 243, 244, 262, 281,…, nh−ng lại đ−ợc sắp xếp gần nhau về mặt không gian (nh− bảng d−ới đây). Nh− vậy, ĐTPT của các ngày làm việc đ−ợc xếp vào một loại hay cùng kiểu ngày. 55 243 244 245 246 247 262 263 281 282 284 302 Riêng các ngày thứ hai của tháng 5/2006 tuy không phải ngày nghỉ, nh−ng phụ tải của các ngày này có dạng giống nhau và khác với phụ tải của các ngày làm việc bình th−ờng. Nguyên nhân sự khác biệt của thứ hai và ngày th−ờng có thể do xuất phát từ tâm lý và thói quen làm việc ít hơn, họp hành… Các ngày thứ hai mạng kích hoạt nơron số 68, 87, 107 và đ−ợc phân bố rất gần nhau trong không gian. 68 87 107 Tóm lại, thông qua dạng ĐTPT toàn bộ các ngày trong tháng 5/2006 có thể chia thành các kiểu ngày chính sau: các ngày chủ nhật, thứ bảy, ngày lễ, các ngày thứ hai và các ngày làm việc bình th−ờng. • Phân tích kết quả chạy mạng tháng 2/006 với các tham số NI =150, NC=5 và η=0.008. Ta thấy các ngày thứ bảy, chủ nhật, trong tháng có ĐTPT đầu vào gần giống nhau và cùng kích hoạt các nơron 139, 158, 177 và 140, các nơron phân bố rất gần nhau trong không gian. Nh− vậy, có thể sắp xếp thứ bảy, chủ nhật vào một nhóm có cùng kiểu ngày. 56 139 140 158 177 Các ngày thứ hai không phải là ngày nghỉ nh−ng sát với ngày nghỉ chủ nhật chúng có cùng dạng ĐTPT và khác với ĐTPT của ngày làm việc bình th−ờng. Nguyên nhân này có thể do tâm lý và thói quen làm việc ít hơn, họp hành…Những ngày này, phần mềm kích hoạt các nơron số 54, 73 và chúng đ−ợc phân bố rất gần nhau trong không gian. 54 73 Xét các ngày làm việc bình th−ờng khác từ thứ ba đến thứ sáu, các nơron kích hoạt ở đầu ra khá đa dạng bao gồm 275, 276, 277… nh−ng cũng đ−ợc sắp xếp rất gần nhau về mặt không gian. Nh− vậy, ĐTPT của các ngày làm việc đ−ợc xếp vào một loại, hay cùng một nhóm có cùng kiểu ngày. 275 276 277 294 296 298 300 313 314 315 317 319 Qua phân tích trên ta thấy, ĐTPT của các ngày trong tháng có thể chia thành ba nhóm có cùng kiểu ngày đó là: Nhóm 1: Bao gồm các ngày thứ bảy,chủ nhật và ngày lễ. Nhóm 2: Bao gồm các ngày thứ hai trong tuần. Nhóm 3: Bao gồm các ngày làm việc bình th−ờng từ thứ ba đến thứ sáu. 57 Nh− vậy: Mạng ánh xạ đặc tr−ng tự tổ chức Kohonen với cấu trúc nh− đã trình bày ở phần trên, mạng hoàn toàn có đủ khả năng phân loại ngày một cách dễ dàng, nhanh chóng và hiệu quả. Phát hiện đ−ợc một số kiểu ngày mới nh− các ngày có sự cố lớn, phải cắt điện đột xuất do thiên tai… đồng thời cũng có thể loại bỏ đ−ợc một kiểu ngày nào đó hầu nh− không xuất hiện hoặc thậm chí biến mất hoàn toàn mà không đ−ợc loại trừ khỏi tập hợp các kiểu ngày gốc đặc tr−ng. Thông th−ờng những ngày đặc biệt nh− trên các chuyên gia với kinh nghiệm của mình có thể không phát hiện và cập nhật đ−ợc kịp thời. 58 CHƯƠNG iV ứNG DụNG MạNG NƠRON NHIềU LớP LAN TRUYềN NGƯợC SAI Số Dự BáO PHụ TảI Ngắn hạn THEO NHIệT Độ MÔI TRƯờNG Ch−ơng này trình bày các khái niệm cơ bản về mạng nơron nhiều lớp lan truyền ng−ợc sai số, sau đó đ−a ra các b−ớc xây dựng bài toán, đề xuất cấu trúc mạng, ứng dụng kỹ thuật “mạng nơron nhiều lớp lan truyền ng−ợc sai số” để giải quyết bài toán. Xây dựng phần mềm, đánh giá kết quả và so sánh với một số ph−ơng pháp đã có. Ch−ơng trình đ−ợc viết bằng phần mềm Matlab và ngôn ngữ VBA đ−ợc tích hợp trong phần mềm Excel. 4.1 Các khái niệm cơ bản về mạng nơron nhiều lớp lan truyền ng−ợc sai số (Back propagation neural network). Rosenblatt và các tác giả khác cũng đã miêu tả các mạng truyền thẳng nhiều lớp từ cuối những năm 50, nh−ng họ chủ yếu nghiên cứu sâu về mạng Perceptron một lớp. Sở dĩ nh− vậy là do không tìm đ−ợc cách thay đổi trọng số liên lạc tại các lớp ẩn. Quả thật, ngay cả khi đã biết đ−ợc sai số tại đầu ra, ng−ời ta vẫn ch−a hình dung đ−ợc các sai số đó đ−ợc phân bố nh− thế nào tại các nơron ẩn. Trong cuốn sách về mạng Perceptron xuất bản năm 1969, Minsky và Paprt đã chỉ ra rằng khó có thể tổng quát hoá luật học đối với mạng một lớp sang mạng nhiều lớp. Có 2 lý giải chính cho vấn đề này, thứ nhất, thuật giải học của mạng nhiều lớp có thể không hiệu quả, hoặc không hội tụ về điểm cực trị tổng thể trong không gian véctơ trọng số. Mặt khác, các nghiên cứu trong lý thuyết tính toán đã chỉ ra rằng trong tr−ờng hợp tồi nhất quá trình học các hàm tổng quát từ mẫu học không phải lúc nào cũng giải quyết đ−ợc. Các nguyên tắc cơ bản trong luật học đối với mạng nhiều lớp đã 59 đ−ợc Bryson và Ho đề xuất từ năm 1969, nh−ng phải tới giữa năm 1980 vấn đề này mới đ−ợc quan tâm trở lại bởi công trình nghiên cứu của Rumelhart năm 1986. Một thống kê cho thấy 90% ứng dụng mạng nơron trong công nghệ hoá học sử dụng mô hình này. 4.1.1 Kiến trúc mạng truyền thẳng. Mạng truyền thẳng nhiều lớp bao gồm một lớp vào, một hoặc nhiều lớp ẩn và một lớp ra. Trong đó các nơron lớp thứ i đ−ợc nối đầy đủ với các nơron lớp thứ i+1, các nơron trong cùng một lớp không liên kết với nhau. Các nơron đầu vào có nhiệm vụ tiếp nhận các dữ liệu đầu vào và chuyển cho lớp ẩn kế tiếp. Trong nhiều ứng dụng thực tế, để đơn giản, ng−ời ta th−ờng sử dụng mạng có một lớp ẩn, số nơron trong lớp ẩn đ−ợc xác định dựa trên kinh nghiệm, hoặc dựa trên kỹ thuật tìm kiếm khác nhau. Hình 4.1 là cấu trúc của mạng truyền thẳng 2 lớp. • Lớp vào: Là các nơron nhận các biến đầu vào xi với i=1,2…n, n là số biến đầu vào. Các nơron lớp vào nhận giá trị các biến đầu vào, dữ liệu của tất cả các nơron ở lớp đầu vào đ−ợc tính toán rồi chuyển kết quả cho các nơron lớp ẩn • Lớp ẩn: Bao gồm các nơron yj với j=1,2..m. Các nơron lớp ẩn nhận tín hiệu từ nơron lớp vào qua bộ trọng số W1 • Lớp ra: Bao gồm các nơron đ−a ra giá trị zk với k=1,2..l. Các nơron lớp ra nhận tín hiệu từ nơron lớp ẩn qua bộ trọng số W2. Mỗi nơron đầu ra t−ơng ứng với 1 biến đầu ra. Trong mạng lan truyền ng−ợc tín hiệu đ−ợc lan truyền từ lớp vào đến lớp ra và mạng thực hiện ánh xạ để tính giá trị cho các biến đầu ra dựa vào các giá trị biến đầu vào. Ban đầu giá trị các biến vào đ−ợc chuyển cho các nơron lớp vào của mạng, dữ liệu của tất cả các nơron ở lớp đầu vào đ−ợc tính toán rồi 60 chuyển kết quả cho các nơron lớp ẩn. Cuối cùng mỗi nút ẩn gửi kết quả đến tất cả các nơron ra. Giá trị của các nút đầu ra chính là giá trị của các biến đầu ra cần xác định. 4.1.2. Huấn luyện mạng Mạng nơron nhiều lớp lan truyền ng−ợc sai số chỉ có thể ở hai trạng thái đó là trạng thái học và trạng thái ánh xạ. Bản chất của trạng thái ánh xạ do mạng thực hiện tùy thuộc vào giá trị của các trọng số trong mạng. Lan truyền ng−ợc là một ph−ơng pháp cho phép xác định tập trọng số tốt nhất của mạng, đây là một quá trình lặp đi lặp lại nhiều lần trong hai quá trình ánh xạ và lan truyền ng−ợc sai số. Hai quá trình này đ−ợc thực hiện trên tập mẫu cố định. Hai quá trình này đ−ợc gọi là huấn luyện mạng. Trong trạng thái học, thông tin lan truyền theo hai chiều nhiều lần để huấn luyện các trọng số. Quá trình huấn luyện mạng đ−ợc bắt đầu với tập trọng số tuỳ ý, có thể là các giá trị ngẫu nhiên nhỏ và tiến hành lặp đi lặp lại. Mỗi lần lặp đ−ợc gọi là một thế hệ, trong mỗi thế hệ mạng điều chỉnh các trọng số sao cho sai số giảm dần. Quá trình điều chỉnh nhiều lần sao cho trọng số dần dần đạt đ−ợc tập hợp các giá trị tối −u. w1ji O6 zi w2ij H4 H5 Lớp vào Lớp ẩn Lớp ra x1 x2 x3 Hình 4.1. Cấu trúc mạng nơron 2 lớp. 61 Quá trình huấn luyện mạng nơron nhiều lớp lan truyền ng−ợc sai số là quá trình học có giám sát với tập mẫu {( Xs, Ds)}. Thủ tục học có thể tóm l−ợc nh− sau: Mỗi khi đ−a một mẫu Xs = ( x1,…….,xn) vào mạng, ta thực hiện các công việc sau: 1. Lan truyền mẫu Xs qua mạng để có Zs = T( Xs ). Hàm T(.) là hàm phi tuyến phụ thuộc vào cấu trúc mạng nơron. • Lớp ẩn Y: - Tổng thông tin đầu vào của lớp ẩn Y có trọng số là: aj = ∑ = n i iji xw 1 1 (4.1) - Với hàm kích hoạt của các nơron f(.), giá trị output của các nơron ở lớp ẩn Y đ−ợc xác định: yj = f(aj) (4.2) • Lớp ra Z: - Tổng thông tin đầu vào của lớp ra Z có trọng số là: bk = ∑ = m j jkj yw 1 2 (4.3) - Giá trị output của các nơron ở lớp ra Z đ−ợc xác định: zk = f(bk) (4.4) 2. Tính sai số truyền ng−ợc Errs của mạng dựa trên sai lệch DS-ZS. • Tính sai số của lớp ra z - Sai số Errs của lớp ra Z dựa trên sai lệch giữa giá trị ra thực tế và mẫu. 62 Errk = dk-zk (4.5) Với errk là sai số thành phần thứ k trong Errs. - Sai số của nơron thứ k của lớp ra Z đ−ợc xác định: δk = errk f’(bk) = (dk-zk)zk’ = (dk-zk)f’(bk) (4.6) Tr−ờng hợp xét hàm kích hoạt tại các nơron f(x) = xe−+1 1 (4.7) ta có hệ thức f’(x) = f(x)(1-f(x) ) (4.8) f’(.) là đạo hàm của hàm kích hoạt đ−ợc dùng trong các nơron. Thay (4.8) vào (4.6) ta có: δk = (dk-zk)zk’ = (dk-zk) fk (1-fk) hay δk= (dk-zk)zk’ = (dk-zk) zk (1-zk) (4.9) • Sai số của nơron thứ j của lớp ẩn Y δj = '2 1 jkj l k k yw∑ = δ = )('2 1 jkj l k k afw∑ = δ (4.10) Sử dụng hàm kích hoạt (4.7) ta có: δj= '2 1 jkj l k k yw∑ = δ = )('2 1 jkj l k k afw∑ = δ = jkj l k k yw 2 1 ∑ = δ (1-yj) (4.11) 3. Hiệu chỉnh các trọng số liên kết nơron dẫn tới lớp ra Wij từ nơron j tại lớp ẩn cuối cùng tới nơron k tại lớp ra: • Hiệu chỉnh w2kj của lớp ra Z. w2*kj = w 2(t) kj + αyj δk (4.12) Trong đó: 63 - α là hệ số học - w2(t)kj là giá trị trọng số hiện thời từ nơron thứ j tới k - w2*kj là giá trị trọng số đ−ợc hiệu chỉnh từ nơron thứ j tới k Từ công thức (4.12) ta có thể viết: w2kj = w 2 kj + ∆w2kj (4.13) với ∆w2kj = αyj δk Trong các ứng dụng thực tế, ng−ời ta th−ờng hiệu chỉnh ∆w2ij theo nguyên tắc có chú ý đến các thao tác tr−ớc đó. Do vậy: w2*kj = w 2(t) kj + αyj δk + β(w2(t)kj - w2(t-1)kj) (4.14) với ∆wkj 2(mới) = αyj δk + ∆wkj2(cũ) ở đây β là hệ số quán tính. • Hiệu chỉnh w1ij của lớp ẩn Y T−ơng tự, trọng số w1ji đ−ợc hiệu chỉnh theo công thức sau: w2*ji = w 2(t) ji + + αxi δj (4.15) Trong các ứng dụng thực tế, ng−ời ta th−ờng hiệu chỉnh ∆w2ij theo nguyên tắc có chú ý đến các thao tác tr−ớc đó. Do vậy: w1*ji = w 1(t) ji + αxi δj + β(w1(t)ji – w1(t-1)ji) (4.16) ∆wij 1(mới) = αxi δj + ∆wij1(cũ) Quá trình huấn luyện cần chú ý tới các yếu tố sau: - Các trọng số ban đầu wij đ−ợc gán các giá trị ngẫu nhiên, nhỏ - Lựa chọn các hệ số học và hệ số quán tính sao cho α + β ≈ 1, với β không lớn hơn quá nhiều. 64 - Các tín hiệu vào, ra nên đ−ợc định cỡ chỉ nằm trong khoảng [0, 1]. Các nghiên cứu thực nghiệm chỉ ra rằng nên ở trong khoảng [0.2, 0.8]. 4.1.3. Sử dụng mạng Giả sử đã huấn luyện mạng nh− trên hình 4.1 với tập mẫu {( Xs, Ds)} để đ−ợc ma trận trọng số W. Quá trình lan truyền trong mạng một véctơ tín hiệu vào X = ( x1, x2, x3) đ−ợc cho bởi: z = f(w211y1+ w 2 12y2) = f(w 2 11f(w 1 11x1 + w 1 12x 2 + w 1 13x3) + w212f(w 1 21x1 + w 1 22x 2 + w 1 23x3)) = F ( X, W) Khả năng tính toán của mạng nhiều lớp - Với một lớp ẩn, mạng có thể tính toán xấp xỉ một hàm liên tục bất kỳ đối với các biến t−ơng ứng là các tín hiệu đầu vào. - Với hai lớp ẩn, mạng có thể tính toán xấp xỉ một hàm bất kỳ. Tuy vậy, số nơron trong các lớp ẩn có thể tăng theo hàm mũ đối với số đầu vào và cho đến nay vẫn ch−a có những cơ sở lý luận đầy đủ để khảo sát họ các hàm có thể xấp xỉ nhờ các mạng nhiều lớp. 4.1.4. Nghiên cứu sự hội tụ và độ phức tạp của quá trình huấn luyện mạng. Ph−ơng pháp hiệu chỉnh trọng số nơron (4.12) và (4.15) dựa trên nguyên tắc lan truyền ng−ợc sai số có thể lý giải dựa trên nguyên lý tìm kiếm gradient trong không gian các tham số W sao cho cực tiểu hàm sai số tổng cộng: E(w) = 2 1 ∑ = − l k kk zd 1 )( (4.17) 65 ở đây, dk là giá trị thực nghiệm quan sát đ−ợc tại nơron k ở lớp ra, zk là giá trị tính toán của mạng tại nơron thứ k ở lớp ra đối với mẫu Xs. Khai triển E(w) theo các trọng số thành phần, ta có: E(w) = 2 1 ∑ k 2 2 ⎟⎟⎠ ⎞ ⎜⎜⎝ ⎛ ⎟⎟⎠ ⎞ ⎜⎜⎝ ⎛− ∑ j jkjk ywfd = 2 1 2 12∑ ∑ ∑ ⎟⎟⎠ ⎞ ⎜⎜⎝ ⎛ ⎟⎟⎠ ⎞ ⎜⎜⎝ ⎛ ⎟⎠ ⎞⎜⎝ ⎛− k j i iji kjk xwfwfd Lấy đạo hàm riêng của E theo các trọng số w2ij và w 1 ji ta có: 2 kjw E ∂ ∂ = -yj (dk – zk) f’(bk) = -yjδk 1 jiw E ∂ ∂ = -xi(dk – zk)f’(bk)w2kjf’(ai) = -xiw2kjδkf’(ai) =-xiδj Việc hiệu chỉnh véctơ trọng số W = (wkj) sao cho E(w) → min dẫn tới việc xác định véctơ gia số ∆w = (∆wkj) ng−ợc h−ớng với véctơ gradient ( kjwE ∂∂ ). Nói cách khác, ∆w2kj = -α(-yjδk)= αyjδk. ∆w1ji =-α(-xiδj)= αxiδj Công thức này phù hợp với công thức (4.12) (4.15) t−ơng ứng. Độ phức tạp thời gian của mạng nhiều lớp chủ yếu phụ thuộc vào thời gian huấn luyện mạng với một tập mẫu nào đó. Giả sử có m mẫu vào và W trọng số. Mỗi lần đ−a tất cả các mẫu đi qua mạng (gọi là vòng lặp (epoch)) phải tốn O(m W ) thao tác nơron. Trong tr−ờng hợp xấu nhất, số vòng lặp lại sẽ phụ thuộc hàm mũ vào số đầu vào n. Do vậy, chi phí thời gian sẽ là O(k n m W ). Hơn nữa quá trình học không phải lúc nào cũng hội tụ và có thể dẫn tới các cực tiểu địa ph−ơng của hàm E. Khi dùng mạng nơron nhiều lớp để 66 biểu diễn tất cả các hàm logic có n đầu vào, ta phải dùng khoảng nn2 nút ẩn, mạng này có khoảng O(2 n ) trọng số, do vậy phải tiêu tốn O(2 n ) bit để biểu diễn hàm logic. It = it + 1 Nếu p > PN Vào số nơron vào, ẩn, ra, số mẫu, E0 chọn α , w2kj , w1ji giá trị bất kỳ trong khoảng [0,1], số vòng học Bắt đầu Ek = 0 B−ớc lặp it = l Mẫu p = l Nếu Ek/NP/ZN<E0 Kết thúc Tính yk và zk P = P + 1 Đúng Sai Sai Đúng Tính W1, W2 mới Tính Ek Hình 4.2. Sơ đồ khối trình tự các b−ớc của thuật toán tạo lập mạng lan truyền ng−ợc sai số. 67 Sau mỗi b−ớc lặp, các giá trị của các hệ số trọng l−ợng đ−ợc hiệu chỉnh dần. Quá trình học đ−ợc dừng lại E(w) giảm đến một giá trị nào đó, kết thúc quá trình huấn luyện mạng sẽ cho đáp ứng đầu ra t−ơng ứng với các tín hiệu đầu vào. Các giá trị của hệ số trọng l−ợng sẽ không đổi sau khi kết thúc quá trình huấn luyện. Trong quá trình huấn luyện mạng nơron đ−ợc nhận biết mối quan hệ giữa các thông số đầu vào là biến X và các thông số đầu ra mẫu là biến Y, sau khi kết thúc quá trình huấn luyện đầu ra của mạng là các giá trị Z. Z là một hàm phi tuyến phụ thuộc vào X. 4.1.5. Một số vấn đề về mạng nơron nhiều lớp. Mạng nơron nhiều lớp truyền thẳng là cách biểu diễn các đối t−ợng dựa trên các giá trị của các thuộc tính t−ơng đối hiệu quả, tuy rằng chúng ch−a vét cạn hết mọi khía cạnh khác nhau về đối t−ợng đó. Cách tiếp cận mạng loại này tỏ ra khá hiệu quả khi các quan sát (tín hiệu vào) có miền giá trị liên tục. Do vậy, có thể xem là tốt hơn so với những cách tiếp cận truyền thống dựa trên logic mệnh đề và cây quyết định. • Khả năng tổng quát hoá: mạng loại này có thể đ−a ra những kết quả mang tính tổng quát hoá, tuy rằng kiểu phụ thuộc giữa đầu ra và đầu vào không quá rối rắm. • Khả năng dung thứ lỗi: mạng đ−ợc luyện mẫu theo quy tắc tuyến tính nên có thể nhấp nhận sai số trong tập dữ liệu vào. Tuy vậy, mạng không thể đ−a ra đ−ợc những kết quả tính toán không chắc chắn, không chính xác kiểu nh− mạng Bayes. • Mạng đ−ợc sử dụng nh− một hộp đen, biểu thị quan hệ nào đó giữa tín hiệu ra và tín hiệu vào, mà không cần chỉ rõ dạng giải tích t−ờng minh của mối quan hệ đó. Tuy vậy, điểm bất lợi của cách tiếp mạng chính là ở chỗ không thể lý giải các kết quả ra một cách rõ ràng nh− đối với suy diễn logic hay cây quyết định. 68 4.2. ứng dụng mạng nơron nhiều lớp lan truyền ng−ợc sai số xây dựng bài toán dự báo phụ tải hệ thống điện. 4.2.1. Các b−ớc xây dựng bài toán dự báo phụ tải. Qua nhiều năm nghiên cứu và thực nghiệm ng−ời ta đã chứng tỏ rằng cách tiếp cận các bài toán dự báo bằng cách sử dụng mạng nơron huấn luyện bởi thuật toán lan truyền ng−ợc là hoàn hảo và đảm bảo độ chính xác cao. Nh−ng để đạt đ−ợc mục tiêu trên ta phải nghiên cứu và huấn luyện để lựa chọn tối −u các tham số cần thiết của mạng nơron: - Số lớp ẩn(th−ờng dùng 1 lớp) - Kích th−ớc các lớp ẩn - Hệ số học - Hệ số quán tính: th−ờng phải lựa chọn hệ số học và hệ số quán tính sao cho α + β ≈ 1 với β không lớn hơn α quá nhiều. - Các tín hiệu vào, nên chuẩn hoá sao cho tín hiệu vào nằm trong khoảng [0;1]. Các nghiên cứu thực nghiệm đã chỉ ra tín hiệu vào nên nằm trong khoảng [0.2,0.8] - Dạng hàm kích hoạt: Th−ờng chọn hàm Sigmoid không cực f(x) = xe−+1 1 - Khởi tạo trọng số ban đầu: Các giá trị ban đầu cần gán giá trị ngẫu nhiên nhỏ nằm trong khoảng [0;1] Bài toán dự báo là một bài toán phức tạp, cả về số l−ợng dữ liệu đ−a vào cũng nh− độ chính xác dữ liệu cần dự báo. Từ tr−ớc đến nay ng−ời ta đã đ−a ra nhiều ph−ơng pháp dự báo khác nhau nh− ph−ơng pháp: Hồi quy tuyến tính, Ph−ơng pháp ngoại suy theo thời gian… 69 Tuy nhiên đến thời điểm này đối với các bài toán dự báo phức tạp, đòi hỏi độ chính xác cao ng−ời ta th−ờng dùng thuật toán lan truyền ng−ợc để ứng dụng trong các lĩnh vực dự báo, nhận dạng, phân lớp. Các b−ớc chính trong quá trình thiết kế và xây dựng một ứng dụng dựa trên mạng nơron nhiều lớp lan truyền ng−ợc sai số bao gồm: B−ớc1: Lựa chọn các biến đầu vào Đối với bài toán dự báo phụ tải điện, giá trị phụ tải và nhiệt độ t−ơng ứng từng giờ là các dữ liệu đầu vào cho mạng. B−ớc2: Thu thập dữ liệu Xem xét khả năng thu thập dữ liệu, các dữ liệu sau khi thu thập đ−ợc cần phải kiểm tra tính hợp lệ của chúng. B−ớc3: Xử lý dữ liệu Dữ liệu đầu vào thực chất là các giá trị của tham số đầu vào đầu ra để tối thiểu hoá nhiễu. Vì các đầu vào dữ liệu phụ tải và nhiệt độ rất lớn nên ta phải chuẩn hoá sao cho các giá trị dữ liệu đầu vào ở trong khoảng [0.2,0.8]. B−ớc 4: Phân chia tập dữ liệu Để huấn luyện mạng ta phải chia tập dữ liệu thành tập huấn luyện và tập kiểm tra. Tập huấn luyện th−ờng là lớn hơn tập kiểm tra, tập huấn luyện th−ờng chứa khoảng 70% - 90% toàn bộ tập dữ liệu. Tập kiểm tra sử dụng để kiểm tra tính đúng đắn của mạng sau khi đã huấn luyện, có hai cách xác định tập kiểm tra, một là lấy ngẫu nhiên các mẫu từ tập huấn luyện ban đầu, hai là chỉ lấy tập dữ liệu gần với hiện tại hơn vì nó quan trọng hơn các dữ liệu trong quá khứ. B−ớc 5: Xác định cấu trúc mạng Để xây dựng một mạng nơron hoàn chỉnh, ta cần xác định các yếu tố sau: 70 - Số đầu vào: Xác định số đầu vào của lớp vào căn cứ vào dữ liệu đầu vào và quá trình huấn luyện mạng. - Số lớp ẩn: Đối với các bài toán dự báo nói chung thông th−ờng ng−ời ta sử dụng một lớp ẩn vì thực tế đã có nhiều nghiên cứu tìm hiểu xem việc thêm các lớp ẩn có làm tăng năng lực học hoặc tốc độ học của mạng không. Tuy nhiên ch−a có lập luận lý thuyết nào ủng hộ cho việc thêm các lớp ẩn. Với một lớp ẩn mạng có thể tính toán xấp xỉ một hàm liên tục bất kỳ đối với các biến t−ơng ứng là các tín hiệu đầu vào. Còn với nhiều lớp ẩn mặc dù có thể tính toán xấp xỉ một hàm bất kỳ, tuy vậy số nơron trong các lớp ẩn có thể tăng theo hàm mũ đối với số đầu vào dẫn đến công thức tính toán các đầu vào, đầu ra phức tạp hơn và việc huấn luyện mạng sẽ chậm hơn. Cho đến nay vẫn ch−a có những cơ sở lý luận đầy đủ để khảo sát họ các hàm có thể xấp xỉ nhờ các mạng nhiều lớp. - Số nơron trong lớp ẩn: Ch−a có ph−ơng pháp nào có thể chọn đ−ợc số tối −u các nơron sử dụng trong lớp ẩn. Chỉ có một số ph−ơng pháp cho ta lựa chọn ban đầu, nh−ng muốn có đ−ợc số tối −u các nơron trong lớp ẩn thì ng−ời thiết kế mô hình cần phải thực hiện nhiều thí nghiệm. Đồng thời, việc chọn lựa số đầu vào mạng cũng mang tính chất quyết định đến cấu trúc mạng để có khả năng tổng quát hoá tốt. Thông th−ờng ta có thể lựa chọn số nơron lớp ẩn xấp xỉ cỡ 2n/n (với n là số đầu vào). Ta cần thực hiện huấn luyện, kiểm tra lỗi của toàn bộ tập mẫu để có thể tăng hoặc giảm các nơron lớp ẩn. - Số nơron đầu ra: Căn cứ vào mục tiêu cụ thể của từng bài toán dự báo để xác định đầu ra t−ơng ứng. B−ớc 6: Tiêu chuẩn đánh giá: Có nhiều cách đánh giá độ chính xác của bài toán dự báo nh−ng th−ờng chọn hàm SSE (Sum of Squares Errors): Tính tổng các bình ph−ơng sai số trên 71 toàn bộ tập mẫu học hoặc hàm MSE (Mean Sum of Squares Errors): Tính trung bình tổng các bình ph−ơng sai số trên toàn bộ tập mẫu học. B−ớc 7: Huấn luyện mạng Huấn luyện mạng học các dữ liệu bằng cách lần l−ợt đ−a các mẫu vào cùng với những giá trị mong muốn. Mục tiêu của việc huấn luyện mạng là tìm ra tập các trọng số sao cho giá trị nhỏ nhất toàn cục của hàm lỗi. Một câu hỏi đặt ra là khi nào ngừng huấn luyện? Thông th−ờng có hai biện pháp: Thứ nhất ngừng huấn luyện khi không có tiến triển nào của hàm lỗi nữa với dữ liệu trên một số tập các tham số của mạng. Thực chất biện pháp này là xác định đ−ợc khả năng đạt đến cực tiểu toàn cục lớn nhất. Biện pháp thứ hai là cần thực hiện xem xét th−ờng xuyên khả năng tổng quát hoá bằng cách sau mỗi chu kỳ nào đó thực hiện kiểm tra tổng quát hoá của mạng và sau đó quay lại quá trình huấn luyện. Việc thực hiện huấn luyện mạng còn cần xem xét khả năng với một số nào đó lần thực hiện huấn luyện mạng trên tập khởi tạo ban đầu của các tham số. Sau khi thực hiện huấn luyện trên tất cả các tham số này, cần thực hiện đánh giá lại kết quả, từ đó đ−a ra kết luận về số lần tối đa thực hiện huấn luyện cho mạng cho từng bài toán cụ thể. Một ph−ơng pháp khác là thực hiện việc vẽ đồ thị để có thể theo dõi trạng thái lỗi của mạng. Từ đó có thể quan sát đ−ợc các vùng mà mạng có trạng thái không thay đổi với dữ liệu vào hay vùng hội tụ chậm. Thông th−ờng số lần thực hiện huấn luyện mạng có khoảng biến thiên khá lớn từ vài nghìn đến vài chục nghìn chu kỳ. Việc theo dõi đ−ợc trạng thái của mạng với tập huấn luyện và khả năng tổng quát hoá để có thể ngừng khi cần là quan trọng. Cần phải cập nhật đồ thị sau mỗi chu kỳ để có thể theo dõi đ−ợc các tham số huấn luyện mạng. B−ớc 8: Thực thi 72 Mạng nơron có khả năng xử lý tính toán song song, do vậy mạng nơron tốt nhất nên đ−ợc cài đặt trên các vi mạch điện tử. Trong đó môi tr−ờng máy tính cá nhân lại phù hợp trong quá trình huấn luyện để cài đặt đồng thời có khả năng linh hoạt đáp ứng nhiều bài toán. 4.2.2. Xây dựng cấu trúc phần mềm mô phỏng mạng nơron lan truyền ng−ợc sai số ứng dụng trong bài toán dự báo đỉnh và đáy đồ thị phụ tải. Nh− ta đã đ−a ra ở phần tr−ớc, khi dự báo phụ tải b−ớc đầu tiên là nhận dạng kiểu ngày dự báo. Các kiểu ngày đã đ−ợc phân dạng của cùng tháng đó năm tr−ớc đ−ợc kiểm tra lại. Theo bảng phân dạng, ngày của cùng tháng cần dự báo của các năm tr−ớc ta có thể xếp ngày đang cần dự báo vào dạng ngày nào đó. Ví dụ, ta thu thập dữ liệu phụ tải 24 giờ của các ngày làm việc bình th−ờng làm tập mẫu và tập kiểm tra để dự báo phụ tải 24 giờ của ngày làm việc bình th−ờng. Còn đối với ngày Chủ nhật, ngày lễ ta phân thành một tập để dự báo phụ tải của các ngày lễ và ngày chủ nhật tiếp theo. Hệ thống phần mềm đ−ợc mô tả chi tiết trong ch−ơng 5 và mã nguồn của ch−ơng trình đ−ợc đ−a ra trong phụ lục 2. Mạng đ−ợc thiết kế hai lớp: Lớp ẩn bao gồm m nơron và lớp ra gồm L nơron. Đây là mô hình mạng nơron học có giám sát, các nơron ở lớp tr−ớc đ−ợc liên kết đầy đủ với lớp sau. Số nơron của mỗi lớp có thể thay đổi trong quá trình huấn luyện mạng, các tham số khác của mạng nh− số mẫu dùng để huấn luyện mạng, số vòng lặp, hệ số học, hệ số quán tính cũng có thể thay đổi. Các mẫu huấn luyện đ−ợc chọn chính là các thông số đầu vào đ−ợc chọn phải t−ơng quan với thông số đầu ra sao cho mạng có kết quả tốt nhất. Các mẫu huấn luyện mạng đ−ợc phân theo loại ngày đã định nghĩa ở Ch−ơng III. Ví dụ: Nếu ta cần dự báo phụ tải của ngày làm việc bình th−ờng thì phải loại bỏ các ngày có các yếu tố bất th−ờng xảy ra nh− sự cố hệ thống điện, các sự kiện thể thao văn hoá đ−ợc đa số quần chúng quan tâm… 73 Trong luận văn này, ta phân bài toán dự báo phụ tải ngày thành các bài toán con nhỏ hơn bao gồm: Bài toán dự báo phụ tải đỉnh, bài toán dự báo phụ tải đáy, sau đó tính toán để dự báo phụ tải 24 giờ trong ngày. Đối với bài toán dự báo phụ tải đỉnh, mẫu huấn luyện mà ta quan tâm là nhiệt độ cao nhất trong ngày (Tmax), phụ tải cao nhất trong ngày (Pmax). Bài toán dự báo phụ tải đáy ta cần quan tâm nhiệt độ thấp nhất trong ngày (Tmin), phụ tải thấp nhất trong ngày (Pmin). Sau đây ta sẽ sử dụng mô hình mạng nơron hai lớp để dự báo phụ tải các bài toán đã đề cập ở trên. Ví dụ: Bảng 4.1 là tập hợp dữ liệu Tmax, Pmax , Pmin, Tmin của tháng 5/2006. Tập hợp dữ liệu này sẽ đ−ợc sử dụng chạy thử nghiệm trong quá trình dự báo. Bảng 4.1 Tập hợp dữ liệu Tmax, Pmax , Pmin, Tmin của tháng 5/2006 Dữ liệu ĐTPT đỉnh Dữ liệu ĐTPT đáy Thứ Ngày Pmax (MW) Tmax (độ C) Pmin (MW) Tmin (độ C) 3 25/04/2006 3357.9 36 1788.8 22 4 26/04/2006 3279.1 35 1880.7 23 5 27/04/2006 3377.8 35 1867.8 25 6 28/04/2006 3232.9 36 1647.2 25 7 29/04/2006 2908.2 33 1470.0 22 CN 30/04/2006 2910.9 33 1439.7 21 2(NL) 01/05/2006 2705.8 34 1458.1 23 3 02/05/2006 3121.3 35 1411.7 23 74 4 03/05/2006 3196.8 36 1682.3 24 5 04/05/2006 3135.2 35 1768.5 23 6 05/05/2006 3311.5 35 1767.9 24 7 06/05/2006 3233.2 36 1814.9 25 CN 07/05/2006 3076.6 37 1898.5 25 2 08/05/2006 2883.7 36 1634.1 24 3 09/05/2006 3282.0 36 1861.1 23 4 10/05/2006 3226.7 35 1914.3 25 5 11/05/2006 3121.2 36 1876.1 24 6 12/05/2006 3264.2 36 1847.4 24 7 13/05/2006 2893.2 35 1776.2 24 CN 14/05/2006 2923.6 32 1533.5 22 2 15/05/2006 3146.2 34 1543.4 22 3 16/05/2006 3296.5 34 1669.9 21 4 17/05/2006 3265.0 34 1801.0 22 5 18/05/2006 3216.5 33 1780.3 21 6 19/05/2006 3195.4 35 1839.8 22 7 20/05/2006 3142.7 33 1774.6 21 CN 21/05/2006 3163.5 33 1689.8 21 75 2 22/05/2006 3242.9 34 1784.2 22 3 23/05/2006 3093.9 34 1710.5 22 4 24/05/2006 3252.0 33 1708.9 21 5 25/05/2006 3127.5 34 1683.2 23 6 26/05/2006 3281.3 34 1766.1 23 7 27/05/2006 3152.6 34 1913.0 2