Số lượng Nơ-Ron trong lớp ẩn khi úng dụng mạng Nơ-ron hiệu chỉnh giản đồ hướng Anten mạng

Nghiên cứu khoa học công nghệ Tạp chí Nghiên cứu KH&CN quân sự, Số 32, 08 - 2014 29 Sè L¦îNG N¥-RON TRONG LíP ÈN KHI øNG DôNG M¹NG N¥-RON HIÖU CHØNH GI¶N §å H¦íNG ANTEN M¹NG LÊ DUY HIỆU, HÀ HUY DŨNG, BÙI CÔNG PHƯỚC, CAO VIỆT LINH Tóm tắt: Hiện nay ứng dụng mạng nơ-ron trong việc hiệu chỉnh giản đồ hướng anten mạng đã được thực hiện cả trong phát triển lý thuyết và trong thực tế. Quá trình hoàn thiện các cấu trúc mạng nơ-ron phù hợp cho khả năng tích hợp với hệ thống anten mạng mở ra một số bài toán cần phải được xem xét kĩ lưỡng. Một trong những bài toán quan trọng nhất trong thiết kế mạng nơ-ron đó là số lượng các nơ- ron của các lớp ẩn phù hợp với ứng dụng cụ thể. Bài báo đưa ra một mô hình mạng nơ-ron thực hiện chức năng hiệu chỉnh giản đồ hướng trong hệ thống anten mạng và các khảo sát định tính cũng như định lượng việc tính toán số lượng nơ-ron đối với lớp ẩn của mạng nơ-ron. Từ khóa: Mạng nơ-ron, Cấu trúc mạng nơ-ron, Số lượng nơ-ron. 1. ĐẶT VẤN ĐỀ Mạng nơ-ron trong hiệu chỉnh giản đồ hướng hệ thống anten mạng đóng vai trò như một bộ tự động hiệu chỉnh thích nghi. Hoạt động của mạng tùy vào sự thiết kế có thể đáp ứng các tiêu chí như: - Đảm bảo sự chính xác của tổ hợp tín hiệu kích thích các phần tử phát xạ theo các điều khiển chuẩn; - Tự động hiệu chỉnh giản đồ hướng phù hợp với những tác động trong không gian hoạt động như chế áp búp sóng phụ, bù suy hao tín hiệu, chế áp búp sóng chính khi cần tránh vùng không gian bị nhiễu quá lớn . . . Để thực hiện được chức năng nêu trên mạng nơ-ron sẽ tiến hành lấy mẫu giản đồ hướng từ tín hiệu thu về, từ đó đưa ra các đánh giá và tiến hành điều chỉnh lại các trọng số nơ-ron trong cấu trúc mạng. Mô hình tích hợp mạng nơ-ron và hệ thống anten mạng được trình bày tổng quan trên hình 1. H×nh 1. M« h×nh tæng qu¸t hÖ thèng anten m¹ng tÝch hîp m¹ng n¬ -ron. Ra đa L. D. Hiệu, H. H. Dũng, B. C. Phước, C. V. Linh,“Số lượng nơron anten mạng.” 30 Mạng nơ-ron tổng quát hay một hệ thống thích nghi có khả thay thay đổi cấu trúc hoặc biến đổi các thông tin bên trong của nó, độ tin cậy của mạng được quyết định bởi: - Cấu trúc mạng (số lớp, loại mạng . . .); - Số nơ-ron trong lớp ẩn; - Các hàm hoạt động (tuyến tính, phi tuyến, giới hạn cứng ) - Đầu vào (cấu trúc, dải động . . .) - Thuật toán cập nhật trọng số. Trong một ứng dụng cụ thể một cấu trúc mạng tối ưu và các hàm hoạt động phù hợp được thiết kế ngay từ đầu và không thay đổi được trong quá trình thích nghi, điều này cũng tương tự như các thiết kế cấu trúc đầu vào, đầu ra của hệ thống. Chính vì điều này nên các nghiên cứu về mạng nơ-ron trong 20 năm gần đây chủ yếu tập trung vào việc tối ưu số nơ-ron trong lớp ẩn và thuật toán cập nhật trọng số của mạng [1]. Bài toán được đặt ra đó là khả năng đảm bảo sự hiệu chỉnh nhằm đạt được mức sai số trong giới hạn thời gian đặt trước. Bài báo này sẽ giới thiệu các kết quả định tính về số nơ-ron trong lớp ẩn và các tính toán định lượng quá trình cập nhật trọng số mạng nơ-ron có cấu trúc phản hồi. Kết quả kiểm nghiệm sẽ được thực hiện mô phỏng trên Matlab. 2. ƯỚC LƯỢNG SỐ NƠ-RON TRONG LỚP ẨN VÀ CÔNG THỨC CẬP NHẬT TRỌNG SỐ TỐI ƯU. 2.1 Ước lượng số nơ-ron trong lớp ẩn Việc lựa chọn ngẫu nhiên một số nơ-ron trong lớp ẩn sẽ dẫn tới các vấn đề như tràn (overfitting) trong tính toán hoặc không đủ khả năng hội tụ các trọng số (underfitting). Một số nơ-ron lớp ẩn tối ưu với ứng dụng là một thách thức không nhỏ trong ổn định khả năng làm việc cũng như độ chính xác của mạng nơ-ron. Các công trình nghiên cứu nhằm cố định số lượng nơ-ron trong lớp ẩn bắt đầu có những công bố vào năm 1995 bởi Li và các cộng sự với mạng nơ-ron truyền thẳng với mục đích tính ra được số nơ-ron lớp ẩn vừa đủ cho mạng [2]. Năm 1997 Tamura và Tateishi đưa ra công thức định tính cho số lượng nơ-ron lớp ẩn 1 và lớp ẩn 2 lần lượt là N -1; N/2 +3 (N là số đầu vào) dựa theo tiêu chuẩn thông tin Akaike [3]. Công thức này được tổng quát hóa bởi Shibata và Ikeda, theo đó số lượng nơ-ron lớp ẩn bằng (Ni, No lần lượt là số nơ-ron đầu vào và số nơ-ron đầu ra) [4]. Đặc điểm của những công bố trước năm 2005 đó là kết quả thu được chủ yếu nhờ quá trình khảo sát thực nghiệm. Năm 2008 Jiang đã công bố về định mức khoảng giới hạn số lượng nơ-ron lớp ẩn dựa vào lý thuyết hội tụ, công bố này đã đưa ra những lập luận chặt chẽ cho tính toán. Theo Jiang giới hạn dưới của số lượng nơ-ron lớp ẩn tác động đến khả năng điều chỉnh tốc độ của mạng và giới hạn trên của số nơ-ron tác động đến điều kiện hội tụ của mạng nơ-ron [5]. Các nghiên cứu mới nhất hiện nay đã đưa ra các thuật toán tổng quát và phức tạp hơn với sự tham gia của các tham số về cấu hình mạng và thuật toán cập nhật trọng số của các nơ-ron, có thể kể đến như các nghiên cứu của Doukim năm 2011 và Hunter vào năm 2012 [6]. Việc xây dựng một công thức Nghiên cứu khoa học công nghệ Tạp chí Nghiên cứu KH&CN quân sự, Số 32, 08 - 2014 31 toán học hay một thuật toán cập nhật trọng số mạng nơ-ron sẽ mang một ý nghĩa định lượng đối với các công bố về phương pháp tính toán số lượng nơ-ron trong lớp ẩn. Trong bài báo này chúng ta sẽ thực hiện xây dựng một công thức toán học phù hợp với khả nang tính toán thực tế đối với một mạng truyền thẳng 2 lớp, từ đó rút ra một số đánh giá cơ bản đối với số lượng nơ-ron trong lớp ẩn. 2.2 Công thức cập nhật trọng số tối ưu Cấu trúc mạng nơ-ron phù hợp nhất đối với chức năng hiệu chỉnh giản đồ hướng anten mạng đó là mạng nơ-ron truyền thẳng, thực hiện theo mô hình lan truyền ngược với cấu trúc gồm 3 lớp (lớp vào; lớp ẩn; lớp ra), hàm truyền đạt được sử dụng đảm bảo khả năng chuyển đổi phi tuyến [7]. Cấu trúc mạng như vậy đã được kiểm chứng sự phù hợp qua lý thuyết cũng như thực tế và là cấu trúc mạng được sử dụng trong bài báo. Mạng truyền thẳng 3 lớp phi tuyến giúp cho mạng nơ- ron có thể thực hiện thao tác hiệu chỉnh trong giới hạn thời gian cho phép. Các thay đổi trọng số nơ-ron được thực hiện nhờ sự phản hồi sai số trên kênh phản hồi ngược. Hình 2 mô tả cấu trúc tổng quát của mạng này. IW 1,1 b (1) σ 1 LW 2,1 b (2) 2 1 1 Lớp raLớp ẩn V N N x V V x N s(1) N a1 N M x N M M y M σs(2) H×nh 2. CÊu tróc m¹ng n¬-ron víi N n¬-ron líp Èn vµ M ®Çu ra. Trong cấu trúc mạng nơ-ron như mô tả trên hình 2, để phục vụ quá trình trọng tâm là tính toán cập nhật trọng số một số định nghĩa ban đầu được đưa ra như sau: - Vec-tơ đầu ra mong muốn : d(k) = [d1(k) d2(k) . . . dM(k)] T ; - Các trọng số tương ứng với nơ-ron(1, i) trong lớp ẩn (i = 1,2, ... ,N): w () , w () , , w () , được biểu diễn w () = w () w () w () ∈ ℜ - Các trọng số tương ứng với nơ-ron(2, j) trong lớp ra (j = 1, 2, . . , M) : w () , w () , , w () , ®­îc biÓu diÔn w () = w () w () w () ∈ ℜ Lưu ý dãy chỉ số trên đại diện cho thứ tự lớp, chỉ số dưới thứ nhất biểu thị vị trí nơ-ron trong lớp, chỉ số dưới thứ hai đại diện cho số đầu vào liên quan đến trọng số. Từ các biểu diễn trên ta xây dựng được ma trận trọng số đối với mỗi lớp, các tham số độ dịch b(1) , b(2) lúc này được thêm vào: W () = w () w () w () w () = ⎣ ⎢ ⎢ ⎢ ⎡b () w () w () b () w () w () w () w () ⋮ ⋮ ⋱ ⋮ b () w () w () w () ⎦ ⎥ ⎥ ⎥ ⎤ (1) L. D. Hiệu, H. H. D32 W () = w () w () w - và , tương ứng l nơ-ron (2,j). và hàm truyền đạt (.) lần lư vec-tơ cột): Nơ-ron (1, i)- Lớp vào: Nơ-ron (2, j)- Lớp ra : - Sai số tức thời của mạng đ Sự xem xét mạng nơ-ron v thủ theo quy tắc Delta tổng quát. Quy tắc n ra (E) với kỹ thuật cực tiểu h quá trình điều chỉnh vec-tơ tr âm ( )của hàm sai số. Các khoảng cập nhật trọng số đ và (7) cho lớp ra ( -tham s Công thức cập nhật trọng số lớp ẩn mạng n k+1) được viết như sau: Kết hợp (3) và (6), công th thực tế: ũng, B. C. Phước, C. V. Linh,“Số lượng nơron anten m () w () = ⎣ ⎢ ⎢ ⎢ ⎡b () w () w () b () w () w () w w ⋮ ⋮ ⋱ b () w () w () w à các đầu ra bộ cộng tuyến tính của nơ- là các đạo hàm riêng Các giá trị đầu ra tương ợt là zi và yj (trong các công thức chỉ số a đại diện cho ược lựa chọn theo tiêu chuẩn LMS: ới các thành phần được rời rạc hóa như trên tuân ày thực hiện quá trình tối ưu sai s àm sai số, điều này trong mạng nơ-ron đồng nghĩa với ọng số sao cho hàm sai số giảm tỉ lệ thuận vớ ược tính theo (6) cho lớp ẩn ố tỉ lệ luyện): ơ-ron tại các thời điểm tuần tự (k, ức (8) được viết lại phù hợp với khả năng tính toán Ra đa ạng.” () () ⋮ () ⎦ ⎥ ⎥ ⎥ ⎤ (2) ron (1,i) và ứng sau (3) (4) ố đầu i độ dốc Nghiên cứu khoa học công nghệ Tạp chí Nghiên cứu KH&CN quân s Tương tự, chúng ta có công thức cập nhật trọng số đối với lớp ra: Công thức (9) và (10) cho phép s tiếp đệ qui và các thuật toán lặp để thu đ lượng tính toán có thể thấy việc tăng số l bớt số trọng số của nơ-ron. Theo các tiêu chu tính trong các công thức (9), (10) có thể thực hiện đ lớp ẩn nằm ngoài khoảng cho phép m lớp ẩn chỉ nằm trong khoảng [N điều này được mô phỏng tr trình bày trong phần tiếp theo. 3. KẾT QUẢ MÔ PHỎNG V Một cấu trúc mạng truyền thẳng hai lớp, sử dụng trong hiệu chỉnh giản đồ hướng anten mạng 16 phần tử có số đầu v tra sẽ lần lượt thay đổi số l hướng được tái tạo bởi mạng (rút gọn) của thực nghiệm n nơ-ron và số lượng nơ-ron trong l Bảng 1. Mức lỗi tối thiểu trung b Số TT 1 2 13 14 15 21 30 54 55 57 61 68 75 76 77 78 99 100 ự, Số 32, 08 - 2014 ử dụng các tính toán theo các thu ược kết quả mong muốn. Xét về khối ượng nơ-ron trong lớp ẩn sẽ cần phải giảm ẩn về hội tụ chúng ta thấy để các phép ược với những số lư à Jiang đã công bố năm 2008 đó l -1, 2N] (với N là số đầu vào). Sự kiểm nghiệm ên Matlab, với các số liệu mang tính thống k À KẾT LUẬN ào và đầu ra đều bằng 16. Quá tr ượng nơ-ron của lớp ẩn và ghi lại sai lệch giữa giản đồ nơ-ron và giản đồ hướng chuẩn. Bảng 1 l ày, quan sát trực quan mối quan hệ giữa sai số mạng ớp ẩn được thể hiện trong hình 3. ình theo số lượng nơ-ron trong l Số nơ-ron trong lớp ẩn Mức sai số tối thiểu 1 0.395 7 0.186 13 0.0414 14 0.0218 15 2.10-5 21 1.10-5 30 7.10-6 54 7.10-6 55 1.10-5 57 8.10-5 61 3.10-4 68 6.10-3 75 1.10-2 76 1.10-2 77 1.10-2 78 1.10-2 99 7.10-2 100 9.10-2 33 ật toán hồi ợng nơ-ron à số nơ-ron ê sẽ được ình kiểm à kết quả ớp ẩn. Ra đa L. D. Hiệu, H. H. Dũng, B. C. Phước, C. V. Linh,“Số lượng nơron anten mạng.” 34 Hình 3. Đồ thị quan hệ giữa số nơ-ron trong lớp ẩn và mức sai số trung bình. Đồ thị trên hình 3 cho thấy số lượng nơ-ron phù hợp với lượng đầu vào bằng 16 nằm trong giải từ 15 đến 55, khoảng này bao trùm lên các cách tính ước lượng số nơ-ron đã được công bố, số lượng nơ-ron có thể vượt qua khoảng ước lượng có thể được giải thích nhờ khả năng xử lý toán học và độ hội tụ của các công thức cập nhật trọng số tối ưu đối với cấu trúc mạng anten. Khả năng nâng cao sự co dãn của khoảng số nơ-ron trong lớp ẩn có ý nghĩa lớn trong ứng dụng thực tế, điều này giúp cho các thiết kế cấu trúc mạng không bị quá cứng nhắc trong việc ràng buộc số lượng nơ-ron lớp ẩn với số đầu vào. Với một khoảng rộng hơn trong việc lựa chọn số lượng nơ-ron của lớp ẩn cho phép một cấu trúc mạng nơ-ron có thể đáp ứng được nhiều ứng dụng hơn, ví dụ đối với cấu trúc mạng nơ-ron trong hiệu chỉnh giản đồ hướng anten mạng khi chọn số nơ-ron lớp ẩn là 32 sẽ đảm bảo khả năng áp dụng cho các mạng anten có số phần tử nằm trong một dải rộng từ 13-32 phần tử. TÀI LIỆU THAM KHẢO [1]. K.Gnana Sheela and S.N.Deepa "Review on Methods to fix number of hidden neurons in Neural Network.", Mathematical Problems in Engineering, pp.11,2013. [2]. J. Y. Li, T. W. S. Chow, and Y. L. Yu, “Estimation theory and optimization algorithm for the number of hidden units in the higher-order feedforward neural network,” in Proceedings of the IEEE Inter. Conf. on Neural Networks, vol. 3, pp. 1229–1233, December 1995. [3]. S. Tamura and M. Tateishi, “Capabilities of a four-layered feedforward neural network: four layers versus three,” IEEE Trans. on Neural Networks, vol. 8, no. 2, pp. 251, 1997. [4]. K. Shibata and Y. Ikeda, “Effect of number of hidden neurons on learning in large-scale layered neural networks,” in Proceedings of the ICROS-SICE International Joint Conference 2009 (ICCAS-SICE '09), pp. 5008–5013, August 2009. [5]. N. Jiang, Z. Zhang, X. Ma, and J. Wang, “The lower bound on the number of hidden neurons in multi-valued multi-threshold neural networks,” in Nghiên cứu khoa học công nghệ Tạp chí Nghiên cứu KH&CN quân sự, Số 32, 08 - 2014 35 Proceedings of the 2nd International Symposium on Intelligent Information Technology Application (IITA '08), pp. 103–107, December 2008. [6]. D. Hunter, H. Yu, M. S. Pukish III, J. Kolbusz, and B. M. Wilamowski, “Selection of proper neural network sizes and architectures: a comparative study,” IEEE Trans. on Industrial Informatics, vol. 8, pp. 228–240, 2012. [7]. Fa Long Luo, Rolf Unbehauen,“Applied neural networks for signal processing”, Cambridge University Press, pp.367, 1998. ABSTRACT THE NUMBER OF NEURONS IN HIDDEN LAYERS FOR NEURAL APPLICATION IN ANTENNA ARRAY RADIATION PATTERN CORRECTION Recently, neural applications for antenna array radiation pattern correction are realized not only in theoretical developments but also in practice. The process optimizing neural network structures suitable for integrating capabilities into antenna array systems leads to some problems that must be carefully considered. One of the most important problems in designing a neural network is estimate the suitable number neurons in hidden layers for a specific application. The paper presented a neural network model for radiation pattern correction in antenna array system, qualitative and quantitative investigations in calculating the suitable neuron number for hidden layers in a neural network. Keywords: Neural network, Neural network architecture, Number of neural. Nhận bài ngày 15 tháng 06 năm 2014 Hoàn thiện ngày 20 tháng 07 năm 2014 Chấp nhận đăng ngày 02 tháng 08 năm 2014 Địa chỉ: Viện Ra đa, Viện KH & CNQS.