Tài liệu Đề tài Tổng quan về mạng nơ ron nhân tạo: Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
5
LỜI CAM ĐOAN
Tôi xin cam đoan luận văn này là công trình do tôi tổng hợp và nghiên cứu.
Trong luận văn có sử dụng một số tài liệu tham khảo như đã nêu trong phần tài liệu
tham khảo.
Tác giả Luận văn
Nguyễn Đắc Nam
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
6
LỜI NÓI ĐẦU
Trong hệ thống điều khiển hiện đại, có rất nhiều phương pháp điều khiển
đảm bảo được tốt chất lượng điều khiển. Trong điều khiển tự động, để điều khiển
chính xác đối tượng khi chưa biết rõ được thông số, trước tiên ta phải hiểu rõ đối
tượng đó. Đặc biệt đối với các đối tượng phi tuyến ta cần dạng được đặc tính vào-ra
của nó để đảm bảo tạo ra tín hiệu điều khiển thích nghi được lựa chọn chính xác
hơn. Những bộ điều khiển hiện đại thường được sử dụng như lôgic mờ, mạng
nơron, mạng nơron mờ để nhận dạng và điều khiển thích nghi hệ thố...
82 trang |
Chia sẻ: hunglv | Lượt xem: 1615 | Lượt tải: 0
Bạn đang xem trước 20 trang mẫu tài liệu Đề tài Tổng quan về mạng nơ ron nhân tạo, để tải tài liệu gốc về máy bạn click vào nút DOWNLOAD ở trên
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
5
LỜI CAM ĐOAN
Tôi xin cam đoan luận văn này là công trình do tôi tổng hợp và nghiên cứu.
Trong luận văn có sử dụng một số tài liệu tham khảo như đã nêu trong phần tài liệu
tham khảo.
Tác giả Luận văn
Nguyễn Đắc Nam
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
6
LỜI NÓI ĐẦU
Trong hệ thống điều khiển hiện đại, có rất nhiều phương pháp điều khiển
đảm bảo được tốt chất lượng điều khiển. Trong điều khiển tự động, để điều khiển
chính xác đối tượng khi chưa biết rõ được thông số, trước tiên ta phải hiểu rõ đối
tượng đó. Đặc biệt đối với các đối tượng phi tuyến ta cần dạng được đặc tính vào-ra
của nó để đảm bảo tạo ra tín hiệu điều khiển thích nghi được lựa chọn chính xác
hơn. Những bộ điều khiển hiện đại thường được sử dụng như lôgic mờ, mạng
nơron, mạng nơron mờ để nhận dạng và điều khiển thích nghi hệ thống phi tuyến.
Trong thời gian của khoá học cao học, chuyên ngành Tự động hoá tại trường
Đại Học Kỹ Thuật Công Nghiệp Thái Nguyên, được sự tạo điều kiện giúp đỡ của
nhà trường và Tiến Sĩ Phạm Hữu Đức Dục em đã lựa chọn đề tài của mình là:
“Nghiên cứu ứng dụng mạng nơron truyền thẳng nhiều lớp nhận dạng vị trí
rôbốt hai khâu”.
Trong khoảng 6 tháng thực hiện đề tài, được sự hướng dẫn nhiệt tình của
Tiến Sĩ Phạm Hữu Đức Dục, sự giúp đỡ của bạn bè cùng với sự nỗ lực, cố gắng của
mình bản luận văn đến nay đã hoàn thành.
Dù đã có nhiều cố gắng, xong bản luận văn vẫn không tránh khỏi những
thiếu sót và hạn chế, em rất mong nhận được sự góp ý của các thầy để bản luận văn
được tốt hơn.
Em xin trân trọng cảm ơn!
Học viên
Nguyễn Đắc Nam
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
7
MỤC LỤC
Trang
Lời cam đoan.
Danh mục các ký hiệu, bảng, các chữ viết tắt.
Danh mục các hình vẽ.
PHẦN MỞ ĐÀU. 1
Chƣơng I- TÔNG QUAN VỀ MẠNG NƠ RON NHÂN TẠO. 5
1.1. Lịch sử phát triển của mạng nơ ron nhân tạo. 5
1.2. Các tính chất của mạng nơ ron nhân tạo. 5
1.3. Mô hình nơ ron. 6
1.3.1.Mô hình nơ ron sinh học. 6
1.3.1.1. chức năng, tổ chức và hoạt động của bộ não con người. 6
1.3.1.2. Mạng nơ ron sinh học. 9
1.3.2. Mạng nơ ron nhân tạo. 10
1.3.2.1. Khái niệm. 10
1.3.2.2. Phân loại mạng nơ ron. 13
1.3.2.3. Các luật học. 15
1.3.3. Mô hình toán học mạng nơ ron truyền thẳng và mạng nơ ron hồi quy. 19
1.3.3.1. Mạng nơ ron truyền thẳng. 19
1.3.3.2. Mạng nơ ron hồi quy. 22
1.4. Quá trình huấn luyện mạng nơ ron nhiều lớp. 24
1.4.1. Quá trình thực hiện. 24
1.4.2. Quy tắc chuỗi. 25
1.4.3. Độ chính xác của lan truyền ngược. 27
1.4.4. Biến thể của lan tryền ngược. 27
1.4.5. Tổng quát.(phép nội suy và phép ngoại suy). 28
1.5. Công nghệ phân cứng sử dụng mạng nơ ron. 31
1.6. So sánh khả năng của mạng nơ ron với mạch logic 32
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
8
KẾT LUẬN CHƢƠNG 1. 33
Chƣơng II- Các phƣơng pháp ứng dụng mạng nơ ron trong nhận dạng và
điều khiển.
34
2.1. Các vấn đề chung. 34
2.2. Các phƣơng pháp ứng dụng mạng nơ ron trong nhận dạng. 34
2.2.1. Cơ sở lý luận. 34
2.2.2. Mô tả toán học của đối tượng ở miền rời rạc. 36
2.2.3. Mô hình dùng mạng nơ ron. 39
2.2.3.1. Mô hình song song. 39
2.2.3.2. Mô hình nối tiếp song song. 39
2.2.3.3. Mô hình ngược trực tiếp. 40
2.2.3.4. Mô hình tổ hợp. 41
2.3. Các phƣơng pháp ứng dụng mạng nơ ron trong điều khiển. 42
2.3.1. Bộ điều khiển đảm bảo tính ổn định vững chắc. 42
2.3.2. Bộ điều khiển thích nghi ngược trực tiếp. 42
2.3.3. Điều khiển phi tuyến mô hình trong. 44
2.3.4. Điều khiển dự báo. 44
2.3.5. Điều khiển thích nghi theo mô hình mẫu (MRAC) 45
2.3.6. Điều khiển thích nghi tự chỉnh. 46
2.3.7. Điều khiển thích nghi bằng mạng nơ ron hồi quy tuyến tính. 46
2.3.8. Điều khiển thích nghi ổn định trực tiếp. 48
2.3.9. Điều khiển tối ưu. 49
2.3.10. Phương pháp bảng tra. 50
2.3.11. Điều khiển lọc. 50
2.4. Những hạn chế và chú ý. 51
KẾT LUẬN CHƢƠNG 2 52
Chƣơng III - Ứng dụng mạng nơ ron truyền thẳng nhiều lớp nhận dạng
vị trí rô bốt hai khâu.
53
3.1. Mạng nơ ron truyền thẳng nhiều lớp 53
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
9
3.1.1. Sơ đồ khối mạng nơ ron truyền thẳng nhiều lớp. 53
3.1.2. Thuật toán học lan truyền ngược của sai lệch. 53
3.2. Ứng dụng mạng nơ ron truyền thẳng nhiều lớp nhận dạng vị trí rô
bốt hai khâu.
57
3.2.1. Phân tích sơ đồ ứng dụng. 57
3.2.2. Mô tả động học của rô bốt hai khâu. 59
3.2.3. Thiết lập mạng nơ ron nhận dạng. 60
3.2.3.1. Thiết lập sơ đồ nhận dạng 60
3.2.4.2. Quá trình nhận dạng. 63
3.2.4.3. Kết quả mô phỏng và nhận dạng. 65
3.2.4.4. Kết luận chương III 74
KẾT LUẬN CHUNG 75
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
10
DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ.
STT Ký hiệu Diễn giải tên hình vẽ.
1 Hình 1 Sơ đồ khối điều khiển thích nghi rô bốt hai khâu.
2 Hình 2 Sơ đồ ứng dụng mạng nơ ron nhận dạng vị trí rô bốt hai khâu.
3 Hình 1.1 Mô hình hai nơ ron sinh học.
4 Hình 1.2 Mô hình nơ ron nhân tạo.
5 Hình 1.3a Biểu diễn hình học của hàm Rump
6 Hình 1.3b Biểu diễn hình học của hàm bước nhảy.
7 Hình 1.3c Biểu diễn hình học của hàm giới hạn cứng.
8 Hình 1.3d Biểu diễn hình học của hàm Sigmoid hai cực.
9 Hình 1.4a Mạng một lớp truyền thẳng.
10 Hình 1.4b Mạng nhiều lớp truyền thẳng.
11 Hình 1.4c Mạng nơ ron có phản hồi.
12 Hình 1.4d Mạng nơ ron hồi quy.
13 Hình 1.5 Cấu trúc huấn luyện mạng nơ ron.
14 Hình 1.6 Mô hình học có giám sát và học củng cố.
15 Hình 1.7 Mô hình học không có giám sát.
16 Hình 1.8 Sơ đồ cấu trúc chung của quá trình học.
17 Hình 1.9 Cấu trúc mạng nơ ron một lớp.
18 Hình 1.10 Ký hiệu mạng R đầu vào và S nơ ron.
19 Hình 1.11 Ký hiệu mạng một lớp.
20 Hình 1.12 Cấu trúc mạng nơ ron 3 lớp.
21 Hình 1.13 Ký hiệu mạng nơ ron 3 lớp.
22 Hình 1.14 Ký hiệu mạng một l lớp hồi quy.
23 Hình 1.15 Ký hiệu mạng nơ ron 3 lớp hồi quy.
24 Hình 1.16a
Mạng được huấn luyện theo phương pháp bình phương sai
lệch cực tiểu.
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
11
PHẦN MỞ ĐẦU
1.Lý do lựa chọn đề tài.
Để điều khiển chính xác đối tượng khi chưa biết rõ được thông số, trước tiên
ta phải hiểu rõ đối tượng đó. Đối với đối tượng là phi tuyến như rô bốt, ta cần thực
hiện nhận dạng đặc tính vào ra của nó để đảm bảo tạo ra tín hiệu điều khiển thích
nghi được lựa chọn chính xác hơn. Hiện nay thường sử dụng logic mờ (Fuzzy
Logic), mạng nơ ron ( Neural Networks), và mạng no ron mờ (Fuzzy Neural
Networks) để nhận dạng và điều khiển thích nghi hệ thống phi tuyến.Trong khuôn
khổ của khoá học Cao học, chuyên ngành Tự động hoá tại trường Đại học Kỹ thuật
Công nghiệp Thái Nguyên, được sự tạo điều kiện giúp đỡ của nhà trường và Tiến sĩ
Phạm Hữu Đức Dục, em đã lựa chọn đề tài của mình là “Nghiên cứu ứng dụng
mạng nơ ron truyền thẳng nhiều lớp nhận dạng vị trí rô bốt hai khâu”.
2.Mục đích của đề tài.
Nghiên cứu việc ứng dụng mạng nơ ron trong quá trình nhận dạng và điều
khiển hệ thống phi tuyến nói chung. Đặc biệt đi sâu nghiên cứu mạng nơ ron truyền
thẳng nhiều lớp nhận dạng đặc tính vào – ra của rô bốt hai khâu, làm cơ sở cho việc
tạo ra tín hiệu điều khiển thích nghi được lựa chọn chính xác hơn.
3. Đối tƣợng và phạm vi nghiên cứu.
a/ Đối tượng nghiên cứu.
Đối tượng nghiên cứu của đề tài là sử dụng mạng nơ ron truyền thẳng nhiều
lớp nhận dạng vị trí hai khâu rô bốt.
Sơ đồ hình 1 mô tả một mô hình điều chỉnh thích nghi rô bốt hai khâu theo mô hình
mẫu.
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
12
Sơ đồ điều khiển được thực hiện theo hai giai đoạn sau đây:
Giai đoạn 1: Sử dụng mạng nơ ron nhận dạng vị trí của rô bốt hai khâu, khi
đó các khoá K mở. Căn cứ vào sai lệch e1 giữa tín hiệu ra của rô bốt (y) và tín hiệu
ra của mạng nơ ron nhận dạng(ymh), mạng nơ ron tiến hành học để nhận dạng đặc
tính vào ra y của rô bốt hai khâu, sao cho tín hiệu mạng nơ ron nhận dạng ymh bám
theo được tín hiệu ra y của rô bốt hai khâu. Với e1= y- ymh
Giai đoạn 2: Căn cứ vào kết quả nhận dạng ta có được mạng nơ ron có thể
thay thế gần đúng cho rô bốt hai khâu từ đó tiến hành điều khiển thích nghi rô bôt
hai khâu theo mô hình mẫu. Các khoá K đóng, dựa vào bộ thông số sai lệch (e2, 2e
) giữa tín hiệu đầu ra của mô hình mẫu ym và tín hiệu đầu ra của mạng nơ ron nhận
dạng ymh, bộ điều khiển thực hiện các luật học thích nghi tạo ra tín hiệu điều khiển u
với mục đích tạo ra được tín hiệu đầu ra của mạng nhận dạng bám theo được tín
hiệu đầu ra của mô hình. Với e2 = ym – ymh và ė2 là đạo hàm cấp một của sai lệch e2
Với thời gian nghiên cứu có hạn, luận văn này chỉ đi sâu nghiên cứu ứng dụng
mạng nơ ron nhiều lớp truyền thẳng nhận dạng vị trí rô bốt hai khâu.
b/ Phạm vi nghiên cứu của đề tài.
- ymh
-
e2
e1
y
ymh
ym
u
K
Bộ điều
khiển
Mô hình mẫu
Rôbốt hai khâu
Mạng nơron nhận
dạng
K
xd
e2
ė2
Hình 1. Sơ đồ khối điều khiển thích nghi rô bốt hai khâu
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
13
Chương I. Tổng quan về mạng nơ ron nhân tạo:
Phân tích tổng quan nề mạng nơ ron bao gồm : Lịch sử phát triển, kết cấu
của các mạng nơ ron, vai trò của các mạng nơ ron trong điều khiển.
Chương II. Các phương pháp ứng dụng mạng nơ ron trong nhận dạng và điều
khiển:
Trình bày các phương pháp ứng dụng mô hình mạng nơ ron trong nhận dạng
và điều khiển.
Chương III. Ứng dụng mạng nơ ron truyền thẳng nhiều lớp nhận dạng vị trí rô bốt
hai khâu.
Đưa ra mô hình nhận dạng vị trí rô bốt hai khâu, từ đó phân tích, lựa chọn
mạng nơ ron truyền thẳng nhiều lớp với luật học lan truyền ngược tiến hành nhận
dạng đặc tính vào ra của rô bốt hai khâu với sơ đồ tổng quát như hình 2:
4. Ý nghĩa khoa học và thực tiễn của đề tài.
Với ứng dụng mạng nơ ron truyền thẳng nhiều lớp nhận dạng quỹ đạo
chuyển động trong miền thời gian thực của rô bốt hai khâu. Sau khi nhận dạng được
vị trí của rô bốt hai khâu, ta có thể thay thế gần đúng mô hình vị trí rô bốt hai khâu
bằng một mạng nơ ron truyền thẳng, từ đó căn cứ vào các thông số mô phỏng của
ymh
y
e1
xd
Robot hai khâu
(Mô hình tính toán vị trí)
Mạng nơ ron nhận dạng
Hình2. Sơ đồ ứng dụng mạng nơ ron nhận dạng vị trí rô bốt hai khâu
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
14
mạng nơ ron ta tính toán được tín hiệu điều chỉnh nhằm điều khiển thích nghi vị trí
của rô bốt hai khâu phù hợp với những yêu cầu cần thiết của điều chỉnh thích nghi
vị trí rô bốt hai khâu.
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
15
CHƢƠNG I
TỔNG QUAN VỀ MẠNG NƠ RON NHÂN TẠO
Mạng nơ ron nhân tạo (Artificial Neural Networks) là hệ thống được xây
dựng dựa trên nguyên tắc cấu tạo của bộ não người. Nó cho chúng ta một hướng
mới trong nghiên cứu hệ thống thông tin. Mạng nơ ron nhân tạo có thể thực hiện
các bài toán: Tính toán gần đúng các hàm số, thực hiện các bài toán tối ưu, nhận
mẫu, nhận dạng và điều khiển đối tượng hiệu quả hơn so với các phương pháp
truyền thống.
Mạng nơ ron nhân tạo có một số lượng lớn mối liên kết của các phần tử biến
đổi có liên kết song song. Nó có hành vi tương tự như bộ não người với khả năng
học ( Learning ), gọi lại (Recall) và tổng hợp thông tin từ sự luyện tập của các tập
mẫu dữ liệu. Các phần tử biến đổi của mạng nơ ron nhân tạo được gọi là các nơ ron
nhân tạo hoặc gọi tắt là nơ ron
1.1 LỊCH SỬ PHÁT TRIỂN CỦA MẠNG NƠ RON NHÂN TẠO.
Mạng nơ ron nhân tạo đã có một lịch sử phát triển lâu dài. Năm 1943,
McCulloch và Pitts đã đưa ra khả năng liên kết và một số liên kết cơ bản của mạng
nơ ron. Năm1949, Hebb đã đưa ra các luật thích nghi trong mạng nơ ron. Năm
1958, Rosenbatt đưa ra cấu trúc Perception. Năm 1969, Minsky và Papert phân tích
sự đúng đắn của Perception, họ đã chứng minh các tính chất và chỉ rõ các giới hạn
của một số mô hình. Năm 1976, Grossberg dựa vào tính chất sinh học đã đưa ra một
số cấu trúc của hệ động học phi tuyến với các tính chất mới. Năm 1982, Rumelhart
đưa ra mô hình song song một số thuật toán và kết quả. Thuật toán học lan truyền
ngược được Rumelhart, Hinton, Williams (1986) đề xuất luyện mạng nơ ron nhiều
lớp. Những năm gần đây, nhiều tác giả đã đề xuất nhiều loại cấu trúc mạng nơ ron
mới. Mạng nơ ron được ứng dụng trong nhiều lĩnh vực kinh tế kỹ thuật khoa học vũ
trụ (Hecht – Nielsen, 1988)
1.2 CÁC TÍNH CHẤT CỦA MẠNG NƠ RON NHÂN TẠO.
Là hệ phi tuyến: Mạng nơ ron có khả năng to lớn trong lĩnh vực nhận dạng
và điều khiển các đối tượng phi tuyến.
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
16
Là hệ xử lý song song: Mạng nơ ron có cấu trúc song song, do đó có độ tính
toán rất cao rất phù hợp với lĩnh vực nhận dạng và điều khiển.
Là hệ học và thích nghi: Mạng được luyện từ các số liệu quá khứ và có khả
năng tự chỉnh khi số liệu đầu vào bị mất, có thể điều khiển on- line.
Là hệ nhiều biến, nhiều đầu vào, nhiều đầu ra (MIMO), rất tiện dùng khi đối
tượng điều khiển có nhiều biến số.
1.3 MÔ HÌNH NƠ RON
1.3.1.Mô hình nơ ron sinh học.
1.3.1.1 Chức năng, tổ chức và hoạt động của bộ não con người.
Bộ não người có chức năng hết sức quan trọng trong đời sống của con người.
Nó gần như kiểm soát hầu hết mọi hành vi của con người từ các hoạt động cơ bắp
đơn giản đến những hoạt động phức tạp như học tập, nhớ, suy luận, tư duy, sáng
tạo, ...
Bộ não người được hình thành từ sự liên kết của khoảng 1011 phần tử (tế
bào), trong đó có khoảng 1010 phần tử là nơ ron, số còn lại khoảng 9*1010 phần tử là
các tế bào thần kinh đệm và chúng có nhiệm vụ phục vụ cũng như hỗ trợ cho các nơ
ron. Thông thường một bộ não trung bình cân nặng khoảng 1,5 kg và có thể tích là
235 cm
3 . Cho đến nay người ta vẫn chưa thực sự biết rõ cấu tạo chi tiết của bộ não.
Tuy vậy về đại thể thì cấu tạo não bộ được phân chia ra thành nhiều vùng khác
nhau. Mỗi vùng có thể kiểm soát một hay nhiều hoạt động của con người.
Các đặc tính của não người:
- Tính phân lớp: Các vùng trong bộ não được phân thành các lớp, thông tin
được xử lý theo các tầng.
- Tính môđun: Các vùng của bộ nhớ được phân thành các môđun được mã
hoá bằng các định nghĩa mối quan hệ tích hợp giữa các tín hiệu vào qua các giác
quan và các tín hiệu ra.
- Mối liên kết: Liên kết giữa các lớp dẫn đến các dữ liệu dùng chung xem
như các liên hệ phản hồi khi truyền tín hiệu.
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
17
- Sử lý phân tán các tín hiệu vào: Các tín hiệu vào được truyền qua nhiều
kênh thông tin khác nhau, được xử lý bằng các phương pháp đặc biệt.
Bộ não có cấu trúc nhiều lớp. Lớp bên ngoài thường thấy như là các nếp
nhăn, là lớp có cấu tạo phức tạp nhất. Đây là nơi kiểm soát và phát sinh các hành
động phức tạp như nghe, nhìn, tư duy, ...
Tín hiệu thu, nhận ở các dạng xung điện – Màng (Membrane): Mỗi tế bào
thần kinh có một màng, có nhiệm vụ giữ cho các chất nuôi tế bào không tràn ra
ngoài. Do đó, các phần tử nội bào và ngoại bào không bằng nhau, giữa chúng có
dung dịch muối lỏng làm cho chúng bị phân rã thành các nguyên tử âm và dương.
Các nguyên tử dương trong màng tạo ra điện thế màng, nó tồn tại trong trạng thái
cân bằng lực: lực đẩy các nguyên tử dương ra khỏi tế bào bằng với lực hút chúng
vào trong tế bào.
Điện thế màng là phần tử quan trọng trong quá trình truyền tin của hệ thần
kinh. Khi thay đổi khả năng thẩm thấu ion của màng thì điện thế màng của tế bào bị
thay đổi và tiến tới một ngưỡng nào đó, đồng thời sinh ra dòng điện, dòng điện này
gây ra phản ứng kích thích làm thay đổi khả năng thẩm thấu ion của tế bào tiếp
theo.
Xử lý thông tin trong bộ não:
Thông tin được tiếp nhận từ các giác quanvà chuyển vào các tế bào thần kinh
vận động vào các tế bào cơ. Mỗi tế bào thần kinh tiếp nhận thông tin, điện thế sẽ
tăng trong thần kinh cảm giác, nếu điện thế này vượt ngưỡng nó tạo ra dòng điện
trong tế bào thần kinh cảm giác, ý nghĩa dòng điện đó được giải mã và lưu ở thần
kinh trung ương, kết quả xử lý thông tin được gửi đến các tế bào cơ.
Các tế bào thần kinh đưa các tín hiệu giống nhau, do đó không thể phân biệt
được đó là của loài động vật nguyên thuỷ hay của một giáo sư. Các khớp thần kinh
chỉ cho các tín hiệu phù hợp qua chúng, còn lại các tín hiệu khác bị cản lại. Lượng
tín hiệu được biến đổi được gọi là cường độ khớp thần kinh đó chính là trọng số của
nơ ron trong mạng nơ ron nhân tạo.
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
18
Tại sao việc nghiên cứu về mạng thần kinh lại có tầm quan trọng lớn lao. Có
thể trả lời ngắn gọn là sư giống nhau của các tín hiệu của các tế bào thần kinh đơn
lẻ, do đó chức năng thực sự của bộ não không phụ thuộc vào vai trò của một tế bào
thần kinh đơn, mà phụ thuộc vào toàn bộ các tế bào thần kinh hay các tế bào thần
kinh liên kết với nhau thành một mạng thần kinh hay một mạng nơ ron (Neural
Networks)
Hoạt động của bộ não nói riêng và của hệ thần kinh nói chung đã được con
người quan tâm nghiên cứu từ lâu nhưng cho đến nay người ta vẫn chưa hiểu rõ
thực sự về hoạt động của bộ não và hệ thần kinh. Đặc biệt là trong các hoạt động
liên quan đến trí óc như suy nghĩ, nhớ, sáng tạo, ... Tuy thế cho đến nay, người ta
cũng có những hiểu biết căn bản về hoạt động cấp thấp của não.
Mỗi nơ ron liên kết với khoảng 104 nơ ron khác, cho nên khi hoạt động thì bộ
não hoạt động một cách tổng lực và đạt hiệu quả cao. Nói một cách khác là các
phần tử của não hoạt động một cách song song và tương tác hết sức tinh vi phức
tạp, hiệu quả hoạt động thường rất cao, nhất là trong các vấn đề phức tạp. Về tốc độ
xử lý của bộ não người rất nhanh mặc dù tốc độ xử lý của mỗi nơ ron (có thể xem
như phần tử xử lý hay phần tử tính) là rất chậm so với xử lý của các cổng logic
silicon trong các chip vi xử lý (10-3 giây so với 10-10 giây).
Hoạt động của cả hệ thống thần kinh bao gồm não bộ và các giác quan như
sau:
Trước hết con người bị kích thích bởi giác quan từ bên ngoài hoặc trong cơ
thể. Sự kích thích đó được biến thành các xung điện bởi chính các giác quan tiếp
nhận kích thích. Những tín hiệu này được chuyển về trung ương thần kinh là não bộ
để xử lý. Trong thực tế não bộ liên tục nhận thông tin xử lý, đánh giá và so sánh với
thông tin lưu trữ để đưa ra các quyết định thích đáng.
Những mệnh lệnh cần thiết được phát sinh và gửi đến những bộ phận thi
hành thích hợp như các cơ tay, chân, ... Những bộ phận thi hành biến những xung
điện thành dữ liệu xuất của hệ thống.
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
19
Tóm lại: Bộ não người có chức năng hết sức quan trọng đối với đời sống của
con người. Cấu tạo của nó rất phức tạp, tinh vi bởi được tạo thành từ mạng nơ ron
có hàng chục tỉ tế bào với mức độ liên kết giữa các nơ ron là rất cao. Hơn nữa, nó
còn được chia thành các vùng và các lớp khác nhau. Bộ não hoạt động dựa trên cơ
chế hoạt động song song của các nơ ron tạo nên nó.
1.3.1.2. Mạng nơron sinh học.
a/ Cấu tạo.
Nơ ron là phần tử cơ bản tạo nên bộ não con người. Sơ đồ cấu tạo của một
nơ ron sinh học được chỉ ra như trong hình 1.1. Một nơ ron điển hình có 3 phần
chính:
- Thân nơ ron (soma): Nhân của nơ ron được đặt ở đây.
- Các nhánh (dendrite): Đây chính là các mạng dạng cây của các dây thần
kinh để nối các soma với nhau.
- Sợi trục (Axon): Đây là một nối kết, hình trụ dài và mang các tín hiệu từ đó
ra ngoài. Phần cuối của axon được chia thành nhiều nhánh nhỏ. Mỗi nhánh nhỏ (cả
của dendrite và axon) kết thúc trong một cơ quan nhỏ hình củ hành được gọi là
synapte mà tại đây các nơ ron đưa các tín hiệu của nó vào các nơr on khác. Những
điểm tiếp nhận với các synapte trên các nơ ron khác có thể ở các dendrite hay chính
soma.
Nhánh
Khớp nối
Sợi trục
Hình1.1. Mô hình 2 nơ ron sinh học
Thân
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
20
b/ Hoạt động.
Các tín hiệu đưa ra bởi một synapte và được nhận bởi các dendrite là các
kích thích điện tử. Việc truyền tín hiệu như trên liên quan đến một quá trình hóa học
phức tạp mà trong đó các chất truyền đặc trưng được giải phóng từ phía gửi của nơi
tiếp nối. Điều này làm tăng hay giảm điện thế bên trong thân của nơ ron nhận. Nơ
ron nhận tín hiệu sẽ kích hoạt (fire) nếu điện thế vượt khỏi một ngưỡng nào đó và
một xung (hoặc điện thế hoạt động) với độ mạnh (cường độ) và thời gian tồn tại cố
định được gửi ra ngoài thông qua axon tới phần nhánh của nó rồi tới các chỗ nối
synapte với các nơ ron khác. Sau khi kích hoạt, nơ ron sẽ chờ trong một khoảng thời
gian được gọi là chu kỳ, trước khi nó có thể được kích hoạt lại. Synapses là hưng
phấn (excitatory) nếu chúng cho phép các kích thích truyền qua gây ra tình trạng
kích hoạt (fire) đối với nơ ron nhận. Ngược lại, chúng là ức chế (inhibitory) nếu các
kích thích truyền qua làm ngăn trở trạng thái kích hoạt (fire) của nơ ron nhận.
1.3.2. Mạng nơ ron nhân tạo.
1.3.2.1. Khái niệm.
Nơ ron nhân tạo là sự sao chép nơ ron sinh học của não người, nó có những
đặc tính sau:
- Mỗi nơ ron có một số đầu vào, những kết nối (Synaptic) và một đầu ra
(axon)
- Một nơ ron có thể hoạt động (+35mV) hoặc không hoạt động (-0,75mV)
- Chỉ có một đầu ra duy nhất của một nơ ron được nối với các đầu vào khác
nhau của nơ ron khác. Điều kiện để nơ ron được kích hoạt hay không kích hoạt chỉ
phụ thuộc những đầu vào hiện thời của chính nó.Thông thường một nơ ron có 3
phần như hình 1.2:
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
21
Trên mỗi đầu vào của nơ ron có gắn một trọng số để liên kết giữa nơ ron thứ i và nơ
ron thứ j. Các trọng số này tương tự như các tế bào cảm giác của mạng nơ ron sinh
học.
Tổng trọng: Vi(t) = neti(t) =
ik
N
j
M
k
j tuty
)(.W)(.W
1 1
ik
*
ij
(1.1)
Với Vi(t) là tổng trọng của nơ ron thứ i; yj(t) là các đầu ra của nơ ron thứ jvà
uk(t) là các đầu vào từ bên ngoài tương ứng với các trọng số Wij và W
*
ik; là hằng
số gọi là ngưỡng của nơ ron thứ i.
Hệ động học tuyến tính SISO: Đầu vào là vi đầu ra là xi. Ở dạng toán tử Laplace ta
có:
Xi(s)= H(s).Vi(s) (1.2)
Dạng thời gian của (1.2) có dạng (1.3)
t
ii dvthtx )()()(
(1.3)
vi
xi yi
Wij
Wi1
WiN
W
*
i1
W
*
ik
W
*
iM
Hệ
động
học
tuyến
tính
Hàm
động học
phi tuyến
a(.)
y1
yj
ym
u1
uk
uM
1
Hình 1.2. Mô hình nơ ron nhân tạo
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
22
Quan hệ của H(s) và h(t) và quan hệ vào – ra tương ứng của nơ ron được cho trong
bảng 1.1
H(s) 1
s
1
1
1
sT
sTe
h(t)
)(t
1(t)
T
t
e
T
1
)( Tt
xi(t) = wi(t) xi(t) = vi(t)
Txi(t) +xi(t) = vi(t) xi(t) = vi(t-T)
Bảng 1.1
Hàm động học phi tuyến: Mô tả mối quan hệ của đầu ra yi với đầu vào xi:
yi=a(xi) với a(.) là hàm chuyển đổi.
Hàm chuyển đổi: Để tìm được đầu ra của nơ ron ta phải tiến hành qua hai bước như
sau:
- Tìm các giá trị tổng trọng lượng đầu vào neti(t)
- Căn cứ vào neti(t) để tìm ra yi bằng các hàm chuyển đổi vào ra.
Hàm chuyển đổi a(.) thực hiện coi nơ ron như một hộp đen, chuyển đổi một
tín hiệu vào thành tín hiệu ra.Các dạng hàm chuyển đổi thường được sử dụng có
dạng như sau:
+ Hàm Rump (Rump Function) là hàm có biểu diễn toán học như (1.4):
(1.4)
Biểu diễn hình học của hàm Rump như hình vẽ 1.3.a
+ Hàm bước nhảy (Step Function) là hàm có biểu diễn toán học như (1.5):
(1.5)
1 nếu f > 1
a(f) = f nếu 0 f 1
0 nếu f < 0
1 nếu f 0
a(f) =
0 nếu f < 0
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
23
Biểu diễn hình học của hàm như hình vẽ 1.3.b
+ Hàm giới hạn cứng (Threshold Function) là hàm có biểu diễn toán học như (1.6):
(1.6)
Biểu diễn hình học của hàm như hình vẽ 1.3.c
+ Hàm sigmoid hai cực (Bipolar Sigmoid Function) là hàm có biểu diễn toán học
như (1.7): a(f) =
1
1
2
fe
(1.7)
Biểu diễn hình học của hàm như hình vẽ 1.3d
1.3.2.2. Phân loại mạng nơ ron.
Nelson và IIlingworth (1991) đã đưa ra mộy số loại cấu trúc của mạng nơ
ron như hình 1.4. Nơron được vẽ là các vòng tròn xem như một tế bào thần kinh,
chúng có các mối liên hệ đến các nơ ron khác nhờ các trọng số, lập thành các ma
trận trọng số tương ứng.
1 nếu f 0
a(f) =
-1 nếu f < 0
Hình 1.3.d Hàm Sigmoid hai cực
0
a
f 1
1
0
a
f
1
0
a
f
-1
1
Hình 1.3a. Hàm Rump Hình 1.3b. Hàm bước nhảy Hình 1.3b. Hàm giới hạn cứng
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
24
Mỗi một nơ ron có thể phối hợp với các nơ ron khác tạo thành một lớp các
trọng số. Mạng một lớp truyền thẳng (Single- Layer Feedforward Network) như
hình 1.4 a
Có thể nối vài lớp nơ ron với nhau tạo thành mạng nhiều lớp truyền thẳng
(Multi- Layer Feedforward Network) như hình 1.4.b
Hai loại mạng nơ ron một lớp và nhiều lớp được gọi là truyền thẳng nếu đầu
ra của mỗi nơ ron được nối với các đầu vào của các nơ ron của lớp trước đó.
Mạng nơ ron phản hồi là mạng mà đầu ra của mỗi nơ ron được quay trở lại
nối với đầu vào của các nơ ron cùng lớp được gọi là mạng Laeral như hình 1.4.c
Mạng nơ ron phản hồi có thể thực hiện đóng vòng được gọi là mạng nơ ron
hồi quy (Recurrent Network) như hình 1.4.d
Các nơ ron lớp vào trực tiếp nhận tín hiệu ở đầu vào, ở đó mỗi nơ ron chỉ có
một tín hiệu vào. Mỗi nơ ron ở lớp ẩn được nối với tất cả các nơ ron lớp vào và lớp
ra. Các nơ ron ở lớp ra có đầu vào được nối với tất cả các nơ ron ở lớp ẩn, chúng là
đầu ra của mạng. Cần chú ý rằng một mạng nơ ron cũng có thể có nhiều lớp ẩn. Các
mạng nơ ron trong mỗi nơ ron chỉ được liên hệ với tất cả các nơ ron ở lớp kế tiếp và
w11
wmm
y1
y2
ym
x1
x2
xm
Hình 1.4.a
y1
y2
ym
x1
x2
xm
Hình 1.4.b
Hình 1.4.c
y1
y2
ym
x1
x2
xm
w11
wmm
y1
y2
ym
x1
x2
xm
Hình 1.4.d
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
25
tất cả các mối liên kết chỉ được xây dựng từ trái sang phải được gọi là mạng nhiều
lớp truyền thẳng (perceptrons).
1.3.2.3. Các luật học.
Thông thường mạng nơ ron được điều chỉnh hoặc được huấn luyện để hướng
các đầu vào riêng biệt đến đích ở đầu ra. Cấu trúc huấn luyện mạng được chỉ ra trên
hình 1.5 Ở đây, hàm trọng của mạng được điều chỉnh trên cơ sở so sánh đầu ra với
đích mong muốn (taget) cho tới khi đầu ra mạng phù hợp với đích. Những cặp
vào/đích (input/taget) được dùng để giám sát cho sự huấn luyện mạng.
Để có được một số cặp vào/ra, ở đó mỗi giá trị vào được gửi đến mạng và giá
trị ra tương ứng được thực hiện bằng mạng là sự xem xét và so sánh với giá trị
mong muốn. Bình thường tồn tại một sai số bởi lẽ giá trị mong muốn không hoàn
toàn phù hợp với giá trị thực. Sau mỗi lần chạy, ta có tổng bình phương của tất cả
các sai số. Sai số này được sử dụng để xác định các hàm trọng mới.
Sau mỗi lần chạy, hàm trọng của mạng được sửa đổi với đặc tính tốt hơn
tương ứng với đặc tính mong muốn. Từng cặp giá trị vào/ra phải được kiểm tra và
trọng lượng được điều chỉnh một vài lần. Sự thay đổi các hàm trọng của mạng được
dừng lại nếu tổng các bình phương sai số nhỏ hơn một giá trị đặt trước hoặc đã chạy
đủ một số lần chạy xác định (trong trường hợp này mạng có thể không thoả mãn
yêu cầu đặt ra do sai lệch còn cao). Có hai kiểu học:
- Học thông số (Paramater Learning): Tìm ra biểu thức cập nhật các thông số
về trọng số, cập nhật kết nối giữa các nơ ron.
Đích
So sánh
Hàm trọng (weights)
giữa các nơ ron
Vào
Điều chỉnh
Hình 1.5. Cấu trúc huấn luyện mạng nơ ron
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
26
- Học cấu trúc (Structure Learning): Trọng tâm là sự biến đổi cấu trúc của
mạng nơ ron gồm số lượng nút (node) và các mẫu liên kết
Nhiệm vụ của việc học thông số là bằng cách nào đó, tìm được ma trận chính
xác mong muốn từ ma trận giả thiết ban đầu với cấu trúc của mạng nơ ron có sẵn.
Để làm được việc đó, mạng nơ ron sử dụng các trọng số điều chỉnh, với
nhiều phương pháp học khác nhau có thể tính toán gần đúng ma trận W cần tìm đặc
trưng cho mạng.Có ba phương pháp học:
- Học có giám sát ( Supervised Learning).
Là quá trình học ở mỗi thời điểm thứ i khi đưa tín hiệu xi vào mạng nơ ron,
tương ứng sẽ có các đáp ứng mong muốn di của đầu ra cho trước ở thời điểm đó.
Hay nói cách khác, trong quá trình học có giám sát, mạng nơ ron được cung cấp
liên tục các cặp số liệu mong muốn vào –ra ở từng thời điểm (x1 ,d1), (x2, d2),… (xk,
d
k),…khi cho tín hiệu vào thực là xk sẽ tương ứng có tín hiệu đầu ra cũng được lặp
lại là dk giống như mong muốn. Kết quả của quá trình học có giám sát là tạo được
một hộp đen có đầu vào là véc tơ tín hiệu vào X sẽ đưa ra được câu trả lời đúng d.
Để đạt được kết quả mong muốn trên, khi đưa vào tín hiệu xk, thông thường
sẽ có sai lệch ek giữa tín hiệu đầu
ra thực yk với tín hiệu đầu ra
mong muốn dk. Sai lệch đó sẽ
được truyền ngược tới đầu vào
để điều chỉnh thông số mạng nơ
ron là ma trận trọng số W…Quá
trình cứ thế tiếp diễn sao cho sai
lệch giữa tín hiệu ra mong muốn và tín hiệu ra thực tế nằm trong phạm vi cho
phép, kết quả nhận được ma trận trọng số với các phần tử wij đã được điều chỉnh
phù hợp với đặc điểm của đối tượng hay hàm số mạng nơ ron cần học. Mô hình
học có giám sát được minh hoạ như hình 1.6
Mạng
nơron
Máy tính
phát hiện
sai
x y
d
e
Hình 1.6.Mô hình học có giám sát và học củng cố
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
27
- Học củng cố:(Reinforcement Learning).
Là phương pháp học trong đó tín hiệu d được đưa từ bên ngoài nhưng không
được đầy đủ mà có thể chỉ đưa đại diện 1 bít để có tính chất kiểm tra quá trình
đúng hay sai. Tín hiệu đó được gọi là tín hiệu củng cố (Reinforcement Signal).
Phương pháp học củng cố chỉ là một phương pháp học riêng của phương pháp học
có giám sát, bởi vì nó cũng nhận tín hiệu chỉ đạo từ bên ngoài. Chỉ khác là tín hiệu
củng cố có tính ước lượng hơn là để dạy. Tín hiệu giám sát bên ngoài d thường
được tiến hành bởi các tín hiệu ước lượng để tạo thông tin ước lượng cho mạng nơ
ron điều chỉnh trọng số với hy vọng sự ước lượng đó mang lại sự chính xác trong
quá trình tính toán. Mô hình học củng cố được minh hoạ như hình 1.6
- Học không có giám sát (Unsupervied Learning).
Trong trường hợp này, hoàn toàn không có tín hiệu ở bên ngoài. Giá trị mục
tiêu điều khiển không được cung cấp và không được tăng cường. Mạng phải khám
phá các mẫu, các nét đặc trưng, tính cân đối, tính tương quan… Trong khi khám phá
các đặc trưng khác, mạng nơ ron đã chải
qua việc tự thay đổi thông số, vấn đề đó
được gọi tự tổ chức (Self- Organizing).
Mô hình học không có giám sát được
minh hoạ như hình 1.17
Cấu trúc chung của quá trình học được mô tả như hình 1.20.
wij
wim-1=
wi1
x(t)
r
y
Máy phát tín
hiệu học
Nơ ron thứ i
x1
x1
xj
xm-1
xm= -1
d
wi
Hình 1.8. Sơ đồ cấu trúc chung của quá trình học
x y
Hình1.7.Mô hình học không có giám sát
Mạng
nơron
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
28
Trong đó tín hiệu vào xj, j=1,2,3…,m, có thể được lấy từ đầu ra của các nơ ron khác
hoặc có thể được lấy từ bên ngoài. Tín hiệu mong muốn di có sẵn chỉ có trong
phương pháp học có giám sát hoặc củng cố. Từ hai phương pháp học trên, trọng số
của nơ ron thứ i được thay đổi tuỳ theo tín hiệu ở đầu vào mà nó thu nhận và giá trị
đầu ra của nó. Trong phương pháp học không có giám sát sự thay đổi của trọng số
chỉ dựa trên cơ sở các giá trị đầu vào và đầu ra. Dạng tổng quát của luật học trọng
số của mạng nơ ron là cho biết gia số của véc tơ wi là wi tỷ lệ với tín hiệu học r và
tín hiệu đầu vào x(t):
wi(t) = .r.x(t) (1.8)
: Là hằng số học, xác định tốc độ học và là một số dương
r: Là tín hiệu học r = fr(wi,x,d
i
) (1.9)
Biểu thức (1.8) là biểu thức chung để tính số gia của trọng số, ta thấy trọng số
wi = (wi1, wi2, …, wim)
T
có gia số tỷ lệ với tín hiệu vào x và tín hiệu học r. Từ các
biểu thức trên ta có véc tơ trọng số ở thời điểm (t+1) được tính là:
w i(t+1) = wi(t) + .fr{wi (t), x(t), d
i
(t)}.x(t) (1.10)
Vấn đề quan trọng trong việc phân biệt luật học cập nhật trọng số có giám
sát hay không có giám sát là tín hiệu học r như thế nào để thay đổi hoặc cập nhật
trọng số có trong mạng nơ ron.
Có 2 phương pháp cơ bản để huấn luyện mạng nơ ron: Huấn luyện gia tăng
(tiến dần) và huấn luyện theo gói. Sự huấn luyện theo gói của mạng nhận được bằng
việc thay đổi hàm trọng và độ dốc trong một tập (batch) của véc tơ đầu vào. Huấn
luyện tiến dần là thay đổi hàm trọng và độ dốc của mạng sau mỗi lần xuất hiện của
một phần tử véc tơ đầu vào. Huấn luyện tiến dần đôi khi được xem như huấn luyện
trực tuyến hay huấn luyện thích nghi.
Mạng nơ ron đã được huấn luyện để thực hiện những hàm phức tạp trong
nhiều lĩnh vực ứng dụng khác nhau như trong nhận dạng, phân loại sản phẩm, xử lý
tiếng nói, chữ viết và điều khiển hệ thống.
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
29
Thông thường để huấn luyện mạng nơron, người ta sử dụng phương pháp
huấn luyện có giám sát, nhưng cũng có mạng thu được từ sự huấn luyện không có
giám sát. Mạng huấn luỵện không giám sát có thể được sử dụng trong trường hợp
riêng để xác định nhóm dữ liệu.
1.3.3. Mô hình toán học mạng nơ ron truyền thẳng và mạng nơ ron hồi quy.
1.3.3.1.Mạng nơ ron truyền thẳng.
a/ Mạng nơ ron một lớp.
Một cấu trúc toán học mạng 1 lớp với
R đầu vào và S nơ ron được chỉ ra trên hình
1.9.
Trong đó:
-Véc tơ vào P có R phần tử PT = [p1 p2 … pR]
-Véc tơ vào n có S phần tử nT = [n1 n2 … nS]
-Véc tơ ra a có S phần tử aT = [a1 a2 … aS]
Trong mạng này mỗi phần tử của véc tơ vào P liên hệ với đầu vào mỗi nơ ron thông
qua ma trận trọng lượng liên kết W. Bộ cộng của nơ ron thứ i thu thập các trọng
liên kết đầu vào và độ dốc để tạo thành một đầu ra vô hướng ni. Các ni tập hợp với
nhau tạo thành s phần tử của véc tơ vào n. Cuối cùng ở lớp ra nơ ron ta thu được
véc tơ a gồm s phần tử.
Ta có thể thiết lập lớp đơn của các nơ ron có các hàm chuyển khác nhau một
cách dễ dàng bởi lẽ hai mạng được đặt song song. Tất cả các mạng có thể có chung
đầu vào và mỗi mạng có thể thiết lập một vài đầu ra.
Các phần tử của véc tơ đầu vào được đưa vào mạng thông qua ma trận trọng
W, với:
.
.
.
a = f(WP+b) (1.11)
Hình1.9.Cấu trúc mạng nơ ron 1 lớp
p1
w1,1
1
f
n1 a1
b1
p2
p3
pR
wS,R
1
f
n2 a2
b2
1
f
nS aS
bS
Vào Các nơron
.
.
.
.
.
.
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
30
W
SR2S1S
R22221
R11211
www
www
www
(1.12)
Trong đó: Chỉ số hàng trong các phần tử của ma trận W cho biết nơ ron nơi
đến còn chỉ số cột cho biết nơi xuất phát của trọng liên kết. Ví dụ: w12 nói lên sự có
mặt của tín hiệu vào từ phần tử thứ hai đến nơ ron thứ nhất với trong liên kết là w12.
Để đơn giản ta ký hiệu mạng một
lớp gồm S nơ ron, R đầu vào như hình
vẽ 1.10.
Trong đó: véc tơ vào P có kích
thước R, ma trận trọng liên kết W có
kích thước S x R còn a và b là các véc
tơ có kích thước S. Như chúng ta đã
biết, một lớp mạng bao gồm ma trận
trọng liên kết, toán tử nhân, véc tơ độ
dốc b, bộ tổng và hàm truyền.
b/. Mạng nơron nhiều lớp.
Để khảo sát mạng nhiều lớp trước hết chúng ta cần đưa ra các ký hiệu qui
ước cho một lớp mạng. Đặc biệt ta cần phải phân biệt sự khác nhau giữa ma trận
trọng lượng liên kết ở đầu vào và các ma trận trọng liên kết giữa các lớp.
Ta gọi ma trận trọng lượng liên kết nối với đầu vào là các trọng vào (input
weights) và các ma trận đến từ lớp ra là trọng liên kết lớp (layer weights). Ta sẽ
dùng các chỉ số viết bên trên để phân biệt nguồn (chỉ số thứ hai) và đích (chỉ số thứ
nhất) cho các trọng liên kết và các phần tử khác của mạng.
Để minh hoạ, ta xét một lớp mạng có nhiều đầu vào như hình 1.11. Trong đó
R là số phần tử lớp vào và S1 là số nơron của lớp 1. Ta thấy ma trận trọng liên kết
với véc tơ vào P là ma trận trọng vào (IW1,1) có nguồn là 1 (chỉ số thứ 2) và đích là
P
Hình 1.10. Ký hiệu mạng một lớp
R đầu vào và S nơ ron
a = f(WP+b) (1.13)
f
n
W
1
R
b
+
Sx1
a
Sx1
Sx1
SxR
Vào Nơ ron
Rx1
S
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
31
1 (chỉ số thứ nhất). Đồng thời
các phần tử của 1 lớp như độ
dốc, tín hiệu vào hàm chuyển,
đầu ra có chỉ số viết trên là 1 để
nói rằng chúng được liên kết với
lớp thứ nhất (b1, n1, a1).
Một mạng nơ ron có thể
có một vài lớp. Mỗi lớp có ma
trận trọng liên kết W, véc tơ độ
dốc b và đầu ra a. Để phân biệt các ma trận trọng liên kết véc tơ vào cho mỗi lớp
mạng trong sơ đồ, ta thêm con số chỉ lớp viết ở phía trên cho biến số quan tâm.
Hình 1.12 là ký hiệu sơ đồ mạng 3 lớp. Trong đó có R1 đầu vào, S1 nơ ron ở
lớp 1, S2 nơron ở lớp 2 … Thông thường, các lớp khác nhau có số nơ ron khác
nhau.
Chú ý rằng đầu ra của mỗi lớp trung gian là đầu vào của lớp tiếp theo. Như
vậy lớp 2 có thể được xem như mạng 1 lớp với S1 đầu vào, S2 nơ ron và S2 x S1
trọng liên kết của ma trận W2. Đầu vào của lớp 2 là véc tơ a1, đầu ra là véc tơ a2.
Các lớp của mạng nhiều lớp đóng vai trò khác nhau. Lớp cuối cùng là kết quả ở đầu
ra của mạng, được gọi là lớp ra. Lớp đầu tiên thu thập tín hiệu vào được gọi là lớp
vào, các lớp khác được gọi là lớp ẩn. Mạng 3 lớp ở trên có 1lớp ra (lớp3) có 1lớp
vào (lớp1) và 1lớp ẩn (lớp 2).
Đối với mạng 3 lớp ta cũng có thể sử dụng ký hiệu tắt để biểu diễn (hình 1.13).
Mạng nhiều lớp rất mạnh, ví dụ có mạng 2 lớp, trong đó lớp 1 có hàm chuyển
sigmoid, lớp 2 có hàm chuyển linear có thể được huấn luyện để làm xấp xỉ một
hàm bất kỳ (với số điểm gián đoạn có hạn chế).
Trong đó a3 là đầu ra của mạng, ta ký hiệu đầu ra này là y. Ta sẽ sử dụng ký
hiệu này để định rõ đầu ra của mạng nhiều lớp.
P
a
1
= f
1
(W
1,1
P+b
1
) (1.14)
f
1
n
1
1
R
+
S
1
x1
a
1
S
1
x1
S
1
x1
S
1
xR
Vào Lớp 1
Rx1
S
1
W
1,1
Hình 1.11: Ký hiệu một lớp mạng
b
1
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
32
1.3.3.2.Mạng nơ ron hồi quy.
Mạng hồi quy còn được gọi là mạng phản hồi là loại mạng tự liên kết thành
các vòng và liên kết hồi quy giữa các nơ ron. Mạng nơ ron hồi quy có trọng số liên
kết đối xứng như mạng Hopfield luôn hội tụ về trạng thái ổn định. Mạng liên kết hai
chiều (BAM) là mạng thuộc nhóm mạng nơ ron hồi quy hai lớp nơ ron liên kết tay
đôi, trong đó đảm bảo nơ ron của cùng một lớp không liên kết với nhau, cũng hội tụ
về trạng thái ổn định. Nghiên cứu mạng nơ ron hồi quy có trọng số liên kết không
……………………………………………………………………………………….
b
2
S
1
2,3
1,1lw
Hình 1.12. Cấu trúc mạng nơ ron 3 lớp
a
1
= f
1
(W
1,1
P+b
1
)
f
1 n
1
1
b
1
1
1
f
1
n
1
2
b
1
2
1
f
1
n
1
S
b
1
S
p1
1
p2
p3
pR
Vào Lớp 1(lớp vào)
a
2
= f
2
(W
2,1
a
1
+b
2
)
f
2
n
2
1 a
2
1
b
2
1
1
f
2 n
2
2
a
2
2
b
2
2
1
f
2
n
2
S
a
2
S
Lớp 2 (lớp ẩn)
a
3
= f
3
(W
3,2
a
2
+b
3
) (1.15)
1
n
3
1
b
3
1
1
n
3
2
b
3
2
1
n
3
S
b
3
S
f
3
a
3
1
f
3
a
3
2
f
3
a
3
S
Lớp 3 (lớp ra)
a
1
1
a
1
2
a
1
S
1,2
S,S 12
lw
2,3
S,S 23
lw
1,1 R,Siw
1,1
1,1iw
S1xR
S2x1
Rx1 S
2
x1
a
1
a
2 a
3
= y P
Hình 1.13. Ký hiệu tắt của mạng nơ ron 3 lớp
1
R S1
a
1
= f
1
(IW
1,1
P+b
1
)
n1
b1
+
S
1
x1
S
1
x1
Vào Lớp 1
S
2
a
2
= f
2
(LW
2,1
a
1
+b
2
)
f2
n2
b2
+
S
2
x1
S
2
xS
1
Lớp 2
LW
2,1
1
f1
S
3
a
3
= f
3
(LW
3,2
a
2
+b
3
)
f3
n3
b3
+
S3x1
S
3
x1
S
3
xS
2
Lớp 3
LW
3,2
S
3
x1
1
a
3
= f
3
[LW
3,2
f
2
(LW
2,1
f
1
(IW
1,1
P+b
1
)+b
2
]+b
3
= y (1.16)
IW
1,1
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
33
đối xứng sẽ gặp nhiều phức tạp hơn so với mạng truyền thẳng và mạng hồi quy đối
xứng. Mạng nơ ron hồi quy có khả năng về nhận mẫu, nhận dạng các hàm phi
tuyến, dự báo … Một ưu điểm khác của mạng nơ ron hồi quy là chỉ cần mạng nhỏ
hơn về cấu trúc cũng có khả năng như mạng truyền thẳng có cấu trúc lớp hơn.
a/ Mạng nơ ron hồi quy không hoàn toàn (Partially Recrrent Networks).
Là mạng đó dựa trên cơ sở mạng lan truyền ngược vì cấu trúc hồi quy. Cấu
trúc của mạng hồi quy không hoàn toàn phần lớn là cấu trúc truyền thẳng nhưng có
cả sự lựa chọn cho một bộ phận có cấu trúc hồi quy.Trong nhiều trường hợp, trọng
số của cấu trúc hồi quy được duy trì không đổi, như vậy luật học truyền ngược có
thể dễ dàng được sử dụng. Trong các mạng loại này, sự truyền thẳng được xảy ra rất
nhanh hoặc không phụ thuộc vào thời gian, trong khi đó tín hiệu hồi quy được thực
hiện có tính thời gian. Mạng có thể nhận mẫu dãy dựa vào tình trạng cuối cùng của
dãy và có thể dự báo tiếp theo cho tín hiệu của dãy theo thời gian. Như vậy, mạng
hồi quy không hoàn toàn về cơ bản là mạng tryền thẳng , liên kết hồi quy có thể đi
từ các nút ở các lớp ra hoặc lớp ẩn.
b/ Mạng nơ ron hồi quy hoàn toàn (Fully Recrrent Networks).
Là một trong những
loại mạng nơ ron hồi quy đầu
tiên được Gossberg xây dựng
để học và biểu diễn các mẫu
bất kỳ loại mạng này được
xây dựng theo mẫu Instar-
Outstar. Loại mạng hồi quy
hoàn toàn có tác dụng nhận số
lượng mẫu nhiều nhơn. Với mạng hồi quy hoàn toàn đã hình thành quan điểm thực
hiện và luyện mạng hồi quy từ mạng truyền thẳng nhiều lớp được xây dựng từ một
lớp cho mỗi bước tính. Khái niệm này được gọi là lan truyền ngược theo thời gian
phù hợp khi quan tâm đến các dãy với độ lớn T là nhỏ. Nó đã được sử dụng học
P
f
1
n
1
1
R
+
S
1
x1
a
1
S
1
x1
S
1
x1
S
1
xR
Vào Lớp 1
Rx1
S
1
W
1,1
Hình 1.14. Ký hiệu một lớp mạng hồi quy
b
1
Wph
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
34
cho máy ghi cho nhiệm vụ thực hiện các dãy. Nó có khả năng áp dụng cho điều
khiển thích nghi. Hình 1.14 là mạng nơ ron một lớp hồi quy. Hình 1.15 là mạng nơ
ron nhiều lớp hồi quy
1.4.QUÁ TRÌNH HUẤN LUYỆN MẠNG NHIỀU LỚP.
Chúng ta đã biết, mạng nơ ron nhiều lớp có thể xấp xỉ gần đúng một hàm bất
kỳ, tiếp đó là thủ tục tính chọn các thông số của mạng (các hàm trọng lượng và độ
dốc) cho một đối tượng cụ thể được gọi là quá trình huấn luyện mạng. Trong phần
này chúng ta sẽ chỉ ra một phương pháp huấn luyện là phương pháp lan truyền
ngược. Kỹ thuật cơ bản của phương pháp lan truyền ngược là cập nhật trọng số theo
hướng giảm độ dốc.
Như đã nêu, mạng nhiều lớp có đầu ra của lớp trước là đầu vào của lớp tiếp
theo. Sơ đồ cấu trúc được cho như hình vẽ 1.13.
Biểu thức toán học mô tả sự hoạt động như (1.17):
a
m+1
= f
m+1
(w
m+1
.a
m
+ b
m+1
). Với m = 0,1,2,…M-1. (1.17)
Trong đó M là số lớp nơ ron trong mạng. Các nơ ron của lớp thứ nhất nhận
tín hiệu đầu vào từ bên ngoài: a0 = p (1.18)
Đầu ra của các nơ ron ở lớp cuối cùng của mạng được coi là đầu ra của mạng:
y = a
m
(1.19)
1.4.1.Quá trình thực hiện.
S1xR
S2x1
Rx1 S
2
x1
a
1
a
2 a
3
= y P
Hình 1.15. Ký hiệu tắt của mạng nơron 3 lớp hồi quy
1
R S1
n1
b1
+
S
1
x1
S
1
x1
Vào Lớp 1
S
2
f2
n2
b2
+
S
2
x1
S
2
xS
1
Lớp 2
LW
2,1
1
f1
S
3
f3
n3
b3
+
S3x1
S
3
x1
S
3
xS
2
Lớp 3
LW
3,2
S
3
x1
1
IW
1,1
Wph
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
35
Thuật toán lan truyền ngược của mạng nhiều lớp là một phương pháp làm
giảm độ dốc. Phương pháp này được dùng để cập nhật những thông số sao cho giảm
thiểu sai số của mô hình. Sai số được đo bằng phương pháp trung bình bình phương
sai lệch. Tập hợp mẫu vào ra được cho dưới dạng như (1.20):
(1.20)
Trong đó pq là một đầu vào của mạng, và tq tương ứng là một đầu ra. Mỗi
một đầu vào tác động vào mạng sẽ có một đầu ra thực được so sánh với đáp ứng
mẫu. Hàm thông số của mạng được xác định theo biểu thức tổng bình phương sai
lệch cực tiểu như (1.21):
F(x) =
2
11
2
)( q
Q
q
q
Q
q
q ate
(1.21)
Trong đó x là véc tơ bao gồm cả trọng số liên kết và độ dốc của mạng. Nếu
mạng có nhiều đầu ra thì biểu thức tổng quát được tính như (1.22):
F(x) =
)()(
11
qq
T
q
Q
q
q
Q
q
q
T
q atatee
(1.22)
Sử dụng phương pháp xấp xỉ quen thuộc, chúng ta sẽ thay thế tổng bình
phương sai lệch bằng sai lệch của đáp ứng hiện tại:
)}()({)}()({)( kaktkaktxF T
(1.23)
Trong đó bình phương sai lệch mong muốn đã được thay thế bằng bình
phương sai lệch tại thời điểm k.
Thuật toán giảm độ dốc theo phương pháp xấp xỉ bình phương sai lệch là:
m
ji
m
ji
m
ji
w
F
kwkw
,
,, )()1(
(1.24)
m
i
m
i
m
i
b
F
kbkb
)()1(
(1.25)
Trong đó là tốc độ học.
1.4.2.Qui tắc chuỗi.
p1,t1
p2,t2
pQ,tQ …
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
36
Với mạng một lớp tuyến tính thì các thành phần đạo hàm trong công thức
(1.24) và (1.25) được tính dễ dàng và tiện lợi, từ đó sai lệch có thể được viết như
một hàm tuyến tính của các trọng số.
Với mạng nhiều lớp, sai lệch là hàm ẩn của các hàm trọng lượng ở các lớp
ẩn, vì thế các phép đạo hàm sẽ tính khó khăn. Bởi vì sai lệch là hàm ẩn của các
trọng số ở các lớp ẩn nên chúng ta sẽ sử dụng qui tắc chuỗi toán học để tính đạo
hàm riêng trong các biểu thức (1.24) và (1.25)
m
ji
m
i
m
ji wn
F
w
F
,
m
i
,
n
x
(1.26)
m
i
m
i
m
i bn
F
b
F
m
inx
(1.27)
Số hạng thứ hai trong mỗi công thức có thể được tính dễ dàng vì đầu vào lớp
mạng thứ m là hàm hiện của trọng số và độ dốc của lớp ấy:
m
i
m
j
S
j
m
ji
m
i bawn
m
.
1
,
(1.28)
Do đó:
1;
,
m
i
m
im
jm
ji
m
i
b
n
a
w
n (1.29)
Nếu chúng ta định nghĩa:
m
i
m
i
n
F
S
(1.30)
thì công thức (1.26) và (1.27) có thể được đơn giản hoá như (1.31), (1.32):
1
,
.
m
j
m
im
ji
as
w
F (1.31)
m
im
i
s
b
F
(1.32)
Đến đây chúng ta có thể biểu diễn thuật toán xấp xỉ để giảm độ dốc như
(1.33), (1.34):
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
37
)1(, kw
m
ji
1
, .)(
mj
m
i
m
ji aSkw
(1.33)
m
i
m
i
m
i Skbkb )()1(
(1.34)
Khi đó ta có ma trận dạng (1.35), (1.36):
W
m
(k+1) = W
m
(k) - Sm.( am-1)T (1.35)
B
m
(k+1) = b
m
(k) - Sm (1.36)
Trong đó các phần tử riêng của S được tính theo công thức (1.32)
1.4.3. Độ chính xác của thuật toán lan truyền ngược.
Việc còn lại bây giờ là chúng ta tính toán độ chính xác Sm, nó cần đến các
ứng dụng khác của qui tắc chuỗi. Đó là quá trình chúng ta cho số hạng lan truyền
ngược, bởi vì nó diễn tả mối liên hệ phản hồi và độ chính xác ở lớp m được tính từ
độ chính xác của lớp m+1:
S
m
= - 2.Ḟm (nm). (t-a) (1.37)
S
m
= Ḟm (nm). (wm+1)T.Sm+1 .
m = M-1… 2,1 (1.38)
Trong đó mF (n
m
) có dạng như (1.39).
)(....................00
0)........(0
0..................0)(
)( 2
1
m
s
m
m
m
m
m
m
m
nf
nf
nf
nF
(1.39)
1.4.4.Biến thể của thuật toán lan truyền ngược.
Trong một số trường hợp sẽ là không thích hợp với thuật toán mà chúng ta
thường quy vào như lan truyền ngược cho bởi biểu thức (1.35) và (1.36). Trên thực
tế, thường là thuật toán giảm độ dốc nhất. Ở đây có nhiều thuật toán khả quan sử
dụng các biến thể của giải thuật lan truyền ngược, trong đó các đạo hàm được xử lý
từ lớp cối cùng đến lớp đầu tiên của mạng được tính theo công thức (1.37),(1.38).
Ví dụ: Kết hợp giữa độ dốc và thuật toán Newton ([Shan 90], [Scanl 185],
[Char 92]) thông thường cho độ chính xác hơn giải thuật giảm độ dốc nhất. Ngày
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
38
nay, khi cần thiết người ta có thể sử dụng giải thuật tương tự như lan truyền ngược
để tính toán các đạo hàm riêng.
Thuật toán Levenberg- Marqanrdt rất chính xác cho việc huấn luyện mạng cỡ
nhỏ và trung bình và nó được sử dụng một thuật toán tương tự với thuật toán lan
truyền ngược được cho bởi biểu thức (1.38). Để hiểu rõ các thuật toán trên, chúng ta
sẽ phân tích trong phần sử dụng thuật toán lan truyền ngược, đó là các phép tính đạo
hàm được xử lý từ lớp cuối cùng đến lớp đầu tiên. Đó chính là lý do để người ta gọi
là thuật toán lan truyền ngược. Một sự khác biệt của thuật toán là kết quả của các
phép đạo hàm được sử dụng để cập nhật các trọng số.
1.4.5.Tổng quát (Phép nội suy và ngoại suy).
Chúng ta đã biết mạng nhiều lớp có khả năng làm xấp xỉ gần đúng các hàm
bất kỳ, nhưng chúng ta chưa đề cập đến vấn đề tính chọn số nơ ron và số lớp cần
thiết để đạt được một độ chính xác nhất định nào đó, chúng ta chưa đề cập đến vấn
đề huấn luyện theo dữ liệu mẫu phải được chọn như thế nào. Môt bí quyết xác định
đủ số lượng nơ ron để đạt được mức độ phức tạp của hàm biên mà không cần quan
tâm đến quá trình huấn luyện dữ liệu đó là trong trường hợp không cập nhật trạng
thái mới. Nếu không, chúng ta cần phải có đủ quá trình huấn luyện dữ liệu để mô tả
tương xứng hàm biên. Để minh hoạ cho việc chúng ta có thể huấn luyện mạng, ta
xét ví dụ tổng quát dưới đây.Quá trình huấn luyện mạng được khái quát hoá theo
biểu thức (1.40):
tq = g(pq) + eq (1.40)
Trong đó pq là tập hợp các đầu vào; g( ) là hàm biên mà chúng ta muốn xấp
xỉ gần đúng; eq là sai số đo của nhiễu và tq là tập hợp các đầu ra (đáp ứng của
mạng).
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
39
Trên hình vẽ cho biết : Hàm biên g( ) (có nét đậm), Giá trị đích của quá trình học là
tq (các vòng tròn ), đáp ứng đầu ra thực tương ứng vớp các đầu vào là aq (vòng tròn
nhỏ có gạch chéo bên trong) và đáp ứng toàn bộ của quá trình huấn luyện là đường
nét mảnh.
Trong ví dụ trên hình vẽ 1.16a, đó là quá trình huấn luyện cho một mạng cỡ
lớn sử dụng phương pháp bình phương sai lệch cực tiểu. Quá trình học dựa trên 15
mẫu cho trước, chúng ta có thể thấy được độ chính xác với giá trị đích tại mỗi điểm
trong quá trình học. Tuy nhiên, đáp ứng toàn bộ của mạng lại không có khả năng
đạt được tới đường biên. Điều đó có 2 nguyên nhân chủ yếu là:
Thứ nhất do mạng có lượng quá điều chỉnh trong quá trình huấn luyện, đáp
ứng của mạng quá phức tạp vì mạng có nhiều thông số độc lập.
Vấn đề thứ hai ở đây là trong quá trình huấn luyện không nhận giá trị p< 0,
nên các nơ ron( bao gồm cả dữ lệu cơ sở và các phương pháp xấp xỉ ) không thể đáp
ứng được yêu cầu ngoại suy chính xác.
Nếu một đầu vào mạng mà nằm ngoài phạm vi bao phủ của dữ liệu huấn
luyện thì đáp ứng của mạng sẽ luôn bị sai.
Rất ít khi chúng ta làm cho mạng biển diễn ra ngoài phạm vi của dữ liệu học,
chúng ta có thể làm cho mạng có khả năng nội suy giữa các điểm dữ liệu. Quá trình
Hình 1.16a.
Đáp ứng của mạng khi sử dụng thuật
toán bình phương sai lệch cực tiểu
Hình 1.16b.
Đáp ứng của mạng khi sử dụng thuật
toán Bayesian
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
40
khái quát hoá có thể đạt được sự đa dạng của các phương pháp kỹ thuật. Một
phương pháp được gọi là sự dừng sớm, nhiệm vụ của chúng ta là phân chia dữ liệu
huấn luyện theo biến dữ liệu đặt. Sự biểu diễn mạng dựa trên biến đặt sẽ được chỉ
đạo trong suốt quá trình học. Trong giai đoạn đầu của quá trình huấn luyện thì biến
sai lệch giảm, khi bắt đầu có lượng quá điều chỉnh thì biến sai lệch cũng bắt đầu
tăng và tại các điểm quá trình huấn luyện được dừng lại.
Thêm một phương pháp kỹ thuật nữa làm cho mạng tổng quát hoá được gọi
là sự làm đúng theo quy tắc. Với phương pháp biểu diễn chỉ số so sánh làm thay đổi
đến số hạng đem đến sự phức tạp cho mạng, số hạng bất lợi đó là tổng bình phương
của các hàm trọng lượng:
F(x)=
2
,
1
)( k ji
Q
q
q
T
q wee
(1.41)
Một bí quyết của phương pháp trên là sự lựa chọn đúng thông số ρ. Nếu giá
trị của nó lớn thì đáp ứng của mạng sẽ bằng phẳng và sẽ xấp xỉ không chính xác
được hàm biên. Nếu giá trị của ρ quá nhỏ thì mạng có sự quá điều chỉnh. Một trong
các phương pháp thành công nhất trong việc lựa chọn ρ tốt nhất là quy tắc Bayesian
([Mack 92] và [FoHa 97]).
Trên hình 1.16b. cho thấy đáp ứng của mạng khi mạng được huấn luyện theo
quy tắc Bayesian. Chú ý rằng đáp ứng của mạng có độ chính xác phù hợp không dài
hơn các điểm dữ liệu huấn luyện. Nhưng nhìn chung đặc tính đầu ra của mạng lại
sát vào nhau hơn so với hàm biên trong phạm vi của dữ liệu huấn luyện.
Tuy nhiên, với quy tắc Bayesian đáp ứng của mạng không tính toán được
ngoài phạm vi dữ liệu huấn luyện. Như chúng ta đã đề cập trước đây là chúng ta
không thể đòi hỏi mạng tính toán ngoại suy. Nếu chúng ta muốn đáp ứng của mạng
chính xác từ đầu đến cuối thì ta cần phải cung cấp dữ liệu huấn luyện trong suốt
phạm vi đó. Điều đó sẽ khó khăn hơn đối với trường hợp mạng có nhiều đầu vào.
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
41
1.5. CÔNG NGHỆ PHẦN CỨNG SỬ DỤNG MẠNG NƠ RON.
Mạng nơ ron nhân tạo được dùng để xây dựng các chip mang lại nhiều lợi
ích với bản chất cấu trúc phân bố song song của sự gia công thông tin như các nơ
ron sinh học. Chíp nơ ron có thể được sử dụng làm các bộ đồng xử lý trong các máy
tính thông thường và trong việc tính toán.
Trong phần cứng, mạng nơ ron có thể sử dụng vào nhiều lĩnh vực. Mạng nơ
ron có thể sử dụng với các chức năng như các phần tử analog hoặc digital thay thế
cho các phần tử điện tử thông thường. Các chíp analog có một tiềm năng to lớn về
sử lý tốc độ cao và kinh tế hơn chip digital cùng loại, các chip digital cũng có ưu
điểm là có độ chính xác cao và dễ chế tạo hơn.
Ở phần tử analog, các trọng số liên kết mã hoá được với các phần tử điện trở,
điện cảm và điện dung. Các mức của các nút hoạt hoá (cường độ của tín hiệu) được
đặc trưng bằng các đại lượng dòng và áp.Ví dụ như lưới silic (Silicon Retina) là một
mạng chip analog có thể cạnh tranh được với lưới sinh học (Biologcal Retina)
Công nghệ digital có thể áp dụng để chế tạo các chip nơ ron. Vấn đề này
được Hammestrom và Means (1990) đề cập đến. Khả năng khác là xung học là đặc
trưng cho trọng số và cường độ tín hiệu. Xung học phản ánh tương ứng với tần suất
hoặc khả năng của nơ ron hoạt hoá, tái tạo điều biến quan sát được như của mạng
nơ ron sinh học. Phép nhân của 2 xung học tương ứng với phép AND trong mạch
logic, phép cộng của 2 xung học tương ứng với phép OR trong mạch logic.
Trong hướng của thuật học, có một vài chọn lọc, các trọng số trong một chip
nơ ron cần cố định trước như ROM(Read Only Memory), bộ nhớ có thể chương
trình hoá PROM (Programmable ROM), bộ nhớ có thể xoá và lập trình được
EPROM(Erasable PROM), hoặc bộ nhớ đọc / ghi RAM (Random Access Memory).
Mạng nơ ron mở ra một hướng quan trọng về công nghệ, với ưu thế nổi bật
của mạng nơ ron là khả năng truyền tín hiệu song song ở các chip nơ ron do đó tốc
độ truyền tín hiệu rất cao, đặc trưng này không có ở các chip điện tử truyền thống.
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
42
1.6. SO SÁNH KHẢ NĂNG CỦA MẠNG NƠ RON VỚI MẠCH LOGIC.
- Mạng nơ ron dùng ở các dạng mức (0,1), (-1,1) ở dạng liên tục như hàm
chuyển đổi sigmoid và dạng phi tuyến. Do đó phần tử logic chỉ là một trường hợp
riêng của mạng nơ ron
- Khả năng lập trình được của mạng nơ ron là rất tốt, thay vì phương pháp
lắp giáp phần cứng không lập trình được của mạch logic.
- Ưu điểm nổi bật của mạng nơ ron là khả năng truyền tín hiệu song song
làm tăng tốc độ xử lý và tính toán.
- Ngay ở một phần tử nơ ron cũng có thể được coi là một hệ điều khiển trong
mạch vì nó có đầy đủ các thành phần: ngưỡng, tín hiệu vào- ra, phản hồi, bộ tổng.
Trong khi đó mạch logic chỉ là một phần tử hoặc một mạch điện tử.
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
43
KẾT LUẬN CHƢƠNG 1
1.Qua phân tích mô hình mạng nơ ron ta thấy mạng nơ ron có các tính chất sau:
- Là hệ phi tuyến.
- Là hệ xử lý song song.
- Là hệ học và thích nghi, mạng được luyện từ số liệu quá khứ, có khả năng
tự chỉnh khi số liệu đầu vào bị mất.
- Là hệ nhiều biến, có nhiều đầu vào / ra (MIMO) rất tiện dùng khi điều
khiển đối tượng có nhiều biến số.
- Có khả năng học và làm xấp xỉ các hàm toán học bất kỳ với độ chính xác
tùy ý.
2.So sánh mạng nơ ron truyền thẳng nhiều lớp với mạng nơ ron hồi quy nhiều lớp ta
thấy mạng nơ ron truyền thẳng nhiều lớp đơn giản hơn vì mạng nơ ron hồi quy
nhiều lớp có thêm các liên kết phản hồi.
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
44
CHƢƠNG II. CÁC PHƢƠNG PHÁP ỨNG DỤNG MẠNG NƠ RON TRONG
NHẬN DẠNG VÀ ĐIỀU KHIỂN
2.1.CÁC VẤN ĐỀ CHUNG.
Mạng nơ ron đã được ứng dụng thành công trong nhiều lĩnh vực như: các hệ
thống điều khiển, xử lý hình ảnh, tiếng nói , tối ưu, truyền thông, y học…
Vì có yêu cầu ngày càng tăng về điều khiển, các hệ thống động học phức tạp
với điều kiện thông tin không đầy đủ hoặc không xác định nên việc sử dụng mạng
nơ ron rất hấp dẫn bởi khả năng học tập để xấp xỉ hàm và phân loại mẫu của mạng.
Ngoài ra còn bởi tính xử lý song song mạnh mẽ của phần cứng thực thi mạng.
Thông thường người ta hay dùng mạng nơ ron truyền thẳng nhiều lớp với
luật dạy học có giám sát. Ưu điểm lớn nhất của các mạng loại này là khả năng tổng
quát hoá ánh xạ đầu vào- đầu ra để có thể xấp xỉ bất cứ hàm nào với độ chính xác
tuỳ ý. Chủ yếu mạng nơ ron sử dụng để nhận dạng và điều khiển hệ thống.
2.2 CÁC PHƢƠNG ỨNG DỤNG MẠNG NƠ RON TRONG NHẬN DẠNG.
2.2.1. Cơ sở lý luận.
Trong nhận dạng hệ thống, để mô hình hoá quan hệ đầu vào - đầu ra của hệ
thống động học, mạng được học tập bằng tập hợp dữ liệu đầu vào đầu ra, còn trọng
số được điều chỉnh bằng thuật toán lan truyền ngược. Dễ nhận thấy rằng ánh xạ tĩnh
phi tuyến sinh ra có thể thể hiện thoả đáng mọi hành vi động học của hệ thống trong
khoảng quan tâm. Để điều đó trở thành hiện thực, cần cung cấp cho mạng nơ ron
thông tin về quá khứ của hệ thống, thông thường là các trễ đầu vào và đầu ra. Phụ
thuộc vào độ chính xác mong muốn mà ta phải cung cấp các thông tin về quá khứ
đến mức độ phù hợp cho mạng. Thực tế cho thấy việc sử dụng mạng hai lớp ẩn cho
kết quả tốt hơn mạng một lớp ẩn.
Mạng nơ ron có thể được dùng để phát hiện và nhận dạng lỗi, giúp đỡ lưu trữ
thông tin để ra quyết định. Nhưng trong hệ thống điều khiển có mạng nơ ron rất khó
chứng minh các đặc tính như ổn định hệ thống. Điều đó là do các khó khăn toán học
liên quan với hệ thống phi tuyến điều khiển bằng mạng nơ ron.
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
45
Nói chung có các ứng dụng tiềm tàng của mạng nơ ron tại tất cả các mức độ
trong hệ thống điều khiển thông minh cho phép thực hiện tự động hoá ở mức cao
đối với hệ thống. Mạng nơ ron cũng rất có ích ở mức độ thi hành thấp nhất với khả
năng xấp xỉ hàm và xử lý song song mạch.
Các phương pháp nhận dạng được phân loại như sau:
a/ Phân loại dựa trên các cơ sở các phần tử hệ thống.
- Phân loại theo hệ thống nhận dạng S.
- Phân loại theo tín hiệu vào.
- Phân loại theo tiêu chuẩn nhận dạng.
b/ Phân loại theo phương pháp cập nhật dữ liệu của hệ thống.
- Phương pháp nhận dạng đệ quy: Thông số nhận dạng được tính toán trực
tiếp theo mỗi thời điểm. Nghĩa là nếu có giá trị ^
(t) được cập nhật ở thời điểm t thì
giá trị của ^
(t+1) được xác định từ ^
(t). Phương pháp nhận dạng đệ quy có đặc
trưng:
+ Là bộ phận chính của hệ thống thích nghi.
+ Đòi hỏi cần có bộ nhớ.
+ Thuật toán có thể được thay đổi dễ dàng.
+ Tại bước tính toán đầu tiên có thể tìm ra được lỗi của thuật toán khi hệ
thống có sự thay đổi thông số đủ lớn. Có 3 loại nhận dạng đệ quy:
+ Nhận dạng đệ quy On-line.
Trong phương pháp nhận dạng đệ quy nếu không cần đòi hỏi dữ liệu vào-ra
đầy đủ ở mỗi thời điểm thì được gọi là phương pháp on-line. Nhận dạng on-line vì
thế được xem như là phương pháp dễ thực hiện cho việc tính toán. Nhận dạng on-
line được sử dụng trong nhiều lĩnh vực như: Nhận dạng thích nghi, học thích nghi,
lọc phi tuyến…
+ Nhận dạng theo thời gian thực.
Trong phương pháp nhận dạng đệ quy nếu thông số của mô hình có đầy đủ
cho mỗi thời điểm quan sát được theo thời gian thực, gọi là phương pháp nhận
dạng theo thời gian thực. Nó được sử dụng trong nhận dạng thông số hệ thống biến
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
46
đổi chậm theo thời gian. Để xác định thông số ^
(t+1) trên cơ sở N cặp tín hiệu vào-
ra, phải thực hiện liên tiếp thủ tục nhận dạng dữ liệu tín hiệu vào-ra với bậc phù
hợp. Thuật toán có dạng (2.1) ^
(t+1) = ^
(t) +
(t).e(t) ( 2.1)
Trong đó:
.
(t) là hàm số phụ thuộc vào đối tượng nhận dạng tại thời điểm t.
. e(t) là sai lệch tại thời điểm t.
+ Nhận dạng off- line.
Ngược lại với phương pháp on-line, phương pháp nhận dạng off-line sử dụng
đồng thời tất cả các dữ liệu. Nhận dạng off-line sử dụng khi cần thiết sử lý một
“mớ” tín hiệu cùng một lúc.
Phương pháp nhận dạng theo đặc tính vào- ra, là điểm mạnh về ứng dụng
của mạng nơ ron. Sử dụng mạng nơ ron để nhận dạng đối tượng có nhiều ưu điểm
hơn so với phương pháp nhận dạng truyền thống vì:
.Mạng nơ ron là hệ học và thích nghi có khả năng học on-line từ các số liệu
quá khứ, do đó kết quả nhận dạng có thể đạt được độ chính xác rất cao.
.Mạng nơ ron là hệ xử lý song song do đó tốc độ tính toán cao mà các
phương pháp nhận dạng truyền thống khó có thể đạt được.
.Mạng nơ ron là hệ MIMO, do đó rất tiện dùng khi nhận dạng cho đối tượng
nhiều biến.
Tóm lại bản chất “HỌC” của mạng nơ ron có một trong những đặc trưng rất
đặc biệt đó là nhận dạng đối tượng căn cứ vào đặc tính vào- ra của nó.
2.2.2. Mô tả toán học của đối tượng ở miền rời rạc.
Phương trình trạng thái của đối tượng được biểu diễn ở dạng liên tục như
(2.2):
(2.2)
Trong đó: x(t) = [x1(t) x2(t) x3(t) x4(t) … xn(t) ]
dt
tdx )(
[x(t), u(t) ]
y(t) = [x(t) ]
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
47
u(t) = [u1(t) u2(t) u3(t) u4(t) … up(t) ]
y(t) = [y1(t) y2(t) y3(t) y4(t) … ym(t)]
Tương ứng với hệ có p đầu vào, m đầu ra có bậc n
Phương trình trạng thái viết ở dạng rời rạc như (2.3) :
(2.3)
Trong đó: là véc tơ bậc
pn xRR
là véc tơ bậc mR
u(k), x(k), y(k) là các biến ở dạng rời rạc.
+Nếu biểu thức (2.3) là dạng tuyến tính thì ta có:
(2.4)
Trong đó A,B,C là các ma trận có cấp tương ứng là (n x n), (n x p), (m x n)
Đối với hệ một đầu vào một đầu ra SISO ( Single Input Single Output) để
điều khiển và quan sát được thì các ma trận A, B, C phải thoả mãn điều kiện (2.5),
(2.6):
M = [
BAn .1
BAn .2
BAn .3
….B] có Rank (M) = n (2.5)
N = [
TC
TTCA
…
TnT CA 1)(
] có Rank(N) = n (2.6)
Và khi đó yp(k+1) =
)()(
1
0
1
1
jkuiky
m
j
jp
n
i
i
(2.7)
Trong đó i và j là các hằng số chưa biết ; m n
Tín hiệu đầu ra yp(k+1) là tổ hợp tuyến tính của các giá trị quá khứ của các
giá trị vào u(k-j) với ( j= 0
m-1) và tín hiệu đầu ra yp(k-i) với (i=1 n-1)
+ Nếu đối tượng là phi tuyến đầu ra yp(k+1) có 4 dạng như (2.8), (2.9),
(2.10), (2.11):
Dạng1:
x(k+1) = [x(k), u(k) ]
y(k) = [x(k) ]
x(k+1) = Ax(k) + Bu(k)
y(k) = Cx(k)
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
48
yp(k+1) =
)(
1
1
iky p
n
i
i
g[ u(k), u(k-1),…, u(k-m +1) ] (2.8)
yp(k+1) phụ thuộc vào giá trị quá khứ của đầu ra yp(k-i) và giá trị quá khứ của đầu
vào u( k), u(k-1), u(k-m+1).
Dạng2:
yp(k+1) = f[ yp(k), yp (k-1),…, yp(k-n +1) ] +
)(
1
0
jku
m
j
j
(2.9)
yp(k+1) phụ phi tuyến vào các giá trị ra quá khứ yp(k), yp(k-1),…, yp(k-n+1) và phụ
thuộc tuyến tính giá trị vào quá khứ u(k-j) với j = 0
m-1
Dạng3:
yp(k+1) = f[yp(k), yp (k-1),…, yp(k-n +1) ]+g[ u (k), u (k-1),…, u(k-m +1)] (2.10)
yp(k+1) phụ thuộc phi tuyến vào các giá trị ra quá khứ và các giá trị vào quá khứ
Dạng 4:
yp(k+1) = f[ yp(k), yp (k-1),…, yp(k-n +1) ,u (k), u (k-1),…, u(k-m +1) ] (2.11)
yp(k+1) phụ thuộc phi tuyến vào giá trị ra quá khứ và các giá trị đầu vào cùng các
giá trị quá khứ của nó.
Với u(k), y(k) là các cặp tín hiệu vào ra của đối tượng tại thời điểm k, f(.),
g(.) là các hàm phi tuyến của đối tượng chưa biết cần được tuyến tính gần đúng bởi
mạng nơ ron có độ chính xác mong muốn.
Số lớp, số lượng nơ ron ở các lớp cũng như các mối liên kết giữa các nơ ron
của mỗi lớp với nhau trong mạng nơ ron nhận dạng được chọn cần phù hợp với độ
chính xác và đặc tính vào- ra của hàm phi tuyến tương ứng của đối tượng đã cho.
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
49
2.2.3 Mô hình dùng mạng nơ ron.
yp: Là đầu ra của đối tượng
py
: Là đầu ra của mạng nơ ron
e = yp-
py
: Là sai lệch giữa đầu ra của
đối tượng và mạng nơ ron, được sử dụng
làm tín hiệu học sửa trọng số cho mạng.
2.2.3.1.Mô hình song song.
Trong trường hợp này, cấu trúc của bộ nhận dạng giống như của hệ thống
cần nhận dạng.
2.2.3.2.Mô hình nối tiếp - song song.
Mô hình nhận dạng nối tiếp - song song có ưu điểm tốc độ hội tụ cao (Hình vẽ
2.3)
Tín hiệu ra của mô hình có dạng như (2.12):
+ Với đối tượng là tuyến tính:
)()()()()1(
1
0
1
1
jkukikykky
m
j
jp
n
i
ip
(2.12)
Trong đó
)1(),(),(
kykk ji
là các thông số nhận dạng của (2.7)
-
p
y
yp
u
Mạng nơron
Đối tƣợng
Hình 2.1. Mô hình mạng nơ ron
nhận dạng kiểu truyền thẳng
+
+
+
+
+
+
+
+
-
u(k)
g
N
0
1
0
1
1z
1z
1z
1z
yp(k+1)
)1(
ky
e
Hình 2.2 .Mô hình mạng nơ ron
nhận dạng kiểu song song
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
50
+ Với đối tượng là phi tuyến:
Dạng 1:
)1(),...1(),()()()1(
1
1
mkukukugikykky p
n
i
ip (2.13)
Dạng 2:
)()()1(
1
0
jkukky
m
j
jp
+ f [
)1(),...,1(),(
nkykyky
ppp
] (2.14)
Dạng 3:
)1(ky
p
f
[
)1(),...,1(),(
nkykyky
ppp
] +
g
[u(k), u(k-1), …, u(k-m+1)] (2.15)
Dạng 4:
)1(ky
p
f
[
)1(),...,1(),(
nkykyky
ppp
, u(k), u(k-1), …, u(k-m+1) ] (2.16)
2.2.3.3.Mô hình ngược trực tiếp.
Hình 2.4 chỉ rõ, có thể dùng mạng nơ ron để nhận dạng hệ thống ngược như thế
nào.
+
+
+
+
+
+
+
+
-
u(k)
g
N
0
1
0
1
1z
1z
1z
1z
yp(k+1)
)1(
ky
e
Hình 2.3.Mô hình mạng nơ ron nhận dạng kiểu nối tiếp
song song
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
51
Tín hiệu ra của đối tượng yp là tín hiệu vào của mạng nơ ron, tín hiệu này so
sánh với tín hiệu đặt ở đầu vào, sai lệch e được sử dụng làm tín hiệu luyện mạng nơ
ron, đầu ra của mạng là đầu vào của hệ thống.
2.2.3.4.Mô hình tổ hợp.
Theo mô hình này, đầu tiên mạng nhiều lớp phải học để nhận dạng hệ thống
thuận như hình 2.5a. Sau đó mạng này và mạng nhiều lớp khác được sử dụng như
bộ điều khiển được cấu trúc như trên hình 2.5b. Lợi ích của mô hình hệ thống thuận
là ta có thể tính toán khá dễ dàng đạo hàm của đầu ra theo mô hình của đầu vào dựa
trên quá trình lan truyền ngược(tính toán chuyển đổi của ma trận Jacobi của mạng
tại vector đầu vào hiện thời). Kết quả là sai số giữa đầu ra thực và đầu ra mong
muốn của hệ thống được lan truyền ngược lại qua mô hình thuận sinh ra sai số của
tín hiệu điều khiển, sai số này có thể để dạy cho một mạng khác làm chức năng điều
khiển. Phương pháp này có ưu điểm so với nhận dạng trực tiếp hệ thống ngược khi
hệ thống ngược không xác định tốt.
- +
Mạng nơron
e
u
r
yp
Hình 2.4.Mô hình mạng nơ ron nhận dạng ngược trực tiếp
Đối tƣợng
Đầu ra
mong
muốn
của
mạng
Hệ thống
Mạng nơron
(a)
y
v u N
2 N
W(z)
(b)
Hình 2.5.Mô hình mạng nơ ron nhận dạng tổ hợp
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
52
2.3.CÁC PHƢƠNG PHÁP ỨNG DỤNG MẠNG NƠRON TRONG ĐIỀU
KHIỂN.
Nhiều mạng nơ ron đã và đang được ứng dụng rất thành công trong lĩnh vực
nhận dạng và điều khiển hệ thống truyền động. Thông thường người ta hay sử dụng
mạng nhiều lớp truyền thẳng làm mô hình mẫu, làm các bộ điều khiển cho đối
tượng là phi tuyến.
Khi hệ thống đã được nhận dạng với độ chính xác nhất định, quá trình điều
khiển được bắt đầu để cho đầu ra của hệ thống bám theo đầu ra của mô hình ổn
định. Sau đây chúng ta nghiên cứu cấu trúc một số mạng nơron phổ biến cho việc
nhận dạng và điều khiển hệ thống.
2.3.1.Bộ điều khiển đảm bảo tính ổn định bền vững.
Bộ điều khiển đảm bảo tính ổn định bền vững có sơ đồ cấu trúc như (2.6):
2.3.2. Điều khiển thích nghi ngược trực tiếp.
Hình vẽ 2.7 là sơ đồ cấu trúc của hệ điều khiển thích nghi ngược theo tài liệu
[WiWa 96]
Tín hiệu vào của khối thuật toán thích nghi là sai lệch giữa tín hiệu ra của
thiết bị và tín hiệu ra của mô hình mẫu. Các thông số của bộ điều khiển luôn được
cập nhật theo tín hiệu sai lệch này. Mạng nhận dạng của bộ điều khiển thích nghi
bởi ảnh hưởng của nhiễu trên thiết bị và nhiễu ngoài khác. Một sự lựa chọn mà cho
phép khử được sự tác động của các loại nhiễu trên là mắc song song mạng nơ ron
-
+
+ +
Tín hiệu đặt
Đầu ra thiết bị
Bộ đ.k ổn
định
Thiết bị
Mạng
nơron
TTthích
nghi
Hình 2.6.Sơ đố cấu trúc bộ điều khiển ổn định bền vững
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
53
mô hình mẫu với thiết bị. Mô hình sẽ học các tín hiệu vào giống như tín hiệu vào
thiết bị và cho tín hiệu ra mẫu. Sự khác nhau giữa các đầu ra của thiết bị và của mô
hình đó là do sự ảnh hưởng của nhiễu. Tín hiệu này sẽ được đưa vào mạng nơ ron
phản hồi để phát hiện và lọc nhiễu. Tín hiệu ra của khối này được trừ với tín hiệu
vào của thiết bị, sự phối hợp đó trong điều khiển thích nghi được ứng dụng trong
điều khiển quỹ đạo của các cánh tay rô bốt.
Trên hình 2.7 chúng ta thấy rằng tín hiệu điều khiển đưa vào thiết bị là tổng
của tín hiệu điều khiển phản hồi và tín hiệu truyền thẳng. Đó là mô hình sử dụng
đặc tính mong muốn làm tín hiệu đầu vào và tín hiệu điều khiển phản hồi như tín
hiệu sai lệch. Một lợi thế về cấu trúc, cho chúng ta có thể bắt đầu với một hệ thống
ổn định bền vững dù cho mạng nơ ron chưa có quá trình huấn luyện triệt để. Tương
tự như trong điều khiển cấu trúc, trong các bộ điều khiển ổn định đã sử dụng cách
nối song song với mạng điều khiển nơ ron [Sas 192].
Sai lệch
Nhiễu Nhiễu
+
+
+
+
-
-
-
Tín hiệu
ra
Tín hiệu
đặt Mạng ĐK
Mô
hình
mẫu
Mạng
phản hồi
Thiết Bị
T.T thích
nghi
Mạng nơron
mô hình mẫu
Hình 2.7.Sơ đồ cấu trúc của hệ điều khiển thích nghi ngƣợc
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
54
2.2.3. Điều khiển phi tuyến mô hình trong.
Sơ đồ điều khiển phi tuyến theo mô hình trong (NIMC) được cho như hình 2.8:
Sơ đồ gồm có một bộ điều khiển nơ ron, một mạng nơ ron mô hình mẫu thiết
bị và một bộ lọc thô với sự điều chỉnh đơn thông số [NaHe 92].
Bộ điều khiển nơ ron thông thường được huấn luyện để thay thế cho phản
hồi của thiết bị, nếu có phản hồi trong. Sai lệch giữa đầu ra của mạng nơ ron mô
hình mẫu và số đo đầu ra của thiết bị thực được sử dụng làm tín hiệu phản hồi đưa
vào bộ lọc thô sau đó được chuyển đến bộ điều khiển nơ ron.
Mạng nơ ron mô hình mẫu và bộ điều khiển nơ ron có thể được huấn luyện
off-line sử dụng dữ liệu tự có từ thiết bị trong quá trình hoạt động. Bộ lọc thô là bộ
lọc bậc nhất nó có hằng số thời gian được chọn sao cho mạch kín ổn định.
2.2.4. Mô hình điều khiển dự báo.
Mô hình điều khiển dự báo được cho như sơ đồ hình 2.9.
Tín hiệu
vào đặt Đầu ra
+
-
+
-
Bộ lọc thô Bộ ĐK
Nơron
Thiết bị
Mô hình
thiết bị
Hình 2.8.Sơ đồ điều khiển mô hình trong
Tín hiệu
vào đặt
Đầu ra
dự báo
Đầu ra
thiết bị
Đầu vào
điều khiển
Mô hình
mạng
nơron
Bộ ĐK
nơron
Thiết bị
Hình 2.9.Sơ đồ điều khiển dự báo
Mô hình
mẫu
Luật tối
ưu
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
55
Sơ đồ cấu trúc bao gồm một mô hình mạng nơ ron, một bộ điều khiển nơ
ron, một hàm thực hiện đánh giá sự phản ứng của hệ thống và một luật tối ưu để
chọn tín hiệu điều khiển đầu vào tốt nhất:
Luật tối ưu có thể được ước tính, nó đòi hỏi cần qua nhiều bước tính trước,
trong đó mạng nơ ron được sử dụng để dự báo phản ứng của thiết bị. Bộ điều khiển
nơ ron học để đưa ra tín hiệu điều khiển được chọn theo phương pháp tối ưu. Khi
quá trình huấn luyện hoàn thành, các bước tối ưu hoá có thể được thay thế bằng bộ
điều khiển nơ ron.
2.2.5 Điều khiển thích nghi theo mô hình mẫu (MRAC).
Cũng như các phương pháp kỹ thuật khác, kỹ thuật điều khiển thích nghi
theo mô hình mẫu sử dụng hai mạng nơ ron, một mạng điều khiển và một mạng mô
hình. Sơ đồ cấu trúc như hình 2.10
Mạng nơ ron nhận dạng có thể được huấn luyện off-line, sử dụng các tín
hiệu đo được trong quá khứ của thiết bị. Bộ điều khiển nơ ron được huấn luyện
thích nghi tương ứng với đầu ra của thiết bị để theo giõi đầu ra của mô hình mẫu.
Mạng nơ ron được sử dụng để dự báo tác động thay đổi của bộ điều khiển lên đầu ra
của thiết bị, điều đó cho phép cập nhật được các thông số của bộ điều khiển.
Sai lệch
mô hình
Đầu ra
Sai lệch
điều
khiển
Tín hiệu
đặt
-
+
-
Mạng nơron
điều khiển
Thiết bị
Mạng nơron
nhận dạng
Mô hình
mẫu +
Hình 2.10.Sơ đồ cấu trúc điều khiển thích nghi theo mô
hình mẫu
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
56
2.2.6. Điều khiển thích nghi tự chỉnh.
Bộ điều khiển thích nghi tự chỉnh có sơ đồ khối như hình vẽ 2.11. Bộ điều
khiển bao gồm có hai mạng nơ ron [SuBa 98], mạng thứ nhất hoạt động như bộ điều
khiển ngược và được gọi là mạng hành vi, mạng thứ hai được gọi là mạng tự chỉnh
dự báo diễn biến tương lai của hệ thống. Mạng tự chỉnh được huấn luyện để tối ưu
hoá phản ứng tương lai của thiết bị. Quá trình huấn luyện được thực hiện theo
phương pháp học củng cố, đó là một chương trình làm xấp xỉ quá trình động học.
2.2.7. Điều khiển thích nghi bằng mạng nơron hồi quy tuyến tính.
Kỹ thuật điều khiển thích nghi dùng mạng nơ ron hồi quy tuyến tính là tiêu
chuẩn cơ bản của bộ điều khiển tuyến tính hoá [SlLi 91], sơ đồ thực hiện như hình
2.12
Phương pháp kỹ thuật điều khiển tuyến tính hoá thích nghi dùng mạng nơ ron hồi
quy cho ra một bộ điều khiển với hai thành phần: Thành phần thứ nhất khử độ phi
tuyến đầu ra của thiết bị, thành phần thứ hai là một trạng thái tuyến tính của bộ điều
khiển hồi quy.
Với phương pháp kỹ thuật trên, có thể được áp dụng để mô tả các hệ thống
phi tuyến bằng quan hệ (2.17):
uxgxfx pp
n
p ).()(
)(
(2.17)
Trong đó:
)1(,...,
npppp xxxx
(2.18)
Đầu ra
Tín hiệu
đặt
Luật tối ưu
Bộ điều
khiển
Thiết bị
Hình 2.11.Sơ đồ khối bộ điều khiển thích nghi tự chỉnh
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
57
là các biến trạng thái của hệ thống và u là đầu vào điều khiển. Để có được hệ thống
tuyến tính từ hệ phi tuyến cho bởi công thức 2.17 chúng ta có thể sử dụng đầu vào:
rxkxf
xg
u p
T
p
p
)(
)(
1
(2.19)
Trong đó k bao gồm các hệ số phản hồi khếch đại, r là đầu vào đặt. Thay
(2.19) vào (2.17) ta được kết quả trong hệ thống tuyến tính:
rxkx p
Tn
p
)(
(2.20)
Chúng ta có thể sử dụng mạng nơ ron hồi quy tuyến tính để thực hiện tuyến
tính hoá với một mục đích nhất định. Nếu sử dụng mạng nơ ron NNf và NNg để xấp
xỉ gần đúng hàm f và g thì ta có thể viết lại tín hiệu điều khiển như (2.21):
rxkxNN
xNN
u p
T
pf
pg
)(
)(
1
( 2.21)
Chúng ta muốn hệ thống theo mô hình mẫu cho bởi công thức (2.22):
rxkx m
Tn
m
)(
(2.22)
Thay thế biểu thức 2.21 vào biểu thức 2.17 ta có:
rxkxNN
xNN
xg
xfx p
T
pf
pg
p
p
n
p )(
)(
)(
)()(
(2.23)
Sai lệch điều khiển được định nghĩa là: e = xp- xm (2.24)
Vi phân của sai lệch có biểu thức như (2.25):
e
(n)
= -k
T
e +{f(xp)- NNf(xp) } + {g(xp)- NNg(xp) }u (2.25)
Với một thuật toán huấn luyện phù hợp, biểu thức vi phân của sai lệch sẽ
được xác định và sai lệch sẽ hội tụ về 0 nếu sai lệch đủ nhỏ [VaVe96].
Trong các sự biến thiên khác nhau của bộ điều khiển thích nghi hồi quy
tuyến tính hoá có các mô hình xấp xỉ gần đúng của Narendra[NaBa94].
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
58
2.2.8. Điều khiển thích nghi ổn định trực tiếp.
Gần đây, đã có các phương pháp điều khiển thích nghi trực tiếp khác nhau,
điều đó thuận lợi cho việc thiết kế nên tất cả các hệ thống đảm bảo tính ổn định
([Sas 192], [Poly 96], [Spcr 98] ). Phương pháp của [Sas192] sử dụng nguyên lý ổn
định Lyapunov trong thiết kế quy tắc của mạng, nói đúng hơn là trong xây dựng
thuật toán giảm độ dốc. Bộ điều khiển thích nghi ổn định trực tiếp được cho như
hình 2.13:
xm
- +
e
r +
-
-
xp
NNf
NNg
Mô hình
mẫu
P
k
+ x
+
Tối ưu
cho NNg
Tối ưu
cho NNf
Hình 2.12.Sơ đồ điều khiển thích nghi dùng
mạng nơron hồi quy tuyến tính
+
+
+
X
x
xd
upd
usl
uad Mạng
nơron
Thiết bị
Điều
chỉnh
X +
X
Hình 2.13.Sơ đồ bộ điều khiển thích nghi ổn định trực tiếp
Điều khiển
trượt
Hồi quy tuyến
tính
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
59
Sơ đồ gồm có: Một kâu hồi quy tuyến tính, một bộ điều khiển độ trượt phi
tuyến , một bộ điều khiển nơ ron thích nghi. Tín hiệu điều khiển được tổng hợp như
(2.26):
u(t) = upd(t) + [1-m(t) ].uad(t) + m(t).usl(t) ( 2.26)
Trong đó: upd(t) là tín hiệu điều khiển hồi quy tuyến tính, usl là tín hiệu điều
khiển theo mô hình trượt, uad là tín hiệu điều khiển thich nghi của mạng nơ ron, hàm
m(t) cho phép san bằng quá trình quá độ giữa quá trình của bộ điều khiển trượt và
quá trình của bộ điều khiển thich nghi dựa trên cơ sở định vị trạng thái hệ thống:
Trong đó miền Ad và Ac được xác định như hình 2.14:
Bộ điều khiển trượt được sử dụng để
giữ ổn định cho hệ thống trong một miền mà
mạng nơ ron có thể huấn luyện được để đạt
độ chính xác của điều khiển tối ưu.
Bộ điều khiển trượt được mở (bộ
điều khiển nơ ron được khoá ) bất cứ lúc
nào hệ thống lệch ra ngoài miền. Sự tổ hợp
các bộ điều khiển tạo ra một hệ thống ổn
định theo tiêu chuẩn tối ưu.
Cần chú ý rằng bộ điều khiển nơ ron được ứng dụng trên cơ sở sự hoạt động
của mạng nơ ron thần kinh. Đầu ra của mỗi nơ ron thần kinh là hàm tuyến tính cơ
sở của hàm trọng. Điều đó cho phép mạng nhiều lớp phân tích quá trình huấn luyện
đơn giản và nhanh hơn, nhưng cũng có một điều khó khăn ở đây là phải cần nhiều
nơ ron nếu số đầu vào mạng lớn.
2.2.9. Điều khiển tối ưu.
Không gian trạng thái được chia thành các vùng đặc trưng tương ứng với
các trạng thái điều khiển khác nhau. Sự nhận biết về mặt điều khiển thực hiện qua
m(t) = 0 Khi x(t) Ad
0< m(t) <1 Các trường hợp khác
m(t) = 1 Khi x(t) Ac
x
ẋ
Ac
Ad
Hình 2.14.Các miền của bộ điều khiển
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
60
các thủ tục học. Từ đó bề mặt tối ưu thời gian, nhìn chung là phi tuyến, nó cần được
sử dụng vào khả năng tính gần đúng bề mặt phi tuyến. Một khả năng cơ bản là
lượng hoá không gian trạng thái vào các phần tử cơ bản, ở đó hoạt động điều khiển
được giả thiết không đổi. Quá trình này có thể sử dụng mạng liên kết Leteral. Bề
mặt thay đổi không được biết trước, nhưng chúng được định nghĩa hoàn toàn bởi
quá trình học của các điểm trong không gian trạng thái với điều khiển thích nghi đã
được cho trước. Trong quá trình học, các luật học điều chỉnh trọng số của mạng trên
cơ sở đưa véc tơ điều khiển về trạng thái mong muốn. Quá trình học của véc tơ mẫu
hiện có được điều khiển liên tục ở nhiều thời điểm cho đến khi các véc tơ mẫu hoàn
toàn được phân loại chính xác, học cho đến khi các dạng sai lệch có giá trị không đổi.
2.2.10. Phương pháp bảng tra.
Mạng nơ ron được sử dụng như một liên kết bộ nhớ, lưu giữ mối quan hệ
giữa thông số của bộ điều khiển với trạng thái của đối tượng. Mạng Hopfield và
mạng CMAC được sử dụng trong trường hợp này. Bộ thông số của bộ điều khiển
được thiết kế thoả mãn các luật điều khiển tối ưu.
2.2.11. Điều khiển lọc.
Lọc là quá trình lấy được tín hiệu ra từ nhiễu. Như vậy phương pháp này có
tác dụng loại bỏ sự tác động của nhiễu. Cơ sở của phương pháp là tính gần đúng
bình phương nhỏ nhất, bỏ đi một số phần tử của dãy Wiener- Volterra. Các dãy này
mô tả cho hệ phi tuyến, có ưu điểm là thiết lập được quan hệ tuyến tính giữa các
đầu ra và trọng số của mạng. Phương pháp có nhược điểm là độ phức tạp và số
lượng phép tính lớn, do đó nó chỉ được sử dụng vào hệ có độ phi tuyến thấp.
Trường hợp đặc biệt của nhiễu là dạng hỗn loạn có thể tìm được biểu thức tương
đương thoả mãn lọc sai số cực tiểu, sử dụng mạng nơ ron theo luật lan truyền ngược
theo sai lệch BP.
giá trị dự báo cho tương lai. Cơ sở thiết kế của trường hợp này là sự liên kết của
nhiều dạng mẫu.
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
61
2.2.12. Những hạn chế và chú ý.
Trong mỗi cấu trúc của các bộ điều khiển nơ ron chúng ta đều đánh giá về
những thuận lợi và không thuận lợi của các bộ điều khiển này. Ví dụ với phương
pháp kỹ thuật hồi quy tuyến tính chỉ có thể được áp dụng trong những hệ thống cho
bởi biểu thức 2.17. Phương pháp kỹ thuật điều khiển thích nghi trực tiếp thì xuất
hiện tính phi tuyến và nó được xem như một ẩn số của đầu vào điều khiển biểu diễn
trong không gian trạng thái. Phương pháp kỹ thuật điều khiển theo mô hình mẫu
không đảm bảo độ ổn định, phương pháp kỹ thuật điều khiển ngược thích nghi cần
đến trạng thái thực ổn định của thiết bị ngược…
Nói chung những phương pháp kỹ thuật trên đều đảm bảo sự ổn định nhưng
chỉ được áp dụng trong một giới hạn nào đó của hệ thống. Lĩnh vực điều khiển nơ
ron tiếp tục được nghiên cứu, cách thức ổn định hoá trong hệ thống sẽ được phát
triển rộng khắp trong các hệ thống.
Từ các vấn đề thực tế cho thấy, vấn đề mấu chốt cho những hệ thống điều
khiển nơ ron là khả năng hoạt động tốt của một mạng trong các trạng thái mới. Ví
dụ cấu trúc mô hình điều khiển dự báo cần đến một mô hình mạng nơ ron nhận
dạng thiết bị, mô hình thiết bị là một ánh xạ từ các đầu vào và đầu ra của thiết bị
trước tới đầu ra của thiết bị sau. Trong trình tự tính toán mô hình thiết bị, mạng cần
được huấn luyện với dữ liệu bao gồm toàn bộ phạm vi đầu vào mạng có thể thực
hiện được. Điều khó có thể thực hiện được ở đây là dữ liệu, bởi vì chúng ta không
có điều khiển trực tiếp vượt trước đầu ra của thiết bị. Nhiều lúc chúng ta có thể có
điều khiển độc lập trên đầu vào thiết bị, nhưng chỉ có điều khiển gián tiếp trên đầu
ra của thiết bị (mà sau đó trở thành đầu vào mạng). Những hệ thống bậc cao sẽ khó
khăn để đạt được dữ liệu cho phản ứng đầu ra của thiết bị thích hợp cho việc phân
vùng không gian trạng thái. Trạng thái sẽ trở nên quan trọng để mạng có thể phát
hiện ra trạng thái trong đó đầu vào rơi ra ngoài miền dữ liệu được cho là đúng mà
mạng đã được huấn luyện.
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
62
KẾT LUẬN CHƢƠNG 2
1. Có nhiều phương pháp ứng dụng mạng nơron để nhận dạng đối tượng,
trong đó nổi bật là hai phương pháp nhận dạng on-line và nhận dạng off-line.Trong
hai phương pháp trên thì phương pháp nhận dạng off-line có nhiều ưu điểm; nó có
thể sử dụng đồng thời tất cả các dữ liệu. Nhận dậng off-line sử dụng khi cần thiết
phải xử lý rất nhiều tín hiẹu cùng một lúc.
2. Phương pháp sử dụng mạng nơron nhận dạng đối tượng theo đặc tính vào
- ra, là điểm mạnh của về ứng dụng của mạng nơron. Sử dụng mạng nơron để nhận
dạng đối tượng có nhiều ưu điểm hơn so với phương pháp nhận dạng truyền thống
vì:
- Mạng nơron là hệ học và thích nghi có khả năng học on-line hoặc off-line
từ các số liệu quá khứ, do đó kết quả nhận dạng có thể đạt được độ chính xác rất
cao.
- Mạng nơron là hệ xử lý song song do đó tốc độ tính toán cao, mà các
phương pháp nhận dạng truyền thống khó có thể đạt được.
- Mạng nơron là hệ MIMO, do đó rất tiện dùng khi nhận dạng cho đối tượng
nhiều biến.
3. Với bản chất “HỌC” mạng nơron có một trong những ứng dụng rất đặc
trưng đó là nhận dạng đối tượng căn cứ vào đặc tính vào - ra của nó.
Mạng nơ ron truyền thẳng nhiều lớp có cấu tạo đơn
giản, có luật học lan truyền ngược rất nổi tiếng thực hiện dễ dàng và có hiệu quả cao
phù hợp với thực hiện quá trình học cho các đối tượng là tuyến tính và phi tuyến
tính.
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
63
CHƢƠNG III
ỨNG DỤNG MẠNG NƠRON TRUYỀN THẲNG NHIỀU LỚP NHẬN DẠNG
VỊ TRÍ RÔ BỐT HAI KHÂU.
Qua phân tích ở các phần trên, ta thấy mạng nơ ron truyền thẳng nhiều lớp có
nhiều ưu điểm; có cấu trúc đơn giản, có thuật toán học lan truyền ngược rất nổi
tiếng được sử dụng nhiều trong các lĩnh vực nhận dạng và điều khiển các đối tượng
phi tuyến. Vì vậy luận văn này chọn mạng nơ ron truyền thẳng nhiều lớp cho việc
nhận dạng vị trí Rô bốt hai khâu .
3.1. Mạng nơ ron truyền thẳng nhiều lớp.
3.1.1.Sơ đồ khối mạng nơ ron truyền thẳng nhiều lớp(3lớp).
Lớp 1 là lớp vào có số nơ ron là S1, hàm chuyển là f1 và đầu ra là a1, lớp 2 là
lớp ẩn có số lượng nơ ron là S2 hàm chuyển là f2 và có đầu ra là a2, lớp 3 là lớp ra có
số lượng nơ ron là S3, hàm chuyển là f
3
và có đầu ra là a3
P là véc tơ đầu vào có R phần tử.
W
ji
là ma trận hàm trọng lượng liên kết, j là chỉ số nguồn, i là chỉ số đích.
3.1.2.Thuật toán học lan truyền ngược của sai lệch(Back Propagation Learning
Rule).
Mạng truyền thẳng chỉ có thể làm việc ở một trong hai trạng thái đó là trạng
thái ánh xạ và trạng thái học.
S2x1
Rx1 S
2
x1
a
1
a
2 a
3
= y P
Hình 3.1.Ký hiệu tắt của mạng nơ ron 3 lớp
1
R S1
a
1
= f
1
(IW
1,1
P+b
1
)
n1
b1
+
S
1
x1
S
1
x1
S1xR
Vào Lớp 1
S
2
a
2
= f
2
(LW
2,1
a
1
+b
2
)
f2
n2
b2
+
S
2
x1
S
2
xS
1
Lớp 2
LW
2,1
1
f1
S
3
a
3
= f
3
(LW
3,2
a
2
+b
3
)
f3
n3
b3
+
S3x1
S
3
x1
S
3
xS
2
Lớp 3
LW
3,2
S
3
x1
1
a
3
= f
3
[LW
3,2
f
2
(LW
2,1
f
1
(IW
1,1
P+b
1
)+b
2
]+b
3
= y (3.1)
IW
1,1
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
64
Trong trạng thái ánh xạ, thông tin lan tryền từ lớp nhận đến lớp xuất và mạng
thực hiện ánh xạ để tính giá trị các biến phụ thuộc dựa vào các giá trị của các biến
độc lập đã cho. Quá trình ánh xạ có thể được tóm tắt như sau:
Trước tiên, giá trị của các biến độc lập được chuyển cho lớp vào của mạng,
các nút nhập không tính toán gì cả, mỗi nút nhập chuyển giá trị của nó cho tất cả
các nút ẩn. Mỗi nút ẩn tính tổng trọng hoá của tất cả các dữ liệu nhập bằng cách
cộng dồn tất cả các tích giữa giá trị nút ẩn với trọng số của cung liên kết giữa nút ẩn
đó với các nút nhập. Kế tiếp, một hàm truyền được áp dụng trên tổng trọng hoá này
cùng với một ngưỡng của nút ẩn đó để cho ra giá trị thực của nút ẩn. Hàm truyền
chỉ đơn giản nén giá trị vào một miền giới hạn nào đó. Sau khi nén tổng trọng hoá
của nó đến lượt mình, mỗi nút ẩn sẽ gửi kết quả đến tất cả các nút xuất. Mỗi nút
xuất thực hiện các thao tác tương tự như đã thực hiện trong nút ẩn để cho ra giá trị
kết xuất của nút xuất. Giá trị của các nút xuất là chính là giá trị thực, nghĩa là giá trị
của các biến phụ thuộc cần xác định.
Trong trạng thái học, thông tin được lan truyền theo hai chiều nhiều lần để
học các trọng số.
Thuật toán học lan truyền ngược là một phương pháp cho phép xác định tập
hàm trọng lượng tốt nhất để giải một bài toán được cho. Việc áp dụng phương pháp
lan truyền ngược là một quá trình lặp đi lặp lại nhiều lần hai tiến trình chính; ánh xạ
và lan truyền ngược. Sai số của hai tiến trình này được áp dụng trên một tập mẫu
xác định. Ta gọi chung quá trình này là luyện mạng hay là học.
Quá trình luyện mạng được bắt đầu với các giá trị trọng số tuỳ ý (có thể là
các số ngẫu nhiên) và tiến hành lặp đi lặp lại, mỗi lần lặp được gọi là một thế hệ.
Trong mỗi thế hệ, mạng hiệu chỉnh các thông số sao cho sai số giảm dần (sai số là
độ lệch giữa các kết xuất thực và các kết xuất đích ). Tiến trình điều chỉnh nhiều lần
giúp cho trọng số dần dần đạt được tập hợp các giá trị tối ưu.
Thuật toán lan truyền ngược có thể được tóm tắt như sau:
Cho trước tập mẫu gồm P mẫu thông số vào- ra (xk- dk), k = 1,2,3,…,P. Với xk là
véc tơ đầu vào, dk là véc tơ đầu ra mẫu. Để học bộ thông số mẫu trên mạng thực
hiện theo hai giai đoạn sau:
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
65
Giai đoạn đầu, bộ đầu vào mẫu xk được lan truyền từ lớp vào đến lớp ra, khi
đó kết quả dữ liệu được lan truyền thẳng tạo ra tín hiệu đầu ra yk.
Giai đoạn thứ hai, tín hiệu sai lệch ek giữa bộ đầu ra mẫu dk và tín hiệu ra thực tế
của mạng nơ ron được lan truyền ngược từ đầu ra quay trở lại các lớp ẩn và lớp đầu
vào.
e
k
= d
k
- y
k
(3.2)
Thuật toán lan truyền ngược của sai lệch cho phép nhận được kết quả cập
nhật sự thay đổi của bộ trọng số
ij
q w
sao cho mạng nơ ron nhiều lớp truyền thẳng có
bộ thông số vào - ra là (xk- yk) cũng được thiết lập sau quá trình học bộ mẫu vào - ra
( x
k
- d
k
) đã cho trước. Cơ sở của luật cập nhật trọng số là phương pháp giảm độ dốc.
Thuật toán lan truyền ngược được thực hiện theo các bước như sau:
Xét mạng truyền thẳng có Q lớp và có
netiq
và
yiq
tương ứng là đầu vào và đầu ra
của nơ ron thứ i ở lớp thứ q (q =1,2,3,…,Q), mạng nơ ron có m nơ ron ở lớp đầu
vào l nơ ron ở lớp ẩn và n nơ ron ở lớp ra, với
ij
q w
là trọng số nối từ phần tử
j
q y1
đến phần tử i của lớp q. Bộ thông số vào - ra mẫu {( xk- dk), k = 1,2,3…,Q}.
Bước 0:(Thiết lập trạng thái ban đầu cho mạng)
Chọn trước giá trị cho các thông số:
- Hằng số học 0<η<1.
- Sai lệch trung bình bình phương cực đại; giá trị cho phép Emax và giá trị ban
đầu E0 = 0.
- k =1.
- Chọn các trọng số ban đầu nối từ phần tử thứ j của lớp (q – 1) đến phần tử
thứ i của lớp q là
ij
q w
có giá trị nhỏ và ngẫu nhiên.
Bước 1(Vòng luyện tập):
Đưa các dữ liệu mẫu thứ k vào lớp đầu vào (q=1):
k
ii
q xyy 1
với mọi i = 1,2,3,…,m. (3.3)
Bước 2( Quá trình truyền thẳng):
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
66
Quá trình truyền thẳng của tín hiệu trọng mạng được xác định theo công
thức:
)..().( 1
1
i
q
j
ij
q
i
q
i
q ywanetay
(3.4)
cho mỗi phần tử i và lớp q tới khi đầu ra
i
Q y
của lớp ra được xác định.
Bước 3:Tính toán sai lệch trung bình bình phương ở lớp ra:
Xác định giá trị trung bình bình phương sai lệchở lớp ra:
2
1
2
1
)(
2
1
))((
2
1 Q
i
n
i
k
i
n
i
ydkeE
(3.5)
Tín hiệu sai lệch cho lớp đầu ra là
)().( ' i
Q
i
Qk
ii
Q netayd
(3.6)
Trong đó:
i
Q
là tín hiệu sai lệch của nơ ron thứ i cho lớp ra Q;
)(' i
Qneta
là
đạo hàm của hàm hoạt hoá a(.) theo tổng trọng lương của phần tử i của lớp đầu ra là
i
Qnet
.
)(
)('
i
Qi
Q
netd
da
neta
(3.7)
Bước 4: Lan truyền ngược của sai lệch:
Quá trình lan truyền ngược của sai lệch được cập nhật các trọng số tính toán
theo tín hiệu sai lệch
i
q 1
cho các lớp:
j
q
i
q
ij
q yw 1.
(3.8)
mij
q w cij
q w ij
qw
(3.9)
j
q
j
ij
q
i
q
i
q wneta .).( 1'1
(3.10)
Trong đó:
ij
qw
là sai lệch tại thời điểm tính của giá trị trọng số liên kết cập
nhật mới và cũ liên kết từ phần tử thứ j của lớp q-1 đến phần tử i của lớp q.
m
ij
q w
là giá trị trọng số liên kết cập nhật mới từ phần tử thứ j của lớp q-1
đến phần tử i của lớp q.
c
ij
q w
là giá trị trọng số liên kết cũ từ phần tử thứ j của lớp q-1 đến phần tử i
của lớp q.
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
67
j
q y1
là tín hiệu ra của phần tử j của lớp q-1.
Bước 5: ( Cho mỗi chu kỳ học):
- Kiểm tra vòng luyện tập
+ Nếu k<p thì k = k+1.
+ Nếu k = p thì thực hiện bước 6.
Bước 6: Kiểm tra giá trị sai lệch trung bình bình phương tổng:
- Nếu E > Emax thì thực hiện bước 1.
- Nếu E ≤ Emax thì đã hoàn thành quá trình học.
3.2. Ứng dụng mạng nơ ron truyền thẳng nhiều lớp nhận dạng vị trí rô bốt hai
khâu.
3.2.1. Phân tích sơ đồ ứng dụng.
Rô bốt là đối tượng phi tuyến nên rất khó xác định được chính xác các giá trị
của các thông số đo lường tại các thời điểm nhất định, đặc biệt rất khó khăn trong
việc điều khiển thích nghi theo mô hình mẫu. Do đó cần thiết kế một thiết bị nhận
dạng vị trí q (rad) của rô bốt. Trong luận văn này sử dụng mạng nơ ron truyền thẳng
nhiều lớp để nhận dạng vị trí rôbốt hai khâu sao cho tín hiệu ra của mô hình nhận
dạng
m
iq
bám theo được tín hiệu ra thực
iq
của rô bốt.
Sơ đồ ứng dụng mạng nơ ron truyền thẳng nhiều lớp nhận dạng vị trí rô bốt
hai khâu như hình 3.2
ei
-
q
m
i
qi
i
i
Mô hình vị trí rô
bốt hai khâu
Mạng nơ ron
nhận dạng
Hình 3.2. Sơ đồ ứng dụng mạng nơ ron
nhận dạng vị trí rô bốt hai khâu
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
68
i
là mô men đầu vào tác dụng lên khâu thứ i của rô bốt; qi là vị trí thực của khâu
thứ i
m
iq
là vị trí đầu ra của mạng nơ ron nhận dạng; ei là sai lệch giữa vị trí đầu ra
thực và vị trí đầu ra của mạng nơ ron:
ei =
iq
-
m
iq
(3.11)
Sai lệch ei chính là tín hiệu điều khiển quá trình học của mạng nơ ron, làm
cho mạng nơ ron thay đổi giá trị của các hàm trọng lượng sao cho tín hiệu đầu ra
của mạng
m
iq
thay đổi để có : ei =
iq
-
m
iq
→ min (3.12)
Khi mạng nơ ron đã nhận dạng chính xác vị trí của rô bốt hai khâu thì mạng
nơ ron sẽ thay thế mô hình của rô bốt hai khâu để điều khiển thích nghi vị trí theo
mô hình mẫu như sơ đồ hình 3.3:
qiđ là vị trí đặt ban đầu của khâu i; Kui là bộ điều khiển điện áp của khâu i; ui là tín
hiệu điện áp điều chỉnh của khâu i; qi là vị trí thưc của khâu i; m
iq
là vị trí tương ứng
của mô hình mẫu i; eqi là sai lệch giữa qi và m
iq
:
eqi = m
iq
- qi. (3.13)
Giá trị của sai lệch này được sử dụng để thay đổi thông số và cấu trúc của bộ
điều khiển từ đó tạo ra tín hiệu điều chỉnh ui sao cho vị trí khâu i của rô bốt bám
theo được vị trí tương ứng của mô hình mẫu với sai số đạt yêu cầu.
Quá trình điều khiển thích nghi được thực hiện theo hai giai đoạn:
- Giai đoạn thứ nhất là nhận dạng vị trí của rô bốt hai khâu.
- Giai đoạn thứ hai thực hiện tạo ra tín hiệu điều chỉnh để vị trí q của rô bốt
đạt được theo yêu cầu.
eqi
qiđ
m
iq
eqi
-
+ ui
-
qi
Mô hình mẫu
Mạng nơ ron Kui
+
Hình 3.3. Sơ đồ điều khiển thích nghi vị rô bốt
hai khâu theo mô hình mẫu
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
69
Ta nghiên cứu giai
đoạn thứ nhất của quá trình
điều khiển này bằng cách sử
dụng mạng nơ ron truyền
thẳng nhiều lớp với thuật
toán lan truyền ngược có sơ
đồ cấu trúc tổng quát như
hình 3.4:
3.2.2. Mô tả động học rô bốt hai khâu:
Để xác định phương trình động học của rô bốt hai khâu ta xét cơ cấu tay máy
hai khâu như hình 3.5:
q1, q2 tương ứng là vị trí
của khâu thứ 1 và khâu thứ
2;
21 ,
tương ứng là mô men
điều khiển khâu thứ 1 và
thứ2;
m1, m2 tương ứng là khối
lượng của khâu thứ 1và
khâu thứ2;
l1, l2 tương ứng là độ dài của
khâu thứ 1 và khâu thứ 2;
lc1 là khoảng cách từ điểm nối của khâu thứ 1 đến trọng tâm của khâu này;
lc2 là khoảng cách từ điểm nối của khâu thứ 2 đến trọng tâm của khâu này;
I1, I2 tương ứng là mô men quán tính của khâu 1 và khâu 2;
ei
-
i
i
m
iq
iq
Mô hình vị trí
rô bốt hai khâu
Mạng nơ ron
nhận dạng
Hình 3.4. Sơ đồ ứng dụng mạng nơ ron nhận dạng vị trí
rô bốt hai khâu với thuật toán lan truyền ngược
Lan truyền
ngƣợc
Hình 3.5. Sơ đồ động học rôbôt hai khâu
1q
2q
11 I,m
22 I,m
3m
1l
2l
2cl
Y
X
1cl
Chương I.Tổng quan về mạng nơ ron nhân tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
70
m3 là khối lượng tải của rô bốt.
Theo [3] phương trình Lagrangian mô tả động học cho rô bốt hai khâu như (3.14):
(3.14)
Với: H11 =
Các file đính kèm theo tài liệu này:
- LV_07_CN_DK_NDN.pdf