Học bán giám sát trong mạng nơron min max mờ cho phân cụm dữ liệu với rút trích luật quyết định

Nghiên cứu khoa học công nghệ Tạp chí Nghiên cứu KH&CN quân sự, Số Đặc san CNTT, 11 - 2018 17 HỌC BÁN GIÁM SÁT TRONG MẠNG NƠRON MIN MAX MỜ CHO PHÂN CỤM DỮ LIỆU VỚI RÚT TRÍCH LUẬT QUYẾT ĐỊNH Vũ Đình Minh1*, Nguyễn Doãn Cường2 Tóm tắt: Bài báo này đề xuất một mạng nơron min-max mờ cải tiến cho vấn đề phân cụm dữ liệu với phương pháp học bán giám sát. Mô hình đề xuất sử dụng phương pháp lan truyền nhãn trong quá trình huấn luyện gọi là MSS-FMM. Một số mẫu trong tập dữ liệu huấn luyện được gán nhãn là thông tin bổ trợ được sử dụng trong phương pháp phân cụm bán giám sát. Nghiên cứu của chúng tôi được kiểm chứng trên các tập dữ liệu đã được công bố và tập dữ liệu bao gồm 320 bệnh nhân đến khám và điều trị viêm gan mạn tại các bệnh viện Thái Nguyên. Các kết quả thực nghiệm được so sánh với kết quả thực nghiệm của các mạng nơron min-max mờ được đưa ra bởi các nhà nghiên cứu khác. Giải pháp của chúng tôi đã nâng cao đáng kể độ đo Accuracy phân loại. Từ khóa: Mạng nơron min-max mờ; Phân cụm; Có giám sát; Không giám sát; Bán giám sát. 1. ĐẶT VẤN ĐỀ Mô hình mạng nơron min-max mờ (FMNN) đầu tiên được đề xuất đầu tiên bởi Simpson. Học trong FMNN gồm học có giám sát áp dụng cho bài toán phân lớp dữ liệu [11] và học không giám sát áp dụng cho bài toán phân cụm dữ liệu [12]. FMNN biểu diễn dữ liệu bằng các hyperbox mờ. Sự kết hợp giữa logic mờ và khả năng học của mạng nơron là điểm mạnh của FMNN khi xử lý các thông tin không chắc chắn. Do đó, các mạng FMNN có thể ứng dụng trong rất nhiều lĩnh vực như hệ chuyên gia, dự báo, điều khiển... Tuy nhiên, hiệu suất của FMNN bị phụ thuộc rất lớn vào giới hạn kích thước tối đa của hyperbox. Nếu max càng lớn, dẫn tới số lượng hyperbox nhỏ, dẫn đến hiệu suất giảm. Ngược lại nếu max quá bé thì mô hình tính toán có thể bị quá khớp (overfitting). Đặc biệt, đối với các tập dữ liệu có kích thước các cụm dữ liệu không đồng đều thì hiệu quả của các FMNN sẽ bị giảm nhiều hơn. Cho đến nay, đã có nhiều nghiên cứu nhằm nâng cao hiệu quả của các FMNN được đề xuất, nhưng hầu hết chỉ tập trung vào cải tiến quá trình điều chỉnh kích thước hyperbox [2], [3], [4], [6], [7], [9], [10], [15]. Bên cạnh đó, một vài nghiên cứu cải tiến FMNN sử dụng phương pháp học bán giám sát cũng được đề xuất [5], [8], [13]. Trong bài báo này, chúng tôi đề xuất mô hình cải tiến sử dụng thuật toán học bán giám sát để phân cụm dữ liệu được phát triển từ mô hình SS-FMM [13]. Mô hình đề xuất sử dụng phương thức học bán giám sát với một phần của dữ liệu đã được gán nhãn đi cùng các mẫu dữ liệu đầu vào. Các đóng góp chính bao gồm (i) số mẫu được gán nhãn ít hơn, (ii) không tạo ra các hyperbox có đặc tính mới, (iii) thực hiện một lần duyệt duy nhất qua các mẫu dữ liệu (iv) sử dụng tất cả các mẫu trong quá trình đào tạo, (v) giảm số lượng các hyperbox để tối ưu FMNN. Công nghệ thông tin V. Đ. Minh, N. D. Cường, “Học bám sát trong mạng nơron rút trích luật quyết định.” 18 Các phần tiếp theo của bài báo gồm: phần 2 giới thiệu về mạng nơron min-max mờ, cắt tỉa các hyperbox và rút trích các luật quyết định. Phần 3 trình bày giải pháp đề xuất của chúng tôi, phần 4 đưa ra các kết quả thực nghiệm và so sánh với các phương pháp khác, phần cuối cùng là kết luận. 2. MẠNG NƠRON PHÂN CỤM MIN-MAX MỜ VỚI KẾT XUẤT LUẬT 2.1. Mạng nơron min max mờ FMNN [12] là mạng nơron hai lớp: lớp đầu vào FA bao gồm n nút (n là kích thước của vector đầu vào); lớp đầu ra FB bao gồm m nút, mỗi nút tương ứng với một hyperbox. Thuật toán học chỉ bao gồm quá trình điều chỉnh mở rộng/co lại các hyperbox, thuật toán học FMNN bao gồm 3 bước: tạo và mở rộng các hyperbox, kiểm tra chồng lấn giữa các hyperbox, co lại các hyperbox nếu có chống lấn. Các bước 1-3 được thực hiện trên mỗi mẫu đầu vào. 2.2. Cắt tỉa hyperbox sử dụng GA Để cắt tỉa các hyperbox có chỉ số sử dụng thấp, mạng nơron min-max mờ sử dụng giải thuật di truyền (GA) [14]. Quá trình chung của hoạt động di truyền được thực hiện như sau: 1. Khởi tạo: Khởi tạo quần thể ban đầu bằng cách sinh ngẫu nhiên chuỗi nhị phân bao gồm tất cả các hyperbox. 2. Chọn lọc: Chọn các cặp từ chuỗi ban đầu với xác suất lựa chọn theo giá trị tối thiểu của hàm mục tiêu cho mỗi cá thể trong quần thể. 3. Tạo quần thể mới: Tạo quần thể mới bằng cách lai ghép chéo từ các cá thể hiện tại có chọn lọc, đồng thời tạo ra các đột biến trong quần thể mới theo một xác suất nhất định. 4. Thay thế ngẫu nhiên: Các cá thể trong quần thể mới sinh ra được thay thế cho các cá thể trong quần thể cũ bằng cách thay thế ngẫu nhiên một cá thể cũ bằng một cá thể mới với giá trị hàm mục tiêu lớn nhất. 5. Điều kiện dừng: Nếu các điều kiện dừng thỏa thì giải thuật dừng lại, nếu không thì quay lại bước 2. 2.3. Rút trích luật quyết định từ mạng nơron min - max mờ Mỗi hyperbox được sử dụng để kết xuất thành một luật quyết định “ifthen”. Các giá trị min và max được định lượng thành các mức Q trong khoảng [0,1] tương đương số phân vùng mờ trong quy tắc định lượng [1]. Các luật ifthen mờ được định nghĩa theo (1): 1 : j p q pn q p j Rule R If x is A and x is A Then x is C  (1) Nghiên cứu khoa học công nghệ Tạp chí Nghiên cứu KH&CN quân sự, Số Đặc san CNTT, 11 - 2018 19 với xp là mẫu vào n chiều, Aq là giá trị tiền đề, Cj là cụm thứ j th. 3. ĐỀ XUẤT THUẬT TOÁN CẢI TIẾN Mô hình đề xuất MSS-FMM (Modified SS-FMM) (Hình 1), sử dụng giải thuật di truyền cắt tỉa các hyperbox có chỉ số thấp và kết xuất các luật quyết định. Hình 2 mô tả sơ đồ thuật toán học MSS-FMM, dữ liệu vào là các mẫu dữ liệu đi cùng nhãn trong tập huấn luyện. Các mẫu dữ liệu có nhãn được đưa vào trước, các mẫu dữ liệu không có nhãn được đưa vào sau. MSS-FMM gán nhãn cho tất cả các hyperbox mới tạo ra trong mạng từ các mẫu không có nhãn sau khi kết thúc quá trình một lần duyệt qua các mẫu dữ liệu. Dữ liệu vào Huấn luyện mạng nơron min max mờ Mở rộng siêu hộp Kiểm tra chồng lấn Điều chỉnh chồng lấn Gán nhãn cho hyperbox Cắt tỉa hyperbox Kết xuất luật Hình 1. Mô hình MSS-FMM với kết xuất luật quyết định. Tập dữ liệu huấn luyện D gồm m cặp được sắp {Ah,dl}, Ah là mẫu vào thứ h, {0,1,2,..., }ld p là nhãn đi kèm mẫu đầu vào, Ah đi kèm với dl = 0 được coi là mẫu huấn luyện không có nhãn. Thuật toán học MSS-FMM gán nhãn cho các mẫu chưa được gán nhãn, tạo và gán nhãn cho các hyperbox. Với các mẫu vào không có nhãn, thuật toán học xem xét các khả năng: 1) Nếu mẫu vào thỏa mãn điều kiện ràng buộc mở rộng (2), điều chỉnh các điểm min, max của hyperbox theo (3), (4), gán nhãn của mẫu theo nhãn của hyperbox.      1 1 max , min , n ji hi ji hi i w a v a n     (2)  min , 1, 2,...,new oldji ji hiv v a i n   (3)  max , 1, 2,...,new oldji ji hiw w a i n   (4) 2) Nếu mẫu vào không thỏa mãn điều kiện ràng buộc mở rộng (2), tạo hyperbox mới Hnew và xem xét các khă năng: 2.1) Nếu tồn tại một Bj thỏa mãn (5). Gán nhãn cho Hnew theo nhãn của Bj, thêm hyperbox Hnew vào tập B. Công nghệ thông tin V. Đ. Minh, N. D. Cường, “Học bám sát trong mạng nơron rút trích luật quyết định.” 20 Hình 2. Sơ đồ thuật toán học MSS-FMM.   , 1,...,  h jA Bmax E j q (5) với  ,h jA B E được xác định theo công thức (6):     2 , 1 1 1     h j n ji hiA B i E c a n (6) cji được tính theo công thức (7): 2 ji ji ji v w c   (7) đ Có chồng lấn hyperbox? Co lại hyperbox {Ah,dl}D Tất cả dữ liệu vào đã hết? s Kết thúc Gán nhãn cho hyperbox theo nhãn của Ah Bắt đầu Có hyperbox nào chứa được Ah? Mở rộng hyperbox s đ s đ Nhãn của dl=0? Tạo hyperbox Gp mới; G = G{Gp} đ Tạo hyperbox Bj mới; B = B{Bj} s Không còn hyperbox nào trong G? Chọn hyperbox Gp  G Tính tâm dữ liệu (Cp) của hyperbox Gp ; Tìm độ thuộc lớn nhất giữa Cp và hyperbox BjB; Gán nhãn cho Gp theo Bj G = G\{Gp} ; B = B{Gp} y Nghiên cứu khoa học công nghệ Tạp chí Nghiên cứu KH&CN quân sự, Số Đặc san CNTT, 11 - 2018 21 2.2) Nếu không tồn tại Bj thỏa mãn (5). Gán nhãn cho Hnew bằng 0, thêm Hnew vào tập G. 3) Sau khi kết thúc quá trình duyệt một lần qua các mẫu, thuật toán học tính tâm dữ liệu của các hyperbox GpG theo (8): 1 1 N pi ji j c a N    (8) với cpi là tâm của hyperbox Gp theo chiều thứ i, N là tổng số mẫu thuộc hyperbox Gp, aji là chiều thứ i của mẫu aj. Với mỗi hyperbox Gp, tìm hyperbox Bj có độ thuộc tương ứng với cp theo (9). Gán nhãn cho hyperbox Gp là nhãn của hyperbox có độ thuộc lớn nhất, chuyển Gp sang tập B.       1 1 , , W 1 , , n j h j j hi ji ji hi i b A V f a w f v a n           (9) 4. THỰC NGHIỆM 4.1. Dữ liệu thực nghiệm Các thực hiện thực nghiệm được tiến hành trên các tập dữ liệu Aggregation, Flame, Pathbased, Spiral, Jain, R15, Iris, Thyroid, Wine từ kho dữ liệu học máy UCI và một bộ dữ liệu của các bệnh nhân đến khám và điều trị xơ gan (Cirrhosis) được thu thập tại bệnh viện Gang thép Thái Nguyên và bệnh viện Đa khoa TW Thái Nguyên. Thông tin về các tập dữ liệu trên bảng 1. Bảng 1. Thông tin các tập dữ liệu thực nghiệm. TT Data Số mẫu Số đặc tính Số nhóm 1 Flame 240 2 2 2 Jain 373 2 2 3 Spiral 312 2 3 4 Aggregation 788 2 7 5 Pathbased 317 2 3 6 R15 600 2 15 8 Iris 150 4 3 9 Thyroid 215 5 3 10 Wine 178 13 3 11 Cirrhosis 320 4 2 Tập dữ liệu Cirrhosis gồm 320 bệnh nhân đến khám và điều trị bệnh do rối loạn men gan gồm 2 nhóm: nhóm 1 gồm 150 hồ sơ bệnh nhân không bị xơ gan; nhóm 2 gồm 170 hồ sơ bệnh nhân được chẩn đoán là xơ gan. 4 thông tin là thuộc tính đầu vào cho thực nghiệm bao gồm: Tuổi, men AST, men ALT, tiểu cầu. 4.2. Thực nghiệm và đánh giá Công nghệ thông tin V. Đ. Minh, N. D. Cường, “Học bám sát trong mạng nơron rút trích luật quyết định.” 22 4.2.1. Thực nghiệm trên bộ dữ liệu chuẩn Các tham số bao gồm:  = 10, β = 0.99,  = 0.9. Sử dụng phương pháp kiểm tra chéo “k-fold”, với k = 10 để đánh giá. Bảng 2 biểu diễn kết quả thực nghiệm trên các tập dữ liệu từ UCI của MSS- FMM. Acc là độ đo Accuracy trên tập dữ liệu, NoH là tổng số hyperbox, max là giới hạn kích thước tối đa của hyperbox. Bảng 2. Kết quả thực nghiệm trên tập dữ liệu chuẩn. Tập dữ liệu Tỉ lệ mẫu có nhãn/tổng số mẫu 10% 90% max Acc (%) NoH max Acc (%) NoH Aggregation 0.015 99.37 160 0.015 99.87 157 Flame 0.015 98,75 47 0.015 99,58 45 Jain 0.03 100 42 0.03 100 43 Sprial 0.02 100 63 0.02 100 62 Pathbased 0.02 97,81 65 0.02 99,04 64 R15 0.015 99 150 0.015 99,33 150 Iris 0.015 96,00 80 0.015 96,67 80 Thyroid 0.005 90,32 163 0.01 97,68 162 Wine 0.015 77,61 140 0.01 95,00 139 Hình 3. Mô phỏng kết quả thực nghiệm trên tập dữ liệu Flame. Hình 3 mô phỏng kết quả thực nghiệm trên tập dữ liệu Flame với số mẫu trong tập dữ liệu huấn luyện lần lượt là 10%, 50%, 90%. Kết quả thực nghiệm cho thấy MSS-FMM có kết quả tốt, đạt 100% trên tập dữ liệu Jain và Sprial, đạt 99% với Aggregation, Flame, Pathbased và trên 96% với các tập còn lại. Khi tăng giá trị max, độ đo Accuracy giảm. Độ đo Accuracy giảm ít khi giảm tỉ lệ mẫu có nhãn trong tập dữ liệu huấn luyện giảm dần. Nghiên cứu khoa học công nghệ Tạp chí Nghiên cứu KH&CN quân sự, Số Đặc san CNTT, 11 - 2018 23 Bảng 3 so sánh kết quả thực nghiệm trên tập dữ liệu Thyroid khi thay đổi tỉ lệ mẫu có nhãn. Kết quả cho thấy MSS-FMM tốt hơn so với GFMM [5] và RFMN [8] và tương đương với SS-FMM [13]. Bảng 3. So sánh kết quả thực nghiệm của MSS-FMM với các phương thức khác. Tập dữ liệu 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % GFMM (%) 71.5 74.7 75.4 77.9 87.9 91.7 92.6 94.5 95.84 RFMN (%) 74.1 76.9 87.9 88.0 91.6 92.6 94.4 95.7 96.3 SS-FMM (%) 90.3 94.4 95.8 96.3 97.6 97.6 97.6 97.2 97.6 MSS-FMM (%) 90.3 92.2 95.8 96.3 96.3 96.7 97.6 97.6 97.6 Bảng 4 so sánh kết quả thực nghiệm của MSS-FMM với một số phương thức khác trên tập dữ liệu Thyroid, Wine, Iris. Kết quả cho thấy MSS-FMM tốt hơn so với FMM-CF[9], FMM-GA [14] và tương đương với SS-FMM [13]. Bảng 4. So sánh kết quả thực nghiệm của MSS-FMM với phương thức khác. Tập dữ liệu max FMNN (%) FMM- CF (%) FMM-GA (%) SS-FMM (%) MSS- FMM (%) Thyroid 0.02 81.92 87.76 92.63 94.46 93.86 Wine 0.015 91.67 91.11 93.33 96.11 96.11 Iris 0.02 92.81 92.16 95.42 96.00 96.00 4.2.2. Thực nghiệm trên cơ sở dữ liệu bệnh nhân Trong các thực nghiệm, phương pháp đánh giá các kết quả theo thống kê để tính trung bình bao gồm các chỉ số: Giá trị dự đoán (Acc), độ nhạy (AccSe), độ đặc hiệu (AccSp), giá trị dự đoán âm (NPV), giá trị dự đoán dương (PPV). Bảng 5 là kết quả so sánh các chỉ số được thực hiện bởi FMNN, FMM-CF, FMM-GA, SS-FMM và MSS-FMM. MSS-FMM có kết quả tốt hơn so với FMM-CF, FMM-GA, FMNN và tương đương với SS-FMM. Bảng 5. Thống kê kết quả các giá trị dự báo. Thuật toán Acc (%) AccSe (%) AccSp (%) PPV (%) NPV (%) FMNN 85.94 88.82 88.00 88.82 83.02 FMM-CF 91.56 91.33 90.00 91.33 91.84 FMM-GA 95.00 95.83 95.33 95.83 94.08 SS-FMM 95.94 95.91 95.33 95.91 95.97 MSS-FMM 95.31 95.32 94.67 95.32 95.30 Công nghệ thông tin V. Đ. Minh, N. D. Cường, “Học bám sát trong mạng nơron rút trích luật quyết định.” 24 Bảng 6 biểu diễn các luật tạo thành được rút trích từ các hyperbox với giới hạn kích thước max = 0.09, tổng số hyperbox là 12 tương ứng với 12 luật. Với A1, A2, A3, A4 là các đặc tính. C là kết quả chẩn đoán: 1 là có bệnh, 0 là không có bệnh. Bảng 6. Rút trích các luật quyết định. Luật If Then (C) Luật If Then (C) A1 A2 A3 A4 A1 A2 A3 A4 R1 3-5 4-5 4-5 5 1 R7 2-3 3 3 5 1 R2 4-5 4 4 4-5 1 R8 4-5 3 3 3-4 1 R3 3-4 3 3 4-5 1 R9 2-3 2 2 2 0 R4 2-3 3 3 3-4 1 R10 1-2 2 2 2 0 R5 4-5 3 3 3-4 1 R11 2-4 2 2 1 0 R6 3-4 3 3 4 1 R12 4-5 2 2 1 0 5. KẾT LUẬN Bài báo đã trình bày mô hình mạng nơron phân cụm dữ liệu min-max mờ MSS-FMM được cải tiến từ mô hình SS-FMM. MSS-FMM sử dụng phương pháp học bán giám sát với phương pháp lan truyền nhãn. Các kết quả thực nghiệm cho thấy MSS-FMM có kết quả tốt hơn FMNN, FMM-CF, FMM-GA. Tuy nhiên, để đạt được hiệu suất tốt MSS-FMM đòi hỏi thời gian và kinh nghiệm bằng việc “thử sai” nhiều lần để xác định các tham số điều chỉnh. Ngoài ra, việc xác định kích thước giới hạn chung cho tất cả các cụm (hyperbox) bằng ngưỡng  là một vấn đề cần phải xem xét, do thực tế kích thước và mật độ dữ liệu của mỗi cụm dữ liệu trong không gian đầu vào là hoàn toàn khác nhau. Đây cũng là một hướng nghiên cứu tiếp theo cần được xem xét. TÀI LIỆU THAM KHẢO [1]. Carpenter, G. A., & Tan, A. H. (1995). "Rule extraction: From neural architecture to symbolic representation". Connection Science, 7(1), 3-27. [2]. Chaudhari, B. M., Patil, R. S., Rane, K. P., & Shinde, U. B. (2010, August). Online Signature Classification Using Modified Fuzzy Min-Max Neural Network with Compensatory Neuron Topology. In International Conference on Contemporary Computing (pp. 467-478). Springer, Berlin, Heidelberg. [3]. Davtalab, R., Dezfoulian, M. H., & Mansoorizadeh, M. (2014). Multi-level fuzzy min-max neural network classifier. IEEE transactions on neural networks and learning systems, 25(3), 470-482. [4]. Davtalab, R., Parchami, M., Dezfoulian, M. H., Mansourizade, M., & Akhtar, B. (2012, February). M-FMCN: modified fuzzy min-max classifier using Nghiên cứu khoa học công nghệ Tạp chí Nghiên cứu KH&CN quân sự, Số Đặc san CNTT, 11 - 2018 25 compensatory neurons. In Proceedings of the 11th WSEAS international conference on Artificial Intelligence, Knowledge Engineering and Data Bases(pp. 77-82). World Scientific and Engineering Academy and Society (WSEAS). [5]. Gabrys, B., & Bargiela, A. (2000). General fuzzy min-max neural network for clustering and classification. IEEE transactions on neural networks, 11(3), 769-783. [6]. Mohammed, M. F., & Lim, C. P. (2015). An enhanced fuzzy min–max neural network for pattern classification. IEEE transactions on neural networks and learning systems, 26(3), 417-429. [7]. Nandedkar, A. V., & Biswas, P. K. (2009). A granular reflex fuzzy min–max neural network for classification. IEEE Transactions on Neural Networks, 20(7), 1117-1134. [8]. Nandedkar, A. V., & Biswas, P. Κ. (2008). Reflex Fuzzy Min Max Neural Network for Semi-supervised Learning. Journal of Intelligent Systems, 17(1- 3), 5-18. [9]. Quteishat, A., & Lim, C. P. (2008, September). Application of the fuzzy min- max neural networks to medical diagnosis. In International Conference on Knowledge-Based and Intelligent Information and Engineering Systems (pp. 548-555). Springer, Berlin, Heidelberg. [10]. Seera, M., Lim, C. P., Ishak, D., & Singh, H. (2012). Fault detection and diagnosis of induction motors using motor current signature analysis and a hybrid FMM–CART model. IEEE transactions on neural networks and learning systems, 23(1), 97-108. [11]. Simpson, P. K. (1992). Fuzzy min-max neural networks. I. Classification. IEEE transactions on Neural Networks, 3(5), 776-786. [12]. Simpson, P. K. (1993). Fuzzy min-max neural networks-part 2: Clustering. IEEE Transactions on Fuzzy systems, 1(1), 32-45. [13]. Vu, D. M., Nguyen, V. H., & Le, B. D. (2016, December). Semi-supervised Clustering in Fuzzy Min-Max Neural Network. In International Conference on Advances in Information and Communication Technology (pp.541-550). Springer International Publishing. [14]. Wang, J., Lim, C. P., Creighton, D., Khorsavi, A., Nahavandi, S., Ugon, J., ... & Freischmidt, A. (2015). "Patient admission prediction using a pruned fuzzy min–max neural network with rule extraction". Neural Computing and Applications, 26(2), 277-289 [15]. Zhang, H., Liu, J., Ma, D., & Wang, Z. (2011). Data-core-based fuzzy min– max neural network for pattern classification. IEEE transactions on neural networks, 22(12), 2339-2352 Công nghệ thông tin V. Đ. Minh, N. D. Cường, “Học bám sát trong mạng nơron rút trích luật quyết định.” 26 ABSTRACT SEMI-SUPERVISED LEARNING IN FUZZY MIN-MAX NEURAL NETWORK FOR CLUSTERING WITH RULE EXTRACTION This paper proposes a modified fuzzy min-max neural network for data clustering with semi-supervised learning. The proposed model combines both unsupervised and supervised learning methods during training called MSS- FMM. Some samples in the training data set are labeled as supplementary information used in the semi-supervised clustering method. Our study was validated on published data sets and the dataset included 320 patients who came for the treatment and treatment of chronic hepatitis in Thai Nguyen hospitals. The experimental results were compared with the experimental results of the fuzzy min-max neural networks proposed by other researchers. Our solution has dramatically improved the classification accuracy. Keywords: Fuzzy min-max neural network; Clustering; Unsupervised; Supervised; Semi-supervised. Nhận bài ngày 29 tháng 06 năm 2018 Hoàn thiện ngày 04 tháng 10 năm 2018 Chấp nhận đăng ngày 05 tháng 11 năm 2018 Địa chỉ: 1 Trường Cao đẳng Công nghiệp Thái Nguyên; 2 Viện Khoa học và Công nghệ quân sự. *Email: vmc802@gmail.com