Ứng dụng thuật toán PCA trong nhận dạng ngôn ngữ cử chỉ tiếng Việt tĩnh - Nguyễn Thị Hương Thảo

Công nghệ thông tin & Cơ sở toán học cho tin học N.T.H. Thảo, L.X. Thành, V. H. Tiến, “Ứng dụng thuật toán PCA cử chỉ tiếng Việt tĩnh.” 118 ỨNG DỤNG THUẬT TOÁN PCA TRONG NHẬN DẠNG NGÔN NGỮ CỬ CHỈ TIẾNG VIỆT TĨNH Nguyễn Thị Hương Thảo, Lê Xuân Thành*, Vũ Hữu Tiến Tóm tắt: Hiện nay, cử chỉ tay là một trong các mối quan tâm chính đối với người khiếm thính vì họ sử dụng ngôn ngữ cử chỉ để giao tiếp với nhau và giao tiếp với người bình thường. Đối với người bình thường nếu không biết hoặc gặp khó khăn với ngôn ngữ cử chỉ của người khiếm thính thì cần phải có thông dịch viên hỗ trợ quá trình giao tiếp. Do đó, một hệ thống nhận dạng ngôn ngữ cử chỉ bàn tay tự động là rất cần thiết để giúp đỡ những người khiếm thính hòa nhập vào cuộc sống bình thường. Về mặt kỹ thuật, nhận dạng ngôn ngữ cử chỉ là một bài toán toàn diện vì phải có sự kết hợp của các giai đoạn thu nhận ảnh, xử lý ảnh, phân tích và nhận dạng ảnh. Bài báo này đề xuất phương pháp xử lý hình ảnh sau khi thu nhận và áp dụng kỹ thuật phân tích thành phần chính PCA (Principle Component Analysis) để nhận dạng cử chỉ dựa trên các hình ảnh sau khi xử lý đó. Các kết quả thực nghiệm cho thấy hệ thống đề xuất đã đạt được tỉ lệ nhận dạng cao. Từ khóa: PCA, Nhận dạng cử chỉ, Ngôn ngữ cử chỉ tiếng Việt. 1. GIỚI THIỆU Ngôn ngữ cử chỉ là loại ngôn ngữ sử dụng cử chỉ bàn tay, biểu cảm của khuôn mặt và chuyển động của cơ thể để truyền đạt ý nghĩa giữa những người khiếm thính với nhau và với người bình thường. Ngôn ngữ cử chỉ tay cũng được sử dụng trong nhiều các ứng dụng khác như tương tác người – máy, hiện thực ảo, trò chơi tương tác. Vì vậy hiện nay nhận dạng ngôn ngữ cử chỉ là một lĩnh vực thu hút nhiều các nhà nghiên cứu tập trung tìm hiểu. Điều này giúp cho những người khiếm thính có cơ hội giao tiếp với người bình thường một cách dễ dàng hơn. Nhiều nghiên cứu trước đây đã thực hiện với các ngôn ngữ khác nhau như ngôn ngữ cử chỉ Mỹ Latin, ngôn ngữ cử chỉ Ấn Độ, ngôn ngữ cử chỉ Anh. Tuy nhiên chưa có nhiều bài báo đề cập đến ngôn ngữ cử chỉ Tiếng Việt VSL (Vietnamese Sign Language). Bài báo này đề xuất một hệ thống nhận dạng cử chỉ tay mà người sử dụng không cần phải sử dụng thiết bị chuyên dụng nào như găng tay mà chỉ thực hiện cử chỉ bằng tay trần trước camera cố định sẵn. Hệ thống thực hiện nhận dạng các chữ cái Tiếng Việt qua cử chỉ bàn tay tĩnh bằng cách sử dụng kỹ thuật PCA. Hệ thống nhận dạng cử chỉ tay có bốn giai đoạn: thu nhận dữ liệu, mô hình hóa cử chỉ, trích chọn đặc trưng và nhận dạng. Thu nhận dữ liệu có thể thực hiện bằng cách sử dụng găng tay. Găng tay dữ liệu sử dụng cảm biến (cơ hoặc quang) được gắn vào găng tay để chuyển đổi cử chỉ ngón tay thành tín hiệu điện. Từ đó có thể xác định được vị trí tương ứng của các ngón tay. Cử chỉ tay cũng có thể được thu nhận bằng camera/webcam/Kinect 3D. Cách này có giá thành thấp và người sử dụng có thể tạo ra các cử chỉ một cách dễ dàng. Trong một số các công trình nghiên cứu trước đây sử dụng ảnh tĩnh để phân tích và nhận dạng, họ thường sử dụng camera để bắt giữ hình ảnh. Tuy nhiên, phương pháp này không thích hợp trong thực tế. Đối với các ứng dụng thời gian thực thường sử dụng webcam để bắt giữ một chuỗi video cử động của bàn tay. Trong phương pháp này, các khung hình Nghiên cứu khoa học công nghệ Tạp chí Nghiên cứu KH&CN quân sự, Số 45, 10 - 2016 119 được phân tích để tách ra ảnh cử chỉ bàn tay. Vấn đề chính trong phương pháp này là tìm ra khung hình nào chứa cử chỉ cuối cùng. Sau giai đoạn thu nhận dữ liệu là mô hình hóa cử chỉ. Bàn tay cần được mô hình hoá để xử lý một cách chính xác. Các mô hình khác nhau được lựa chọn tùy theo từng ứng dụng cụ thể. Giai đoạn này thực hiện phân vùng bàn tay và tiền xử lý. Phân vùng bàn tay thực hiện tách bàn tay khỏi bức ảnh và tiền xử lý là quá trình cải thiện chất lượng bức ảnh và cắt ra đúng vùng liên quan để xử lý tiếp theo. Quá trình phân vùng chính xác sẽ giúp trích chọn đặc trưng hoàn hảo. Phương pháp trích chọn đặc trưng được xem xét kỹ lưỡng tùy vào các ứng dụng khác nhau. Giai đoạn cuối cùng của hệ thống nhận dạng cử chỉ tay là phân loại cử chỉ. Có rất nhiều phương pháp phân loại như Mô hình Markov ẩn HMM, phân tích thành phần chính PCA, phân loại theo khoảng cách, mạng neural. Nhận dạng cử chỉ tay gồm nhiều kỹ thuật khác nhau [1]. Các nhà nghiên cứu sử dụng các kỹ thuật khác nhau và đạt được độ chính xác khá cao. Phương pháp trong tài liệu [2] đề xuất hệ thống nhận dạng ngôn ngữ cử chỉ Ấn Độ trong video trực tiếp sử dụng trị riêng và vector riêng để trích chọn đặc trưng. Jayashree R.Pansare và đồng nghiệp [3] đề xuất hệ thống nhận dạng cử chỉ tay tĩnh thời gian thực đối với ngôn ngữ cử chỉ Mỹ Latinh trên nền phức tạp. Hệ thống thực hiện tiền xử lý ảnh với bộ lọc trung vị và các toán tử hình thái, trích chọn đặc trưng sử dụng centroid và phân loại sử dụng khoảng cách Euclidean. S.Nagarajan và T.S.Subashini [4] giới thiệu hệ thống nhận dạng cử chỉ bàn tay tĩnh mô tả các chữ cái ngôn ngữ ký hiệu Mỹ. Đóng góp chính của bài báo là sử dụng lược đồ xám hướng biên để trích chọn đặc trưng và nhận dạng bằng SVM nhiều lớp tuy nhiên hệ thống chỉ thực hiện với nền đồng nhất. [5] đề xuất hệ thống nhận dạng ngôn ngữ Đài Loan với cả hai loại cử chỉ tay tĩnh và động sử dụng SVM và HMM, tuy nhiên hệ thống yêu cầu người sử dụng phải đeo găng tay màu trong quá trình thu nhận ảnh. Bài báo này đề xuất hệ thống nhận dạng cử chỉ bàn tay dựa trên kỹ thuật PCA [6-7] đối với ngôn ngữ tiếng Việt và đánh giá tính hiệu quả của các phương pháp khi sử dụng khoảng cách Euclidean để phân loại. Trong quá trình mô hình hóa cử chỉ, bài báo đề xuất phương pháp tách bàn tay khỏi nền, giúp cho quá trình nhận dạng được chính xác hơn. Bài báo được cấu trúc như sau. Phần II đề xuất hệ thống nhận dạng cử chỉ tay. Các kết quả thực nghiệm được mô tả và phân tích được mô tả phần III. Cuối cùng là kết luận được đưa ra trong phần IV. 2. HỆ THỐNG ĐƯỢC ĐỀ XUẤT Sơ đồ hệ thống đề xuất được mô tả trong hình 1. 2.1. Thu nhận dữ liệu Giai đoạn đầu tiên của hệ thống là thu nhận dữ liệu. Ảnh được thu nhận bằng camera của máy tính với độ phân giải 5 Megapixel. Người sử dụng thực hiện các cử chỉ bằng tay trần trước camera trong khoảng cách 1m. Để chụp được ảnh tĩnh của cử chỉ, hệ thống sử dụng giải pháp thông báo để người sử dụng giữ nguyên tư thế bàn tay trong khoảng 5ms. Công nghệ thông tin & Cơ sở toán học cho tin học N.T.H. Thảo, L.X. Thành, V. H. Tiến, “Ứng dụng thuật toán PCA cử chỉ tiếng Việt tĩnh.” 120 Trong thí nghiệm này, hệ thống được thử nghiệm với các ảnh cử chỉ tay mô tả 25 chữ cái tiếng Việt. Cơ sở dữ liệu gồm 250 ảnh tương ứng với 25 lớp chữ cái. Mỗi lớp chữ cái gồm 10 ảnh được thực hiện bởi hai người khác nhau trong điều kiện ánh sáng khác nhau trên nền trắng đơn giản. Tập cơ sở dữ liệu của ngôn ngữ Tiếng Việt được cho trong hình 2. Hình 1. Sơ đồ hệ thống nhận dạng. Hình 2. Ký hiệu ngôn ngữ cử chỉ tiếng Việt. 2.2. Chuẩn hóa dữ liệu Sơ đồ khối của tầng chuẩn hóa hình ảnh được mô tả trong hình 3. Để có thể nhận dạng được hình ảnh, trước giai đoạn nhận dạng, các hình ảnh phải được chuẩn hóa để hệ thống có thể rút ra các đặc trưng của các ảnh. Trong hệ thống được đề xuất, ảnh chuẩn hóa là các ảnh nhị phân có kích thước 100x100. Để có thể phân vùng được cử chỉ tay, ảnh RGB đầu vào được chuyển thành ảnh YCrCb với mục đích sử dụng hai kênh màu Cr và Cb để chọn vùng da bàn tay. Với việc sử dụng hai kênh màu như vậy, ảnh được xử lý sẽ ít bị tác động với sự thay đổi của ánh sáng. Trong hệ thống được đề xuất, để chọn vùng da bàn tay, giá trị Cr được chọn trong khoảng từ 146 đến 165 và Cb được chọn trong khoảng từ 140 đến 195. Do quá trình tách ảnh bàn tay dựa trên giá trị ngưỡng của Cr và Cb nên một số vùng trên ảnh bị sai lệch, tạo ra những vùng trống trên ảnh. Do đó ảnh sau khi tách được xử lý để loại bỏ vùng trống không mong muốn. Để đơn giản cho việc xử lý nhận dạng, ảnh YCrCb được biến đổi sang ảnh nhị phân. Quá trình này giúp cho việc xử lý giảm từ 3 ma trận Y, Cr, Cb xuống còn một ma trận ảnh nhị phân. Do việc chọn ngưỡng trong quá trình biến đổi nhị phân, ảnh sẽ xuất hiện các vùng khuyết không mong muốn. Do vậy việc loại bỏ các vùng khuyết được tiến hành một lần nữa. Tuy nhiên, trong một số ảnh, việc loại bỏ này có thể làm mất nội dung của ảnh. Vì vậy, thuật toán tìm vùng trống lớn nhất để giữ lại được sử dụng để không làm thay đổi hình dạng đối tượng trong ảnh. Cuối cùng, phép xử lý hình thái (phép đóng) được sử dụng để hình ảnh đối tượng được hoàn chỉnh hơn. Nghiên cứu khoa học công nghệ Tạp chí Nghiên cứu KH&CN quân sự, Số 45, 10 - 2016 121 Hình 3. Các bước xử lý trong quá trình mô hình hóa cử chỉ. 2.3. Trích chọn đặc trưng và phân loại Trong giai đoạn nhận dạng sử dụng thuật toán PCA để trích chọn đặc trưng của ảnh và phân loại ảnh đầu vào. Cụ thể là các trị riêng và vector riêng được coi là đặc trưng của ảnh đầu vào. Đối với giai đoạn phân loại, khoảng cách Euclidean được sử dụng để so sánh đặc trưng của ảnh đầu vào với đặc trưng của các ảnh được lưu trữ trong cơ sở dữ liệu. Ảnh nào trong cơ sở dữ liệu có khoảng cách Euclidean ngắn nhất sẽ được coi là giống với bức ảnh đầu vào nhất. Các bước của giai đoạn nhận dạng được mô tả như sau: Bước 1: Tính vector phương sai của dữ liệu Giả sử rằng có M ảnh trong cơ sở dữ liệu để huận luyện bao gồm I1¸ I2,..., IM. Kích thước mỗi ảnh là NxN. Để tính trị riêng, mỗi ảnh Ii kích thước NxN được sắp xếp lại thành vector kích thước 1xN2. Vector trung bình của M ảnh được tính như sau: (1) Vector phương sai của mỗi ảnh được tính như sau: (2) Bước 2: Tính ma trận hiệp phương sai Ma trận hiệp phương sai C của các ảnh trong cơ sở dữ liệu được tính như sau: (3) trong đó, Bước 3: Tính trị riêng và vector riêng Trong bài báo này, kích thước của ảnh là 100x100 (N=100) và có 250 ảnh trong cơ sở dữ liệu (M=250). Vì vậy, kích thước của ma trận hiệp phương sai C là 1002 x 1002. Đây là ma trận có kích thước lớn và vì vậy việc tính vector riêng và trị riêng rất phức tạp. Để giảm khối lượng tính toán, [8] chứng minh rằng M trị riêng củaATA tương ứng với M trị riêng lớn nhất của AAT cùng với vector riêng tương ứng. M trị riêng củaAAT có thể được tính như sau: (4) trong đó, là trị riêng của ATA. Công nghệ thông tin & Cơ sở toán học cho tin học N.T.H. Thảo, L.X. Thành, V. H. Tiến, “Ứng dụng thuật toán PCA cử chỉ tiếng Việt tĩnh.” 122 Để đơn giản trong tính toán, chỉ có K (K<M) vector riêng (tương ứng với K trị riêng lớn nhất) được giữ lại. Trong bài báo này, chọn K = 30. Bước 4: Trích chọn đặc trưng của ảnh Sau khi lựa chọn K vector riêng của ảnh trong cơ sở dữ liệu, phương sai của mỗi ảnh cử chỉ bàn tay trong cơ sở dữ liệu được mô tả là tổ hợp tuyến tính của K vector riêng lớn nhất. (5) trong đó, . Mỗi cử chỉ bàn tay trong cơ sở dữ liệu được mô tả bằng một vector: (6) trong đó, là vector đặc trưng của ảnh thứ i trong cơ sở dữ liệu. Bước 5: Phân loại Với ảnh cử chỉ bàn tay đầu vào, vector đặc trưng được tính toán như sau: (7) trong đó, là giá trị ảnh đầu vào trừ đi ảnh trung bình của cử chỉ bàn tay trong cơ sở dữ liệu. Sau khi tách vector đặc trưng của ảnh đầu vào, vector đặc trưng này được so với vector đặc trưng của ảnh trong cơ sở dữ liệu dựa vào khoảng cách Euclidean. Khoảng cách Euclidean được tính như sau: (8) Ảnh trong cơ sở dữ liệu với er tối thiểu là ảnh gần giống nhất với ảnh đầu vào. Ảnh giống nhất được coi là kết quả quá trình đối sánh của ảnh đầu vào. Vì vậy, ký tự tương ứng với ảnh kết quả đó được coi là kết quả của quá trình nhận dạng cử chỉ tay. 3. MÔ PHỎNG VÀ PHÂN TÍCH KẾT QUẢ Để đánh giá hiệu quả sử dụng thuật toán PCA trong việc nhận dạng ngôn ngữ chữ cái tiếng Việt, mô phỏng được thực hiện trên tập cơ sở dữ liệu 250 ảnh mô tả 25 chữ cái tiếng Việt. Tất cả các ảnh đều được chuẩn hóa bằng cách cắt và định lại kích cỡ 100 x 100 pixel. Hệ thống kiểm tra với 25 ký tự với mỗi lớp ký tự gồm 10 ảnh và thực hiện đánh giá dựa trên tỉ lệ nhận dạng thành công. Hệ thống VSL được thực hiện trên phần mềm MATLAB phiên bản 7.6, Windows 8.1, 2 GB RAM và webcam có độ phân giải 5 Megapixel. Bảng 1 mô tả kết quả của hệ thống đề xuất khi nhận dạng 25 chữ cái tiếng Việt với tỉ lệ thành công lên tới 80.4%. Kết quả chỉ ra rằng tỉ lệ thành công của các chữ cái “B, D, H, O, T” thấp vì chúng có hình dạng khá giống nhau. Vì vậy hệ thống đôi khi nhận dạng nhầm. Đối với các chữ cái như “A, E, K, L, N, P, Q, S, U, X” ảnh cử chỉ bàn tay có chất lượng tốt sau giai đoạn tiền xử lý. Vì vậy hệ thống đạt được tỉ lệ nhận dạng cao đối với các chữ cái này. Ngoài ra, do đối tượng ảnh cử chỉ Nghiên cứu khoa học công nghệ Tạp chí Nghiên cứu KH&CN quân sự, Số 45, 10 - 2016 123 được tách ra đầy đủ và được chuẩn hóa tốt hơn nên hệ thống được đề xuất đạt được tỷ lệ thành công cao hơn so với phương pháp trong tài liệu [2]. Bảng 1. Bảng so sánh kết quả nhận dạng. Ký tự Tỷ lệ thành công (%) (Phương pháp đề xuất) Tỷ lệ thành công (%) (Phương pháp trong tài liệu [2] A 100 100 B 50 25 C 75 75 D 50 50 Đ 75 75 E 100 100 G 80 80 H 50 100 I 75 75 K 100 100 L 100 100 M 75 75 N 100 100 O 50 50 P 100 100 Q 100 100 R 75 100 S 100 75 T 50 50 U 100 100 V 75 75 X 100 75 Y 75 50 Dấu móc 75 75 Dấu mũ 80 80 Tổng 80.4 79.4 4. KẾT LUẬN Trong bài báo này thực hiện đánh giá hệ thống nhận dạng ngôn ngữ cử chỉ tiếng Việt sử dụng kỹ thuật PCA. Kết quả mô phỏng cho thấy tỉ lệ nhận dạng thành công là 80.4% . Kết quả cũng cho thấy một số các chữ cái bị nhận dạng sai vì chúng có ảnh cử chỉ bàn tay khá giống nhau. Tuy nhiên, bằng việc chuẩn hóa ảnh hợp lý và sử dụng phương pháp PCA để nhận dạng, tỉ lệ thành công của hệ thống được đề xuất đạt được cao hơn so với phương pháp được sử dụng trong bài báo [2]. Cụ thể, phương pháp chuẩn hóa được đề xuất đã sử dụng các bước để phân biệt giữa các vùng khuyết là nội dung của ảnh và vùng khuyết là nhiễu trong quá trình nhị phân gây ra. Đây là bước quan trọng để giúp quá trình phân loại đưa ra quyết định đúng vì có thể tránh được nhầm lẫn trong một số. Kết quả là phương pháp đề xuất đã đạt được tỷ lệ thành công là 80.4%, cao hơn phương pháp trong bài báo [2] là 1%. Công nghệ thông tin & Cơ sở toán học cho tin học N.T.H. Thảo, L.X. Thành, V. H. Tiến, “Ứng dụng thuật toán PCA cử chỉ tiếng Việt tĩnh.” 124 5. TÀI LIỆU THAM KHẢO [1]. A.R. Sarkar , G. Sanyal, S. Majumder, “Hand Gesture Recognition Systems: A Survey”, International Journal of Computer Applications, vol 71, 2013. [2]. J. Singha, K. Das, “Recognition of Indian Sign Language in Live Video”, International Journal of Computer Applications, Vol 70, 2013. [3]. J. R. Pansare, S. H. Gawande, M. Ingle, “Real-Time Static Hand Gesture Recognition for American Sign Language (ASL) in Complex Background”, Journal of Signal and Information Processing, 2012, vol 3, 364-367. [4]. S. Nagarajan, T.S. Subashini, “Static Hand Gesture Recognition for Sign Language Alphabets using Edge Oriented Histogram and Multi Class SVM”, International Journal of Computer Applications, vol82, 2013. [5]. C. Huang, B. Tsai, “A Vision-Based Taiwanese Sign Language Recognition”, 20th International Conference onPattern Recognition (ICPR), 2010. [6]. P. Karl, “Principla Component Analysis”, Second ed. Springer Series in Statistics. New Yorrk: Springer – Verlag New York, 1901. [7]. H. Harold, “Analysis of a Complex of Statistical Variables into Principal Components”, Journal of Educational Psychology, 24 (6&7), 417 – 441 & 498-520, 1933. [8]. M. Turk, A. Pentland, “Eigenfaces for recognition”, Journal of Cognitive Neuroscience, vol.3, no.1, pp. 71-86. ABSTRACT STATIC HAND GESTURE RECOGNITION SYSTEM FOR VIETNAMESE SIGN LANGUAGE (VSL) USING PRINCIPLE COMPONENT ANALYSIS Nowadays, a hand gesture is one of main considerations for hearing impaired people because they use the sign language to communicate with each other and to normal people. When normal people have difficulties with sign language, they need an interpreter supporting communication. Thus, an automatic hand gesture recognition system is needed to help hearing impaired people integrating into social community. In technical, sign language recognition is a comprehensive problem because of the combination of many stages including image receiving, image processing, image analysing and image recognition. This paper proposes a system using Principle Component Analysis (PCA) to recognize hand gestures based on processed images. The results showed that the proposed system can achived a high success rate. Key words: PCA, Hand gesture recognition, Vietnamese Sign language. Nhận bài ngày 30 tháng 11 năm 2015 Hoàn thiện ngày 19 tháng 9 năm 2016 Chấp nhận đăng ngày 26 tháng 10 năm 2016 §Þa chØ: 1 Bộ môn Lý thuyết mạch, Khoa Kỹ thuật điện tử 1, Học Viện Bưu chính Viễn thông. *Email: thanhqn80@gmail.com