Khóa luận Tái tạo mô hình khuôn mặt từ các điểm đặc trưng

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Đình Tƣ TÁI TẠO MÔ HÌNH KHUÔN MẶT TỪ CÁC ĐIỂM ĐẶC TRƢNG KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ Thông tin HÀ NỘI - 2010 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Đình Tƣ TÁI TẠO MÔ HÌNH KHUÔN MẶT TỪ CÁC ĐIỂM ĐẶC TRƢNG KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ Thông tin Cán bộ hƣớng dẫn: PGS.TS Bùi Thế Duy HÀ NỘI - 2010 Tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư i LỜI CẢM ƠN Lời đầu tiên em xin bày tỏ lòng biết ơn sâu sắc tới thầy giáo Bùi Thế Duy, thầy đã hướng dẫn em tận tình trong suốt năm học vừa qua. Em xin cảm ơn cô giáo Ma Thị Châu đã trao đổi, thảo luận và giúp đỡ em nhiều trong quá trình làm khóa luận này. Em xin bày tỏ lòng biết ơn tới các thầy, cô giáo trong Khoa Công nghệ thông tin – trường Đại học Công nghệ - ĐHQGHN. Các thầy cô đã dạy bảo, chỉ dẫn em và luôn tạo điều kiện tốt nhất cho em học tập trong suốt quá trình học đại học, đặc biệt là trong thời gian làm khóa luận tốt nghiệp. Tôi xin cảm ơn các anh, chị khóa trên và các bạn K51 trường Đại học Công nghệ đã chỉ dẫn cũng như cho những ý kiến đóng góp giá trị cho khóa luận này. Cuối cùng con xin gửi tới Bà, Bố Mẹ, Cậu Mợ, Chú Dì cùng toàn thể Gia đình lòng biết ơn và tình cảm yêu thương. Hà Nội, ngày 20/05/2010 Nguyễn Đình Tư Tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư ii TÓM TẮT Tái tạo mô hình khuôn mặt là việc khôi phục lại mô hình khuôn mặt từ hộp sọ của người chết hoặc từ nhiều ảnh hai chiều đầu vào. Tái tạo mô hình khuôn mặt đã và đang trở thành một vấn đề khoa học máy tính hiện đại. Vấn đề (bài toán) này được áp dụng rộng rãi trong nhiều ứng dụng thực tiễn. Bài toán được áp dụng và có ý nghĩa lớn trong việc xác định danh tính của người chết từ hộp sọ của họ trong các vụ án hình sự, trong công cuộc tìm mộ liệt sĩ hay trong khảo cổ học. Bài toán còn được ứng dụng trong tương tác người máy nhằm tạo ra những nhân vật ảo có khuôn mặt giống nhân vật thật đồng thời có khả năng giao tiếp, biểu hiện cảm xúc và thái độ qua gương mặt giống như con người. Hiện nay ở Việt Nam, tái tạo mô hình khuôn mặt đang thu hút được sự quan tâm đặc biệt. Các nhà nghiên cứu và viện pháp y quân đội đang bước đầu xây dựng một hệ thống tái tạo khuôn mặt từ hộp sọ để ứng dụng vào việc xác định danh tính của các liệt sĩ vô danh. Trong khóa luận này, chúng tôi trình bày về một hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng trên khuôn mặt. Hệ thống sử dụng mô hình đa mạng hàm cơ sở bán kính, Radial Basis Function (RBF) để biến đổi một mô hình khuôn mặt nguồn ra mô hình khuôn mặt đích. Mô hình đa mạng RBF được huấn luyện bởi tập các điểm đặc trưng trên khuôn mặt nguồn và tập các điểm đặc trưng trên khuôn mặt đích tương ứng. Hệ thống đã được thử nghiệm trên dữ liệu được tạo từ ảnh của những khuôn mặt thật và cho kết quả có triển vọng. Bên cạnh đó chúng tôi đã xây dựng được một quy trình tạo cơ sở dữ liệu phục vụ cho việc thẩm định hệ thống và có thể phục vụ cho các nghiên cứu khác có cùng đối tượng nghiên cứu. Tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư iii MỤC LỤC LỜI CẢM ƠN ......................................................................................................................................................... I TÓM TẮT ............................................................................................................................................................. II MỤC LỤC ........................................................................................................................................................... III DANH SÁCH HÌNH VẼ ..................................................................................................................................... IV DANH SÁCH BẢNG ............................................................................................................................................ V CHƢƠNG 1 GIỚI THIỆU ................................................................................................................................... 1 CHƢƠNG 2 CÁC PHƢƠNG PHÁP TÁI TẠO KHUÔN MẶT ....................................................................... 3 2.1 Giới thiệu chung về giải phẫu khuôn mặt ...............................................................................3 2.1.1 Xương mặt và hộp sọ ....................................................................................................................... 3 2.1.2 Giải phẫu cơ mặt .............................................................................................................................. 6 2.2 Các phương pháp biểu diễn mô hình khuôn mặt ....................................................................9 2.2.1 Tạo mô hình khuôn mặt với lớp da là lưới đa giác ........................................................................ 10 2.2.2 Tạo mô hình mặt người bằng bề mặt tham số ................................................................................ 13 2.3 Các phương pháp tái tạo khuôn mặt .....................................................................................15 2.3.1 Các phương pháp hai chiều (2D) ................................................................................................... 15 2.3.1.1 Phương pháp lồng sọ vào bức vẽ chân dung ........................................................................ 16 2.3.1.2 Phương pháp lồng sọ vào ảnh .............................................................................................. 16 2.3.2 Các phương pháp ba chiều (3D) .................................................................................................... 20 2.3.2.1 Các phương pháp 3D truyền thống ...................................................................................... 20 2.3.2.2 Các phương pháp 3D sử dụng công nghệ thông tin ............................................................. 25 CHƢƠNG 3 HỆ THỐNG TÁI TẠO MÔ HÌNH KHUÔN MẶT TỪ CÁC ĐIỂM ĐẶC TRƢNG .............. 31 3.1 Mô hình hệ thống ..................................................................................................................31 3.2 Chuẩn hóa dữ liệu .................................................................................................................34 3.2.1 Các phép biến đổi trong không gian ba chiều được sử dụng ......................................................... 34 3.2.2 Sử dụng các phép biến đổi để chuẩn hóa dữ liệu ........................................................................... 40 3.3 Biến đổi khuôn mặt ...............................................................................................................41 3.3.1 Mô hình khuôn mặt nguồn ............................................................................................................. 42 3.3.2 Biến đổi mô hình khuôn mặt ......................................................................................................... 42 3.4 Chỉnh sửa khuôn mặt ............................................................................................................44 3.4.1 Chỉnh sửa theo điểm ...................................................................................................................... 44 3.4.2 Chỉnh sửa theo vùng ...................................................................................................................... 45 3.5 Thiết kế hệ thống ...................................................................................................................49 CHƢƠNG 4 THỰC NGHIỆM VÀ ĐÁNH GIÁ .............................................................................................. 54 4.1 Các bước tiến hành thực nghiệm ..........................................................................................54 4.2 Kết quả và đánh giá ..............................................................................................................55 CHƢƠNG 5 TỔNG KẾT .................................................................................................................................... 62 TÀI LIỆU THAM KHẢO ................................................................................................................................... 63 Tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư iv DANH SÁCH HÌNH VẼ Hình 1. Cấu trúc xương đầu người ............................................................................................. 4 Hình 2. Các nhóm cơ mặt ........................................................................................................... 7 Hình 3. Các loại cơ mặt .............................................................................................................. 8 Hình 4. Các phiên bản khác nhau của CANDIDE ................................................................... 11 Hình 5. Mô hình Greta .............................................................................................................. 12 Hình 6. Một bề mặt B-Spline ................................................................................................... 14 Hình 7. Lồng sọ vào bức vẽ chân dung .................................................................................... 16 Hình 8. Ảnh nửa mặt và nửa sọ ................................................................................................ 16 Hình 9. Lồng sọ vào ảnh trên hệ thống gương bán mạ tại viện Pháp y Quân Đội ................... 17 Hình 10. Tái tạo mặt dựa trên xương sọ mặt của nạn nhân ...................................................... 23 Hình 11. Mô hình khuôn mặt với việc đắp đất sét lên hộp sọ, sử dụng ................................... 25 Hình 12. Quá trình tái tạo khuôn mặt từ hộp sọ ....................................................................... 27 Hình 13. Ảnh chụp đầu của xác ướp ở Florence (inv. N. 8643) (a) và ảnh chụp cắt lớp xoắn ốc (b) ............................................................................................................................................. 28 Hình 14. Dựng lại khuôn mặt của Pharaoh Tutankhamun. ...................................................... 29 Hình 15. Mô hình hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng ........................ 33 Hình 16. Phép quay chiều dương, trục quay Ox, hướng nhìn là hướng âm trục Ox ................ 35 Hình 17. Phép quay quanh một trục bất kì ............................................................................... 37 Hình 18. Quay vec-tơ 𝑢 về trục Oz .......................................................................................... 38 Hình 19. Cách tính góc α .......................................................................................................... 39 Hình 20. Chọn 4 điểm mốc để chuẩn hóa dữ liệu qua các phép biến đổi 3D ........................... 40 Hình 21. Mô-đun chỉnh sửa khuôn mặt theo từng điểm đặc trưng ........................................... 44 Hình 22. Mô-đun chỉnh sửa khuôn mặt theo vùng ................................................................... 45 Hình 23. Chỉnh sửa mắt to nhỏ ................................................................................................. 46 Hình 24. Chỉnh sửa mũi dài ngắn ............................................................................................. 46 Hình 25. Chỉnh độ rộng cánh mũi ............................................................................................ 47 Hình 26. Chỉnh sửa miệng nhỏ, rộng ........................................................................................ 47 Hình 27. Chỉnh sửa cằm dài, ngắn............................................................................................ 48 Hình 28. Chỉnh sửa tai to, nhỏ .................................................................................................. 48 Hình 29. Biểu đồ UML thể hiện thết kế phần điều khiển, hiển thị khuôn mặt ......................... 49 Hình 30. Biểu đồ UML thể hiện thiết kế phần điều khiển các thao tác biến đổi mô hình khuôn mặt ............................................................................................................................................ 51 Hình 31. Giao diện của hệ thống tái tạo và chỉnh sửa mô hình khuôn mặt .............................. 53 Hình 32. Các điểm đặc trưng được chọn để thử nghiệm .......................................................... 55 Hình 33. Kết quả tái tạo khuôn mặt của người thứ nhất ........................................................... 56 Hình 34. Điều chỉnh cánh mũi hẹp hơn .................................................................................... 57 Hình 35. Điều chỉnh miệng nhỏ hơn ........................................................................................ 57 Hình 36. Kết quả tái tạo khuôn mặt của người thứ hai ............................................................. 58 Hình 37. Điều chỉnh cho mắt nhỏ ............................................................................................. 59 Tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư v DANH SÁCH BẢNG Bảng 1. Chỉ số sọ của một số dân tộc khác nhau...................................................................... 19 Bảng 2. Các thông số độ dày mô mềm (mm) cho người Mỹ da đen ........................................ 24 Bảng 3. Bảng đánh giá độ chính xác của các vùng trên khuôn mặt tái tạo được ..................... 60 Chương 1. Giới thiệu Nguyễn Đình Tư 1 Chƣơng 1 GIỚI THIỆU Tái tạo mô hình khuôn mặt (nói chính xác hơn là tái tạo hình dạng khuôn mặt) từ hộp sọ hoặc từ nhiều ảnh hai chiều là một bài toán được ứng dụng và có ý nghĩa quan trọng trong nhiều lĩnh vực. Một số lĩnh vực áp dụng tiêu biểu của bài toán có thể kể đến như khảo cổ học, nhân chủng học và giám định pháp y. Trong khảo cổ học, nhân chủng học, nhiều khi ta cần tái tạo khuôn mặt của người xưa dựa vào các hộp sọ khai quật được. Trong giám định pháp y, ở các vụ án hình sự nghiêm trọng mà vật chứng có thể chỉ là sọ của nạn nhân, việc tái tạo lại được khuôn mặt của nạn nhân từ sọ giúp tìm ra danh tính của nạn nhân nhanh chóng hơn và từ đó đề ra cơ sở, phương hướng cho việc điều tra. Ngoài ra bài toán còn có thể được áp dụng trong công cuộc tìm danh tính của các liệt sĩ vô danh dựa vào hài cốt của họ. Đây là ý nghĩa nhân văn cao cả mà bài toán có thể đem lại. Việc xây dựng được hệ thống tái tạo mô hình khuôn mặt như vậy sẽ giúp chúng ta tiết kiệm được nhiều chi phí và công sức hơn so với các hệ thống giám định gen. Tái tạo mô hình khuôn mặt được nghiên cứu từ cuối thế kỉ 19, mở đầu bằng nghiên cứu về mối quan hệ giữa xương và độ dày của các mô mềm trên khuôn mặt của Paul Broca [12] vào năm 1867. Tuy nhiên công trình hoàn thiện đầu tiên và chính thức được ghi nhận thuộc về nhà khoa học Nga, Gerasimov [33]. Mùa xuân năm 1950, Gerasimov đã đắp hoàn chỉnh tượng đầu dựa vào xác của một người đàn ông đã phân rã gần hết. Quá trình nghiên cứu và đắp tượng giúp Gerasimov chuẩn đoán đó là xác của một thanh niên khoảng 24-25 tuổi. Ảnh của tượng do ông đắp đã được gửi đi khắp nơi để tìm tung tích của người chết. Ít lâu sau một bà mẹ đã nhận ra đó là con mình, sinh năm 1925 và mất tích từ năm 1949. Sau việc này, phương pháp của Gerasimov được thừa nhận là một biện pháp kĩ thuật hình sự hiệu quả và đáng tin cậy. Nhà nhân chủng học, dân tộc học kiêm họa sĩ này được coi là cha đẻ của ngành khoa học về tái tạo khuôn mặt. Ngày nay với sự phát triển của ngành giải phẫu học cùng sự trợ giúp đắc lực của máy tính, việc tái tạo khuôn mặt được thực hiện nhanh chóng và hiệu quả hơn. Khoa học máy tính hiện đại thừa nhận tái tạo khuôn mặt là một lĩnh vực nghiên cứu hấp dẫn và đầy triển vọng bởi tính ứng dụng thực tiễn cao của bài toán. Nhiều hệ thống tái tạo khuôn mặt từ hộp sọ đã được phát triển như hệ thống do Björn Anderson và Martin Chương 1. Giới thiệu Nguyễn Đình Tư 2 Valfridson phát triển năm 2005 [6]; hệ thống của Kolja Kahler và Jörg Haber xây dựng vào năm 2003 [19]; phần mềm FACES của nhóm tác giả thuộc Đại học Salerno, Italy, năm 2004; hệ thống của nhà khoa học GosNIIAS, năm 2001. Ở Việt Nam cũng có một số tác giả đã nghiên cứu đặc điểm của hình thái sọ mặt người Việt Nam như GS Đỗ Xuân Hợp (Học viện Quân y), TS Lê Hữu Hưng (Trường Đại học Y khoa Hà Nội), GS Nguyễn Lân Cường (Viện khảo cổ Việt Nam), … Năm 2007, Viện Pháp y Quân đội đã phối hợp với Viện Công nghệ thông tin tổ chức hội thảo “Ứng dụng công nghệ thông tin trong khôi phục diện mạo khuôn mặt người dựa trên hình thái xương sọ mặt” để bước đầu có những tiếp cận với bài toán này cho người Việt [2]. Tuy nhiên tái tạo mô hình khuôn mặt dựa trên sự hỗ trợ của công nghệ thông tin thì chưa có nghiên cứu trong nước nào thực hiện. Do chưa được trang bị phương tiện kĩ thuật đầy đủ, chúng ta gặp rất nhiều khó khăn trong việc mô hình khuôn mặt bao gồm đầy đủ mối liên hệ giữa phần cứng và phần mềm của khuôn mặt từ các thông số về hộp sọ. Trên cơ sở đó chúng tôi quyết định nghiên cứu và phát triển một hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng. Hệ thống sử dụng một mô hình khuôn mặt nguồn và các điểm đặc trưng nguồn trên khuôn mặt đó. Hệ thống sử dụng mô hình đa mạng RBF để biến đổi mô hình khuôn mặt nguồn này thành mô hình khuôn mặt đích. Mô hình đa mạng RBF này được huấn luyện bằng tập điểm đặc trưng nguồn và đích. Phần còn lại của khóa luận bao gồm 4 chương. Chương 2: trình bày tổng quan về các phương pháp tái tạo khuôn mặt và các kiến thức liên quan, như giải phẫu khuôn mặt. Chương 3: mô tả chi tiết về hệ thống tái tạo và chỉnh sửa mô hình khuôn mặt từ các điểm đặc trưng mà chúng tôi phát triển. Chương 4: trình bày về phương pháp xây dựng cơ sở dữ liệu thử nghiệm. Chương 5: tổng kết những kết quả đã đạt được và hướng phát triển tiếp theo. Chương 2. Các phương pháp tái tạo khuôn mặt Nguyễn Đình Tư 3 Chƣơng 2 CÁC PHƢƠNG PHÁP TÁI TẠO KHUÔN MẶT Bài toán tái tạo khuôn mặt là một bài toán phức tạp, yêu cầu kiến thức của nhiều ngành liên quan như giải phẫu học, toán học và khoa học máy tính. Khuôn mặt con người có muôn hình vạn trạng, một hộp sọ có thể khớp với nhiều khuôn mặt khác nhau. Bên cạnh đó, việc thay đổi một chi tiết nhỏ, ví dụ thay đổi một chút về vị trí của một điểm đặc trưng, cũng có thể làm cho khuôn mặt dựng lại được khác đi nhiều. Ở khía cạnh toán học, đây là một bài toán ngược, có thể có nhiều lời giải. Tuy nhiên, chính sự phức tạp và tính ứng dụng thực tiễn cao của bài toán đã không ngừng thu hút sự quan tâm đặc biệt của các nhà nghiên cứu. Trong thực tế đã có nhiều phương pháp giải quyết từ nhiều góc độ nghề nghiệp khác nhau và cũng đã có những kết quả khả quan được ghi nhận. Trong chương này, chúng tôi trình bày cơ sở lý thuyết về giải phẫu khuôn mặt, các phương pháp biểu diễn mô hình khuôn mặt, sau đó chúng tôi trình bày các phương pháp tái tạo khuôn mặt dựa trên những nền tảng lý thuyết đó. 2.1 Giới thiệu chung về giải phẫu khuôn mặt 2.1.1 Xƣơng mặt và hộp sọ Hộp sọ mang nhiều tính chất và đặc điểm ảnh hưởng trực tiếp đến độ chính xác của việc tái tạo khuôn mặt. Ta cần nắm được đặc điểm và tính chất của hộp sọ để có thể tái tạo khuôn mặt một cách chuẩn xác hơn. Xương sọ mặt là xương có tầm quan trọng nhất trong việc cung cấp các thông tin về tuổi, giới tính, chủng tộc, và làm nền tảng quan trọng để xác định khuôn mặt. Sau đây là một số đặc điểm tổng quát về hộp sọ và xương mặt từ các nghiên cứu của Nguyễn Trọng Toàn [3][4].  Kích thước chính của hộp sọ được đặc trưng bởi: chiều cao, chiều rộng và chiều sâu.  8 đặc điểm chính của hộp sọ được mô tả theo chuẩn Quốc tế bao gồm:  Hình dáng sọ gồm 5 dạng: Hình xoan, hình trứng, hình năm góc, hình tròn và hình tròn thót Chương 2. Các phương pháp tái tạo khuôn mặt Nguyễn Đình Tư 4  Cung mày có 3 mức độ: mờ, trung bình và rõ  Glabella: 6 mức độ lồi.  Hố trước mũi.  Rãnh trước mũi: 4 mức độ.  Đường khớp metopique có 2 mức độ: có hoặc không.  Gai mũi trước: 5 mức độ  Lồi ụ chẩm: 6 mức độ dô của ụ chẩm.  Khoảng cách giữa hai xương gò má là thông số chính để xác định mặt người trên phương diện hình học: hình e-lip, hình vuông, hình tròn…  Mặt người bao gồm ba phần: phần trên – từ trán đến lông mày, phần giữa – từ lông mày đến lỗ mũi, và phần dưới – từ lỗ mũi đến cằm. Hình 1. Cấu trúc xương đầu người  Xương đầu người chia ra 9 xương: xương đỉnh, xương trán, xương mũi, xương bướm, xương hàm trên, xương gò má, xương thái dương, xương chẫm và xương hàm dưới như trên Hình 1. Các xương tiếp khớp với nhau bởi các khớp bất động (trừ khớp thái dương với khớp hàm dưới) để tạo nên hộp sọ chứa não và liên hệ với vòm miệng, mũi, mắt, tai. Chương 2. Các phương pháp tái tạo khuôn mặt Nguyễn Đình Tư 5  Nền: do xương gò má (mặt ngoài), xương hàm trên (mặt sau) và quai hàm tạo thành. Ở nền có: hố thái dương, khuyết Zigma với mỏm vẹt ở trước, lồi cầu ở sau, mỏm tiếp.  Mặt:  Mặt trước: Giới hạn trên là đường ngang nối liền hai đường khớp trán gò má; ở dưới là bờ dưới thân xương hàm. Mặt trước có: o Phần giữa: - Đường khớp mũi trán, đường khớp hai xương sống mũi - Lỗ trước của hố mũi - Cằm o Phần bên: - Xương sống mũi (mặt ngoài) - Mỏm lên của xương hàm trên - Lỗ dưới ổ mắt - Hố và ụ nanh - Mặt ngoài xương hàm.  Mặt trên: liên quan với nền sọ. o Phần giữa: là đường khớp của xương lá mía với mảnh thẳng xương sàng và mào bướm dưới. o Phần bên: là vòm mũi ở trong và nền ổ mắt ở ngoài.  Mặt sau: là một hõm sâu, xung quanh là bờ dưới của xương hàm dưới. o Phần giữa: - Bờ sau xương lá mía. - Gai mũi sau - Đường khớp giữa hai xương khẩu cái - Lỗ khẩu cái trước - Mặt sau cằm o Phần bên: - Lỗ mũi sau - Vòm khẩu cái - Mặt sau xương hàm dưới  Về dung tích, sọ của người trung bình là 1450ml (nam) và 1300ml (nữ).  Về kích thước:  Chỉ số đầu, còn gọi là chỉ số sọ là tỷ lệ giữa chiều rộng tối đa (từ 10-17cm) và Chương 2. Các phương pháp tái tạo khuôn mặt Nguyễn Đình Tư 6 chiều dọc tối đa (từ 14-22cm) nên ta phân sọ ra làm 3 loại: o Sọ dài: Khi chỉ số sọ dưới 0.76. o Sọ tròn: Khi chỉ số sọ từ 0.76-0.81. o Sọ ngắn: Khi chỉ số sọ trên 0.81.  Chỉ số cao: Là tỷ lệ giữa chiều cao (đo từ điểm Bregma nơi mà xương trán tiếp xúc với hai xương đỉnh, tới điểm Basion ở bờ trước lỗ chấm) và chiều dọc tối đa. Ta phân chia sọ ra làm 3 loại: o Sọ bẹt: Khi chỉ số cao trên 0.719. o Sọ vừa: Khi chỉ số cao từ 0.72 đến 0.749. o Sọ cao: Khi chỉ số cao trên 0.75.  Chỉ số mặt: Là tỷ lệ giữa chiều cao tối đa và chiều ngang tối đa: o Mặt ngắn: Khi chỉ số mặt từ 0.45-0.50. o Mặt tròn: Khi chỉ số mặt từ 0.50-0.55. o Mặt dài: Khi chỉ số mặt trên 0.55.  Góc mặt: Là góc giữa bình diện ngang (đường đi từ lỗ tai ngoài tới gai mũi) và bình diện thẳng (đường tiếp giáp ở trên với ụ trán giữa và ở dưới với răng cửa giữa ở hàm trên). Mặt thẳng khi chỉ số trên 0.80 và mặt nhô, hàm vẩu khi chỉ số dưới 0.70. 2.1.2 Giải phẫu cơ mặt Các biểu hiện trên khuôn mặt được tạo ra bởi sự co rút các cơ mặt. Cơ mặt gắn trực tiếp hoặc gián tiếp vào xương hoặc da mặt. Độ dài của cơ có thể giảm xuống còn một nửa giữa co rút cực đại và giãn ra cực đại. Các cơ được phân biệt với nhau bởi các đặc trưng: các điểm gắn vào xương, hướng co rút, cấu trúc, kích cỡ và dạng hình học. Hình dạng cơ được quyết định bởi chức năng của chúng. Chức năng của cơ phụ thuộc vào độ dài, tốc độ, và vùng ảnh hưởng trên bề mặt da. Khi các cơ co rút, một vùng mặt biến dạng. Có hai loại co rút cơ: Co cơ đẳng cự và co cơ không đẳng cự. Trong co cơ đẳng cự, độ dài của cơ không thay đổi khi co rút. Ngược lại, trong co cơ không đẳng cự, độ dài của cơ thay đổi khi co rút. Điểm gốc của cơ được gắn vào xương và điểm cuối của cơ được gắn vào mô. Các cơ mặt được phân chia thành năm nhóm dựa trên vị trí và chức năng: Cơ trán, cơ thái dương, cơ vòng miệng, cơ cắn và cơ mút như trong Hình 2. Chương 2. Các phương pháp tái tạo khuôn mặt Nguyễn Đình Tư 7 Hình 2. Các nhóm cơ mặt Chương 2. Các phương pháp tái tạo khuôn mặt Nguyễn Đình Tư 8 Hình 3. Các loại cơ mặt Hình 3 cho ta phân loại các cơ trên khuôn mặt, và dưới đây là mô tả cụ thể hơn cho các cơ được minh họa trong hình trên [4]:  Cơ trán: Gồm có cơ chẩm dính ở phía sau vào đường cong chẩm trên và cơ trán dính ở phía trước vào da cung mày và cân sọ (ở dưới da, dưới cân sọ là xương sọ) nối liền hai cơ đó vào nhau.  Cơ vòng mắt: là cơ vòng quanh khe ổ mắt.  Cơ cau mày: là một cơ nhỏ đi từ đầu trong cung mày ra phía ngoài, tới da ở giữa cung mày.  Cơ mũi: gồm các loại cơ:  Cơ tháp: Bám từ ống mũi tới da ở giữa hai cung mày.  Cơ ngang mũi: Đi từ giữa ống mũi tới da ở rãnh mũi má. Chương 2. Các phương pháp tái tạo khuôn mặt Nguyễn Đình Tư 9  Cơ nở mũi: Đi từ rãnh mũi má tới da ở cánh mũi.  Cơ lá: Là một cơ dẹt hình 4 cạnh, đi từ hố lá và ụ nanh, đi lên trên tới lỗ mũi và lá mía, tiếp tục với các thớ cơ ngang mũi.  Cơ môi gồm hai loại: Có cơ há miệng và cơ mím miệng:  Cơ mím miệng, còn gọi là cơ vòng môi, gồm có cơ vòng trong và cơ vòng ngoài.  Cơ há miệng bao gồm: o Cơ mút: Ở mặt sâu của má, đi từ bờ xương chân răng của hàm trên và hàm dưới và dây chằng chân hàm tới mép. o Cơ nanh: Đi từ hố nanh ở hàm trên tới mép và môi trên. o Cơ tiếp lớn: Đi từ xương gò má tới mép. o Cơ tiếp nhỏ: Ở phía trong cơ tiếp lớn, đi từ gò má tới môi trên. o Cơ nông kéo cánh mũi và môi trên: Đi từ mỏm lên của xương hàm trên tới da của cánh mũi và của môi trên. o Cơ kéo môi sâu: Đi từ bờ dưới ổ mắt tới cánh mũi và môi trên o Cơ cười: Đi từ cân cắn ở má tới mép. o Cơ vuông cằm: Đi từ hàm dưới và cằm, lên trên và vào trong để tới môi dưới. o Cơ chòm râu: Đi từ bờ của chân răng cửa tới da ở cằm. o Cơ tam giác môi: Đi từ xương hàm dưới tới mép.  Cơ tai gồm 3 cơ: cơ tai trước, cơ tai trên và cơ tai sau. Ba cơ này bám xung quanh vành tai.  Cơ cổ: Là một thảm cơ rộng, hình 4 cạnh, đi từ da ở hàm dưới tới da ở cùng cổ và ngực trên.  Cơ thái dương: Là một cơ rộng hình quạt đi từ hố thái dương tới mỏm vẹt xương hàm dưới.  Cơ cắn: Là một cơ ngắn, dày, đi từ mỏm tiếp tới mặt ngoài xương hàm dưới. 2.2 Các phƣơng pháp biểu diễn mô hình khuôn mặt Khuôn mặt của con ngnười rất đặc biệt. Đó là bộ phận cơ thể quan trọng để giúp nhận diện một người bằng mắt thường. Trong hàng trăm khuôn mặt quen thuộc, chúng ta vẫn có thể nhận ra một khuôn mặt cụ thể. Khuôn mặt là một bề mặt ba chiều linh hoạt và phức tạp. Khuôn mặt thường mang một số nếp nhăn cố định, còn những chỗ Chương 2. Các phương pháp tái tạo khuôn mặt Nguyễn Đình Tư 10 phình và nếp nhăn tạm thời được tạo ra trong quá trình biểu đạt của khuôn mặt. Những đặc điểm này tạo nên thách thức đặc thù cho bài toán biểu diễn mô hình khuôn mặt: làm sao để tạo được bề mặt biểu diễn khuôn mặt một cách sắc nét và chân thực nhất. 2.2.1 Tạo mô hình khuôn mặt với lớp da là lƣới đa giác Gouraud (1971) [16] là người đầu tiên giới thiệu phương pháp giác biểu diễn mô hình mặt người sử dụng một bề mặt lưới đa giác. Phương pháp này sử dụng lưới đa giác để mô phỏng trực tiếp bề mặt khuôn mặt. Sau đó, khuôn mặt đầy đủ được tạo ra bằng cách dịch chuyển các điểm trên đỉnh của các đa giác ở bề mặt. Lưới đa giác ban đầu được xây dựng bằng cách lấy mẫu một số điểm trên mặt rồi kết nối chúng lại với nhau. Sử dụng phương pháp này, Parker (1972) [26] đã tạo ra mô hình khuôn mặt. Đó là một trong những công trình đầu tiên trong lĩnh vực nghiên cứu hoạt ảnh khuôn mặt của con người. Ông dựng mô hình mặt người với khoảng 250 đa giác được ghép nối từ 400 đỉnh. Khuôn mặt con người hầu như đối xứng nên mô hình một bên mặt được dựng bằng tay, bên còn lại được tạo nên nhờ phép đối xứng qua trục thẳng đứng dọc sống mũi. Tốc độ và chất lượng là hai cống hiến lớn của Parker với nghiên cứu này. Số lượng các đa giác sử dụng đã được giảm xuống tối đa để rút ngắn thời gian nhưng vẫn đảm bảo chất lượng hình ảnh được dựng. Các vùng có độ cong lớn như mũi, miệng, vùng xung quanh mắt và vùng cằm được dựng lên bởi nhiều đa giác hơn các vùng có độ cong nhỏ như trán, má và cổ. Tại những vùng mặt có các nếp nhăn như mặt, cánh mũi, viền môi và khóe miệng, các đa giác được sắp đặt sao cho các cạnh trùng khớp với các nếp nhăn. Tại những vùng có các đường biên màu như lông mày và môi, các đa giác được sắp xếp sao cho cạnh của chúng trùng vào các đường biên đó. Kết quả, khuôn mặt dựng lên có độ bóng, mượt và sinh động. Ngoài ra còn nhiều hệ thống, phương pháp sử dụng lưới đa giác để mô phỏng lớp da của khuôn mặt như: phương pháp dựng mô hình mặt người CANDIDE (Rydfalk, 1987) [31] và phương pháp dựng mô hình Greta (Pasquariello và Pelachaud, 2001) [17]. Lúc đầu, CANDIDE là một mặt nạ được tham số hóa do Rydfalk [31] của Linkoping Image Coding Group thực hiện. Nhóm đã phát triển nghiên cứu này cho việc lập trình dựng mô hình mặt người. Phương pháp này sử dụng 75 đỉnh và 100 tam giác nên mang đến hiệu quả dựng mô hình nhanh chóng với máy tính thông thường với dung lượng và tốc độ xử lý thấp. Có một vài phiên bản nâng cấp của CANDIDE như: Phiên bản CANDIDE-2 và CANDIDE-3. Trong CANDIDE-2, Welsh (1991) [34] Chương 2. Các phương pháp tái tạo khuôn mặt Nguyễn Đình Tư 11 đã thêm các đỉnh vào để phủ kín toàn bộ phần mặt phía trước (gồm cả tóc, răng) và vai. Phiên bản CANDIDE-3 được J.Ahlberg (2001) [7] đơn giản hóa hoạt ảnh bằng các tham số hoạt ảnh mặt MPEG-4, khoảng 20 đỉnh đã được thêm vào. Hình 4 thể hiện các phiên bản khác nhau của CANDIDE, cho thấy sự khác biệt về số lượng đỉnh và tam giác, đặc biệt là ở các vùng nhỏ. CANDIDE-1 CANDIDE-2 CANDIDE-3 Hình 4. Các phiên bản khác nhau của CANDIDE Mô hình Greta [17] là mô hình với sự cố gắng lớn nhằm nâng cao chất lượng hiển thị các chi tiết phức tạp của khuôn mặt. Greta bao gồm khoảng 15000 đa giác. Mục đích của Greta là biểu hiện xúc cảm trên khuôn mặt trong quá trình giao tiếp và trao đổi thông tin. Greta tập trung đưa ra hình ảnh chi tiết của những vùng quan trọng nhất như trán, mắt, miệng và nhân trung. Ở phương pháp này, các vùng quan trọng hơn được xếp nhiều đa giác hơn. Hơn nữa, phần trán và nhân trung được chú ý đặc biệt. Trong lúc lông mày nhướn lên, các nếp nhăn nằm ngang được tạo ra do sự tổ chức các đa giác ở vùng trán sang một mạng lưới ngang thông thường dựa trên kĩ thuật tạo bề mặt sần (Bump mapping techniques, Moubaraki et al., 1995) [24]. Để có được một rãnh lõm phẳng trong quá trình cười, các đa giác ở vùng nhân trung được tổ chức sao cho có thể phân biệt riêng rẽ giữa phần da căng ra ở gần miệng và phần da ở dưới cằm. Chương 2. Các phương pháp tái tạo khuôn mặt Nguyễn Đình Tư 12 Hình 5 cho chúng ta thấy độ mịn vượt trội của mô hình Greta (hình bên trái là mặt trước, bên phải là mặt bên). Hình 5. Mô hình Greta Ở dưới lớp da đa giác vừa dựng, ta cần dựng mô hình các cơ bằng cách thêm vào các lớp như lớp mỡ dưới da, lớp cơ và hộp sọ (Kahler et al., 2001 [18]; Lee et al., 1995 [21]; Terzopoulos và Waters, 1990 [32]). Để dựng mô hình của một khuôn mặt cụ thể, có ba phương pháp chính đã được giới thiệu. Phương pháp đầu tiên là sử dụng công cụ dựng hình 3D như 3DS MAX và AutoCAD để dựng mô hình bằng tay. Phương pháp này tốn rất nhiều thời gian và đòi hỏi sự kiên trì. Phương pháp thứ hai là phương pháp quang trắc (photogrammetric measurement), cụ thể là đo ảnh, dựng mô hình mặt người từ các hướng nhìn khác nhau. Phương pháp này vẫn yêu cầu xác định bằng tay các điểm trên tấm hình để tìm mối quan hệ giữa tấm hình và mô hình 3D. Phương pháp thứ ba là sử dụng máy quét laser để có dữ liệu từ ảnh thật, sau đó sử dụng các hình ảnh này để dựng kết cấu cho mô hình đầu người. Lợi thế của phương pháp này khả năng đưa ra hình 3D và màu sắc các điểm rất chi tiết. Các dữ liệu này có thể được tổng hợp để tạo nên một mô hình mặt người tĩnh rất giống với mặt thật. Các phương pháp tạo mô hình khuôn mặt trình bày ở trên đã sử dụng phép xấp xỉ để dựng bề mặt khuôn mặt bằng lưới đa giác. Các phương pháp này có một vài lợi thế. Thứ nhất, các tính toán với bề mặt lưới đa giác như (i) xác định một phần hay toàn bộ Chương 2. Các phương pháp tái tạo khuôn mặt Nguyễn Đình Tư 13 một vật thể nằm trong một khoảng không gian, (ii) tìm ra các bề mặt ẩn, và (iii) xác định độ bóng của các bề mặt nhìn thấy được đã giải quyết được bởi nhiều thuật toán đồ họa (Mahl, 1972 [23]; Weiss, 1966 [35]). Thứ hai là về tốc độ: các thuật toán này nhanh hơn và tiết kiệm hơn các thuật toán bậc cao. Do đó có thể cài đặt trực tiếp vào phần cứng của máy tính. Ngoài ra, chúng ta có thể áp dụng một số thuật toán tạo bóng như thuật toán tạo bóng Gouraud [16] hay thuật toán tạo bóng Phong (Bui, 1975) [9] để làm mượt một mặt đa giác. Tuy nhiên cần lưu ý rằng các thuật toán tạo bóng có thể mắc lỗi làm phẳng mặt lưới đa giác nếu sử dụng ít đa giác như trong các phương pháp của Parker [26] và phương pháp CANDIDE-1 [31]. 2.2.2 Tạo mô hình mặt ngƣời bằng bề mặt tham số Thay vì sử dụng lưới đa giác để mô hình hóa bề mặt của mặt người, chúng ta có thể sử dụng bề mặt tham số. Bề mặt tham số là một hàm toán học. Tuy nhiên, không dễ dàng để tìm được một hàm biểu diễn bề mặt của mặt người một cách chính xác. Vì vậy chúng ta tiếp cận một hướng khả thi hơn là ghép nối một tập các “mảng” tham số để tạo nên phần bề mặt. Các mảng này liên kết, ảnh hưởng đến nhau ở phần viền của chúng. Phần viền chính là các đường biên và có tính chất liên tục C0. Độ mịn của bề mặt được đánh giá thông qua tính liên tục ở các đạo hàm bậc cao hơn. Bề mặt đạt được liên tục C1 khi các mảng (biểu diễn bằng đạo hàm bậc nhất của các mảng ban đầu) đạt liên tục tại các đường biên, đạt liên tục C2 là liên tục đối với đạo hàm bậc hai… Bề mặt liên tục ở bậc càng cao thì bề mặt của mặt người dựng lên càng mịn. Cả bề mặt được điều khiển bởi một tập các điểm gọi là “điểm điều khiển”. Khi các điểm điều khiển bị điều chỉnh, cả bề mặt sẽ chuyển động theo. Để sắp xếp các điểm điều khiển, chúng ta sử dụng ma trận có kích thước (n+1)*(m+1) : W[i, j] với 0 ≤ i ≤ n, 0 ≤ j ≤ m. Mỗi điểm trên bề mặt có một trọng số là W(u, v), được tính theo công thức là tổng có trọng số của các điểm điều khiển Wi,j : 𝑤(𝑢, 𝑣) = 𝑁𝑖(𝑢)𝑁𝑗 (𝑣) 𝑚 𝑗=0 𝑛 𝑖=0 𝑊𝑖,𝑗 Trong đó Ni(u) và Nj(v) là các hàm cơ bản. Một hàm cơ bản tạo nên một đường cong trong không gian 2 chiều. Vì vậy chúng ta có thể tạo nên bề mặt bằng rất nhiều các đường cong. Chúng được chọn lựa cẩn thận từ tính đơn giản, liên tục của đạo hàm các cấp sao cho bề mặt được tạo nên đạt độ mịn cần thiết. Vì bề mặt của mặt người nhẵn, trơn và dễ thay đổi, nên nhiều hệ thống dựa trên Chương 2. Các phương pháp tái tạo khuôn mặt Nguyễn Đình Tư 14 bề mặt tham số chọn các đường trục (spline) để mô hình hóa mặt người bởi chúng đơn giản và liên tục ở đạo hàm bậc cao. Ví dụ, Billy, đứa con trong bộ phim “Tin Toy” của Pixar (Reeves, 1990) [29] ban đầu được mô phỏng từ các mảnh tam giác Bezier. Hoạt ảnh mô hình được dựng không thật sự hoàn hảo do vẫn còn nhiều các nếp nhăn. Sau đó, các mảnh tam giác được thay thế bằng trục Bicubic Catmull-Rom, tuy nhiên vẫn chỉ giảm được các nếp nhăn chứ chưa làm biến mất hoàn toàn. Facial Action Control Editor, tạm dịch là Bộ soạn thảo và điều khiển các hành động ở mặt, được viết bởi Waite (1989) [36] là một ví dụ khác. Mảng cong B-Spline được sử dụng với 16*12 điểm điều khiển. Do tính chất liên tục C2 của các mảng cong B-Spline nên bề mặt tạo được đã mịn và nhẵn hơn nhiều. Chúng ta gọi bề mặt được cấu thành bởi các mảng cong này là bề mặt B-Spline, được minh họa trong Hình 6. Chuyển động của miệng, mắt, và lỗ mũi được xử lý bằng kĩ thuật cắt tỉa hình học (geometric trimming). Bằng việc sử dụng kĩ thuật này, chúng ta có thể loại bỏ các biểu hiện không mong muốn của bề mặt và xây dựng những mô tả toán học mới cho các mảnh được cắt tỉa. Tuy nhiên, kĩ thuật này cũng có vài điểm hạn chế, ví dụ như nó không thể mô phỏng mí mắt hay mắt. Hình 6. Một bề mặt B-Spline Để mô hình hóa từng cá thể mặt người, kĩ thuật này điều chỉnh mô hình mặt người sao cho phù hợp với dữ liệu được cung cấp bởi máy quét laser. Quá trình điều chỉnh được thực hiện bằng cách cực tiểu hóa sai số bình phương trung bình giữa các điểm trong dữ liệu mẫu và các điểm trên bề mặt với điều kiện các điểm điều khiển phải được đặt đúng ở trong các vùng nơi đơn vị hành động (ví dụ cử động ở miệng) Chương 2. Các phương pháp tái tạo khuôn mặt Nguyễn Đình Tư 15 diễn ra. Điều này đảm bảo rằng các vùng mô của da sẽ được thiết lập lại một cách chính xác do có sự liên kết của các điểm điều khiển với các đơn vị hành động tương ứng. Hơn nữa, dữ liệu mẫu được quét bởi máy quét laser có thể được sử dụng để dán lên mặt nạ (mặt bên ngoài) của phần mặt. Ưu điểm của phương pháp bề mặt tham số là xử lí ít dữ liệu hơn và đưa ra một bề mặt mượt, mịn hơn so với phương pháp lưới đa giác. Tuy nhiên, phương pháp này vẫn còn tồn tại vấn đề kết xuất bề mặt. Cho đến nay vẫn chưa có thuật toán hiệu quả để giải quyết các vấn đề như bề mặt ẩn, kết xuất bề mặt bậc hai, Mahl, 1972 [23]; Weiss, 1966 [35]. Đối với bề mặt bậc cao hơn, chúng ta cũng có các thuật toán tương tự, nhưng chúng phức tạp và đòi hỏi chi phí cao. Do đó, các bề mặt bậc cao thường được dựng mô hình bằng lưới đa giác. Quá trình này được gọi là đa giác hóa. Tuy nhiên, nếu độ phân giải mẫu cao, phương pháp này vẫn cần đến khối lượng tính toán rất lớn. Thêm vào đó, nếu vùng mẫu trên mặt người nhỏ, thì việc sử dụng nhiều trục điểm điều khiển trở nên không hiệu quả. Phương pháp này cũng thiếu sót trong việc tạo ra các nếp nhăn mờ trên khuôn mặt do độ mượt cao. Tuy nhiên, khi dựng mô hình một vùng nhỏ và mịn trên mặt người, phương pháp này tỏ ra thích hợp và hiệu quả. 2.3 Các phƣơng pháp tái tạo khuôn mặt Có hai phương pháp tái tạo khuôn mặt chính:  Phương pháp hai chiều, 2-Dimension (2D): phương pháp này giúp tái tạo lại được bức ảnh chụp khuôn mặt  Phương pháp ba chiều, 3-Dimension (3D): phương pháp này giúp tái tạo lại được mô hình ba chiều thể hiện rõ ràng chiều sâu và đặc điểm của khuôn mặt. 2.3.1 Các phƣơng pháp hai chiều (2D) Tái tạo mô hình khuôn mặt trong không gian hai chiều cần có một nhà họa sĩ pháp y. Họa sĩ pháp y là người có chuyên môn, am hiểu về hộp sọ, mối tương quan giữa hộp sọ và dung nhan khuôn mặt. Họ vẽ phác thảo bức vẽ chân dung hoặc quan sát ảnh với hộp sọ để nhận xét độ chính xác cũng như những điểm cần điều chỉnh. Có hai phương pháp 2D chính: phương pháp lồng sọ vào bức vẽ chân dung và Chương 2. Các phương pháp tái tạo khuôn mặt Nguyễn Đình Tư 16 phương pháp lồng sọ vào ảnh. 2.3.1.1 Phƣơng pháp lồng sọ vào bức vẽ chân dung Phương pháp này được Pearson đề xuất vào nằm 1926 [27]. Họa sĩ vẽ phác thảo chân dung dựa trên các số đo hộp sọ, lồng bức ảnh chân dung vào rồi quan sát sự phù hợp. Sau đó họa sĩ đính bức vẽ lên hộp sọ thật như Hình 7 để quan sát và chỉnh sửa bức vẽ cho phù hợp. Hình 7. Lồng sọ vào bức vẽ chân dung 2.3.1.2 Phƣơng pháp lồng sọ vào ảnh Phương pháp này được các tác giả: Sen (1962), Gupta (1969) và Sekharan (1973) [4] đề xuất và phát triển. Mục đích chính là so sánh khuôn mặt với hộp sọ để chỉ ra những nét phù hợp, từ đó kiểm tra xem chiếc sọ nguyên vẹn hoặc không nguyên vẹn (ví dụ trong Hình 8 chỉ có nửa sọ) có phải người trong ảnh không. Hình 8. Ảnh nửa mặt và nửa sọ Chương 2. Các phương pháp tái tạo khuôn mặt Nguyễn Đình Tư 17 Các kĩ thuật chính đã được phát triển sử dụng phương pháp này bao gồm:  Lồng sọ vào ảnh trên hệ thống gương bán mạ (Hình 9)  Lồng sọ vào ảnh trên video  Lồng sọ vào ảnh trên vi tính Hình 9. Lồng sọ vào ảnh trên hệ thống gương bán mạ tại viện Pháp y Quân Đội (Vụ xác không đầu tại hồ Văn Chương – Đống Đa – Hà Nội) Năm 2007, Viện Công nghệ thông tin – Viện khoa học và công nghệ Việt Nam phối hợp với viện Pháp y Quân đội xây dựng thành công phần mềm RFFSkull là một phần mềm đồ họa theo không gian 3 chiều giúp cho việc lồng sọ vào ảnh chân dung một cách tự động với tham số đầu vào là xương sọ mặt và ảnh chân dung [4]. Nguyên tắc cơ bản để thực hiện các phương pháp 2D:  Chủng tộc, giới tính, tuổi và các thông số cần thiết của hộp sọ cần được cung cấp.  Hộp sọ phải được chụp X-quang trên mặt phẳng ngang frankfort, các phim trán (trước, sau) và phim nghiêng tạo một góc vuông với nhau. Trong phim chụp thẳng, khay dựng phim ở trước mặt, khoảng cách chụp là 152.4 cm tới trục transmetal. Trong phim chụp nghiêng, khay đựng phim đặt ở bên trái và khoảng cách từ ống chụp đến mặt phẳng dọc giữa là 152.4 cm. Trong phim chụp trước sau, ống chụp nằm sau hộp sọ. Cả phim chụp thẳng và nghiêng cần được đánh dấu chính xác các chi tiết về xương đã được mô tả. Các mốc này là nền tảng cho việc vẽ ra các chi tiết nét mặt.  Một số thông số về hộp sọ cần thiết cho phương pháp này: Chương 2. Các phương pháp tái tạo khuôn mặt Nguyễn Đình Tư 18  Kích thước sọ: o Chiều rộng hộp sọ o Chiều rộng hai ổ mắt o Chiều rộng liên ổ mắt o Chiều rộng lỗ mũi o Chiều rộng hai gò má hoặc chiều rộng giữa mặt o Chiều rộng vùng mặt dưới o Chiều cao mặt  Kích thước diện mạo o Cao môi: từ môi trên đến môi dưới o Cao tai: từ đỉnh tai đến dái tai o Rộng tai: nền tai trên và chỗ bám trên của tai vào đầu, nền tai dưới và chỗ bám dưới của tai vào đầu. Bảng 1 là tổng kết của TSKH. Lê Hữu Hưng trong luận án phó tiến sĩ khoa học y được thực hiện năm 1995 (số liệu được trình bày được trích dẫn từ [5]). Chương 2. Các phương pháp tái tạo khuôn mặt Nguyễn Đình Tư 19 Bảng 1. Chỉ số sọ của một số dân tộc khác nhau STT Các kích cỡ Sọ Việt hiện đại Sọ Lào Sọ Thái Lan 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 Dung tích sọ Trọng lượng sọ Dài sọ Rộng sọ Rộng trán Cao sọ Dài nền sọ Dài nền mặt Cao mặt trên Rộng mặt giữa Rộng liên ổ mắt Cao ổ mắt Rộng ổ mắt Cao mũi Rộng mũi 1363.97±103.2 557.4 ± 108.6 175.22 ± 4.50 137.9 ± 5.58 92.36 ± 5.38 136.99 ± 3.26 98.69 ± 7.59 95.07 ± 6.57 65.77 ± 5.76 99.06 ± 4.41 96.54 ± 4.55 33.78 ± 1.58 41.89 ± 2.11 50.10 ± 3.80 26.16 ± 2.05 1379.5±55.2 549.2 ± 78.9 167.9 ± 7.8 144.5 ± 4.8 94.1 ± 3.1 132.7 ± 3.5 96.0 ± 2.8 89.2 ± 4.7 67.8 ± 4.4 97.7 ± 3.05 95.5 ± 4.6 33.54 ± 1.71 42.66 ± 1.93 51.3 ± 2.43 26.34 ± 1.65 1379.8±78.8 613.1±104.9 168.6 ± 7.45 141.4 ± 5.1 91.1 ± 5.2 135.9 ± 4.9 96.4 ± 4.4 93.7 ± 5.2 67.23 ± 4.5 98.9 ± 5.5 94.15 ± 4.2 32.69 ± 2.44 42.36 ± 1.78 51.21 ± 3.59 25.57 ± 1.94 Đơn vị: Dung tích (ml). Trọng lượng (g). Dài, rộng và cao (mm) Với phương pháp lồng sọ vào ảnh, Krogman [20] cùng với các nhà họa sĩ pháp y đã cùng nhau xem xét, đo đạc tất cả các kích thước sọ mặt hiện có. Họ đã chụp và thu thập rất nhiều các phim X-quang thẳng và nghiêng, từ đó tái tạo mặt nhìn thẳng và nhìn nghiêng. Sự phác thảo này phù hợp với cả nam, nữ, da trắng và da đen. Ví dụ, tháng 6 năm 1978, cảnh sát bang N.Y, Troop C. gửi tới Krogman [20] chất liệu xương của một nam giới da trắng tuổi khoảng 50 cùng với hộp sọ và xương hàm dưới (không có răng) để phân tích. Chất liệu xương của một người nam giới da trắng không răng, tuổi khoảng 50; hộp sọ và xương hàm dưới là những dữ liệu có để phân tích. Những thông số đo được như sau:  Bề rộng hộp sọ là 132mm; thêm vào 6-7mm bề dày của mô, bên phải, trái và Chương 2. Các phương pháp tái tạo khuôn mặt Nguyễn Đình Tư 20 chiều rộng của đầu là 144-146mm.  Chiều rộng hai gò má là 121mm; cộng thêm 4mm chiều dày mô, bên phải, trái và chiều rộng giữa mặt là 129mm.  Chiều rộng Bigonial là 95mm; cộng thêm 8-10mm bề dày mô ở bên phải, trái và chiều rộng mặt dưới (qua xương hàm dưới) 111-115mm. Tại Nga (Liên Xô cũ), Graximov đưa ra phương pháp tìm mối liên quan giữa phần cứng và phần mềm của hộp sọ. Trên cơ sở đó ông tái tạo thành công mô hình đầu người như trong vụ ở năm 1950 như đã giới thiệu. Tuy vậy, các công thức mà Graximov đưa ra hiện không còn chính xác do sự thay đổi của mặt người theo thời gian và không gian. Ví dụ hình dáng của miệng được quyết định bởi kiểu răng, độ vẩu xương hàm trên và kiểu khuôn mặt. Độ vẩu của người da đen, người Nhật Bản và người Malaysia quyết định kiểu môi dày. Sự phát triển về kinh tế mang đến điều kiện sống tốt hơn, chăm sóc sức khỏe tốt hơn và các vấn đề về di truyền đã làm thay đổi mối tương quan giữa các phần cứng và mềm của hộp sọ con người. 2.3.2 Các phƣơng pháp ba chiều (3D) Có hai phương pháp chính trong việc tái tạo khuôn mặt bằng phương pháp ba chiều: phương pháp 3D truyền thống (thủ công) và phương pháp 3D sử dụng Công nghệ Thông tin (có sự hỗ trợ của máy tính). 2.3.2.1 Các phƣơng pháp 3D truyền thống Kỹ thuật phổ biến nhất được sử dụng trong tái tạo khuôn mặt bằng phương pháp 3D truyền thống là xây dựng trong không gian ba chiều các đặc điểm khuôn mặt trên xương sọ. Có hai cách tiếp cận với việc tái tạo khuôn mặt là: phương pháp giải phẫu và phương pháp độ dày mô.  Phương pháp giải phẫu cần mô hình hóa từng cơ mặt và áp chúng vào hộp sọ. Cơ sở lý thuyết của phương pháp này được mô tả chi tiết ở phần 3.1 của chương 3. Phương pháp giải phẫu có ưu điểm là có thể làm cho bộ mặt sống động nhưng có nhược điểm là tốn nhiều thời gian để mô hình hóa từng cơ.  Phương pháp độ dày mô: là phương pháp rất phổ biến. Phương pháp này dựa vào độ dày của mô mềm tại một số điểm mốc. Người ta thường sử dụng 32 điểm mốc (10 điểm trên đường ở giữa khuôn mặt và 22 điểm đối xứng ở hai bên mặt). Có nhiều yếu tố ảnh hưởng đến độ dày mô mềm như: chủng tộc, giới tính, độ tuổi và Chương 2. Các phương pháp tái tạo khuôn mặt Nguyễn Đình Tư 21 thể trạng gầy, béo khác nhau. Sau đây là một số thực nghiệm, phương pháp mà các nhà nghiên cứu đi trước đã đạt được nhờ sử dụng phương pháp 3D này [33]:  Năm 1867, Paul Broca được cho là người đầu tiên nghiên cứu về mối quan hệ giữa xương và độ dày của các mô mềm trên khuôn mặt.  Năm 1883, Welker nghiên cứu độ dày mô mềm trên tử thi của 13 đàn ông bằng cách rạch dao vào trong, xuyên qua da mặt.  Năm 1885, phương pháp tái tạo đầu tiên được sử dụng bởi His khi ông phải tái tạo mặt của Jean Sebastien Bach. Ông đã tăng số lượng mẫu của Welker và tính toán chính xác mối quan hệ giữa xương và độ dày mô mềm. His đã sử dụng một kim sắc và mỏng, đâm vào thịt ở góc bên phải của xương tại một số vị trí cho đến khi đâm vào đến xương. Trước khi dùng kim đâm, ông dùng mảng cao su nhỏ đặt sát mặt da, sau đó ông cho kim đâm xuyên qua mảng cao su và đâm tiếp vào tổ chức mô mềm vùng mặt cho đến tận xương. Ông đo lấy khoảng cách từ đầu nhọn của kim đến mảnh cao su để ra được độ dày của mô tại chính vị trí đó. Sau đó ông lập bảng thống kê các số liệu đo được để phân tích đánh giá.  Năm 1898, Kollman và Buchly đi sâu hơn vào phân tích thống kê. Kollman và Buchly phát triển thêm công việc của His và cũng tiến hành trên các xác tử thi và rút ra kết luận là có bốn phân loại về dạng mô của cơ thể: mỏng, rất mỏng, được nuôi dưỡng tốt và được nuôi dưỡng rất tốt. Độ dày các lớp của mô được tính trung bình một cách phù hợp. Họ cũng đã xem xét các lớp mô của nam giới và nữ giới người Capca. Họ lập được bảng so sánh độ dày trung bình của mô ở nam giới và nữ giới với các chỉ tiêu lớn nhất và bé nhất của cả hai giới tính. Kollman và Buchly đã so sánh kết quả nghiên cứu của họ với những kết quả nghiên cứu của His. Họ kết hợp các dữ liệu và đưa ra được những giá trị có ý nghĩa: khoảng giá trị nhỏ nhất và lớn nhất độ dày của mô tương ứng với 45 phụ nữ và 8 xác tử thi nữ. Những nghiên cứu của His, Kollman và Buchly là nền tảng cơ bản cho những công việc, những nghiên cứu sau này như: Zieleler đã đưa ra những số liệu về những phần mô mềm của mặt của người da đen Châu Mỹ, Hearslem – Riémchneider báo cáo về các mô và cơ ở mặt của 14 người Papu và người Melanêdi, Stadmuller kết hợp những dữ liệu và chủng tộc đã đề cập ở trên trong bảng so sánh và thêm thông tin liên quan một người đàn ông từ Java. Cùng thời điểm năm 1898 này, Merkel đã tái tạo được khuôn mặt 3D nhờ phương pháp đắp tượng bằng chất dẻo. Chương 2. Các phương pháp tái tạo khuôn mặt Nguyễn Đình Tư 22  Năm 1921, Boule đã sử dụng phương pháp của Merkel tái tạo khuôn mặt người từ hộp sọ hóa thạch.  Tuy nhiên cha đẻ của ngành khoa học về tái tạo khuôn mặt người được nhắc đến một cách chính thức là nhà khoa học Gerasimov, người Nga. Ông là nhà nhân chủng học, dân tộc học và họa sĩ. Ông là người đầu tiên tái tạo khuôn mặt trong pháp y.  Mùa xuân 1950, Gerasimov đã đắp hoàn chỉnh, sinh động tượng phần đầu dựa theo xác của một người đàn ông đã phân rã gần hết. Ông xác định được đó là một thanh niên tầm 24-25 tuổi và ảnh tượng đầu này được gửi đi khắp nơi để nhận dạng. Ít lâu sau, một bà mẹ đã nhận ra đó là con mình, sinh năm 1925 và bị mất tích từ năm 1949. Sau việc này, phương pháp của Gerasimov được thừa nhận và được khẳng định là một biện pháp kĩ thuật hình sự hiệu quả và đáng tin cậy. Sau đó, ông đã giúp cảnh sát dựng lại nhiều khuôn mặt tử thi, xác định được nạn nhân và từ đó có thêm chứng cứ để tìm ra hung thủ.  Năm 1955, Gerasimov đề xuất phương pháp của mình vào việc tái tạo mặt người cổ xưa. Ông đã khôi phục được nhiều khuôn mặt của các nhân vật lịch sử.  Năm 1960, Ba Lan công bố tái tạo thành công khuôn mặt của nhà thiên văn học Nicolas Copernic.  Vào giữa những năm 1960 Betty Patt. Gatliff đã cùng với Clyde Snow, một nhà nhân chủng học pháp y xây dựng phương pháp phục chế khuôn mặt, gọi là phương pháp Gatliff-Snow, dựa trên những dữ liệu về độ dày mô mặt và các đặc điểm về giải phẫu. Các bước chính trong phương pháp của Gatliff- Snow là tạo ra bề mặt nền của bức tượng dựa vào cấu trúc xương sọ, bề dày dự tính của lớp da và cơ. Để làm được việc này, bà phải dựa vào sơ đồ cơ từ phía ngoài đến phía trong mà các nhà nhân chủng học thường dùng. Khi ước lượng được độ dày lớp da và cơ, bà đánh dấu những mốc độ dày của chúng, sau đó tạo ra lớp phủ bằng đất sét trên khuôn mặt để tượng trưng cho từng phần.  Để hoàn thành khuôn mặt bức tượng, Gatliff thêm vào khuôn mặt đôi mắt. Nếu như tìm thấy vài sợi tóc ở xác chết, bà sẽ tạo ra một mái tóc nhân tạo có cùng màu và độ dày của sợi tóc. Bức tượng của bà coi như đã hoàn thành (Hình 10). Chương 2. Các phương pháp tái tạo khuôn mặt Nguyễn Đình Tư 23 Hình 10. Tái tạo mặt dựa trên xương sọ mặt của nạn nhân Trái sang phải: Xương mặt sọ, khuôn mặt tái tạo, khuôn mặt thật.  Năm 1963, Altemus đo độ dày các mô ở mặt từ phim X – quang sọ não nghiên của 50 trẻ em người Mỹ da đen ở Washington, D.C (25 nam, 25 nữ) tuổi từ 12 – 16. Sau đó ông rút ra kết luận: Có sự biến thiên lớn ở các mô mềm che phủ mặt ở các cá thể. Heglar cũng tiến hành nghiên cứu ở các trẻ em da trắng (21 nam và 27 nữ tuổi 10 – 18). Ông đã thực hiện 13 phép đo phim X – quang nghiêng, kết quả nghiên cứu tương tự như nghiên cứu của Altemus.  Một nghiên cứu rất toàn diện về độ dày mô mặt ở người Mỹ da đen là của Rhine và Campbell (1980) [30]. Họ đã nghiên cứu mẫu gồm 59 tử thi da đen không ướp (44 nam, 15 nữ) và đo kích thước 10 điểm giữa và 22 điểm bên và cho ra các thông số độ dày mô mềm (mm) cho người Mỹ da đen như ở Bảng 2. Chương 2. Các phương pháp tái tạo khuôn mặt Nguyễn Đình Tư 24 Bảng 2. Các thông số độ dày mô mềm (mm) cho người Mỹ da đen STT Tên thông số Gầy Bình thường Béo Nam Nữ Nam Nữ Nam Nữ 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 Supraglabella Glabella Nasion End of Nasals Mid Philtrum Upper Lip Margin Lower Lip Margin Chin-Lip Fold Mental Eminence Beneath Chin Frontal Eminence Supraorbital Suborbital Inferior Malar Lateral Orbit Zygomatic Arch Supraglenoid Gonion Supra M 2 Occlusal Line Sub M 2 2.25 2.50 4.25 2.50 6.25 9.75 9.50 8.75 7.00 4.50 3.00 6.25 2.75 8.50 5.00 3.00 4.25 4.50 12.00 12.00 10.00 2.50 4.00 5.25 2.25 5.00 6.25 8.50 9.25 8.50 3.75 2.75 5.25 4.00 7.00 6.00 3.50 4.25 5.00 12.00 11.00 9.50 4.25 5.25 6.50 3.00 10.00 9.75 11.00 10.75 11.25 7.25 4.25 8.25 5.75 13.25 10.00 7.25 8.50 11.50 19.50 18.25 16.00 3.50 4.75 5.50 2.75 8.50 9.00 10.00 9.50 10.00 5.75 3.50 7.00 6.00 12.75 10.75 7.50 8.00 12.00 19.25 17.00 15.50 5.50 7.50 7.50 3.50 11.00 11.00 12.75 12.25 14.00 10.75 5.50 10.25 8.25 15.25 13.75 11.75 11.25 17.50 25.00 23.50 19.75 4.25 7.50 7.00 4.25 9.00 11.00 12.25 13.75 14.25 9.00 5.00 10.00 8.50 14.00 14.75 13.00 10.50 17.50 23.75 20.25 18.75  Một cách sử dụng phương pháp độ dày các mô để tái tạo khuôn mặt là đắp đất sét lên hộp sọ. Đầu tiên là chuẩn bị hộp sọ, ta cần phải chú ý đến các phần mỏng, dễ vỡ như mũi và hốc mắt. Bộ răng thường cung cấp rất nhiều thông tin hữu ích, lúc này lại cần đến kinh nghiệm nha khoa. Với việc tái tạo phần dưới của mặt, hàm dưới cần được điều chỉnh vị trí đảm bảo chính xác với hộp sọ. Kết hợp với một nhà nhân loại học, ta có thể nhận định được độ tuổi, giới tính và vóc người. Khi có được các dữ liệu đo đạc được này, người Chương 2. Các phương pháp tái tạo khuôn mặt Nguyễn Đình Tư 25 ta sẽ đắp đất sét lên hộp sọ để tạo thành khuôn mặt sao cho các điểm và khoảng cách được khớp. Hình 11 mô tả quá trình khôi phục khuôn mặt như trên. Hình 11. Mô hình khuôn mặt với việc đắp đất sét lên hộp sọ, sử dụng phương pháp độ dày các mô 2.3.2.2 Các phƣơng pháp 3D sử dụng công nghệ thông tin Phương pháp 3D sử dụng công nghệ thông tin chính là phương pháp tái tạo khuôn mặt với sự trợ giúp của máy tính. Thông thường phương pháp này gồm các bước sau:  Bước 1: Tạo mô hình 3D từ hộp sọ Sử dụng các thiết bị số hóa như chụp cắt lớp, Computerized Axial Tomography Scan (CT-scan), chụp cộng hưởng từ (Magnetic resonance imaging - MRI), hoặc các thiết bị số hóa ba chiều khác để tạo ra mô hình 3 chiều của hộp sọ. Kỹ thuật chụp cắt lớp vi tính cho phép đo đạc chính xác chiều dày của các mô mềm vùng đầu mặt. Một số lượng lớn các số đo chiều dày mô mềm được thu thập với các thuộc tính liên quan như tuổi, giới, tầm vóc, nhóm chủng tộc. Những dữ liệu thu được có thể là một tập các ảnh hai chiều (với phương pháp chụp cắt lớp và chụp cộng hưởng từ) hoặc một tập các điểm 3 chiều chưa theo cấu trúc chứ chưa phải là mô hình 3 chiều của hộp sọ ngay. Vì vậy, để thu được mô hình 3 chiều cần thiết, chúng ta lại phải nghiên cứu và phát triển các kỹ thuật xây dựng Chương 2. Các phương pháp tái tạo khuôn mặt Nguyễn Đình Tư 26 mô hình 3 chiều từ nhiều ảnh [22], các kỹ thuật tổ chức lại tập các điểm 3 chiều thành cấu trúc. Tuy nhiên các kĩ thuật đã đề xuất còn có độ chính xác chưa cao nên công việc này vẫn còn đang là vấn đề cần nghiên cứu nhiều hơn.  Bước 2: Xác định các điểm mốc, các điểm đặc trưng tương ứng trên da và dựng mô hình khuôn mặt Trên mô hình 3D có được sau bước đầu tiên của hộp sọ, người ta xác định được các điểm mốc, sau đó tại các điểm mốc này, người ta xác định các điểm tương ứng trên da (các điểm đặc trưng của khuôn mặt) nhờ vào độ dày của mô. Xác định chính xác các điểm đặc trưng này một cách tự động cũng là một công việc được nhiều nhóm nghiên cứu quan tâm và đã giải quyết được phần nào. Dựa vào các điểm đặc trưng này, người ta có thể thực hiện phép nội suy nhờ các công cụ như mạng hàm cơ sở bán kính (Radial Basis Functions - RBF), B-spline, Non- uniform rational B-spline (NURBS), Spline phân cấp,.. để tạo ra lưới 3 chiều của bề mặt khuôn mặt tương ứng [10][11]. Một phương pháp khác dùng các phương pháp xác suất thống kê dựa trên tập cơ sở dữ liệu đã có để tính ra được lưới 3 chiều của bề mặt khuôn mặt [8]. Người ta cũng có thể tạo ra một lưới 3 chiều mẫu cùng với các điểm điều khiển trên đó. Sử dụng các kĩ thuật biến dạng dựa trên điểm điều khiển, người ta thay đổi điểm điều khiển một cách hợp lý để tạo được lưới 3 chiều của bề mặt khuôn mặt tương ứng [28]. Một số nhà nghiên cứu còn sử dụng phương pháp mô phỏng các vùng phần mềm trên khuôn mặt người, như các cơ mặt, lớp da,… để tái tạo lại được toàn bộ vùng đầu và mặt một cách hoàn chỉnh dựa trên mô hình 3D của hộp sọ và độ dày các mô mềm tương ứng, không những vậy họ còn có thể tái tạo lại được các chuyển động trên khuôn mặt [19].  Bước 3: Làm đẹp khuôn mặt tái tạo được Mô hình 3D của khuôn mặt sau khi được tái tạo cũng có thể được làm chân thật hơn bằng cách thêm các bộ phận trên mặt như mắt, mũi, tai, môi; và dán bề mặt da. Tuy nhiên có khó khăn là các bộ phận như mắt, mũi, và miệng không đoán biết được từ xương sọ mặt. Công việc làm đẹp khuôn mặt này đòi hỏi việc nghiên cứu các kỹ thuật mô phỏng lớp da và các kỹ thuật ghép ảnh 2 chiều vào 3 chiều. Chương 2. Các phương pháp tái tạo khuôn mặt Nguyễn Đình Tư 27 Hình 12. Quá trình tái tạo khuôn mặt từ hộp sọ a) Quét hộp sọ b) Thêm các điểm đặc trưng c) Khớp các cơ vào hộp sọ d) Dán bề mặt và với biểu hiện cười. Hình 12 cho ta hình dung về một quá trình tái tạo khuôn mặt từ khâu đầu tiên quét hộp sọ (a), sau đó thêm các điểm đặc trưng lên ảnh thu được (b), kế tiếp là khớp các cơ vào hộp sọ (c) và cuối cùng là làm mịn, đẹp khuôn mặt tái tạo được (d). Một ví dụ vào năm 1997, Francesco Mallegni cùng các nhà Ai Cập học đã sử dụng kĩ thuật cắt lớp vi tính xoắn ốc (Hình 14b) để tái tạo khuôn mặt từ hộp sọ trong xác ướp một hoàng tử Ai Cập. Xác ướp có niên đại vào khoảng 339-201 trước Công Nguyên và được lưu giữ trong bảo tàng khảo cổ học ở Florence (Hình 13a) . Các nhà khoa học Ai Cập cũng đã tạo được hình ảnh kĩ thuật số đầu tiên về khuôn mặt của Pharaoh huyền thoại Tutankhamun (Hình 14a) sau khi chụp cắt lớp xác ướp 3000 tuổi. Sau đó họ dựng lên khuôn mặt như Hình 14b và cuối cùng là dán bề mặt mô mềm như Hình 14c. Chương 2. Các phương pháp tái tạo khuôn mặt Nguyễn Đình Tư 28 (a) (b) Hình 13. Ảnh chụp đầu của xác ướp ở Florence (inv. N. 8643) (a) và ảnh chụp cắt lớp xoắn ốc (b) (a) (b) Chương 2. Các phương pháp tái tạo khuôn mặt Nguyễn Đình Tư 29 (c) Hình 14. Dựng lại khuôn mặt của Pharaoh Tutankhamun. (a) Mô hình kĩ thuật số của xác ướp. Bề mặt mô mềm (trái), mô cứng (phải). (b) Khuôn mặt dựng được. (c) Gương mặt tái tạo được sau khi dán bề mặt mô hình mô mềm. Một số hệ thống phần mềm tái tạo khuôn mặt từ hộp sọ:  Hệ thống do Björn Anderson, Martin Valfridson phát triển năm 2005 [6]. Hệ thống sử dụng phần mềm đồ họa 3DS MAX. Quá trình hoạt động của hệ thống như sau:  Bước 1: Thu thập dữ liệu từ quét CT. Hộp sọ được quét bởi CT-scanner. Các lớp cắt được lưu ở định dạng DICOM.  Bước 2: Phân đoạn dữ liệu. Phần mềm phân đoạn được sử dụng để chỉnh sửa các lớp nhằm loại bỏ các thứ dính vào các hốc. Phần mềm phân đoạn này cũng được sử dụng để tạo ra mô hình 3D để nhập vào 3DS MAX.  Bước 3: Nhập mô hình vào 3DS MAX và thực hiện tiền xử lý như chuẩn hóa và quay mô hình.  Bước 4: Đặt vị trí các mốc nhờ giao diện đồ họa.  Bước 5: Phủ các hốc trên hộp sọ  Bước 6: Thực hiện các tính toán trên lưới dựa trên độ dày của mô tại các mốc nội suy độ dày mô tại các điểm khác.  Bước 7: Tạo cằm, cổ, mũi, mắt, tai và môi.  Bước 8: Hậu xử lý mô hình. Chỉnh sửa mô hình dựa trên các hiểu biết về Chương 2. Các phương pháp tái tạo khuôn mặt Nguyễn Đình Tư 30 diện mạo mặt người.  Bước 9: Dán bề mặt (texture) và tạo ảnh.  Phần mềm của Kolja Kähler và Jörg Haber (Viện khoa học máy tính Max Plank ở Saarbrucken, 2003) [19] Tháng 12/2003, trong luận án tiến sĩ về đề tài “Mô hình hóa đầu với cấu trúc giải phẫu để mô hình hóa và làm sống động khuôn mặt”, Kolja Kähler đã nghiên cứu các cơ mặt, hoạt động và sự biến dạng của chúng và đã xây dựng phần mềm tái tạo khuôn mặt từ hộp sọ. Sau đó phần mềm này đã được tác giả và cộng sự tại Đại học Saarland phát triển thành một hệ thống. Hệ thống cho phép tái tạo nhanh chóng một khuôn mặt và làm sống dậy những nét cá tính riêng dựa trên việc xây dựng 24 kiểu co dãn cơ trên khuôn mặt. Hệ thống cho phép thay đổi sắc thái tình cảm trên khuôn mặt.  Phần mềm FACES của nhóm tác giả thuộc Đại học Salerno, Italy, 2004 Phần mềm tái tạo khuôn mặt từ hộp sọ của những người cổ đại dựa trên việc nắn chỉnh (warping), biến dạng mô hình mặt được chọn từ tập các mô hình với các giới tính, sắc tộc khác nhau để phù hợp với các điểm mốc trên hộp sọ. Nhiều thuật toán nắn chỉnh khác nhau được sử dụng để thực hiện nhiệm vụ này. Hệ thống sử dụng hai Cơ sở dữ liệu (CSDL): CSDL kích thước hộp sọ (Craniometrical Database) và CSDL các khuôn mặt (Pictorial Physiognomic Database).  Hệ thống của các nhà khoa học thuộc Viện nghiên cứu các hệ thống hàng không Nga (GosNIIAS), 2001. Hệ thống được xây dựng dựa trên cách tiếp cận biến đổi mô hình khuôn mặt 3 chiều để thỏa mãn các điều kiện về khoảng cách từ các điểm mốc trên hộp sọ tới các điểm trên bề mặt. Chương 3. Hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư 31 Chƣơng 3 HỆ THỐNG TÁI TẠO MÔ HÌNH KHUÔN MẶT TỪ CÁC ĐIỂM ĐẶC TRƢNG Chúng tôi phát triển một hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng trên khuôn mặt bằng cách sử dụng các mạng RBF. Hệ thống sử dụng một mô hình khuôn mặt nguồn, trên khuôn mặt gốc đã xác định sẵn các điểm đặc trưng. Đầu vào của hệ thống là tọa độ các điểm đặc trưng trên khuôn mặt đích, ở bước đầu tiên hệ thống sẽ chuẩn hóa lại tập tọa độ này, đưa chúng về hệ tọa độ mà hệ thống sử dụng. Các mạng RBF được huấn luyện bằng tập điểm đặc trưng nguồn và tập điểm đặc trưng đích. Sau đó, các mạng RBF sẽ biến đổi mô hình khuôn mặt nguồn thành mô hình khuôn mặt đích cần tái tạo. Nếu mô hình khuôn mặt đích này có điểm bất hợp lý hoặc muốn chỉnh lại cho đẹp mắt hơn, nó có thể được chỉnh sửa theo từng vị trí có điểm đặc trưng hoặc theo đặc điểm của cả một vùng trên khuôn mặt để cho một mô hình khuôn mặt đẹp và chính xác hơn. Trong chương này, chúng tôi mô tả cụ thể về hệ thống này. 3.1 Mô hình hệ thống Hệ thống này sử dụng mô hình khuôn mặt xây dựng theo phương pháp biểu diễn mô hình khuôn mặt với lớp da là lưới tam giác. Quá trình tái tạo mô hình khuôn mặt của hệ thống được chia thành các bước chính sau:  Chuẩn hóa dữ liệu: Mô-đun này có nhiệm vụ chuẩn hóa dữ liệu đầu vào, tức là đưa tọa độ các điểm đặc trưng trên khuôn mặt đích về cùng một hệ tọa độ chứa các điểm đặc trưng trên khuôn mặt nguồn mà hệ thống sử dụng.  Biến đổi khuôn mặt: Đây là mô-đun quan trọng nhất của hệ thống. Module này có nhiệm vụ tìm ra các tham số của các hàm RBF để biến đổi các điểm đặc trưng trên khuôn mặt nguồn về các điểm đặc trưng trên khuôn mặt đích, từ đó xây dựng mô hình khuôn mặt đích.  Chỉnh sửa khuôn mặt: Mô-đun này có nhiệm vụ điều chỉnh các điểm đặc trưng trên khuôn mặt đích dựa trên phản hồi của người dùng đối với khuôn mặt vừa tái tạo được. Các tọa độ sau khi thay đổi được đưa lại vào module biến đổi khuôn mặt để tái tạo một mô hình khuôn mặt đích mới. Quá trình Chương 3. Hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư 32 tiếp tục như vậy cho đến khi người dùng thỏa mãn với mô hình khuôn mặt đích được xây dựng. Mô hình khuôn mặt đích này là đầu ra cuối cùng của hệ thống. Như vậy hệ thống mà chúng tôi xây dựng cho phép người dùng can thiệp, điều chỉnh vào đầu ra tạm thời cho tới khi mô hình khuôn mặt đích xây dựng được phù hợp nhất có thể. Mô hình hệ thống được minh họa trong Hình 15. Các mục tiếp theo của chương sẽ đi sâu vào mô tả chi tiết từng bước (mô-đun) của hệ thống. Chương 3. Hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư 33 Hình 15. Mô hình hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng (*Nếu người dùng không có yêu cầu chỉnh sửa gì thêm thì Mô hình khuôn mặt đích nhận được sau “Biến đổi” là đầu ra cuối cùng của hệ thống) HỆ THỐNG TÁI TẠO MÔ HÌNH KHUÔN MẶT TỪ CÁC ĐIỂM ĐẶC TRƢNG Các điểm đặc trưng trên khuôn mặt đích Mô hình khuôn mặt đích* Chuẩn hóa Tọa độ các điểm đặc trưng trên khuôn mặt đích Biến đổi Tọa độ các điểm đặc trưng trên khuôn mặt nguồn Mô hình khuôn mặt nguồn Chỉnh sửa Chương 3. Hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư 34 3.2 Chuẩn hóa dữ liệu Ở bước đầu tiên này, hệ thống nhận đầu vào là tọa độ 3 chiều của các điểm đặc trưng trên khuôn mặt đích. Tập tọa độ này được trích xuất ra bằng phương pháp đo độ dày mô trên hộp sọ hoặc từ các ảnh 2 chiều nên chúng được đặt ở trong một hệ trục tọa độ khác. Chúng tôi sử dụng một số phép biến đổi trong không gian ba chiều để đưa tập tọa độ này về hệ tọa độ tương đương với hệ tọa độ mà chúng tôi dùng để biểu diễn mô hình khuôn mặt nguồn. 3.2.1 Các phép biến đổi trong không gian ba chiều đƣợc sử dụng Chúng tôi sử dụng các phép biến đổi: phép tịnh tiến, phép tỉ lệ và phép quay trong không gian ba chiều. Tọa độ các điểm được biểu diễn theo tọa độ đồng nhất, nghĩa là chúng tôi sẽ dùng tọa độ (x, y, z, 1) thay cho tọa độ (x, y, z). Bằng cách này chúng tôi có thể dễ dàng biểu diễn các phép biến đổi ở dạng các phép tính với ma trận. Giả sử chúng ta cần biến đổi điểm P về điểm P’ theo:  Phép tịnh tiến theo vec-tơ tịnh tiến là (tx, ty, tz). Khi đó phương trình phép tịnh tiến như sau (T là ma trận của phép tịnh tiến): P’ = 𝑥′ 𝑦′ 𝑧′ 1 = T. P = 1 0 0 𝑡𝑥 0 1 0 𝑡𝑦 0 0 1 𝑡𝑧 0 0 0 1 . 𝑥 𝑦 𝑧 1  Phép tỉ lệ: S là ma trận của phép tỉ lệ theo hệ số (sx, sy, sz): P’ = 𝑥′ 𝑦′ 𝑧′ 1 = S. P = 𝑠𝑥 0 0 0 0 𝑠𝑦 0 0 0 0 𝑠𝑧 0 0 0 0 1 . 𝑥 𝑦 𝑧 1  Phép quay: Khi thực hiện phép quay trong không gian ba chiều, ta cần phải biết trục quay và góc quay. Chiều của góc quay được xác định theo chiều cùng chiều kim đồng hồ (chiều âm) và ngược chiều kim đồng hồ (chiều dương) khi mắt nhìn dọc theo trục quay (ta sẽ gọi đó là hướng nhìn). Ví dụ phép quay minh họa ở Hình 16 là phép quay theo chiều dương, trục quay Ox và hướng nhìn là theo hướng âm của trục Ox. Chương 3. Hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư 35 Hình 16. Phép quay chiều dương, trục quay Ox, hướng nhìn là hướng âm trục Ox  Phép quay quanh các trục tọa độ Ta xét các phép quay một góc θ theo các trục Ox, Oy, Oz khi hướng nhìn là hướng âm của trục đó. o Phép quay quanh trục Ox 𝑥′ = 𝑥 𝑦′ = 𝑦. 𝑐𝑜𝑠θ − z. sinθ z′ = y. sinθ + z. cosθ Vì vậy P’ = 𝑥′ 𝑦′ 𝑧′ 1 = 𝑅𝑂𝑥 θ . P = 1 0 0 0 0 𝑐𝑜𝑠θ −𝑠𝑖𝑛θ 0 0 𝑠𝑖𝑛θ 𝑐𝑜𝑠θ 0 0 0 0 1 . 𝑥 𝑦 𝑧 1 o Phép quay quanh trục Oy 𝑥′ = 𝑥. 𝑐𝑜𝑠θ+ z. sinθ 𝑦′ = 𝑦 z′ = −x. sinθ + z. cosθ Vì vậy P’ = 𝑥′ 𝑦′ 𝑧′ 1 = 𝑅𝑂𝑦 θ . P = 𝑐𝑜𝑠θ 0 𝑠𝑖𝑛θ 0 0 1 0 0 −𝑠𝑖𝑛θ 0 𝑐𝑜𝑠θ 0 0 0 0 1 . 𝑥 𝑦 𝑧 1 o Phép quay quanh trục Oz Chương 3. Hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư 36 𝑥′ = 𝑥. 𝑐𝑜𝑠θ − y. sinθ 𝑦′ = 𝑥. 𝑠𝑖𝑛θ + y. cosθ z′ = z Vì vậy P’ = 𝑥′ 𝑦′ 𝑧′ 1 = 𝑅𝑂𝑧 θ . P = 𝑐𝑜𝑠θ −𝑠𝑖𝑛θ 0 0 𝑠𝑖𝑛θ 𝑐𝑜𝑠θ 0 0 0 0 1 0 0 0 0 1 . 𝑥 𝑦 𝑧 1  Phép quay quanh một trục song song với trục tọa độ Giả sử trục quay song song với trục Ox (các trường hợp còn lại tương tự), ta thực hiện lần lượt các phép biến đổi sau: 1. Áp dụng phép tịnh tiến T để đưa trục quay về trục Ox 2. Áp dụng phép quay R(θ) quanh trục Ox với góc θ 3. Áp dụng phép tịnh tiến T-1 để đưa trục quay về vị trí ban đầu  Phép quay quanh một trục bất kì Giả sử trục quay là một đường thẳng d đi qua hai điểm P1(x1, y1, z1) và P2(x2, y2, z2). Để thực hiện phép quay R(θ)quanh đường thẳng d một góc θ theo hướng nhìn từ điểm P2 tới P1. Ta thực hiện lần lượt các phép biến đổi sau: 1. Áp dụng phép tịnh tiến để đưa trục quay về vị trí đi qua gốc tọa độ. 2. Áp dụng phép quay để đưa trục quay về vị trí trùng với một trục tọa độ, ví dụ là Oz. 3. Áp dụng phép quay vật thể quanh trục quay (trục tọa độ). 4. Áp dụng phép quay đưa trục quay về vị trí tại bước (ii). 5. Áp dụng phép quay đưa trục quay về vị trí ban đầu. Quá trình được minh họa trong Hình 17: Chương 3. Hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư 37 Hình 17. Phép quay quanh một trục bất kì Ta cần tìm ma trận biến đổi của từng phép biến đổi theo từng bước  Bước 1: Tịnh tiến đưa điểm P1 về gốc tọa độ bằng cách tịnh tiến theo vec-tơ (-x1, -y1, -z1), đoạn thẳng P1P2 chuyển thành P1’P2’. Ma trận phép biến đổi là: T = 1 0 0 −𝑥1 0 1 0 −𝑦1 0 0 1 −𝑧1 0 0 0 1  Bước 2: Đây là bước phức tạp nhất, đưa trục quay P1’P2’ về trùng với một trục tọa độ, ta chọn đó là trục Oz. Để thuận tiện ta sẽ chọn vec-tơ đơn vị 𝑢 thuộc đường thẳng P1’P2’ và có hướng trùng với hướng của vec-tơ 𝑣 = P1’P2’ như sau: 𝑣 = P1’P2’= P1P2 = (x2-x1, y2-y1, z2-z1). 𝑢 = 𝑣 𝑣 = 𝑎, 𝑏, 𝑐 và 𝑢 = 𝑎2 + 𝑏2+ 𝑐2 2 = 1 Chương 3. Hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư 38 Mục đích bây giờ là ta phải đưa 𝑢 về trục Oz bằng cách áp dụng hai phép quay sau: i. Quay một góc α quanh trục Ox đưa 𝑢 về vị trí vec-tơ 𝑢′′ nằm trên mặt phẳng xOz. ii. Quay một góc β quanh trục Oy đưa 𝑢′′ về vị trí uz thuộc trục Oz. Quá trình được minh họa trong Hình 18 Hình 18. Quay vec-tơ 𝑢 về trục Oz Độ lớn của góc α chính bằng góc giữa vec-tơ 𝑢′ (0,𝑏, 𝑐) (hình chiếu của 𝑢 lên mặt phẳng yOz)và chiều dương trục Oz như trong Hình 19 Chương 3. Hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư 39 Hình 19. Cách tính góc α Dễ thấy cos𝛼 = 𝑐 𝑑 , 𝑠𝑖𝑛𝛼 = 𝑏 𝑑 với 𝑑 = 𝑢′ = 𝑏2 + 𝑐2. Sau phép quay một góc 𝛼 quanh trục Ox (Hình 18) 𝑢 thành 𝑢′′ . Hoành độ của 𝑢′′ bằng x (vì phép quay quanh Ox không làm thay đổi hoành độ), tung độ của 𝑢′′ bằng 0 và cao độ của 𝑢′′ bằng d (chính là độ dài của 𝑢′ ). 𝑅𝑂𝑥 θ = 1 0 0 0 0 𝑐𝑜𝑠𝛼 −𝑠𝑖𝑛𝛼 0 0 𝑠𝑖𝑛𝛼 𝑐𝑜𝑠𝛼 0 0 0 0 1 = 1 0 0 0 0 𝑐 𝑑 −𝑏 𝑑 0 0 𝑏 𝑑 𝑐 𝑑 0 0 0 0 1 Tương tự ta có 𝑐𝑜𝑠𝛽 = 𝑢′′ uz 𝑢′′ uz = 𝑑 (chú ý: 𝑢′′ = uz = 1). Theo định nghĩa tích có hướng của hai vec-tơ ta có: 𝑢′′ .𝑢𝑧 = 𝑢𝑦 . 𝑢′′ . 𝑢𝑧 . 𝑠𝑖𝑛𝛽 Mặt khác 𝑢′′ .𝑢𝑧 = 𝑢𝑦 . (−𝑎) do đó 𝑠𝑖𝑛𝛽 = −𝑎. Từ đó, ta có: 𝑅𝑂𝑦 β = 𝑐𝑜𝑠𝛽 0 𝑠𝑖𝑛𝛽 0 0 1 0 0 −𝑠𝑖𝑛𝛽 0 𝑐𝑜𝑠𝛽 0 0 0 0 1 = 𝑑 0 −𝑎 0 0 1 0 0 𝑎 0 𝑑 0 0 0 0 1 Chương 3. Hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư 40  Bước 3: Áp dụng phép quay một góc θ quanh trục Oz 𝑅𝑂𝑧 θ = 𝑐𝑜𝑠θ −𝑠𝑖𝑛θ 0 0 𝑠𝑖𝑛θ 𝑐𝑜𝑠θ 0 0 0 0 1 0 0 0 0 1  Bước 4 và bước 5: Áp dụng các phép biến đổi ngược, đưa đường thẳng d về vị trí ban đầu. Tóm lại ta có phương trình ma trận kết hợp các phép biến đổi như sau: 𝑅 θ = T−1. ROx −1 α . ROy −1 β .𝑅𝑂𝑧 θ .𝑅𝑂𝑦 β .𝑅𝑂𝑥 α . T 3.2.2 Sử dụng các phép biến đổi để chuẩn hóa dữ liệu Mục đích của chúng tôi là đưa các điểm đặc trưng bên khuôn mặt đích về hệ tọa độ và theo đúng hướng nhìn chính diện tới khuôn mặt ở bên khuôn mặt nguồn. Chúng tôi chọn 3 điểm Su, Sv, Sk (điểm đỉnh mũi, điểm đỉnh trán, điểm đỉnh cằm) trong tập S là tập các điểm đặc trưng nguồn và 4 điểm Tu, Tv, Tk, Tt (điểm đỉnh mũi, điểm đỉnh trán, điểm đỉnh cằm và điểm ở thái dương) trong tập T là tập các điểm đặc trưng đích làm mốc. Các điểm này được khoanh tròn xanh như ở Hình 20. Hình 20. Chọn 4 điểm mốc để chuẩn hóa dữ liệu qua các phép biến đổi 3D Chương 3. Hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư 41 Sử dụng các phép biến đổi trong không gian ba chiều ở trên, chúng tôi tiến hành các bước như sau:  Bước 1 dùng phép tịnh tiến: Tịnh tiến cả tập điểm T theo 𝑇𝑢 𝑆𝑢 , chúng tôi sẽ có tập điểm mới trong đó điểm Tu có cùng tọa độ với Su.  Bước 2 dùng phép tỉ lệ: Lấy điểm Tu làm mốc, chúng tôi đưa tất cả các điểm Ti còn lại theo hướng 𝑇𝑢 𝑇𝑖 theo tỉ lệ 𝑆𝑢𝑆𝑣 𝑇𝑢𝑇𝑣 . Sau đó chúng tôi sẽ thu được tập các điểm mới sao cho 𝑇𝑢𝑇𝑣 = 𝑆𝑢𝑆𝑣 .  Bước 3 dùng phép quay: Chúng tôi xác định phép quay với trục là vec-tơ pháp tuyến của mặt phẳng (Tu, Tv, Sv) gốc tại Tu và xác định góc quay α sao cho nếu áp dụng với Tv thì Tv quay về trùng với Sv (lúc này đã có 𝑇𝑢𝑇𝑣 = 𝑆𝑢𝑆𝑣 sau bước trên). Sau khi xác định được phép quay chúng tôi áp dụng phép quay này cho tất cả các điểm Ti của tập T. Sau bước này chúng tôi có thêm Tv trùng Sv.  Bước 4 dùng phép quay: Chúng tôi xác định phép quay với trục là 𝑇𝑢𝑇𝑣 và xác định góc quay β sao cho nếu áp dụng với Tk thì Tk quay về nằm lên trên mặt phẳng 𝑇𝑢𝑇𝑣𝑆𝑘, tọa độ z của Tk < tọa độ z của Tu và áp dụng với Tt thì tọa độ z của Tt < tọa độ z của Tu. Sau khi xác định được phép quay chúng tôi áp dụng phép quay này cho tất cả các điểm Ti của tập điểm T. Cuối cùng chúng tôi có được tập các điểm có tọa độ được chuẩn hóa theo hệ tọa độ mà hệ thống sử dụng. Dữ liệu tọa độ này được đưa vào bước biến đổi khuôn mặt. 3.3 Biến đổi khuôn mặt Ở bước này, chúng tôi sử dụng một mô hình khuôn mặt chuẩn làm mô hình khuôn mặt nguồn. Đơn vị biến đổi dùng mô hình đa mạng hàm cơ sở bán kính, Radial Basis Functions (RBF). Đơn vị này nhận đầu vào là mô hình khuôn mặt nguồn cùng các điểm đặc trưng trên khuôn mặt nguồn và các điểm đặc trưng trên khuôn mặt đích tương ứng. Các mạng RBF được huấn luyện bởi 2 tập điểm đặc trưng này. Sau đó, chúng ánh xạ mô hình khuôn mặt nguồn qua các hàm RBF được xây dựng để có mô hình khuôn mặt đích. Chương 3. Hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư 42 3.3.1 Mô hình khuôn mặt nguồn Chúng tôi sử dụng phương pháp biểu diễn mô hình khuôn mặt với lớp da là lưới tam giác như đã trình bày ở mục 2.2.1. Ưu điểm của việc biểu diễn bằng lưới đa giác là các tính toán về bề mặt lưới đa giác như xác định một phần hay toàn bộ một vật thể nằm trong một khoảng không gian, tìm ra các bề mặt ẩn, và xác định độ bóng của các bề mặt nhìn thấy đã được giải quyết bởi nhiều thuật toán đồ họa (Mahl, 1972; Weiss, 1966) [23][35]. Và hơn nữa là về mặt tốc độ; các thuật toán này nhanh hơn, tiết kiệm hơn và mang đến hiệu quả dựng mô hình nhanh chóng với máy tính thông thường với dung lượng, tốc độ xử lý thấp. Cụ thể hơn chúng tôi xây dựng lớp da một khuôn mặt nguồn với các đa giác là các tam giác. Để biểu diễn khuôn mặt, hệ thống sử dụng 2638 đỉnh và 5014 tam giác nối giữa các đỉnh. Với số lượng đỉnh và tam giác khá lớn như vậy lớp da khuôn mặt được biểu diễn khá mịn, đẹp và đủ cho việc đánh dấu tất cả các điểm đặc trưng tại mọi vị trí. Vì mặt người gần như đối xứng nên chúng tôi xây dựng nửa mặt bên trái rồi lấy đối xứng để hoàn thiện nốt bên phải. Nửa bên trái Hình 20 biểu hiện mô hình khuôn mặt nguồn hệ thống sử dụng. Việc sử dụng mô hình khuôn mặt biến đổi để thể hiện một mô hình khuôn mặt mới thay cho việc sử dụng chính bản thân mô hình mới có nhiều ưu điểm:  Giữ được một mô hình khuôn mặt cố định với số đỉnh và số đa giác xác định trước.  Sử dụng lại được các thông số trên mô hình khuôn mặt cố định trước.  Sử dụng lại những thông tin về các vùng trên mô hình khuôn mặt để nâng cao hiệu quả của biến đổi. 3.3.2 Biến đổi mô hình khuôn mặt Chọn và huấn luyện mô hình đa mạng RBF: Chúng tôi sử dụng ba mạng RBF để lấy ánh xạ một đỉnh trên mô hình khuôn mặt nguồn sang một đỉnh trên mô hình khuôn mặt đích cần xây dựng với ba giá trị tọa độ trong không gian 3 chiều. Các mạng này được huấn luyện bằng tập các điểm đặc trưng. 𝑝 𝑥, 𝑦, 𝑧 → 𝑝′(𝑅𝐵𝐹𝑥 𝑝 ,𝑅𝐵𝐹𝑦 𝑝 ,𝑅𝐵𝐹𝑧 𝑝 ) Chương 3. Hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư 43 Mỗi RBF có dạng là một hàm f như sau: f(𝑝𝑖 ) = 𝑤𝑗 𝑛 𝑗=1 ℎ𝑗 (𝑝𝑖 ) (1) Trong đó:  n: là số lượng các đầu vào của tập huấn luyện.  𝑝𝑖 : là vector 𝑂𝑝𝑖 , O là gốc tọa độ  𝑤𝑗 : là trọng số của mạng, cần được xác định dựa vào tập huấn luyện.  ℎ𝑗 : là hàm cơ bản, áp dụng phương pháp rất thành công của Noh và Neumann [25]. ℎ𝑗 (pi) = 𝑝𝑖 − 𝑝𝑗 2 + 𝑠𝑗 2. Với:  𝑠𝑗 : khoảng cách ngắn nhất từ các điểm 𝑝𝑗 đến điểm 𝑝𝑖 , 𝑠𝑗 = 𝑗 ≠𝑖 𝑚𝑖𝑛 𝑝𝑖 − 𝑝𝑗 , (Eck[14] đề xuất) Như vậy ta có thể thấy các ℎ𝑗 là tính được ngay ban đầu từ 2 tập điểm đặc trưng. Bây giờ chúng ta cần tính các 𝑤𝑗 để xác định được hàm f. Tính các 𝑤𝑗 bằng cách huấn luyện mạng 3 lần với các tọa độ 3 chiều của các điểm đặc trưng trên khuôn mặt gốc với tọa độ 3 chiều của các điểm đặc trưng trên khuôn mặt đích. Ta xét 𝑤 = (𝑤1,𝑤2 ,… ,𝑤𝑛 ). Gọi C(𝑤 ) là hàm chi phí của 𝑤 . Phương pháp này sử dụng thêm một hệ số λ để cực tiểu hóa hàm chi phí C(𝑤 ): C(𝑤 ) = 𝑒 𝑇𝑒 + 𝜆𝑤 𝑇𝑤 (2) Trong đó:  𝑒 : là vector sai số của chênh lệch giữa giá trị thực tế và giá trị tính toán được, 𝑒 = 𝑦 − 𝐻𝑤 và 𝐻𝑖𝑗 = ℎ𝑗 (𝑥𝑗 ). Tham số quy tắc được thêm vào để tránh trọng số vượt quá mức. Thay 𝑒 vào trong đẳng thức (2) và lấy đạo hàm của C(𝑤 ) theo 𝑤 ta có: 𝑤 = 𝐴−1𝐻𝑇𝑦 (3) Trong đó A = 𝐻𝑇𝐻 + 𝜆𝐼 với I là ma trận đơn vị. Chương 3. Hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư 44 Vậy ta tính được A, sau đó dùng công thức (3) để tính được 𝑤 . Biến đổi: Một khi các ẩn đã được tính ra, mạng RBF nội suy đẹp trên tất cả các điểm còn lại và biến mô hình khuôn mặt gốc thành mô hình khuôn mặt đích. Lúc này hệ thống dùng ba mạng RBF với các hệ số ẩn đã tính được để biến tất cả các tọa độ của đỉnh trên khuôn mặt gốc thành một đỉnh có tọa độ mới, các tam giác kết nối các đỉnh vẫn giữ nguyên như vậy, ta sẽ có được mô hình khuôn mặt đích, hay là khuôn mặt cần tái tạo. 3.4 Chỉnh sửa khuôn mặt Mô hình khuôn mặt sau khi được tái tạo bằng cách biến đổi khuôn mặt nguồn bằng các mạng RBF ở bước trên có thể còn những đặc điểm trên khuôn mặt còn chưa hợp lý, do đó chúng tôi phát triển thêm mô-đun chỉnh sửa khuôn mặt để cho ra một khuôn mặt tốt hơn. Thành phần chỉnh sửa gồm mô-đun:  Chỉnh sửa theo điểm: cho phép chỉnh sửa tọa độ từng điểm đặc trưng trên khuôn mặt.  Chỉnh sửa theo vùng: cho phép chỉnh sửa một vùng của khuôn mặt theo các điểm đặc trưng trên vùng đó. 3.4.1 Chỉnh sửa theo điểm Hình 21. Mô-đun chỉnh sửa khuôn mặt theo từng điểm đặc trưng Mô-đun chỉnh sửa khuôn mặt theo từng điểm cho phép thay đổi tọa độ theo (x, y, z) từng điểm đặc trưng trên khuôn mặt cần tái tạo. Hình 21 ở trên minh họa thành phần này: Chương 3. Hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư 45  Bước 1: Chọn điểm đặc trưng trên danh sách các điểm đặc trưng (1).  Bước 2: Chỉnh tham số về độ thay đổi tọa độ (increment) bằng cách kéo thanh trượt ở phía dưới (2).  Bước 3: Tùy ý điều chỉnh tọa độ (x, y, z) bằng các nút +x, -x, +y, -y, +z và –z (3). Tọa độ điểm đặc trưng được thay đổi sẽ được cho vào huấn luyện lại mạng RBF và sau khi biến đổi sẽ cho ra mô hình khuôn mặt đích mới. 3.4.2 Chỉnh sửa theo vùng Hệ thống của chúng tôi cho phép chỉnh sửa 5 thành phần của mặt: Mắt, mũi, cằm, tai và miệng. Mô-đun chỉnh sửa khuôn mặt theo vùng được quản lý theo các tab như ở Hình 22. Hình 22. Mô-đun chỉnh sửa khuôn mặt theo vùng Từng đặc điểm của từng vùng được quyết định bằng một số đo nhân trắc học được tổng kết trong [1][2]. Chúng tôi chỉnh sửa đặc điểm của từng vùng bằng cách thay đổi các số đo nhân trắc học đó theo một tỉ lệ nhất định. Để thay đổi các số đo nhân trắc, chúng tôi thay đổi khoảng cách giữa các cặp điểm đặc trưng tương ứng, từ đó một số tọa độ các điểm đặc trưng trên khuôn mặt cần tái tạo thay đổi và chúng tôi truyền lại cho mô-đun biến đổi khuôn mặt để cho ra mô hình khuôn mặt mới. Dưới đây mô tả phương pháp chỉnh sửa một vài đặc điểm trên các vùng có trong hệ thống chúng tôi phát triển. Mắt Chương 3. Hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư 46 Hình 23. Chỉnh sửa mắt to nhỏ Trên mắt có 8 điểm đặc trưng 𝑃1, 𝑃2, 𝑃3, 𝑃4, 𝑃5, 𝑃6, 𝑃7 và 𝑃8 như ở Hình 23. Giả sử tọa độ trọng tâm của 8 điểm là P. Khi đó để chỉnh sửa mắt to lên hoặc nhỏ đi, chúng tôi co giãn khoảng cách giữa P tới 8 điểm trên. Lúc này điều chỉnh 𝑃𝑖 thành 𝑃′𝑖 với điều kiện: 𝑃𝑃𝑖 ⇈ 𝑃𝑃′𝑖 và 𝑃𝑃𝑖 𝑃𝑃′ 𝑖 =∝ trong đó i = 1→8, ∝ 1 mắt to. Mũi Hình 24. Chỉnh sửa mũi dài ngắn Để chỉnh sửa mũi dài ngắn, chúng tôi dựa vào các điểm đặc trưng 𝑃,𝑃1, 𝑃2 , 𝑃3, Chương 3. Hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư 47 𝑃4 như trên Hình 24. Chúng tôi điều chỉnh các điểm 𝑃𝑖 thành 𝑃′𝑖 với điều kiện: 𝑃𝑃𝑖 ⇈ 𝑃𝑃′𝑖 và 𝑃𝑃𝑖 𝑃𝑃′ 𝑖 =∝ trong đó i = 1→4, ∝ 1 mũi dài. Hình 25. Chỉnh độ rộng cánh mũi Để chỉnh sửa độ rộng của cánh mũi, chúng tôi dựa vào hai khoảng cách 𝑃1𝑃2 và 𝑃3𝑃4 như trong Hình 25. Chúng tôi điều chỉnh 𝑃1 thành 𝑃′1 và 𝑃2 thành 𝑃′2, với 𝑃1𝑃2 ⇈ 𝑃1𝑃′2 , 𝑃2𝑃1 ⇈ 𝑃2𝑃′1 và 𝑃1𝑃2 𝑃1𝑃′2 = 𝑃2𝑃1 𝑃2𝑃′1 =∝ . 𝑃3 thành 𝑃′3 và 𝑃4 thành 𝑃′4, với 𝑃3𝑃4 ⇈ 𝑃3𝑃′4 , 𝑃4𝑃3 ⇈ 𝑃4𝑃′3 và 𝑃3𝑃4 𝑃3𝑃′4 = 𝑃4𝑃3 𝑃4𝑃′3 =∝ Trong đó ∝ 1 cánh mũi rộng. Miệng Hình 26. Chỉnh sửa miệng nhỏ, rộng Chương 3. Hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư 48 Dựa vào độ rộng của miệng là khoảng cách giữa 2 mép miệng 𝑃1𝑃2 như ở Hình 26, chúng tôi điều chỉnh 𝑃1 thành 𝑃′1 và 𝑃2 thành 𝑃′2. Với 𝑃1𝑃2 ⇈ 𝑃1𝑃′2 , 𝑃2𝑃1 ⇈ 𝑃2𝑃′1 và 𝑃1𝑃2 𝑃1𝑃′2 = 𝑃2𝑃1 𝑃2𝑃′1 =∝ trong đó ∝ 1 miệng to. Cằm Hình 27. Chỉnh sửa cằm dài, ngắn Để chỉnh sửa cằm dài ngắn, chúng tôi lấy P làm điểm mốc như ở Hình 27, chúng tôi điều chỉnh 𝑃1, 𝑃2, 𝑃3 sao cho 𝑃𝑃𝑖 ⇈ 𝑃𝑃′𝑖 và 𝑃𝑃𝑖 𝑃𝑃′ 𝑖 =∝ trong đó i = 1→3, ∝ < 1 mũi ngắn, ∝ > 1 mũi dài. Tai Hình 28. Chỉnh sửa tai to, nhỏ Chương 3. Hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư 49 Như trên Hình 28, chúng tôi lấy điểm P làm mốc, điều chỉnh các điểm Pi thành P′i với điều kiện: PPi ⇈ PP′i và PP i PP′ i =∝ trong đó i = 1→5, ∝ 1 tai to. 3.5 Thiết kế hệ thống Hệ thống bao gồm 2 thành phần: Phần điều khiển, hiển thị mô hình khuôn mặt (khuôn mặt nguồn và khuôn mặt đích) và phần điều khiển các thao tác biến đổi mô hình khuôn mặt.  Phần điều khiển, hiển thị mô hình khuôn mặt nguồn và khuôn mặt đích: Các lớp, các thuộc tính, phương thức của lớp và mối quan hệ giữa các lớp được mô tả trong biểu đồ UML ở Hình 29. Hình 29. Biểu đồ UML thể hiện thết kế phần điều khiển, hiển thị khuôn mặt Phần này gồm 8 lớp chính: - CMainFrame: là lớp điều khiển khung hình (frame) chính của hệ thống, trong đó bao gồm 3 khung hình con (lớp CChildFrame). Một số hàm của CDocument CMeshDoc m_Face: MHead* MHead CSFace m_Face: MHead CMeshView GetDoc(): CMeshDoc CView GetDoc(): CDocument* CChildFrame CMainFrame m_wndSFace: CChildFrame* m_wndControl: CChildFrame* m_wndToolbar: Ctoolbar createAChildWindow(): CChildFrame* OnCreate(): int Chương 3. Hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư 50 lớp như sau: o OnCreate(): Khởi tạo khung hình ban đầu. o createAChildWindow(): khởi tạo khung hình con. - CChildFrame: là lớp điều khiển khung hình con của hệ thống. Có 3 khung hình con là: o Khung hình hiển thị mô hình khuôn mặt nguồn. o Khung hình hiển thị mô hình khuôn mặt đích. o Khung hình hiển thị các thao tác biến đổi. - CDocument: là hiện thân ảo của CMeshDoc. - MHead: là lớp chứa dữ kiện về một mô hình khuôn mặt. Có tọa độ các đỉnh và chỉ số các đỉnh của một tam giác thuộc lưới tam giác biểu diễn lớp da. - CMeshDoc: đây là lớp phân tích dữ liệu để chuyển tới CMeshView. Hàm OnOpenDocument() thực hiện đọc và phân tích dữ liệu. - CView: là lớp có chức năng truyền các dữ liệu của mô hình khuôn mặt tới các thành phần hiển thị của hệ thống. Có 2 lớp con đó là: CSFace và CMeshView. CView có hàm GetDoc() để lấy dữ liệu từ CMeshDoc. - CMeshView: là lớp điều khiển mô hình khuôn mặt đích, dữ liệu lấy từ lớp CMeshDoc. Lớp gọi hàm OnPaint() để hiển thị mô hình khuôn mặt đích. - CSFace: là lớp điều khiển mô hình khuôn mặt nguồn của hệ thống. Lớp này có một thuộc tính là m_Face chứa dữ liệu về khuôn mặt nguồn và gọi hàm OnCreate() để khởi tạo mô hình khuôn mặt nguồn.  Phần điều khiển các thao tác biến đổi mô hình khuôn mặt: Các lớp, thuộc tính, phương thức và mối quan hệ giữa các lớp được mô tả trong biểu đồ UML ở Hình 30. Chương 3. Hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư 51 Hình 30. Biểu đồ UML thể hiện thiết kế phần điều khiển các thao tác biến đổi mô hình khuôn mặt Phần này bao gồm 6 lớp chính: - CView: như đã mô tả ở phần điều khiển và hiển thị mô hình khuôn mặt. - CFormView: lớp con của CView có chức năng nối kết các thành phần điều khiển như TabBar, ScrollCtrl, … - CDialog: là lớp hệ thống. Có các lớp con: CEyesTab, CEarsTab, CNoseTab, CChinTab, CMouthTab. Các lớp con này chính là các tab để quản lý tính năng chỉnh sửa khuôn mặt. - CTabCtrl: là lớp hệ thống. Có lớp con là CMyTabCtrl. - CMyTabCtrl: là khung quản lý các tab chỉnh sửa khuôn mặt. CTabCtrl CMyTabCtrl m_tabPages[5]: CDialog* m_tabCurrent: int m_nNumberOfPages: int Init(): void SetRectangle(): void CDialog CEyesTab CEarsTab CNoseTab CChinTab CMouthTab CView CFormView CControl m_MyTabCtrl: CMyTabCtrl m_Slider: CSliderCtrl m_verticesList: CListBox DisplayVerticesInfo(): void UpdateListView(): void OnSelChangeListVertices(): void OnButtonMorph(): EventHandle OnButtonAdd: EventHandle OnButtonRemove: EventHandle Chương 3. Hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư 52 Thuộc tính: o m_TabPages[5]: lưu các tab thông qua lớp hiện hình CDialog của chúng. o m_TabCurrent: Tab hiện hành o m_nNumberOfTabPages: số lượng tab Phương thức: o Init(): khởi tạo khung quản lý và các tab. o SetRectangle(): phân vùng để hiển thị mỗi tab trên khung quản lý - CControl: lớp điều khiển các tính năng trên giao diện thao tác biến đổi. Thuộc tính: o m_MyTabCtrl: thành phần quản lý các tab. o m_Slider: thanh trượt o m_VerticesList: danh sách các điểm đặc trưng. Phương thức: o DisplayVerticesInfo(): hiển thị danh sách các điểm đặc trưng trên khuôn mặt. o OnSelChangeListVertices(): hiển thị vị trí điểm tương ứng trên khuôn mặt nguồn và đích khi ta chọn điểm đặc trưng trong danh sách m_VerticesList. o UpdateListView(): cập nhật lại danh sách các điểm đặc trưng. o OnButtonMorph(): bắt sự kiện ấn nút “Morph” và gọi hàm morphingFace() để biến đổi mô hình khuôn mặt nguồn thành mô hình khuôn mặt đích. o OnButtonAdd(): bắt sự kiện ấn nút “Add” để thêm điểm đặc trưng. o OnButtonRemove(): bắt sự kiện ấn nút “Remove” để bỏ đi điểm đặc trưng. Chương 3. Hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư 53 Hệ thống sau khi phát triển có giao diện như Hình 31: Hình 31. Giao diện của hệ thống tái tạo và chỉnh sửa mô hình khuôn mặt Các thành phần trên giao diện của hệ thống: 1. Danh sách các điểm đặc trưng 2. Tọa độ của điểm đặc trưng hiện đang được chọn trong danh sách, ở Hình 31 ở trên là đỉnh mũi. 3. Các chức năng thêm, xóa và đổi tên điểm đặc trưng 4. Chức năng chỉnh sửa khuôn mặt theo tọa độ của từng điểm đặc trưng 5. Chức năng chỉnh sửa khuôn mặt theo đặc điểm các bộ phận 6. Nút “Morph” để tái tạo khuôn mặt đích 7. Nút “Load” để nạp tọa độ các điểm đặc trưng trên khuôn mặt đích cần tái tạo 8. Mô hình khuôn mặt nguồn. 9. Mô hình hộp sọ cùng các điểm đặc trưng của khuôn mặt đích ứng với hộp sọ. 10. Chức năng lưu lại mô hình khuôn mặt nguồn (“Save Source”), lưu lại mô hình khuôn mặt đích (“Save Target”) và chỉnh lại mô hình khuôn mặt nguồn về ban đầu(“ResetFace”). Chương 4. Thực nghiệm và đánh giá Nguyễn Đình Tư 54 Chƣơng 4 THỰC NGHIỆM VÀ ĐÁNH GIÁ Chúng tôi phát triển hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng trên khuôn mặt bằng ngôn ngữ Microsoft Visual C++ chạy trên nền Microsoft Visual Studio 6.0. Chúng tôi xây dựng cơ sở dữ liệu là các tập điểm đặc trưng của nhiều người khác nhau. Cơ sở dữ liệu này được đưa vào chạy trên hệ thống và cho ra tập các mô hình khuôn mặt được tái tạo. Sau đó chúng tôi sử dụng phương pháp thăm do ý kiến đánh giá bằng cách lập ra các danh mục các vùng trên khuôn mặt và lấy ý kiến đánh giá về độ chính xác của từng vùng đó. 4.1 Các bƣớc tiến hành thực nghiệm Chúng tôi tiến hành các bước như sau:  Bước 1. Xây dựng cơ sở dữ liệu: Chúng tôi xác định 50 điểm đặc trưng trên nửa trái của khuôn mặt, 50 điểm trên nửa bên phải xác định bằng cách lấy đối xứng. Từ đó, chúng tôi xây dựng bộ cơ sở dữ liệu gồm 10 tập tọa độ 50 điểm đặc trưng đó trên nửa trái khuôn mặt của 10 người khác nhau. Chúng tôi sử dụng kĩ thuật xây dựng mô hình ba chiều từ nhiều ảnh hai chiều [22]. Chúng tôi chụp ảnh mặt từng người, mỗi người 2 bức ảnh ở 2 góc khác nhau, sau đó đánh dấu các điểm đặc trưng lên các bức ảnh và dùng công cụ Camera Calibration Toolbox for Matlab, tạm dịch là Công cụ căn chỉnh máy quay cho Matlab [13] để trích xuất ra tọa độ 3 chiều của các điểm đặc trưng.  Bước 2. Chạy hệ thống: Chúng tôi sử dụng 10 tập tọa độ các điểm đặc trưng trên, cho vào hệ thống tái tạo và lưu lại mô hình các khuôn mặt tái tạo được.  Bước 3. Lấy ý kiến đánh giá: Chúng tôi lập ra danh sách đầu mục các vùng trên khuôn mặt. Sau đó, chúng tôi lần lượt hiển thị lại từng khuôn mặt và thu thập đánh giá về độ chính xác theo thang điểm từ 0 đến 10 của từng vùng. Chương 4. Thực nghiệm và đánh giá Nguyễn Đình Tư 55 4.2 Kết quả và đánh giá Hình 32 biểu diễn các điểm đặc trưng và mô hình khuôn mặt nguồn chúng tôi chọn: Hình 32. Các điểm đặc trưng được chọn để thử nghiệm Chúng tôi chọn các vùng: Mắt, mũi, miệng, cằm, lông mày, trán, má và khung viền mặt để lấy nhận xét và đánh giá. Dưới đây là kết quả tái tạo khuôn mặt của một số người: Chương 4. Thực nghiệm và đánh giá Nguyễn Đình Tư 56 Hình 33. Kết quả tái tạo khuôn mặt của người thứ nhất Khuôn mặt của người thứ nhất được tái tạo ở Hình 33 có các đặc điểm và được đánh giá như sau: - Mắt tương đối chính xác về độ mở, độ sâu và viền mắt 8.0 điểm, - Mũi cao, thon, độ dài tương đối chính xác nhưng cánh mũi chưa đủ độ phồng 8.5 điểm, Chương 4. Thực nghiệm và đánh giá Nguyễn Đình Tư 57 - Viền miệng cong, độ mở tương đối chính xác, nhưng miệng hơi rộng 8.0 điểm, - Cằm tạo được độ uốn, nhô ra hợp lý 8.8 điểm, - Lông mày cong dài chính xác 9.0 điểm, - Phần giữa trán lõm hơn 8.0 điểm, - Gò má nhô lên, tạo độ cong tốt 9.0 điểm, - Khung viền mặt khá chính xác so với thực tế 8.0 điểm, Tổng điểm đạt được: 67.3/80. Chúng tôi sử dụng chức năng chỉnh sửa khuôn mặt để điều chỉnh giảm độ rộng của 2 bên cánh mũi để tăng thêm độ phồng cho mũi (Hình 34 từ trái sang phải) và điều chỉnh miệng nhỏ hơn (Hình 35 từ trái sang phải): Hình 34. Điều chỉnh cánh mũi hẹp hơn Hình 35. Điều chỉnh miệng nhỏ hơn Chương 4. Thực nghiệm và đánh giá Nguyễn Đình Tư 58 Hình 36. Kết quả tái tạo khuôn mặt của người thứ hai Người thứ hai là nữ giới cho kết quả là một khuôn mặt tái tạo thon hơn, nữ tính hơn như Hình 36. Các đánh giá và cho điểm như sau: - Mắt to hơn 8.5 điểm, - Cánh mũi chưa tạo được độ phồng và cao hơn 7.0 điểm, Chương 4. Thực nghiệm và đánh giá Nguyễn Đình Tư 59 - Nét miệng tốt, biểu lộ được cả tâm trạng 9.0 điểm, - Cằm có độ chính xác cao về độ cong 9.5 điểm, - Lông mày có độ cong lớn hơn nhiều 7.5 điểm, - Trán thon, nhỏ hơn 7.0 điểm, - Gò má có độ cong tương đối chính xác 8.0 điểm, - Chỗ gấp của xương hàm trên khung viền mặt thon hơn 7.0 điểm. Tổng điểm đạt được: 63.5/80. Do mắt to hơn so với thực tế nên chúng tôi thử tiến hành giảm độ to của mắt bằng chức năng chỉnh sửa khuôn mặt. Hình 37 biểu hiện đôi mắt nhỏ, đồng đều và đẹp hơn (từ trái sang phải). Hình 37. Điều chỉnh cho mắt nhỏ Tất cả các đánh giá trên 10 khuôn mặt của 10 người được tái tạo được chúng tôi tổng hợp lại ở Bảng 3. Chương 4. Thực nghiệm và đánh giá Nguyễn Đình Tư 60 Bảng 3. Bảng đánh giá độ chính xác của các vùng trên khuôn mặt tái tạo được Người STT Mắt Mũi Miệng Cằm Lông mày Trán Má Viền mặt Tổng 1 7.0 9.0 8.8 8.0 9.0 8.5 8.0 8.5 66.8 2 8.0 7.0 9.5 9.0 9.0 8.0 8.0 7.5 66 3 8.0 7.0 9.5 9.0 8.0 8.0 7.0 7.5 64 4 8.0 8.5 8.0 8.8 9.0 8.0 9.0 8.0 67.3 5 8.5 7.0 9.0 9.5 7.5 7.0 8.0 7.0 63.5 6 8.5 7.0 8.0 9.5 8.0 6.5 7.0 7.5 62 7 9.5 9.0 8.5 8.5 9.0 7.5 6.0 7.0 65 8 7.5 8.0 8.5 9.0 9.0 8.0 7.0 7.0 64 9 9.5 8.5 8.0 7.0 8.5 8.5 8.0 8.0 66 10 8.5 7.5 8.0 7.5 8.0 8.5 8.5 8.5 65 Trung bình 8.3 7.85 8.58 8.58 8.5 7.85 7.65 7.65 64.96 Nhận xét và đánh giá: Tổng hợp lại những nhận xét, đánh giá về 10 khuôn mặt, chúng tôi rút ra các ưu điểm vả khuyết điểm sau:  Các ưu điểm:  Viền miệng tương đối chính xác.  Cằm tương đối chính xác.  Lông mày tạo vòng cung và có độ dài chính xác.  Mắt tương đối chính xác.  Tuy nhiên, tồn tại các hạn chế sau:  Khoảng cách đầu mũi và cánh khác, cánh mũi phồng nhiều hơn.  Trán phẳng hơn.  Má to, đầy hơn.  Viền mặt to hơn. Chương 4. Thực nghiệm và đánh giá Nguyễn Đình Tư 61 Qua đó, chúng tôi rút ra kết luận là vùng miệng, cằm, lông mày, mắt và mũi đạt độ chính xác khá tốt do các vùng này phần miền rõ ràng và có nhiều điểm đặc trưng bao quanh viền của chúng. Phần viền mặt do chưa có nhiều điểm đặc trưng trên đó nên đạt độ chính xác chưa cao. Điểm trung bình mà chương trình đạt được là 64.96/80. Đây là một kết quả khả quan làm nền tảng để chúng tôi phát triển hệ thống tốt hơn nữa. Chương 5. Tổng kết Nguyễn Đình Tư 62 Chƣơng 5 TỔNG KẾT Qua thời gian nghiên cứu về bài toán tái tạo mô hình khuôn mặt người, chúng tôi đã nắm được các phương pháp, kĩ thuật tái tạo khuôn mặt cùng với một số kiến thức về giải phẫu học khuôn mặt người. Qua đó, chúng tôi phát triển một hệ thống tái tạo mô hình khuôn mặt trong không gian ba chiều từ các điểm đặc trưng với ba mô-đun chính: Mô-đun chuẩn hóa dữ liệu, mô-đun biến đổi khuôn mặt và mô-đun chỉnh sửa khuôn mặt. Mô-đun chuẩn hóa có nhiệm vụ chuẩn hóa tập điểm đặc trưng đầu vào thông qua các phép quay, phép tịnh tiến và phép tỉ lệ trong không gian ba chiều. Mô- đun biến đổi sử dụng các mạng RBF được huấn luyện bằng tập điểm đặc trưng đã được chuẩn hóa và tập điểm đặc trưng trên khuôn mặt nguồn, từ đó biến đổi khuôn mặt nguồn thành khuôn mặt đích. Mô-đun chỉnh sửa hoàn thiện hơn những điểm chưa hợp lý trên khuôn mặt đích theo từng điểm đặc trưng hoặc từng vùng để được khuôn mặt đích cuối cùng. Hệ thống đã được thử nghiệm trên dữ liệu được tạo từ ảnh của những khuôn mặt thật và đạt được một kết quả khả quan là 80%. Các kết quả đạt được đối với vùng mắt, mũi, miệng, lông mày và cằm là tốt trong khi kết quả đạt được cho phần viền mặt là chưa cao. Bên cạnh đó, chúng tôi đã xây dựng được một quy trình tạo cơ sở dữ liệu trong mô-đun chuẩn hóa dữ liệu để thẩm định, đánh giá hệ thống và có thể phục vụ cho các nghiên cứu khác có cùng đối tượng nghiên cứu. Trong tương lai chúng tôi sẽ phát triển hệ thống hoàn thiện hơn. Đầu vào không chỉ dừng ở mức là có sẵn các điểm đặc trưng mà có thể là một mô hình hộp sọ và hệ thống sẽ tự động phát hiện các điểm đặc trưng trên khuôn mặt ứng với hộp sọ này. Ở mô-đun chỉnh sửa khuôn mặt, chúng tôi sẽ thử nghiệm nhiều dữ liệu hơn và xây dựng thêm chức năng chỉnh sửa cho nhiều vùng hơn nữa. Tài liệu tham khảo Nguyễn Đình Tư 63 TÀI LIỆU THAM KHẢO Tài liệu tham khảo tiếng Việt: [1] Nguyễn Trọng Toàn, Đặc điểm về mắt, mũi, lông mày và tóc người Việt Nam. Báo cáo đề tài KC.01.16/06-10, 2009. [2] Nguyễn Trọng Toàn, Đặc điểm môi, miệng và tai người Việt Nam. Báo cáo KC.01.17/06-10, 2009. [3] Nguyễn Trọng Toàn, Tương quan giữa xương sọ mặt (phần cứng) và mô mềm xung quanh (phần mềm) của con người. Báo cáo đề tài KC.01.17/06-10, 2009, trang 4-5. [4] Nguyễn Trọng Toàn, Tương quan giữa xương sọ mặt và các bộ phận trên mặt như mắt, mũi và lông mày của người Châu Âu đã được sử dụng trong việc khôi phục mặt người, Báo cáo đề tài KC.01.16/06-10, 2009, trang 2-5. [5] Nguyễn Trọng Toàn, Đặc điểm nhân trắc, độ dày mô mềm và số đo hộp sọ của nhiều dân tộc, Báo cáo đề tài KC.01.16/06-10, 2009, trang 10. Tài liệu tham khảo tiếng Anh: [6] Anderson B., Martin Valfridson, Digital 3D facial reconstruction based on computed tomography, Master Thesis, Norrköping, 2005. [7] Ahlberg, J. CANDIDE-3 -- an updated parameterized face, Report No. LiTH- ISY-R-2326, Dept. of Electrical Engineering, Linköping University, Sweden, 2001. [8] Berar M., Michel Desvignes, Gerard Bailly and Yohan Payan, 3D semi landmarks-based statistical face reconstruction, Journal of computing and Information technology, 14 (1) , 2006, pages 31-43. [9] Bui, T. P. Illumination for computer generated pictures. Communications of the ACM, 1975. [10] Bui .T.D., M. Poel, D. Heylen & A. Nijholt, Automatic face morphing for transferring facial animation, In: Proceedings 6th IASTED International Conference on Computers, Graphics, and Imaging (CGIM 2003), Honolulu, Tài liệu tham khảo Nguyễn Đình Tư 64 Hawai, USA, August 13-16, 2003, ACTA Press, Anaheim/Calgary/Zurich, ISBN 0-88986-376-8, pages 19-24. [11] Bui .T.D., D. Heylen, M. Poel & A. Nijholt, Exporting vector muscles for facial animation, In: Proceedings International Symposium on Smart Graphics 2003, A. Butz, A. Krüger & P. Olivier (eds.), Heidelberg, Lecture Notes in Computer Science, Springer, Berlin, 2003. [12] Buzug T. M., Prüfer Klaus, Bongartz Jens(eds), Reconstruction of Soft Facial Parts (RSFP2005), Book of Abstracts, Publ: Remagen, 2005. [13] [14] Eck M., Interpolation Methods for Reconstruction of 3D Surfaces from Sequences of Planar Slices, CAD und Computergraphik, Vol. 13, No. 5, Feb. 1991, pages 109 – 120. [15] Golub G.H., M. Heath, G. Wahba. Generalized Cross- validation as a Method for Choosing a Good Ridge Parameter, Technometrics, 21(2), 1979, pages 215-223. [16] Gouraud, H. Computer display of curved surfaces. PhD thesis, Dept. of Electrical Engineering, University of Utah, 1971. [17] [18] Kahler K., Jorg Haber, Hans-Peter Seidel, Geometry-based Muscle Modeling for Facial Animation, 2001. [19] Kahler K., Jörg Haber, Hans-Peter Seidel (2003), Reanimating the Dead: Reconstruction of Expressive Faces from Skull Data, ACM Transactions on Graphics (Siggraph 2003), 22(3), July 2003. [20] Krogman W. M. The Reconstruction of the Living Head From the Skull, FBI Law Enforcement Bull 15 (7), 1946, pages 11–18. [21] Lee, Y., Terzopoulos, D., and Waters, K. Realistic face modeling for animation. In Cook, R., editor, SIGGRAPH 95 Conference Proceedings, Annual Conference Series, 1995, pages 55-62. [22] Ma .T.C, B.T. Duy, A process of building 3D models from images, VNU Journal of Science, 2007. [23] Mahl, R. Visible surface algorithm for quadric patches. IEEE T