Luận văn Nắn chỉnh biến dạng hình học và ứng dụng

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên §¹i häc Th¸i Nguyªn khoa c«ng nghÖ th«ng tin PHẠM ĐỨC HẬU NẮN CHỈNH BIẾN DẠNG HÌNH HỌC VÀ ỨNG DỤNG LuËn v¨n th¹c sÜ : CÔNG NGHỆ THÔNG TIN Th¸i Nguyªn - 2009 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên §¹i häc Th¸i Nguyªn khoa c«ng nghÖ th«ng tin PHẠM ĐỨC HẬU NẮN CHỈNH BIẾN DẠNG HÌNH HỌC VÀ ỨNG DỤNG Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số: 60 48 01 LuËn v¨n th¹c sÜ : CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC PGS.TS ĐỖ NĂNG TOÀN Th¸i Nguyªn - 2009 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 1 MỞ ĐẦU Xử lý ảnh là một trong những ngành khoa học đã đem lại cho con người những bước tiến vượt bậc mang tính cách mạng, nó đã đưa con người tiến sang một kỉ nguyên mới. Một vài năm trở lại đây công nghệ thông tin cùng với sự phát triển của nó đã kéo theo sự phát triển của hàng loạt các ngành khoa học trong nhiều lĩnh vực khác nhau như sinh học, kinh tế, viễn thông, quân sự, giải trí… có những bước tiến nhanh hơn so với đúng quy trình mà đáng ra phải trải qua. Với sự phát triển ngày càng hoàn thiện của công nghệ phần cứng, công nghệ phần mềm cũng đang có những bước tiến quan trọng đóng góp một phần không nhỏ cho sự phát triển của xã hội loài người đặc biệt là lĩnh vực xử lý ảnh. Trong thực tế đối tượng khi được thu nhận bởi các thiết bị điện tử và quang học thường không thể hiện được bản chất thực (nguyên thủy) của mình hay nói cách khác là bị biến dạng đi. Ví dụ: ảnh chụp cuốn sách thường có một đầu to đầu nhỏ do cách đặt máy ảnh, ảnh chụp bề mặt trái đất từ vệ tinh bị méo do bề mặt cong của trái đất v.v.. Nói đến xử lý ảnh người ta sẽ hiểu ngay đây là quá trình hiệu chỉnh hay bằng cách nào đó để làm cho đối tượng được thu nhận thể hiện được đúng bản chất của mình trên ảnh. Thông thường khâu đầu tiên của quá trình xử lý ảnh được gọi là khâu tiền xử lý với mục đích nắn chỉnh các điểm sai lệch trên ảnh sao cho kết quả được giống nhất so với đối tượng được thu nhận. Nắn chỉnh biến dạng nhằm hiệu chỉnh các khuyết điểm của đối tượng là khâu tiền xử lý quan trọng trong xử lý ảnh. Khi sử dụng các thiết bị để thu nhận hình ảnh người ta đã phát hiện ra yếu tố sai lệch ở kết quả của hình ảnh thu được và để khắc phục điều này người ta đã tìm cách sửa chữa, nắn chỉnh nhằm có được kết quả tốt hơn. Như vậy nắn chỉnh biến dạng ban đầu chỉ đơn thuần mang mục đích khắc phục các nhược điểm của ảnh do thiết bị thu nhận gây ra. Sau đó nhờ chính những kết quả từ khâu nắn chỉnh đã đem lại những hướng phát triển mới quan trọng trong nhận dạng và đối sánh. Chẳng hạn nhận dạng tội phạm tự động trong ngành công an Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 2 thay vì phải cầm ảnh của họ để đối chiếu với hàng trăm đối tượng đáng nghi khác có trong máy tính, hoặc xác định độ trùng khớp của một đối tượng với tập đối tượng cho trước trong khảo cổ học để nghiên cứu quá trình tiến hóa của sự vật, hiện tượng v.v.. Ngày nay, người ta còn dùng nắn chỉnh biến dạng để “cố tình” tạo ra các hình dạng theo ý muốn chủ quan. Điển hình là các nhà làm phim, họ tạo ra các thước phim miêu tả sự thay đổi của một đối tượng theo thời gian, hoặc quá trình biến đổi từ đối tượng này đến đối tượng khác v.v.. nhờ các kỹ thuật nắn chỉnh biến dạng với chất lượng không thua kém gì các thước phim sử dụng thiết bị thu nhận. Việc nghiên cứu các kỹ thuật nắn chỉnh biến dạng hình học là một việc làm không chỉ có ý nghĩa khoa học và còn mang đậm tính thực tiễn nhất là trong hoàn cảnh Việt Nam chưa có nhiều hệ thống xử lý ảnh trong khi thực tế đang đặt ra những yêu cầu đòi hỏi. Với mong muốn tìm hiểu và nghiên cứu về chủ đề này em đã mạnh dạn lựa chọn đề tài: "Nắn chỉnh biến dạng hình học và ứng dụng". Bố cục của luận văn bao gồm phần mở đầu, ba chương chính, phần kết luận, tài liệu tham khảo và phụ lục. Nội dung các chương được tổ chức như sau: Chương 1: Khái quát về xử lý ảnh và nắn chỉnh biến dạng. Chương này trình bày một số khái niệm trong xử lý ảnh, các vấn đề cơ bản của xử lý ảnh. Trình bày khái niệm, cách phân loại và các ứng dụng cơ bản của nắn chỉnh biến dạng. Chương 2: Một số kỹ thuật nắn chỉnh biến dạng hình học. Các kỹ thuật được trình bày dựa vào đặc trưng được xác định để phục vụ cho công việc nắn chỉnh. Đặc trưng đó có thể dựa trên phân vùng ảnh, trên cơ sở tập các điểm đặc trưng, dựa trên cơ sở vector, dựa trên kỹ thuật nắn chỉnh khung lưới, v.v.. Chương 3: Ứng dụng nắn chỉnh biến dạng. Phần này trình bầy ứng dụng nắn chỉnh sách dựa trên các điểm đặc trưng. Kèm theo là một số kết quả. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 3 Chương 1 KHÁI QUÁT VỀ XỬ LÝ ẢNH VÀ NẮN CHỈNH BIẾN DẠNG 1.1. Khái quát về xử lý ảnh Xử lý ảnh là một lĩnh vực mang tính khoa học và công nghệ. Nó là một ngành khoa học mới mẻ so với nhiều ngành khoa học khác nhưng tốc độ phát triển của nó rất nhanh, kích thích các trung tâm nghiên cứu, ứng dụng, đặc biệt là máy tính chuyên dụng riêng cho nó. Xử lý ảnh được đưa vào giảng dạy ở bậc đại học ở nước ta khoảng chục năm nay. Nó là môn học liên quan đến nhiều lĩnh vực và cần nhiều kiến thức cơ sở khác. Đầu tiên phải kể đến Xử lý tín hiệu số là một môn học hết sức cơ bản cho xử lý tín hiệu chung, các khái niệm về tích chập, các biến đổi Fourier, biến đổi Laplace, các bộ lọc hữu hạn…Thứ hai, các công cụ toán như Đại số tuyến tính, Xác suất, thống kê. Một số kiến thức cần thiết như Trí tuệ nhân tạo, Mạng nơ ron nhân tạo cũng được đề cập trong quá trình phân tích và nhận dạng ảnh. Các phương pháp xử lý ảnh bắt đầu từ các ứng dụng chính: Nâng cao chất lượng ảnh và phân tích ảnh. Ứng dụng đầu tiên được biết đến là nâng cao chất lượng ảnh báo được truyền qua cáp từ Luân Đôn đến New York từ những năm 20 của thế kỉ XX. Vấn đề nâng cao chất lượng ảnh có liên quan tới phân bố mức sáng và độ phân giải của ảnh. Việc nâng cao chất lượng ảnh được phát triển vào khoảng những năm 50 của thế kỉ XX. Điều này có thể giải thích được, vì sau thế chiến thứ hai, máy tính phát triển nhanh tạo điều kiện cho quá trình xử lý ảnh số thuận lợi. Năm 1964, máy tính đã có khả năng xử lý và nâng cao chất lượng ảnh từ mặt trăng và vệ tinh Ranger 7 của Mỹ bao gồm: làm nổi đường biên, lưu ảnh. Từ năm 1964 đến nay, các phương tiện xử lý, nâng cao chất lượng, nhận dạng ảnh phát triển không ngừng. Các phương Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 4 pháp tri thức nhân tạo như mạng nơron nhân tạo, các thuật toán xử lý hiện đại và cải tiến, các công cụ nén ảnh ngày càng được áp dụng rộng rãi và thu nhiều kết quả khả quan. 1.2. Một số khái niệm cơ bản trong xử lý ảnh 1.2.1. Ảnh số Ảnh số được tạo nên từ hàng trăm ngàn cho đến hàng triệu ô vuông rất nhỏ - được coi là những thành tố của bức ảnh và thường được biết dưới tên gọi là pixels. 1.2.2. Điểm ảnh Ảnh trong thực tế là một ảnh liên tục về không gian và về giá trị độ sáng. Để có thể xử lý ảnh bằng máy tính cần thiết phải tiến hành số hoá ảnh. Trong quá trình số hoá, người ta biến đổi tín hiệu liên tục sang tín hiệu rời rạc thông qua quá trình lấy mẫu (rời rạc hoá về không gian) và lượng hoá thành phần giá trị mà về nguyên tắc bằng mắt thường không phân biệt được 2 điểm kề nhau. Trong quá trình này người ta sử dụng khái niệm điểm ảnh được gọi từ picture element. Như vậy, một ảnh là một tập hợp các pixel. Điểm ảnh hay còn gọi là pixel (picture element, pels, image elements) được xem như là dấu hiệu hay cường độ sáng tại một toạ độ trong không gian của đối tượng. Ảnh được xem như là một tập hợp các điểm ảnh. Khi được số hoá nó thường được biểu diễn là ma trận 2 chiều a[i][j] mà mỗi phần tử có một giá trị nguyên hoặc là một véc tơ cấu trúc màu. 1.2.3. Mức xám (gray level) Mức xám là kết quả sự mã hoá tương ứng một cường độ sáng của mỗi điểm ảnh với một giá trị số - kết quả của quá trình lượng hoá. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 5 Cách mã hoá thường dùng là 16, 32 hay 64 mức. Mã hoá 256 mức là phổ biến nhất do lý do kỹ thuật. Vì, 28=256 (0,…,255) nên với 256 mức, mỗi pixel sẽ được mã hoá bởi 8 bit. 1.2.4. Xử lý ảnh số là gì và tại sao chúng ta cần phải xử lý ảnh số Trong các dạng truyền thông cơ bản: lời nói, văn bản, hình ảnh, âm thanh thì hình ảnh là dạng truyền thông truyền tải thông tin mạnh mẽ nhất. Bằng thị giác, con người có thể nhận biết và hiểu về thế giới xung quanh chúng ta. Ví dụ: Những hình ảnh về trái đất, những hình ảnh trong dự báo thời tiết… Có tới 99% lượng thông tin đã biết về thế giới xung quanh được nhận biết thông qua thị giác. Việc trang bị cho máy tính có khả năng thị giác như con người không phải là việc dễ dàng. Chúng ta đang sống trong một không gian 3D, khi máy tính cố gắng phân tích đối tượng trong không gian 3D thì những bộ cảm biến có sẵn (camera) lại thường cho ảnh 2D. Như vậy, việc mất mát thông tin của hình ảnh sẽ xảy ra. Với những cảnh động thì sự di chuyển của đối tượng hay sự di chuyển của camera, tất cả những việc đó làm cho việc mất mát và sai lệch thông tin rất lớn. Ngày nay, cùng với sự phát triển của ngành CNTT, chúng ta mong muốn đưa được những hình ảnh mà con người có thể nhìn thấy được vào máy tính để thực hiện các mục đích khác nhau như: phân tích ảnh, phục hồi ảnh... Để máy tính có thể hiểu và phân tích ảnh thì ảnh cần được mã hoá và biểu diễn dưới dạng số gọi là ảnh số. Việc xử lý ảnh trên máy tính nhằm mục đích phân tích ảnh và phục hồi các thông tin bị sai lệch của ảnh trong quá trình thu nhận. Như vậy, xử lý ảnh số là thực hiện các phép xử lý đối với ảnh số trên máy tính. Việc hiểu ảnh, phân tích ảnh và thị giác máy nhằm mục đích nhân Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 6 bản hiệu quả của thị lực con người, giúp chúng ta nhận biết tốt hơn về thế giới xung quanh. 1.3. Các vấn đề chung liên quan đến xử lý ảnh số Người ta chia xử lý ảnh thành 2 mức: Xử lý ảnh mức thấp và xử lý ảnh mức cao (thị giác máy). Phương pháp xử lý ảnh mức thấp thường sử dụng rất ít kiến thức (knowledge) về nội dung hay ngữ nghĩa ảnh. Xử lý ảnh mức cao dựa trên kiến thức, mục tiêu và kế hoạch trong việc làm thế nào để hoàn thành những mục tiêu đó. Thị giác máy ở mức cao luôn cố gắng mô phỏng nhận thức của con người và có thể đưa ra những quyết định dựa vào những thông tin đã biết về ảnh. Xử lý ảnh mức thấp và thị giác máy ở mức cao khác nhau trong việc sử dụng dữ liệu ảnh. Dữ liệu ảnh mức thấp bao gồm các ảnh gốc được biểu diễn dưới dạng ma trận ảnh, các phần tử của ma trận biểu diễn giá trị độ sáng của điểm ảnh. Trong khi đó dữ liệu ảnh mức cao khởi đầu từ những ảnh tốt, nhưng chỉ những dữ liệu có liên quan đến các mục đích ở mức cao mới được đưa ra, việc giảm số lượng dữ liệu là đáng kể. Dữ liệu ở mức cao diễn tả các thông tin về nội dung ảnh. 1.3.1. Xử lý ảnh mức thấp Các kỹ thuật xử lý ảnh mức thấp được thực hiện với việc thao tác trên các ảnh số. Các phương pháp xử lý ảnh mức thấp được đưa ra vào những năm 1970 của thế kỉ XX. Gần đây, các nhà nghiên cứu đang cố gắng tìm ra những giải thuật có hiệu quả hơn và thực hiện các giải thuật đó trên nhiều thiết bị tinh vi mang tính kỹ thuật cao. Ví dụ, các máy tương tự (Parallel machines) đang được sử dụng giúp cho việc tính toán một khối lượng phép tính khổng lồ của quá trình hoạt động trên tập hợp dữ liệu ảnh trở nên dễ dàng hơn. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 7 Một vấn đề phức tạp và chưa giải quyết được là thứ tự các bước trong xử lý ảnh mức thấp như thế nào để giải quyết công việc được cụ thể và mục tiêu tự động hoá vấn đề đó vẫn chưa được thực hiện. Những năm 1980 của thế kỉ XX, nhiều đề án tập trung cho vấn đề này sử dụng các hệ thống chuyên gia (expert systems), nhưng các hệ thống chuyên gia vẫn không giải quyết được vấn đề của chính họ. Trình tự các bước xử lý như sau đã được công nhận và phổ biến: (1) Thu nhận ảnh: Một ảnh được thu vào bởi một bộ cảm biến (như TV camera), từ vệ tinh qua các bộ cảm ứng (sensor) hay ảnh, tranh được quét trên scanner. Ảnh có thể được thu nhận từ nhiều thiết bị và bằng nhiều cách. Sau đó ảnh được số hoá để biến đổi tín hiệu tương tự sang tín hiệu rời rạc (lấy mẫu) và số hoá bằng lượng hoá. (2) Quá trình xử lý: Là quá trình xây dựng lại ảnh, phục hồi ảnh, khử nhiễu và tăng cường ảnh. (3) Mã hoá và nén ảnh: Là bước quan trọng trong việc truyền ảnh. (4) Phân đoạn ảnh: Máy tính cố gắng tách các đối tượng ảnh riêng biệt ra khỏi ảnh nền. Mô tả và phân loại đối tượng trong một tổng thể ảnh đã được phân đoạn cũng được hiểu là một phần của quá trình xử lý ảnh mức thấp. 1.3.2. Những khó khăn khi xử lý ảnh số a. Sự hiểu biết về hệ thống thị giác của con người còn hạn chế Chúng ta không có một sự hiểu biết rõ về vấn đề khi con người quan sát, xử lý và lưu trữ thông tin trực quan như thế nào. Chúng ta thậm trí không biết con người đo chất lượng ảnh trực quan và phân loại ảnh như thế nào. Với cùng một bức ảnh thì sự quan sát ở mỗi người là khác nhau. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 8 Sự chú ý của bạn đến các vùng hay các đường viền khác nhau cũng có xu hướng làm thay đổi cảm nhận của bạn về bức ảnh. Thậm chí một ảnh được nhìn với một con mắt không thay đổi thì sự cảm nhận về bức ảnh đó của con người vẫn thay đổi cho dù là rất ít. Các nhà nghiên cứu đã làm ổn định hình ảnh trực tiếp trên võng mạc để loại trừ bất kỳ một hiệu ứng nào xuất hiện từ sự di chuyển của mắt. Và ngay cả trong những điều kiện đó, giác quan của con người cũng vẫn có thể thay đổi. b. Sự diễn tả về bản chất của ảnh không thể hiểu được ngay lập tức Ảnh tương tự được biểu diễn bằng một hàm 2 biến. Sau khi số hoá, ảnh được biểu diễn dưới dạng ma trận ảnh 2 chiều và được gọi là ảnh số. Máy tính có thể hiểu và xử lý ảnh số nhưng sự biểu diễn đó không thích hợp cho máy móc có thể hiểu được. Những kiến thức về ảnh và những thông tin được rút ra từ ảnh là cần thiết trong việc cố gắng để hiểu được những mảng số đó. Ví dụ: Đọc và hiển thị ảnh như một hàm 2 chiều (dùng matlab script) Hiển thị ảnh dưới dạng ma trận ảnh (dùng matlab) Hiển thị ảnh với các chương trình hiển thị ảnh (ACDsee trên hệ thống Windows) Cả hai sự biểu diễn hình ảnh đều chứa những thông tin chính xác như nhau, nhưng khi quan sát hình ảnh dưới 2 dạng biểu diễn đó thì rất khó để có thể tìm ra sự tương đồng. 1.4. Ứng dụng của hệ thống xử lý ảnh - Văn phòng: hệ thống nhận dạng chữ, nhận dạng tiếng Anh, tiếng Việt nhận dạng được cả chữ, ảnh, bảng: - Nhận dạng chữ OCR (Optical charater Recognition), - Nhận dạng nhãn OMR (Optical Mark Recognition) Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 9 - Nhận dạng tiếng Anh - Nhận dạng tiếng việt - Kiểm tra sản phẩm - So sánh mầu của sản phẩm mẫu với sản phẩm mới - Kiểm tra độ tròn của chai/lọ - Nhận dạng công nghiệp, y học, thương mại, điều tra khoáng sản - Địa lý: véc tơ hoá bản đồ. - Các phần mềm chuyển đổi ảnh Raster sang ảnh vector: MapScan của Viện CNTT, TrixSystem R2V và V2R. - Hoạt hình: biến đổi hình học, bóp méo hình học. - Quân sự. - Dự báo thời tiết, cháy rừng, lũ lụt, sâu bệnh, khoáng sản. - Thiên văn học, vật lý, sinh học. - An ninh: + Nhận dạng vân tay, Water Marking. + Nhận dạng khuôn mặt người, Nhận dạng tội phạm. + Dấu thông tin trong ảnh. + Chống bạo lực: dùng camera để phát hiện ra sự an toàn ở nơi công cộng, Siêu thị… - Bar code: nhận dạng mã vạch. - Các robot tự động phục vụ. - Thư viện: Dùng camera để điều khiển robot. Hình 1.1 Mô phỏng quá trình biến đổi hình học Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 10 Ngoài ra có ứng dụng trong y học làm nổi các ảnh, trong thiên văn học để khôi phục lại ảnh do tác động của khí quyển hay nén ảnh trong truyền đi xa hoặc lưu trữ. 1.5. Quá trình xử lý ảnh số a. Phần thu nhận ảnh (Image Acquisition) Ảnh có thể nhận qua camera màu hoặc đen trắng. Thường ảnh nhận qua camera là ảnh tương tự (loại camera ống chuẩn CCIR với tần số 1/25, mỗi ảnh 25 dòng), cũng có loại camera đã số hoá (như loại CCD - Change Coupled Device) là loại photodiot tạo cường độ sáng tại mỗi điểm ảnh. Camera thường dùng là loại quét dòng; ảnh tạo ra có dạng hai chiều. Chất lượng một ảnh thu nhận được phụ thuộc vào thiết bị thu, vào môi trường (ánh sáng, phong cảnh). b. Tiền xử lý (Image Processing) Sau bộ thu nhận, ảnh có thể nhiễu độ tương phản thấp nên cần đưa vào bộ tiền xử lý để nâng cao chất lượng. Chức năng chính của bộ tiền xử lý là lọc nhiễu, nâng độ tương phản để làm ảnh rõ hơn, nét hơn. c. Phân đoạn (Segmentation) hay phân vùng ảnh Phân vùng ảnh là tách một ảnh đầu vào thành các vùng thành phần để biểu diễn phân tích, nhận dạng ảnh. Ví dụ: để nhận dạng chữ (hoặc mã vạch) trên phong bì thư cho mục đích phân loại bưu phẩm, cần chia các câu, chữ về địa chỉ hoặc tên người thành các từ, các chữ, các số (hoặc các vạch) riêng biệt để nhận dạng. Đây là phần phức tạp khó khăn nhất trong xử lý ảnh và cũng dễ gây lỗi, làm mất độ chính xác của ảnh. Kết quả nhận dạng ảnh phụ thuộc rất nhiều vào công đoạn này. Nếu thực hiện tách quá chi tiết thì bài toán nhận dạng các thành phần được tách ra trở nên phức tạp, còn ngược lại nếu quá trình phân đoạn được thực hiện quá thô hoặc phân đoạn sai thì kết quả nhận được cuối cùng sẽ không chính xác. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 11 d. Biểu diễn ảnh (Image Representation) Biểu diễn ảnh là quá trình xử lý tiếp sau khâu phân đoạn hình ảnh. Các vật thể sau khi phân đoạn có thể được mô tả dưới dạng chuỗi các điểm ảnh tạo nên ranh giới một vùng, hoặc tập hợp tất cả các điểm ảnh nằm trong vùng đó. Phương pháp mô tả thông qua ranh giới vùng thường được sử dụng khi cần tập trung sự chú ý vào hình dạng bên ngoài của chi tiết ảnh như độ cong, các góc cạnh v.v. Biểu diễn vùng thường được sử dụng khi chúng ta quan tâm tới đặc tính bên trong của vùng ảnh như đường vân (texture) hay hình dạng (skeletal). Đầu ra ảnh sau phân đoạn chứa các điểm ảnh của vùng ảnh (ảnh đã phân đoạn) cộng với mã liên kết với các vùng lân cận. Việc biến đổi các số liệu này thành dạng thích hợp là cần thiết cho xử lý tiếp theo bằng máy tính. Việc chọn các tính chất để thể hiện ảnh gọi là trích chọn đặc trưng (Feature Selection) gắn với việc tách các đặc tính của ảnh dưới dạng các thông tin định lượng hoặc làm cơ sở để phân biệt lớp đối tượng này với đối tượng khác trong phạm vi ảnh nhận được. Ví dụ: trong nhận dạng ký tự trên phong bì thư, chúng ta miêu tả các đặc trưng của từng ký tự giúp phân biệt ký tự này với ký tự khác. e. Nhận dạng và nắn chỉnh bằng nội suy ảnh Nhận dạng là quá trình phân loại vật thể dựa trên cơ sở các chi tiết mô tả vật thể đó (ví dụ các phương tiện giao thông có trong ảnh). Nhận dạng ảnh còn là quá trình xác định ảnh, quá trình này thường thu được bằng cách so sánh với mẫu chuẩn đã được học (hoặc lưu) từ trước. Nắn chỉnh bằng nội suy là phán đoán theo ý nghĩa trên cơ sở nhận dạng. Ví dụ: một loạt chữ số và nét gạch ngang trên phong bì thư có thể được nội suy thành mã điện thoại. Có nhiều cách phân loại ảnh khác nhau về ảnh. Theo lý thuyết về nhận dạng, các mô hình toán học về ảnh được phân theo hai loại nhận dạng ảnh cơ bản: - Nhận dạng theo tham số. - Nhận dạng theo cấu trúc. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 12 Một số đối tượng nhận dạng khá phổ biến hiện nay đang được áp dụng trong khoa học và công nghệ là: nhận dạng ký tự (chữ in, chữ viết tay, chữ ký điện tử), nhận dạng văn bản (Text), nhận dạng vân tay, nhận dạng mã vạch, nhận dạng mặt người… f. Cơ sở tri thức (Knowledge Base) Như đã nói ở trên, ảnh là một đối tượng khá phức tạp về đường nét, độ sáng tối, dung lượng điểm ảnh, môi trường để thu ảnh phong phú kéo theo nhiễu. Trong nhiều khâu xử lý và phân tích ảnh ngoài việc đơn giản hóa các phương pháp toán học đảm bảo tiện lợi cho xử lý, người ta mong muốn bắt chước quy trình tiếp nhận và xử lý ảnh theo cách của con người. Trong các bước xử lý đó, nhiều khâu hiện nay đã xử lý theo các phương pháp trí tuệ con người. Vì vậy, ở đây các cơ sở tri thức được phát huy. Các quá trình xử lý liệt kê ở trên đều được thực hiện dưới sự giám sát và điều khiển dựa trên cơ sở các kiến thức về lĩnh vực xử lý ảnh. Các kiến thức cơ bản có thể đơn giản như vị trí vùng ảnh nơi có những thông tin cần quan tâm, như vậy có thể thu nhỏ vùng tìm kiếm. Trường hợp phức tạp hơn, cơ sở kiến thức có thể chứa danh sách tất cả những hư hỏng có thể gặp trong quá trình kiểm soát chất lượng thành phẩm hoặc các ảnh vệ tinh có độ chi tiết cao trong các hệ thống theo dõi sự thay đổi môi trường trong một vùng. g. Mô tả (biểu diễn ảnh) Ảnh sau khi số hoá sẽ được lưu vào bộ nhớ, hoặc chuyển sang các khâu tiếp theo để phân tích. Nếu lưu trữ ảnh trực tiếp từ các ảnh thô, đòi hỏi dung lượng bộ nhớ cực lớn và không hiệu quả theo quan điểm ứng dụng và công nghệ. Thông thường, các ảnh thô đó được đặc tả (biểu diễn) lại (hay đơn giản là mã hoá) theo các đặc điểm của ảnh được gọi là các đặc trưng ảnh (Image Features) như: biên ảnh (Boundary), vùng ảnh (Region). Một số phương pháp biểu diễn thường dùng: Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 13 Biểu diễn bằng mã chạy (Run-Length Code) Biểu diễn bằng mã xích (Chaine-Code) Biểu diễn bằng mã tứ phân (Quad-Tree Code) * Biểu diễn bằng mã chạy Phương pháp này thường biểu diễn cho vùng ảnh và áp dụng cho ảnh nhị phân. Một vùng ảnh R có thể mã hoá đơn giản nhờ một ma trận nhị phân: U(m, n) = 1 nếu (m, n) thuộc R U( m, n) = 0 nếu (m, n) không thuộc R Trong đó: U(m, n) là hàm mô tả mức xám ảnh tại tọa độ (m, n). Với cách biểu diễn trên, một vùng ảnh được mô tả bằng một tập các chuỗi số 0 hoặc 1. Giả sử chúng ta mô tả ảnh nhị phân của một vùng ảnh được thể hiện theo toạ độ (x, y) theo các chiều và đặc tả chỉ đối với giá trị “1” khi đó dạng mô tả có thể là: (x, y)r; trong đó (x, y) là toạ độ, r là số lượng các bit có giá trị “1” liên tục theo chiều ngang hoặc dọc. * Biểu diễn bằng mã xích Phương pháp này thường dùng để biểu diễn đường biên ảnh. Một đường bất kỳ được chia thành các đoạn nhỏ. Nối các điểm chia, ta có các đoạn thẳng kế tiếp được gán hướng cho đoạn thẳng đó tạo thành một dây xích gồm các đoạn. Các hướng có thể chọn 4, 8, 12, 24,… mỗi hướng được mã hoá theo số thập phân hoặc số nhị phân thành mã của hướng. * Biểu diễn bằng mã tứ phân Phương pháp mã tứ phân được dùng để mã hoá cho vùng ảnh. Vùng ảnh đầu tiên được chia làm bốn phần thường là bằng nhau. Nếu mỗi vùng đã đồng nhất (chứa toàn điểm đen (1) hay trắng (0)), thì gán cho vùng đó một mã và không chia tiếp. Các vùng không đồng nhất được chia tiếp làm bốn phần theo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 14 thủ tục trên cho đến khi tất cả các vùng đều đồng nhất. Các mã phân chia thành các vùng con tạo thành một cây phân chia các vùng đồng nhất. Trên đây là các thành phần cơ bản trong các khâu xử lý ảnh. Trong thực tế, các quá trình sử dụng ảnh số không nhất thiết phải qua hết các khâu đó tùy theo đặc điểm ứng dụng. Ảnh sau khi được số hóa được nén, lưu lại để truyền cho các hệ thống khác sử dụng hoặc để xử lý tiếp theo. Mặt khác, ảnh sau khi số hóa có thể bỏ qua công đoạn nâng cao chất lượng (khi ảnh đủ chất lượng theo một yêu cầu nào đó) để chuyển tới khâu phân đoạn hoặc bỏ tiếp khâu phân đoạn chuyển trực tiếp tới khâu trích chọn đặc trưng sau đó thực hiện nâng cao chất lượng ảnh (tăng độ sáng, độ tương phản, lọc nhiễu) hoặc khôi phục ảnh (hồi phục lại ảnh thật khi ảnh nhận được bị méo) v.v… 1.6. Các thành phần cơ bản của hệ thống xử lý ảnh Hình 1.2 Các thành phần chính của hệ thống xử lý ảnh - Thiết bị thu nhận hình ảnh: Là thiết bị biến đổi quang-điện, cho phép biến đổi hình ảnh quang học thành tín hiệu điện dưới dạng analog hay trực tiếp dưới dạng số. Có nhiều dạng cảm biến cho phép làm việc với ánh sáng nhìn thấy hoặc hồng ngoại. Hai loại thiết bị biến đổi quang - điện chủ yếu thường được sử dụng là đèn ghi hình điện tử và chip CCD (Charge Couple Device - linh kiện ghép điện tích). Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 15 - Bộ nhớ trong và ngoài: Trong các hệ thống xử lý ảnh số thường có dung lượng rất lớn dùng để lưu trữ ảnh tĩnh và động dưới dạng số. Ví dụ, để lưu một ảnh số đen trắng kích thước 1024x1024 điểm, mỗi điểm được mã hóa bằng 8 bits cần bộ nhớ ~ 1MB. Để lưu một ảnh màu không nén, dung lượng bộ nhớ phải tăng lên gấp 3. Bộ nhớ số trong hệ thống xử lý ảnh có thể chia làm 3 loại: 1- Bộ nhớ đệm trong máy tính để lưu ảnh trong quá trình xử lý. Bộ nhớ này phải có khả năng ghi/đọc rất nhanh (ví dụ: 25 hình/s); 2- Bộ nhớ ngoài có tốc độ truy cập tương đối nhanh, dùng để lưu thông tin thường dùng. Các bộ nhớ ngoài có thể là ổ cứng, thẻ nhớ flash v.v.. 3- Bộ nhớ dùng để lưu trữ dữ liệu. Loại bộ nhớ này thường có dung lượng lớn, tốc độ truy cập không cao. Thông dụng nhất là đĩa quang ghi 1 lần (ROM) hoặc nhiều lần (ROM) như đĩa DVD có dung lượng 4.7GB (một mặt). Ngoài ra trong hệ thống xử lý ảnh còn sử dụng các thiết bị cho phép lưu ảnh trên vật liệu khác như giấy in, giấy in nhiệt, giấy trong, đó có thể là máy in phun, in laser, in trên giấy ảnh đặc biệt bằng công nghệ nung nóng v.v. - Bộ xử lý ảnh chuyên dụng: Sử dụng chip xử lý ảnh chuyên dụng, có khả năng thực hiện nhanh các lệnh chuyên dùng trong xử lý ảnh. Cho phép thực hiện các quá trình xử lý ảnh như lọc, làm nổi đường bao, nén và giải nén video số v.v.. Trong bộ xử lý ảnh thường tích hợp bộ nhớ đệm có tốc độ cao. - Màn hình hiển thị: Hệ thống biến đổi điện - quang hay đèn hình (đen trắng cũng như màu) có nhiệm vụ biến đổi tín hiệu điện có chứa thông tin của ảnh (tín hiệu video) thành hình ảnh trên màn hình. Có hai dạng display được sử dụng rộng rãi là đèn hình CRT (Cathode-Ray Tube) và màn hình tinh thể lỏng LCD (Liquid Crystal Display). Đèn hình CRT thường có khả năng hiển thị màu sắc tốt hơn màn hình LCD nên được dùng phổ biến trong các hệ thống xử lý ảnh chuyên nghiệp. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 16 - Máy tính: Có thể là máy tính để bàn cũng như siêu máy tính có chức năng điều khiển tất cả các bộ phận chức năng trong hệ thống xử lý ảnh số. Một hệ thống xử lý ảnh cơ bản có thể gồm: Máy tính cá nhân kèm theo vỉ mạch chuyển đổi đồ hoạ VGA hoặc SVGA, đĩa chứa các ảnh dùng để kiểm tra các thuật toán và một màn hình có hỗ trợ VGA hoặc SVGA. Nếu điều kiện cho phép, nên có một hệ thống như Hình 1.2 bao gồm một máy tính PC kèm theo thiết bị xử lý ảnh. Nối với cổng vào của thiết bị thu nhận ảnh là một video camera, và cổng ra nối với một màn hình. Thực tế, phần lớn các nghiên cứu của chúng ta được đưa ra trên ảnh mức xám (ảnh đen trắng). Bởi vậy, hệ thống sẽ bao gồm một thiết bị xử lý ảnh đen trắng và một màn hình đen trắng. Ảnh mức xám được áp dụng trong nhiều lĩnh vực như sinh vật học hoặc trong công nghiệp. Thực tế chỉ ra rằng bất kỳ ứng dụng nào trên ảnh mức xám cũng ứng dụng được trên ảnh màu. Với lý do đó, hệ thống ban đầu nên chỉ bao gồm các thiết bị thu nhận và hiển thị ảnh đen trắng. Với ảnh màu, nên sử dụng một hệ thống mới trừ trường hợp bạn cần một camera, TV màu và một màn hình đa tần số (ví dụ như: NEC MultiSync, Sony Multiscan, hoặc Mitsubishi Diamond Scan) để hiển thị ảnh màu. Nếu khả năng hạn chế, có thể dùng PC kèm theo, vỉ mạch VGA và màn hình VGA, để dựng ảnh được. 1.7. Nắn chỉnh biến dạng 1.7.1. Khái niệm nắn chỉnh biến dạng Nắn chỉnh biến dạng thực hiện việc biến đổi hình học giữa hai ảnh: ảnh nguồn và ảnh đích. Sự biến đổi hình học định nghĩa mối quan hệ giữa các điểm ảnh nguồn và điểm ảnh đích. Mối quan hệ này có thể được xác định bằng các hàm toán học được áp dụng trên toàn bộ ảnh hoặc chỉ trên một vùng ảnh nào đó. Trong nhiều trường hợp ngoài việc xác định các hàm toán học để nắn chỉnh ảnh, còn phải xác định thêm các đặc trưng sử dụng trong quá trình nắn chỉnh. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 17 Xét về mặt tác động của thuật toán nắn chỉnh thì có hai khuynh hướng: tác động toàn cục và tác động cục bộ. Để tạo ra tác động toàn cục ta áp dụng thuật toán, tiêu chí như nhau đối với mọi điểm ảnh. Còn tác động cục bộ thì việc nắn chỉnh chỉ áp dụng trên một số vùng ảnh, các vùng khác giữ nguyên. Các thuật toán nắn chỉnh toàn cục có tốc độ xử lý tương đối nhanh. Tuy nhiên chỉ áp dụng được đối với các yêu cầu đơn giản như co, giãn ảnh, bóp méo cả ảnh thành tứ giác hay một số hiệu ứng khác như mắt cá, kính núp v.v.. Thuật toán nắn chỉnh cục bộ cho kết quả ấn tượng hơn. Tuy nhiên để có thể nắn chỉnh theo từng vùng, phải xác định thêm tập các đặc trưng. Ngoài ra việc xây dựng thuật toán cũng tương đối phức tạp. Nắn chỉnh biến dạng bằng hình học thực chất là một khâu trong xử lý ảnh. Với mỗi một dạng ảnh tuỳ theo mức độ, hiện trạng và chủng loại ảnh mà người ta sử dụng ứng dụng nào phù hợp nhất để xử lý. 1.7.2. Một số kỹ thuật xử lý ảnh sử dụng trong nắn chỉnh biến dạng Thông thường người ta phân kỹ thuật nắn chỉnh thành 4 loại cơ bản: - Kỹ thuật nắn chỉnh dựa trên phân vùng ảnh. - Kỹ thuật nắn chỉnh dựa trên các điểm đặc trưng. - Kỹ thuật nắn chỉnh dựa trên vector. - Kỹ thuật nắn chỉnh dựa trên khung lưới. Hình 1.3 Ví dụ về nắn chỉnh biến dạng a) Ảnh gốc b) Ảnh qua xử lý Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 18 a. Kỹ thuật dựa trên việc phân vùng ảnh: trước tiên miền không gian của ảnh nguồn được chia thành một tập các vùng nhỏ. Tương tự như vậy, ảnh đích cũng được chia thành tập các vùng nhỏ tương ứng. Sau đó ảnh được nắn chỉnh bằng cách chuyển đổi tương ứng mỗi vùng của ảnh nguồn thành mảnh của ảnh đích. Một trong những phương thức đầu tiên của kỹ thuật dựa trên phân mảnh là thuật toán nắn chỉnh 2-pass mesh. Với phương thức này, mỗi chuyển đổi 2-pass sẽ thay thế một chuyển đổi 2-D thành một dãy các chuyển đổi 1-D trực giao. Ngoài ra còn có các phương thức nắn chỉnh dựa trên phân vùng khác như phân vùng dựa trên phân hình tam giác v.v.. b. Kỹ thuật nắn chỉnh dựa trên các điểm đặc trưng: người ta dùng các điểm quan trọng làm ánh xạ cơ sở, tức là đã xác định được trước ánh xạ của các điểm đặc trưng. Từ các cặp điểm đặc trưng tương ứng ở trên ảnh nguồn và ảnh đích ta xác định được ánh xạ của các điểm còn lại xuất phát từ vị trí của nó trên ảnh gốc. Một số phương thức dựa trên điểm đặc trưng coi nắn chỉnh như là một hàm nội suy dữ liệu thưa. Sử dụng hàm nội suy để nội suy tất cả các điểm còn lại. c. Kỹ thuật nắn chỉnh dựa trên vector: kỹ thuật này sử dụng các cặp vector làm cơ sở để biến đổi ảnh. Beier và Neely là những người đầu tiên đề xuất kỹ thuật này. Mỗi cặp vector định nghĩa một ánh xạ tọa độ giữa chúng. Độ dịch chuyển của bất kỳ điểm nào trong ảnh sẽ bằng tổng trọng số của các ánh xạ do tất cả các cặp vector đã được xác định. d. Kỹ thuật nắn chỉnh dựa trên khung lưới: Sử dụng các hàm biến đổi nhằm đưa ra cách thức xác định tất cả các điểm tương ứng với từng điểm ảnh thuộc ảnh A có khung lưới là Ma trong ảnh N có khung lưới là Mb. Đây là công việc cần thiết khi thực hiện nắn chỉnh một ảnh hay đối tượng ảnh bất kỳ. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 19 1.7.3. Các điểm đặc trưng để nắn chỉnh Trước hết phải xác định các đặc trưng tương ứng giữa ảnh nguồn và ảnh đích. Đặc trưng có thể là vector, điểm điều khiển, hoặc phân ảnh thành các mảnh khác nhau v.v.. Đây là bước đầu tiên và cũng là bước rất quan trọng trong nắn chỉnh biến dạng vì hiệu quả của quá trình nắn chỉnh phụ thuộc rất nhiều vào việc xác định sự tương ứng giữa hai ảnh. Việc xác định các đặc trưng của ảnh nhằm cung cấp các thông tin về đối tượng giúp cho sự việc nắn chỉnh được thực hiện thuận lợi. Các công thức nắn chỉnh bao giờ cũng được đưa ra dựa trên các đặc trưng và xây dựng các công thức nắn chỉnh là đại diện cho một thuật toán nắn chỉnh biến dạng. Để đạt được chất lượng nắn chỉnh hình tốt, chúng ta phải nội suy từng phần của ảnh gốc sang các phần tương ứng bên ảnh đích. Điều này có nghĩa là ta đã biểu diễn được thông tin của đối tượng và ánh xạ từng phần của chúng cho nhau. Đây cũng chính là mục đích của giai đoạn xác định các đặc trưng. 1.8. Phép toán hình thái (Morphology) trong nắn chỉnh biến dạng - Hình thái là thuật ngữ chỉ cấu trúc của một đối tượng ảnh trong đó có phạm vi và mối quan hệ giữa các phần của đối tượng. - Với ảnh nhị phân IMxN, điểm ảnh tại vị trí (x,y) là I(x,y) được xác định: = 0 nếu đó là điểm nền = 1 nếu đó là điểm ảnh Gọi A là tập hợp các điểm ảnh, ta ký hiệu: A={(xi,yi) | I(xi,yi) = 1} A c là tập hợp các điểm nền:  |cA A   Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 20 Ví dụ: 0 0 1 1 0 1 0 0 1 0 0 1 0 0 0 A = {(0,2), (0,3), (1,0), (1,3), (2,1)} + Phép dịch: Cho một vector x và tập hợp các điểm A, phép dịch A + x được xác định bởi:  |A x x A     + Các phép toán tập hợp Minkowski: Cho A, B là các tập hợp điểm: Phép cộng Minkowski:   B A B A       Phép trừ Minkowski:   B A B A       + Phép giãn ảnh và co ảnh Từ hai phép toán Minkowski, ta có phép toán hình thái cơ bản là phép giãn ảnh và co ảnh : Phép giãn ảnh (Dilation):    , b D A B A B A        Phép co ảnh (Erosion):      , B E A B A B A         Trong đó:  |B B     Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 21 + Một số tính chất: Giao hoán:    , ,D A B A B B A D B A     Không giao hoán :    , ,E A B E B A Kết hợp:    A B C A B C     Dịch chuyển bất biến:    A B x A B x     + Ví dụ minh họa: (a) Giãn ảnh D(A,B) (b) Co ảnh E(A,B) Hình 1.4 Phép co và giãn ảnh A và B có thể được xem là các đối tượng ảnh và B được gọi là phần tử cấu trúc. Thông thường, phép giãn ảnh làm tăng kích thước đối tượng ảnh trong khi phép co ảnh làm giảm kích thước. Điều này tùy thuộc vào việc chọn phần tử cấu trúc. Có hai phần tử cấu trúc phổ biến thường được dùng là tập hợp kề- 4 và tập hợp kề-8 trong hệ tọa độ Đềcác: Ý nghĩa: - Phép giãn ảnh biến đổi giá trị của các điểm nền kề-4 (hoặc kề-8) với điểm ảnh thành các điểm ảnh, do vậy, nó làm tăng kích thước các điểm ảnh. - Phép co ảnh biến đổi giá trị của các điểm ảnh kề-4 (hoặc kề-8) với điểm nền thành các điểm nền, do vậy, nó làm giảm kích thước các điểm ảnh. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 22 Ví dụ: (a) B = N4 (b) B= N8 Hình 1.5 Minh họa phép co và giãn ảnh Các điểm ảnh gốc là các điểm màu xám, các điểm thêm vào là các điểm có màu đen. * Phép mở và đóng ảnh Chúng ta có thể kết hợp phép giãn ảnh và co ảnh để tạo nên hai toán tử quan trọng hơn: Mở ảnh:     , , ,O A B A B D E A B B  Đóng ảnh:     , , ,C A B A B E D A B B     + Một số tính chất: - Đối ngẫu:         , , , , C C C C C A B O A B O A B C A B   - Dịch chuyển:         , , , , O A x B O A B x C A x B C A B x       Ý nghĩa: - Phép mở ảnh sẽ mở rộng những khoảng trống giữa các phần tiếp xúc trong đối tượng ảnh, làm cho ảnh bớt gai hơn. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 23 - Phép đóng ảnh sẽ làm mất đi những khoảng trống nhỏ trong ảnh, làm mất đi nhiễu trong ảnh. * Một số kết quả Các toán tử cấu trúc thường được áp dụng: 8 1 1 1 1 1 1 1 1 1 B N           1 - - - - 1 - - - - B          2 - 1 - 1 - 1 - 1 - B          (a) (b) (c) a) Ảnh A b) Giãn ảnh với 2B c) Co ảnh với 2B Hình 1.6 Kết quả phép co và giãn ảnh d) Mở ảnh với 2B e) Đóng ảnh với 2B f) it-and-Miss với B1 và B2 Hình 1.7 Kết quả phép mở và đóng ảnh * Phép toán HitAndMiss Cho một ảnh A và hai phần tử cấu trúc B1 và B2, ta có: Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 24               1 2 1 2 1 2 1 2 , , is , , , , , C CE A B E A B HitM s A B B E A B E A B E A B E A B          với B1 và B2 là giới hạn và rời rạc nhau  1 2B B  (phép toán này còn được gọi là xác định viền mẫu, mẫu B1 cho đối tượng ảnh và mẫu B2 cho nền ảnh) + Đường viền các điểm kề 4:  8,A A E A N   + Đường viền các điểm kề 8:  4,A A E A N   Cách biểu diễn khác: Biểu diễn phần tử cấu trúc dưới dạng ma trận (gồm B1 và B2) + Cách thực hiện: dịch chuyển điểm gốc của phần tử cấu trúc lần lượt trên các điểm ảnh theo thứ tự từ trên xuống dưới, từ trái qua phải, nếu các điểm nền và điểm ảnh của phần tử cấu trúc khớp với trên ảnh thì ta giữ lại điểm ảnh đó, nếu không ta đặt thành điểm nền. 4 phần tử cấu trúc được sử dụng để tìm góc của ảnh trong phép toán HitAndMiss (thực chất là một phần tử quay theo 4 hướng khác nhau) Sau khi tìm được góc theo các phần tử cấu trúc trên, ta kết hợp chúng lại để được kết quả là các góc lồi của ảnh. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 25 * Xương ảnh Khái niệm: Xương ảnh là tập hợp các đường độ dày là 1, đi qua phần giữa của đối tượng ảnh và bảo toàn được tính chất hình học của đối tượng ảnh. Tuy nhiên, không dễ dàng để nhận ra xương ảnh: Ví dụ: Hình 1.9 Tìm kiếm xương ảnh Trong ví dụ (a), ta không thể tìm được đường thẳng có độ dày 1 đi qua giữa đối tượng mà phản ánh được tính chất đơn giản của đối tượng. Trong ví dụ (b), ta không thể bỏ đi một điểm trong đối tượng kề 8 mà giữ được tính chất hình học của đối tượng. Công thức cơ bản: - Các tập hợp con của xương ảnh Sk(A):      , , 0,1,...kS A E A kB E A kB B k K     với K là giá trị lớn nhất của k trước khi Sk(A) trở thành rỗng. (a) (b) Hình 1.8 Sử dụng phép toán HitAndMiss để tìm góc lồi của một ảnh Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 26 ta có:    , ,E A kB B E A kB Xương ảnh là hợp của các tập con xương ảnh: 0 ( ) ( ) K k k S A S A   Như vậy, đối tượng ảnh ban đầu có thể được tái tạo lại từ các tập con xương ảnh, phần tử cấu trúc B và giá trị K:    0 K k k A S A kB    Tuy nhiên, công thức này không phải lúc nào cũng bảo toàn được tính chất hình học của ảnh. + Phép toán làm gầy ảnh: Công thức:    1 2 1 2, , itMis , ,Thin A B B A H s A B B  Tùy thuộc vào cách chọn B1, B2 mà ta có các thuật toán làm gầy ảnh khác nhau. Một cách biểu diễn khác: Phần tử cấu trúc được dùng để tìm xương ảnh (điểm gốc ở tâm của phần tử cấu trúc). Tại mỗi bước lặp, ảnh sẽ được làm gầy bởi phần tử cấu trúc bên trái, sau đó đến phần tử cấu trúc bên phải, tiếp theo với phép quay 90o hai phần tử cấu trúc trên. Quá trình được lặp đi lặp lại cho đến khi phép toán làm gầy không dẫn đến sự thay đổi nào nữa. Hình 1.10 Ví dụ về phép toán làm gầy ảnh Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 27 Chương 2 MỘT SỐ KỸ THUẬT NẮN CHỈNH BIẾN DẠNG HÌNH HỌC Như ta đã bàn trong chương 1, công việc nắn chỉnh thường có nhiều bước, nhưng mục đích cuối cùng là nắn chỉnh bề mặt của một vật (đối tượng) sao cho sau khi nắn chỉnh đối tượng sẽ không bị cong, bị vênh hay nhăn nheo, và hình ảnh trông sẽ đẹp hơn. Ta có thể định nghĩa: Nắn chỉnh ảnh là quá trình thao tác trên một đối tượng ảnh số, sao cho khi ảnh ở bất kỳ hình dạng nào như cong, vênh, bị bóp méo,… đều có thể được điều chỉnh. Công việc của nắn chỉnh ảnh thực chất là đi thay đổi hay di chuyển các Pixel (điểm ảnh) của hình ảnh từ vị trí này sang vị trí khác . Sau quá trình nắn chỉnh chúng ta sẽ áp dụng kỹ thuật nội suy ảnh để thu được ảnh có chất lượng tốt hơn cả về mầu sắc và độ tương phản. 2.1. Nắn chỉnh trên cơ sở phân vùng ảnh Trong trường hợp các điểm đặc trưng được sắp xếp để tạo thành một lưới bao phủ lên bề mặt ảnh, khi đó ảnh gồm nhiều phần ghép lại với nhau. Để nắn chỉnh ảnh, chỉ cần nội suy các phần tương ứng của lưới. Tùy thuộc vào lưới được tạo thành là lưới gì sẽ có kỹ thuật nắn chỉnh tương ứng. Nếu là lưới tam giác ta có thuật toán biến đổi trên cơ sở phân hình tam giác, nếu là lưới tứ giác ta có thuật toán biến đổi trên cơ sở phân hình tứ giác v.v.. Khi phân tích ảnh người ta dùng phương pháp phân vùng tam giác và phân vùng tứ giác. Trong đó kỹ thuật nội suy thường sử dụng là nội suy tam giác (Affine Interpolation) và nội suy tứ giác (Trilinear Interpolation và Bilinear). a. Nội suy tam giác Để biến đổi lưới tam giác này thành lưới tam giác kia ta thực hiện nội suy từng tam giác tương ứng cho nhau. Cách đơn giản nhất là sử dụng kỹ thuật ánh xạ dựa trên hệ toạ độ Barycentric. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 28 Ở giai đoạn xác định các điểm đặc trưng (phần sau) chúng ta tạo ra xây dựng một lưới các tam giác cho ảnh gốc và ảnh đích thoả mãn điều kiện: Trong đó: Ti là diện tích của tam giác thứ i S là diện tích của ảnh. Đồng thời 3 đỉnh của tam giác là 3 điểm đặc trưng được xác định trên đối tượng ảnh và có sự tham chiếu một - một giữa các điểm này. Dựa trên lưới các đặc trưng vừa xây dựng được, ứng với mỗi điểm ảnh cần nội suy, hàm biến đổi sẽ xác định toạ độ của nó rồi xác định hai điểm có cùng toạ độ trên ảnh đích và ảnh gốc. Sau đó gán giá trị màu của điểm ảnh đích bằng giá trị màu của điểm gốc tương ứng. * Cơ sở lý thuyết + Khái niệm về toạ độ Barycentric Với mỗi điểm M(xm,ym) nằm trong tam giác ABC thì chúng ta đều có thể biểu diễn toạ độ của nó theo toạ độ các đỉnh của tam giác như sau: Giải hệ phương trình này ta được một nghiệm duy nhất: ( - ) ( - ) - ( - ) ( - ) ( - ) ( - ) - ( - ) ( - ) ya yc xa xm xa xc ya ym v ya yc xa xb xa xc ya yb  ( - ) ( - ) - ( - ) ( - ) ( - ) ( - ) - ( - ) ( - ) ya ym xa xb xa xm ya yb w ya yc xa xb xa xc ya yb  u = 1-v-w Ti = S i Ti  Tj =  xm = u  xa + v  xb + w  xc ym = u  ya + v  yb + w  yc u+v+ w = 1 u,v, w  0 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 29 Chúng ta nói rằng điểm M có toạ độ là (u, v, w) đối với tam giác ABC. + Một số đặc điểm cần chú ý của toạ độ Barycentric Đối với mỗi điểm toạ độ của nó là duy nhất. Toạ độ của một điểm phụ thuộc vào tỉ lệ các khoảng cách từ nó đến các đỉnh của tam giác chứ không phải là khoảng cách tuyệt đối giữa chúng. Nếu khoảng cách tương đối của điểm cần biểu diễn đến điểm cơ sở nhỏ thì hệ số tương ứng với nó sẽ lớn. Hình 2.1 sẽ minh hoạ cho khái niệm hệ toạ độ Barycentric. Đến đây thuật toán đã hoàn toàn rõ ràng. Vậy các bước phải thực hiện đối với thuật toán này là: Xây dựng lưới tam giác cho ảnh gốc và ảnh đích Đối với mỗi cặp tam giác tương ứng với ảnh gốc và ảnh đích ta nội suy tam giác ở ảnh gốc thành tam giác ở ảnh đích. Một vấn đề nảy sinh là làm sao có thể tìm được tất cả các điểm thuộc tam giác ABC một cách hiệu quả? Có nhiều phương án để giải quyết vấn đề này, phần sau đây sẽ giới thiệu một phương pháp khá hiệu quả. * Phương pháp xác định tất cả các điểm thuộc một tam giác Phương pháp này gồm có các bước như sau: Tìm các giá trị xmax, xmin, ymax, ymin đối với các đỉnh của tam giác. (0,1,0) (1,0,0) (0,0,1) Hình 2.1 Hệ toạ độ Barycentric M Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 30 For a = ymin to ymax do - Tìm giao điểm của đường thẳng y=a với 3 cạnh của tam giác. - Chỉ xét các giao điểm có hoành độ thuộc [xmin,xmax] và sắp xếp các giao điểm theo chiều tăng dần của hoành độ. - Các điểm nằm trên đường thẳng y=a và có hoành độ thuộc đoạn [x_min,x_max] là thuộc tam giác (với x_ thể hiện hoành độ giao điểm). Sử dụng thuật toán tam giác người ta có thể xác định được tọa độ các điểm bị bóp méo dựa vào cặp điểm đặc trưng. Các điểm này được xác định dựa vào việc xác định tam giác nào là cơ sở, cặp điểm nào là cơ sở. Việc xác định cặp điểm đặc trưng có thể dựa vào thuật toán sau Trước tiên định nghĩa một ánh xạ T cho các đỉnh của tam giác: M(A)=A', M(B)=B', M(C)=C'. Các điểm còn lại sẽ được ánh xạ theo toạ độ Barycentric (1, 2, 3) nghĩa là: X= 1*A+2*B+3*C Trong đó: i  0 và 1+ 2+ 3 =1 Khi đó điểm Y là ánh xạ của X qua M được tính toán như sau: Y = M(X) = M(1*A+2*B+3*C) = 1* M (A) +2*M(B) +3*M(C) = 1*A'+2*B'+3*C' y = ymin y = ymax x = x m ax x = x m in Hình 2.2 Tìm tất cả các điểm thuộc tam giác theo dòng quét Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 31 b. Phân vùng tứ giác Nếu lưới xây dựng trên ảnh nguồn và đích tương ứng là lưới tứ giác, ta cần nội suy các tứ giác cho nhau. Để thực hiện điều này ta dùng phép nội suy Bilinear. Phép nội suy Bilinear xác định một hàm biến đổi từ một hình vuông kích thước 0,1x0,1 tới một tứ giác trong không gian (tứ giác này không nhất thiết phải đồng phẳng). Phép biến đổi được thực hiện tương đương với hai việc: Thứ nhất là nội suy trên các cạnh AD và BC thu được điểm P và Q. P = (1-v)A +vD Q = (1-v)B +vC Việc tiếp theo là nội suy trên đoạn PQ sử dụng thông số u: B(u,v)=(1-u)P +uQ 2.2. Nắn chỉnh trên cơ sở tập các điểm đặc trưng Thuật toán có hướng tiếp cận dựa trên cơ sở các cặp điểm đặc trưng như đã trình bầy ở trên. Do vậy, điều quan trọng là làm sao có thể biểu diễn được một điểm bất kỳ theo tập các đặc trưng khi mà lực lượng của tập lớn. Tuy nhiên, thuật toán lợi dụng tính chất phân vùng của đối tượng ảnh để Hình 2.4 Nội suy Bilinear Hình 2.3. Nội suy tam giác Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 32 giảm nhẹ lực lượng hệ cơ sở từ tập các đặc trưng ban đầu giúp cho việc biểu diễn là khả thi. Việc xác định các điểm đặc trưng của ảnh nhằm cung cấp các thông tin về đối tượng giúp cho sự việc nắn chỉnh được thực hiện thuận lợi. Các công thức nắn chỉnh bao giờ cũng được đưa ra dựa trên các điểm đặc trưng và xây dựng các công thức nắn chỉnh là đại diện cho một thuật toán nắn chỉnh hình học. Để đạt được chất lượng nắn chỉnh hình tốt, chúng ta phải nội suy từng phần của ảnh gốc sang các phần tương ứng bên ảnh đích. Điều này có nghĩa là ta đã biểu diễn được thông tin của đối tượng và ánh xạ từng phần của chúng cho nhau. Đây cũng chính là mục đích của giai đoạn xác định các điểm đặc trưng. Thông thường nắn chỉnh hình dạng người ta dùng phương pháp bình phương bé nhất hoặc giá trị trung bình nhỏ nhất trên cơ sở thông tin thu được từ các điểm đặc trưng. Phương pháp bình phương nhỏ nhất (OLS) là một thủ thuật toán học được sử dụng để ước lượng mối tương quan giữa các biến khác nhau. Kiểu tương quan đơn giản nhất là: 0 1i i iY b b X e   Kết quả quá trình ước lượng các hệ số b0 và b1 được gọi là b0 mũ và b1 mũ. Các hệ số này được sử dụng để ước lượng biến phụ thuộc Yi mũ. Chúng ta có thể nói rằng:  0 1i iY b b X    Chênh lệch giữa giá trị thực tế Yi và giá trị ước lượng  iY là bằng yếu tố sai số ei. Điều này có thể viết dưới dạng:  0 1i i i ii i Y b b X e Y Y e        Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 33 Minh họa lên đồ thị. Minh họa ei lên đồ thị. Mục đích của phương pháp OLS là tối thiểu hóa tổng 2 2 1 2,e e và 2 3e . Hình 2.5 Đồ thị biểu diễn giá trị ước lượng Y Hình 2.6 Đồ thị biểu diễn giá trị chênh lệch ei Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 34 Minh họa Yi lên đồ thị. Đường tuyến tính liên hệ X và Y được tính bằng phương pháp OLS là đáng tin cậy bởi vì nó tối thiểu hóa tổng bình phương các sai số. Nghĩa là nó tối thiểu hóa: 2 ie Tương đương với tối thiểu hóa:  2( )i iY Y Điều này có ba đặc điểm cơ bản: 1. Đường hồi quy đi qua điểm ( , )X Y , điểm này là trung bình các dữ liệu. 2. Tổng bình phương các sai số hay các phần dư là bằng 0. 3. Phương pháp OLS đưa ra những ước lượng "tốt nhất" phụ thuộc vào các khái niệm cũng như các điều kiện. Các Khái Niệm. Sai Số Ước Lượng Chuẩn[2] (SEE). 1 2 2 EE 2 ie S n         Hình 2.7 Đồ thị biểu diễn giá trị thực Yi Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 35 Tổng bình phương tất cả các sai lệch[3] (TSS). 2( )iTSS Y Y  Ta có: TSS = RSS + ESS. Mô hình giải thích bao nhiêu biến động của biến phụ thuộc! R2 sẽ giải quyết vấn đề này. R2 là tỉ lệ giữa tổng bình phương tất cả các sai lệch của biến giải thích với tổng bình phương tất cả các sai lệch, hay: 2 ES 1 S RSS R TSS TSS    R2 cao nghĩa là mô hình ước lượng được giải thích được một mức độ cao biến động của biến phụ thuộc. Nếu R2 bằng 0. Nghĩa là mô hình không đưa ra thông tin nào về biến phụ thuộc và dự đoán tốt nhất về giá trị của biến phụ thuộc là giá trị trung bình của nó. Các biến "giải thích" thực sự không đưa ra được một giải thích nào. Hình 2.8 Đồ thị biểu diễn tổng bình phương tất cả các điểm sai lệch Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 36 Minh họa lên đồ thị. Với phương pháp bình phương bé nhất ta có thể xây dựng được tọa độ điểm cần nắn chỉnh như sau: Với một điểm (x,y) ở ảnh gốc phải chuyển sang toạ độ (u,v) tương ứng ở ảnh đích. Phép chuyển đổi này là xác định mối quan hệ giữa (x,y) và (u,v) và ngược lại. Chuyển đổi ngược được biểu diễn như sau: T -1 (x,y)  u,v (1.1) Chuyển đổi thuận sẽ là: T(u,v)  x, y (1.2) Giải pháp chung là xác định cặp hàm đa thức: N N   aij Pi(x) Pj(y) i=0 j=i (1.3) N N   bij Pi(x) Pj(y) i=0 j=i Hình 2.9 Đồ thị biểu diễn sự biến động của các biến Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 37 Trong đó, hàm P thông thường là đa thức Chebychev và các tham số aij và bij được xác định bằng phương pháp bình phương bé nhất hoặc giá trị trung bình nhỏ nhất. Để xác định đa thức bậc N ta phải có ít nhất k=(N+1)(N+2)/2 điểm đặc trưng. Trong bài toán này, hệ toạ độ được sử dụng là hệ toạ độ Đề các nên chỉ cần ba hay nhiều hơn điểm đặc trưng cho đa thức bậc nhất (N=1). Quan hệ (1.1) sẽ trở thành phương pháp đa thức. T ([F(uc,vc)]k, [xc,yc]k, x, y)  u,v (1.4) Trong đó, cặp (uc , vc) và (xc, yc) là cặp toạ độ biểu diễn trường của các điểm đặc trưng và (N+1)(N+2)/2  k. Biến đổi Affine sáu tham số hay được sử dụng để mô hình hoá biến đổi từ vị trí toạ độ ảnh gốc sang vị trí ảnh đích. Hình thức của chúng như sau: u = 0 x + 1 y + 2 v = 3 x + 4 y + 5 Trong đó, (x,y) là điểm ở ảnh gốc cần ánh xạ sang ảnh đích. (u ,v) là toạ độ ảnh đích. Các hệ số  được ước lượng bằng phương pháp bình phương tối thiểu. Giả sử ta đã chọn n điểm đặc trưng trên ảnh gốc và ảnh đích, các giá trị  được tính toán như sau: Đặt: 1 1; i n i n i i i i x y x y n n        ; 1 1 2 2 1 1 ( )( ) ( )( ) ; và ( ) ( ) i n i n i i i i i i i n i n i i i i x x y y x x y y p q y y x x                           -1 N Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 38 Ta có: 1 0 1 2 1 ( )( ) 1 ( ) i n i i i i i n i i x x u x q x x                1 1 1 2 1 1 ( )( ) ( )( ) ( ) ( )( ) i n i n i i i i i i i i n i n i i i i i y y u x q x x y y y y q x x y y                              2 0 1 1 1 ( ) i n i i i u x x x y n           1 1 3 2 1 1 ( )( ) ( )( ) ( ) ( )( ) i n i n i i i i i i i i i n i n i i i i i x x v y p y y v y x x p x x y y                              1 4 3 2 1 ( )( ) 1 ( ) i n i i i i i n i i y y v y p y y                5 4 2 1 1 ( ) i n i i i v y y y y n           Phương pháp này rất hiệu quả khi nắn chỉnh các vùng có diện tích không lớn. Tuy nhiên không có giải pháp nào để xác định kích thước vùng đó là bao nhiêu là phù hợp với phép biến đổi này mà chỉ phụ thuộc vào kinh nghiệm và thực nghiệm. Nếu ảnh gốc có các mặt cần nắn chỉnh lớn thì chia thành các vùng nhỏ hơn và thực hiện biến đổi riêng rẽ từng vùng con này. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 39 Để có được kết quả như vậy, ta cần có các phép biến đổi toạ độ của các điểm ảnh, cụ thể theo thuật toán thì ta biến đổi toạ độ (x,y) thành (u,v). có thể thể hiện bằng hình ảnh như sau: Thực chất của việc biến đổi toạ độ x, y là thực hiện kéo x đi một góc α khi đó: x = u + T*v , y = v Khi kéo y đi một góc α thì x = u , y = v + T*u Kết quả kéo sẽ được : x= fx(u,v) , y= fy(u,v) Nắn chỉnh Ảnh nguồn Ảnh đích Hình 2.10 Ảnh gốc và ảnh bị nắn chỉnh Hình 2.11 Nắn chỉnh bằng cách biến đổi tọa độ các điểm ảnh Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 40 Thuật toán có thể viết như sau: For ( int u= 0; u< umax; u++) { For (int v=0; v<vmax; v++) { Float x = fx(u,v); Float y=fy(u,v); Dst (x,y) = Src (u,v); } } Kết quả của thuật toán: Như đã nói ở thuật toán trên trước khi để nắn chỉnh được ảnh gốc thì ta cần xác định được các cặp điểm đặc trưng. Đây là bước đầu tiên cũng là bước quan trọng trong nắn chỉnh ảnh. Ảnh nguồn Ảnh đích Hình 2.12 Mô tả sự biến đổi của tọa độ các điểm ảnh Hình 2.13 Mô tả kết quả thuật toán biến đổi Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 41 2.3. Kỹ thuật nắn chỉnh dựa trên cơ sở vector Trong trường hợp trên giữa các điểm điều khiển không có sự ràng buộc nào. Khi các điểm đặc trưng được xác định sao cho chúng tạo thành từng cặp điểm, tức là các vector, ta sẽ có phương thức nắn chỉnh trên cơ sở các vector. a. Chuyển đổi với một cặp vector Xét trường hợp chỉ có một cặp vector: PQ trên ảnh đích và P’Q’ trên ảnh nguồn. Khi đó với mỗi điểm X trên ảnh đích, điểm X’ tương ứng với X trên ảnh nguồn được tính như sau: 2 2 . . ( ) PX PQ u PQ PX perpendicular PQ V PQ         Đặt ' 'A B = perpendicular( ' 'P Q  ) )''()''('' ABvPQuPX  Trong đó: Perpendicular() trả lại vector vuông góc, cùng chiều dài với vector vào. Hướng của perpendicular() có thể chọn một trong hai hướng: Nếu quay perpendicular() một góc 900 theo chiều kim đồng hồ quanh gốc của vector perpendicular() thì perpendicular() có hướng trùng với hướng của vector vào. Nếu quay perpendicular() một góc 900 ngược chiều kim đồng hồ quanh gốc của vector perpendicular() thì perpendicular() có hướng trùng với hướng của vector vào. Nếu đã chọn hướng nào thì trong suốt quá trình thực hiện biến đổi phải tuân theo hướng đã chọn. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 42 Giá trị u thể hiện chiều dài của đoạn thẳng và v là khoảng cách tới đường thẳng. Giá trị của u tăng từ 0 đến 1 khi điểm ảnh tiến từ P đến Q và nhỏ hơn 0 hoặc lớn hơn 1 thì sẽ vượt qua vùng giới hạn. Giá trị của v là khoảng cách từ điểm ảnh đến đoạn thẳng. Nếu có một cặp vector thì thuật toán biến đổi được cho như sau: Với mỗi điểm ảnh X trên ảnh đích: Tìm cặp giá trị tương ứng (u,v) Tìm điểm X’ trên ảnh nguồn dựa trên (u,v) vừa xác định ImgDestination.X = ImgSource.X’ Hình 2.15 minh hoạ cho thuật toán, cách tìm điểm X’ khi biết PQ, P’Q’ và điểm ảnh X. Trong đó ảnh góc trên bên trái là ảnh gốc, các ảnh còn lại là các ảnh kết quả với đoạn thẳng được xác định tương ứng. Hình 2.14 Cặp đoạn thẳng đơn Hình 2.15 Một số kết quả minh họa của thuật toán Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 43 b. Chuyển đổi với nhiều cặp vector Biến đổi với nhiều cặp vector sẽ phức tạp hơn so với một cặp vector. Trong thuật toán này chúng ta sẽ tính toán thêm các giá trị weight cho sự biến đổi của từng vector. Mỗi điểm X’ sẽ được tính toán cho từng cặp vector. Độ dịch chuyển Di=Xi’-X đo sự sai khác giữa vị trí của điểm ảnh nguồn và đích. Một trọng số dựa trên những độ dịch chuyển này sẽ được tính toán. Trọng số này sẽ được xác định bởi khoảng cách từ X đến vector. Giá trị trọng số này được thêm với X để xác định điểm X’ cần lấy trên ảnh nguồn. Trường hợp vector đơn sẽ là một trường hợp đặc biệt của trường hợp nhiều vector nếu như giá trị weight không bao giờ là 0 tại mọi điểm trên ảnh. Giá trị weight là lớn nhất nếu điểm ảnh nằm đúng trên vector và sẽ là bé nhất nếu nó nằm xa vector nhất. Công thức tính weight được cho như sau: ( ) b plength W a dist        Trong đó: Length là chiều dài của vector, dist là khoảng cách từ điểm ảnh đến vector, a, b, p là các hằng số dùng để thay đổi quan hệ giữa các vector. Nếu a tiến tới 0 và dist đúng bằng 0 thì weight tiến tới vô cực. Khi đó điểm ảnh nằm trên vector gốc sẽ được ánh xạ đúng đến vị trí tương ứng trên vectơ đích. Giá trị a lớn sẽ cho kết quả nắn chỉnh tốt hơn (trơn hơn). Giá trị b thể hiện sự tác động của chiều dài vector đến các điểm ảnh. Nếu b lớn thì điểm ảnh chỉ bị tác động bởi một vector có khoảng cách đến nó ngắn nhất. Nếu b=0 thì điểm ảnh sẽ bị tác động như nhau đối với mọi vector. Giá trị hay sử dụng của b là [0.5;2]. Giá trị của p là [0;1]. Nếu p = 0 thì tất cả các weight không phụ thuộc vào chiều dài vector. Nếu p=1 thì vector nào dài hơn sẽ có weight lớn hơn. Thuật toán được cho như sau: For mỗi điểm X trên ảnh đích DSUM=(0,0) Weightsum =0 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 44 For mỗi vector PiQi Tính u, v dựa trên Pi,Qi Tính X’i dựa trên u,v và Pi’Qi’ Di=Xi’-X dist = khoảng cách từ X tới PiQi weight= ((lengthp)/(a+dist))b DSUM=DSUM+Di*weight weightsum=weightsum+weight X’=X+DSUM/weightsum ImgDestination.X=ImgSource.X’ Hình 2.16 là một minh hoạ cho việc tính toán điểm X’ trên cơ sở biết X và các cặp vector tương ứng. Hình 2.16 Nhiều cặp vector Hình 2.17 Kết quả của thuật toán Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 45 Với kỹ thuật vector khi thực hiện bóp méo một hình ảnh thì hình ảnh không còn ở trạng thái ban đầu nữa, tuy nhiên khi các tọa độ ánh xạ sang ảnh đích thì một số pixel ảnh sẽ không thể ánh xạ sang được, vì vật sẽ khó khăn cho việc chuyển đổi màu của ảnh. Việc xác định lại màu sắc cho ảnh lại phải sử dụng đến thuật toán tô màu (theo làn, theo dòng,..). Nhưng để sử dụng được các thuật toán này thì việc tìm tọa độ của các điểm ảnh là rất quan trọng. Hình 2.18 cho thấy khi bóp méo ảnh thì tọa độ thay đổi phụ thuộc vào hàm chuyển đổi f, hàm này có thể được xác định bằng thuật toán vector như đã trình bày ở trên. 2.4. Kỹ thuật nắn chỉnh dựa trên khung lưới 2.4.1. Xây dựng hàm biến đổi Hàm biến đổi được trình bày sau đây sẽ chỉ ra cách thức xác định tất cả các điểm tương ứng với từng điểm ảnh thuộc ảnh A có khung lưới là Ma trong ảnh N có khung lưới là Mb. Đây là công việc cần thiết khi thực hiện nắn chỉnh một ảnh hay đối tượng ảnh bất kỳ. Công việc này được tiến hành qua hai giai đoạn: quét ngang và quét dọc. Do hai giai đoạn này được thực hiện tương tự nhau nên chúng ta chỉ trình bày đại diện một giai đoạn là giai đoạn quét ngang. Hình 2.18 Tọa độ ảnh thay đổi khi bóp méo x = fx(u,v) y = fy(u,v) Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 46 Giả sử khung lưới Ma và Mb của hai ảnh A và B như hình vẽ: Ở giai đoạn quét ngang chúng ta sẽ chỉ quan tâm đến các đường B- Spline dọc trên cả hai ảnh và xếp chồng chúng với nhau. Chú ý rằng có một sự tham chiếu một - một giữa các đường B-Spline dọc này. Chúng ta sẽ quét từng dòng ngang từ trên xuống dưới, với mỗi dòng quét ngang chúng ta sẽ xác định giao của nó với các đường B-Spline. Các bước cần làm đối với đường quét ngang có phương trình y=a được xác định như sau (xem minh hoạ trong hình 2.20): Xây dựng một hệ trục toạ độ hai chiều.  Xây dựng các điểm, mỗi điểm này nhận giá trị hoành độ giao điểm của đường quét ngang với các đường B - Spline của ảnh A làm hoành độ và hoành độ giao điểm với đường B-Spline tương ứng với nó trên ảnh B làm tung độ.  Xây dựng một đường cong đi qua tất cả các điểm này. Hình 2.19 Khung lưới B-Spline của hai ảnh Hình 2.20 Xác định các điểm tương đương cho mỗi dòng quét Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 47  Đường cong trong hình 2.20 là ánh xạ hoành độ của các điểm có tung độ là a của hai ảnh A và B. Với cách xác định tọa độ điểm như thuật toán khung lưới thì ta có thể xác định được tọa độ của các điểm ảnh khi ánh xạ sang ảnh đích. Theo công thức cosi thì tọa độ đó có thể xác định theo công thức sau: Quay một góc Θ : x = ucosΘ - vsinΘ y = usinΘ + vcosΘ Mô tả bằng hình ảnh như sau: 2.4.2. Nhận xét kết quả  Đây là thuật toán có chất lượng đầu tiên, tuy nhiên nó cũng chưa thật tốt.  Thời gian chạy tương đối lâu do phải làm việc với các đường cong phức tạp là B-Spline.  Cần nhiều tương tác của người sử dụng trong việc xây dựng khung lưới.  Trong nhiều trường hợp mô hình khung lưới không phù hợp. 2.5. Xây dựng khung nắn chỉnh Vấn đề đặt ra ở đây là phải xác định được các cặp mặt tương ứng giữa ảnh gốc được chụp vào cần nắn chỉnh và ảnh đích. Cũng giống như việc xác Quay 300 Hình 2.21 Cách xác định tọa độ mới Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 48 định các cặp điểm đặc trưng, ta chưa có một phương pháp hiệu quả nào để cho phép tự động nhận biết các mặt này. Vì thế không còn phương pháp nào khác là nhờ sự trợ giúp của con người một cách thủ công. Việc xác định các mặt đồng nghĩa với việc chia ảnh thành các vùng đa giác mà các đỉnh của đa giác là các điểm đặc trưng. Thực tế người ta cũng có thể nắn chỉnh được mà không cần bước xác định các mặt của đối tượng cần nắn chỉnh. Vì trên cơ sở các điểm đặc trưng đã chọn, dùng phương pháp nội suy dựa trên lưới tam giác và tập các điểm đặc trưng là tìm ra ngay được công thức biến đổi đối với mỗi điểm ảnh cần nội suy. Tuy nhiên sẽ gặp phải một số khó khăn sau:  Khối lượng tính toán tăng lên. Bởi vì: Đối với mỗi điểm ảnh bất kỳ cần nội suy thì ta phải xét ảnh hưởng của tất cả các điểm đặc trưng của ảnh đối với điểm đó. Nghĩa là, một điểm ảnh của vùng này thực chất chỉ cần xét sự ảnh hưởng của các điểm đặc trưng thuộc vùng đó đến nó nhưng làm theo cách không phân vùng thì phải xét đến cả những điểm đặc trưng của các vùng còn lại.  Việc nội suy thiếu chính xác. Do đó hiệu quả nắn chỉnh không cao. Chính vì những nhược điểm trên khi không định nghĩa rõ ràng các mặt cần nội suy nên ở đây sẽ sử dụng phương pháp chia ảnh thành các vùng cần nội suy riêng biệt nhằm mục đích xây dựng khung cho đối tượng cần nắn chỉnh. 2.6. Các mô hình nắn chỉnh sử dụng trong phần mềm IrasC 2.6.1. Các mô hình nắn chỉnh trong IrasC Nói chung mục đích của quá trình nắn là chuyển đổi các ảnh quét đang ở toạ độ hàng cột của các pixel về toạ độ trắc địa (toạ độ thực - hệ toạ độ địa lý hoặc toạ độ phẳng). Đây là bước quan trọng nhất trong quá trình thành lập ảnh số vì nó ảnh hưởng tới toàn bộ độ chính xác của ảnh sau khi được số hoá Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 49 dựa trên nền ảnh. Quá trình này được dựa trên toạ độ của các điểm khống chế ảnh, toạ độ của các điểm khống chế tương ứng trên file.dgn và mô hình được chọn để nắn. Các mô hình nắn được viết sẵn trong phần mềm IrasC. Phần mềm IrasC nhằm phục phụ các thao tác xử lý ảnh raster, cho phép hiển thị, xử lý nâng cao chất lượng hình ảnh và xuất ra các dữ liệu raster phục vụ cho các ứng dụng khác nhau. Phần mềm này cho phép xử lý ảnh hàng không, vệ tinh hoặc bất kì loại dữ liệu dạng raster đã được quét và lưu trữ dưới dạng tệp tin. Các điểm ảnh trong các tệp tin này được hiển thị với phạm vi màu rộng và độ đậm nhạt khác nhau. Có thể hiển thị đơn sắc (đen trắng), ảnh đa phổ màu hoặc ảnh tổ hợp màu. * Mô hình Hermert: Là mô hình chuyển đổi tuyến tính có khả năng hiệu chỉnh được sự xoay, sự dịch chuyển, tỷ lệ chiều dài trên hai trục x và y là một hằng số. Phép lấy mẫu trong mô hình này là tự lựa chọn. Mô hình nắn chuyển này chỉ sử dụng nắn file quét từ bản đồ, tuy nhiên cũng ít được sử dụng: * Mô hình Affine: Là mô hình chuyển đổi tuyến tính có khả năng hiệu chỉnh sự xoay, sự dịch chuyển nghiêng và tỷ lệ. Mô hình chuyển đổi này thường được áp dụng khi nắn file quét từ bản đồ. Phép lẫy mẫu trong mô hình này là tuỳ chọn. * Mô hình Projective: Là mô hình chuyển đổi theo nguyên lý hình học chiếu, tức là áp và gắn một hệ thống lưới không song song vào một hệ thống lưới song song. Mô hình chuyển đổi này thường áp dụng cho ảnh hàng không. Phép lấy mẫu trong mô hình này là bắt buộc. * Polynomial Equations: Là mô hình chuyển đổi xây dựng trên các công thức toán học phức tạp. Mô hình chuyển đổi này được phân thành nhiều bậc khác nhau trên cơ sở số mũ cao nhất của các đa thức chuyển đổi bậc hai, bậc ba, bậc bốn và bậc năm. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 50 2.6.2. Quá trình nắn chỉnh ảnh Quá trình nắn ảnh được tiến hành qua các bước sau: - Mở file.dgn: Được mở trong môi trường MicroStation khi dùng để nắn ảnh cần thoả mãn các yêu cầu sau: + File.dgn được tạo trên cơ sở file seed để được khai báo chuẩn về hệ thống toạ độ + Toàn bộ các tham số khác như đơn vị đo độ dài, đo góc... đơn vị đo trên toạ độ phẳng, toạ độ địa lý được khai báo rõ ràng và đầy đủ - Thu thập các điểm khống chế vào file.dgn: Sau khi mở hoặc tạo file mới, ta lần lượt nhập các điểm khống chế toạ độ. - Mở hiển thị file ảnh - Lựa chọn phương pháp nắn ảnh: Modul IrasC cung cấp cho người sử dụng bảy phương pháp nắn, ta có thể chọn phương pháp nắn phù hợp từ nút tuỳ chọn Model trong hộp hội thoại Residual. Sau khi chọn xong phương pháp nắn, kết quả nắn sẽ được xuất ra File*.itm, ta cần ghi file này vào bộ nhớ để tiện xử lý sau này - Lựa chọn phương pháp lẫy mẫu: Đối với phương pháp nắn được lựa chọn là phi tuyến tính thì việc lẫy mẫu là bắt buộc còn đối với phương pháp nắn là tuyến tính thì việc lẫy mẫu là tuỳ chọn. - Tiến hành nắn ảnh: Sau khi chọn xong phương pháp lấy mẫu ta sẽ tiến hành nắn ảnh. Quá trình nắn được tiến hành theo hai bước là nắn sơ bộ và nắn chính xác. + Nắn sơ bộ được lựa chọn theo phương pháp nắn Affine hoặc Project. Trong sản xuất hiện nay người ta thường hay sử dụng phương pháp nắn Affine vì theo như phương pháp này thì khi nắn ta chỉ cần nắn ba điểm cũng có thể đạt độ chính xác cần thiết Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 51 + Nắn chính xác được lựa chọn theo phương pháp nắn Affine vì phương pháp nắn này cho độ chính xác rất cao. Số lượng điểm cần nắn tối đa là 25 điểm gồm 4 điểm mấu khung, các mắt lưới và các điểm dàn trải đều trên khung bản đồ. - Đánh giá sai số của các điểm khống chế của các điểm thu nhận: Sai số vị trí toạ độ và vị trí trên ảnh của các điểm khống chế. - Lưu file ảnh: Sau khi thực hiện các sửa đổi trên ảnh như điều chỉnh độ sáng tối và tương phản xoay ảnh, ghép ảnh, nắn ảnh, ta sẽ lưu ảnh sửa đổi vào file ảnh gốc đã mở. * Với phần mềm nắn chỉnh, các bước cụ thể như sau: - Mở ảnh bằng phần mềm. Người sử dụng cần cập nhật toạ độ thực (toạ độ ảnh) của điểm khống chế để kết thúc việc chọn điểm khống chế thứ nhất. - Tiến hành các bước chọn điểm khống chế như vậy cho tới khi số lượng điểm khống chế đạt yêu cầu kỹ thuật. - Khi số lượng điểm khống chế đạt 4 điểm trở lên, sai số trung bình RMS sẽ được chương trình tính toán tự động cho mỗi điểm và cho tập hợp điểm. Sai số này được hiển thị. Trong trường hợp này độ chính xác tối thiểu cho việc nắn chỉnh hình học cần đạt phải nhỏ hơn hoặc bằng 1.0, tương đương với sai số vị trí cực đại là một pixel ảnh. Các điểm khống chế phải được chọn ở những vị trí ít có biến đổi như ngã ba đường, hoặc địa vật rõ nét như toà nhà. - Sau khi lựa chọn các điểm khống chế, hiển thị danh sách các điểm khống chế người sử dụng có thể xem lại các vị trí điểm khống chế đã chọn trên ảnh bằng cách chọn điểm đó trong danh sách. - Đôi khi một số điểm khống chế có sai số lớn quá thì người sử dụng có thể thay đổi lại vị trí điểm bằng cách chọn điểm đó trên ảnh rồi Update. Giá Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 52 trị toạ độ (hàng - cột) mới sẽ được cập nhật tức thời và sai số RMS cũng sẽ được tính toán lại. - Người sử dụng có thể xoá điểm khống chế có sai số lớn bằng cách chọn điểm khống chế rồi xóa. - Trong trường hợp không muốn xoá điểm khống chế nhưng loại bỏ điểm này khỏi danh sách tính toán, và nắn chỉnh ảnh, người sử dụng có thể “giấu” điểm đó đi. - Ngược lại với thao tác này, người sử dụng có thể nạp lại các điểm khống chế đã lựa chọn trước đây từ file đã lưu. - Để bắt đầu việc nắn chỉnh hình học ảnh, chương trình sẽ hiển thị để người sử dụng lựa chọn ảnh cần nắn. - Khai báo phương pháp nắn Warp Method theo bậc 1, 2 hoặc 3; lựa chọn tên tập tin lưu ảnh sẽ nắn. Nếu bộ nhớ được chọn, ảnh kết quả sẽ được lưu tạm trong bộ nhớ của máy và sẽ bị xoá đi khi kết thúc chương trình sau đó người dùng có thể bắt đầu quá trình nắn ảnh. - Kết quả chất lượng của ảnh phụ thuộc rất nhiều vào công đoạn lựa chọn điểm khống chế ảnh. Để hạn chế sai số, thông thường, các điểm khống chế được lựa chọn sao cho chúng phân bố đều trên toàn bộ diện tích sẽ nắn, đồng thời, bao phủ được tới đường biên (theo khung hình) của ảnh. Sai số sẽ chọn điểm nắn RMS Error càng nhỏ thì độ chính xác của kết quả sẽ càng cao. Tổng số điểm khống chế cho một cảnh ảnh tối thiểu phải từ 15 điểm. Lựa chọn bậc nắn ảnh là 2. - Sau khi kết thúc quá trình nắn ảnh, ảnh mới đã nắn sẽ được lưu vào một tập tin (như trong trường hợp đang trình bầy, có thể thấy, với sai số RMS Error = 0.931164, ảnh kết quả đạt độ chính xác khá cao. Các đối tượng trên ảnh trùng khít với nhau. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 53 - Khi phải ghép nhiều cảnh ảnh với nhau để tạo một ảnh lớn hơn, các ảnh thành phần cần được nắn chỉnh hình học từ trước. Ảnh sau khi đã nắn chỉnh hình học có thể được sử dụng trong việc phân loại giải đoán các đối tượng hoặc tạo bình đồ ảnh cho khu vực Phương trình chuyển đổi toạ độ có dạng: Bậc 1: x’ = a0 + a1x + a2 y, (1) y’ = b0 + b1y + b2 y Bậc 2: x’ = c0 + c1x + c2y + c3xy + c4x2 + c5y2, (2) y’ = d0 + d1x + d2y + d3xy + d4x2 + d5y2, Bậc 3: x’ = g0 + g1x + g2y + g3xy + g4x2 + g5y2 + g6xy2 + g7xy2 + g8x3+ g9y3 (3) y’=h0+h1x+ h2y + h3xy + h4x2 + h5y2 + h6xy2 + h7xy2 + h8x3+h9y3 Trong đó, x’, y’ là toạ độ của ảnh chưa nắn, x,y là toạ độ của ảnh nắn. a0... h9 là các hệ số của phương trình chuyển đổi. Tóm lại: Trong khi một ảnh có thể bị thay đổi với nhiều cách khác nhau. Nắn chỉnh có thể hiều là ta đi thay đổi các điểm ảnh bằng việc ánh xạ từ điểm ảnh này tới điểm ảnh khác mà không thay đổi màu sắc. Điều này có thể dựa vào các thuật toán có sẵn như thuật toán nội suy, thuật toán tô màu,..bản thân các pixel ảnh có thể được thay đổi bằng việc ánh xạ. Nếu các chức năng là song ánh thì có thể thay đổi ngược lại với các ảnh nguồn. Các phương pháp nắn chỉnh cho thấy: Hình ảnh bị bóp méo có thể mô phỏng bằng quang học Hình ảnh có thể được xem nếu chiếu lên một bề mặt cong hoặc được nhân đôi (điều này thường được thấy rõ khi kéo giãn hình ảnh) . Hình ảnh có thể được phân chia thành từng đa giác và đa giác méo. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 54 Hình ảnh có thể được sử dụng phương pháp nội suy. Có ít nhất hai cách được sử dụng để tạo ra một hình ảnh bằng cách lựa chọn bất kỳ một phương pháp bóp méo nào: - Cách 1: Phương pháp chuyển tiếp (lập bản đồ): một bản đồ có thể có được từ cách chuyển tiếp các hình ảnh từ vệ tinh sau đó thực hiện nắn chỉnh và nội suy. - Cách 2: Ước tính loại cong vênh diễn ra giữa những hình ảnh liên tiếp. Có thể sử dụng các kỹ thuật dự đoán luồng quang học. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 55 Chương 3 ỨNG DỤNG NẮN CHỈNH BIẾN DẠNG Như đã nói trong chương 2. Các phương pháp nắn chỉnh đều cho ra hình ảnh sau nắn chỉnh có chất lượng khá tốt. Ứng với mỗi điểm của ảnh gốc đều tìm được vị trí tương ứng của nó bên ảnh đích. Sau khi điều này được thực hiện với tất cả các điểm cần xét ở ảnh gốc thì ảnh đích thu được có hình hài thoả mãn điều kiện đầu bài yêu cầu nhưng có nhiều điểm trong ảnh đích chưa có điểm nào từ ảnh gốc ánh xạ sang nên các điểm đó vẫn mang mầu nền. Những điểm ở ảnh đích mà không có điểm ảnh ở ảnh gốc ánh xạ sang gọi là những “lỗ hổng”. vì vậy chúng ta phải sử dụng thêm thuật toán tô màu và thuật toán nội suy để nhằm lấp đi những khuyết điểm sau khi nắn chỉnh. Vậy hình ảnh sau khi nắn chỉnh sẽ có hình dạng như ban đầu nhờ vào các phương pháp nắn chỉnh như phương pháp bình phương bé nhất,…Sau đây chúng ta đi vào ứng dụng cụ thể của một vài phương pháp nắn chỉnh ảnh nói chung và phương pháp bình phương bé nhất nói riêng. Đó là đi nắn chỉnh một cuốn sách. 3.1. Nắn chỉnh một cuốn sách Đối tượng cần nắn chỉnh là ảnh của một cuốn sách (đối tượng có dạng hình hộp) được chụp vào sao cho nhìn thấy được ba mặt của nó (dưới dạng hình 3D). Công việc cần nắn chỉnh là: - Nắn chỉnh các mặt của cuốn sách (vật hình hộp) sao cho sau khi nắn chỉnh các mặt của cuốn sách không bị cong (có dạng hình bình hành), các mép không bị nhăn và hình ảnh của các mặt nhìn rõ hơn. - Sau khi nắn chỉnh các mặt, áp dụng các kỹ thuật làm đẹp ảnh để thu được ảnh có mầu sắc, đường nét rõ và đẹp hơn. Yêu cầu đặt ra là: Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 56 Ta mong muốn các mặt của sách sau khi nắn chỉnh sẽ là các hình bình hành. Vì thế phải có một mẫu ảnh làm khung để biến đổi ảnh ban đầu về hình dạng như mẫu đã chọn. Mẫu ảnh làm khung phải thỏa mãn: Là khung của một hình hộp có hình dạng gần với hình dạng của cuốn sách. Được thu nhận vào ở tư thế nhìn thấy ba mặt tương ứng với ba mặt của cuốn sách. Có kích thước không sai khác nhiều so với kích thước của cuốn sách. Ba mặt của cuốn sách (hình hộp) chụp vào sẽ được nắn chỉnh thành ba mặt tương ứng của một hình hộp có kích thước tương tự. Như vậy, vấn đề đặt ra là phải xác định được các cặp mặt tương đương giữa sách và hình hộp, công việc này dựa vào thuật toán xác định các điểm đặc trưng chúng ta đã trình bày ở chương 2 của luận văn. Cũng giống như việc xác định các cặp điểm đặc trưng, ta chưa có một phương pháp hiệu quả nào để cho phép tự động nhận biết các mặt của cuốn sách. Vì thế không còn phương pháp nào khác là nhờ sự trợ giúp của con người một cách thủ công. Việc xác định các mặt đồng nghĩa với việc chia ảnh thành các vùng đa giác mà các đỉnh của đa giác là các điểm đặc trưng. Trong bài toán cụ thể này ta phải xác định được ba đa giác tương ứng với ba mặt của cuốn sách. Hình 3.1 Ảnh gốc và mô hình khung mẫu Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 57 Thực tế người ta cũng có thể nắn chỉnh được mà không cần bước xác định các mặt của nó. Vì trên cơ sở các điểm đặc trưng đã chọn, dùng phương pháp nội suy dựa trên lưới tam giác và tập các điểm đặc trưng là tìm ra ngay được công thức biến đổi đối với mỗi điểm ảnh cần nội suy (các phương pháp nội suy đã trình bày ở chương 2 của luận văn). Tuy nhiên, nếu làm như vậy đối với bài toán cụ thể này thì sẽ gặp phải một số khó khăn đó là khối lượng tính toán sẽ tăng lên, việc nội suy thiếu chính xác do hiệu quả nắn chỉnh không cao. Vì thế khi nắn chỉnh cuốn sách trong luận văn đã trình bày rất rõ việc tìm các mặt đặc trưng dựa vào thuật toán tìm điểm đặc trưng. Sau khi nắn chỉnh, hình ảnh của cuốn sách sẽ có hình dạng giống như khung mẫu, các khuyết điểm như cong vênh, lỗ hổng sẽ không còn. Để cuốn sách trở nên đẹp và rõ nét hơn có thể làm trơn ảnh bằng phương pháp nội suy, khi đó ta thu được hình ảnh cuốn sách như mong muốn. Hình 3.2 Xác định các điểm đặc trưng trên ảnh và khung mẫu Hình 3.3 Ảnh gốc và ảnh được nắn chỉnh Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 58 3.2. Giới thiệu chương trình 3.2.1. Mô tả các chức năng trong chương trình 3.2.1.1. Chức năng quản lý các Style (ảnh mẫu) Chức năng này trong phần mềm cài đặt đã đưa ra một số khung ảnh làm mẫu nắn chỉnh. Người dùng phải chọn khung làm mẫu cho phù hợp mới có thể thực hiện nắn chỉnh một cách chính xác. Các bước thực hiện như sau: B1: Mở một ảnh làm mẫu đã có sẵn. B2: Tạo các điểm đặc trưng để định nghĩa khung đối tượng bằng việc tạo các điểm đặc trưng tương ứng trên khung ảnh làm mẫu . B3: Định nghĩa các mặt nhìn thấy của đối tượng trong ảnh. Ở đây phải định nghĩa 3 mặt của cuốn sách hoặc hình hộp. Mỗi mặt được xác định bởi bốn điểm đặc trưng tương ứng với bốn góc của mặt. B4: Lưu mẫu vừa định nghĩa: lưu ảnh mẫu cùng với các điểm đặc trưng. Các Style được lưu có phần mở rộng là sty. Vì vậy mà ta có chức năng quản lý style. 3.2.1.2. Chức năng quản lý các điểm đặc trưng Như đã nói đến ở chương 2. Để thực hiện nắn chỉnh được ảnh gốc, thì ta phải tìm ra được các điểm đặc trưng. Các điểm đặc trưng ảnh hưởng trực tiếp đến chất lượng nắn chỉnh. Vì vậy việc quản lý các điểm đặc trưng là cần thiết. B1: Thêm các điểm đặc trưng vào ảnh cần nắn chỉnh (ảnh gốc). Hình 3.4 Ảnh nắn chỉnh và được làm trơn Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 59 B2: Xoá một điểm đặc trưng bất kỳ trong ảnh cần nắn chỉnh. B3: Xoá tất cả các điểm đặc trưng. B4: Thay đổi toạ độ điểm đặc trưng bằng cách kéo thả chuột hoặc điều khiển bàn phím. B5: Thay đổi mầu điểm đặc trưng để nó không bị lấp bởi mầu nền. Khi đã thực hiện đủ các bước như trên, phần mềm cho phép thực hiện nắn chỉnh một cách tự động dựa vào thuật toán xác đinh điểm đặc trưng, và thực hiện nắn chỉnh. 3.2.1.3. Chức năng nâng cao chất lượng ảnh Nâng cao chất lượng ảnh là chức năng phụ trong chương trình, chức năng này cho phép tạo ra ảnh sau nắn chỉnh có chất lượng tốt. Trong chương 2 ta đã giới thiệu phương pháp nội suy nhằm nâng cao chất lượng ảnh sau khi nắn chỉnh. Như đã biết sau nắn chỉnh, một số điểm ảnh khi ánh xạ không ánh xạ được hết sang ảnh đích, nên trong ảnh thu được có hiện tượng vỡ hạt gây ra các lỗ hổng. Nội suy sẽ giúp lấp các lỗ hổng, làm cho ảnh đẹp hơn, mịn hơn. Trong phần mềm ta đã chỉ ra 2 phương pháp nội suy đó là nội suy tam giác và nội suy song tuyến tính, nhưng trong phần mềm do hạn chế về thời gian và hạn chế về mặt kiến thức, tác giả mới chỉ đưa ra được phương pháp nội suy tam giác có sử dụng hệ tọa độ Barycentric. 3.2.1.4. Chức năng lưu file ảnh sau khi thực hiện nắn chỉnh Chức năng này cho phép ta ghi trạng thái phiên làm việc ra đĩa hoặc tải thông tin từ đĩa lên. Các thông tin này bao gồm: ảnh mẫu (style) và các ảnh cần nắn chỉnh, tập các điểm đặc trưng và một số thông tin về tuỳ chọn. Các file làm việc có phần mở rộng là wrk. Các chức năng gồm có: B1: Tạo một phiên làm việc mới bằng cách mở một ảnh gốc và mở chọn một Style đã được định nghĩa trước đó. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 60 B2: Ghi lại trạng thái làm việc lên file cũ. B3: Sao chép trạng thái phiên làm việc ra một file khác. B4: Mở file. Trong chức năng lưu file ảnh người dùng có thể tự do đặt tên file, và đặt đường dẫn mà không cần phải chỉ rõ. Ngài ra trong chương tình cài đặt còn nhiều chức năng khác, nhưng chức năng chủ yếu trong chương trình vẫn là chức năng quả lý style và chức năng quản lý các điểm đặc trưng. 3.2.2. Giao diện chính của chương trình - Khởi động chương trình Microsoft Visual Basic 6.0 - Chạy file chương trình ứng dụng nắn chỉnh xuất hiện giao diện Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 61 - Mở ảnh nguồn (ảnh cần nắn chỉnh): C:\Ungdung_nanchinhanh\work\ - Mở form khung mẫu để nắn chỉnh: C:\Ungdung_nanchinhanh\work\ Tệp dữ liệu ảnh gốc Tệp khung form mẫu Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 62 - Giao diện trước khi nắn chỉnh - Giao diện khi thực hiện nắn chỉnh Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 63 3.2.3. Kết quả của một số chức năng trong chương trình Hình 3.5 Ảnh gốc và ảnh được nắn chỉnh Hình 3.6 Ảnh nắn chỉnh và được làm trơn Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 64 KẾT LUẬN Một vài năm trở lại đây công nghệ thông tin cùng với sự phát triển của nó đã kéo theo sự phát triển của hàng loạt các ngành khoa học trong nhiều lĩnh vực khác nhau như sinh học, kinh tế, viễn thông, quân sự, giải trí… có những bước tiến nhanh hơn so với đúng quy trình mà đáng ra phải trải qua. Trong sự phát triển chung đó, xử lý ảnh cũng là ngành khoa học phát triển với tốc độ vượt bậc. Người ta đã tìm ra nhiều kỹ thuật xử lý cho phép thay đổi, quay ảnh, phóng to, thu nhỏ… mà hình ảnh vẫn đẹp và trông rất tự nhiên. Trong thực tế đối tượng khi được thu nhận bởi các thiết bị điện tử và quang học thường không thể hiện được bản chất thực (nguyên thủy) của mình hay nói cách khác là bị biến dạng đi. Vì thế đề tài thực hiện miêu tả quá trình nắn chỉnh hình học của một đối tượng vật thể được thực hiện. Trong đề tài thực hiện việc hiệu chỉnh hình ảnh ba chiều bị biến dạng khi thu nhận, tức là thực hiện nắn chỉnh hình học các loại ảnh 3 chiều, nhằm đưa các ảnh này về trạng thái ban đầu, tức là trạng thái khi chưa bị biến dạng. Tuy nhiên do hạn chế về mặt tìm tài liệu, hạn chế về mặt kiến thức của bản thân và hạn chế về thời gian. Nên trong luận văn em mới chỉ thực hiện đưa được các ảnh mẫu, các khung mẫu đã có sẵn vào phần mềm, chứ phần mềm không tự tạo ra được các khung cần nắn chỉnh. Kỹ thuật mà đề tài đề xuất gồm 2 pha chính: Nắn chỉnh hình dạng. Biểu diễn bề mặt. Các kỹ thuật đề xuất đã được cài đặt trong phần mềm BookMorphing. Hướng phát triển của đề tài: Do trong đề tài cong nhiều mặt hạn chế nên đề tài còn nhiều hướng mở như: Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 65 Tìm hiểu cách để quản lý style (tạo các style) ngay trong phần mềm mà không phải thực hiện thủ công. Tìm hiểu phương pháp để xử lý hàng loạt ảnh đầu vào cùng lúc với một mẫu chọn trước dựa trên cơ sở sự tương đương về hình dạng của các ảnh đầu vào. Tìm hiểu phương pháp để mở rộng phạm vi các đối tượng được áp dụng. Điều này là có thể thực hiện được vì như đã phân tích ở trên, một đối tượng bất kỳ đều có hai thành phần: khung và bề mặt. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 66 TÀI LIỆU THAM KHẢO [1] Lương Mạnh Bá, Nguyễn Thanh Thủy, “Nhập môn xử lý ảnh số”, NXB khoa học và kỹ thuật. [2] Lê Thị Thủy (2004), "Nắn chỉnh hình học và ứng dụng trong sách thương mại điện tử", Khóa luận tốt nghiệp đại học - Trường ĐH Hồng Đức Thanh Hóa, 2004. [3] Lương Chi Mai, Huỳnh Thị Thanh Bình, “Nhập môn đồ họa máy tính”, NXB khoa học và kỹ thuật. [4] Đặng Văn Đức, “Hệ thống thông tin địa lý”, NXB KH&KT, 2001. [5] Greg Hunetneys (2003), “Image Warping, Compositing and Morphing”, University of Veginia, CS 445. [6] Hermann Birkholz, Dietmar Jackel, “Image Warping with Feature Curves”, Departmentof Computer, University of Rostock, Germany. [7] Michael Hoch, Georg Fleischmann, Bernd Girod (1994), “Modeling and Animation of Facial Expressions based on B-Splines”, Dept. Computer Science/ Audio-Visual Media, University Erlangen-Nuremberg, Germany. [8] T. Beier, B. Costa, L. Darsa, L. Velho, “Warping and Morphing of Graphical Objects”, SIGGRAPH, 1997. [9] [10] Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 67 MỤC LỤC MỞ ĐẦU ...................................................................................................... 1 Chương 1. KHÁI QUÁT VỀ XỬ LÝ VÀ NẮN CHỈNH ẢNH.................. 3 1.1. Khái quát về xử lý ảnh ............................................................................ 3 1.2. Một số khái niệm cơ bản trong xử lý ảnh ................................................ 4 1.2.1. Ảnh số ............................................................................................. 4 1.2.2. Điểm ảnh ......................................................................................... 4 1.2.3. Mức xám (gray level) ....................................................................... 4 1.2.4. Xử lý ảnh số là gì và tại sao chúng ta cần phải xử lý ảnh số ............. 5 1.3. Các vấn đề chung liên quan đến xử lý ảnh số ......................................... 6 1.3.1. Xử lý ảnh mức thấp ......................................................................... 6 1.3.2. Những khó khăn khi xử lý ảnh số .................................................... 7 1.4. Ứng dụng của hệ thống xử lý ảnh ........................................................... 8 1.5. Quá trình xử lý ảnh số .......................................................................... 10 1.6. Các thành phần cơ bản của hệ thống xử lý ảnh ..................................... 14 1.7. Nắn chỉnh biến dạng ............................................................................. 16 1.7.1. Khái niệm nắn chỉnh biến dạng ..................................................... 16 1.7.2. Một số kỹ thuật xử lý ảnh sử dụng trong nắn chỉnh biến dạng ....... 17 1.7.3. Các điểm đặc trưng để nắn chỉnh ................................................... 19 1.8. Phép toán hình thái (Morphology) trong nắn chỉnh biến dạng .............. 19 Chương 2. MỘT SỐ KỸ THUẬT NẮN CHỈNH BIẾN DẠNG HÌNH HỌC .... 27 2.1. Nắn chỉnh trên cơ sở phân vùng ảnh ..................................................... 27 2.2. Nắn chỉnh trên cơ sở tập các điểm đặc trưng ........................................ 31 2.3. Kỹ thuật nắn chỉnh dựa trên cơ sở vector .............................................. 41 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 68 2.4. Kỹ thuật nắn chỉnh dựa trên khung lưới ................................................ 45 2.4.1. Xây dựng hàm biến đổi ................................................................. 45 2.4.2. Nhận xét kết quả ........................................................................... 47 2.5. Xây dựng khung nắn chỉnh ................................................................... 47 2.6. Các mô hình nắn chỉnh sử dụng trong phần mềm IrasC ........................ 48 2.6.1. Các mô hình nắn chỉnh trong IrasC ............................................... 48 2.6.2. Quá trình nắn chỉnh ảnh ................................................................ 50 Chương 3. ỨNG DỤNG NẮN CHỈNH BIẾN DẠNG .............................. 55 3.1. Nắn chỉnh một cuốn sách ...................................................................... 55 3.2. Giới thiệu chương trình ........................................................................ 58 3.2.1. Mô tả các chức năng trong chương trình ....................................... 58 3.2.1.1. Chức năng quản lý các Style (ảnh mẫu) .............................. 58 3.2.1.2. Chức năng quản lý các điểm đặc trưng ................................ 58 3.2.1.3. Chức năng nâng cao chất lượng ảnh .................................... 59 3.2.1.4. Chức năng lưu file ảnh sau khi thực hiện nắn chỉnh ............ 59 3.2.2. Giao diện chính của chương trình .................................................. 60 3.2.3. Kết quả của một số chức năng trong chương trình ......................... 63 KẾT LUẬN ................................................................................................ 64 TÀI LIỆU THAM KHẢO .......................................................................... 66 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 69 DANH MỤC CÁC HÌNH Hình 1.1: Mô phỏng quá trình biến đổi hình học ......................................... 9 Hình 1.2: Các thành phần chính của hệ thống xử lý ảnh ............................ 14 Hình 1.3: Ví dụ về nắn chỉnh biến dạng ..................................................... 17 Hình 1.4: Phép co và giãn ảnh ................................................................... 21 Hình 1.5: Minh họa phép co và giãn ảnh ................................................... 22 Hình 1.6: Kết quả phép co và giãn ảnh ...................................................... 23 Hình 1.7: Kết quả phép mở và đóng ảnh .................................................... 23 Hình 1.8: Sử dụng phép toán HitAndMiss để tìm góc lồi của một ảnh ....... 25 Hình 1.9: Tìm kiếm xương ảnh .................................................................. 25 Hình 1.10: Ví dụ về phép toán làm gầy ảnh ................................................ 26 Hình 2.1: Hệ toạ độ Barycentric ................................................................ 29 Hình 2.2: Tìm tất cả các điểm thuộc tam giác theo dòng quét .................... 30 Hình 2.3: Nội suy tam giác ........................................................................ 31 Hình 2.4: Phép nội suy Bilinear ................................................................. 31 Hình 2.5: Đồ thị biểu diễn giá trị ước lượng Y .......................................... 33 Hình 2.6: Đồ thị biểu diễn giá trị chênh lệch ei .......................................... 33 Hình 2.7: Đồ thị biểu diễn giá trị thực Yi ................................................... 34 Hình 2.8: Đồ thị biểu diễn tổng bình phương tất cả các điểm sai lệch ........ 35 Hình 2.9: Đồ thị biểu diễn sự biến động của các biến ................................ 36 Hình 2.10: Ảnh gốc và ảnh bị nắn chỉnh ...................................................... 39 Hình 2.11: Nắn chỉnh bằng cách biến đổi tọa độ các điểm ảnh .................... 39 Hình 2.12: Mô tả sự biến đổi của tọa độ các điểm ảnh ................................. 40 Hình 2.13: Mô tả kết quả thuật toán biến đổi ............................................... 40 Hình 2.14: Cặp đoạn thẳng đơn ................................................................... 42 Hình 2.15: Một số kết quả minh họa của thuật toán ..................................... 42 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 70 Hình 2.16: Nhiều cặp vector ........................................................................ 44 Hình 2.17: Kết quả của thuật toán................................................................ 44 Hình 2.18: Tọa độ ảnh thay đổi khi bóp méo ............................................... 45 Hình 2.19: Khung lưới B-Spline của hai ảnh ............................................... 46 Hình 2.20: Xác định các điểm tương đương cho mỗi dòng quét .................. 46 Hình 2.21: Cách xác định tọa độ mới ........................................................... 47 Hình 3.1: Ảnh gốc và mô hình khung mẫu ................................................ 56 Hình 3.2: Xác định các điểm đặc trưng trên ảnh và khung mẫu ................. 57 Hình 3.3: Ảnh gốc và ảnh được nắn chỉnh ................................................. 57 Hình 3.4: Ảnh nắn chỉnh và được làm trơn ................................................ 58 Hình 3.5: Ảnh gốc và ảnh được nắn chỉnh ................................................. 63 Hình 3.6: Ảnh nắn chỉnh và được làm trơn ................................................ 63