Một giải pháp phát hiện và bám sát tự động đối tượng chuyển động trong ảnh hồng ngoại

Nghiên cứu khoa học công nghệ Tạp chí Nghiên cứu KH&CN Quân sự, Số 29, 02-2014 25 MộT GIảI PHáP PHáT HIệN Và BáM SáT Tự ĐộNG ĐốI TƯợNG CHUYểN ĐộNG TRONG ảNH HồNG NGOạI Phạm trung dũng*, NGUYễN DANH HàO*, lê khánh thành** Tóm tắt: Bài báo đề xuất một giải pháp tự động phát hiện và bám đối tượng chuyển động trong ảnh hồng ngoại, sử dụng đồng thời phương pháp phân ngưỡng tự động và bộ lọc Kalman. Các kết quả thực nghiệm trên camera ảnh nhiệt đã chứng tỏ giải pháp đề xuất làm việc tốt trong các điều kiện nền phức tạp. Từ khóa: Phát hiện, Bám sát, ảnh hồng ngoại, Bộ lọc Kalman. 1. ĐặT VấN Đề Phát hiện và bám sát đối tượng chuyển động là một nhiệm vụ quan trọng của các hệ thống giám sát, điều khiển. Bài toán phát hiện và bám sát đối tượng chuyển động trong ảnh đã và đang được ứng dụng rộng rãi trong dân sự và quân sự. Đây cũng là bài toán thu hút được sự quan tâm lớn của các nhà nghiên cứu trong và ngoài nước. Nhiều kết quả nghiên cứu đã được công bố. Tuy nhiên, các nghiên cứu tập trung chủ yếu giải bài toán với ảnh quang học, còn với ảnh nhiệt, đặc biệt với các ứng dụng quân sự, thì còn ít được công bố công khai [1,2,3,4]. Với ưu điểm về tính thụ động trong thu tín hiệu cùng với khả năng hoạt động tốt cả ngày và đêm, ngay cả trong các điều kiện thời tiết xấu thì việc ứng dụng ảnh nhiệt trong các hệ thống quan sát, điều khiển vũ khí là một xu hướng tất yếu. Trên thực tế, một số hệ thống vũ khí đã thực hiện nhiệm vụ phát hiện và bám sát trên cơ sở ảnh thu được từ camera ảnh nhiệt, đã cho kết quả tốt. Mặc dù vậy, thuật toán thực hiện trong các hệ thống vũ khí đó được giữ bản quyền hoặc không được công khai. Bài báo này đề xuất một giải pháp phát hiện và bám sát mục tiêu chuyển động nhờ sử dụng camera ảnh nhiệt, gồm hai bước chính: đầu tiên, ảnh hồng ngoại thu từ camera ảnh nhiệt được xử lý sơ bộ rồi đưa đến khối phát hiện. Dựa trên thuật toán ngưỡng tự động, đối tượng chuyển động được phát hiện và xác định tọa độ. Quá trình bám sát tiếp theo sẽ được thực hiện trên cơ sở ứng dụng bộ lọc Kalman [5]. Đồng thời, hệ thống cũng dự đoán vị trí tiếp theo của đối tượng để hạn chế vùng quan tâm cần xử lý (ROI) nhằm tránh bắt nhầm và giảm thời gian tính toán. 2. Phát hiện và bám sát đối đối tượng Sơ đồ một hệ thống phát hiện và bám sát đối đối tượng chuyển động như vậy có thể được biểu diễn trên hình 1. Hoạt động của hệ thống có thể được mô tả ngắn gọn như sau: Chuỗi ảnh thu được từ camera ảnh nhiệt làm việc ở dải sóng (3 - 5)àm, được rời rạc và lượng tử hóa nhờ các bộ biến đổi tương tự - số. Đầu ra là các ảnh số được xử lý sơ bộ trong khối tiền xử lý. Trong khối phát hiện, đối tượng được phát hiện và xác định tọa độ rồi đưa sang khối bám sát. Tại đây, bộ lọc Kalman làm nhiệm vụ dự đoán vị trí tiếp theo của đối tượng để hạn chế vùng quan tâm nhằm tránh bắt Ra đa P. T. Dũng, N. D. Hào, L.K.Thành “Một giải pháp phát hiện ảnh hồng ngoại.” 26 nhầm và giảm thời gian tính toán. Đồng thời, hiệu chỉnh tọa độ tức thời của đối tượng để phục vụ giai đoạn xử lý tiếp theo. Hình 1. Sơ đồ tổng quát của hệ thống. Sau đây chúng tôi sẽ mô tả chi tiết hơn các khâu chính của hệ thống. 2.1. Tiền xử lý Giai đoạn này thực hiện các thuật toán chuẩn hóa ảnh theo kích cỡ, cải thiện chất lượng và xác định vùng quan tâm trên ảnh. Ngoài ra, chuỗi ảnh thu được từ camera cần được phân ngưỡng sơ bộ để loại bỏ nền ảnh, đó là các điểm ảnh có mức xám nhỏ hơn nhiều so với mức xám đối tượng. Ngưỡng sơ bộ này thường xác định bằng thực nghiệm tại thực địa. Mặt khác, để giảm thời gian tính toán và tránh bắt nhầm đối tượng khác trong ảnh, giai đoạn này cũng xác định vùng quan tâm trên ảnh. Vùng quan tâm trên ảnh có kích thước phụ thuộc vào vận tốc và cự ly của đối tượng. Để xác định vùng quan tâm, tác giả sử dụng khái niệm về ảnh tích phân (Integral Images) [6]. Điều này cho phép xác định vùng quan tâm một cách hiệu quả, trong khi tốc độ tính toán nhanh, phù hợp với các ứng dụng xử lý thời gian thực. Dựa theo cự ly đối tượng, diện tích vùng quan tâm được xác định cụ thể như sau: - Cự ly đối tượng Rtđ 7Km: SROI = 1/3*1/4,5 = 1/13,5 (diện tích toàn ảnh) - Cự ly đối tượng Rtđ ≥ 7Km: SROI = 1/2*1/3 = 1/6 (diện tích toàn ảnh) 2.2. Khối phát hiện đối tượng chuyển động Do chuyển động của camera bám theo đối tượng cùng với chuyển động của nền,... ảnh hồng ngoại này thường bị nhòe và kém sắc nét. Đây là đặc điểm cần lưu ý khi giải bài toán phát hiện đối tượng chuyển động trong ảnh hồng ngoại. Để phát hiện đối tượng chuyển động, tác giả đề xuất sử dụng phương pháp phân đoạn ảnh theo ngưỡng tự động. Thuật toán xác định ngưỡng tự động mô tả như hình 2. - Thuật toán phân ngưỡng tự động Để xác định ngưỡng của ảnh, trước hết cần tính giản đồ mức xám của ảnh. Giản đồ mức xám của một ảnh thể hiện thông tin phân bố cường độ các điểm ảnh. Trong Khối bỏm sỏt Khối tiền xử lý Điều khiển bệ quay Camera Phỏt hiện đối tượng Xỏc định tọa độ (x,y; Vx, Vy ) Khối phỏt hiện Nghiên cứu khoa học công nghệ Tạp chí Nghiên cứu KH&CN Quân sự, Số 29, 02-2014 27 nghiên cứu này, chỉ các ảnh đầu tiên mới cần tính giản đồ mức xám trên toàn ảnh. Khi đã xác định được vùng chứa đối tượng chuyển động trong ảnh - vùng quan tâm phải tính giản đồ mức xám và tách ngưỡng trong vùng này. Giản đồ mức xám của ảnh hồng ngoại thu được từ phương tiện bay thường được thể hiện qua 3 vùng. Ví dụ, giản đồ mức xám của một ảnh hồng ngoại được mô tả trên Hình 3. Vùng đầu tiên là nền đã được loại bỏ trong giai đoạn tiền xử lý do có các giá trị mức xám nhỏ. Vùng thứ hai là mây hoặc các điểm sáng trên nền trời. Vùng thứ ba là đối tượng. Đối tượng thường có kích thước rất nhỏ nhưng có cường độ lớn nhất. Vấn đề đặt ra là tìm được ngưỡng phát hiện (T) để loại bỏ vùng nền còn lại và mây, thu được đối tượng chuyển động trong ảnh. Hình 2. Sơ đồ thuật toán xác định ngưỡng. Hình 3. Giản đồ mức xám thực tế của ảnh. Trên giản đồ mức xám của ảnh (hoặc của vùng ROI), giá trị ngưỡng cần xác định nằm giữa mục tiêu và mây. Thực tế cho thấy, giá trị ngưỡng này luôn thay đổi tùy thuộc vào chuyển động của đối tượng, nền, điều kiện khí hậu. Do đó, ngưỡng để tách mục tiêu và nền ở đây cần được xác định một cách tự động. Từ giản đồ mức xám, xác định vùng chứa các điểm có giá trị mức xám nhỏ nhất. Điểm tiếp giáp Tính giản đồ xám Cân bằng giản đồ xám Chọn điểm cực tiểu lớn nhất T ảnh đầu vào (hoặc ROI) Ra đa P. T. Dũng, N. D. Hào, L.K.Thành “Một giải pháp phát hiện ảnh hồng ngoại.” 28 giữa vùng có mức xám nhỏ nhất và vùng có mức xám lớn nhất sẽ được xác định là ngưỡng cần tìm. Sau khi tách nền theo ngưỡng vừa xác định, các cụm điểm ảnh nhỏ còn sót lại được loại bỏ bằng một ngưỡng diện tích. - Xác định tọa độ đối tượng: Vị trí trọng tâm đối tượng (xtt, ytt) được xác định theo công thức sau: (1) Trong đó, là tọa độ của các điểm ảnh của đối tượng. là lần lượt cường độ sáng của điểm ảnh tại vị trí ( ) và cường độ trung bình của vùng quan tâm; k là số điểm ảnh của đối tượng. Trong ảnh hồng ngoại thu được từ đối tượng chuyển động, các điểm ảnh có cường độ mạnh nhất nằm tại động cơ, mũi, cánh và phần khí xả [7]. Chúng đều có đặc điểm chung là đối xứng qua trục dọc của đối tượng. Mặt khác, các điểm ảnh ở vùng biên của đối tượng thường mờ hơn là vùng trung tâm. Vì vậy, phương pháp lấy trọng tâm trên có tính bất biến với phép quay, tỷ lệ. 2.3. Bám sát đối tượng Trong khối bám sát, bộ lọc Kalman được sử dụng để dự đoán và ước lượng tối ưu trạng thái của đối tượng. Bộ lọc Kalman là bộ đánh giá đệ quy, đảm bảo tối ưu khi hệ là tuyến tính và nhiễu có phân phối Gauss [5]. Để đánh giá trạng thái của quá trình điều khiển gián đoạn theo thời gian, phương trình vi phân tuyến tính của bộ lọc Kalman được mô tả như sau: (2) Và kết quả đo đạc được tính theo: (3) Trong đó wk và vk là hai vector biến ngẫu nhiên đại diện cho nhiễu hệ thống và nhiễu đo đạc. Hai biến ngẫu nhiên này độc lập và được giả sử là tuân theo phân bố Gauss với trung bình bằng 0 và ma trận hiệp phương sai lần lượt là Q và với w ~ N(0,Q), v ~ N(0,R). Nếu vector trạng thái x có kích thước là n, thì ma trận A sẽ có kích thước là [n x n]. B[n x l] là ma trận phụ thuộc vào vector điều khiển u với . Vector đo z có kích thước là [1 x m] nên ma trận H sẽ là [m x n]. Giả sử và lần lượt là ước lượng tiên nghiệm và hậu nghiệm của giá trị x tại thời điểm k. Lưu đồ thuật toán thực hiện bộ lọc Kalman được biểu diễn như sau (hình 4): Nghiên cứu khoa học công nghệ Tạp chí Nghiên cứu KH&CN Quân sự, Số 29, 02-2014 29 Hình 4. Lưu đồ thuật toán thực hiện bộ lọc Kalman. Các kết quả thực nghiệm Sử dụng thư viện mã nguồn mở OpenCV [8] cùng với các dữ liệu thu được ngoài thực địa, giải pháp được kiểm định trong 3 trường hợp điển hình với các bộ dữ liệu khác nhau để đánh giá kết quả phát hiện và bám sát. Dự đoán Ước lượng T.T tiên nghiệm Ước lượng hiệp biến S.S tiên nghiệm Tính hệ số khuếch đại Kalman Kk Hiệu chỉnh Hiệu chỉnh T.T hậu nghiệm Tính hiệp biến S.S hậu nghiệm Khởi tạo giá trị ban đầu P0, X0 Khởi tạo giá trị ban đầu Ra đa P. T. Dũng, N. D. Hào, L.K.Thành “Một giải pháp phát hiện ảnh hồng ngoại.” 30 Tình huống khi trời không có mây và không có vật lạ chuyển động Đây là tình huống lý tưởng nhất. Đối tượng chuyển động trên nền trời quang. Giải pháp được thử nghiệm trong 3 trường hợp: a, Mục tiêu ở cự ly gần, Rđt 7Km; (Rđt là cự ly từ camera đến đối tượng) b, Mục tiêu ở cự ly trung bình, Rđt = [7 – 12]Km. c, Đối tượng ở cự ly xa, Rđt 12Km. Hình 5 mô tả kết quả phát hiện và bám sát trong 3 trường hợp trên. a, Rđt 7Km b, Rđt = [7-12]Km c, Rđt 12Km Hình 5. Phát hiện và bám sát đối tượng khi trời không có mây và không có vật lạ chuyển động. Kết quả khảo sát cho thấy, đối tượng được phát hiện và bám sát chính xác. Tình huống khi có vật lạ chuyển động trong ảnh. Thuật toán đề xuất được kiểm tra trong 3 trường hợp thực tế: a, Khi có đối tượng lạ như chim bay ngang qua vùng quan sát. b, Khi có đạn vạch đường bắn ngang qua vùng quan sát. c, Khi có nhóm đối tượng lạ như đàn chim bay ngang qua vùng quan sát. Trên hình 6 mô tả kết quả phát hiện và bám sát khi có vật lạ chuyển động trong ảnh. Nghiên cứu khoa học công nghệ Tạp chí Nghiên cứu KH&CN Quân sự, Số 29, 02-2014 31 a, Chim bay ngang qua vùng quan sát b, Đạn vạch đường bay ngang qua vùng quan sát c, Một nhóm đối tượng bay ngang qua vùng quan sát Hình 6. Phát hiện và bám sát đối tượng khi có vật lạ chuyển động trong vùng quan sát. Kết quả khảo sát cho thấy, đối tượng được phát hiện và bám sát chính xác. Tình huống khi có mây và đối tượng bị che khuất. Đây là trường hợp phổ biến nhất trong thực tế. Trong điều kiện khí hậu Việt Nam thường xuyên xuất hiện mây trên bầu trời. Vì vậy, giải pháp được thử nghiệm với 3 bộ dữ liệu khác nhau ứng với đối tượng ở 3 cự ly khác nhau: a, Mục tiêu ở cự ly gần, Rđt 7Km b, Mục tiêu ở cự ly trung bình, Rđt = [7 – 12]Km c, Đối tượng ở cự ly xa, Rđt 12Km Kết quả phát hiện và bám sát khi có mây và đối tượng bị che khuất được minh họa trên hình 7. Kết quả khảo sát cho thấy, trong một số tình huống, hệ thống không phát hiện và bám sát chính xác, nhưng tỷ lệ mất bám là nhỏ. Tình huống mất bám xảy ra khi xuất hiện đối tượng khác (ví dụ như mây) có cường độ và diện tích xấp xỉ mục tiêu trong vùng quan sát. Do camera chuyển động theo mục tiêu nên sự mất bám chỉ xảy ra rất ngắn. Các kết quả khảo sát được tổng hợp như trong bảng 1. Ra đa P. T. Dũng, N. D. Hào, L.K.Thành “Một giải pháp phát hiện ảnh hồng ngoại.” 32 Rđt 7Km Rđt = [7 – 12]Km. Rđt 12Km Hình 7. Phát hiện và bám sát đối tượng khi có mây. Bảng 1. Các kết quả khảo sát. Thử nghiệm Số khung ảnh bám sát nhầm Tỷ lệ mất bám (%) Trường hợp Tổng số khung ảnh Trời quang; Rđt 7Km 480 0 0 Trời quang; Rđt = [7 –12]Km 550 0 0 Trời quang; Rđt 12Km 420 0 0 Khi có chim bay ngang vùng quan sát 160 0 0 Đạn vạch đường bay ngang vùng quan sát 120 0 0 Một nhóm đối tượng bay ngang vùng quan sát 110 0 0 Khi có mây và đối tượng bị che khuất Rđt 7Km 460 5 1,1 Khi có mây và đối tượng bị che khuất Rđt = [7 – 12]Km 480 12 2,5 Nghiên cứu khoa học công nghệ Tạp chí Nghiên cứu KH&CN Quân sự, Số 29, 02-2014 33 Khi có mây và đối tượng bị che khuất Rđt 12Km 420 28 6,67 3. Kết luận Bài báo đã trình bày một giải pháp phát hiện và bám tự động đối tượng chuyển động trong ảnh hồng ngoại nhờ sử dụng đồng thời phương pháp phân ngưỡng tự động và bộ lọc Kalman. Các kết quả thực nghiệm trong tình huống không có mây hoặc khi có đối tượng lạ chuyển động trong vùng quan sát, đều phát hiện và bám chính xác. Khi thời tiết có nhiều mây che khuất đối tượng, độ chính xác cũng khá cao, tỷ lệ bám nhầm chỉ là 1,1 - 6,7 %. Điều đó cho thấy tính hiệu quả cao của phương pháp sử dụng kết hợp phân ngưỡng tự động và bộ lọc Kalman trong bài toán phát hiện và bám sát đối tượng chuyển động trong ảnh hồng ngoại. Tuy nhiên, các thuật toán được sử dụng cần tối ưu hơn nữa để tăng tốc độ phát hiện đối tượng, cho kết quả chính xác trong các điều kiện môi trường khác nhau. TàI LIệU THAM KHảO [1]. Phạm Trung Dũng, “Giáo trình xử lý phân tích ảnh trong hệ thống thị giác kỹ thuật”, Học viện Kỹ thuật quân sự, 2006 [2]. AlperYilmaz, Omar Jave and Mubarak Shah, “Object Tracking: A Survey”, ACM Computing Surveys, Vol. 38, No. 4, Article 13, Publication date: December 2006. [3]. BahadýrKARASULU, “Review And Evaluation Of Well-Known Methods For Moving Object Detection and Tracking In Video”, Journal of aeronautic and space Technologies July 2010, vol.4, number 4 (11-22). [4]. Kyanda Swaib Kaawaase, “A Review on seleted target tracking algorithms”, Information Technology Journal 10 (4): 691-702. [5]. Kalman, R.E., "A new approach to linear filtering and prediction problems", Journal of Basic Engineering 82 (1): pp. 35-45, 1960. [6]. Viola, P. & Jones, M. Rapid “Object detection using a boosted cascade of simple features”. In IEEE Computer Vision and Pattern Recognition (pp. I:511-518), 2001. [7]. Hripad P. MahulikarHemant R. Sonawane, G. ArvindRao, “Infrared signature studies of aerospace vehicles”, Progress in Aerospace Sciences Volume 43, Issues 7-8, October-November 2007, Pages 218-245. [8]. Gary Bradski và Adrian Kaehler, “Learning OpenCV Computer Vision with the OpenCV Library”, Nutshell Handbook firt edition, 2008. ABSTRaCT A SOLUTION FOR DETECTion AND TRACKING OF MOVING OBJECT using INFRARED IMAGES In this paper, we propose a solution to automatically detect and track moving objects in infrared images. This solution uses a combination of automated thresholding method and Kalman filter. The experimental results Ra đa P. T. Dũng, N. D. Hào, L.K.Thành “Một giải pháp phát hiện ảnh hồng ngoại.” 34 show that the proposed solution works well in the complex background conditions. Keywords: Detection, Tracking, Infrared image, Kalman filter. Nhận bài ngày 06 tháng 01 năm 2014 Hoàn thiện ngày 10 tháng 01 năm 2014 Chấp nhận đăng ngày 14 tháng 01 năm 2014 Địa chỉ: * Học viện Kỹ thuật quân sự, Email: thchdung@yahoo.com **Viện Tự động húa KTQS, Hà Nội, Email: itacspro@gmail.com