Thuật toán phát hiện đám cháy rừng từ camera gắn trên máy bay chữa cháy - Nguyễn Đức Ánh

Công nghệ thông tin & Khoa học máy tính N.§. ¸nh P.T.Lai, N.Q.Vịnh, “ThuËt to¸n ph¸t hiÖn trªn m¸y bay ch÷a ch¸y.” 96 THUẬT TOÁN PHÁT HIỆN ĐÁM CHÁY RỪNG TỪ CAMERA GẮN TRÊN MÁY BAY CHỮA CHÁY Nguyễn Đức Ánh1, Phan Tương Lai2, Nguyễn Quang Vịnh2* Tóm tắt: Bài báo đề xuất phương pháp ứng dụng logic mờ kết hợp giữa xử lý màu đặc trưng với so sánh tính tương quan về sự lay động của ngọn lửa để phát hiện đám cháy rừng từ camera gắn trên máy bay chữa cháy nhằm khắc phục nhiễu tác động lên hình ảnh camera khi máy bay chuyển động. Kết quả mô phỏng kiểm nghiệm cho thấy thuật toán đề xuất phù hợp với bài toán đặt ra. Từ khóa: Xử lý ảnh, logic mờ, Máy bay chữa cháy. 1. ĐẶT VẤN ĐỀ Cháy rừng đại diện cho một mối đe dọa liên tục đến sinh thái, hệ thống cơ sở hạ tầng và đời sống con người. Để khắc phục được tình trạng trên, việc chủ động phát hiện đám cháy rừng từ camera gắn trên máy bay chữa cháy để từ đó tối ưu hóa sự hoạt động của các thiết bị chữa cháy rừng trên máy bay có ý nghĩa rất quan trọng. Trong những những năm gần đây, đã có nhiều công trình nghiên cứu về việc phát hiện đám cháy dựa trên phương pháp xử lý ảnh thu được từ camera như: Các nghiên cứu của nhóm tác giả Học viện Kỹ thuật quân sự [1], nhóm tác giả thuộc Viện Khoa học và công nghệ quân sự [2], G.Healey [3], Chao-Ho-Chen và cộng sự [4],.... Các nghiên cứu của các tác giả trong nước và thế giới chủ yếu tập trung vào phân tích, phát hiện đám cháy trong nhà và các công trình công cộng với hệ thống camera gắn cố định. Tuy nhiên, khi áp dụng các phương pháp trên cho các đám cháy rừng với camera gắn trên các thiết bị bay còn nhiều hạn chế. Để khắc phục hạn chế này, chúng tôi đề xuất phương pháp: Kết hợp logic mờ phân tích màu sắc của đám lửa trong không gian màu RGB với so sánh hệ số tương quan (correlation coefficient) của các frames ảnh liên tiếp để loại trừ các hình ảnh có màu sắc tương tự như màu sắc của ngọn lửa, đồng thời đưa ra giá trị của hệ số tương quan. 2. ĐẶC TRƯNG MÀU SẮC CỦA ĐÁM CHÁY RỪNG Đặc trưng màu sắc của đám lửa phụ thuộc vào loại vật liệu cháy, nhiệt độ của đám cháy. Quá trình phân tích, cô lập, tách riêng vùng đám lửa có ý nghĩa trong việc khảo sát màu và các tính chất khác của đám lửa phục vụ cho việc nhận dạng và phát hiện đám cháy. Với đối tượng nghiên cứu là đám cháy rừng, có vật liệu cháy chủ yếu là gỗ, lá cây... thì màu của ngọn lửa nằm trong dải từ vàng tới đỏ [5,6]. Khi phân tích hình ảnh đám cháy rừng trong không gian màu RGB theo các thành phần màu R (Đỏ) , G (Xanh lá cây) và B (Xanh lam). Kết quả phân tích nhận được (hình 1): một điểm (x,y) thuộc đám lửa cháy rừng coi là có cháy chỉ khi thỏa mãn điều kiện: R ≥ G & G > B. 3. PHƯƠNG PHÁP PHÁT HIỆN ĐÁM CHÁY RỪNG TỪ CAMERA 3.1. Phát hiện cháy rừng dựa vào đặc trưng màu sắc của đám cháy Giả sử điểm ảnh (x,y) là điểm ảnh thuộc đám lửa cháy rừng thì nó cần thỏa mãn điều kiện (điều kiện 1): R(x,y) > G(x,y) > B(x,y) (1) Trong đó: R(x,y), G(x,y), B(x,y) là giá trị các thành phần màu R, G, B trong không gian màu RGB tại điểm ảnh (x,y). Nghĩa là, trong các thành phần R, G, B của điểm ảnh (x,y) thuộc đám lửa thì thành phần R của đám lửa là lớn nhất. Vì vậy, các bước xử lý phát hiện đám cháy rừng như sau: Lấy nguồn video quan sát đám cháy rừng đưa vào xử lý; Tách frames từ video; Chọn các frames ảnh có chứa hình ảnh ngọn lửa; Tính toán các giá trị màu R, G, B thành phần tại các điểm ảnh; Lựa chọn các frames; Xác định đám cháy và biên đám cháy. Kết quả thử nghiệm thuật toán (hình 2) cho thấy: trong trường hợp gặp đối tượng có dải màu giống màu của đám lửa như: ánh nắng, chiếc lá vàng, mặt trời, màu trắng... thì thuật toán sẽ phát hiện sai phạm vi đám lửa. Nghiên cứu khoa học công nghệ Tạp chí Nghiên cứu KH&CN quân sự, Số 37, 06 - 2015 97 Ảnh gốc Thành phần R Thành phần G Thành phần B Hình 1. Kết quả phân tích ảnh cháy rừng trong không gian màu RGB. * Kết quả thử nghiệm điều kiện 1: Ảnh gốc Kết quả thử nghiệm Hình 2. Ảnh gốc và kết quả nhận biết điểm ảnh qua sử dụng đặc trưng màu. Để hạn chế hiện tượng báo sai trong các trường hợp trên, nhóm nghiên cứu tiến hành phân tích biểu đồ ảnh đám cháy rừng đã được phân đoạn để có thể nhận được các giá trị ngưỡng của ngọn lửa đám cháy trên ba mặt R, G và B như hình 3. Hình 3. Kết quả phân tích giá trị ngưỡng của ngọn lửa theo các thành phần R,G,B. Các giá trị ngưỡng của hình trên là kết quả đã được kiểm thử trên rất nhiều bức ảnh khác nhau. Như vậy, một điểm ảnh được xét là có cháy xảy ra khi điểm ảnh (x,y) này thỏa mãn điều kiện (điều kiện 2):      0 Ry)B(x,Ry)G(x, R y)R(x, khi,1 BGRR (2) Trong đó: RR, RG, RB - các hệ số phân tích giá trị ngưỡng theo các hình thức cháy. * Kết quả thử nghiệm điều kiện 2: Ảnh gốc Kết quả thử nghiệm Hình 4. Kết quả nhận biết điểm ảnh thuộc đám lửa rừng qua sử dụng điều kiện 2. Công nghệ thông tin & Khoa học máy tính N.§. ¸nh P.T.Lai, N.Q.Vịnh, “ThuËt to¸n ph¸t hiÖn trªn m¸y bay ch÷a ch¸y.” 98 Kết quả xử lý ảnh (hình 4) cho thấy: khi xử lý theo điều kiện 2, biên ảnh của đám lửa đã hạn chế được nhiều điểm ảnh có màu sắc tương tự như đám cháy. Tuy nhiên, hạn chế này vẫn chưa được khắc phục triệt để. Để khắc phục nhược điểm trên, nhóm tác giả sẽ thực hiện bằng phương pháp so sánh tính tương quan giữa các frames ảnh tiên tiếp nhau. 3.2. Phương pháp so sánh tính tương quan ảnh Phương pháp này dựa trên đặc tính lay động của đám lửa bởi nếu chỉ xét đặc trưng màu của ngọn lửa thuộc đám cháy thì các đối tượng có màu tương tự như màu của ngọn lửa như: bức tranh có đám lửa, ánh sáng đèn điện, ánh sáng mặt trời... sẽ bị phát hiện nhầm là cháy. Như vậy, việc kết hợp thêm đặc tính lay động của ngọn lửa sẽ giúp đánh giá chính xác hơn về sự xuất hiện của ngọn lửa. 3.2.1. Đặc điểm lay động của đám lửa Tính lay động của đám lửa là sự chuyển động, bập bùng của ngọn lửa trong quá trình cháy. Hiện tượng trên là kết quả vốn có của quá trình trao đổi khí giữa đám cháy với môi trường xung quanh. Hình 5. Tính lay động làm thay đổi quy mô của ngọn lửa. Trên hình 5, các frames ảnh được cắt từ video quan sát đám cháy rừng trong thực tế trên máy bay trực thăng, thời gian cách nhau giữa các frames là 0,2s. Dựa vào hình trên, có thể hình dung thấy rằng tính lay động của ngọn lửa thể hiện ở sự thay đổi về chiều cao và quy mô của ngọn lửa, đó là sự biến đổi, thay đổi về kích thước của đám lửa xung quanh khối tâm của nó. 3.2.2 Tính tương quan giữa các ảnh liên tiếp Tính tương quan giữa hai ảnh liên tiếp được xác định bằng phương pháp so sánh các frames liên tiếp Fk và Fk-1 sau khi đã sử dụng thuật toán xử lý để phát hiện đặc trưng màu của đám lửa theo các điều kiện 1 và 2. Lúc này các frames đã được xử lý thành các ảnh nhị phân với các điểm ảnh có màu là màu của ngọn lửa sẽ chuyển thành màu trắng, những màu còn lại sẽ chuyển thành màu đen. Mục đích việc xác định hệ số tương quan giữa các frames liên tiếp là nhằm lựa chọn ra dải giá trị tối ưu để vừa đảm bảo phân biệt được tính lay động của ngọn lửa đám cháy với các ảnh có màu tương tự đám cháy, đồng thời hạn chế được sự rung động của camera khi lắp trên các thiết bị bay. Thuật toán đánh giá sự tương quan của các frames ảnh:        2 2 mn mn m n mn mn m n m n A A B B r A A B B          (3) Trong đó: Amn, Bmn - là giá trị điểm ảnh tại vị trí m x n của frames ảnh A, B; A , B - là giá trị trung bình của frames ảnh A, B; m, n là kích thước của ma trận A, B. * Kết quả so sánh tính tương quan Qua đánh giá, so sánh sự tương quan của các frames ảnh video liên tiếp của nhiều loại video khác nhau (bảng 1), ngọn lửa đám cháy luôn có sự chuyển động do quá trình trao đổi khí và nhiệt giữa các vùng của đám cháy với môi trường không khí bên ngoài. Vì vậy, Nghiên cứu khoa học công nghệ Tạp chí Nghiên cứu KH&CN quân sự, Số 37, 06 - 2015 99 c) d) ngọn lửa tại nơi xảy ra cháy luôn có sự thay đổi về hình dạng, kích thước. Dựa trên tính tương quan, kết quả chỉ ra rằng, với các frames liên tiếp cách nhau khoảng 0.2s thì: - Camera lắp cố định, các frames liên tiếp sẽ tương tự nhau, độ tương quan  100%. - Trong trường hợp máy bay đang bay, tính tương quan của các frames ảnh liên tiếp RS < r < RT. Với RS, RT là các giá trị phụ thuộc vào loại đám cháy. - Trường hợp không có cháy thì tính tương quan là r =  (không xác định); Như vậy, với RS < r < RT thì có thể kết luận là có cháy xảy ra. Kết quả trên đã tính đến sự rung động của camera khi máy bay hoạt động, nhằm không bị nhầm lẫn giữa tính lay động của ngọn lửa với sự rung, lắc của camera khi máy bay bay qua các khu vực có màu tương tự màu của đám lửa. Bảng 1. Thống kê kết quả so sánh tính tương quan của các ảnh video. Camera lắp trên máy bay chữa cháy Camera lắp cố định trong nhà và công trình Có cháy Không có cháy Máy bay chuyển động Máy bay đứng yên Có cháy Không có cháy Frame 1-2 r = 0.1671 r = 0.6021 r =  r = 0.8503 r =  Frame 2-3 r = 0.1698 r = 0.6030 r =  r = 0.8905 r =  Frame 3-4 r = 0.1315 r = 0.5850 r =  r = 0.8732 r =  3.3. Phương pháp nhận dạng đám cháy từ máy bay ứng dụng logic mờ Không gian màu YCbCr được lựa chọn để phân tích ảnh vì không gian màu này phân chia thông tin về độ sáng từ sắc độ rất hiệu quả và tốt hơn so với các không gian màu khác. Trong đó: Y là độ sáng, Cb và Cr lần lượt là các thành phần sắc độ xanh và đỏ. Hình 6 thể hiện một bức ảnh có chứa điểm lửa được phân tích ra các thành phần Y, Cb, Cr tương ứng. Có thể quan sát rất dễ dàng: đối với một điểm lửa thì Y(x,y) lớn hơn Cb(x,y) trong đó (x,y) là vị trí điểm ảnh. Đó là vì thông tin về độ sáng liên quan tới mật độ phân bố đối với các điểm lửa, những đại lượng lớn hơn trong phép hiệu của các 2 kênh Y(x,y) và Cb(x,y) là các điểm ảnh. Hình 6 cũng chỉ ra rằng thành phần Cb(x,y) phải nhỏ hơn Cr(x,y) đối với các điểm ảnh có màu giống với màu ngọn lửa. Hình 6. a) Ảnh gốc RGB, b) thành phần Y, c) thành phần Cb, d) thành phần Cr. Do đó mối quan hệ chung giữa Y(x,y), Cb(x,y) và Cr(x,y) như dưới đây: a) b) Công nghệ thông tin & Khoa học máy tính N.§. ¸nh P.T.Lai, N.Q.Vịnh, “ThuËt to¸n ph¸t hiÖn trªn m¸y bay ch÷a ch¸y.” 100 Y(x,y) ≥ Cr(x,y) ≥ Cb(x,y) (điều kiện 3) Gọi Pf(x,y) là giá trị được định nghĩa cũng như được đo đạc để chỉ ra những điểm ảnh nào tại vị trí (x,y) là điểm lửa. Giá trị của Pf(x,y) nằm trong khoảng [0 1], nó là phép ánh xạ của những quan sát được định nghĩa trong điều kiện 3 mô tả điểm ảnh đã cho là điểm lửa. Để tính toán Pf(x,y), kết hợp các hàm thành phần tam giác và hình thang đối với hiệu của Cr(x,y)-Cb(x,y) và Y(x,y)-Cb(x,y). Hình 7. Các hàm thành phần đối với Cr(x,y)-Cb(x,y); Y(x,y)-Cb(x,y) và Pf(x,y). Hình 7 là các hàm thành phần của Cr(x,y)-Cb(x,y), Y(x,y)-Cb(x,y) và Pf(x,y). Cần chú ý đó là sử dụng hệ thống suy luận mờ với các luật được định nghĩa trong bảng 2. Sự phân bố của các hàm thành phần và các luật được định nghĩa trong bảng 2 được tìm ra dựa trên những phân tích thực nghiệm. Bảng 2. Bảng luật sử dụng cho hệ thống suy luận mờ. Pf(x,y) Cr(x,y) – Cb(x,y) NS PS PM PB Y(x,y)- Cb(x,y) NS LO LO LO LO PS LO LO HI HI PM LO HI HI LO PB LO LO LO LO Bảng 2 biểu diễn các luật được sử dụng trong hệ thống suy luận mờ. Các luật được định nghĩa theo cách này phản ánh nhận xét của bài báo đối với một điểm lửa. Cho một ảnh, các thành phần được chuẩn hóa dựa theo công thức dưới đây: maxI Y Y  , maxI Cb Cb  , maxI Cr Cr  (4) Nghiên cứu khoa học công nghệ Tạp chí Nghiên cứu KH&CN quân sự, Số 37, 06 - 2015 101 Trong đó Imax là mật độ giá trị lớn nhất trong tập hợp được định nghĩa bởi sự kết hợp của các thành phần Y, Cb, Cr. Phương trình trên được chuẩn hóa tất cả các mẫu về khoảng giá trị [0 1]. Do đó, hiệu của chúng sẽ nằm trong khoảng [-1 1] được sử dụng để định nghĩa các hàm thành phần được trình bày trong hình 7. Cho tập hợp các lối vào Cr(x,y)-Cb(x,y) và Y(x,y)- Cb(x,y). Giá trị đầu ra của hệ thống mờ được tính toán như sau: đầu tiên, các đầu vào được mờ hóa dựa vào các hàm thành phần trong hình 7. Trọng tâm của vấn đề giải mờ đó là ứng dụng kết hợp tất cả luật đầu ra để tìm phép đo định lượng đối với Pf(x,y) [6]. Cr(x,y)-Cb(x,y) và Y(x,y)-Cb(x,y) được chuẩn hóa trong khoảng [-1 1] trước khi đưa vào hệ thống suy luận mờ. Bề mặt của 16 luật được hiển thị trong hình 7, ở đây Pf(x,y) như là một hàm của các lối vào Cr(x,y)-Cb(x,y) và Y(x,y)-Cb(x,y). Khi Y(x,y)-Cb(x,y) nhỏ hơn 0, tương ứng với Pf(x,y) bằng 0 và nếu cả 2: Y(x,y)-Cb(x,y) và Cr(x,y)-Cb(x,y) gần với giá trị 1.0 thì Pf(x,y) sẽ bằng 1. Hình 8. Bề mặt của các quy tắc trong bảng 5 và được sử dụng trong hệ thống suy luận mờ với các kiểu hiển thị khác nhau. Hình 9. Lưu đồ thuật toán phát hiện cháy rừng từ camera trên máy bay chữa cháy. Những điểm mà có giá trị nhỏ hơn giá trị đỉnh được sử dụng để chỉ các đối tượng có màu tương tự như màu ngọn lửa nhưng không phải là ngọn lửa. Điều này được thể hiện rất rõ trong mặt phẳng đó là Pf có giá trị cao tại các giá trị Y(x,y)-Cb(x,y) và Cr(x,y)-Cb(x,y) Công nghệ thông tin & Khoa học máy tính N.§. ¸nh P.T.Lai, N.Q.Vịnh, “ThuËt to¸n ph¸t hiÖn trªn m¸y bay ch÷a ch¸y.” 102 có đặc tính giống ngọn lửa. Hình 8 mô tả kết quả sử dụng thuật toán logic mờ ứng dụng vào nhận dạng ảnh cho thấy kết quả đó tách được đường biên của đám cháy qua camera đặt trên máy bay. Kết hợp các điều kiện 1, 2 và 3, lưu đồ thuật toán tổng hợp để phát hiện cháy rừng từ camera trên máy bay chữa cháy được chỉ ra trên hình 9. 4. KẾT LUẬN Đặc trưng màu sắc và đặc tính lay động là những yếu tố cơ bản để phát hiện chính xác đám cháy. Bài báo đã đưa ra cách tiếp cận mới để nhận biết, phân biệt đám cháy rừng bằng phương pháp sử dụng logic mờ kết hợp giữa xử lý màu đặc trưng của đám cháy kết hợp với so sánh tính tương quan về sự lay động của ngọn lửa đã cho kết quả chính xác, đã loại bỏ được độ rung động khi gắn camera trên máy bay chữa cháy. Kết quả thực nghiệm cho thấy khả năng phát hiện ra đám cháy rừng là rất cao, chỉ có một số tình huống máy bay di chuyển nhanh, việc phát hiện ngọn lửa và so sánh tính tương quan giữa các frames ảnh liên tiếp còn bị nhầm lẫn. Tuy nhiên, đối với máy bay chữa cháy, khi đến gần đám cháy, bắt buộc phải giảm tốc độ để phun chất chữa cháy xuống đám cháy nhằm đảm bảo độ chính xác cần thiết cho quá trình chữa cháy, vì vậy hạn chế trên là chấp nhận được. TÀI LIỆU THAM KHẢO [1]. Hà Đại Dương, Đào Thanh Tĩnh, “Thuật toán phát hiện sự cháy trên ảnh Video và ứng dụng trong hệ thống camera cảnh giới” Hội thảo “Các giải pháp an toàn phòng cháy nổ”, Hạ Long, 4-2008; tr. 243-246. [2]. Phạm Trung Dũng và các cộng sự,“Về một giải pháp tự động xác định điểm nổ cho đài quan sát pháo binh mặt đất trên cơ sở ứng dụng công nghệ xử lý ảnh”. Tạp chí Nghiên cứu Khoa học và Công nghệ Quân sự, số 30, 04/2014. [3]. G.Healey et al, A system for Real-Time Fire Detection, The Proc. IEEE Conf. Comput. Vision Pattern Recognit.,Jun 1993, pp 605-606. [4]. T. Chen, Kao Cheng-Liang, Chang Sju-Mo, “An Intelligent Real-Time Fire Detection Method Based on Video Processing”, IEEE International Conference on Image Processing, 2003, pages 10-17. [5]. W.B.Horng et al, “A new image based real-time flame detection method using color analysis”, in IEEE Networking, Sensing and Control, Mar. 2005, pp 100-105. [6]. De Haan, John D. Kirk’s “Fire Investigation”, Prentice Hall; August 19, 2006. ABSTRACT AN ALGORITHM DETECTION OF FIRES IN FORESTS FROM THE CAMERA IN THE FIREFIGHTING AIRCRAFT This article is about the detection method and extracting borders of images of fires in forests which are attached to firefighting aircraft's in order to overcome noise which influences to the camera's images during tho flight of the aircraft using fuzzy logic. Simulation results show that the proposed method is suitable to the given problem. Keywords: Image processing, Fuzzy logic, Firefighting aircraft. Nhận bài ngày 15 tháng 5 năm 2015 Hoàn thiện ngày 10 tháng 6 năm 2015 Chấp nhận đăng ngày 12 tháng 06 năm 2015 Địa chỉ: 1 Trường Đại học Phòng cháy chữa cháy; 2 Viện KH-CN quân sự; *Email: vinhquang2808@yahoo.com.