Nghiên cứu thiết kế chế tạo module tạo ảnh từ ma trận thu bức xạ nhiệt sử dụng công nghệ FPGA

Nghiên cứu khoa học công nghệ Tạp chí Nghiên cứu KH&CN quân sự, Số 53, 02 - 2018 135 NGHIÊN CỨU THIẾT KẾ CHẾ TẠO MODULE TẠO ẢNH TỪ MA TRẬN THU BỨC XẠ NHIỆT SỬ DỤNG CÔNG NGHỆ FPGA Phạm Sơn Lâm* Tóm tắt: Trong bài báo này, nhóm nghiên cứu đã tiến hành thiết kế chế tạo module tạo ảnh từ ma trận thu bức xạ nhiệt trên cơ sở sử dụng công nghệ FPGA. Đã thực hiện hiệu chỉnh bất đồng nhất các điểm ảnh, trong đó bao gồm cả việc xử lý các điểm ảnh lỗi. Ảnh tạo ra là ảnh raw chưa qua xử lý, lưu giữ thông tin nguyên gốc, có thể dùng cho việc xử lý sau này. Từ khóa: Ma trận ảnh nhiệt, Đầu thu ảnh nhiệt, Module tạo ảnh, Công nghệ FPGA. 1. MỞ ĐẦU Khí tài ảnh nhiệt là thiết bị có nhiều ưu điểm vượt trội so với các thiết bị quang-điện tử khác. Do vậy, chúng ngày càng được ứng dụng rộng rãi trong nhiều lĩnh vực, đặc biệt là trong quốc phòng, an ninh [1, 2]. Trong quân đội ta, thiết bị ảnh nhiệt hiện đang được sử dụng trên các tàu chiến, tàu tuần tra biển, một số loại máy bay hiện đại, hệ thống phòng không,... Các thiết bị này là sản phẩm nguyên bộ, giá thành rất cao, việc tiếp cận và mua một số loại sản phẩm đặc thù không đơn giản. Một số viện, học viện nhà trường đã và đang nghiên cứu thiết kế chế tạo các thiết bị ảnh nhiệt và đã đạt được những kết quả nhất định trong việc thiết kế chế tạo hệ quang-cơ, sau đó ghép nối với đầu thu ảnh nhiệt mua của nước ngoài, với các giá quay pan/tilt, sử dụng phần mềm điều khiển quay tầm, hướng và lấy nét ảnh. Các thiết bị được chế tạo ra với đầu thu mua của nước ngoài thường bị giới hạn bởi tần số quét khung hình, do vậy không bám bắt được các mục tiêu chuyển động nhanh. Thêm nữa, không tối ưu được kích thước, độ nhạy, tầm quan sát phát hiện mục tiêu của thiết bị bởi chưa có khả năng can thiệp sâu vào từng module. Ý thức được tầm quan trọng và mức độ cấp thiết của vấn đề, chúng tôi đã nghiên cứu thiết kế và chế tạo module tạo ảnh cho ma trận thu bức xạ nhiệt với mong muốn làm chủ được công nghệ, tiến tới chế tạo các loại khí tài ảnh nhiệt khác nhau có khả năng bám bắt nhanh phục vụ mục đích quân sự. 2. TÍNH NĂNG CHIẾN KỸ THUẬT CỦA MA TRẬN ẢNH NHIỆT Ma trận ảnh nhiệt mua của nước ngoài để thiết kế chế tạo module tạo ảnh cần đáp ứng các yêu cầu cơ bản sau: có độ nhạy nhiệt cao, tần số quét khung hình không nhỏ hơn 25 Hz, kích thước ma trận ảnh lớn. Qua khảo sát các loại ma trận ảnh nhiệt và các nhà cung cấp, chúng tôi lựa chọn loại PICO640-046 của hãng ULIS (Pháp) có các thông số chính như sau: Dải phổ làm việc: 8 – 14 m; Độ nhạy nhiệt NETD (30 Hz, F/1, 300K), K: <50mK; Kích thước điểm ảnh: 17 m; Số điểm ảnh: 640 x 480 pixels; Độ phân giải dữ liệu video: 16 bit; Tần số quét khung hình (Frame rate) lớn nhất, Hz: 60 (1 kênh), 120 (2 kênh). Ma trận ảnh nhiệt nói trên có 6 chế độ hoạt động tương ứng với các dải bức xạ nhiệt như mô tả trên hình 1 và hình 2. Kỹ thuật điều khiển & Điện tử Phạm Sơn Lâm, “Nghiên cứu thiết kế chế tạo module sử dụng công nghệ FPGA.” 136 Hình 1. Dải tần nhạy sáng của ma trận ảnh nhiệt với sự thay đổi nhiệt độ với các giá trị điện dung khuếch đại khác nhau. Hình 2. Tối ưu thời gian tích phân với nhiệt độ môi trường xung quanh với các giá trị điện dung khuếch đại khác nhau. Chế độ 1: Phù hợp với việc tập trung quan sát các mục tiêu có bức xạ nhiệt nằm trong vùng từ 5oC đến 40oC. Vùng này có độ nhạy rất cao và khả năng phân biệt tốt các mục tiêu. Điện áp trả về tương ứng với mức tín hiệu thu được từ 2.4V đến 0V. Chế độ 2: Phù hợp với việc tập trung quan sát các mục tiêu có bức xạ nhiệt nằm trong vùng từ 25oC đến 65oC. Vùng này cũng có độ nhạy cao và khả năng phân biệt tốt các mục tiêu. Điện áp trả về tương ứng với mức tín hiệu thu được từ 2.4V đến 0V. Chế độ 3: Phù hợp với việc tập trung quan sát các mục tiêu có bức xạ nhiệt nằm trong vùng từ 40oC đến 85oC. Vùng này cũng có độ nhạy cao và khả năng phân biệt tốt các mục tiêu. Điện áp trả về tương ứng với mức tín hiệu thu được từ 2.4V đến 0V. Chế độ 4: Chỉ phục vụ quan sát và phân biệt các mục tiêu có bức xạ nhiệt nằm trong vùng từ 50oC đến 85oC. Điện áp trả về tương ứng với mức tín hiệu thu được từ 2.4V đến 0.9V. Chế độ 5: Chỉ phục vụ quan sát và phân biệt các mục tiêu có bức xạ nhiệt nằm trong vùng từ 60oC đến 85oC. Điện áp trả về tương ứng với mức tín hiệu thu được từ 2.4V đến 1.6V. Chế độ 6: Chỉ phục vụ quan sát và phân biệt các mục tiêu có bức xạ nhiệt nằm trong vùng từ 65oC đến 85oC. Điện áp trả về tương ứng với mức tín hiệu thu được từ 2.4V đến 2.0V. Nghiên cứu khoa học công nghệ Tạp chí Nghiên cứu KH&CN quân sự, Số 53, 02 - 2018 137 Ở dải nhiệt độ càng cao thì dải điện áp thay đổi tương ứng ít hơn, tuy nhiên thời gian phản ứng của đầu thu càng nhanh hơn so với dải nhiệt thấp. Việc lựa chọn dải nhiệt hoạt động nào cần cân đối hai vấn đề trên cho phù hợp. Với các ứng dụng cần bắt bám các mục tiêu có nhiệt độ cao như động cơ phản lực hay tên lửa, nên chọn ở dải nhiệt cao. Để quan sát các mục tiêu ở dải nhiệt thấp nên chọn chế độ 1. Trên cơ sở nghiên cứu tính năng chiến kỹ thuật của ma trận ảnh nhiệt và năng lực thiết kế, gia công chế tạo, nhóm đề tài đặt ra mục tiêu: thiết kế chế tạo module tạo ảnh với tần số quét 30 Hz, sau khi ghép nối với hệ quang-cơ của camera ảnh nhiệt hiện có tại Viện Vật lý kỹ thuật cần đạt được các chỉ tiêu quan sát: cự ly phát hiện người tối đa: 700m; cự ly nhận dạng người tối đa: 200m. 3. THIẾT KẾ CẤU TRÚC MODULE TẠO ẢNH Nguồn điện dùng cho module tạo ảnh là nguồn 5V một chiều. Các loại giao thức và chuẩn kết nối thông dụng cũng được tích hợp để tiện lợi khi giao tiếp với các thiết bị bên ngoài. Cụ thể có một cổng HDMI để hiển thị trực tiếp hình ảnh lên màn hình, hỗ trợ độ phân giải cao; một cổng RJ45 chuẩn Ethernet tốc độ tối đa lên đến 1Gbit/s có thể truyền dữ liệu cho hệ thống mạng cũng như kết nối với máy tính; một cổng USB OTG; một cổng UART giúp gỡ rối chương trình và kiểm tra hoạt động của module trong quá trình hoạt động. Một trong những vấn đề lớn khi thiết kế các module tạo ảnh từ ma trận thu bức xạ nhiệt chính là việc xử lý tín hiệu video. Điều này đòi hỏi hệ thống cần có khả năng tính toán với khối lượng dữ liệu lớn, tốc độ xử lý cao và xử lý trên miền thời gian thực. Để giải quyết vấn đề đó, nhóm nghiên cứu đã sử dụng chíp xử lý trung tâm loại ZynQ 7000. Cấu trúc của chíp Zynq 7000 [3] được thể hiện trên hình 3. Đây là dòng chíp cao cấp của công nghệ FPGA chuyên dụng cho các vấn đề xử lý ảnh và video. Nhóm nghiên cứu lựa chọn công nghệ này vì sử dụng FPGA ưu việt hơn so với các dạng vi mạch bán dẫn lập trình được dùng cấu trúc mảng phần tử logic như PLA, PAL, CPLD [4, 5]. Hình 3. Cấu trúc của chíp Zynq 7000. Kỹ thuật điều khiển & Điện tử Phạm Sơn Lâm, “Nghiên cứu thiết kế chế tạo module sử dụng công nghệ FPGA.” 138 Với lượng tài nguyên lớn, tốc độ xử lý cao, chíp ZynQ 7000 có thể đáp ứng tốt yêu cầu tính toán dữ liệu video mà ma trận thu bức xạ trả về. Ngoài ra, chíp ZynQ 7000 còn tích hợp sẵn trong đó hai core xử lý ARM dòng Cortex A9 có thể chạy chế độ Dual Core, rất thích hợp cho phát triển các hệ thống SoC. Toàn bộ hệ thống xử lý và điều khiển của module tạo ảnh được thiết kế dưới dạng SoC và tích hợp trên chip ZynQ 7000. Sự kết hợp mềm dẻo của phần cứng và phần mềm đem lại hiệu quả cao trong việc xử lý luồng dữ liệu video số và dễ dàng triển khai các thuật toán xử lý ảnh lên video mà ma trận thu gửi về, giúp tạo được luồng dữ liệu video chất lượng tốt. Trên hình 4 là sơ đồ khối chức năng của module tạo ảnh. Hình 4. Sơ đồ chức năng của module tạo ảnh. Nguyên lý làm việc của module này như sau: Bức xạ nhiệt từ mục tiêu đi tới ma trận thu nhiệt. Mỗi điểm ảnh của ma trận ảnh nhận được bức xạ nhiệt sẽ cho ở đầu ra của ma trận một điện áp dạng tương tự. Cùng với các tín hiệu đồng bộ điểm ảnh, đồng bộ dòng và mành, các giá trị từng điểm ảnh được ma trận gửi về hệ thống xử lý. Tần số quét mà nhóm nghiên cứu thiết lập là 30 Hz nhằm bám bắt các mục tiêu chuyển động nhanh. Tín hiệu video được lọc sơ bộ, tiếp đó qua bộ biến đổi tương tự-số (ADC) để chuyển dữ liệu video tương tự thành video số và được đưa vào hệ thống xử lý trên công nghệ số. Tại đây tín hiệu sẽ được thực hiện lọc số, làm tăng chất lượng hình ảnh. Việc xác định các điểm ảnh lỗi và tự động hiệu chỉnh cũng như khắc phục, xử lý hiện tượng bất đồng nhất của ma trận thu cũng được thực hiện tại đây. Bộ xử lý trung tâm sẽ tạo ra các tín hiệu đồng bộ số phục vụ hiển thị và đồng bộ với luồng dữ liệu video. Module hiển thị sẽ làm nhiệm vụ hiển thị hình ảnh lên màn hình. Các module kết nối theo các giao thức chuẩn được khối xử lý trung tâm điều khiển phục vụ cho quá trình kết nối và truyền nhận dữ liệu từ module tạo ảnh với các thiết bị bên ngoài. Để đảm bảo kích thước nhỏ gọn, tiện lợi cho việc tích hợp lên thiết bị, toàn bộ cấu trúc module được chia ra thành 3 bo mạch chính và kết nối với nhau. Nghiên cứu khoa học công nghệ Tạp chí Nghiên cứu KH&CN quân sự, Số 53, 02 - 2018 139 TOP BOTTOM b) TOP BOTTOM c) Hình 5. Các mặt TOP và BOTTOM của các bo mạch. a)Bo mạch sensor, b) Bo mạch điều khiển và xử lý trung tâm, c) Bo mạch giao tiếp.  Bo mạch sensor: Bao gồm các khối thành phần: 1. Module hiệu chỉnh tương tự bất đồng nhất: Đảm bảo sự đồng nhất tín hiệu khi đưa vào module biến đổi tương tự số; TOP BOTTOM a) Kỹ thuật điều khiển & Điện tử Phạm Sơn Lâm, “Nghiên cứu thiết kế chế tạo module sử dụng công nghệ FPGA.” 140 2. Module lọc tương tự: Lọc nhiễu đầu vào do chuyển mạch tín hiệu tạo ra; 3. Module biến đổi tương tự-số: Thực hiện nhiệm vụ chuyển tín hiệu tương tự từ ma trận ảnh nhiệt thành dạng số cho các bài toán xử lý số ảnh nhiệt; 4. Module biến đổi số-tương tự: Chuyển đổi tín hiệu số sang tương tự đề điều chỉnh đồng nhất tín hiệu; 5. Module điều khiển quét hàng, cột: Thực hiện giải mã hàng, cột để lựa chọn điểm ảnh.  Bo mạch xử lý trung tâm: Điều khiển hoạt động của các module thành phần, kết nối chíp xử lý trung tâm Zynq 7000 với các phần ngoại vi. Toàn bộ hệ thống xử lý chính của module được thiết kế trên bo mạch này, bao gồm các khối chức năng chính của nhiệm vụ xử lý số như: Module lọc số, module hiệu chỉnh bất đồng nhất, module khuếch đại số, module xác định và thay thể điểm ảnh lỗi, module tạo ảnh, module điều khiển và cấu hình tham số ma trận thu bức xạ nhiệt. Mỗi một khối chức năng trên đều được thiết kế thành các IP chức năng chuyên dụng và ghép nối với nhau dùng công nghệ FPGA. Việc điều khiển cấu hình các tham số cho các khối chức năng được thực hiện bằng phần mềm chạy trên lõi ARM của ZynQ 7000. Điều này làm cho thiết kế tương đối nhỏ gọn, tối ưu thiết kế, thuận tiện trong quá trình nghiên cứu phát triển, dễ dàng trong quá trình thiết kế, sửa lỗi và hiệu chỉnh cũng như nâng cấp sau này mà không cần thay đổi cấu trúc phần cứng.  Bo mạch giao tiếp: Bo mạch giao tiếp được thiết kế với các cổng Ethernet, USB mini, UART kết nối module tạo ảnh với máy tính để truyền, xử lý dữ liệu và gỡ rối chương trình. Cổng HDMI kết nối với màn hình hiển thị cũng được thiết kế trên bo mạch này. Các bo mạch được thiết kế bao gồm 14 lớp layer đảm bảo kích thước nhỏ gọn. Các lớp tín hiệu quan trọng đều được chống nhiễu bằng các lớp đất bao phủ. Các lớp nguồn và tín hiệu cũng được tách biệt trên các lớp khác nhau nhằm đảm bảo chất lượng nguồn cung cấp cũng như tính toàn vẹn của tín hiệu. Các linh kiện được sử dụng với độ tích hợp rất cao, kích thước nhỏ gọn, có nguồn gốc xuất xứ rõ ràng, độ tin cậy cao. Tất cả các bo mạch đều được lắp ráp và hàn theo quy trình công nghiệp. Một số hình ảnh layout của các bo mạch được thể hiện trên hình 5. Trên hình 6 là module tạo ảnh từ ma trận thu bức xạ nhiệt đã được chế tạo và lắp ráp thành công. Hình 6. Module tạo ảnh từ ma trận thu bức xạ nhiệt. 4. KẾT QUẢ THỬ NGHIỆM VÀ PHÂN TÍCH Module tạo ảnh sau khi được lắp ráp và hiệu chỉnh cũng như cấu hình chương trình cho hệ thống đã được thử nghiệm với ống kính ảnh nhiệt hiện có tại Viện Vật lý kỹ thuật. Trên hình 7 là hình ảnh ban đầu thu được khi quan sát người trong phòng thí nghiệm. Ảnh thu được không rõ nét, có nhiều đốm trắng xuất hiện trên monitor. Nguyên nhân gây ra hiện tượng trên là do sự mất đồng nhất của các điểm ảnh của ma trận thu bức xạ nhiệt. Sự mất đồng nhất NUC (non-uniformity) là hiện tượng thể hiện khác nhau của các điểm ảnh khác nhau khi lượng bức xạ đầu vào giống nhau. Nghiên cứu khoa học công nghệ Tạp chí Nghiên cứu KH&CN quân sự, Số 53, 02 - 2018 141 Hình 7. Ảnh mục tiêu chưa NUC. Để khắc phục vấn đề trên và nâng cao chất lượng ảnh, nhóm thực hiện đã nghiên cứu, xây dựng thuật toán hiệu chỉnh bất đồng nhất và tiến hành thử nghiệm. Kết quả của phép xử lý cho hình ảnh tốt, rõ nét hơn, tăng cự ly quan sát phát hiện và nhận dạng mục tiêu. Các điểm ảnh lỗi, đốm trắng bị loại bỏ gần như hoàn toàn (hình 8). Hình 8. Ảnh mục tiêu sau khi NUC. Module tạo ảnh nói trên đã được ghép nối với hệ quang-cơ của camera ảnh nhiệt hiện có tại Viện Vật lý kỹ thuật (thuộc sản phẩm đề tài cấp Bộ Quốc Phòng: “Nghiên cứu thiết kế, tích hợp chế tạo hệ thống thiết bị quan sát ảnh nhiệt có hai trường nhìn phục vụ các ứng dụng quân sự”). Kết quả thử nghiệm quan sát ban đêm ngoài thực địa cho thấy: cự ly phát hiện người tối đa: 700m; Cự ly nhận dạng người tối đa: 300m, đạt được yêu cầu đề ra của nhóm nghiên cứu. Khả năng phát hiện và nhận dạng phụ thuộc vào đặc điểm của mục tiêu (cố định hay chuyển động), điều kiện quan sát (khí tượng, phông nền) và thuộc tính của các bộ phận cấu thành thiết bị. Được thiết kế chế tạo với tần số khung hình 30 Hz nên module tạo ảnh cho phép bám bắt các mục tiêu chuyển động nhanh khá tốt, không có hiện tượng giật hình. 5. KẾT LUẬN Với ma trận ảnh nhiệt mua của nước ngoài, nhóm nghiên cứu đã thiết kế chế tạo thành công module tạo ảnh. Ảnh tạo ra là ảnh raw chưa qua xử lý. Trên cơ sở kết quả ban đầu nói trên, trong thời gian tới nhóm sẽ tập trung nghiên cứu các phương pháp xử lý nâng cao, làm tăng chất lượng ảnh như: thay đổi độ tương phản, lọc nhiễu, nổi biên, làm trơn biên, khuếch đại ảnh. Bên cạnh đó, cần đưa vào các thuật toán xử lý, nhận dạng và bám bắt mục tiêu nhằm hoàn thiện và nâng cao tính năng chiến kỹ thuật của sản phẩm, tiến tới làm chủ công nghệ thiết kế và chế tạo. Làm chủ được kích thước và chất lượng đầu thu có thể tạo ra các sản phẩm như: ống nhòm ảnh nhiệt, kính ngắm ảnh nhiệt cho một số loại súng bộ binh như AK 47M, súng trường Gali, súng bắn tỉa SVD, các trạm quan sát cho phòng không tầm thấp, ... và các đầu thu cho tên lửa như A-89, K-13, Igla và một số loại tên lửa vác vai khác. TÀI LIỆU THAM KHẢO [1]. Тарасов В.В., Якушенков Ю.Г. “Инфракрасные системы смотрящего типа”. М.: Логос, 2004. Kỹ thuật điều khiển & Điện tử Phạm Sơn Lâm, “Nghiên cứu thiết kế chế tạo module sử dụng công nghệ FPGA.” 142 [2]. Волков В.Г., Ковалев А.В., Федчишин В.Г. “Тепловизионный приборы нового поколения”. Ч1// Спец. техника, No 6, С: 18-26, 2001. [3]. Xilinx, “Zynq-7000 All Programmable SoC Data Sheet: Overview”, June 7, 2017. [4]. Stephen M. Trimberger, “Field-Programmable Gate Array Technology”, Springer US, 1994. [5]. Julio, Maria Liz, “Field-Programmable Gate Array (FPGA) Technologies for High Performance Instrumentation (Advances in Computer and Electrical Engineering)”, IGI Global, July 5, 2016. ABSTRACT RESEARCHING, DESIGNING AND MANUFACTURING AN IMAGING MODULE FROM THERMAL ABSORPTION MATRIX BASED ON FPGA TECHNOLOGY In this paper, an imaging module from thermal absorption matrix based on FPGA technology has been designed and manufactured. Non-uniformity correction has been performed including bad pixel replacement. The resulted image is a raw image that has not been processed preserving original information, and can be used for future processing. Keywords: Thermal absorption matrix, Thermal imaging core, Imaging module, FPGA technology. Nhận bài ngày 04 tháng 7 năm 2017 Hoàn thiện ngày 12 tháng 7 năm 2017 Chấp nhận đăng ngày 26 tháng 02 năm 2018 Địa chỉ: Phòng Khí tài quang học/ Viện Vật lý kỹ thuật. *Email:lamhuong36@gmail.com.