Một phương pháp tạo ảnh Panorama ứng dụng trong hệ thống giám sát trường nhìn rộng - Vũ Minh Khiêm

Đo lường & Tin học V. M. Khiêm, N. N. Hoa, M. Đ. Sinh, “Một phương pháp tạo ảnh trường nhìn rộng.” 244 MỘT PHƯƠNG PHÁP TẠO ẢNH PANORAMA ỨNG DỤNG TRONG HỆ THỐNG GIÁM SÁT TRƯỜNG NHÌN RỘNG Vũ Minh Khiêm1*, Nguyễn Ngọc Hoa1, Mai Đình Sinh2 Tóm tắt: Trích xuất đặc trưng trên ảnh là kỹ thuật mạnh mẽ được sử dụng trong nhiều ứng dụng của xử lý ảnh như ghép hình ảnh, theo dõi và phát hiện đối tượng. Trong bài báo này các kỹ thuật dựa trên đặc trưng ảnh được sử dụng để tìm ra sự phù hợp giữa các ảnh và xây dựng thuật toán tạo ảnh panorama tự động, ứng dụng giám sát trường nhìn rộng. Với phương pháp này thay vì tự động ghép một cặp hình ảnh, nhiều cặp hình ảnh được liên tục ghép tương đối với nhau để tạo thành một bức tranh panorama toàn cảnh. Kết quả thử nghiệm cho thấy có thể tạo ra một hình ảnh panorama với trường nhìn rộng thời gian thực với chuỗi hình ảnh từ video. Từ khóa: Panorama ; Ghép ảnh; SIFT ; SURF; Homography. 1. ĐẶT VẤN ĐỀ Hiện nay, các máy ảnh thông thường chỉ chụp với một góc 90° so với góc nhìn của mắt người đạt 200°135° nên người sử dụng khó có thể thu lại toàn cảnh không gian như họ mong muốn. Để giải quyết vấn đề trên, nhiều bức ảnh có phần chồng gối lên nhau được ghép lại để tạo thành một bức ảnh toàn cảnh lớn hơn - hay còn gọi là ảnh panorama. Ảnh panorama phải đạt ít nhất là 110° và đôi khi có thể lên đến 360°. Hiện nay các hệ thống camera giám sát được ứng dụng rộng rãi trong nhiều lĩnh vực. Các camera được đặt trên các bệ pan-tilt có thể tự động quay quét để tăng phạm vi giám sát. Tuy nhiên góc nhìn của các loại camera hiện nay tương đối hạn chế, đặc biệt đối với camera ảnh nhiệt, không thể đồng thời giám sát được toàn bộ khu vực, vì thế cần phải nghiên cứu một thuật toán để có thể ghép các ảnh thu về từ camera thành ảnh lớn hơn, hiển thị toàn cảnh khu vực cần giám sát. Trước đây, thuật toán ghép hình ảnh được sử dụng rộng rãi là kỹ thuật căn chỉnh dựa trên đường viền do Lucas và Kanade phát triển [1]. Các thuật toán ghép hình ảnh phức tạp hơn cũng đã được phát triển cho hình ảnh y học và cảm biến từ xa trong một số khảo sát trước đây về kỹ thuật ghép hình ảnh [2]. Vào giữa những năm 1990, các kỹ thuật liên kết hình ảnh đã được bắt đầu được áp dụng cho việc xây dựng panoramas liền kề góc rộng từ những máy ảnh cầm tay thông thường. Gần đây, các phương pháp tiếp cận dựa trên đặc trưng ảnh có lợi thế là mạnh mẽ hơn đối với chuyển động cảnh và có tốc độ xử lý nhanh. Lợi thế lớn nhất là khả năng "nhận diện toàn cảnh", tức là tự động khám phá các mối quan hệ kề nhau giữa một tập hợp các hình ảnh không sắp xếp, làm cho chúng phù hợp nhất cho việc khâu chụp toàn cảnh tự động hoàn toàn bởi người dùng bình thường [3]. Phương pháp mà bài báo lựa chọn bao gồm trích chọn đặc trưng ảnh, xác định các đặc trưng tương đồng trên các cặp ảnh, xây dựng ma trận phép biến đổi phân số tuyến tính Homography được sử dụng để bảo lưu tỷ lệ chéo của hình ảnh và bước cuối cùng là sử dụng ma trận Homography để chiếu hình ảnh cần ghép tới mặt phẳng hình ảnh trung tâm. Bài báo gồm có 5 phần chính, bao gồm: Giới thiệu; Một số phương pháp trích chọn đặc trưng; Thuật toán tạo ảnh panorama; Kết quả đạt được và kết luận. Nghiên cứu khoa học công nghệ Tạp chí Nghiên cứu KH&CN quân sự, Số Đặc san TĐH, 04 - 2019 245 2. MỘT SỐ PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG Ảnh panorama là chế độ chụp ảnh khổ rộng bằng cách chụp nhiều tấm ảnh liên tiếp, với thông tin của tấm ảnh trước được thể hiện một phần trong tấm ảnh sau, nhằm hỗ trợ người dùng. Sau đó với sự trợ giúp của phần mềm xử lý ảnh thì ta sẽ có được 1 tấm ảnh khổ rộng. Kĩ thuật ghép ảnh panorama có nhiều cách khác nhau, tuy nhiên chúng đều gồm các bước cơ bản là: Trích chọn điểm đặc trưng giữa hai ảnh; Tìm những điểm tương đồng giữa hai bức ảnh; Tìm ma trận Homography và ghép nối hai bức ảnh với nhau. Việc lựa chọn thuật toán, phương pháp nào tùy thuộc vào từng bài toán cụ thể, trong nghiên cứu này chúng tôi sẽ thảo luận một số phương pháp hiện nay và lựa chọn phương pháp phù hợp nhất cho bài toán trường nhìn rộng. Thay vì phân tích toàn bộ hình ảnh, chỉ cần tập trung vào một vài điểm nhất định trên ảnh đó và thực hiện phép phân tích cục bộ gọi là “trích chọn đặc trưng dựa trên điểm nổi bật”. Phương pháp này sẽ hoạt động tốt nếu như ở trên ảnh tồn tại một số lượng vừa đủ các điểm nổi bật bất biến và ổn định có thể thực hiện việc phân tích cục bộ một cách chính xác. Điểm nổi bật trong ảnh là điểm ảnh có chứa nhiều thông tin hơn các điểm ảnh lân cận. Biểu diễn ảnh theo điểm nổi bật sẽ cô đọng hơn, giảm được không gian tìm kiếm trong các bài toán ứng dụng. Các phương pháp trích chọn đặc trưng từ các điểm nổi bật như là: Thuật toán tìm kiếm góc Harris [4], trích chọn đặc trưng cục bộ bất biến SIFT(Scale-Invariant Feature Transform)[5-6], trích chọn đặc trưng SURF(Speed Up Robust Features)... Điểm đặc trưng cục bộ bất biến SIFT với các tính chất không thay đổi khi xoay ảnh, co giãn ảnh hay thay đổi cường độ sáng của ảnh. Trong phương pháp này bao gồm các bước nhỏ sau: Phát hiện điểm cực trị, loại bỏ các điểm hấp dẫn có độ tương phản thấp, loại bỏ một số điểm hấp dẫn dọc theo các cạnh không giữ được tính ổn định khi ảnh bị nhiễu và xoay ảnh, định hướng cho điểm đặc trưng và mô tả điểm đặc trưng. Phương pháp trích chọn đặc trưng SIFT hiện nay là một trong những thuật toán trích chọn đặc trưng hiệu quả nhất. Tuy nhiên, tốc độ xử lý của SIFT vẫn còn khá là chậm không đáp ứng được các ứng dụng thời gian thực. Để cân bằng giữa yêu cầu tốc độ và sự chính xác bài báo sử dụng thuật toán trích chọn đặc trưng SURF cho bài toán tạo ảnh panorama. 3. THUẬT TOÁN TẠO ẢNH PANORAMA 3.1. Trích chọn điểm đặc trưng Bộ phát hiện đặc trưng SURF sử dụng phép xấp xỉ trên ma trận Hessian và ảnh tích phân (Integral Image) [7] để làm giảm bớt thời gian tính toán một cách đáng kể. Ảnh tích phân có công thức sau: 0 0 ( ) ( , ) i x j y i j I X I i j        (1) Bộ mô tả đặc trưng sử dụng vector 64 chiều chứa thông tin biến thiên trên ảnh dựa trên sự phân phối bậc nhất Haar wavelet tác động trên trục x và y, kết hợp với ảnh tích phân làm tăng tốc độ tính toán. SURF được mô tả bởi vector có số chiều ít hơn SIFT nên tốc độ so khớp nhanh hơn, đồng thời độ bền vững vẫn được đảm Đo lường & Tin học V. M. Khiêm, N. N. Hoa, M. Đ. Sinh, “Một phương pháp tạo ảnh trường nhìn rộng.” 246 bảo. Đặc trưng SURF không chỉ giữ vững tính bền vững cho đặc trưng mà còn làm tăng tốc độ so khớp. Thuật toán của kỹ thuật SURF bao gồm các bước : - Sử dụng bộ dò Fast-Hessian để xác định các điểm nổi bật. - Gán hướng cho các điểm nổi bật và mô tả đặc trưng SURF. - So khớp đặc trưng. a. Xác định các điểm nổi bật Bộ dò được xây dựng dựa trên ma trận Hessian có thời gian tính toán nhanh và độ chính xác cao, kết hợp với việc sử dụng ảnh tích phân để giảm thời gian tính toán đặc trưng. Ma trận Hessian được định nghĩa như sau: ( , ) ( , ) ( , ) ( , ) ( , ) xx xy xy yy L x L x H x L x L x             (2) Với 2 2 ( , ) ( )xxL x g x      là tích của đạo hàm bậc hai của hàm Gaussian với ảnh I tại điểm x(x, y), có tỉ lệ . Nếu như SIFT xấp xỉ việc tính Laplacian của hàm Gaussian (LoG) bằng việc tính sai khác của hàm Gaussian (DoG) thì SURF xấp xỉ việc tính đạo hàm cấp 2 của hàm Gaussian bằng các hộp lọc (box filters). Dưới đây là một ví dụ của việc tính xấp xỉ đạo hàm cấp hai của hàm Gaussian với hệ số tỉ lệ thấp nhất bằng hộp lọc: Hình 1. Mô tả xấp xỉ đạo hàm cấp 2 hàm Gaussian bằng hộp lọc. Trong đó, ảnh thứ nhất là đạo hàm cấp 2 Gaussian theo trục y, ảnh thứ hai theo trục x và trục y. Ảnh thứ ba và thứ tư lần lượt là các hộp lọc xấp xỉ với hai trường hợp của ảnh một và hai. Phép tích chập xoắn của ảnh với các hộp lọc này được thực hiệc rất nhanh bằng việc sử dụng kết hợp với ảnh tích lũy. Ta xác định vị trí và hệ số tỉ lệ tương ứng của điểm đặc trưng dựa trên định thức của ma trận Hessian. Công thức tính xấp xỉ định thức ma trận Hessian: 2det( ) ( )xx yy xyH D D wD  (3) Trong đó w là trọng số cân bằng của biểu thức định thức ma trận Hessian tùy thuộc vào hệ số tỉ lệ. Dxx , Dyy , Dxy là các hộp lọc xấp xỉ Gaussian như trên. Đối với tỉ lệ  = 1.2, kích thước hộp lọc là 99 thì giá trọng số w được tính bằng: (1.2) (9) 0.912 0.9 (1.2) (9) xy xyF F yy xyF F L D W L D    (4) Trong trường hợp này,vị trí, tỉ lệ và không gian ảnh của điểm đặc trưng được xác định bằng phép loại trừ phi cực đại trong một vùng 3 3 3  [8]. Nghiên cứu khoa học công nghệ Tạp chí Nghiên cứu KH&CN quân sự, Số Đặc san TĐH, 04 - 2019 247 b. Gán hướng cho điểm nổi bật và mô tả đặc trưng SURF Đầu tiên, cần phải xác định vùng hình xung quanh điểm đặc trưng vừa tìm được, gán một giá trị hướng duy nhất cho điểm đặc trưng. Kích thước của hình tròn phụ thuộc vào hệ số tỉ lệ tương ứng trong không gian ảnh mà điểm đặc trưng tìm được. Ở đây bán kính của hình tròn được xác định là 6s, trong đó s là tỉ lệ mà tại đó điểm đặc trưng được tìm thấy. Hướng của đặc trưng được tính bằng phân phối bậc nhất Haar wavelet tác động theo hai hướng x và y (Hình 2). Trong đó, vùng tối có trọng số -1, vùng sáng có trọng số +1. Kích thước của wavelet cũng phụ thuộc vào hệ số tỉ lệ s. Hình 2. Lọc Haar wavelet để tính sự ảnh hưởng trên hai hướng x và y. Haar wavelet có thể được tính một cách nhanh chóng bằng cách sử dụng ảnh tích lũy tương tự như hộp lọc xấp xỉ của đạo hàm cấp 2 hàm Gaussian. Vector hướng nào trội nhất sẽ được ước lượng và gắn vào thông tin của điểm đặc trưng. Hình 3 sẽ mô tả hướng và vùng ảnh hưởng của đặc trưng. Tiếp theo, cần xây dựng các vùng hình vuông xung quanh điểm đặc trưng men theo vector hướng vừa ước lượng được ở bước trước đó. Vùng hình vuông này được chia nhỏ thành 4 4 hình vuông con để ghi nhận thông tin của trên miền không gian ảnh lân cận. Haar wavelet được rút trích trên toàn bộ không gian điểm ảnh. Wavelet tác động trên hai hướng ngang và dọc được cộng dồn các giá trị và trên mỗi hình vuông con. Hơn nữa, các giá trị tuyệt đối |dx| và |dy| cũng được cộng dồn để lấy thông tin về độ lớn của sự thay đổi cường độ sáng trên ảnh. Như vậy mỗi hình vuông con sẽ được mô tả bởi một vector 4 chiều: , , ,x y x yV d d d d       (5) Như vậy vector mô tả cho tất cả 4 4 hình vuông con là một vector 64 chiều (Hình 3). Đây cũng chính là mô tả đặc trưng chuẩn của SURF (hay còn gọi là SURF-64). Ngoài ra còn có các phiên bản khác dựa trên cách chia hình vuông con như SURF- 36, SURF -128 Hình 3. Mô tả hướng và vùng ảnh hưởng của đặc trưng. Đo lường & Tin học V. M. Khiêm, N. N. Hoa, M. Đ. Sinh, “Một phương pháp tạo ảnh trường nhìn rộng.” 248 Tuy nhiên thực nghiệm cho thấy rằng SURF- 64 cho tốc độ tính toán tốt nhất mà vẫn đảm bảo tính bền vững của đặc trưng. Haar wavelet bất biến với sự thay đổi của ánh sáng và sự tương phản khi chuẩn hóa vector mô tả đặc trưng về chiều dài đơn vị. c. Lập chỉ mục và so khớp Đặc điểm quan trọng của đặc trưng SURF là quá trình rút trích đặc trưng nhanh do sử dụng kỹ thuật ảnh tích phân và phép loại trừ phi cực đại. Quá trình so khớp đặc trưng cũng nhanh hơn rất nhiều chỉ bằng một bước đánh chỉ mục đơn giản dựa trên dấu của Laplacian. Không cần phải tốn chi phí tính toán trong bước này do trong quá trình phát hiện đặc trưng đã được tính sẵn. Dấu của Laplacian giúp phân biệt đốm (blob) sáng trên nền tối và đốm tối trên nền sáng. Điểm đặc trưng sáng chỉ có thể khớp với điểm đặc trưng sáng khác, tương tự cho đặc trưng tối (Hình 4). Kỹ thuật này có thể giúp cho quá trình so khớp nhanh gấp đôi trong trong trường hợp tốt nhất do không phải tốn chi phí tính toán dấu của Laplacian. Hình 4. Ví dụ về đốm sáng trên nền tối hơn và đốm tối trên nền sáng hơn. 3.2. Tìm những điểm tương đồng giữa hai bức ảnh Có nhiều phương pháp để thực hiện bước so sánh đối chiếu điểm tương đồng nổi bật giữa hai ảnh như là phương pháp vét cạn (Brute-Force), tuy nhiên phương pháp này khá chậm. Trong bài báo này sẽ trình bày phương pháp tìm điểm tương đồng trên 2 cặp ảnh dựa trên ý tưởng: Hai điểm trong không gian được coi là tương đồng nếu khoảng cách Euclide giữa hai điểm là nhỏ nhất và tỉ số giữa khoảng cách gần nhất và khoảng cách gần nhì phải nhỏ hơn một ngưỡng cho trước. Khoảng cách Euclide được tính bằng công thức sau: 2 2 2 1 1 2 2 2 1 ( , ) ( ) ( ) ( ) ( ) n n n i ii d p q p q p q p q p q            (6) ở đây n = 128 vì mỗi điểm được đặc trưng bởi 128 chiều. 3.3. Tính ma trận Homography Homography là sự dịch chuyển sử dụng phép chiếu hình học. Ảnh thực trong không gian ba chiều có thể biến đổi về không gian ảnh hai chiều bằng phép chiếu thông qua ma trận biến đổi Homography H. Các phép chiếu biến đổi thông qua ma trận Homography không đảm bảo về kích thước và góc của vật được chiếu, nhưng bảo đảm về tỉ lệ: 'X HX (7) Nghiên cứu khoa học công nghệ Tạp chí Nghiên cứu KH&CN quân sự, Số Đặc san TĐH, 04 - 2019 249 H được tính bằng phương pháp DLT (Direct Linear Transformation). Trong hệ tọa độ không đồng nhất, công thức (7) có thể được viết lại như sau: 1 2 3 4 5 6 7 8 91 1 u h h h x v h h h y h h h                             (8) Với h9 =1 vì không gian chiếu là không gian 2 chiều. Lần lượt chia dòng thứ nhất của công thức trên cho dòng thứ ba và dòng thứ hai cho dòng thứ ba, ta được biểu thức sau: 1 2 3 7 8 9( ) 0h x h y h h x h y h u       (9) 4 5 6 7 8 9( ) 0h x h y h h x h y h v       (10) Hai công thức trên có thể được viết dưới dạng ma trận như sau: 0iA h  (11) Trong đó : 1 0 0 0 0 0 0 1 i x y ux uy u A x y vx vy v           (12) Và 1 2 3 4 5 6 7 8 9( ) Th h h h h h h h h h (13) Với mỗi cặp điểm tương ứng ta có hai biểu thức nên chỉ cần 4 cặp điểm tương ứng là ta có thể xác định được ma trận H. Áp dụng giải thuật phân rã giá trị đơn SVD [9] cho ma trận A để phân tích thành ba ma trận thành phần đơn giản hơn, có số chiều nhỏ hơn, ta được: 9 1 T T i i ii A U V s u v     (14) trong đó, si là giá trị đơn, si sẽ được sắp xếp theo thứ tự giảm dần. Khi đó giá trị của hi bằng giá trị cuối cùng của cột vi : Ah = 0, 11 19 11 19 91 99 91 99 T T d d v v A UDV U d d v v                               (15)  19 99 99 ,...,v v h v  Chúng ta chia các phần tử của h cho 99v để h9 = 1. 3.4. Chọn ma trận Homography Bài báo sử dụng thuật toán RANSAC để chọn ra ma trận Homography. RANSAC lần đầu tiên được công bố bởi Fischler và Boller [10]. Nguyên lý của thuật toán như sau: Từ tập dữ liệu đầu vào có hai loại dữ liệu là “inlier” và “outlier”, trong đó, “inlier” là các dữ liệu không phải nhiễu và “outlier” là các dữ liệu nhiễu, ta tiến hành tính toán và tìm ra mô hình tốt nhất cho tập dữ liệu. Việc tính toán và chọn ra mô hình tốt nhất sẽ được lặp đi lặp lại k lần, với giá trị k được Đo lường & Tin học V. M. Khiêm, N. N. Hoa, M. Đ. Sinh, “Một phương pháp tạo ảnh trường nhìn rộng.” 250 chọn đủ lớn để đảm bảo rằng xác suất p của tập dữ liệu mẫu ngẫu nhiên không chứa “outlier”. Thuật toán: Lặp lại k lần: a. Chọn 4 cặp điểm tương đồng ngẫu nhiên. b. Tính ma trận Homography Htmp từ 4 điểm như đã trình bày ở trên. c. Tính khoảng cách d của tập các cặp điểm tương đồng. ( , ) ( , )i ii t tmp t t tmp td d X H X d X H X      d. Tính số lượng m các cặp điểm inlier thỏa mãn điều kiện di < ngưỡng e. Nếu inlier > max_inlier thì max_inlier = inlier và ma trận Homograph tmpH H y Trong đó, log(1 ) log(1 )n p k w    w là tỉ lệ giữa số inlier trên tổng số điểm. Thông thường chọn 50%. 3.5. Ghép nối các hình ảnh với nhau Sau khi tính toán ma trận Homography, bước cuối cùng của tạo ảnh Panorama đó là ghép nối các hình ảnh lại với nhau. Ý tưởng cơ bản để thực hiện bước này là sử dụng một ảnh làm trung tâm, sau đó sử dụng ma trận Homography để chiếu ảnh còn lại tới mặt phẳng ảnh trung tâm như trong hình 5. Hình 5. Minh họa ghép hai bức ảnh. Trên hình 5, ảnh bên trái được sử dụng là mặt phẳng chiếu, bức ảnh bên phải là ảnh được chiếu lên mặt phẳng ảnh thứ nhất sử dụng ma trận Homography đã được tính toán lựa chọn. Phần 1 và phần 3 là phần riêng của mỗi bức ảnh, còn phần 2 là phần chung của hai bức ảnh. Sau khi ghép ảnh chúng ta nhận thấy kích thước của bức ảnh không phải hình chữ nhật và có hiện tượng méo ở ảnh bên phải. Để giải quyết vấn đề này sau khi ghép ảnh, tiến hành cắt ảnh theo hình chữ nhật. 4. KẾT QUẢ ĐẠT ĐƯỢC Video thử nghiệm được quay bởi camera ảnh nhiệt Orchid 640-P-C145 do Isarel sản xuất, có độ phân giải 640 480 , độ nhạy nhiệt nhỏ hơn 0.05℃, góc nhìn 25°. Thuật toán tạo ảnh panorama được thử nghiệm trên nền tảng máy tính hệ điều hành window, Intel i7-6822EQ, 2.0GHz, RAM 8GB, ngôn ngữ lập trình C++, sử dụng thư viện Open CV 2.4.9 và Qt 5.5. Thử nghiệm trên 2 video với 8 ảnh, kích thước mỗi ảnh là 640 480 cho mỗi cảnh parorama, mức độ phủ trùm giữa các ảnh khoảng 20% - 40% được thể hiện trên các hình 6, 7, 8 và 9. Nghiên cứu khoa học công nghệ Tạp chí Nghiên cứu KH&CN quân sự, Số Đặc san TĐH, 04 - 2019 251 Kết quả thử nghiệm cho thấy, thuật toán có thể ghép 8 ảnh nhỏ tạo thành ảnh có trường nhìn rộng hơn. Trong video 2, độ sáng của các ảnh có sự thay đổi đột ngột, tuy nhiên thuật toán vẫn có thể ghép các ảnh chính xác. Để ghép 2 ảnh có độ phân giải 640 480 thì tốc độ xử lý lên tới 1,2s. Trong hệ thống sử dụng Camera ảnh nhiệt có trường nhìn 25°, tốc độ bệ pan-tilt là 10°/s, yêu cầu mức độ phủ trùm của các ảnh tối thiểu 20%, tính ra tốc độ xử lý phải nhỏ hơn 2s, vì thế tốc độ xử lý của thuật toán đáp ứng được các yêu cầu của bài toán. Thuật toán đề xuất trong bài báo cho kết quả tốt trong nhiệm vụ tạo ảnh panorama ứng dụng cho hệ thống giám sát trường nhìn rộng. ảnh 1 ảnh 2 ảnh 3 ảnh 4 ảnh 5 ảnh 6 ảnh 7 ảnh 8 Hình 6. Các ảnh được trích xuất từ video1. Hình 7. Ảnh panorama hoàn chỉnh từ tập ảnh được trích xuất từ video1. ảnh 1 ảnh 2 ảnh 3 ảnh 4 ảnh 5 ảnh 6 ảnh 7 ảnh 8 Hình 8. Các ảnh được trích xuất từ video2. Đo lường & Tin học V. M. Khiêm, N. N. Hoa, M. Đ. Sinh, “Một phương pháp tạo ảnh trường nhìn rộng.” 252 Hình 9. Ảnh panorama hoàn chỉnh từ tập ảnh được trích xuất từ video2. 5. KẾT LUẬN Trong bài báo này chúng tôi xây dựng thuật toán tạo ảnh panorama trong trường hợp trường nhìn rộng, bài báo tập trung vào nghiên cứu kĩ thuật xử lý ghép ảnh từ 2 ảnh và thử nghiệm ghép chuỗi hình ảnh từ video để tạo ra trường nhìn rộng. Trong từng bước đều có những lý thuyết xử lý cơ bản để bàn luận, phân tích và đánh giá sau đó áp dụng vào bài toán ghép ảnh panorama trên Visual Studio với thư viện OpenCV 2.4.9. Kết quả thu được làm tiền đề cho việc ứng dụng xây dựng các hệ thống giám sát các mục tiêu chống đột nhập bảo vệ các căn cứ trên biển đảo. Lời cảm ơn: Nhóm tác giả cảm ơn sự đóng góp ý kiến của phòng KHQS, Bộ Tham mưu Hải quân giúp hoàn thiện bài báo này. Nghiên cứu này được hỗ trợ từ đề tài cấp bộ mã số 2016.85.059. TÀI LIỆU THAM KHẢO [1]. B. D. Lucas, T. Kanade, "An iterative image registration technique with an application to stereo vision," in Seventh International Joint Conference on Artificial Intelligence (IJCAI-81), Vancouver (1981), pp. 674-679. [2]. S. E. Chen, "QuickTime VR-an image-based approach to virtual environment navigation," Computer Graphics (SIGGRAPH’95) (1995), pp. 29-38. [3]. L. G. Brown, "A survey of image registration techniques," Computing Surveys, vol. 24, no.4 (1992), pp. 325–376. [4]. Darya Frolova, Denis Simakov, "Matching with Invariant Features," The Weizmann Institute of Science (2004). [5]. Naotoshi Seo, David A. Schug, "Image Matching Using Scale Invariant Feature Transform (SIFT)," University of Maryland, Digital Image and Video Processing Final Project. [6]. Demo software: Sift keypoint detector, Website, 2005, ca/˜lowe/keypoints/. [7].Matthew B, David G L, "Automatic Panoramic Image Stitching using Invariant Features," International Journal of Computer Vision, vol. 74, no. 1 (2007), pp. 59-73. [8].H. Bay, A. Ess, T. Tuytelaars, L.V. Gool, "SURF-Speeded Up Robust Features," Computer Vision and Image Understanding (CVIU), vol. 110, no. 3 (2008), pp. 346-359. Nghiên cứu khoa học công nghệ Tạp chí Nghiên cứu KH&CN quân sự, Số Đặc san TĐH, 04 - 2019 253 [9]. Elan Dubrofsky, "Homography Estimation," Carleton University (2007). [10].Martin A Fischler, Robert C Bolles, "Random sample consensus: A paradigm for model fitting with application to image analysis and automated cartography," Readings in Computer Vision (1981), pp. 726-740. ABSTRACT A PANORAMA IMAGING METHOD APPLIED FOR WIDE FIELD MONITORING The feature extraction is a powerful technique used in many image processing applications such as image registration, tracking and object detection. In this paper, the technique based on image features is used to find fit between images and construct an automatic panorama image- processing algorithm, applied in monitoring a wide FOV. With this method instead of automatically registering a pair of images, multiple pairs of images are continuously registered relatively to each other to form a panorama. Test results show that it is possible to create a panoramic image in real-time with sequences of images from the video. Keywords: Panorama; Stitching image; SIFT; SURF; Homography. Nhận bài ngày 21 tháng 01 năm 2019 Hoàn thiện ngày 06 tháng 3 năm 2019 Chấp nhận đăng ngày 15 tháng 3 năm 2019 Địa chỉ: 1 Viện Tự động hóa KTQS; 2 Học viện Kỹ thuật quân sự. * Email: vmk1007@gmail.com.