Ước lượng độ sâu ảnh sử dụng phương pháp ánh sáng cấu trúc

Nghiên cứu khoa học công nghệ Tạp chí Nghiên cứu KH&CN quân sự, Số 47, 02 - 2017 85 ƯỚC LƯỢNG ĐỘ SÂU ẢNH SỬ DỤNG PHƯƠNG PHÁP ÁNH SÁNG CẤU TRÚC Nguyễn Thúy Bình1*, Võ Lê Cường2 Tóm tắt: Bài báo đề xuất một mẫu sáng mức xám sử dụng trong hệ thống ánh sáng cấu trúc nhằm ước lượng độ sâu và tái tạo hình ảnh 3D của bề mặt vật thể. Mẫu sáng được đề xuất gồm bốn phần tử cơ bản có tính chất đối xứng, với một giải thuật giải mã đơn giản có thể giải mã ảnh thu được từ camera với độ chính xác cao. Các điểm tương ứng giữa ảnh chụp và ảnh mẫu sáng được xác định và độ sâu ảnh được ước lượng dựa vào nguyên lý tam giác (triangulation principle). Ngoài ra, nhằm tăng độ phân giải trong việc giải mã ảnh, một mẫu sáng gồm 8 phần tử cơ bản tạo nên bởi 4 phần tử trên kết hợp với 2 mức sáng khác nhau được đề xuất. Từ khóa: Thị giác máy tính, Ước lượng độ sâu, Xây dựng ảnh 3D, Ánh sáng cấu trúc. 1. ĐẶT VẤN ĐỀ Ước lượng độ sâu ảnh là một hướng nghiên cứu với nhiều tiềm năng và được các nhà khoa học trên thế giới đặc biệt quan tâm trong những năm gần đây. Vấn đề ước lượng độ sâu ảnh được ứng dụng trong nhiều lĩnh vực khác nhau, có thể kể đến: cảm biến từ xa, nhận dạng đối tượng, công nghiệp giám sát và các hệ thống robot tự động. Phương pháp ước lượng độ sâu ảnh sử dụng ánh sáng cấu trúc được đánh giá là một trong các phương pháp đạt được độ chính xác và độ phân giải cao. Hệ thống ánh sáng cấu trúc gồm một hoặc nhiều camera, và một máy chiếu (projector). Mẫu sáng được mã hóa theo các phương pháp khác nhau và được chiếu lên bề mặt của vật thể. Sau đó, camera có nhiệm vụ thu ảnh của vật thể trong điều kiện được chiếu sáng. Kỹ thuật ánh sáng cấu trúc được chia thành ba nhóm phương pháp cơ bản [1-3]: Ghép kênh theo thời gian (time multiplexing), mã hóa trực tiếp (direct coding), và mã hóa dựa vào các điểm lân cận (neighbor coding). Với phương pháp ghép kênh theo thời gian, một tập hợp các mẫu sáng được chiếu liên tiếp lên bề mặt của vật thể. Phương pháp này đạt được độ phân giải và độ chính xác cao, tuy nhiên không áp dụng được trong trường hợp vật thể chuyển động. Phương pháp mã hóa trực tiếp mặc dù cũng đạt được độ phân giải cao nhưng lại chịu ảnh hưởng nhiều của nhiễu. Với các phương pháp thuộc nhóm cuối cùng, mỗi ký tự kết hợp với bốn ký tự liền kề để tạo nên một từ mã duy nhất trên mẫu sáng. Nhóm phương pháp này có thể áp dụng với cả các đối tượng tĩnh và động, thuật toán giải mã đơn giản và ít chịu ảnh hưởng của nhiễu. Trên thế giới đã có nhiều nghiên cứu giải quyết bài toán ước lượng độ sâu điểm ảnh theo hướng tiếp cận xây dựng từ mã dựa trên các giá trị lân cận [4-7]. Một trong những nghiên cứu quan trọng nhất được Griffin đề xuất năm 1992 [8]. Trong phương pháp này, một ma trận sinh được tạo nên bởi các con số (1, 2, 3, 4,). Vị trí của mỗi phần tử được định nghĩa bởi một từ mã được tạo nên bởi chính phần tử đó và bốn phần tử lân cận. Mỗi từ mã này được xác định là duy nhất trong ma trận sinh. Mỗi phần tử của ma trận được thay thế bởi một ký hiệu khác nhau, ví dụ: hình vuông, hình tròn, hình vành khăn, ... Đã có một số nghiên cứu phát triển theo hướng này. Năm 1998, Davies và Nixon đề xuất một mẫu sáng gồm các đốm tròn màu để ước lượng độ sâu của bề mặt vật thể di chuyển [9]. Sau đó, Morano [10] Kỹ thuật điều khiển & Điện tử N. T. Bình, V. L. Cường, “Ước lượng độ sâu ảnh sử dụng phương pháp ánh sáng cấu trúc.” 86 đưa ra mẫu sáng được tạo nên bởi các sơ đồ con hoàn hảo (perfect sub-map) gồm những ký tự hình tròn có màu sắc khác nhau. Mẫu sáng màu sẽ bị ảnh hưởng của nhiễu nếu các đối tượng có màu sắc giống với màu của mẫu sáng. Một hướng nghiên cứu nhằm loại bỏ nhiễu khi chiếu lên vật thể màu là tạo nên các mẫu sáng mức xám (grey level pattern). Trong nghiên cứu của Griffin, ông cũng đã đề xuất mẫu sáng gồm năm ký tự khác nhau. Tuy nhiên, mẫu sáng này chưa được đưa ra thực nghiệm với một hệ thống ánh sáng cấu trúc thực tế. Bài báo này đề xuất một mẫu sáng mức xám gồm các ký tự đối xứng. Với mẫu sáng được đề xuất, ảnh thu được từ camera có thể dễ dàng được giải mã. Các cặp điểm tương ứng giữa ảnh thu được và ảnh mẫu sáng được xác định là cơ sở để ước lượng độ sâu của bề mặt vật thể so với gốc tọa độ tại camera. Bài báo được bố trí theo thứ tự sau: Phần 1. Đặt vấn đề; Phần 2. Hiệu chuẩn camera và máy chiếu; Phần 3. Mã hóa mẫu sáng và giải mã ảnh thu được; Phần 4. Thực nghiệm và kết luận. 2. HIỆU CHUẨN CAMERA VÀ MÁY CHIẾU Hình 1 mô tả các bước cơ bản nhằm ước lượng độ sâu điểm ảnh với phương pháp ánh sáng cấu trúc. Trước hết, cần phải hiệu chuẩn hệ thống nhằm đưa ra các tham số nội và tham số ngoại của camera và máy chiếu. Trong bài báo này, chúng tôi sử dụng phương pháp hiệu chuẩn của Zhang [11]. Quá trình hiệu chuẩn cần 15- 20 ảnh với các góc độ chụp khác nhau. Hệ thống được bố trí như trong hình 2. Khoảng cách giữa camera và máy chiếu được giữ nguyên không đổi, khoảng 30 cm. Khoảng cách giữa bảng và hệ thống khoảng 50 cm. Kết quả của quá trình hiệu chuẩn là các tham số trong và tham số ngoài của camera và máy chiếu. Hiệu chuẩn camera Hiệu chuẩn máy chiếu Ảnh hiệu chuẩn hệ thống Tiền xử lý ảnh Phân loại các phần tử Xác định các phần tử liền kề Điểm tương ứng Ảnh đầu vào Tham số nội, tham số ngoại của hệ thống Ước lượng độ sâu Hình 1. Uớc lượng độ sâu điểm ảnh sử dụng phương pháp ánh sáng cấu trúc. Hình 2. Hiệu chuẩn hệ thống. Hình 3. Tham số ngoài của Camera. Nghiên cứu khoa học công nghệ Tạp chí Nghiên cứu KH&CN quân sự, Số 47, 02 - 2017 87 3. MÃ HÓA MẪU SÁNG VÀ GIẢI MÃ ẢNH THU ĐƯỢC 3.1. Mã hóa mẫu sáng Trong phần trước, chúng ta đã đề cập đến phương pháp mã hóa theo đề xuất của Griffin. Mẫu sáng được tạo nên bằng cách thay thế các con số trong ma trận sinh bằng các ký tự hoặc ký hiệu khác nhau. Mỗi vị trí trong mẫu sáng được định nghĩa bởi một từ mã duy nhất. Do mẫu sáng được đề xuất gồm bốn phần tử đối xứng, nên chỉ với một thuật toán giải mã duy nhất có thể giải mã được vị trí của tất cả các phần tử trên ảnh thu được cũng như trên ảnh mẫu sáng (hình 4). (a) (b) Hình 4. Mẫu sáng mức xám a) Mẫu sáng nhị phân sử dụng 5 ký tự theo phương pháp của Griffin b) Mẫu sáng đề xuất gồm 4 ký tự đối xứng. 3.2. Giải mã mẫu sáng và ảnh chụp Nhiệm vụ của quá trình giải mã là tìm từ mã tương ứng cho mỗi ký tự, từ đó xác định được vị trí của mỗi phần tử trên ảnh thu được cũng như trên ảnh mẫu sáng. Hai ký tự có cùng từ mã được gọi là các điểm tương ứng, từ đó tọa độ thực của các điểm trên bề mặt vật thể được xác định dựa vào nguyên lý tam giác. Trong bài báo này, để tối ưu số lượng phần tử được giải mã, chúng tôi đưa ra giải thuật nhằm giải mã các phần tử nằm ở biên, vấn đề này chưa được đề cập bởi Yi-Chih [12]. 3.2.1. Tiền xử lý ảnh Bước tiền xử lý ảnh bao gồm hai bước nhỏ: nhị phân hóa và trích chọn các khối ký tự. Trong hệ thống ánh sáng cấu trúc, mẫu sáng được chiếu lên bề mặt của vật thể bằng máy chiếu, do đó các vùng không gian được rọi với cường độ ánh sáng khác nhau. Trong bước nhị phân hóa ảnh thu được từ camera cần sử dụng ngưỡng thích nghi cho từng vùng ảnh [13]. Sau đó, các khối ký tự được tách ra bằng kỹ thuật connected component [14]. Cần chọn kích thước cho các connected component phù hợp nhằm loại bỏ nhiễu có thể xuất hiện trong bước này (hình 5). 3.2.2. Phân loại các ký tự Phân loại các ký tự sau bước tiền xử lý ảnh là một bước khá quan trọng trong việc giải mã ảnh thu được. Sau khi trích chọn được các khối connected component, mỗi khối sẽ tương đương với một ma trận mà các phần tử chỉ mang một trong hai giá trị “0” hoặc “1”. Thuật toán được đề xuất nhằm giải quyết bài toán trong bước này đó là chia mỗi khối đó thành bốn phần bằng nhau, tính giá trị trung bình của mỗi góc phần tư. Góc khuyết được xác định là góc tương ứng với giá trị trung bình lớn nhất. Sau đó, các phần tử được phân chia thành bốn nhóm khác nhau và được đánh dấu bởi các ký hiệu khác nhau (hình 6). Kỹ thuật điều khiển & Điện tử N. T. Bình, V. L. Cường, “Ước lượng độ sâu ảnh sử dụng phương pháp ánh sáng cấu trúc.” 88 Tested region (a) (b) (c) 3.2.3. Tìm phần tử lân cận và ghép tương ứng Để xác định từ mã tương ứng với mỗi phần tử, cần phải xác định bốn lân cận của phần tử trung tâm. Tuy nhiên, để xác định chính xác bốn lân cận, trước hết cần xác định tám lân cận tương ứng với tám khoảng cách nhỏ nhất tới phần tử trung tâm. Dựa vào điều kiện ràng buộc về tọa độ nhằm loại bỏ bốn phần tử ở các góc và giữ lại bốn phần tử lân cận (Đông – Tây – Nam – Bắc). Sau khi tìm được các lân cận của mỗi phần tử, từ mã tương ứng với mỗi phần tử được xác định. Quá trình giải mã được thực hiện trên cả ảnh thu được và ảnh mẫu sáng. Vị trí của mỗi phần tử được xác định sau quá trình giải mã. Nếu hai phần tử (một phần tử trên ảnh thu được và một phần tử trên ảnh mẫu sáng) có từ mã giống nhau thì được gọi là hai phần tử tương ứng. Kết quả này là cơ sở để ước lượng độ sâu ảnh dựa trên nguyên lý tam giác (hình 7). 4. THỰC NGHIỆM VÀ KẾT LUẬN Với mẫu sáng được đề xuất ở phần trên, chúng tôi thực hiện thí nghiệm chiếu mẫu sáng lên bề mặt vật thể trong trường hợp mặt phẳng (plane). Các cặp điểm tương ứng trên ảnh thu được và ảnh mẫu sáng được xác định trong quá trình giải mã. Ước lượng độ sâu điểm ảnh dựa trên nguyên lý tam giác với việc sử dụng các tham số nội và tham số ngoại có được trong quá trình hiệu chuẩn hệ thống. Hình 8 biểu diễn kết quả của quá trình giải mã đám mây điểm (points cloud) thu được sau khi áp Chia thành 4 phần bằng nhau Giá trị trung bình cực đại Hình 5. (a) Ảnh thu được (b) Nhị phân hóa với ngưỡng toàn cục (c) Nhị phân hóa với ngưỡng thích nghi. Hình 6. Phân loại các khối connected component. Hình 7. Tìm các phần tử liền kề và xác định từ mã. Nghiên cứu khoa học công nghệ Tạp chí Nghiên cứu KH&CN quân sự, Số 47, 02 - 2017 89 dụng nguyên lý tam giác nhằm ước lượng độ sâu ảnh. Bảng I thể hiện sai số của phép đo so với khoảng cách thực tế, trong trường hợp thử nghiệm với mặt phẳng. Hình 8. Giải mã ảnh thu được và point cloud. Ngoài ra để thấy được hiệu quả của thuật toán giải mã cũng như ưu điểm của mẫu sáng đề xuất, mẫu sáng được chiếu lên các bề mặt có hình dạng khác nhau: mặt phẳng, mặt cong và tờ giấy gấp. Để tính toán độ chính xác của thuật toán giải mã, mỗi bề mặt được chụp 30 lần, với các góc độ và khoảng cách khác nhau. Độ chính xác được tính bằng độ chính xác giải mã trung bình của 30 lần chụp đó. Khoảng cách giữa vật thể và hệ thống trong khoảng 60 cm đến 90 cm. Mặt cong có bán kính khoảng 10cm, tờ giấy gấp có độ cao khoảng từ 3cm đến 5 cm (hình 9). Độ chính xác giải mã được so sánh với kết quả của Albitar [15] và YangLei [16], được thể hiện trên bảng II và bảng III. Trong bài báo này, chúng tôi đề xuất một mẫu sáng mức xám được sử dụng trong hệ thống ánh sáng cấu trúc. Mẫu sáng gồm bốn phần tử cơ bản có tính chất đối xứng nên chỉ với kỹ thuật giải mã đơn giản có thể giải mã và đưa ra các điểm tương ứng giữa ảnh thu được và ảnh mẫu sáng. Dựa vào nguyên lý Triangulation ước lượng độ sâu ảnh. Chúng tôi thực nghiệm chiếu mẫu sáng lên mặt phẳng và mặt cong. Nhằm tăng độ phân giải của phương pháp, chúng tôi để xuất mẫu sáng gồm tám phần tử cơ bản bằng cách kết hợp bốn phần tử trên với hai mức sáng (hình 10). Với trường hợp mẫu sáng đề xuất gồm 8 phần tử thì các bước giải mã: tiền xử lý ảnh (nhị phân hóa và trích chọn các khối phần tử), phân loại các phần tử thành 4 nhóm cơ bản, tìm các phần tử lân cận được thực hiện giống trong trường hợp mẫu sáng gồm 4 phần tử. Sau đó, dựa trên cơ sở kết hợp ảnh gốc và ảnh nhị phân để Hình 9. Mẫu sáng được chiếu lên mặt cong và tờ giấy gấp. a) b) Kỹ thuật điều khiển & Điện tử N. T. Bình, V. L. Cường, “Ước lượng độ sâu ảnh sử dụng phương pháp ánh sáng cấu trúc.” 90 phân biệt mỗi phần tử đó có mức sáng là 0 hay 128. Kết quả này được thể hiện như trên hình 10. Thuật toán tìm các phần tử liền kề trong trường hợp này vẫn giữ nguyên so với trường hợp mẫu sáng 4 phần tử. Bảng 1. Sai số ước lượng độ sâu ảnh so với thực tế (với trường hợp mặt phẳng ). Bảng 2. So sánh độ chính xác giải mã với kết quả của albitar[13]. Trường hợp Số phần tử được phát hiện Số phần tử được giải mã Độ chính xác giải mã (1) (2) (1) (2) (1) (2) Mặt phẳng 756 1024 754 1024 99.7% 100% Mặt cong 675 1024 642 1024 95.1% 100% (1): Kết quả của Albitar[13] (2): Kết quả của chúng tôi Bảng 3. Độ chính xác giải mã (%). Mặt phẳng Tờ giấy gấp Thuật toán YangLei 99.89 97.02 Thuật toán đề xuất (chưa sửa lỗi) 84.76 80.19 Thuật toán đề xuất (có sửa lỗi) 100 97.25 Điểm [hàng,cột] Khoảng cách ước lượng Khoảng cách thực tế Sai số (%) TN1 TN2 TN3 TN1 TN2 TN3 TN1 TN2 TN3 [2,2] 857.1 800.0 685.7 880.0 825.0 730.0 2.6 3.0 6.1 [14,2] 783.5 731.3 648.8 850.0 810.0 688.0 7.8 9.7 5.7 [5,30] 886.4 827.3 659.1 857.0 830.0 632.0 3.4 0.3 4.3 [16,30] 800.3 747.0 640.2 835.0 820.0 645.0 4.2 8.9 0.7 [2,62] 869.4 856.3 635.7 930.0 940.0 655.0 6.5 8.9 2.9 [16,62] 856.2 823.2 644.8 893.0 905.0 628.0 4.1 9.0 2.7 Hình 10. Mẫu sáng gồm 8 phần. tử Hình 11. Phân loại phần tử trong trường hợp mẫu sáng gồm 8 phần tử cơ bản. Nghiên cứu khoa học công nghệ Tạp chí Nghiên cứu KH&CN quân sự, Số 47, 02 - 2017 91 Kết quả thực nghiệm phụ thuộc vào những thông số đầu vào: thông số của camera, projector, khoảng cách và bề mặt đối tượng. Các thông số nội và tham số ngoại của camera và projector cần được hiểu chuẩn một cách cẩn thận và chính xác, do ảnh hưởng trực tiếp đến kết quả của quá trình ước lượng độ sâu ảnh. Ngoài ra khoảng cách cũng là một thông số đầu vào ảnh hưởng đến kết quả. Khoảng cách giữa hệ thống (camera và projector) và vật thể phải đảm bảo sao cho vật thể phải nằm trong miền hội tụ của cả camera và projector. Trong hệ thống ánh sáng cấu trúc, bề mặt vật thể là một thông số rất quan trọng và ảnh hưởng đến quá trình giải mã ảnh cũng như kết quả ước lượng độ sâu ảnh. Với những bề mặt ảnh phẳng, liên tục thì kết quả giải mã tốt hơn so với những trường hợp bề mặt cong hoặc gấp khúc. Bề mặt càng gấp khúc hoặc lồi lõm nhiều thì độ chính xác của quá trình giải mã càng giảm. Điều này được thể hiện rõ trong bảng II và bảng III, với 3 trường hợp: mặt phẳng (plane), mặt cong (curve) và tờ giấy gấp (folded-paper). TÀI LIỆU THAM KHẢO [1]. Salvi, Joaquim, Jordi Pages, and Joan Batlle, "Pattern codification strategies in structured light systems." Pattern recognition 37.4 (2004): 827-849. [2]. Chi Zhang; Jing Xu; Ning Xi; Jianguo Zhao; Quan Shi, "A Robust Surface Coding Method for Optically Challenging Objects Using Structured Light", Automation Science and Engineering, IEEE Transactions on, On page(s): 775 - 788 Volume: 11, Issue: 3, July 2014 [3]. Xu Zhang; Zhu, Limin; Liwen Chu "Evaluation of coded structured light methods using ground truth", Cybernetics and Intelligent Systems (CIS), 2011 IEEE 5th International Conference on, On page(s): 117 - 123 [4]. L. Philippe, D. Ionescu, and E. Petriu, “A high precision 3D object reconstruction method using a color coded grid and nurbs,” in Image Analysis and Processing, 1999. Proceedings. International Conference on. IEEE, 1999. [5]. T. Etizon, "Constructions for perfect maps and pseudorandom arrays," Information Theory, IEEE Transactions on 34.5 (1988): 1308-1316. [6]. M. Hiroyoshi, K. Yajima, and S. Sakata, "Reconstruction of surfaces of 3D objects by M-array pattern projection method," Computer Vision., Second International Conference on. IEEE, 1988. [7]. Petriu, Emil M., et al, "Visual object recognition using pseudo-random grid encoding," Intelligent Robots and Systems, 1992., Proceedings of the 1992 IEEE/RSJ International Conference on. Vol. 3. IEEE, 1992. [8]. Griffin, Paul M., Lakshmi S. Narasimhan, and Soung R. Yee. "Generation of uniquely encoded light patterns for range data acquisition." Pattern recognition25.6 (1992): 609-616. [9]. Davies, Colin J., and Mark S. Nixon. "A Hough transform for detecting the location and orientation of three-dimensional surfaces via color encoded spots." IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics)28.1 (1998): 90-95. Kỹ thuật điều khiển & Điện tử N. T. Bình, V. L. Cường, “Ước lượng độ sâu ảnh sử dụng phương pháp ánh sáng cấu trúc.” 92 [10]. Morano, Raymond A., et al, "Structured light using pseudorandom codes," IEEE Transactions on Pattern Analysis & Machine Intelligence 3 (1998): 322-327. [11]. Zhang, Zheng. "A flexible new technique for camera calibration." IEEE Transactions on pattern analysis and machine intelligence 22.11 (2000): 1330-1334. [12]. Hsieh, Yi-Chih, "Decoding structured light patterns for three-dimensional imaging systems," Pattern Recognition 34.2 (2001): 343-349. [13]. Blayvas, Ilya, Alfred Bruckstein, and Ron Kimmel, "Efficient computation of adaptive threshold surfaces for image binarization," Pattern Recognition 39.1 (2006): 89-101. [14]. A. AbuBaker, R. Qahwaji, S. Ipson, M. Saleh, "One scan connected component labeling technique," Signal Processing and Communications, 2007. IEEE International Conference on. IEEE, 2007. [15]. Albitar, Chadi, Pierre Graebling, and Christophe Doignon, "Design of a monochromatic pattern for a robust structured light coding," Image Processing, 2007. ICIP 2007. IEEE International Conference on. Vol. 6. IEEE, 2007. [16]. Yang Lei, Kurt R.Bengtson, Lisa Li, Jan P.Allebach, "Design and decoding of an M-array pattern for low-cost structured light 3D reconstruction systems," Image Processing (ICIP), 2013 20th IEEE International Conference on. IEEE, 2013. ABSTRACT DEPTH ESTIMATION USING STRUCTURED LIGHT METHOD In this paper, a pattern used in structured light system to estimate depth and reconstruct 3D image of the surface object is proposed. The proposed pattern which consists of four symmetrical symbols with a simple decoding algorithm is provided to decode a captured image with high accuracy. Correspondence points between captured image and pattern one are determined, and depth estimation is based on the triangulation principle. Moreover, to increase the resolution of this method, an upgrade pattern is also proposed by combining the above four symbols and two intensity levels. Keywords: Computer vision, Depth estimation, Structured light, Reconstruction 3D image. Nhận bài ngày 10 tháng 10 năm 2016 Hoàn thiện ngày 03 tháng 12 năm 2016 Chấp nhận đăng ngày 20 tháng 02 năm 2017 Địa chỉ: 1 Trường Đại học Giao thông Vận tải; 2 Trường Đại học Bách Khoa Hà Nội; * Email : thuybinh_ktdt@utc.edu.vn.