Khóa luận Xây dựng hệ thống giám sát và điều khiển nhà thông minh: nhận diện và điều khiển trạng thái vật thể qua ip camera

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Đình Anh Cương XÂY DỰNG HỆ THỐNG GIÁM SÁT VÀ ĐIỀU KHIỂN NHÀ THÔNG MINH: NHẬN DIỆN VÀ ĐIỀU KHIỂN TRẠNG THÁI VẬT THỂ QUA IP CAMERA KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ thông tin HÀ NỘI - 2009 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Đình Anh Cương XÂY DỰNG HỆ THỐNG GIÁM SÁT VÀ ĐIỀU KHIỂN NHÀ THÔNG MINH: NHẬN DIỆN VÀ ĐIỀU KHIỂN TRẠNG THÁI VẬT THỂ QUA IP CAMERA KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ thông tin Cán bộ hướng dẫn: TS Nguyễn Việt Hà Cán bộ đồng hướng dẫn: Th.S Vũ Quang Dũng HÀ NỘI - 2009 VIET NAM NATIONAL UNIVERSITY, HA NOI COLLEGE OF TECHNOLOGY Nguyen Dinh Anh Cuong BUILDING A MONITOR AND CONTROL SMART HOUSE SYSTEM: DETECT AND CONTROL DEVICES THROUGH IP CAMERA GREDUATION THESIS Major field: Information Technology Supervisor: Nguyễn Việt Hà, Dr. Eng Co-supervisor: Vũ Quang Dũng, Master HA NOI - 2009 Xây dựng hệ thống giám sát và điều khiển nhà thông minh i LỜI CẢM ƠN Lời đầu tiên em xin được gửi lời cảm ơn tới thầy giáo TS Nguyễn Việt Hà và ThS Vũ Quang Dũng, hai thầy đã tận tình giúp đỡ và chỉ bảo cho em trong suốt thời gian làm khóa luận vừa qua. Em cũng xin bày tở lòng biết ơn sâu sắc tới các thầy cô giáo trong khoa Công nghệ thông tin – Trường Đại học Công nghệ -Đại học Quốc gia Hà Nội. Các thầy cô đã luôn nhiệt tình dạy dỗ và tạo điều kiện cho chúng em học tập và nghiên cứu trong suốt những năm học đại học. Tôi cũng xin gửi lời cảm ơn đến các bạn sinh viên trong tập thể lớp K50CA và lớp CNPM, các bạn trong phòng thí nghiệm Toshiba đặc biệt là các bạn trong nhóm nghiên cứu về xây dựng mô hình nhà thông minh là bạn Nguyễn Văn Hiển và bạn Trần Duy Hưng, đã cho tôi những ý kiến đóng góp giá trị khi thực hiện đề tài này. Cuối cùng tôi xin gửi lời cảm ơn tới gia đình, những người luôn ở bên động viên và tạo điều kiện cho tôi thực hiện tốt khóa luận này. Hà Nội, ngày 20/05/2009 Nguyễn Đình Anh Cương Nhận diện và điều khiển trạng thái vật thể qua IP camera ii TÓM TẮT Nhà thông minh đang là một xu hướng đang phát triển trong việc xây dựng các công trình nhà ở, các căn hộ, hay các trung tâm thương mại. Từ lâu, nó đã là một đề tài thu hút được nhiều sự quan tâm và nghiên cứu của các nhà khoa học cũng như cộng đồng. Với tiêu chí đó, khóa luận này sẽ trình bày về cách xây dựng mô hình một hệ thống giám sát và điều khiển nhà thông minh sử dụng PPC ( Pocket Personal Computer). Trong đó, đưa ra một cách nhận diện và xác định vị trí của các đồ vật thiết bị trong nhà thông qua ảnh số thu được từ camera. Điều này sẽ giúp tăng khả năng tương tác với chúng thông qua các công cụ điều khiển. Ngoài ra, khóa luận cũng sẽ cung cấp một cách tiếp cận đơn giản trong việc kết nối và điều khiển các thiết bị trong nhà thông qua một máy tính duy nhất. Từ khóa: nhà thông minh, nhận diện đối tượng trong ảnh số. Xây dựng hệ thống giám sát và điều khiển nhà thông minh iii ABSTRACT Smart house or home automation is one of the up and coming trend in developing buildings such as residential houses, apartments, and commercial businesses. For a long time, it is a topic attracting much attention and research of science and the community. Thus, this bachelor thesis will show how to build a model system to monitor and control the smart house with PPC (Pocket Personal Computer). In particular, it proposes a method to identify and determine the positions of the objects through a number of images from the camera. This will help increase the ability to interact with them through the control devices. In addition, the thesis also will provide a simple approach to connect and control devices in the home through a single computer. Keywords : smart house, home automation, identify objects in images, detect object in digital images. Nhận diện và điều khiển trạng thái vật thể qua IP camera iv MỤC LỤC LỜI CẢM ƠN .............................................................................................................. i TÓM TẮT ................................................................................................................... ii ABSTRACT ............................................................................................................... iii MỤC LỤC .................................................................................................................. iv BẢNG CÁC KÝ HIỆU VIẾT TẮT ............................................................................ vi DANH MỤC HÌNH VẼ............................................................................................. vii DANH MỤC BẢNG BIỂU ...................................................................................... viii Chương 1. Đặt vấn đề ................................................................................................... 2 1.1 Lý do chọn đề tài ........................................................................................... 2 1.2 Phạm vi nghiên cứu và hướng tiếp cận .......................................................... 4 1.2.1 Nhận diện đối tượng trong ảnh số thu được từ camera ............................ 5 1.2.2 Điều khiển các thiết bị trong gia đình từ máy tính .................................. 5 1.3 Nội dung và cấu trúc khóa luận ..................................................................... 6 Chương 2. Các cơ sở lý thuyết...................................................................................... 7 2.1 Tính toán khắp nơi và các ứng dụng .............................................................. 7 2.1.1 “Tính toán khắp nơi” là gì? .................................................................... 7 2.1.2 Vị trí của “Tính toán khắp nơi” .............................................................. 7 2.2 Tổng quan về nhà thông minh ....................................................................... 8 2.2.1 Định nghĩa nhà thông minh .................................................................... 8 2.2.2 Các ưu điểm của nhà thông minh............................................................ 8 2.3 Một số khái niệm trong xử lý ảnh và bài toán nhận diện đối tượng trong ảnh 9 2.3.1 Không gian màu HSV ............................................................................ 9 2.3.2 Các cách tiếp cận bài toán nhận diện đối tượng trong ảnh..................... 15 2.4 Các giao thức và mô hình kết nối................................................................. 16 2.4.1 Giao thức Bluetooth ............................................................................. 16 Xây dựng hệ thống giám sát và điều khiển nhà thông minh v 2.4.2 Giao thức wireless chuẩn B/G .............................................................. 17 Chương 3. Mô hình hệ thống giám sát và điều khiển nhà thông minh ......................... 21 3.1 Bài toán và mô hình chung của hệ thống ..................................................... 21 3.1.1 Hệ thống giám sát và điều khiển nhà thông minh.................................. 21 3.1.2 Mô hình đề xuất ................................................................................... 21 3.2 Các thành phần của hệ thống và các giải pháp ............................................. 22 3.2.1 Bài toán nhận diện đối tượng trong ảnh số ............................................ 22 3.2.2 Kết nối và tương tác với PPC ............................................................... 28 3.2.3 Điều khiển các thiết bị điện điện tử từ máy tính .................................... 31 Chương 4. Thực nghiệm và chương trình demo .......................................................... 32 4.1 Cấu trúc của chương trình demo .................................................................. 32 4.2 Các thành phần chính và thực nghiệm trong chương trình demo .................. 33 4.2.1 Mô đun nhận và xử lý ảnh từ camera .................................................... 33 4.2.2 Mô đun kết nối và tương tác với PPC ................................................... 38 4.2.3 Mô đun điều khiển các thiết bị điện, điện tử từ máy tính ...................... 38 4.3 Một số hình ảnh và mô tả về chương trình demo ......................................... 39 4.4 Kết quả và đánh giá ..................................................................................... 44 Chương 5. Kết luận và hướng phát triển ..................................................................... 45 5.1 Kết luận ....................................................................................................... 45 5.2 Hướng phát triển của đề tài .......................................................................... 45 TÀI LIỆU THAM KHẢO.......................................................................................... 47 Nhận diện và điều khiển trạng thái vật thể qua IP camera vi BẢNG CÁC KÝ HIỆU VIẾT TẮT Ký hiệu Viết đầy đủ Giải thích RGB Red Green Blue Tên một không gian màu cơ sở sử dụng trong máy tính HSV Hue Saturation Value Tên một không gian màu PPC Pocket Personal Computer OBEX Object Exchange Giao thức truyền đối tượng qua Bluetooth PC Personal computer ID Identifier IP Internet Protocol Giao thức mạng internet Xây dựng hệ thống giám sát và điều khiển nhà thông minh vii DANH MỤC HÌNH VẼ Hình 1.1 Mô hình nhà thông minh ............................................................................... 4 Hình 2.1: Dải mầu xám .............................................................................................. 10 Hình 2.3: Mặt phẳng màu ứng với một độ sáng.......................................................... 11 Hình 2.4: Sự thay đổi độ sáng theo tia phân giác ........................................................ 11 Hình 2.5: Mặt phẳng phân bố màu ............................................................................. 12 Hình 2.6: Phân bố độ xám .......................................................................................... 13 Hình 2.7: Mô tả độ xám ............................................................................................. 14 Hình 2.8: Hệ màu HSV .............................................................................................. 15 Hình 2.9: Giao thức Obex .......................................................................................... 17 Hình 2.10: Mô hình mạng cơ sở ................................................................................. 19 Hình 2.11: Mô hình mạng Ad-hoc ............................................................................ 20 Hình 3.1: Mô hình hệ thống giám sát và điều khiển nhà thông minh .......................... 21 Hình 3.2: Mô hinh thuật toán nhận diện đối tượng trong ảnh số ................................. 24 Hình 3.3: Một mẫu kí hiệu đánh dấu .......................................................................... 26 Hình 3.4: Mộ mẫu kí hiệu đánh dấu khác ................................................................... 27 Hình 4.1: Các kí hiệu sử dụng .................................................................................... 33 Hình 4.2: Biểu đồ phân bố các màu đỏ, vàng, xanh rêu, xanh lam trong hệ màu HSV 34 Hình 4.3: Một số ví dụ về kết quả nhận diện ............................................................. 36 Hình 4.4: Một số ví dụ về kết quả nhận diện .............................................................. 37 Hình 4.5: ConsolerServer khi khởi động .................................................................... 40 Hình 4.6: Màn hình đăng nhập ................................................................................... 41 Hình 4.7: Hình ảnh đã nhận diện được tái hiện trên PPC ............................................ 42 Hình 4.8: Bảng điều khiển thiết bị ............................................................................. 43 Hình 4.9: ConsolerServer khi nhận lệnh điều khiển từ PPC ....................................... 43 Hình 4.10: Thiết bị điều khiển trung gian ................................................................... 44 Nhận diện và điều khiển trạng thái vật thể qua IP camera viii DANH MỤC BẢNG BIỂU Bảng 3.1: Bảng so sánh Wireless B/G và Bluetooth .............................. 28 Bảng 4.1: Bảng phân bố màu tập trung .................................................. 35 Bảng 4.2: Kết quả nhận diện.................................................................. 37 Nhận diện và điều khiển trạng thái vật thể qua IP camera 2 Chương 1. Đặt vấn đề 1.1 Lý do chọn đề tài Ngày nay, sự phát triển của khoa học công nghệ nói chung mà công nghệ thông tin nói riêng góp một phần không nhỏ trong sự thay đổi và phát triển của cuộc sống con người. Chiếc máy vi tính ngày càng có nhiều những chức năng mạnh mẽ giúp ích con người thực thi các công việc trong rất nhiều lĩnh vực như khoa học, sản xuất công nghiệp hay các lĩnh vực xã hội khác như kinh tế, chính trị, văn hóa ... Không chỉ máy tính, sự phát triển chóng mặt của các thiết bị di động cầm tay cũng tác động không nhỏ đến đời sống của con người. Những chiếc PDA nhỏ gọn, thông minh không chỉ giúp mọi người liên lạc với nhau dễ dàng hơn, mà nó còn cung cấp rất nhiều những tính năng hữu ích khác như các ứng dụng văn phòng, giải trí, khả năng kết nối mạng để tìm hiểu thông tin.. Với những tính năng mạnh mẽ ấy cộng với giá thành vừa phải đã khiếp các thiết bị này trở nên rất phổ biến và như vật bất ly thân của rất nhiều người. Sự ra đời của các mạng máy tính mà điển hình là internet là bước cách mạng trong truyền thông. Các công nghệ mạng ngày càng đa dạng phong phú với những bước tiến nhảy vọt như mạng toàn cầu, mạng không dây... chúng giúp con người hay cụ thể hơn là giúp kết nối các hệ thống máy tính riêng lẻ lại với nhau tạo ra ra sự liên kết bền chặt trong việc trao đổi thông tin. Kinh tế phát triển, đời sống được nâng cao, nhu cầu của cong người về một cuộc sống thoải mái, an toàn, tiện nghi là điều tất yếu. Chính vì vậy, ý tưởng về nhà thông minh (SmartHomes, SmartHouses, hay Home Automation...) đã ra đời như là ý tưởng về một ngôi nhà thân thiện với các thiết bị vận hành một cách tự động theo ý muốn hay trang thái của chủ nhân. Ý tưởng trên là một ý tưởng thực sự khả thi và đem lại nhiều lợi ích cho con người và nó đã được rất nhiều các nhà khoa học, các tổ chức trong và ngoài nước quan tâm phát triển. Nhà thông minh là một ý tưởng tương đối rộng, nó có thể bảo gồm từ những thiết bị điều khiển đơn giản như điều khiển ti vi bằng điều khiển từ xa cho đến những điều khiển tự động bằng cảm ứng như thay đổi ánh sáng, nhiệt độ phòng tùy theo sở thích của chủ nhân hay thay đổi đề phù hợp với các điều kiện thời tiết thay đổi để tạo sự dễ chịu nhất cho chủ nhân... Cũng vì sự đa dạng ấy nên cũng đã có rất nhiều những kĩ thuật khác nhau đã từng được áp dụng trong các giải pháp về nhà thông minh như điều khiển ánh sáng và khí hậu, điều khiển đóng mở cửa, những hệ thống an ninh Xây dựng hệ thống giám sát và điều khiển nhà thông minh 3 và giám sát, điều khiển hệ thống âm thanh giải trí trong gia đính hay các hệ thống tự động chăm sóc vườn cây... Và các thành phần để triển khai những kĩ thuật này có một số loại như sau: các thiết bị điều khiển bằng phần cứng (hardware controller), các phần mềm điều khiển (software controller), các thiết bị cảm ứng (sensors). Việc kết nối các thành phần này cũng sử dụng rất nhiều loại môi trương truyền dân đa dạng như: có dây (cáp quang, cáp mạng, đường dây điện...) hay không dây (các loại sóng radio bao gồm wi-fi, GPRS, bluetooth, ...; tín hiệu hồng ngoại...) Với các công nghệ và cách thức áp dụng dựa trên những công nghệ trên đã có một số công ty, tổ chức đưa ra hệ thống nhà thông minh hay các thiết bị thành phần trong nhà thông minh. Trong đó có những công ty triển khai những sản phẩm thông minh mang tính thương mại cho từng công việc trong gia đình, công sở. Ngoài ra cũng có một số dự án nghiên cứu của cộng đồng mà nguồn mở về đề tài này như dự án HCS- Home Control System [5], được phát triển từ năm 2004 đến năm 2007, dự án này xây dựng một hệ thống điều khiển cản nhà dựa trên một mạng các thiết bị với những nốt thông minh và một thiết bị điều khiển chủ. N Nó có thể điều khiển các thiết bị số cũng như các thiết bị tương tự. Một cách đơn giản, kiến trúc của nó gồm một bộ xử lý trung tâm kết nối với các mô đun chức năng (sẽ là các thiết bị cần điều khiển) thông qua một mạng. Việc điều khiển các mô đun được thực hiện bởi bộ xử lý trung tâm. Đặc điểm chính của hệ thống này là đa phần được thực hiện bởi phần cứng (các mạnh, bộ vi xử lý...). Một dự án khác cũng đang được phát triển hiện tại là OpenRemote [6], thành phần chính của giải pháp này là một gói các sản phầm phần mềm và phần cứng bao gồm: một phần mềm giao diện được phát triển trên các thiết bị có màn hình cảm ứng (hiện tại đang tập trung vào màn hình cảm ứng của dòng điện thoại iPhone) có chức năng nhận lệnh điều khiển từ người dùng; một phần mềm điều khiển chức năng là nhận lênh từ thiết bị điều khiển và kết nối tới các thiết bị vật lý (hiện nay nó có hỗ trợ chuẩn X10 – một chuẩn công nghệ sử dụng trong truyền thông giữa các thiết bị điện tử thường dùng trong các hệ thống nhà tự động); một thành phần nữa đó là thành phần tích hợp vào trong các thiết bị điện tử để cho phép chúng có thể kết nối được với hệ thống. Những dự án trên cho thấy, các hệ thống nhà thông minh đã phát triển một cách khá rộng rãi và đạt được nhiều thành tựu lớn trên thế giới. Tuy nhiên trong phạm vi nước ta, theo tìm hiểu của chúng tôi, thì các các ứng dụng hay các sản phẩm thuộc về ý tưởng nhà thông minh mới chỉ phát triển ở mức hạn chế, đa phần là cung cấp và triển Nhận diện và điều khiển trạng thái vật thể qua IP camera 4 khai các sản phẩm của nước ngoài một cách riêng lẻ rời rạc, chưa đưa ra được những giải pháp mang tính hệ thống, những giải pháp hoàn chỉnh. Hình 1.1 Mô hình nhà thông minh Từ thực trạng trên chúng tôi muốn đưa ra mô hình của một hệ thống tính toán khắp nơi thực hiện công việc giám sát và điều khiển một căn nhà thông minh sử dụng camera và PPC (hình 1.1). Hình ảnh thu được từ camera sẽ được server (có thể chỉ là một máy tính trong mạng LAN của một gia đình) xử lý và nhận diện các thiết bị có trong hình sau đó hình ảnh này cùng với tọa độ của các thiết bị sẽ được truyền tới PPC thông qua một giao thức mạng không dây, hình ảnh sẽ được tái hiện lên màn hình cảm ứng của PPC. Tại đây người dùng có quan sát trạng thái và chọn thiết bị sau đó ra lệnh điều khiển, lập tức các tín hiệu điều khiển này sẽ được truyền trả về server, server sẽ phân tích và điều khiển thiết bị thực tế đã được kết nối với server qua một giao thức mạng. Một ứng dụng vừa cho phép kiểm soát an ninh, tai nạn... có thể xảy ra bất thường trong nhà, vừa cho phép điều khiển các thiết bị để có một cuộc sống tiện nghi, tự động. 1.2 Phạm vi nghiên cứu và hướng tiếp cận Đề tài đưa ra một mô hình tổng quát của hệ thống giám sát và điều khiển một căn nhà thông minh. Tuy nhiên trong phạm vi khóa luận này, chúng tôi xin được tập trung vào hai thành phần chính của hệ thống đó là mô đun xử lý hình nhận về từ camera và Xây dựng hệ thống giám sát và điều khiển nhà thông minh 5 mô đun điều khiển các thiết bị điện trong gia đình được kết nối với máy tính. Thành phần còn lại là kết nối và điều khiển từ PPC sẽ được thực hiện bởi một bạn khác trong nhóm. 1.2.1 Nhận diện đối tượng trong ảnh số thu được từ camera Như đã biết, nhận diện các đối tượng trong ảnh là một phần rất căn bản và quan trọng trong công nghệ phân tích và xử lý ảnh. Việc nhận diện các đối tượng trong ảnh số một cách tự động giúp máy tính lấy được nhiều thông tin ngữ nghĩa hơn từ những bức ảnh. Điều này có ý nghĩa đặt biệt quan trọng trong những bài toán phân lớp một khối lượng ảnh lớn theo các thuộc tính được quan tâm như chủ đề, sự phân bố màu sắc... Để giải quyết bài toán nhận diện này thông thường có hai cách tiếp cận đó là sử dụng các phương pháp học máy và sử dụng các bộ luật do người phát triển tự định nghĩa. Cách thứ nhất có ưu thế về độ chính xác, nhưng lại tương đối phức tạp cần khối lượng tính toán lớn, thời gian thực hiện cũng khá cao. Còn cách thứ hai có ưu thế về tính đơn giản, thời gian thực hiện, nhưng độ chính xác không ổn định. Với yêu cầu của bài toán là nhận diện các đối tượng đã chỉ định sẵn nên chúng tôi quyết định sử dụng cách tiếp cận thứ thứ hai để tận dụng ưu thế về thời gian cũng như dễ dàng trong cài đặt và thực hiện. Phương pháp này sẽ dựa trên ý tưởng kết hợp việc đánh dấu các đối tượng cùng với đưa ra một bộ luật để nhận diện các đối tượng này trong ảnh thu được từ camera. Cách này phù hợp với hoàn cảnh thực hiện, nó có thể được phát triển trong thời gian không quá dài. Hơn nữa với bài toán xử lý ảnh trong giám sát thuật toán còn cần khả năng đáp ứng về mặt thời gian nên ưu thế về tốc độ của phương pháp này đáng để lựa chọn. 1.2.2 Điều khiển các thiết bị trong gia đình từ máy tính Ngày nay, các thiết bị điện trong gia đình ngày càng phong phú đa dạng, từ những thiết bị đơn giản như đèn, quạt điện hay đến những thiết bị hiện đại như ti vi, tủ lạnh, điều hòa nhiệt độ, bình nóng lạnh... Dễ thấy các thiết bị này đã có rất nhiều những phương thức điều khiển đơn giản và hiệu quả như sử dụng điều khiển từ xa, các chức năng hẹn giờ tắt giờ bật.... Nhưng đa số chúng chỉ được điều khiển một cách đơn lẻ, riêng biệt, chưa có phương thức cho phép kết nối chung lại một khối và có thể điều khiển một cách tập trung. Ở khía cạnh công nghệ, điều này hoàn toàn có thể thực hiện được nếu các nhà sản xuất cung cấp thêm các phương thức kết nối và điều khiển để Nhận diện và điều khiển trạng thái vật thể qua IP camera 6 cho phép chúng có thể kết nối tới máy vi tính, một thiết bị đặc biệt với những chức năng mạnh mẽ trong việc tính toán xử lý và phối hợp các hành động. Tuy nhiên, do nhiều lý do thực tế mà hiện tại điều này chưa được triển khai trên các thiết bị hiện nay. Và để giải quyết vấn đề này, trong phạm vi khóa luận này, chúng tôi có sử dụng một thiết bị trung gian có khả năng kết nối với máy tính và các thiết bị điện trong gia đình, đồng thời cho phép nhận lệnh từ máy tính để điều khiển một số tính năng đơn giản, cơ bản nhất của thiết bị như tắt, bật. 1.3 Nội dung và cấu trúc khóa luận Chương 1: Đặt vấn đề Giới thiệu chung về khái niệm nhà thông minh, tình hình, thực trạng của các công nghệ sử dụng trong việc xây dựng và phát triển các hệ thống về nhà thông minh trong và ngoài nước hiện nay. Đưa ra mô hình đề xuất về việc xây dựng một hệ thống ứng dụng tính toán khắp để thực hiện giám sát và điều khiển nhà thông minh sử dụng camera và PPC. Đồng thời cũng đưa ra phạm vi nghiên cứu cũng như hướng tiếp cận của các bài toán nhỏ. Từ đó chương này giới thiệu về nội dung mà chúng tôi nghiên cứu và thực hiện thông qua việc trình bày về nội dung và cấu trúc khóa luận. Chương 2: Cơ sở lý thuyết Chương 2 trình bày về các cơ sở lý thuyết được áp dụng để xây dựng nên mô hình đã đề xuất, cũng như các lý thuyết để áp dụng trong việc giải quyết các bài toán nhở. Chương 3: Mô hình giám sát và điều khiển nhà thông minh sử dụng camera và PPC Trình bày mô hình, các thành phần chính cũng như các giải pháp kĩ thuật được sử dụng được chúng tôi đề xuất để giải quyết bài toán đặt ra. Chương 4: Thực nghiệm và Demo Giới thiệu về chương trình demo thực hiện mô hình đã đặt ra. Chương 5: Kết luận và hướng phát triển Kết luận và hướng phát triển của đề tài trong tương lai. Xây dựng hệ thống giám sát và điều khiển nhà thông minh 7 Chương 2. Các cơ sở lý thuyết 2.1 Tính toán khắp nơi và các ứng dụng 2.1.1 “Tính toán khắp nơi” là gì? Tính toán khắp nơi (Ubiquitous computing) là một khái niệm kỹ thuật để chỉ một xu hướng trong việc phát triển các phương pháp tính toán. Thay vì chúng ta tính toán xử lý trong một chiếc máy tính để bàn hay máy tính xách tay của mình, thì kỹ thuật này sẽ cho phép chúng ta đưa việc tính toán vào chính môi trường sống của mình, hay nói một cách đơn giản là việc tính toán xử lý sẽ được thực hiện mọi lúc mọi nơi. Mark Weiser, người đầu tiên đưa ra khái niệm về tính toán khắp nơi đã nói:” Tính toán khắp nơi để chỉ làn sóng thứ ba trong công nghệ tính toán, nó đang bắt đầu. Làn sóng đầu tiên là các máy tính lớn, mỗi máy được chia sẻ bởi nhiều người sử dụng. Còn bây giờ là kỉ nguyên của máy tính cá nhân, nơi mà con người và máy móc không dễ gì hiểu nhau qua giao diện làm việc. Tiếp theo sẽ là tính toán khắp nơi, hay thời đại của "công nghệ lặng lẽ", khi mà kĩ thuật lùi xuống làm nền cho cuộc sống của chúng ta.”[7] Mark Weiser cũng mô tả rằng: ”hãy tưởng tượng rằng mỗi con người có hàng trăm các thiết bị không dây xung quanh với đủ các kích cỡ khác nhau (màn hình từ cỡ 1 inch cho đến lớn bằng cả bức tường), khi đó đòi hỏi phải có những hệ điều hành mới, những giao diện người dùng mới, những công nghệ mạng, các cách hiển thị mới, và rất nhiều những việc cần làm khác. Đó chính là “tính toán khắp nơi”.”. Trong thế giới của tính toán khắp nơi, sẽ có một công nghệ đồng nhất được áp dụng, nó được triển khai trên tất cả các thiết bị mà ta sử dụng kể cả không gian. Ý tưởng của công nghệ này khẳng định tính toán sẽ trở nên một công cụ hết sức tự nhiên, mạnh mẽ và có ích với tất cả những ai sử dụng nó. 2.1.2 Vị trí của “Tính toán khắp nơi” Với ý nghĩa và tiềm năng to lớn của nó, tính toán khắp nơi đang được nghiên cứu và phát triển cùng với rất nhiều những lĩnh vực của công nghệ thông tin như tính toán phân tán (distributed computing), tính toán di động (mobile computing), tương tác người máy (human-computer interaction), trí tuệ nhân tạo (artifacial intelligence). Nhận diện và điều khiển trạng thái vật thể qua IP camera 8 2.2 Tổng quan về nhà thông minh 2.2.1 Định nghĩa nhà thông minh Nhà thông minh (tiếng Anh: smart-home hoặc intelli-home, home automation) là kiểu nhà được lắp đặt các thiết bị điện, điện tử có tác dụng tự động hoá hoàn toàn hoặc bán tự động, nó thay thế con người trong việc thực hiện một số thao tác quản lý, điều khiển… Trong căn nhà thông minh, đồ dùng trong nhà như các thiết bị phòng ngủ, phòng khách đến toilet đều gắn các bộ điều khiển điện tử có thể kết nối với internet và điện thoại di động, cho phép chủ nhân điều khiển từ xa hoặc lập trình cho chúng hoạt động theo lịch. Thêm vào đó, các đồ gia dụng có thể hiểu được ngôn ngữ của nhau và có khả năng tương tác với nhau… (Wikipedia [8]). Một ngôi nhà thông minh đầy đủ, thường bao gồm các tính năng:  Phân phối đa phương tiện, là một rạp hát gia đình.  Điều khiển việc chiếu sáng, mành, rèm.  Giám sát, điều khiển môi trưởng (nhiệt độ, độ ẩm…).  Có khả năng liên lạc giữa các phòng.  Giám sát, điều khiển camera an ninh.  Giám sát và điều khiển từ xa. 2.2.2 Các ưu điểm của nhà thông minh Nhà thông minh sử dụng các thiết bị và công nghệ tự động hóa, thông minh hóa, giúp cho con người nhàn hạ hơn trong sinh hoạt hằng ngày. Nói cách khác, đây là hệ thống giúp chủ nhân tận hưởng sự tiện nghi của cuộc sống và dễ dàng quản lý tổng quát đối với cả tòa nhà. Chỉ với một chiếc điều khiển từ xa, chúng ta có thể điều khiển tất cả, dù đang ở bất kỳ nơi nào. Chúng ta có thể tưởng tượng ra hiệu quả mà nhà thông minh mang lại thông qua những hoạt động rất gần gũi, chẳng hạn như nằm trên giường để mở cổng; sẽ không còn chuyện bị ngã do không nhìn thấy đường bởi đèn cầu thang sẽ tự sáng lên khi có người; hệ thống đèn trong phòng, bếp, bình nước nóng... sẽ hoạt động đúng giờ đã định; toàn bộ hệ thống đèn sẽ tự tắt sau khi không Xây dựng hệ thống giám sát và điều khiển nhà thông minh 9 cần thiết; khống chế nhiệt độ chênh lệch giữa bên ngoài và trong nhà và còn rất nhiều tiện ích khác. Không chỉ điều khiển được trong phạm vi ngôi nhà, công nghệ này còn cho phép tích hợp điều khiển qua điện thoại (cố định hoặc di động), internet hay PDA. Vì vậy, mọi sinh hoạt có thể được kiểm soát dù chúng ta đang ở công sở hay ngoài đường... Không chỉ riêng các ngôi nhà nhỏ, chúng ta hoàn toàn có thể thông minh hóa bất kỳ một không gian sống nào, kể cả trụ sở văn phòng, siêu thị, trung tâm thương mại, khách sạn, nhà hàng, nhà xưởng sản xuất, ngân hàng, bệnh viện hay các khu phức hợp khác... nếu lựa chọn công nghệ phù hợp. 2.3 Một số khái niệm trong xử lý ảnh và bài toán nhận diện đối tượng trong ảnh 2.3.1 Không gian màu HSV Màu sắc là một phần rất quan trọng các công nghệ xử lý ảnh. Để biểu diễn màu sắc trên máy tính cũng có rất nhiều dạng khác nhau tùy thuộc theo yêu cầu cần sử dụng. Phần này sẽ giới thiệu sơ bộ về không gian màu cơ bản RGB và không gian màu HSV [9]. 2.3.1.1 Không gian màu RGB Do cấu tạo của các thiết bị phần cứng nên các điểm ảnh thường được đặc trưng bởi ba thành phần màu cơ bản đó là Red, Green và Blue. Một thành phần thường được định nghĩa bới 1 byte(tức là có 256 giá trị từ 0 đến 255). Sự kết hợp của 3 thành phần này sẽ cho ta màu sắc của 1 điểm ảnh bất kì. Ví dụ: R=G=255, B=0 ta có màu vàng. R=G=B=0 ta có màu đen. R=G=B=255 ta có mày trắng. 2.3.1.2 Không gian màu HSV  Hue (H): độ đo màu được tổng hợp từ 3 thành phần màu Đỏ(Red), Xanh lam (blue), xanh lá cây (Green) của một điểm ảnh.  Saturation (S): chỉ độ xám của điểm ảnh. VD: Cùng là một màu nhưng có màu xám và có màu trong.  Value (V): Chỉ độ sáng của điểm ảnh. Nhận diện và điều khiển trạng thái vật thể qua IP camera 10 Mối quan hệ giữa hệ màu RGB và hệ màu HSV: Giả sử ta cần một dải màu biểu diễn độ xám (grayscale), đơn giản ta sẽ có 1 chuỗi điểm liên tục mà tại mỗi điểm các chỉ sổ R = G= B và tăng dần từ 0->255: ta sẽ có một dải từ đen-> trắng (như hình 2.1). Hình 2.1: Dải mầu xám Nếu coi hệ màu RGB tương đương với 1 hệ trục tọa độ đề các (R=x, G=y, B=z) thì có thể thấy Graysclale chính là 1 đường thẳng nối 1 điểm (0,0,0) với (255, 255, 255). Ta sẽ coi đây là một tia tạm gọi là tia phân giác. Hình 2.2: Hệ trục tọa độ Đề Các với các hệ mầu RGB Độ sáng: Độ sáng của một điểm ảnh được tính theo tổng giá trị của 3 thành phần màu RGB, theo đó một điểm ảnh có chỉ số R+G+B lớn hơn thì sẽ sáng hơn. Để ý thấy phương trình x+y+z =V chính là phương trình của một mặt phẳng(xem hình 2.3). Xây dựng hệ thống giám sát và điều khiển nhà thông minh 11 Hình 2.3: Mặt phẳng màu ứng với một độ sáng Nếu di chuyển các mặt phẳng dọc từ (0,0,0) đến (255,255,255) chỉ có độ sáng của điểm ảnh thay đổi còn các thành phần màu không đổi: đỏ vẫn đỏ, xanh vẫn xanh... (xem hình 2.4). Hình 2.4: Sự thay đổi độ sáng theo tia phân giác Chính vì vậy, ta sẽ định nghĩa tia phân giác chính là độ đo độ sáng V (Value) trong hệ màu HSV của điểm ảnh. Giá trị tứ 0 đến 1. Xét một mặt phẳng ta sẽ thấy, các điểm có độ sáng như nhau. Điểm màu xám sẽ là điểm chính giữa nơi mặt phẳng này cắt tia phân giác. (hình 2.5) Nhận diện và điều khiển trạng thái vật thể qua IP camera 12 Hình 2.5: Mặt phẳng phân bố màu Nếu vẽ một vành màu với tâm là điểm màu xám nằm trên tia phân giác ta sẽ thấy sự khác nhau giữa các màu sắc sẽ được đánh giá theo phần mà nó nằm trên khuyên tròn. Nếu quy ước là Red ứng với 0 độ, Green 120 độ, và Blue là 240 độ. Với quy ước này ta sẽ có màu đỏ ứng với 0 độ, vàng ứng với góc 60 độ, màu cam sẽ ở khoảng góc 30 độ. Giá trị này sẽ ứng với độ đo màu sắc H (Hue)trong hệ màu HSV. Thành phần còn lại của hệ màu HSV là S (Saturation), độ đo độ xám của điểm ảnh. Xây dựng hệ thống giám sát và điều khiển nhà thông minh 13 Hình 2.6: Phân bố độ xám Từ hình vẽ (hình 2.6) ta thấy khoảng cách từ điểm xám (tâm) tới điểm đỏ nhất (pure red) sẽ quyết định độ xám của điểm ảnh. Ví dụ: Nếu muốn mô tả một điểm có màu sắc nằm giữa màu đỏ và màu xám (H=0), và có cũng độ sáng là V trong hệ tọa độ đề các ứng với hệ màu RGB ở trên thì ta sẽ có:  Điểm đỏ nhất (pure red) là (V, 0, 0)  Điểm màu xám với cùng độ sáng sẽ là (V/3, V/3, V/3)  Điểm nửa đỏ nửa xám sẽ là (V*2/3, V/6, V/6) Nhận diện và điều khiển trạng thái vật thể qua IP camera 14 Hình 2.7: Mô tả độ xám Dễ thấy tất cả các điểm “nửa đỏ nửa xám” sẽ cùng nằm trên một đường thẳng có PT tham số x=V*2/3, y=V/6, z = V/6. Do đó, ta có thể định nghĩa độ xám của một điểm chính là tỉ khoảng cách giữa điểm đó tới điểm xám(gray) so với khoảng cách giữa điểm đó tới điểm trong nhất (pure). Tổng kết: Tóm lại ta có thể thay thể hệ màu RGB với bằng một hệ màu mới với hệ tọa độ là một hình nón. Các màu sắc theo đó sẽ được mô tả như sau:  Độ sáng: V trong khoảng 0(đen)-100(trắng)  Độ xám hay độ sắc nét của màu: S với 0 là xám  Màu sắc: được xác định thông qua góc H (0 ứng với màu đỏ, 60 với vàng, 120 xanh lá, 240 xanh lam...) Xây dựng hệ thống giám sát và điều khiển nhà thông minh 15 Hình 2.8: Hệ màu HSV 2.3.2 Các cách tiếp cận bài toán nhận diện đối tượng trong ảnh Đã có rất nhiều những nhà nghiên cứu, tổ chức quan tâm nghiên cứu và đưa ra các cách tiếp cận khác nhau để giải quyết bài toán này. Trong đó có một vài cách tiếp cận phổ biến như: thu thập một lượng dữ liệu về hình ảnh lớn chứ đối tượng và thực hiện việc huấn luyện thông qua học máy. Ví dụ nghiên cứu của: H. Schneiderman và T. Kanade. A Statistical Method for 3D object detection applied to faces and cars. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, năm 2000 [4]; hay H. Rowley, S. Baluja, T. Kanade. Rotation Invariant Neural Network-Based Face Detection. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 1998 [3]...) Tuy nhiên cách này đòi hỏi việc phải thu thập một lượng lớn dữ liệu thực tế của một đối tượng, điều này là thực sự khó khăn nếu ta tiến hành trên một nhóm các loại đối tượng khác nhau. Hơn nữa việc đưa ra những phương pháp học máy cũng đòi hỏi không ít thời gian và công sức. Do đó có một cách tiếp cận khác đó là đưa ra một bộ luật cho những đặc điểm của đối tượng, cách này sử dụng tri thức của người phát triển nhiều hơn so với sức mạnh của máy tính. Tuy nhiên, để đưa ra được những bộ luật như vậy cần rất nhiều hiểu biết cũng như những nghiên cứu chính xác đặc điểm của loại đối tượng cần nhận diện. Một kết quả nhận diện tốt phụ thuộc rất nhiều vào bộ luật cho từng loại đối tượng. Ví dụ như nghiên cứu của Crandall David J và Luo Jiebo đưa ra một cách tiếp cận để nhận diện các đối tượng có sự kết hợp của các màu sắc một cách cố định như các loại cờ, nhân vật hoạt hình, đồng phục hay logo. [2] Cách tiếp cận thứ hai như đã nói phụ thuộc rất nhiều vào bộ luật đưa ra cho mỗi loại đồ vật. Và để giải quyết vấn đề này trong các bài toán mà loại đồ vật cần nhận diện đã được chỉ định trước, người ta đã đưa ra một phương pháp tương đối hiệu quả đó đánh dấu vật cần tìm, theo đó ảnh chụp vật cần tìm sẽ chứ những điểm đặc biệt, Nhận diện và điều khiển trạng thái vật thể qua IP camera 16 giúp cho việc nhận diện bằng máy tính là dễ dàng hơn. Ví dụ về một phương pháp sử dụng cách này là nhiên cứu của nhóm tác giả J. Coughlan, R. Manduchi*, M. Mutsuzaki* và H. Shen. Rapid and Robust Algorithms for Detecting Colour Targets trong AIC Colour 05 - 10th Congress of the International Colour Association [11]. Nó đưa ra một phương thức được triển khai trên các thiết bị di động có camera cho phép tìm kiếm điểm màu đã được đánh dấu trong khoảng cách gần. Phương pháp này đạt được độ chính xác tương đối cao 95 % với một vài loại thiết bị đã được thực nghiệm với thời gian tính toán từ 0,12 đến 0,9 giây cho một bức ảnh. 2.4 Các giao thức và mô hình kết nối Do hệ thống phải kết nối tới PPC, nên việc lựa chọn, sử dụng giao thức kết nối và truyền tín hiện với PPC là việc rất quan trọng. Trong phạm vi đề tài này, chúng tôi nghiên cứu, đánh giá hai giao thức kết nối chính là Wirless B/G và Bluetooth, từ đó chọn ra một giao thức kết nối và truyền tín hiệu sử dụng cho chương trình. 2.4.1 Giao thức Bluetooth 2.4.1.1 Giới thiệu giao thức Bluetooth Bluetooth là một đặc tả công nghiệp cho truyền thông không dây tầm gần giữa các thiết bị điện tử. Công nghệ này hỗ trợ việc truyền dữ liệu qua các khoảng cách ngắn giữa các thiết bị di động và cố định, tạo nên các mạng cá nhân không dây (Wireless Personal Area Network-PANs). Bluetooth có thể đạt được tốc độ truyền dữ liệu 1Mb/s. Bluetooth hỗ trợ tốc độ truyền tải dữ liệu lên tới 720 Kbps trong phạm vi 10 m–100 m. Khác với kết nối hồng ngoại (IrDA), kết nối Bluetooth là vô hướng và sử dụng giải tần 2,4 GHz. Đặc tả Bluetooth được phát triển đầu tiên bởi Ericsson (hiện nay là Sony Ericsson và Ericsson Mobile Platforms), và sau đó được chuẩn hoá bởi Bluetooth Special Interest Group (SIG). 2.4.1.2 Giao thức nền OBEX OBEX (OBject EXchange) là giao thức trao đổi dữ liệu giữa các thiết bị dùng cổng hồng ngoại được hiệp hội IrDA (Infrared Data Association) đưa ra lần đầu tiên năm 1997. Xây dựng hệ thống giám sát và điều khiển nhà thông minh 17 Ban đầu, giao thức này chỉ giới hạn cho các thiết bị sử dụng môi trường ánh sáng hồng ngoại, nhưng rất nhanh sau đó nó được tổ chức Bluetooth SIG (Bluetooth Special Interest Group) đưa vào hầu hết các thiết bị Bluetooth của mình. Cũng giống như các giao thức khác, giao thức OBEX được xây dựng trên nền mô hình OSI (Open Systems Interconnection) (hình 2.9) bao gồm hai thành phần chính:  OBEX session protocol (giao thức phiên OBEX): mô tả cấu trúc gói tin trong phiên làm việc giữa hai thiết bị.  OBEX application framework: tập các dịch vụ OBEX cung cấp cho các ứng dụng đầu cuối như truyền file, in ảnh... Hình 2.9: Giao thức Obex 2.4.2 Giao thức wireless chuẩn B/G 2.4.2.1 Giới thiệu giao thức wireless chuẩn B/G WLAN là một loại mạng máy tính nhưng việc kết nối giữa các thành phần trong mạng không sử dụng các loại cáp như một mạng thông thường, môi trường truyền thông của các thành phần trong mạng là không khí. Các thành phần trong mạng sử dụng sóng điện từ để truyền thông với nhau. Nhận diện và điều khiển trạng thái vật thể qua IP camera 18 Công nghệ WLAN lần đầu tiên xuất hiện vào cuối năm 1990, khi những nhà sản xuất giới thiệu những sản phẩm hoạt động trong băng tần 900Mhz. Những giải pháp này (không được thống nhất giữa các nhà sản xuất) cung cấp tốc độ truyền dữ liệu 1Mbps, thấp hơn nhiều so với tốc độ 10Mbps của hầu hết các mạng sử dụng cáp hiện thời. Năm 2003, IEEE công bố thêm một sự cải tiến là chuẩn 802.11g mà có thể truyền nhận thông tin ở cả hai dãy tần 2.4Ghz và 5Ghz và có thể nâng tốc độ truyền dữ liệu lên đến 54Mbps. Thêm vào đó, những sản phẩm áp dụng 802.11g cũng có thể tương thích ngược với các thiết bị chuẩn 802.11b. Hiện nay chuẩn 802.11g đã đạt đến tốc độ 108Mbps-300Mbps. 2.4.2.2 Mô hình kết nối cơ sở (Basic service sets (BSSs)) Bao gồm các điểm truy nhập AP (Access Point) gắn với mạng đường trục hữu tuyến và giao tiếp với các thiết bị di động trong vùng phủ sóng của một cell. AP đóng vai trò điều khiển cell và điều khiển lưu lượng tới mạng. Các thiết bị di động không giao tiếp trực tiếp với nhau mà giao tiếp với các AP.Các cell có thể chồng lấn lên nhau khoảng 10-15 % cho phép các trạm di động có thể di chuyển mà không bị mất kết nối vô tuyến và cung cấp vùng phủ sóng với chi phí thấp nhất. Các trạm di động sẽ chọn AP tốt nhất để kết nối. Một điểm truy nhập nằm ở trung tâm có thể điều khiển và phân phối truy nhập cho các nút tranh chấp, cung cấp truy nhập phù hợp với mạng đường trục, ấn định các địa chỉ và các mức ưu tiên, giám sát lưu lượng mạng, quản lý chuyển đi các gói và duy trì theo dõi cấu hình mạng. Tuy nhiên giao thức đa truy nhập tập trung không cho phép các nút di động truyền trực tiếp tới nút khác nằm trong cùng vùng với điểm truy nhập như trong cấu hình mạng WLAN độc lập. Trong trường hợp này, mỗi gói sẽ phải được phát đi 2 lần (từ nút phát gốc và sau đó là điểm truy nhập) trước khi nó tới nút đích, quá trình này sẽ làm giảm hiệu quả truyền dẫn và tăng trễ truyền dẫn. Xây dựng hệ thống giám sát và điều khiển nhà thông minh 19 Hình 2.10: Mô hình mạng cơ sở 2.4.2.3 Mô hình kết nối Ad-hoc (Independent Basic Service sets (BSSs)) Các nút di động(máy tính có hỗ trợ card mạng không dây) tập trung lại trong một không gian nhỏ để hình thành nên kết nối ngang cấp (peer-to-peer) giữa chúng. Các nút di động có card mạng wireless là chúng có thể trao đổi thông tin trực tiếp với nhau, không cần phải quản trị mạng. Vì các mạng ad-hoc này có thể thực hiện nhanh và dễ dàng nên chúng thường được thiết lập mà không cần một công cụ hay kỹ năng đặc biệt nào vì vậy nó rất thích hợp để sử dụng trong các hội nghị thương mại hoặc trong các nhóm làm việc tạm thời. Tuy nhiên chúng có thể có những nhược điểm về vùng phủ sóng bị giới hạn, mọi người sử dụng đều phải nghe được lẫn nhau. Nhận diện và điều khiển trạng thái vật thể qua IP camera 20 Hình 2.11: Mô hình mạng Ad-hoc Xây dựng hệ thống giám sát và điều khiển nhà thông minh 21 Chương 3. Mô hình hệ thống giám sát và điều khiển nhà thông minh 3.1 Bài toán và mô hình chung của hệ thống 3.1.1 Hệ thống giám sát và điều khiển nhà thông minh Như đã trình bày ở trên, bài toán đặt ra trong đề tài này là xây dựng hệ thống giám sát và điều khiển nhà thông minh sử dụng camera và PPC. Hệ thống này cho phép ghi lại các hình ảnh trong một căn phòng được thu từ camera, sau đó hình ảnh này sẽ được truyền tới thiết bị di động PPC thông qua mạng không dây wireless. Tại đây người dùng sẽ nhìn thấy hình ảnh, trạng thái của các đồ vật trong phòng của mình, vị trí các đồ vật cũng đã được xác định và đánh dấu trên hình ảnh. Người dùng có thể lựa chọn những đồ vật cần điều khiển và điều khiển chúng thông qua các tính năng mà hệ thống hỗ trợ. Những tín hiệu điều khiển này sau đó sẽ được truyền về server, tại đây server sẽ xử lý và truyền tín hiệu điều khiển vừa rồi đến đúng thiết bị được chỉ định. 3.1.2 Mô hình đề xuất Với bài toán đã đề ra, chúng tôi xin đưa ra một mô hình đề xuất như sau: Hình 3.1: Mô hình hệ thống giám sát và điều khiển nhà thông minh Nhận diện và điều khiển trạng thái vật thể qua IP camera 22 Hệ thống sẽ bao gồm ba thành phần chính là phần xử lý ảnh từ camera, phần tương tác giữa người dùng với hệ thống trên PPC và phần điều khiển các thiết bị từ máy tính. Ảnh (IMAGE) sau khi thi được từ camera(ứng với kí hiệu CAMERA trên mô hình) sẽ được xử lý tại mô đun xử lý ảnh (IMAGE PROCESSING) đặt trên máy tính, nhận diện các đồ vật có trong đó, đánh dấu lại và truyền cho PPC. Tại đây (POCKET PC), PPC sẽ tái hiện hình ảnh vừa nhận được lên màn hình cảm ứng và cho phép người dùng tương tác với hệ thống, đưa ra các lệnh điều khiển (CONTROL SIGNAL) các thiết bị được lựa chọn.Các lệnh điều khiển của người dùng sẽ truyền vế máy tính và được xử lý tại mô đun quản lý thiết bị (DEVICE MANAGER), và thực hiện điều khiển trực tiếp các thiết bị thực tế (DEVICE 1, DEVICE 2, DEVICE 3...) 3.2 Các thành phần của hệ thống và các giải pháp Mô hình chung và các thành phần chính của hệ thống đã được trình bày tổng quát ở trên. Tại phần này sẽ trình bày một cách chi tiết các vấn đề cũng như giải pháp cho những bài toán nhỏ ứng với từng thành phần của mô hình lớn trên. 3.2.1 Bài toán nhận diện đối tượng trong ảnh số Như đã giới thiệu ở chương đầu của khóa luận. Trong phạm vi nghiêu cứu của khóa luận này, bài toán đề ra sẽ là nhận diện các các đối tượng là các đồ vật thiết bị điện, điện tử trong gia đình trong ảnh số thu được từ camera giám sát. 3.2.1.1 Các đặc điểm và phương pháp đề xuất Từ các nghiên cứu thực tế và các cơ sở lý thuyết đã có, bài toán đặt ra là nhận diện đối tượng trong ảnh số thu được từ camera, sau đó ảnh này sẽ được truyền trực tiếp tới PPC. Do đó, chúng ta cần phải có một thuật toán nhận diện đồ vật chính xác, và được biệt là thời gian xử lý nhanh để giảm thiểu tối đa độ trễ giữa hình ảnh thật và hình ảnh được truyền tới người dùng. Vậy với bài toán này chúng tôi đã chọn cách tiếp cận theo hướng sẽ đánh dấu các thiết bị, đồ vật cần nhận diện bằng những kí hiệu đặc biệt, để từ đó kết hợp với một bộ luật tương ứng để xác định được chính xác vị trí của đồ vật trong ảnh. Về cơ bản, các kí hiệu đánh dấu sẽ được xây dựng từ sự kết hợp giữa các màu cơ bản theo một quy luật nhất định, quy luật này sẽ khác nhau với các kí hiệu khác nhau, nhằm đảm bảo ta có thể nhận được nhiều đối tượng khác nhau trong cùng một hình.Với cách tiếp cận này, chúng ta cố một số khó khăn gặp phải như sau: (1) Do cấu tạo của các thiết bị phần cứng (camera, màn hình máy tính...) ảnh màu luôn được biểu diễn dưới dạng lưới các điểm ảnh (pixel) mà mỗi điểm ảnh lại được biểu diễn bởi 3 thành phần màu cơ bản đó là đỏ-xanh lá cây- xanh lam (RGB: Xây dựng hệ thống giám sát và điều khiển nhà thông minh 23 Red- Green - Blue). Đây là cách biểu diễn phù hợp với máy tính tuy nhiên nó lại không thực sự phù hợp với mắt của con người. Người dùng thường khó tưởng tượng được một chút đỏ cộng một chút xanh thì ra màu gì. (2) Cũng từ cách biểu diễn như trên, với một ví dụ đơn giản, có 2 điểm ảnh có cùng màu đỏ song độ sáng khác nhau, mắt người nhìn có thể đưa ra nhận xét luôn là 2 điểm đó cùng màu tuy nhiên với 2 thành phần RGB thì máy tính sẽ cho 2 điểm đó hoàn toàn khác nhau không có điểm chung gì cả. Đặc biệt là hình ảnh được thu từ camera nên khả năng bức ảnh thay đổi độ sáng vì các yếu tố tự nhiên con người là rất cao. (3) Việc sử dụng camera để chụp ảnh còn cho ta những sai số về màu sắc nhất định. Trong thực tế bên ngoài nó là màu đỏ nhưng sau khi camera chụp lại nó không còn thực sự là màu đỏ nữa. Điều này là do cấu tạo phần cứng của camera, mỗi một camera khác nhau lại làm cho màu sắc thay đổi theo những chiều hướng khác nhau., điều này ảnh hưởng không nhở đến kết quả nhận diện. (4) Màu sắc thường thay đổi khi ghi lại bằng camera và khả năng xuất hiện các vùng màu giống trong khung hình cũng dễ xảy ra. Điều này sẽ gây ra nhiều sai số trong quá trình nhận diện. Để giải quyết một số vấn đề được để cập trên, chúng tôi xin đề xuất hướng giải quyết như sau:  Để giải quyết vấn đề 1) và 2), ta nên sử dụng không gian màu HSV thay vì không gian màu RGB vì một số ưu điểm của nó như sau: o Thành phần dự liệu về màu sắc của điểm ảnh được tập trung vào giá trị H chứ không còn phụ thuộc vào cả 3 thành phần RGB nên các giá trị và sự so sánh về màu sẽ chính xác hơn. o Thành phần dự liệu về độ sáng cũng được tập trung vào giá trị V nên khi so sánh ta có thẻ loại đi được phần nào sự ảnh hưởng của việc độ sáng của ảnh thay đối, sai khác do cái yếu tố tự nhiên hay con người gây ra trong quá trình ghi lại hình ảnh của camera.  Để giải quyết vấn đề 3) đòi hỏi chúng ta phải thực hiện những tính toán thực tế trên thiết bị để qua đó tìm ra sự sai khác giữa sự màu sắc thực tế và màu sắc sau khi thu được từ camera, hay nói cách khác chúng ta sẽ có những màu chuẩn trong thực tế Nhận diện và điều khiển trạng thái vật thể qua IP camera 24 mà tìm phổ của màu này sau khi được ghi lại bằng camera. Và việc nhận diện sẽ được thực hiện dựa trên phổ màu này.  Để giải quyết vấn đề 4) ta cần có những kí hiệu đánh dấu đặc biệt, xác suất có kí hiệu giống như thế là thấp. Tuy nhiên vẫn cần đảm bảo tính đơn giản, dễ làm nên có một cách tương đối tốt là sử dụng kí hiệu đánh dấu là các hình có sự kết hợp bởi các màu khác nhau theo một quy luật nhất định. Khi đó việc nhận diện không chỉ sử dụng màu và còn sử dụng mối quan hệ giữa các cùng màu trong vật được đánh dấu. 3.2.1.2 Thuật toán đề xuất Từ những nhận xét trên, chúng tôi xin đưa ra mô hình thuật toán nhận diện đối tượng trong ảnh số như sau: Hình 3.2: Mô hinh thuật toán nhận diện đối tượng trong ảnh số Các thành phần trong mô hình trên:  RGB IMAGE: ảnh thu được từ camera được biểu diện trong hệ màu RGB. Xây dựng hệ thống giám sát và điều khiển nhà thông minh 25  CONVERT TO HSV: mô đun tính toán và chuyển dự liệu của ảnh từ không gian màu RGB sang không gian màu HSV.  HSV IMAGE: ảnh được biểu diễn bới hệ màu HSV.  COLOR HISTOGRAMS: phổ của những màu mẫu ứng với camera sử dụng.  TARGET OBJECT: màu đại diện cho đối tượng cần nhận diện.  TARGET RULES: luật kết hợp giữa các màu trong kí hiệu đánh dấu.  COLOR OBJECT DETECTION: mô đun nhận diện đối tượng sử dụng bộ luật dựa trên màu đặc trưng của nó .  OUTPUT IMAGE: Ảnh sau khi được xử lý, đã xác định được vị trí của đồi tượng cần nhận diện. Mô tả chi tiết các bước của thuật toán như sau:  Bước 1:  Input: RGB IMAGE  Output: HSV IMAGE  Mô tả: Ảnh đưa vào dưới dạng RGB sẽ được chuyển qua thành dạng HSV, theo đó tại mỗi điểm ảnh sẽ có 3 thành phần dữ liệu đó là chỉ số H là chỉ số về màu (từ 0 tới 180 tương ứng với các màu từ đỏ tới tím), S là độ xám (từ 0 tới 255 tương ứng với 0 tới 100%), V là độ sáng (cũng từ 0 tới 255 tương ứng với từ đen tới trắng).  Bước 2:  Input: HSV IMAGE, TARGET COLOR, TARGET RULES, COLOR HISTOGRAMS  Output: OUTPUT IMAGE  Mô tả: Tại bước này, chương trình sẽ dựa vào đối tượng cần tìm (TARGET OBJECT) cùng bộ luật tương ứng với đối tượng đó (TARGET RULES) kết hợp với phổ màu thực tế của camera (COLOR HISTOGRAMS) để tìm ra chính xác bị trí của đối tượng. Nhận diện và điều khiển trạng thái vật thể qua IP camera 26 Một số bộ luật được đề xuất: Cách 1: Các kí hiệu đánh dấu sẽ là một hình vuông kết hợp bởi 4 hình vuông nhỏ với các màu sắc khác nhau được sắp xếp có thứ tự(ví dụ: hình 3.3 a) (a) (b) Hình 3.3: Một mẫu kí hiệu đánh dấu Theo đó nhiệm vụ của chúng ta sẽ là tìm ra tọa độ của các điểm nằm trong vùng kí hiệu trên. Việc tìm kiếm sẽ tập trung tìm kiếm vào điểm O là điểm ở chính giữa vùng kí hiệu này. Việc tìm kiếm sẽ được thực hiện theo phương pháp sau: Ta sẽ duyệt từng điểm trên ảnh, tại mỗi điểm ta sẽ kiểm tra 4 điểm xung quanh nó theo thứ tự sẽ nằm về 4 góc theo phương của các đường phân giác của các góc ở tâm (ví dụ điểm O có 4 điểm xung quanh là P1, P2, P3, P4 trên hình 11 b). Điều kiện kiểm tra 4 điểm này sẽ là chúng phải thuộc 4 màu theo thứ tự đã quy định trước(ví dụ như trong hình 11b, ta phải kiểm tra P1 có là màu đỏ không, P2 có là màu vàng không, P3 có là màu xanh lam không, P4 có là màu xanh rêu không?). Nếu cả 4 điểm đều thỏa mãn điều kiện thì điểm được duyệt được xác nhận là điểm cần tìm kiếm. Tuy nhiên có thể thấy là khi ảnh được chụp bằng camera thì hình ảnh đa phần sẽ không được nét, các điểm gần nhau sẽ thường có độ nhòe nên màu của chúng gần giống nhau, vì thế ta sẽ không kiểm tra 4 điểm ngay sát điểm xét mà sẽ tìm 4 điềm cùng cách điểm cần sét 1 khoảng. Ngoài ra, từ việc kiểm tra như trên, dễ thấy nếu điểm được xét thỏa mãn thì rất có thể điểm bên cạnh của điểm này cũng thỏa mãn, do đó cần có một cách nhóm những điểm gần nhau thư thế lại một vùng. Ở khóa luận này, chúng tôi chọn một cách đơn giản là khi tìm thấy một điểm thỏa mãn sẽ khoanh vùng luôn một hình vuông lớn chứa trọn vẹn kí hiệu cũng như đồ vật cần nhận diện, theo đó nếu những điểm tiếp theo vẫn thuộc hình vuông này sẽ bị bỏ qua. Hơn nữa việc kiểm tra xác định màu chính xác theo thứ tự của 4 điểm xung quanh nên dễ dàng thay đổi thứ tự các điểm để ra một kí hiệu mới. Điều này cho phép đánh dấu được nhiều đối tượng. Xây dựng hệ thống giám sát và điều khiển nhà thông minh 27 Đánh giá: với cách này, việc tạo ra các kí hiệu đánh dấu là khá đơn giản, mà vẫn đảm bảo tính đặc biệt của kí hiệu (xác suất có vật tương tự trong thực tế là không cao). Do đó hiệu quả trong việc đánh dấu và nhận diện. Cách 2: Các kí hiệu đánh dấu sẽ là một hình vuông có màu sắc thay đổi một cách tuyến tính từ trái sang phải, từ trên xuống dưới (ví dụ: hình 3.4) Hình 3.4: Mộ mẫu kí hiệu đánh dấu khác Theo đó nhiệm vụ của chúng ta sẽ là tìm ra tọa độ của các điểm nằm trong vùng kí hiệu trên. Việc tìm kiếm sẽ tập trung tìm kiếm vào nằm ở góc phải dưới của vùng kí hiệu này. Việc tìm kiếm sẽ được thực hiện theo phương pháp sau: Ta cần sử dụng 2 danh sách, 1danh sách lưu các điểm đã xét theo chiều ngang, 1 danh sách lưu các điểm đã xét theo chiều dọc và một hệ số cố định T. Ta sẽ duyệt từng điểm trên ảnh, tại mỗi điểm ta sẽ kiểm tra điểm bên phải của nó có chỉ số màu (H) lớn hơn chỉ số màu của nó không, nếu lớn hơn đưa điểm này vào danh sách thứ nhất nếu không kiểm tra tiếp độ dài của danh sách có lớn hơn hệ số T chưa, nếu lớn hơn ghi lại như một điều kiện cần, nếu nhỏ hơn bỏ qua xóa hết các phần tử trong danh sách thứ nhất, sau đó kiểm tra tiếp điểm bên dưới nó có chỉ số màu lớn hơn nó không, nếu lớn hơn đưa điểm này vào danh sách thứ 2, nếu không kiểm tra tiếp độ dài của danh sách có lớn hơn hệ số T chưa, nếu lớn hơn ghi lại như một điều kiện cần, nếu nhỏ hơn bỏ qua xóa hết các phần tử trong danh sách thứ hai. Việc tìm kiếm kết thúc khi một điểm thỏa mãn cả 2 điều kiện cần, hoặc duyệt qua hết các điểm ảnh. Ý tưởng chính của cách này là dựa trên nhận xét, xác suất để một điểm có màu tăng liên tục theo cả 2 chiều trong một khoảng liên tục là rất nhỏ. Nhận diện và điều khiển trạng thái vật thể qua IP camera 28 Đánh giá: với cách này việc tìm kiếm có vẻ đơn giản hơn vì chỉ xét 2 điểm bên phải và bên dưới, xong do đặc điểm của ảnh chụp từ camera hay bị nhiễu nên rủi ro do màu bị biến đổi sai là hay xảy ra dẫn đến khả năng nhận diện bị giảm. Trên thực tế, sau khi có một số nhận xét đánh giá và so sánh, chúng tôi đã chọn cách thứ nhất để áp dụng trong khóa luận này. 3.2.1.3 Đánh giá Đánh giá sơ bộ về thuật toán: Mặc dù thuật toán đơn giản xong với giả thiết bài toán đã đặt ra là các màu trong được chỉ định trước đồng thời đã có các thực nghiệm để xác định phổ màu của các màu chỉ định nên có thể tìm tương đối chính xác những điểm màu cần tìm. Việc sử dụng màu sắc kết hợp với một quan hệ giữa chúng sẽ giúp việc nhận diện chính xác hơn. Đối với phạm vi của khóa luận này thì thuật toán trên là khá phù hợp. 3.2.2 Kết nối và tương tác với PPC Để giải quyết vấn đề kết nối và truyền dữ liệu giữa PC và PPC, chúng ta có hai lựa chọn là sử dụng giao thức Bluetooth hoặc Wirless B/G. Sau khi nghiên cứu trên các tính chất của Wireless B/G và Bluetooth, chúng tôi có so sánh: Bảng 3.1: Bảng so sánh Wireless B/G và Bluetooth STT Tiêu chí Wireless Bluetooth Sử dụng điển hình (Typical usage) Phiên bản không dây của chuẩn Ethernet (wirelessEthernet), chỉ thay thế cáp cho truy cập mạng LAN. Truy cập mạng không dây với khoảng cách dài. Thay thế cáp cá nhân (wireless USB) cho nhiều ứng dụng khác nhau. Truy cập mạng không dây với khoảng cách trung bình. Băng thông 11 Mbps, chia sẻ. 2 đến 3 Mbps với WEP. 1Mbps, chia sẻ. Version 1.1 và 1.2 là 723.1 Kbps, version 2.0 là 2.1 Mbps, thấp hơn khi bị nhiễu. Xây dựng hệ thống giám sát và điều khiển nhà thông minh 29 Nhiễu Các thiết bị sử dụng sóng radio khác, các vật liệu xây dựng, trang thiết bị. Các thiết bị sử dụng sóng radio khác, các vật liệu xây dựng, trang thiết bị. Bảo mật Không an toàn nếu không bảo vệ tốt. Cần giải quyết những trục trặc của mạng, truy cập bất hợp pháp, hi-jacking, "Đánh hơi mạng" (hay còn gọi là dò tìm lỗ hổng mạng thông qua việc dò tuần tự các gói tin ở cổng mạng khác nhau), đánh cắp phiên làm việc và truy cập trái phép. Liên kết mức độ WEP dễ bị bẻ gãy. Tin cậy vào những truy cập ở cấp độ ứng dụng và sự Mật hoá. Bảo mật thấp. Liên kết được thiết lập ở mức độ sự thẩm định quyền (authentication). Khó khăn hơn cho traffic sniffing. Vẫn còn phụ thuộc vào sự thẩm định quyền ở cấp độ ứng dụng và sự mật hoá. Tiêu thụ năng lượng Khá cao. Thời gian sử dụng pin rất ngắn do tiêu thụ nhiều năng lượng và duy trì kết nối. Thấp. Khoảng cách (ngoài trời) 200 m - 11 Mbps. 500 m - 1 Mbps. 30 m-100 m Khoảng cách (trong nhà) 40 m - 11 Mbps. 100 m - 1 Mbps. 10 m-30 m. Số kênh 11 DSSS. 79—FHSS. 79 Nhận diện và điều khiển trạng thái vật thể qua IP camera 30 Năng lượng truyền tối đa 20 dBm—FHSS. 30 dBm—DSSS. 20 dBm Tần số 2.4GHz -b/g 5.8GHz – a 2.4GHz Giá thành Cao Thấp Thiết bị hỗ trợ Hỗ trợ trong một số laptop hiện đại, PDA: đòi external H/W card, Notebook computer, desktop computer, server. Hỗ trợ trong laptop hiện đại, nhiều điện thoại di động, PDA, thiết bị điện tử, thiết bị tự động trong công nghiệp và văn phòng Vị trí sử dụng Ở trong tầm hoạt động của các thiết bị WLAN, thường là trong các toà nhà. Bất cứ nơi nào có ít nhất 2 thiết bị Bluetooth. Số thiết bị có thể truy cập đồng thời Nhiều, chia sẻ. IP&P2P. Tối đa 8, chia sẻ. P2P. Do các thành phần hệ thống trên PC và PPC phải thường xuyên trao đổi dữ liệu với nhau, nên yếu tố tốc độ và kết nối với khoảng cách xa là tiêu chí đầu tiên. Sau khi đánh giá lựa chọn, trong thời điểm hiện tại, chúng tôi sử dụng giao thức kết nối và truyền tín hiệu là Wirless B/G. Hơn nữa, do giao thức Wirless B/G được hỗ trợ rất nhiều trong thư viện .NET trên hệ điều hành Windows Mobile, việc cài đặt chương trình trở nên đơn giản hơn rất nhiều. Quá trình tương tác với PPC sẽ được hỗ trợ bới đề tài "Xây dựng hệ thống giám sát và điều khiển nhà thông minh: Quan sát và điều khiển trên PPC", sinh viên Trần Duy Hưng. Xây dựng hệ thống giám sát và điều khiển nhà thông minh 31 3.2.3 Điều khiển các thiết bị điện điện tử từ máy tính Trong phạm vi của đề tài này, việc điều khiển các thiết bị điện điện tử với các chức năng đơn giản như tắt, bật. Do đó chúng tôi chọn giải pháp là sử dụng một thiết bị điện tử cho phép kết nối với máy tính với các thiệt bị cần điều khiển. Thiết bị này sẽ cần có một số thành phần phần cứng chính như sau:  Một bộ vi xử lý để thực hiện các tính toán logic và điều khiển.  Một khối kết nối: cung cấp các thành phần dùng để giao tiếp với máy tính.  Một khối công suất cho phép thực hiện việc điều khiển các thiết bị ngoại vi.  Ngoài ra có thể có một khối hiển thị cho phép hiển thị các trạng thái của hệ thống. Để thực hiện việc điều khiển ta cũng cần định nghĩa các giao thức trong giao tiếp giữa thiết bị trên và máy tính. Một bộ biên dịch để dịch các lệnh ra mã máy... Nhận diện và điều khiển trạng thái vật thể qua IP camera 32 Chương 4. Thực nghiệm và chương trình demo 4.1 Cấu trúc của chương trình demo Từ yêu cầu của bài toán, dựa trên các cơ sở lý thuyết đã có chúng tôi đã xây dựng một chương trình demo thực tế cho mô hình và các giải pháp đã đề xuất. Chương trình demo gồm những thành phần chính như sau:  CameraManager mô đun bao gồm: o PictureReceiver: Tiếp nhận các hình ảnh thu được từ camera, xử lý sơ bộ để tạo ra một dự liệu theo chuẩn. o PictureRecognizer: Nhận diện các hình ảnh thu được từ camera đã qua xử lý để xác định vị trí cũng như trạng thái của các thiết bị. o PictureSender: Từ kết quả nhận được từ PictureRecognizer xây dựng nên hình ảnh hoàn thiện để gửi sang PDA (hình ảnh dung lượng vừa phải...).  ConnectionManager mô đun bao gồm: o PCPictureSender: Gửi hình ảnh từ computer sang PDA. o PDAPictureReceiver: Nhận hình ảnh từ PC. o PDAControl : Gửi tín hiệu điều khiển từ PDA-> PC. o PCListener: Nhận tín hiệu điều khiển từ PDA.  PDAApplication mô đun bao gồm: o PictureDisplay: Nhận và hiển thị hình ảnh lên màn hình PDA. o TouchscreenHandler: Nhận và xử lí tín hiện nhận được từ màn hình cảm ứng.  DevicesControler mô đun bao gồm: o ActionRecognizer: nhận diện tín hiệu từ PDA đưa ra thành lệnh điều khiển. o DeviceControler: Nhận lệnh và điều khiển thiết bị. o CameraControler: điều khiển Camera (zoomin, zoomout, move...). Xây dựng hệ thống giám sát và điều khiển nhà thông minh 33 Để giải quyết các vấn đề kỹ thuật và công nghệ một cách hiệu quả, chúng tôi đã chọn sẽ phát triển hệ thống trên môi trường sau:  Cấu hình máy tính: Tốc độ 2x1.7GHz, bộ nhớ 1GB RAM.  Hệ điều hành: Windows XP.  Ngôn ngữ: C#.  Các thư viện hỗ trợ: OpenCV  Nền tảng: .NET framework.  Công cụ: Visual Studio 2005. 4.2 Các thành phần chính và thực nghiệm trong chương trình demo 4.2.1 Mô đun nhận và xử lý ảnh từ camera 4.2.1.1 Nhận ảnh từ camera Trong khóa luận này, camera được sử dụng là IP camera Panasonic BL-C1, một loại camera cấu hình vừa phải có chức năng chủ yếu là ghi lại hình ảnh và truyền qua môi trường mạng. Vì tính chất đó, nên việc thu nhận hình ảnh từ camera sẽ thực hiện thông qua giao thức HTTP. 4.2.1.2 Xử lý và nhận diện đối tượng trong ảnh Kí hiệu đánh dấu: Trong thực nghiệm này, chúng tôi dùng 2 loại kí hiệu để đánh dấu 2 loại thiết bị khác nhau ứng với kí hiệu A trong hình 4.1(a) và kí hiệu B trong hình 4.1(b): (a) (b) Hình 4.1: Các kí hiệu sử dụng Mỗi kí hiệu trên được làm với 2 kích thước là 100x100 mm và 120x120 Nhận diện và điều khiển trạng thái vật thể qua IP camera 34 Tính phổ màu: Tại phần này chúng tôi đã triển khai các thuật toán từ mô hình đề xuất trên các hệ thống thực tế là IP camera Panasomic BL-C1. Như đã trình bày trong chương 3, với mỗi loại camera khác nhau thì độ sai lệch về màu sắc mà nó tạo ra là khác nhau nên chúng ta cần tính toán phổ từng màu trong thực tế. Trong phạm vi khóa luận này, để làm được điều trên chúng tôi đã thực hiện thực nghiệm sau. Sử dụng camera tiến hành chụp ảnh các màu mẫu trong phòng thí nghiệm Toshiba dưới các điều kiện khác nhau về ánh sáng (từ đèn, từ tự nhiên...), khoảng cách (với khoảng cách trong khoảng từ 1 tới 8 m)... Sau khi thống kê trên khoảng 200 bức ảnh chụp tập trung vào 4 màu chính là đỏ, vàng, xanh rêu, xanh lam kết quả thu được được mô tả trong biểu đồ sau (hình 4.2) Color histograms 0.00% 10.00% 20.00% 30.00% 40.00% 50.00% 60.00% 0 10 20 30 40 50 60 70 80 90 100 110 120 130 140 150 160 170 Hue Pe rc en ta ge Yellow Green Blue Red Hình 4.2: Biểu đồ phân bố các màu đỏ, vàng, xanh rêu, xanh lam trong hệ màu HSV Trong biểu đồ trên trục hoành là trục ứng với độ đo màu (H) trong hệ màu HSV (từ 0 tới 180), trục tung là tỉ lệ phần trăm các số các điểm có chỉ số màu là h trên tổng số các điểm có màu cùng loại (chúng ta có 100 điểm màu đỏ trong đó có 50 điểm có chỉ số h=174 thì giá trị tại trục tung của điểm có hoành độ là h=174 sẽ là 50%). Ngoài Xây dựng hệ thống giám sát và điều khiển nhà thông minh 35 ra từ biểu đồ trên ta cũng suy ra được khoảng tập trung của các màu khác nhau như bảng dưới đây (bảng 4.1): Bảng 4.1: Bảng phân bố màu tập trung Màu Khoảng (theo độ H) Tỉ lệ Đỏ 172-179 97% Vàng 18-28 99% Xanh rêu 58-72 97% Xanh lam 107-116 98.5 % Số liệu ở bảng trên sẽ được dùng như thông tin chính để kiểm tra màu của một điểm ảnh trong quá trình so sánh sau này. Kĩ thuật nhận diện: Với mô hình đã đề xuất, các kĩ thuật nhận diện được triển khai trên môi trường sau:  Ngôn nhữ lập trình: C++.  Thư viện sử dụng:OpenCV.  Công cụ: Visual Studio 2005. Các hàm sử dụng trong việc nhận diện được xây dựng dưới dạng một thư viện liên kết động (DLL – dynamic link library) Dưới đây là một số hình ảnh kết quả của việc nhận diện (hình 4.3 và 4.4): Nhận diện và điều khiển trạng thái vật thể qua IP camera 36 Hình 4.3: Một số ví dụ về kết quả nhận diện Xây dựng hệ thống giám sát và điều khiển nhà thông minh 37 Hình 4.4: Một số ví dụ về kết quả nhận diện Kết quả và đánh giá Kết quả nhận diện với từng loại kí hiệu được mô tả trong bảng sau: Bảng 4.2: Kết quả nhận diện Tên kí hiệu Kích thước (mm) Số lần nhận đúng Số mẫu Tỉ lệ A 100x100 87 100 87% B 100x100 83 100 83% A 120x120 94 100 94% B 120x120 91 100 91% Thời gian nhận diện mỗi đồ vật trong một ảnh dao động trong khoảng từ 200 đến 300 mili giây. Các thực nghiệm được thực hiện trên phòng thí nghiệm Toshiba-Coltech, các đồ vật được đặt trong khoảng cách không quá 6 mét. Nhận diện và điều khiển trạng thái vật thể qua IP camera 38 Khi thực hiện thực nghiệm với khoảng cách xa hơn thì kết quả giảm đi tương đối. Từ kết quả trên có thể thấy kết quả nhận diện chưa thực sự cao, khoảng cách mà hệ thống có thể nhận diện tốt còn ngắn (6 mét), hình ảnh dùng để đánh dấu còn khá to. Kết quả nhận diện còn chưa cao có thể có thể giải thích qua một số nguyên nhân sau:  Chất lượng hình ảnh từ camera không ổn định, có độ nhiễu và độ nhòe ảnh cao. Điều này là thực tế vì camera sử dụng là một loại netcam bình thường chất lượng ảnh đã bị làm giảm cho phù hợp với tính chất của nó là hình ảnh sẽ được truyền trên mạng LAN hoặc internet với băng thông cũng như tốc độ hạn chế.  Màu bị biến đổi bới tác động của những nguồn sáng quá mạnh như đặt quá gần cửa sổ bị ánh sáng mặt trời làm thay đổi, hay đặt quá gần đền có cường độ sáng lớn 4.2.2 Mô đun kết nối và tương tác với PPC Tại phần này, chúng tôi làm việc trên các giao thức kết nối và truyền dữ liệu dựa trên chuẩn Wireless B/G, sử dụng các thư viện được cung cấp với .NET framework. Các thành phần tương tác với PPC được triển khai trên hệ điều hành Window Mobile 5.0 được sự hỗ trợ thực hiện bới sinh viên Trần Duy Hưng trong đề tài "Xây dựng hệ thống giám sát và điều khiển nhà thông minh: Quan sát và điều khiển trên PPC". 4.2.3 Mô đun điều khiển các thiết bị điện, điện tử từ máy tính Như đã trình bày ở chương 3, để thực hiện việc điều khiển các thiết bị từ máy tính ta cần sử dụng một thiết bị trung gian. Trong phần thực nghiệm này, chúng tôi đã sử dụng một thiết bị( tạm gọi là thiết bị điều khiển trung gian - ElecDeviceControler) có cấu tạo chính như sau :  Bộ vi xử lý sử dụng chip PIC18F425  Một khối kết nối:sử dụng các thiết bị cho phép giao tiếp với máy tính thông qua cổng COM xử dụng IC max 323  Một khối công suất: sử dụng IC ULN2004A/SO để điều khiển một bộ rơ le sử dụng cho việc đóng mở các mạch điện. Với những thiết bị trên cùng bài toán đặt ra là phải thực hiện việc điều khiển từ máy tính, nên trong phần thực nghiệm này, chúng tôi có đưa ra một giao thức đơn giản Xây dựng hệ thống giám sát và điều khiển nhà thông minh 39 để thực hiện các giao tiếp truyền thông giữa máy tính và thiết bị điều khiển trung gian. Giao thức trên về cơ bản gồm các đặc điểm sau:  Các tín hiệu điều khiển được mã hóa dưới dạng 1 gói 2 bytes được biểu diễn trong hệ cơ sô 16 là A0XY. Trong đó: o A0: là mã hóa ID của thiết bị điều khiển trung gian( giúp phân biệt nó với các thiết bị khác căm vào máy tính) o X: là mã hóa ID của các thiết bị cần điều khiển. Theo đó với 4 bit này ta có thể mã hóa được tối đa 16 thiết bị. o Y: là mã hóa các lệnh có thể thực hiện trên thiết bị. Cũng theo đó ta có thể có tối đa 16 lệnh. Con số 16 này có thể là bé tuy nhiên với bài toán đơn giản của chúng ta nó là phù hợp. Chú ý: Ngoài mô ta ở trên, sẽ còn có một số gói đặc biệt sử dụng để kiểm tra trạng thái của các thành phần trong hệ thống.  Giao thức biên nhận được thực một cách đơn giản đó là mỗi khi nhận đủ một gói, nếu việc điều khiển thực hiện thành công, thiết bị điều khiển trung gian sẽ gửi lại đúng gói vừa nhần được về máy tính như một gói biên nhận.  Việc kiểm soát lỗi trên đường truyền được thực hiện bằng cách sau. Do dữ liệu được truyền trên đường truyền theo gói một byte một, mà mỗi gói dữ liệu của ta cần 2 byte nên cần có cách để kiểm tra xem có nhận đúng gói cần nhận không. Để thực hiện việc kiểm tra này hệ thống thực hiện như sau: sau khi nhận byte thứ nhất, nếu byte thứ hai không đến trong khoảng 10 mili giây kế tiếp thì coi như gói đó bị lỗi và hủy; quy ước là không truyền 2 gói dữ liệu liên tiếp trong khoảng 100 mili giây nên nếu gói nào đến trong khoảng 100 mili giây kể từ khi nhận gói trước đó cũng bị hủy bỏ, coi như lỗi. 4.3 Một số hình ảnh và mô tả về chương trình demo Chương trình demo bao gồm hai thành phần chính đó là thành phần chương trình trên server và thành phần chương trình chạy trên PPC. Trong phần này chúng tôi xin được trình bày các hình minh họa về chương trình theo luồng của hệ thống Thành phần chương trình trên server được viết dưới dạng một chương trình dòng lệnh với tên gọi là PC.ConsolerServer (hình 4.5) Nhận diện và điều khiển trạng thái vật thể qua IP camera 40 Hình 4.5: ConsolerServer khi khởi động Chương trình này cho phép người dùng thiết lập những thông tin cơ bản của hệ thống. Nhận ảnh từ camera xử lý và lưu lại ảnh cũng như thông tin về các đồ vật sau khi nhận diện. Các ảnh này sẽ được thu lại và xử lý một cách tự động với tần suất 1 giây lại cập nhật ảnh mới một lần. Thành phần thứ hai là chương trình trên PPC tên gọi là PDA.Application. Nó được viết dưới dạng một ứng dụng trên hệ điều hành window mobile 5.0. Khi khởi động chương trình này, người dùng sẽ cần chọn địa chỉ của server đang chạy và đăng nhập vào hệ thống (hình 4.6) Xây dựng hệ thống giám sát và điều khiển nhà thông minh 41 Hình 4.6: Màn hình đăng nhập Sau khi đăng nhập thành công, người dùng có thể sử dụng các chức năng của hệ thống. Người dùng có thể xem hình ảnh hiện thời ghi lại bởi camera, hình ảnh này đã được xử lý và đánh dấu vị trí của các đồ vật trong hình (hình 4.7) Nhận diện và điều khiển trạng thái vật thể qua IP camera 42 Hình 4.7: Hình ảnh đã nhận diện được tái hiện trên PPC Tại màn hình này người cùng có thể chọn đồ vật đơn giản bằng cách chọn đồ vật trên màn hình cảm ứng của PPC. Chương trình sẽ hiện ra một bảng điều khiển cho phép người dùng điều khiển các đồ vật(hình 4.8). Xây dựng hệ thống giám sát và điều khiển nhà thông minh 43 Hình 4.8: Bảng điều khiển thiết bị Ngay sau đó tín hiệu điều khiển này sẽ được truyền tới chương trình trên server. ( hình 4.9) Hình 4.9: ConsolerServer khi nhận lệnh điều khiển từ PPC Sau khi nhận được lệnh điều khiển từ PPC , ConsolerServer sẽ kiểm tra trạng thái của thiết bị và thực hiện điều khiển thiết bị đó. Nhận diện và điều khiển trạng thái vật thể qua IP camera 44 Lệnh và trạng thái của các thiết bị điều khiển sẽ được hiện trên phần hiển thị trạng thái của thiết bị điều khiển trung gian (hình 5.9). Hình 4.10: Thiết bị điều khiển trung gian 4.4 Kết quả và đánh giá Đã xây dựng được một hệ thống giám sát và điều khiển nhà thông minh đơn giản sử dụng IP camera. Các đồ vật được nhận diện và điều khiển khá chính xác. Tuy nhiên, chương trình cũng có một số hạn chế như: thời gian để ảnh truyền từ PC về PPC còn chưa thực sự nhanh, dung lượng bộ nhớ yêu cầu của chương trình trên PC là khá lớn. Xây dựng hệ thống giám sát và điều khiển nhà thông minh 45 Chương 5. Kết luận và hướng phát triển 5.1 Kết luận Qua việc nghiên cứu và tiến hành triển khai đề tài “xây dựng hệ thống giám sát và điều khiển nhà thông minh: nhận diện và điều khiển trạng thái vật thể qua ip camera”, chúng tôi đã đạt được một số thành quả như sau:  Đưa ra được một phương pháp nhận diện đồ vật đơn giản, thời gian xử lý nhanh mà vẫn đảm bảo được độ chính xác tương đối cao.  Đã triển khai được một cách điều khiển các thiết bị trong nhà với những chức năng cơ bản từ máy tính sử dụng những giao thức đơn giản kết hợp với các thiết bị điện tử thông dụng.  Xây dựng được một hệ thống giám sát và điều khiển nhà thông minh đơn giản với các chức năng cơ bản là cho phép ghi lại hình ảnh một căn phòng, tái hiện lên màn hình cảm ứng của PPC. Đồng thời cho phép điều khiển các thiết bị thông qua việc nhận diện chúng trong ảnh. Những kết quả trên cùng với các kiến thức đã tích lũy được trong quá trình nghiên cứu sẽ là tiền đề cho việc phát triển một hệ thống nhà thông minh thực sự hoàn thiện với những giải pháp tốt về mặt công nghệ cũng như thỏa mãn tối đa nhu cầu của người sử dụng như tính tự động, linh hoạt, độ chính xác, tốc độ và đặc biệt là phải thật sự thân thiện với con người. 5.2 Hướng phát triển của đề tài Hiện tại, đề tài mới chỉ dừng lại ở việc phát triển 2 thành phần của một ứng dụng hệ thống giám sát và điều khiển nhà thông minh đơn giản. Trong tương lai, đề tài cần được nghiên cứu và phát triển theo một số hướng chính sau:  Bài toán nhận diện đồ vật: Cần phát triển thuật toán, định nghĩa các luật tốt hơn nhằm tăng độ chính xác cũng như tốc độ nhận diện. Phát triển các bộ luật để sinh ra được nhiều cách đánh dấu hiệu quả hơn để có thể áp dụng cho một hệ thống lớn hơn. Ngoài ra, cần kết hợp việc nhận diện với việc luồng hóa dữ liệu ảnh thu được từ camera thành video để có thể truyền hình ảnh liên tục và trong thời gian thực.  Bài toán điều khiển các thiết bị từ máy tính: với bài toán này chúng ta có hai hướng phát triển. Thứ nhất là phát triển phương pháp đang triển khai tức là sử dụng Nhận diện và điều khiển trạng thái vật thể qua IP camera 46 một thiết bị trung gian để điều khiển các thiết bị khác. Tuy nhiên cách này có một điểm yếu lớn đó là, các đồ vật thì đa dạng phong phú với rất nhiều những chức năng khác nhau, hơn nữa các nhà sản xuất thường không cung cấp các phương thức giao tiếp trực tiếp với thiết bị nên các chức năng có thể điều khiển được bằng phương pháp này là không nhiều và chất lượng điều khiển cũng khó đạt kết quả cao. Do đó chúng ta có cách thứ hai đó là hợp tác với các nhà sản xuất, cố gắng xây dựng nên những chuẩn trong truyền thông và giao tiếp giữa các thiết bị và máy tính, nó sẽ giúp việc phát triển một hệ thống hoàn chỉnh, tính thống nhất cao, tạo được những tiện lợi tối đa cho người dùng. Đó là hướng phát triển chi tiết của các bái toán nhỏ trong một hệ thống nhà thông minh tổng thể của chúng ta. Theo đó, việc nghiên cứu của nhóm chúng tôi sẽ là xây dựng nên một hệ thống nhà thông minh hoàn chỉnh với các tiêu chí sau:  Cung cấp một chức năng giám sát hoàn thiện hơn, theo đó không chỉ giám sát ngôi nhà bằng hình ảnh mà còn giám sát bằng trạng thái của bản thân các thiết bị trong nhà.  Cùng với chức năng giám sát sẽ là những chức năng về an ninh an toàn như khả năng tự cảnh báo nhanh nhất tới người dùng mà cụ thể là chiếc PPC của người dùng các mối đe dọa như hỏa hoạn, trộm đột nhập ...  Việc giám sát cũng như điều khiển cần được thực hiện trong thời gian thực.  Phát triển các công nghệ kết nối cho phép người dùng có thể điều khiển ngôi nhà của mình đa dạng hơn ( có thể dùng kết nối bluetooth, hay là kết nối thông qua internet ...) Trên đây là một số hướng nghiên cứu cụ thể trong tương lai giúp chúng ta có một ngôi nhà thực sự “thông minh”. Xây dựng hệ thống giám sát và điều khiển nhà thông minh 47 TÀI LIỆU THAM KHẢO [1] Claudio Caldato, Andrea Monaci, Douglas Heins. Document analysis method to detect BW/color areas and corresponding scanning device. United State Patent, 2004 [2] Crandall David J, Luo Jiebo. Method for detecting color objects in digital images. [3] H. Rowley, S. Baluja, T. Kanade. Rotation Invariant Neural Network- Based Face Detection. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 1998 [4] H. Schneiderman and T. Kanade. A Statistical Method for 3D object detection applied to faces and cars. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2000 [5] [6] [7] [8] [9] [10] Huan Wang, Wynne Hsu, Kheng Guan Goh, Mong Li Lee. An Effective Approach to Detect Lesions in Color Retinal Images. [11] J. Coughlan, R. Manduchi*, M. Mutsuzaki* và H. Shen. Rapid and Robust Algorithms for Detecting Colour Targets. In AIC Colour 05 - 10th Congress of the International Colour Association, 2005 [12] Kia Silverbrook, Paul Lapstun. Digital image detection method and apparatus. United State Patent, 2002