基于OpenMV 的行人檢測系統(tǒng)

董振華*，何 淼

（金陵科技學(xué)院電子信息工程學(xué)院，江蘇 南京）

引言

教育部基礎(chǔ)一司在《致全國中小學(xué)生家長的一封信》中表示，溺水排在導(dǎo)致中小學(xué)生非正常死亡因素的第一位[1]。針對溺水事件的發(fā)生，建立多方合作的預(yù)防機制，在江河湖泊、水庫、池塘、水井等易發(fā)生溺水事故的危險區(qū)域設(shè)立安全警示區(qū)、警示牌和標語，及時采取防范措施，切實增強我國中小學(xué)生的防溺水安全意識。

目前大量的研究人員針對防溺水問題產(chǎn)開了研究與討論，邱睿等研究了一款基于單片機的智能防溺水背心，并自主開發(fā)了智能手機終端APP，實現(xiàn)傳感器數(shù)據(jù)與在線網(wǎng)絡(luò)數(shù)據(jù)庫的數(shù)據(jù)交換，通過心率數(shù)據(jù)與液位數(shù)據(jù)經(jīng)模糊算法處理后進行溺水狀態(tài)判斷[2]。張晶開發(fā)了一款防溺水手環(huán)，通過壓力傳感器測量人體脈搏，濕度傳感器測量系統(tǒng)外部水分，當觸發(fā)溺水條件后，CPLD(Complex Programmable Logic Device)發(fā)出指令通過電磁閥對壓縮氣囊充氣，為佩戴者提供適當浮力[3-4]。鄒旭等基于zigbee 技術(shù)開展了泳池防溺水智能泳帽的研究，通過壓力傳感器檢測溺水條件[5]。

本文介紹一種基于OpenMV 的行人檢測系統(tǒng)，由STM32F4 單片機作為終端設(shè)備采集傳感器數(shù)據(jù)，OpenMV 模塊對視頻進行人像識別并將處理后的數(shù)據(jù)發(fā)送給單片機，4G 模塊將傳感器數(shù)據(jù)打包后上傳至在線網(wǎng)絡(luò)數(shù)據(jù)庫，Web 應(yīng)用從數(shù)據(jù)庫獲取數(shù)據(jù)并在網(wǎng)頁進行顯示，本設(shè)計還加入了FreeRTOS，即實時操作系統(tǒng)，支持多個任務(wù)同時運行，提高了測量的效率，縮短了整體測量所需的時間，在運行攝像頭識別任務(wù)的同時不會對溫濕度、水位高度等數(shù)據(jù)的測量產(chǎn)生干擾，實現(xiàn)了監(jiān)測水位、監(jiān)測行人等功能。

1 系統(tǒng)整體框架

本文是一種基于OpenMV 的行人檢測系統(tǒng)，適用于在池塘、水庫、河道等水域附近使用，通過對攝像頭拍攝到的圖像進行實時識別，如果檢測到人像則會對人像位置進行數(shù)據(jù)處理，與管理員設(shè)置的安全閾值比較，并判斷風(fēng)險等級。

系統(tǒng)是基于傳統(tǒng)的物聯(lián)網(wǎng)架構(gòu)進行設(shè)計的，主要由感知層、網(wǎng)絡(luò)層、應(yīng)用層三部分組成。整體架構(gòu)如圖1 所示。感知層在整個物聯(lián)網(wǎng)框架中承擔(dān)著數(shù)據(jù)采集的工作，在本設(shè)計中由北斗傳感器、溫濕度傳感器、姿態(tài)傳感器、OpenMV 模塊、水位傳感器等硬件構(gòu)成。通過終端設(shè)備完成對與所需信息的采集任務(wù)。網(wǎng)絡(luò)層在物聯(lián)網(wǎng)架構(gòu)中主要起著信息傳遞的作用，對比多種長距離無線通信技術(shù)，4G 通訊具有顯著的特點，高數(shù)據(jù)速率、寬帶傳輸、無線即時通訊與兼容性好等優(yōu)勢，結(jié)合MQTT 協(xié)議組成了本系統(tǒng)的數(shù)據(jù)傳輸模式。應(yīng)用層在架構(gòu)中主要是完成對數(shù)據(jù)進行處理的工作，阿里云物聯(lián)網(wǎng)平臺作為本系統(tǒng)的應(yīng)用層，搭載了Web 應(yīng)用，實現(xiàn)了數(shù)據(jù)校驗、閾值報警、數(shù)據(jù)顯示、位置信息圖像顯示、設(shè)備情況管理等功能。擴大了系統(tǒng)監(jiān)管的地理范圍，提高了管理員監(jiān)按的效率，降低了突發(fā)意外事件的風(fēng)險。

圖1 系統(tǒng)整體框圖

2 系統(tǒng)硬件設(shè)計

2.1 硬件整體設(shè)計

終端設(shè)備選用STM32F4 單片機作為主按芯片，該款芯片處理速度快，具有USART、ADC、IIC、RS485 等多種外設(shè)接口、同時具有高性能、低成本、功能小等特點。系統(tǒng)的外設(shè)由OpenMV、溫濕度傳感器、北斗傳感器、水位傳感器、4G 傳感器、姿態(tài)傳感器六個部分組成，如圖2 所示，外設(shè)都與STM32F4 核心板建立通訊，通過實時操作系統(tǒng)將整體分為四個任務(wù)運行。任務(wù)一：4G 傳感器將數(shù)據(jù)打包通過MQTT 協(xié)議上傳服務(wù)器；任務(wù)二：設(shè)備安裝環(huán)境的數(shù)據(jù)測量，如溫濕度測量、水位測量、處理攝像頭識別后的返回結(jié)果，根據(jù)判斷的風(fēng)險等級進行燈光與蜂鳴器的響應(yīng)；任務(wù)三：設(shè)備狀態(tài)數(shù)據(jù)的測量，姿態(tài)傳感器與GPS/北斗傳感器測量，保證設(shè)備處在正常姿態(tài)運行，無倒伏、傾斜狀況發(fā)生；任務(wù)四：LCD 顯示，實現(xiàn)實時測量數(shù)據(jù)顯示，既可在Web 應(yīng)用中查詢歷史與實時數(shù)據(jù)，又可在本地查看實時數(shù)據(jù)。

圖2 系統(tǒng)硬件設(shè)計框圖

2.2 數(shù)據(jù)上傳部分

4G 傳感器選用的是EC200U-CN 傳感器，插入SIM 卡實現(xiàn)4G 通訊，具有高數(shù)據(jù)速率、寬帶傳輸、無線即時通訊與兼容性高等優(yōu)勢，即使在網(wǎng)絡(luò)信號不穩(wěn)定的區(qū)域，也不會發(fā)生數(shù)據(jù)傳輸不及時，保證了數(shù)據(jù)的實時性。每增加一個設(shè)備只需要單獨組網(wǎng)即可，不會破壞原有的通訊線路，具有更好的拓展性。且4G 信息的傳輸種類更加豐富，包括圖片、音頻、視頻等。

終端通過串口與4G 傳感器通信，發(fā)布AT 指令進行交互，通過MQTT 通訊協(xié)議將測量的數(shù)據(jù)發(fā)送至網(wǎng)絡(luò)數(shù)據(jù)庫，部分AT 指令如表1 所示。

表1 AT 指令

數(shù)據(jù)的存儲是基于阿里云生活物聯(lián)網(wǎng)平臺，每一臺設(shè)備都具有其唯一身份的設(shè)備證書，包含ProductKey、DeviceName、DeviceSecret 三要素，設(shè)備證書不僅是作為設(shè)備身份識別的方法之一，更是設(shè)備后續(xù)與物聯(lián)網(wǎng)平臺交流的重要憑證。

2.3 設(shè)備環(huán)境測量部分

溫濕度傳感器選用DHT22，該款傳感器可在室外零下環(huán)境中工作，適用全國大部分地區(qū)的溫濕度采集工作。該器件采用簡化的單總線通信，當主機（MCU）發(fā)起一次起始信號后，DHT22 從休眠模式轉(zhuǎn)到高速模式。待主機開始信號結(jié)束后，DHT22 發(fā)送響應(yīng)信號，從數(shù)據(jù)總線SDA 串行傳輸40Bit 的數(shù)據(jù)，先發(fā)送字節(jié)的高位；發(fā)送數(shù)據(jù)結(jié)束觸發(fā)一次信息采集，采集結(jié)束后傳感器自動轉(zhuǎn)入休眠模式，直到下一次通信來臨。

水位測量選用WT53R-TTL 傳感器，該款傳感器選用高精度激光測距傳感器，搭配相應(yīng)的光學(xué)過濾蓋片進行有效的濾除光學(xué)干擾。測距原理是設(shè)備安裝高度減去設(shè)備測量至水面的距離得到水位高度。

OpenMV 的全稱是open machine vision, 是由美國克里斯團隊基于MicroPython 發(fā)起的開源機器視覺項目，其搭載了MicroPython 解釋器，使其可以在嵌入式端進行python 開發(fā)。OpenMV 具有輕量化的優(yōu)勢，可以運行在MCU 上，具備處理高復(fù)雜度圖像信息與高速圖像信息的能力。OpenMV 進行人像識別的原理大致如下，首先利用OpenCV 對含有人像的正負樣本數(shù)據(jù)集進行訓(xùn)練，生成只可供OpenCV 調(diào)用的cascade.xml 分類器，再將xml 格式的文件通過python轉(zhuǎn)換成cascade 格式的OpenMV 可識別文件，后將生成的可識別格式文件導(dǎo)入OpenMV 即可進行圖像識別。

風(fēng)險等級判斷的原理是：首先根據(jù)攝像頭安裝的位置將圖像劃分風(fēng)險區(qū)，再按照邊界擬出相對貼合的線性方程組，當單片機接收到來自O(shè)penMV 的數(shù)據(jù)，計算坐標位于哪一風(fēng)險區(qū)，當坐標位于黃色或紅色區(qū)域時，單片機按制LED 與蜂鳴器發(fā)出警告，并在Web應(yīng)用對管理員發(fā)出預(yù)警信息。

2.4 設(shè)備狀態(tài)測量部分

姿態(tài)傳感器選用JY61P 傳感器，該款傳感器時基于MEMS 技術(shù)的高性能三維運動姿態(tài)測量系統(tǒng)。內(nèi)部采用的是MPU6050 芯片，加入了STM8 的核心處理器，內(nèi)部還結(jié)合了動力學(xué)解算與動態(tài)卡爾曼濾波算法，可實現(xiàn)高精度、高動態(tài)、實時補償?shù)娜S姿態(tài)角度。

GPS/ 北斗傳感器選用ATK-S1216F8-BD GPS/北斗模塊，傳感器與單片機的通信接口采用UART 方式，輸出的GPS/北斗定位數(shù)據(jù)采用NMEA-0183 協(xié)議（默認），按制協(xié)議為SkyTraq 協(xié)議。

2.5 LCD 顯示部分

該部分旨在為管理員提供更方便、更快捷的查看數(shù)據(jù)的方式，通過單片機外接的LCD 顯示屏顯示各個傳感器實時獲取到的數(shù)據(jù)，便于安裝時調(diào)試設(shè)備，一目了然地查看各傳感器是否正常工作，如圖3 所示。

圖3 LCD 顯示

3 系統(tǒng)軟件設(shè)計

3.1 軟件系統(tǒng)框圖

系統(tǒng)軟件部分為物聯(lián)網(wǎng)平臺、數(shù)據(jù)庫、Web 應(yīng)用平臺等，如圖4 所示，物聯(lián)網(wǎng)平臺用于與4G 傳感器通訊，接收4G 傳感器上傳的數(shù)據(jù)，驗證格式后存儲進數(shù)據(jù)庫，Web 應(yīng)用通過調(diào)用API 獲取數(shù)據(jù)庫的數(shù)據(jù)信息。最終將數(shù)據(jù)進行分類展示在不同的網(wǎng)頁。

圖4 軟件系統(tǒng)設(shè)計框圖

3.2 Web 應(yīng)用設(shè)計

3.2.1 Web 應(yīng)用獲取數(shù)據(jù)

Web 應(yīng)用通過HTTP 與物聯(lián)網(wǎng)云平臺交互，流程如圖5 所示。

圖5 云端調(diào)用流程

Web 云端通過調(diào)用獲取云端資源Token 向阿里云IoT 云端請求資源令牌（Cloud Token）；阿里云IoT云端接收到請求后返回CloudToken，以及對應(yīng)的失效時間；Web 云端使用獲取到的Cloud Token 調(diào)用阿里云IoT 云端某個具體的API。阿里云IoT 云端向返回請求的處理結(jié)果；在Cloud Token 失效前，Web 云端通過調(diào)用刷新云端資源Token 接口對當前Cloud Token進行續(xù)期，如果Cloud Token 已經(jīng)失效，則需重新調(diào)用獲取云端資源Token 接口來獲取新的Cloud Token 及其對應(yīng)的失效時間。

3.2.2 Web 應(yīng)用設(shè)計

Web 應(yīng)用共設(shè)計有4 個頁面，分別是首頁、設(shè)備管理頁、設(shè)備屬性頁、設(shè)備地圖頁。網(wǎng)站通過管理員用戶名與密碼登錄；首頁用于設(shè)備的產(chǎn)品展示與介紹；設(shè)備管理頁用于查看設(shè)備的所屬、創(chuàng)建時間以及對設(shè)備數(shù)量進行增刪操作。設(shè)備屬性頁用于展示設(shè)備的在線狀態(tài)、風(fēng)險等級、溫濕度、姿態(tài)角等傳感器數(shù)據(jù)。設(shè)備地圖頁可以清晰地顯示出設(shè)備所在的地理位置，便于管理員對大量設(shè)備進行管理，提高管按的效率，當突發(fā)意外事件時，管理員可以迅速地協(xié)調(diào)人員趕往意外地點。

結(jié)束語

本文基于物聯(lián)網(wǎng)技術(shù)，開發(fā)了這款基于OpenMV的行人檢測系統(tǒng)，以STM32F429 單片機作為終端設(shè)備，利用OpenMV 進行人像識別，通過4G 傳感器與網(wǎng)絡(luò)數(shù)據(jù)庫進行數(shù)據(jù)交互，實現(xiàn)了對視頻中人像的位置數(shù)據(jù)進行計算判斷并生成風(fēng)險等級以及周邊環(huán)境數(shù)據(jù)的測量。通過軟硬件結(jié)合的方式，在一定程度上實現(xiàn)了行人檢測設(shè)備的智能化、自動化。但是OpenMV的準確率還有待進一步的提高，技術(shù)上每1%的提高都意味著溺水身亡風(fēng)險的有效降低，有效地保障溺水者的人身安全。