基于OpenMV的商店客流量監(jiān)測系統(tǒng)的設計

華南理工大學廣州學院 許龍銘 紀培燁

本文介紹一種使用機器視覺算法進行圖像處理的方法來進行客流量統(tǒng)計，通過開源、低成本的機器視覺模塊OpenMV編程實現(xiàn)人臉識別，從而判斷是否有人進入商店的智能化系統(tǒng)設計。OpenMV以STM32作為核心，搭載MicroPython 操作系統(tǒng)，通過Python語言編程實現(xiàn)Haar Cascade特征檢測算法識別人臉。硬件系統(tǒng)經過圖像處理得到的人流量數(shù)據通過NB-IoT窄帶物聯(lián)網模塊發(fā)送到阿里云服務器中，管理員通過手機APP訪問服務器獲取相關商店經營數(shù)據，通過查看數(shù)據可直觀了解商店每日客流量。

概述：商業(yè)街是指為數(shù)眾多的零售商店集中在一個區(qū)域內，以一定的規(guī)模和規(guī)律，形成帶狀的企業(yè)群體（趙黎明,吳文清,劉嘉焜.基于客流量相關系數(shù)的商業(yè)街規(guī)劃抉擇研究[J].統(tǒng)計與決策,2006(3):6-7）。而商店的客流量大小直接影響到商業(yè)街的繁榮與否，關系到大部分企業(yè)群體的生存發(fā)展。近幾年，自動人流量統(tǒng)計系統(tǒng)的開發(fā)已經成為一個熱點，通過對國內外現(xiàn)有的已投入市場的自動人流量統(tǒng)計系統(tǒng)進行調查，自動人流量統(tǒng)計系統(tǒng)的實現(xiàn)方法主要有接觸式和非接觸式兩種設計思路。接觸式有入口機械欄桿裝置、踏板壓力傳感器等，非接觸式有紅外檢測技術、視頻統(tǒng)計技術等。無論是接觸式還是非接觸式人流量統(tǒng)計技術都存在一定弊端，接觸式需要安裝一定體積的檢測設備，對場地有一定限制。紅外檢測非接觸式則容易收到干擾，并且檢測準確度低，視頻統(tǒng)計非接觸式則需要配置高的計算機進行大型數(shù)據處理。

現(xiàn)在國內外對于深度圖像的研究還處在初級階段，基于深度圖像的客流量統(tǒng)計的研究更是不多，因此本設計具有廣闊的研究空間。

1 系統(tǒng)總體設計

圖1 系統(tǒng)結構圖

基于OpenMV的商店客流量監(jiān)測系統(tǒng)組成如圖1所示，OpenMV攝像頭主控是由STM32F765VI ARM Cortex M7 處理器和一個OV7725攝像頭組成的一體功能模塊，通過MicroPython語言編程運用圖像處理算法實現(xiàn)人臉檢測，從而準確的檢測到每個特定時間段商店的客流量數(shù)據。OpenMV攝像頭主控將處理后的數(shù)據通過NBIOT窄帶物聯(lián)網模塊使用高覆蓋的蜂窩網絡發(fā)送至阿里云服務器中存儲，商店管理人員使用專門的手機APP訪問服務器獲取數(shù)據，并在APP中生成每天每個時間段商店的客流量以及對應的每個時段的客流量曲線分析圖等。

2 系統(tǒng)硬件設計

2.1 硬件組成原理概述

硬件系統(tǒng)是每個產品的首要設計，基于OpenMV的商店客流量監(jiān)測系統(tǒng)的硬件組成結構圖如圖2所示，由OpenMV攝像頭主控進行圖像處理，處理完成后將相關數(shù)據通過串口發(fā)送到NB-IOT窄帶物聯(lián)網模塊，此時如果NB-Iot模塊的SIM卡槽裝載了電信的NB網絡數(shù)據卡后能使模塊連入到電信專有的物聯(lián)網蜂窩網絡。OpenMV攝像頭主控使用模塊專用的AT指令將數(shù)據打包后便可使用窄帶物聯(lián)網將數(shù)據上傳到服務器中。

圖2 硬件組成結構圖

2.2 OpenMV攝像頭在系統(tǒng)中的應用

整個硬件系統(tǒng)的組成中OpenMV攝像頭主控起系統(tǒng)主導功能，通過將STM32高性能處理器最小系統(tǒng)、感光元件以及成像鏡頭高效的集成在一塊硬件電路板上來實現(xiàn)圖像功能。OpenMV攝像頭主控由于使用的STM32處理器作為主控MCU，所以底層使用的是C語言編程。OpenMV模塊上搭載了一個Micro Python解釋器（梅妍玭,傅榮.基于OpenMV的3D定位識別系統(tǒng)[J] .新技術新工藝,2018(2):50-52），因此允許開發(fā)者使用MicroPython編程語言對其進行編程控制。MicroPython是一個Python 3的精簡和高效的實現(xiàn)編程語言，它包含了Python標準庫的一個小子集，同時優(yōu)化了在微控制器和受限環(huán)境中的運行（潘麗靜,張虹波,周婷婷.全自動模擬目標搜救系統(tǒng)的設計與實現(xiàn)[J].電腦知識與技術,2016(28):178-180）。Python語言能更容易的在機器視覺算法中處理復雜的輸出，因此OpenMV是專為機器視覺算法中實現(xiàn)特定圖像處理而生的開源項目。在基于OpenMV的商店客流量監(jiān)測系統(tǒng)中可以通過板載OV7725攝像頭來獲現(xiàn)場圖像，通過機器視覺算法判斷圖像中的人臉個數(shù)，從而得到實際應用中的客流量數(shù)據進行二次處理。

2.3 NB-IoT模塊硬件設計

圖3 NB-IoT模塊硬件應用框圖

NB-IoT模塊在系統(tǒng)中實現(xiàn)數(shù)據通信功能，運營商為了物聯(lián)網設備應用搭建了專門的窄帶物聯(lián)網蜂窩網絡。NB-IoT網絡具有高安全、廣覆蓋、低功耗、大連接和低成本（模組）等特點，專門用于對帶寬要求比較小以及對系統(tǒng)功耗要求低的場合，例如智能抄表、智慧農業(yè)等應用。本文選用的NB-Iot模塊是WH-NB75，模塊硬件應用框圖如圖3所示，為了保證網絡的連接，用戶層需要通過SIM卡槽提供專用的NB網絡數(shù)據卡以及通過POWER接口提供電源，而OpenMV攝像頭主控實際與NB-IoT模塊進行連接使用的是TTL串口，OpenMV攝像頭主控根據WH-NB75模塊的通信協(xié)議使用AT指令來通過串行通信實現(xiàn)網絡連接以及數(shù)據收發(fā)功能。

3 系統(tǒng)軟件設計

3.1 OpenMV攝像頭主控軟件設計

OpenMV攝像頭主控在系統(tǒng)中主要完成客流量檢測以及數(shù)據傳輸功能，其中客流量檢測通過機器視覺算法來判斷是否有人進入商店，數(shù)據傳輸則是通過向NB-IoT模塊發(fā)送AT指令來聯(lián)網以及將處理后的數(shù)據發(fā)送到阿里云服務器中存儲。

圖4 OpenMV攝像頭主控軟件流程圖

OpenMV攝像頭主控軟件開始后首先進行系統(tǒng)初始化操作，完成人臉檢測需要用到的Haar Cascade特征檢測算法庫函數(shù)的初始化以及串口初始化，后續(xù)才能調用算法來檢測人臉以及使用串口相關收發(fā)函數(shù)與NB-IoT模塊進行通信。初始化完成后通過板載攝像頭進行現(xiàn)場照片的拍攝，并對照片進行人臉檢測。如果在檢測步驟中檢測到人臉則通過累加來獲取客流量數(shù)據，然后將數(shù)據通過NB-IoT模塊發(fā)送到阿里云服務器中，發(fā)送完成后再次進行下一次拍攝檢測。如果在檢測步驟中沒有發(fā)現(xiàn)人臉則直接進行下一次拍攝檢測。

3.2 阿里云服務器軟件設計

在聯(lián)網應用設計中，云服務器常用于數(shù)據的中轉及存儲。阿里云的云服務器更支持用戶以API的方式來靈活構建一個具備伸縮性的服務器架構（陳波.阿里云服務綜覽-用API控制你的云端服務器[J].程序員,2012(2):I0010-I0015）。阿里云服務器在設計中實現(xiàn)數(shù)據存儲以及與設備、手機APP的交互功能，因此需要編程實現(xiàn)服務器的相關功能，服務器程序使用Java語言編寫。在基于OpenMV的商店客流量監(jiān)測系統(tǒng)中需要建立一個TCP服務器供OpenMV設備以及管理員手機APP連接，由于服務器仍需要將設備發(fā)送過來的客流量數(shù)據保存，因此需要在服務器程序中搭建mysql數(shù)據庫來實現(xiàn)數(shù)據存儲。

阿里云服務器軟件流程圖如圖5所示，服務器啟動后首先啟動TCP服務，設置供客戶端連接的端口號等參數(shù)后實行遠程監(jiān)聽，TCP服務器啟動完成后檢測OpenMV設備是否連接到服務器，如果設備已連接則獲取設備發(fā)送的客流量數(shù)據存儲到mysql數(shù)據庫中。然后檢測手機APP是否連接到服務器，如果手機APP已連接則向其發(fā)送mysql數(shù)據庫中的客流量數(shù)據。完成設備以及手機APP的連接檢測處理則進入下一輪檢測處理，并不斷循環(huán)。

圖5 阿里云服務器軟件流程圖

3.3 手機APP設計

手機APP主要完成服務器的連接、數(shù)據獲取以及數(shù)據應用操作，本設計中主要面向安卓手機用戶，使用Java語言編寫。Java作為一種完全面向對象的語言，擁有安全、健壯、分布、可移植等多種優(yōu)點（張旭輝.基于安卓系統(tǒng)的APP開發(fā)技術探析[J].電子制作,2016(14):34）。手機APP功能組成圖如圖6所示，手機APP是面向管理員用戶的數(shù)據應用端，因此首先需要保證的是服務器連接功能。在APP上實現(xiàn)TCP客戶端來連接阿里云服務器，連接成功后獲取客流量數(shù)據進行處理。客流量查詢功能是整個設計最基本和最重要的功能，通過手機APP客戶查看各個時間段商店的客流量數(shù)據。而歷史曲線分析功能則是在獲取了一段時間的客流量數(shù)據后生成的更直觀的監(jiān)測方式。成交率分析功能則需要管理員用戶輸入每日的成交人數(shù)來進行二次計算。

圖6 手機APP功能組成圖

表1 系統(tǒng)測試數(shù)據

4 系統(tǒng)測試

完成了整個系統(tǒng)的軟硬件設計后需要通過大量測試以及數(shù)據分析來驗證系統(tǒng)是否能投入實際應用中，首先將設備固定在天花上，攝像頭正對門口，裝載好NB網絡數(shù)據卡后上電，通過改變每次同時通過門口的人數(shù)后觀看手機APP實際檢測的人數(shù)變化，從而獲取不同人數(shù)情況下多次檢測的正確率，并將相關數(shù)據記錄表。在通過人數(shù)分別為1-8個，每次改變人數(shù)后均保證檢測次數(shù)為100次，得到系統(tǒng)測試數(shù)據如表1所示。由表1的測試數(shù)據分析可以看出在通過人數(shù)為1-3人時系統(tǒng)能保證100%的檢測正確率，而通過人數(shù)增加到4-5人時檢測正確率雖然有所下降，但仍然保持在95%以上。而當通過人數(shù)增加到6人以上時檢測正確率有較大程度的降低，因此整個系統(tǒng)的在同時通過人數(shù)在1-5人時能保證較高的檢測正確率。

5 結論

本文基于OpenMV攝像頭主控結合機器視覺算法來檢測人臉，并將檢測數(shù)據通過處理轉換為通過某點實際人流量數(shù)據，結合專門的數(shù)據存儲服務以及管理員手機APP后能應用到商店客流量檢測的實際場景中。整個系統(tǒng)具有低功耗、低成本以及運行穩(wěn)定的優(yōu)點，并且采用專有的NB-IoT窄帶物聯(lián)網來傳輸數(shù)據，保證了多用戶并發(fā)連接的可靠性，是系統(tǒng)投入商用的基本保證。

參考：趙黎明，吳文清，劉嘉焜，基于客流量相關系數(shù)的商業(yè)街規(guī)劃抉擇研究：統(tǒng)計與決策，2006；梅妍玭，傅榮，基于OpenMV的3D定位識別系統(tǒng)：新技術新工藝，2018；潘麗靜，張虹波，周婷婷，全自動模擬目標搜救系統(tǒng)的設計與實現(xiàn)：電腦知識與技術，2016；陳波，阿里云服務綜覽-用API控制你的云端服務器：程序員，2012；張旭輝，基于安卓系統(tǒng)的APP開發(fā)技術探析[J].電子制作,，2016。