基于視覺(jué)和嗅覺(jué)的控?zé)煼阑鹬悄鼙O(jiān)控系統(tǒng)

李 欣

（深圳職業(yè)技術(shù)學(xué)院 電子與通信工程學(xué)院，廣東 深圳518055）

據(jù)衛(wèi)生部發(fā)布的信息，我國(guó)目前吸煙人數(shù)達(dá)3.5 億，預(yù)計(jì)到2025年，中國(guó)每年與煙草使用相關(guān)的死亡會(huì)達(dá)到200 萬(wàn)人，占全國(guó)死亡人口總數(shù)比重的15.8%，吸煙者的人均期望壽命要比總?cè)巳旱钠谕麎勖骄s短15年[1]．我國(guó)由吸煙引起的火災(zāi)由1987年的3243 起，上升到當(dāng)前的7000 多起．目前的禁煙控?zé)焹H靠責(zé)任部門(mén)執(zhí)法和社會(huì)群眾監(jiān)督，覆蓋面窄、執(zhí)行力低，在校園、醫(yī)院等公共地方已強(qiáng)制禁煙多年，但仍未收到較好的效果[2]．因此，依靠先進(jìn)的技術(shù)手段來(lái)提高禁煙效果和責(zé)任追溯勢(shì)在必行．目前，在飛機(jī)、高速列車(chē)等重要大眾高速交通工具上已采用煙霧報(bào)警裝置，對(duì)乘客空間內(nèi)的抽煙行為具有較好的監(jiān)控措施[3]．然而，該裝置僅為一般的氣體檢測(cè)傳感器，對(duì)具體抽煙人員的辨別和取證較為困難，事故處理人員難以第一時(shí)間掌握事故現(xiàn)場(chǎng)信息，在半封閉和開(kāi)放環(huán)境下效果差等．

把人工智能引入到視頻圖像大數(shù)據(jù)中，徹底改變傳統(tǒng)視頻監(jiān)控靠人眼逐幀回放辨別的后發(fā)模式，將安防監(jiān)控技術(shù)帶入先發(fā)可視的智能時(shí)代．目前，基于視覺(jué)的智能監(jiān)控已在車(chē)牌識(shí)別、違章抓拍、人臉身份信息比對(duì)、鐵道異物檢測(cè)等領(lǐng)域得到廣泛的應(yīng)用，技術(shù)和市場(chǎng)都趨于成熟[4-5]．

1 智能監(jiān)控系統(tǒng)整體方案設(shè)計(jì)

本文提出一種以視覺(jué)為主、嗅覺(jué)為輔的吸控?zé)煼阑鹣到y(tǒng)設(shè)計(jì)方案，有別于現(xiàn)有的單一依靠視覺(jué)或嗅覺(jué)的系統(tǒng)，該方案采用深度學(xué)習(xí)算法，通過(guò)海量數(shù)據(jù)訓(xùn)練，使其能將有吸煙特征的有效幀識(shí)別出來(lái)，使得攝像頭能夠準(zhǔn)確識(shí)別煙的特征，并配合煙霧傳感器，達(dá)到準(zhǔn)確示警的目的．該方案能主要實(shí)現(xiàn)以下幾個(gè)功能：

1）智能監(jiān)控系統(tǒng)具有吸煙動(dòng)作和起火特征的視覺(jué)識(shí)別功能．針對(duì)吸煙行為檢測(cè)與識(shí)別是將視頻流轉(zhuǎn)化成連續(xù)的視頻序列幀圖像，檢測(cè)并提取分析視頻源中關(guān)鍵有用信息，識(shí)別出吸煙行為．

2）智能監(jiān)控系統(tǒng)具有對(duì)弱光環(huán)境和視頻監(jiān)測(cè)盲區(qū)進(jìn)行嗅覺(jué)監(jiān)控功能．在光照條件不好，或者吸煙攝像頭監(jiān)控盲區(qū)的情況下，啟動(dòng)煙霧嗅覺(jué)識(shí)別，使得系統(tǒng)在各種環(huán)境下均能發(fā)揮作用．

3）智能監(jiān)控系統(tǒng)具有警示報(bào)警功能．如果監(jiān)控區(qū)域出現(xiàn)吸煙人員，系統(tǒng)在自動(dòng)記錄信息的同時(shí)自動(dòng)啟動(dòng)報(bào)警裝置．

整套系統(tǒng)的設(shè)計(jì)方案如圖1所示．系統(tǒng)采用視覺(jué)和嗅覺(jué)2 個(gè)子系統(tǒng)對(duì)抽煙冒煙動(dòng)作特征進(jìn)行識(shí)別檢測(cè)，經(jīng)過(guò)降噪濾波等前處理后，交由基于深度學(xué)習(xí)模型的運(yùn)算決策系統(tǒng)進(jìn)行運(yùn)算，最后將帶識(shí)別特征的摘要信息傳輸給PC 端保存和手機(jī)APP 端查看，并對(duì)吸煙人員發(fā)聲示警．

圖1 整體系統(tǒng)設(shè)計(jì)圖

2 系統(tǒng)硬件設(shè)計(jì)

在硬件方面，選用現(xiàn)有成熟的硬件產(chǎn)品，計(jì)算機(jī)采用盒式工業(yè)級(jí)控制器IPC，英特爾i5 處理器和win10 操作系統(tǒng)，攝像頭和煙霧傳感器通過(guò)USB 與計(jì)算機(jī)連接，手機(jī)終端與PC 端通過(guò)wifi熱點(diǎn)通信．硬件框架如圖2所示．

煙霧傳感器自帶RS485 通信協(xié)議和串口線，需要外置一個(gè)485-USB 轉(zhuǎn)換器實(shí)現(xiàn)與計(jì)算機(jī)的連接．此外，還需要設(shè)置端口、設(shè)備地址、波特率和數(shù)據(jù)幀格式等參數(shù)，以便后面用軟件調(diào)用數(shù)據(jù)．

圖2 核心硬件框架

3 系統(tǒng)軟件設(shè)計(jì)

智能監(jiān)控的軟件設(shè)計(jì)主要包含4 個(gè)方面：1）用深度學(xué)習(xí)框架Caffe 中的ssd 訓(xùn)練樣本；2）使用Python 調(diào)用Opencv 對(duì)圖像進(jìn)行處理；3）使用MySQL 實(shí)時(shí)讀取煙霧傳感器數(shù)據(jù)；4）數(shù)據(jù)結(jié)果保存．

3.1 Caffe 的基本介紹

近年來(lái)，深度學(xué)習(xí)（Deep learning）算法在人工智能領(lǐng)域非常的火，得到了學(xué)術(shù)界和工業(yè)界得到廣泛認(rèn)可，也出現(xiàn)了眾多的深度學(xué)習(xí)開(kāi)源框架，例如UC Berkeley 的Caffe、University de Montreal 的Theano、Google 的Tensorflow、Facebook 的Torch和PYTorch 等[6-7]．Caffe 是其中較為成熟和完善的一類(lèi)深度學(xué)習(xí)框架．它是一種開(kāi)源的軟件框架，其內(nèi)部包含著一套基本的編程框架下定義自己的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，也可以在此框架下添加自己的代碼，設(shè)計(jì)新的算法[8]．

3.2 基于Caffe 框架的SSD 算法訓(xùn)練數(shù)據(jù)

在訓(xùn)練數(shù)據(jù)前，先要收集足夠的吸煙照片樣本，來(lái)源主要是自己找人拍攝和網(wǎng)上搜尋，使用標(biāo)注工具LabelImg 對(duì)其中的特征進(jìn)行標(biāo)注．每張圖片中只標(biāo)注一個(gè)特征，命名為“smoke”，如圖3所示．總的樣本量超過(guò)5000 個(gè)．標(biāo)注后轉(zhuǎn)換為xml 文件以供程序訓(xùn)練．

訓(xùn)練用的計(jì)算機(jī)，采用4 個(gè)英偉達(dá)P100 的GPU，閾值設(shè)為0．7，訓(xùn)練次數(shù)5 萬(wàn)次，耗時(shí)約20 h．結(jié)果顯示如圖4所示，識(shí)別準(zhǔn)確率達(dá)80%以上．

圖3 樣本標(biāo)注

3.3 使用Python 調(diào)用Opencv 對(duì)圖像進(jìn)行處理

圖4 訓(xùn)練結(jié)果輸出

OpenCV 是一個(gè)開(kāi)源的計(jì)算機(jī)視覺(jué)庫(kù)，可以跨平臺(tái)運(yùn)行，此外它還為C++、JAVA、Phthon、MATLAB 等語(yǔ)言提供了接口，包含眾多圖像處理函數(shù)庫(kù)，極度簡(jiǎn)化了計(jì)算機(jī)視覺(jué)軟件的開(kāi)發(fā)．Python是一種面向?qū)ο蟮慕忉屝陀?jì)算機(jī)編程語(yǔ)言，具有十分豐富且強(qiáng)大的數(shù)據(jù)庫(kù)，它已經(jīng)逐步變成繼Java 和C++之后的第三大程序開(kāi)發(fā)語(yǔ)言[8]．在眾多項(xiàng)目研究經(jīng)驗(yàn)中發(fā)現(xiàn)Python 語(yǔ)言靈活性大，可靠性高，因此本系統(tǒng)選用python 作為主體開(kāi)發(fā)語(yǔ)言．本文進(jìn)行圖像處理時(shí)所選擇的環(huán)境為Open CV3.2+Python2.7.9．

3.4 實(shí)時(shí)讀取煙霧傳感器數(shù)據(jù)

煙霧傳感器設(shè)置為每秒鐘傳回一個(gè)數(shù)據(jù)，有煙霧時(shí)狀態(tài)值為100，否則為0，數(shù)據(jù)實(shí)時(shí)保存到MySQL數(shù)據(jù)庫(kù)中，數(shù)據(jù)界面如圖5所示．主程序?qū)崟r(shí)讀取數(shù)據(jù)庫(kù)的狀態(tài)值，實(shí)現(xiàn)煙霧傳感器的輔助功能．

圖5 煙霧傳感器數(shù)據(jù)

4 實(shí)現(xiàn)結(jié)果分析

經(jīng)過(guò)調(diào)試，軟硬件均達(dá)到設(shè)計(jì)要求．實(shí)測(cè)表明，在一般環(huán)境中，只要出現(xiàn)帶煙的特征，或者有煙霧的特征和氣體，系統(tǒng)均能準(zhǔn)確識(shí)別出，并由IPC 自帶的音響發(fā)聲示警，手機(jī)APP 中亦能讀取到此次報(bào)警的關(guān)鍵幀．

圖6所示為現(xiàn)場(chǎng)測(cè)試照片，當(dāng)出現(xiàn)帶有卷煙的畫(huà)面時(shí)，經(jīng)過(guò)訓(xùn)練的系統(tǒng)就能準(zhǔn)確將其識(shí)別出，并發(fā)出聲音報(bào)警，最終實(shí)現(xiàn)將視覺(jué)和嗅覺(jué)合二為一的控?zé)煼阑鹬悄鼙O(jiān)控系統(tǒng)．該系統(tǒng)具有很好的創(chuàng)新性和實(shí)用性，如能在系統(tǒng)集成、識(shí)別率、手機(jī)APP 和遠(yuǎn)程通信等方面繼續(xù)完善，有望在校園、醫(yī)院等場(chǎng)所推廣使用．

圖6 實(shí)測(cè)結(jié)果