基于視覺(jué)判別與圖像識(shí)別技術(shù)的車(chē)內(nèi)安全裝置設(shè)計(jì)

薛 玉，王憲彬，陳宇微，魏宇奕，王嘉慧

（東北林業(yè)大學(xué)，黑龍江 哈爾濱 150036）

0 引 言

順風(fēng)車(chē)是近年來(lái)發(fā)展較為迅速的一種共享出行方式，其順應(yīng)了交通運(yùn)輸新趨勢(shì)，市場(chǎng)前景廣闊。然而，順風(fēng)車(chē)的準(zhǔn)入門(mén)檻較低，職業(yè)順風(fēng)車(chē)司機(jī)提供的服務(wù)水準(zhǔn)參差不齊，加上車(chē)內(nèi)空間密閉，犯罪成本低，并且缺乏完備的保護(hù)乘客的安全裝置，順風(fēng)車(chē)安全問(wèn)題頻發(fā)。目前市面上保護(hù)順風(fēng)車(chē)乘客安全的裝置大多有行程錄音保護(hù)、路線偏移預(yù)警、110報(bào)警一鍵撥打、24小時(shí)安全專(zhuān)線、車(chē)主乘客號(hào)碼保護(hù)、乘客自動(dòng)分享行程、行程保險(xiǎn)全面保障以及行程錄音取證等功能，但都未實(shí)現(xiàn)智能識(shí)別和自動(dòng)報(bào)警，不能從根本上解決乘客的安全問(wèn)題。從根本上保護(hù)順風(fēng)車(chē)乘客，避免惡性事件發(fā)生，已經(jīng)成為行業(yè)目前亟待解決的問(wèn)題。因此，為滿(mǎn)足當(dāng)下需求，順風(fēng)眼團(tuán)隊(duì)設(shè)計(jì)出一款車(chē)內(nèi)人員安全預(yù)警報(bào)警裝置來(lái)維護(hù)車(chē)主及乘客人身安全。

1 系統(tǒng)功能及關(guān)鍵技術(shù)

1.1 系統(tǒng)功能

新型車(chē)內(nèi)安全裝置——順風(fēng)眼，利用多種核心技術(shù)，實(shí)現(xiàn)了對(duì)司機(jī)用手襲擊乘客身體等威脅乘客安全的動(dòng)作的實(shí)時(shí)檢測(cè)目標(biāo)[1]，并在檢測(cè)到司機(jī)有不正當(dāng)行為后傳輸報(bào)警信號(hào)，自動(dòng)向警務(wù)片區(qū)發(fā)送定位及攝像頭拍攝的原視頻，從而有效保護(hù)乘客安全。

1.2 關(guān)鍵技術(shù)

1.2.1 基于OpenCV和深度學(xué)習(xí)的動(dòng)作識(shí)別技術(shù)

深度學(xué)習(xí)檢測(cè)和循環(huán)神經(jīng)網(wǎng)絡(luò)（Rerrent Neural Network，RNN）能較好地處理檢測(cè)視頻內(nèi)容的時(shí)間序列問(wèn)題，而卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）對(duì)于圖像有較好的應(yīng)用效果，故檢測(cè)一個(gè)動(dòng)作需要將兩者結(jié)合起來(lái)[2]。循環(huán)神經(jīng)網(wǎng)絡(luò)RNN與卷積神經(jīng)網(wǎng)絡(luò)CNN相結(jié)合的結(jié)果是循環(huán)卷積神經(jīng)網(wǎng)絡(luò)（Recurrent CNN，RCNN）。RCNN將卷積神經(jīng)網(wǎng)絡(luò)的卷積層替換為內(nèi)部具有遞歸結(jié)構(gòu)的循環(huán)卷積層（Recurrent Convolutional Layer，RCL），并按前饋連接建立深度結(jié)構(gòu)。

OpenCV是一個(gè)開(kāi)源的跨平臺(tái)計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)軟件庫(kù)，可在Windows和Linux等系統(tǒng)中運(yùn)行，主要接口語(yǔ)言是C++語(yǔ)言，同時(shí)也提供Python等大量其他編程語(yǔ)言接口，具有實(shí)時(shí)單目標(biāo)跟蹤算法、RISC-V指令集以及圖計(jì)算模塊G-API等多種算法模塊[3]。OpenCV愈發(fā)完善的圖像處理功能為本裝置的圖像處理與動(dòng)態(tài)識(shí)別提供了強(qiáng)有力的支持。本系統(tǒng)以Python結(jié)合OpenCV庫(kù)來(lái)操作攝像頭，從攝像頭采集視頻動(dòng)態(tài)數(shù)據(jù)并保存為文件。

1.2.2 無(wú)線傳輸信號(hào)報(bào)警技術(shù)

無(wú)線傳輸方式主要利用無(wú)線技術(shù)進(jìn)行數(shù)據(jù)傳輸，它有多種傳輸方式，其中微波傳輸能夠?qū)崟r(shí)傳輸圖像，成本低，無(wú)需布線和維護(hù)，有很大的安裝優(yōu)勢(shì)[4]。在無(wú)線傳輸技術(shù)中，GPRS技術(shù)作為一種通用無(wú)線分組業(yè)務(wù)，能更好地滿(mǎn)足報(bào)警技術(shù)的需求。GPRS使GSM系統(tǒng)的無(wú)線資源利用率得到了顯著提高，它不僅能夠保證圖片質(zhì)量和清晰度，還能通過(guò)對(duì)數(shù)據(jù)業(yè)務(wù)進(jìn)行分組，利用空閑的無(wú)線信道資源進(jìn)行傳輸，并可以靈活調(diào)整業(yè)務(wù)調(diào)度策略[5]。利用GPRS傳送信號(hào)，只需要一個(gè)控制中心和多個(gè)終端即可，外接一個(gè)攝像頭和GPS定位系統(tǒng)后，即可將相應(yīng)的圖片信息、視頻信息以及位置信息等快速傳遞到控制中心。

1.2.3 人體姿態(tài)估計(jì)技術(shù)

從視頻圖像中識(shí)別出人體姿態(tài)，對(duì)于人體動(dòng)作識(shí)別非常重要，直接影響到對(duì)危險(xiǎn)動(dòng)作的判斷。對(duì)于相同行為，不同人的運(yùn)動(dòng)幅度也不盡不同。因此，先檢測(cè)圖片中的人體關(guān)鍵點(diǎn)，再將已檢測(cè)到的人體關(guān)鍵點(diǎn)準(zhǔn)確地聯(lián)系起來(lái)，進(jìn)而估計(jì)人體姿態(tài)[6]。人體姿態(tài)估計(jì)技術(shù)中的多人姿態(tài)估計(jì)需要檢測(cè)所有人體，對(duì)所有人體姿態(tài)進(jìn)行分析，但由于存在人與人相互遮擋、疊加及觸碰等行為，會(huì)對(duì)多人姿態(tài)估計(jì)造成一定的誤差。故本系統(tǒng)采用由下而上的方法，首先檢測(cè)出圖像中各人體的關(guān)節(jié)點(diǎn)，其次根據(jù)人體結(jié)構(gòu)正確匹配人體關(guān)節(jié)點(diǎn)進(jìn)行重新組合，最后正確分析人體動(dòng)作行為。這種方法有效地解決了人體檢測(cè)中重復(fù)估計(jì)和錯(cuò)誤估計(jì)的問(wèn)題[7]。本系統(tǒng)采用聯(lián)合子集劃分和標(biāo)記模型（SPLP模型），該模型可同時(shí)檢測(cè)出人體數(shù)量以及人體姿態(tài)，并能較好地分析出遮擋部位。

1.3 系統(tǒng)關(guān)鍵技術(shù)應(yīng)用情況

1.3.1 動(dòng)作識(shí)別技術(shù)

動(dòng)作識(shí)別系統(tǒng)應(yīng)用于順風(fēng)眼視覺(jué)感知模塊，主要針對(duì)車(chē)內(nèi)人員。無(wú)論乘客還是司機(jī)的異常行為都可以被順風(fēng)眼檢測(cè)學(xué)習(xí)，司機(jī)和乘客都可得到安全保障。本系統(tǒng)利用樹(shù)莓派調(diào)用攝像頭進(jìn)行視頻錄制，OpenCV將已經(jīng)識(shí)別出的標(biāo)有人體關(guān)鍵點(diǎn)的動(dòng)作與數(shù)據(jù)集生成的模型進(jìn)行比對(duì)，從而達(dá)成危險(xiǎn)動(dòng)作的識(shí)別。如果檢測(cè)出異常行為，在將相關(guān)圖片和視頻錄像傳輸給警方后，也會(huì)將相關(guān)分析結(jié)果儲(chǔ)存在自己的信息庫(kù)中[8]。同時(shí)，利用信息庫(kù)中的數(shù)據(jù)集不斷地訓(xùn)練，提高分析結(jié)果的精確性。

1.3.2 無(wú)線傳輸信號(hào)報(bào)警技術(shù)

本系統(tǒng)利用GPRS技術(shù)提供端到端、廣域無(wú)線IP連接的功能，將采集的圖像數(shù)據(jù)經(jīng)GPRS-DTU數(shù)據(jù)轉(zhuǎn)換，再通過(guò)GRPS網(wǎng)絡(luò)傳輸?shù)奖O(jiān)控中心的主機(jī)[9]。監(jiān)控主機(jī)利用監(jiān)控軟件定義的虛擬設(shè)備將數(shù)據(jù)傳送到監(jiān)控軟件界面中，在監(jiān)控主機(jī)上實(shí)時(shí)顯示狀態(tài)數(shù)據(jù)并監(jiān)控，通過(guò)人工驗(yàn)證是否真的存在威脅。若確有威脅，則向附近警務(wù)區(qū)報(bào)警。

1.3.3 人體姿態(tài)識(shí)別技術(shù)

Openpose人體姿態(tài)識(shí)別技術(shù)適用于單人和多人。本系統(tǒng)更多地需要面向兩人及兩人以上（司機(jī)與乘客們）的互動(dòng)行為識(shí)別。故本系統(tǒng)采用聯(lián)合子集劃分和標(biāo)記模型，對(duì)提取出的人體關(guān)節(jié)點(diǎn)數(shù)據(jù)進(jìn)行分類(lèi)，對(duì)駕駛員和乘客的危險(xiǎn)動(dòng)作進(jìn)行識(shí)別，以判斷是否需要報(bào)警[10]。系統(tǒng)主要通過(guò)人體關(guān)節(jié)點(diǎn)識(shí)別駕駛員和乘客的危險(xiǎn)動(dòng)作，通過(guò)OpenCV調(diào)用攝像頭，識(shí)別視頻中人體關(guān)鍵點(diǎn)，調(diào)用Openpose行為庫(kù)對(duì)人體姿態(tài)進(jìn)行識(shí)別，最后將已處理好的人體姿態(tài)與預(yù)先保存好的危險(xiǎn)動(dòng)作進(jìn)行比較，從而判斷駕駛員或乘客的動(dòng)作是否屬于危險(xiǎn)動(dòng)作。

2 方案設(shè)計(jì)

車(chē)內(nèi)安全裝置由預(yù)警啟動(dòng)模塊、監(jiān)控存儲(chǔ)模塊、圖像處理模塊以及報(bào)警傳輸模塊組成。通過(guò)這些模塊實(shí)現(xiàn)實(shí)時(shí)監(jiān)控、自動(dòng)報(bào)警以及圖像和視頻等證據(jù)的儲(chǔ)存。

車(chē)內(nèi)安全監(jiān)控系統(tǒng)如圖1所示。前端設(shè)備主要包括攝像頭、圖像存儲(chǔ)器、圖像處理器、人體感應(yīng)器、測(cè)距儀以及蜂鳴器等，后端設(shè)備主要包括數(shù)據(jù)分析器、報(bào)警裝置、數(shù)據(jù)發(fā)送器以及5G急速云盤(pán)等。前端主要完成對(duì)車(chē)內(nèi)環(huán)境的實(shí)時(shí)監(jiān)控與分析，通過(guò)攝像頭、圖像存儲(chǔ)器、圖像處理器、人體感應(yīng)器及測(cè)距儀來(lái)分析車(chē)內(nèi)人員是否出現(xiàn)危險(xiǎn)、脅迫動(dòng)作，若分析結(jié)果為車(chē)內(nèi)出現(xiàn)異常情況，則調(diào)動(dòng)蜂鳴器進(jìn)行警報(bào)，對(duì)車(chē)內(nèi)人員進(jìn)行警告。同時(shí)，后端及時(shí)接收和分析由前端傳來(lái)的相關(guān)視頻、圖像及分析結(jié)果，進(jìn)行進(jìn)一步分析，判斷是否需要啟動(dòng)報(bào)警模塊和進(jìn)行數(shù)據(jù)發(fā)送，并將相關(guān)圖片和視頻證據(jù)及時(shí)上傳儲(chǔ)存至5G急速云盤(pán)，進(jìn)行證據(jù)存留，獲取車(chē)外救援。

圖1 車(chē)內(nèi)安全監(jiān)控系統(tǒng)組成圖

3 結(jié) 語(yǔ)

系統(tǒng)不僅實(shí)現(xiàn)了對(duì)車(chē)輛的全方位實(shí)時(shí)定位監(jiān)控，還具備識(shí)別威脅動(dòng)作的功能，能及時(shí)監(jiān)測(cè)到緊急事件的發(fā)生并發(fā)出警報(bào)。本裝置圖像清晰，可以自動(dòng)報(bào)警，在市場(chǎng)競(jìng)爭(zhēng)中極具優(yōu)勢(shì)。同時(shí)，裝置還與公安部門(mén)關(guān)聯(lián)合作，提高了營(yíng)救效率，為警方出警爭(zhēng)取了寶貴時(shí)間。為確保定位系統(tǒng)的準(zhǔn)確性與實(shí)時(shí)性，團(tuán)隊(duì)后期還會(huì)對(duì)定位系統(tǒng)加大研究，同時(shí)還要加強(qiáng)系統(tǒng)的防御功能，以保護(hù)用戶(hù)的信息與個(gè)人隱私，避免乘客的定位、聲音及緊急聯(lián)系人等信息的泄露。順風(fēng)眼安全裝置可保障順風(fēng)車(chē)乘客的生命財(cái)產(chǎn)安全，避免順風(fēng)車(chē)安全事故的發(fā)生，提高了社會(huì)安全性。