一種電子設(shè)備監(jiān)測(cè)識(shí)別與定位方法*

余興華，黃 河，羅淑丹，周 佳，王夢(mèng)寒，李雨鍇

（1.中國(guó)電子科技集團(tuán)公司第三十研究所，四川 成都 610041；2.中國(guó)人民解放軍61660 部隊(duì)，北京 100089；3.西南交通大學(xué)，四川 成都 611756）

0 引言

視頻監(jiān)控是當(dāng)前敏感區(qū)域物理安全防護(hù)的主要手段，主要通過實(shí)時(shí)查看、事后回放等方式來肉眼識(shí)別非法人員和非法行為。圖像識(shí)別等人工智能技術(shù)的發(fā)展，使得基于人臉識(shí)別的門禁系統(tǒng)、基于車牌識(shí)別的車輛管控等應(yīng)用得到了飛速發(fā)展[1]。然而，一方面，基于電磁、紅外等雷達(dá)技術(shù)雖然可以實(shí)現(xiàn)對(duì)移動(dòng)物體的識(shí)別，但難以識(shí)別靜止物體、小型物體并對(duì)物體進(jìn)行區(qū)分[2]。另一方面，隨著物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)的發(fā)展，關(guān)鍵行業(yè)物理環(huán)境中的電子設(shè)備呈現(xiàn)多樣化發(fā)展趨勢(shì)，需要技術(shù)手段來輔助進(jìn)行安全管理。此外，物理隔離雖然是網(wǎng)絡(luò)安全防護(hù)較為有效的手段，但也面臨著非法電子設(shè)備、無人駕駛裝置帶來的監(jiān)聽、拍照、聯(lián)網(wǎng)等入侵威脅[3]。因此，亟需一種以電子設(shè)備為中心的身份識(shí)別、行為識(shí)別、威脅評(píng)估新方法，擺脫傳統(tǒng)人工識(shí)別、人臉識(shí)別或行為識(shí)別的局限，實(shí)現(xiàn)分等級(jí)的監(jiān)測(cè)預(yù)警。

本文針對(duì)敏感區(qū)域，通過智能圖像識(shí)別、定位與軌跡跟蹤方法，提出一種新的電子設(shè)備監(jiān)測(cè)定位方法，實(shí)現(xiàn)對(duì)不同安全等級(jí)電子設(shè)備軌跡行為的實(shí)時(shí)智能監(jiān)測(cè)和預(yù)警，從而為關(guān)鍵信息基礎(chǔ)設(shè)施及其敏感區(qū)域提供增強(qiáng)的物理環(huán)境安全與網(wǎng)絡(luò)信息安全保障。

1 相關(guān)識(shí)別定位方法介紹

隨著智能化時(shí)代的到來，越來越多的研究學(xué)者提出了相關(guān)的目標(biāo)識(shí)別定位技術(shù)，嘗試打破目前在室內(nèi)環(huán)境下目標(biāo)識(shí)別定位領(lǐng)域面臨的諸多瓶頸，其中具有代表性的方法有：

（1）紅外線技術(shù)[4]。紅外線技術(shù)主要是利用紅外成像方法實(shí)現(xiàn)定位，因具有較好的環(huán)境適應(yīng)能力以及較高的空間分辨能力，常用于目標(biāo)檢測(cè)。

（2）射頻識(shí)別（Radio Frequency Identification，RFID）定位技術(shù)[2]。RFID 定位技術(shù)因具有快速精準(zhǔn)識(shí)別、價(jià)格低廉以及非接觸式的優(yōu)勢(shì)，非常適合對(duì)室內(nèi)移動(dòng)目標(biāo)進(jìn)行識(shí)別，其信號(hào)是以電磁波的方式進(jìn)行傳播。

（3）超聲波技術(shù)[5]。超聲波技術(shù)通過多邊定位等方式來估算目標(biāo)坐標(biāo)，即根據(jù)接收器接收到由發(fā)射器發(fā)射的信號(hào)并隨即返回給發(fā)射器的時(shí)間差，估算出目標(biāo)到環(huán)境中各個(gè)接收器的距離，進(jìn)而確定目標(biāo)位置。

（4）計(jì)算機(jī)視覺技術(shù)[5]。計(jì)算機(jī)視覺技術(shù)是通過視覺傳感器確定圖像中待測(cè)目標(biāo)的位置。通過對(duì)圖像進(jìn)行特征提取，建立特征庫。當(dāng)待測(cè)目標(biāo)進(jìn)入檢測(cè)范圍后，通過比較目標(biāo)所在位置的特征和庫中的環(huán)境特征來確定目標(biāo)位置。

除了以上方法，在目標(biāo)檢測(cè)與圖像識(shí)別領(lǐng)域，深度學(xué)習(xí)技術(shù)是目前最有效的手段。基于深度學(xué)習(xí)技術(shù)的目標(biāo)檢測(cè)算法中比較有代表性的有：

（1）深度卷積神經(jīng)網(wǎng)絡(luò)算法[6（]Region-Convolutional Neural Networks，R-CNN）。該算法采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，并采用支持向量機(jī)（Support Vector Machine，SVM）方法進(jìn)行分類。該算法于2014 年發(fā)布時(shí)，在目標(biāo)檢測(cè)領(lǐng)域的影響很大。

（2）Fast R-CNN 算法[7-9]。Fast R-CNN 算法在原有的R-CNN 基礎(chǔ)上進(jìn)行了優(yōu)化，聚焦單任務(wù)訓(xùn)練，同時(shí)更新了所有網(wǎng)絡(luò)層，在檢測(cè)準(zhǔn)確率與檢測(cè)速度上均有很大提升，實(shí)現(xiàn)了在卷積神經(jīng)網(wǎng)絡(luò)下的端到端檢測(cè)。在應(yīng)用領(lǐng)域該方法可以運(yùn)用于安防、人臉檢測(cè)、輔助駕駛等多個(gè)方面，目前已經(jīng)取得了很多重要成果。

本文采用Faster R-CNN 方法實(shí)現(xiàn)電子設(shè)備的檢測(cè)，并基于檢測(cè)到的目標(biāo)中心位置進(jìn)行軌跡與行為分析驗(yàn)證。

2 電子設(shè)備監(jiān)測(cè)識(shí)別與定位過程

本文針對(duì)敏感區(qū)域中電子設(shè)備的監(jiān)測(cè)識(shí)別與定位問題，綜合考慮了目標(biāo)檢測(cè)、機(jī)器視覺識(shí)別定位等不同方法的思想。首先，利用識(shí)別算法判斷是否有新的電子設(shè)備進(jìn)入，以及是否有非法電子設(shè)備進(jìn)入等情況；其次，通過定位算法實(shí)時(shí)監(jiān)測(cè)設(shè)備在區(qū)域內(nèi)的坐標(biāo)變化，分析是否出現(xiàn)原有電子設(shè)備被移動(dòng)或移出等行為；最后，根據(jù)設(shè)備的安全等級(jí)與設(shè)備的軌跡行為對(duì)區(qū)域內(nèi)的威脅等級(jí)進(jìn)行劃分，針對(duì)不同的威脅等級(jí)智能輸出語義描述，進(jìn)行及時(shí)預(yù)警響應(yīng)。

敏感區(qū)域電子設(shè)備監(jiān)測(cè)定位方法實(shí)現(xiàn)過程如圖1 所示，包含設(shè)備安全級(jí)別劃分、設(shè)備行為獲取、威脅等級(jí)劃分和預(yù)警響應(yīng)4 個(gè)過程，針對(duì)敏感區(qū)域，實(shí)現(xiàn)對(duì)不同安全等級(jí)電子設(shè)備軌跡行為的實(shí)時(shí)智能監(jiān)測(cè)和預(yù)警。

圖1 敏感區(qū)域電子設(shè)備監(jiān)測(cè)定位方法描述過程

2.1 設(shè)備安全等級(jí)劃分

設(shè)備安全等級(jí)劃分模塊根據(jù)敏感區(qū)域的具體情況，將監(jiān)控區(qū)域內(nèi)外不同設(shè)備根據(jù)敏感程度及安全類別劃分為普通設(shè)備（授權(quán)）、敏感設(shè)備（授權(quán)）和非法設(shè)備（未授權(quán)），以便作為分類識(shí)別與評(píng)定威脅等級(jí)的依據(jù)。

2.2 設(shè)備行為獲取

設(shè)備行為獲取模塊通過固定廣角攝像頭對(duì)固定監(jiān)測(cè)區(qū)域進(jìn)行設(shè)備圖像采集，并對(duì)不同安全級(jí)別的設(shè)備圖像進(jìn)行深度學(xué)習(xí)預(yù)處理，訓(xùn)練形成電子設(shè)備模型。通過對(duì)監(jiān)控區(qū)域內(nèi)電子設(shè)備進(jìn)行識(shí)別、定位，判斷是否出現(xiàn)新設(shè)備，以及是否有非法設(shè)備進(jìn)入監(jiān)測(cè)區(qū)域，并通過電子設(shè)備的定位提取設(shè)備在監(jiān)控區(qū)域的坐標(biāo)，實(shí)時(shí)對(duì)比坐標(biāo)變化，根據(jù)坐標(biāo)變化、運(yùn)動(dòng)軌跡獲取所監(jiān)控設(shè)備的行為。設(shè)備行為獲取主要包括以下3 個(gè)步驟：

（1）確定電子設(shè)備模型，采集場(chǎng)景模板。根據(jù)設(shè)備安全等級(jí)劃分模塊對(duì)不同安全類別的設(shè)備或其他特殊或新型設(shè)備進(jìn)行深度學(xué)習(xí)訓(xùn)練，形成電子設(shè)備模型，然后將監(jiān)控區(qū)域內(nèi)的圖像記錄作為比對(duì)模板。

（2）識(shí)別并定位區(qū)域內(nèi)電子設(shè)備。先對(duì)步驟1采集的環(huán)境模板中的設(shè)備進(jìn)行提取，判斷其中電子設(shè)備的種類、數(shù)量和位置；然后對(duì)圖像采集記錄的實(shí)時(shí)畫面進(jìn)行分析，實(shí)時(shí)識(shí)別并定位區(qū)域中的電子設(shè)備，判斷是否有新的授權(quán)設(shè)備或非法設(shè)備進(jìn)入監(jiān)測(cè)區(qū)域。

（3）提取監(jiān)測(cè)區(qū)域內(nèi)設(shè)備坐標(biāo)，與模板比對(duì)分析。先根據(jù)步驟2 中對(duì)環(huán)境模板和實(shí)時(shí)畫面中電子設(shè)備的識(shí)別定位，分別提取相關(guān)設(shè)備坐標(biāo)；然后將實(shí)時(shí)畫面中電子設(shè)備的坐標(biāo)位置與環(huán)境模板中電子設(shè)備坐標(biāo)進(jìn)行比對(duì)，以此判斷環(huán)境模板原有設(shè)備的位置變化情況；再根據(jù)監(jiān)測(cè)區(qū)域內(nèi)對(duì)電子設(shè)備的定位，來計(jì)算具體設(shè)備的坐標(biāo)變化，確定設(shè)備的移動(dòng)軌跡。若監(jiān)測(cè)到原有電子設(shè)備發(fā)生移動(dòng)或有新的設(shè)備進(jìn)入監(jiān)測(cè)區(qū)域，對(duì)其進(jìn)行記錄，并記錄監(jiān)測(cè)區(qū)域內(nèi)不同安全類別設(shè)備的移動(dòng)軌跡、位移時(shí)間、設(shè)備行為畫面等關(guān)鍵信息，形成記錄日志。其中，對(duì)于與模板比對(duì)后未發(fā)生變化或位移較小在可設(shè)范圍0.1 m 內(nèi)的設(shè)備不進(jìn)行記錄，有變化的設(shè)備形成的記錄日志的時(shí)間頻率預(yù)設(shè)為0.2 s。具體時(shí)間間隔可根據(jù)不同環(huán)境及需求進(jìn)行調(diào)整。

2.3 威脅等級(jí)劃分

敏感區(qū)域威脅程度可根據(jù)電子設(shè)備的安全類別和設(shè)備的不同軌跡行為劃分成四級(jí)，如表1 所示。

表1 敏感區(qū)域電子設(shè)備威脅等級(jí)對(duì)照表

（1）一級(jí)威脅：原有普通設(shè)備在監(jiān)測(cè)區(qū)域內(nèi)移動(dòng)。

（2）二級(jí)威脅：新的普通設(shè)備進(jìn)入監(jiān)測(cè)區(qū)域，原有敏感設(shè)備在監(jiān)測(cè)區(qū)域內(nèi)移動(dòng)。

（3）三級(jí)威脅：原有普通設(shè)備被移出監(jiān)測(cè)區(qū)域，新的敏感設(shè)備進(jìn)入監(jiān)測(cè)區(qū)域。

（4）四級(jí)威脅：原有敏感設(shè)備被帶出監(jiān)測(cè)區(qū)域，非法設(shè)備進(jìn)入監(jiān)測(cè)區(qū)域。

對(duì)于確定的威脅等級(jí)，結(jié)合日志記錄，進(jìn)行智能語義描述輸出，具體是針對(duì)監(jiān)測(cè)區(qū)域內(nèi)確定的威脅等級(jí)，輸出相應(yīng)文字和語音告警信息。例如，有非法設(shè)備×××進(jìn)入，則輸出的描述性語音和文字為“四級(jí)威脅：區(qū)域內(nèi)出現(xiàn)非法設(shè)備×××”；若出現(xiàn)原有普通設(shè)備×××被移出監(jiān)測(cè)區(qū)域的情況，則輸出“三級(jí)威脅：普通設(shè)備×××被移出監(jiān)控區(qū)域”；其他情況依據(jù)威脅等級(jí)輸出相應(yīng)的語義描述。

2.4 預(yù)警響應(yīng)

根據(jù)評(píng)定的威脅等級(jí)與相應(yīng)的語義描述作出相應(yīng)預(yù)警處理，具體預(yù)警措施參照表2。在預(yù)警措施中，記錄的日志供管理人員隨時(shí)查看。

表2 具體預(yù)警措施對(duì)照表

（1）一級(jí)威脅預(yù)警措施：輸出設(shè)備運(yùn)動(dòng)軌跡。

（2）二級(jí)威脅預(yù)警措施：輸出設(shè)備運(yùn)動(dòng)軌跡，閃爍警示燈。警示燈持續(xù)閃爍一定時(shí)間后自動(dòng)關(guān)閉，此處預(yù)設(shè)為30 s，也可以根據(jù)具體需求對(duì)閃爍時(shí)間進(jìn)行設(shè)置。

（3）三級(jí)威脅預(yù)警措施：輸出設(shè)備運(yùn)動(dòng)軌跡，閃爍警示燈，聲音警報(bào)。此處閃爍的警示燈不會(huì)自動(dòng)關(guān)閉，需要管理人員確認(rèn)后進(jìn)行手動(dòng)關(guān)閉。對(duì)于聲音警報(bào)，不設(shè)置警報(bào)間隔，從而達(dá)到持續(xù)警示的效果，也可根據(jù)具體需要設(shè)置警報(bào)間隔。

（4）四級(jí)威脅預(yù)警措施：輸出設(shè)備運(yùn)動(dòng)軌跡，閃爍警示燈，聲音警報(bào)，通知安保部門。此處閃爍的警示燈不會(huì)自動(dòng)關(guān)閉，需要管理人員確認(rèn)后手動(dòng)關(guān)閉；對(duì)于聲音警報(bào)，不設(shè)置警報(bào)間隔，從而達(dá)到持續(xù)警示的效果，也可根據(jù)具體需要設(shè)置警報(bào)間隔；將持續(xù)通知安保部門，并經(jīng)安保部門相關(guān)人員確認(rèn)收到消息后，結(jié)束通知。

3 電子設(shè)備監(jiān)測(cè)識(shí)別與定位實(shí)現(xiàn)原理

采用深度學(xué)習(xí)模型Inception 網(wǎng)絡(luò)對(duì)電子設(shè)備進(jìn)行分類[10]。Inception 網(wǎng)絡(luò)通過卷積分解法對(duì)卷積層進(jìn)行分解，并通過卷積層降維減少通道數(shù)，同時(shí)去掉了全連接層，使用多層感知器和全局平均池化，增加了網(wǎng)絡(luò)對(duì)尺度的適應(yīng)性，進(jìn)一步提高了網(wǎng)絡(luò)非線性能力。

基于Inception 網(wǎng)絡(luò)對(duì)電子設(shè)備進(jìn)行分類，首先對(duì)區(qū)域采集的電子設(shè)備圖像，根據(jù)設(shè)備安全等級(jí)進(jìn)行標(biāo)簽化預(yù)處理，并建立電子設(shè)備類型樣本庫；其次通過搭建人工智能分析平臺(tái)，對(duì)電子設(shè)備圖像進(jìn)行反復(fù)學(xué)習(xí)與深度網(wǎng)絡(luò)訓(xùn)練，形成電子設(shè)備分類模型；最后識(shí)別過程將測(cè)試特征圖像與設(shè)備類型樣本庫進(jìn)行比對(duì)，并將普通設(shè)備（授權(quán)）、敏感設(shè)備（授權(quán)）和非法設(shè)備（未授權(quán)）的分類結(jié)果進(jìn)行輸出反饋。若發(fā)現(xiàn)有新設(shè)備或非法設(shè)備進(jìn)入，則啟動(dòng)報(bào)警功能并記錄，同時(shí)將其擴(kuò)充到現(xiàn)有樣本庫。電子設(shè)備分類識(shí)別實(shí)現(xiàn)過程如圖2 所示。

圖2 電子設(shè)備分類識(shí)別過程

采用Faster R-CNN 方法[9]對(duì)電子設(shè)備進(jìn)行定位識(shí)別，主要是在視頻幀或圖像中實(shí)時(shí)識(shí)別目標(biāo)電子設(shè)備，并定位出所識(shí)別設(shè)備的位置。Faster R-CNN 結(jié)構(gòu)主要由區(qū)域建議網(wǎng)絡(luò)（Region Proposal Network，RPN）和Fast R-CNN 兩部分構(gòu)成。在電子設(shè)備檢測(cè)的過程中，原始圖像通過Faster R-CNN共享網(wǎng)絡(luò)提取特征后，分別送入RPN 和Fast R-CNN中進(jìn)行處理。

在網(wǎng)絡(luò)訓(xùn)練過程中，損失函數(shù)Loss 需要達(dá)到收斂。損失函數(shù)所計(jì)算的是實(shí)際輸出結(jié)果與期望輸出結(jié)果之間的距離，計(jì)算結(jié)果越小，說明結(jié)果與實(shí)際結(jié)果差距越小，訓(xùn)練效果越好，準(zhǔn)確率越高。Faster R-CNN 損失函數(shù)及函數(shù)優(yōu)化目標(biāo)表達(dá)式分別為：

式中：pi為預(yù)測(cè)目標(biāo)概率；為坐標(biāo)向量；Φ5為輸入特征圖組成的特征向量；為需要學(xué)習(xí)的參數(shù)；λ為函數(shù)優(yōu)化目標(biāo)表達(dá)式系數(shù)。最終w*可由梯度下降法求得。

Faster R-CNN 方法同樣需要在使用前進(jìn)行有監(jiān)督學(xué)習(xí)，對(duì)大量目標(biāo)電子設(shè)備的圖片進(jìn)行標(biāo)注，通過標(biāo)注使計(jì)算機(jī)能夠識(shí)別目標(biāo)設(shè)備的名稱和外貌。對(duì)目標(biāo)電子設(shè)備的已標(biāo)注樣本進(jìn)行訓(xùn)練后，通過實(shí)時(shí)判斷監(jiān)控畫面，標(biāo)記輸出目標(biāo)電子設(shè)備的位置，實(shí)現(xiàn)對(duì)場(chǎng)景內(nèi)該類別電子設(shè)備的實(shí)時(shí)識(shí)別及定位。如果發(fā)現(xiàn)存在如設(shè)備行為獲取部分所描述的異常，則進(jìn)行記錄并報(bào)警。針對(duì)每一幀圖像的具體處理流程如圖3 所示。

圖3 每一幀圖像的具體處理流程

針對(duì)每一幀圖像的具體處理流程描述如下：

（1）由圖像采集模塊采集環(huán)境模板，只在開機(jī)準(zhǔn)備工作時(shí)采集一次。

（2）持續(xù)采集監(jiān)控畫面的幀圖片，對(duì)幀畫面中電子設(shè)備進(jìn)行識(shí)別并定位。根據(jù)環(huán)境模板與實(shí)時(shí)畫面的比對(duì)結(jié)果，判斷是否出現(xiàn)新設(shè)備。

（3）若出現(xiàn)新設(shè)備，則判斷設(shè)備的安全類別是否屬于普通設(shè)備、敏感設(shè)備或非法設(shè)備。

（4）根據(jù)設(shè)備的安全類型以及威脅等級(jí)劃分標(biāo)準(zhǔn)，確定威脅等級(jí)。

（5）根據(jù)確定的威脅等級(jí)進(jìn)行相應(yīng)的預(yù)警處理。

（6）若在比對(duì)中未識(shí)別到新設(shè)備，則對(duì)幀畫面的電子設(shè)備進(jìn)行坐標(biāo)提取，并與前一幀的畫面比較坐標(biāo)是否發(fā)生變化。

（7）若無變化，則對(duì)該幀畫面的處理結(jié)束。

（8）若有變化，根據(jù)設(shè)備移動(dòng)情況以及威脅等級(jí)劃分標(biāo)準(zhǔn)，確定威脅等級(jí)，并在實(shí)施相應(yīng)的預(yù)警措施后，結(jié)束對(duì)該幀畫面的處理。

4 電子設(shè)備軌跡行為驗(yàn)證

把識(shí)別結(jié)果中的物體目標(biāo)中心位置的連續(xù)變化連接成軌跡，結(jié)果如圖4、圖5、圖6 和圖7 所示。其中，圖4 為3 臺(tái)電子設(shè)備移動(dòng)軌跡的融合圖，從上到下依次為顯示器、手機(jī)、鼠標(biāo)。圖5 為手機(jī)拍照時(shí)的手機(jī)移動(dòng)局部放大軌跡，圖6 為辦公室顯示器搬動(dòng)時(shí)的局部放大軌跡，圖7 為鼠標(biāo)操作時(shí)的局部放大軌跡。橫坐標(biāo)、縱坐標(biāo)均歸一化為[0,1]區(qū)間，用于表示目標(biāo)中心點(diǎn)在圖像中的相對(duì)位置。每秒采集10 幀圖像進(jìn)行識(shí)別，共采集3 s，獲取目標(biāo)在圖像中的相對(duì)位置后，連接并繪制成軌跡圖。

圖4 多設(shè)備移動(dòng)軌跡

從圖4、圖5、圖6 和圖7 可以分析得出，不同目標(biāo)電子設(shè)備具有不同特點(diǎn)的移動(dòng)軌跡，不同行為有不同的軌跡特征，可以通過包含時(shí)序信息的多維軌跡對(duì)電子設(shè)備安全狀態(tài)與人員行為進(jìn)行區(qū)分。

圖5 手機(jī)拍照移動(dòng)軌跡

圖6 顯示器搬動(dòng)移動(dòng)軌跡

圖7 鼠標(biāo)操作移動(dòng)軌跡

5 結(jié)語

本文從敏感區(qū)域信息安全監(jiān)測(cè)與防護(hù)需求出發(fā)，通過設(shè)備安全級(jí)別劃分、設(shè)備行為獲取、威脅等級(jí)劃分以及預(yù)警響應(yīng)過程，實(shí)現(xiàn)對(duì)敏感區(qū)域電子設(shè)備的監(jiān)測(cè)識(shí)別與定位。本文提出的電子設(shè)備監(jiān)測(cè)識(shí)別與定位手段可以為敏感區(qū)域電子設(shè)備的管理提供增強(qiáng)的安全手段。后續(xù)研究中，在方法層面上需要優(yōu)化網(wǎng)絡(luò)模型，提高對(duì)設(shè)備識(shí)別的準(zhǔn)確率和檢測(cè)速度；在應(yīng)用層面上需要考慮形態(tài)各異的設(shè)備特征、動(dòng)態(tài)變化的復(fù)雜場(chǎng)景，以及人員行為、業(yè)務(wù)安全等方面的異常檢測(cè)，從而為關(guān)鍵信息基礎(chǔ)設(shè)施及其敏感區(qū)域提供增強(qiáng)的物理環(huán)境安全與網(wǎng)絡(luò)信息安全保障。