基于深度學(xué)習(xí)的非法電子設(shè)備識(shí)別方法與應(yīng)用分析*

蘭 宇，劉文斌,2，寇云峰,2，丁建鋒,2，王夢寒，陳永祥

（1.成都新欣神風(fēng)電子科技有限公司，四川 成都 611731；2.中國電子科技網(wǎng)絡(luò)信息安全有限公司，四川 成都 610041）

0 引 言

圖像識(shí)別是指利用計(jì)算機(jī)對(duì)圖像進(jìn)行處理、分析和理解，以識(shí)別各種不同模式的目標(biāo)和對(duì)像的技術(shù)。近年來，伴隨著圖像處理技術(shù)的飛速發(fā)展，圖像識(shí)別技術(shù)被廣泛應(yīng)用在各個(gè)領(lǐng)域，并發(fā)揮越來越重要的作用[1]。例如，較常見的應(yīng)用領(lǐng)域包括導(dǎo)航、地圖與地形配準(zhǔn)、自然資源分析、天氣預(yù)報(bào)、環(huán)境監(jiān)測、交通標(biāo)志與車牌讀寫、指紋及人臉識(shí)別以及生理病變研究等。

圖像識(shí)別建立在信息技術(shù)基礎(chǔ)上，主要是借助計(jì)算機(jī)替代人工快捷地處理各種信息[2]。而在人工智能應(yīng)用的各個(gè)領(lǐng)域，圖像識(shí)別技術(shù)相對(duì)較晚，主要是因?yàn)槠溟_發(fā)難度較大，不像語言具有固定的語義、語法，也沒有具體的界定，且涉獵因素眾多，各個(gè)層面都有參與。

敏感場所、關(guān)鍵部位具有迫切的信息安全監(jiān)測與防護(hù)需求。除了通過聲、光、電磁信號(hào)分析等手段可達(dá)到對(duì)特定環(huán)境的安全監(jiān)測[3]，針對(duì)外來電子設(shè)備，一個(gè)更簡單有效的方法是對(duì)辦公環(huán)境進(jìn)行光學(xué)圖像信號(hào)采集與識(shí)別，判斷是否有未授權(quán)設(shè)備進(jìn)入目標(biāo)辦公場所或特殊環(huán)境。在圖像識(shí)別這個(gè)領(lǐng)域中，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）是目前受到學(xué)者普遍關(guān)注的方法之一。因?yàn)閳D像在不做太多前期處理的情況下可以直接作為網(wǎng)絡(luò)的輸入[4]，是卷積神經(jīng)網(wǎng)絡(luò)的一大優(yōu)勢。

基于卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行深度學(xué)習(xí)和物體識(shí)別主要分為兩種應(yīng)用：一種應(yīng)用是對(duì)電子設(shè)備的判別與分類，著重于“分類”，分類結(jié)果通過文本形式呈現(xiàn)結(jié)果；另一種應(yīng)用是對(duì)電子設(shè)備的識(shí)別與定位，側(cè)重于“定位”，在識(shí)別后將框選出圖像中的電子設(shè)備。

論文分別以Inception和Faster-RCNN網(wǎng)絡(luò)模型為例，對(duì)分類和定位兩種應(yīng)用的實(shí)現(xiàn)方法進(jìn)行介紹，并面向辦公場景，以鍵盤和鼠標(biāo)為對(duì)象，實(shí)現(xiàn)了典型電子設(shè)備的識(shí)別驗(yàn)證。

1 應(yīng)用1：分類

1.1 深度學(xué)習(xí)模型：Inception網(wǎng)絡(luò)

自2012年AlexNet取得歷史突破以來，主流的網(wǎng)絡(luò)結(jié)構(gòu)突破大致是增加網(wǎng)絡(luò)層數(shù)。雖然這樣可以起到一定效果，但單純?cè)龃缶W(wǎng)絡(luò)存在較多缺點(diǎn)。例如，參數(shù)太多易過擬合；網(wǎng)絡(luò)越大，計(jì)算復(fù)雜度越大，難以應(yīng)用；網(wǎng)絡(luò)越深，越易梯度彌散，難以優(yōu)化模型。這時(shí)Inception網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)運(yùn)而生，其對(duì)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，提高了深度神經(jīng)網(wǎng)絡(luò)性能。

Inception構(gòu) 建 1×1、3×3、5×5的 卷 積 運(yùn)算和3×3池化分支網(wǎng)絡(luò)，同時(shí)使用多層感知器和全局平均池化，擴(kuò)寬卷積層網(wǎng)絡(luò)寬度，增加了網(wǎng)絡(luò)對(duì)尺度的適應(yīng)性[5]；提出了批標(biāo)準(zhǔn)化（Batch Normalization），其正則化的效果使大型卷積網(wǎng)絡(luò)的訓(xùn)練速度加快很多倍，同時(shí)收斂后的分類準(zhǔn)確率大幅提高；引入了卷積分解法（Factorization），將一個(gè)較大的二維卷積拆成兩個(gè)較小的一維卷積，如將3×3卷積拆成1×3卷積和3×1卷積，一方面節(jié)約了大量參數(shù)，加速運(yùn)算并減輕了過擬合，另一方面增加了一層非線性擴(kuò)展模型表達(dá)能力。Inception網(wǎng)絡(luò)是卷積神經(jīng)網(wǎng)絡(luò)分類器發(fā)展史上的一個(gè)重要里程碑。

1.2 應(yīng)用實(shí)現(xiàn)原理

基于Inception網(wǎng)絡(luò)的分類應(yīng)用，首先需要進(jìn)行有監(jiān)督學(xué)習(xí)。以電子設(shè)備識(shí)別為例，即需要根據(jù)特定環(huán)境實(shí)際需求對(duì)電子設(shè)備圖片進(jìn)行深度學(xué)習(xí)，以形成樣本模型。其次，應(yīng)用時(shí)比對(duì)要識(shí)別的電子設(shè)備與訓(xùn)練模型，實(shí)現(xiàn)分類判斷。分類結(jié)果實(shí)時(shí)輸出并保存，如果有未授權(quán)的非法電子設(shè)備，則對(duì)其記錄并報(bào)警。

有監(jiān)督學(xué)習(xí)，首先需要將各電子設(shè)備樣本圖片進(jìn)行人工分類，隨后神經(jīng)網(wǎng)絡(luò)對(duì)各類圖片進(jìn)行訓(xùn)練。訓(xùn)練需達(dá)到對(duì)式（1）目標(biāo)函數(shù)的最小化誤差，即使損失函數(shù)Loss收斂。為了使Loss收斂得到識(shí)別準(zhǔn)確率高的模型，式（1）中L(yi,f(xi;ω))的值需要盡可能小。

該類應(yīng)用對(duì)視頻和圖片均可進(jìn)行識(shí)別，此處以最常見的鼠標(biāo)鍵盤為例，設(shè)置不同的兩類電子設(shè)備。深度學(xué)習(xí)后，輸入如圖1（a）、圖1（b）所示鍵盤圖片，判別為鍵盤的概率為100%和99.996%，如表1所示；輸入如圖1（c）、圖1（d）所示鼠標(biāo)圖片，判別為鼠標(biāo)的概率分別為99.995%和99.943%，如表1所示。使用視頻功能，則可以對(duì)攝像頭監(jiān)控范圍內(nèi)的鼠標(biāo)鍵盤進(jìn)行實(shí)時(shí)判斷。

圖1 分類測試對(duì)象

表1 分類測試結(jié)果

2 應(yīng)用2：定位

2.1 目標(biāo)檢測模型：Faster R-CNN

以目標(biāo)檢測模型Faster R-CNN為例，驗(yàn)證非法電子設(shè)備的定位應(yīng)用。它的主要功能是在視頻幀或圖片中實(shí)時(shí)識(shí)別目標(biāo)電子設(shè)備，并框選出該設(shè)備位置。

Faster R-CNN是基于候選區(qū)域（Region Proposal）的深度學(xué)習(xí)目標(biāo)檢測算法，生成建議框僅需約10 ms，實(shí)現(xiàn)了端到端的目標(biāo)檢測框架。其自2015年底問世后，雖然又逐步問世了R-FCN、Mask R-CNN等改進(jìn)框架，但基本結(jié)構(gòu)變化不大，同時(shí)業(yè)內(nèi)不乏有SSD、YOLO等在檢測速度上有相對(duì)優(yōu)勢的新作。但是，綜合考慮到檢測速度及準(zhǔn)確率，F(xiàn)aster R-CNN的表現(xiàn)仍是目前最優(yōu)秀的。

結(jié)合文獻(xiàn)[6]中對(duì)Faster R-CNN的描述，該網(wǎng)絡(luò)可主要分為4部分。

（1）卷積層（Convolutional Layers）：用于提取圖片特征，輸入為整張圖片，輸出為提取的特征。

（2）RPN網(wǎng) 絡(luò)（Region Proposal Network）：用于推薦候選區(qū)域，輸入為圖片，輸出為多個(gè)候選區(qū)域；

（3）特征圖框池（Region of Interest Pooling）：將不同大小的輸入轉(zhuǎn)換為固定長度的輸出；

（4）分類和回歸（Classification and Regression）：這一層的輸出是最終目的，輸出候選區(qū)域所屬的類和候選區(qū)域在圖像中的精確位置。

2.2 應(yīng)用實(shí)現(xiàn)原理

定位應(yīng)用同樣需要在使用前進(jìn)行有監(jiān)督學(xué)習(xí)。與分類應(yīng)用不同，定位應(yīng)用需要對(duì)大量目標(biāo)電子設(shè)備的圖片進(jìn)行標(biāo)注，通過標(biāo)注告訴計(jì)算機(jī)目標(biāo)電子設(shè)備名稱和外形模樣。標(biāo)注后進(jìn)行深度學(xué)習(xí)，形成樣本模型。當(dāng)運(yùn)行應(yīng)用時(shí)會(huì)實(shí)時(shí)判斷攝像頭或監(jiān)控設(shè)備的畫面，并標(biāo)記輸出目標(biāo)電子設(shè)備的位置。如果發(fā)現(xiàn)非法設(shè)備，則進(jìn)行記錄并報(bào)警。

在使用該類應(yīng)用時(shí)，要對(duì)所識(shí)別的目標(biāo)物體類別樣本進(jìn)行標(biāo)注。標(biāo)注有兩種主要方法，可分別生成XML文件和JSON文件，且各有優(yōu)缺點(diǎn)。

第一種方法為XML格式標(biāo)注。XML全稱為Extensible Markup Language，即擴(kuò)展標(biāo)記語言，通常用于標(biāo)記電子文件使其具有結(jié)構(gòu)性的標(biāo)記語言，可以用來標(biāo)記數(shù)據(jù)、定義數(shù)據(jù)類型，是一種允許用戶對(duì)自己的標(biāo)記語言進(jìn)行定義的源語言[7]。XML使用文檔類型定義（Document Type Definition，DTD）組織數(shù)據(jù)；格式統(tǒng)一，跨平臺(tái)和語言，早已成為業(yè)界公認(rèn)的標(biāo)準(zhǔn)。它的優(yōu)點(diǎn)在于：格式統(tǒng)一，符合標(biāo)準(zhǔn)；易與其他系統(tǒng)進(jìn)行遠(yuǎn)程交互，數(shù)據(jù)共享比較方便。缺點(diǎn)也顯而易見，即XML文件龐大，文件格式復(fù)雜。圖2為使用Labellmg軟件標(biāo)注電子設(shè)備鼠標(biāo)用來生成XML格式文件的演示。

圖2 使用Labellmg軟件標(biāo)注電子設(shè)備鼠標(biāo)

第二種方法為JSON格式標(biāo)注。JSON全稱為JavaScript Object Notation，是一種輕量級(jí)的數(shù)據(jù)交換格式，具有良好的可讀性和便于快速編寫的特性，可在不同平臺(tái)之間進(jìn)行數(shù)據(jù)交換[8]。JSON采用兼容性很高、完全獨(dú)立于語言文本的格式，同時(shí)也具備類似于C語言的習(xí)慣，使JSON成為理想的數(shù)據(jù)交換語言。但是，JSON通用性不如XML，且標(biāo)注相對(duì)較費(fèi)時(shí)間。圖3為使用Labelme軟件標(biāo)注電子設(shè)備鼠標(biāo)，用來生成JSON格式文件的演示。

圖3 使用Labelme軟件標(biāo)注電子設(shè)備鼠標(biāo)

在綜合比較以上兩種標(biāo)注方法后，本文在標(biāo)注過程中選取使用第一種方法，即通過Labellmg軟件對(duì)電子設(shè)備目標(biāo)樣本進(jìn)行標(biāo)注，并生成XML格式文件。

對(duì)目標(biāo)電子設(shè)備的已標(biāo)注樣本進(jìn)行訓(xùn)練后，可對(duì)場景內(nèi)該類別的電子進(jìn)行實(shí)時(shí)識(shí)別及定位。

Faster R-CNN對(duì)于圖像中物體進(jìn)行目標(biāo)定位及識(shí)別，其函數(shù)定義為[9]：

其中，pi為預(yù)測成目標(biāo)概率；ti、ti*表示坐標(biāo)向量；Lcls(pi,pi*)是目標(biāo)與非目標(biāo)對(duì)數(shù)損失；Lreg(ti,ti*)；分類和回歸層的輸出分別由{pi}、{ui}組成。

為了提高識(shí)別準(zhǔn)確率，損失函數(shù)Loss需盡可能收斂，表示式為：

最終，F(xiàn)aster R-CNN函數(shù)優(yōu)化目標(biāo)表達(dá)式為：

利用梯度下降法或者最小二乘法可以得到w*。

該類應(yīng)用在運(yùn)行時(shí)可以實(shí)時(shí)分析攝像頭或監(jiān)控采集的畫面，判斷是否存在非法電子設(shè)備。如果存在，則在監(jiān)控畫面實(shí)時(shí)框選出目標(biāo)設(shè)備，并顯示設(shè)備類別和判別概率。以某型鼠標(biāo)鍵盤為例，如圖4所示，當(dāng)目標(biāo)出現(xiàn)在監(jiān)控?cái)z像頭范圍內(nèi)，則框選出鍵盤并顯示其識(shí)別概率為99%；框選出鼠標(biāo)并顯示其識(shí)別概率為99%。

圖4 對(duì)鼠標(biāo)鍵盤的定位應(yīng)用結(jié)果

與分類應(yīng)用相比，定位應(yīng)用可以同時(shí)對(duì)多目標(biāo)識(shí)別，而分類應(yīng)用則主要針對(duì)單一目標(biāo)的分類。

3 非法電子設(shè)備識(shí)別應(yīng)用前景

從上述方法可以看出，電子設(shè)備的識(shí)別應(yīng)用一般分為3步：

（1）針對(duì)特定場景或特殊辦公環(huán)境，先將禁止帶入的電子設(shè)備如無線鼠標(biāo)、鍵盤、手機(jī)、相機(jī)等進(jìn)行樣本采集，并構(gòu)建樣本庫，通過深度學(xué)習(xí)訓(xùn)練固化識(shí)別模型。

（2）實(shí)際工作中，使用監(jiān)控設(shè)備對(duì)場景進(jìn)行圖像采集，然后實(shí)時(shí)分析采集的數(shù)據(jù)并輸出結(jié)果。

（3）如果在該區(qū)域發(fā)現(xiàn)非法設(shè)備，則通過聲、光等手段進(jìn)行警示，并將非法行為記錄并反饋至相關(guān)管理部門，或通過啟動(dòng)加擾、斷電等防護(hù)功能實(shí)現(xiàn)實(shí)時(shí)防護(hù)。

當(dāng)前信息安全、物理安全領(lǐng)域?qū)υO(shè)備識(shí)別特別是非法電子設(shè)備識(shí)別有大量需求。例如，某些敏感場所禁止拍攝，則可將手機(jī)、攝像機(jī)等攝錄設(shè)備設(shè)置為未授權(quán)設(shè)備。如果監(jiān)控中出現(xiàn)此類設(shè)備，則會(huì)實(shí)時(shí)向工作人員做出警示。

對(duì)于分類應(yīng)用，它適用于背景單一的物體識(shí)別，應(yīng)用側(cè)重于圖片識(shí)別。定位應(yīng)用本質(zhì)上是目標(biāo)框選與分類的結(jié)合，適用于要鎖定非法設(shè)備目標(biāo)并跟蹤其行為軌跡的場景，如考試環(huán)境、敏感業(yè)務(wù)部門等。

分類和定位兩種應(yīng)用，本質(zhì)上是對(duì)光學(xué)信號(hào)進(jìn)行深度學(xué)習(xí)，并實(shí)時(shí)采集光學(xué)信號(hào)進(jìn)行識(shí)別。但是，這類用于成像的信號(hào)一般是電子設(shè)備表面發(fā)射的光信號(hào)，而電磁等物理信號(hào)是電子設(shè)備內(nèi)部工作時(shí)發(fā)射的信號(hào)，經(jīng)過轉(zhuǎn)化同樣可以基于瀑布圖、頻譜圖等圖片形式呈現(xiàn)，并挖掘出更多的特征用于識(shí)別目標(biāo)對(duì)象。實(shí)際應(yīng)用中采集并結(jié)合光學(xué)、電磁以及聲學(xué)、熱學(xué)信號(hào)進(jìn)行綜合判別，可以更準(zhǔn)確地識(shí)別目標(biāo)。

4 結(jié) 語

本文分析并驗(yàn)證了基于深度學(xué)習(xí)對(duì)電子設(shè)備智能識(shí)別的分類和定位兩種典型應(yīng)用。其中，分類應(yīng)用可以判斷圖片中的設(shè)備是否為非法電子設(shè)備；定位應(yīng)用可以準(zhǔn)確識(shí)別場景內(nèi)是否存在非法電子設(shè)備，且可以準(zhǔn)確定位該電子設(shè)備位置。在后續(xù)研究中，將深入優(yōu)化神經(jīng)網(wǎng)絡(luò)模型，并研究輸入圖像預(yù)處理及識(shí)別后處理，同時(shí)通過豐富樣本庫、優(yōu)化硬件平臺(tái)等手段來提高對(duì)非法電子設(shè)備識(shí)別的反應(yīng)速度和準(zhǔn)確率。