基于深度可分離的多尺度Lw-YOLO輕量化人臉檢測網絡

陳偉民 段 錦 于津強 吳 杰 陳 宇

(長春理工大學電子信息工程學院 吉林 長春 130022)

0 引 言

近些年來，隨著深度學習的飛速發(fā)展，越來越多的卷積神經網絡相繼誕生，與此同時，相關的改進網絡也是層出不窮。但是絕大多數網絡都是適用于帶有GPU的PC機。目前所謂的“實時”性，驗證的模型都是建立在TitanX[1]或者Tesla這類強大獨立顯卡的基礎上，而在實際的應用場景中，例如超市的人臉識別、自動售貨機的人臉識別等，并不能配備這些裝備。所以這類模型一旦移植到計算和內存相對不足的嵌入式平臺時，檢測的速度就非常不理想，達不到實時的要求。

因此，實時性高的檢測網絡進入到了人們的視野。例如，Redmon等[2]提出的YOLO和Liu等[3]提出的SSD等網絡都是旨在提高目標檢測的速度。其中，YOLO-LITE[4]是致力于CPU和嵌入式檢測的網絡模型，其有效地加快了檢測速度，但是帶來了檢測精度的損失。本文設計一種計算參數量小、人臉檢測精度高的輕量化網絡Lw-YOLO。該網絡以YOLO-LITE為基礎，由深度可分離卷積(depthwise separable convolution)[5]替代傳統(tǒng)卷積，以減少參數量；同時利用多個1×1的點卷積提升網絡深度，獲得更多的特征；采用改進的多尺度預測方法，將淺層的特征充分地提取與深層的特征結合[6]，提高了人臉檢測的精度。將該網絡應用到本文的樹莓派人臉檢測系統(tǒng)中，可以達到較高的檢測精度和速度，基本滿足實際應用場景，具有較好的市場前景。

本文從Lw-YOLO人臉檢測網絡原理出發(fā)，通過深度可分離卷積的方法減少網絡的參數量及改進的多尺度預測方法提高網絡的精度，達到速度和精度的雙平衡。最后，在WiderFace和Extended Yale B數據集上通過多組的實驗比較，驗證Lw-YOLO網絡的實用性、合理性，為無GPU嵌入式平臺的輕量化網絡設計提供一條新的思路。

1 基于Lw-YOLO的目標檢測原理

本文提出的Lw-YOLO輕量化網絡是基于無GPU嵌入式平臺設計的網絡架構，對輸入圖像提取特征，通過邏輯回歸預測每個邊界框分數，篩選得到每個類別的預測結果，實現端到端[7]的快速目標檢測。

圖1為整個網絡的原理圖，網絡首先將一幅未知分辨率圖片的輸入分辨率重置為224×224，并等分成S×S個柵格，如果目標中心落在某個柵格內，就由該柵格負責此目標的檢測任務。然后網絡通過目標中心、柵格寬高和預設邊界框(anchor box)進行目標邊界框的預測。每個人臉得出三個預測的邊界框，每個邊界框輸出5個參數，分別是預測邊界框的中心坐標(Bx,By)、預測邊界框的寬高(Bw,Bh)和最終的預測置信值C，最后篩選出置信值最高的邊界框，加上標簽。

邊界框預測過程如圖1中間的大圖所示，虛線矩形框為預設邊界框，實線邊界框為通過網絡預測的偏移量計算得到的預測邊界框。其中：(Cx,Cy)表示柵格的邊距；(Pw,Ph)為預設邊界框的寬和高；(Tx,Ty)和(Tw,Th)分別為網絡預測的邊界框中心偏移量以及寬高縮放比。從預設邊界框到預測邊界框的轉換公式為：

Bx=σ(Tx)+Cx

(1)

By=σ(Ty)+Cy

(2)

Bw=PweTw

(3)

Bh=PheTh

(4)

Pr(obj)×IOU(box,obj)=σ(To)

(5)

C=max(σ(To))

(6)

式中：(Tx,Ty)用Sigmoid函數歸一化處理，使取值在0～1之間；σ函數表示歸一化值轉化為真實值；Pr(obj)為目標屬于某一類的概率；IOU(Intersection over Union)是預測的邊界框和真實標定框之間的交并比[8]；σ(To)表示預測邊界框的置信值。

網絡根據維度聚類(dimension clusters)[9]的方法對人臉數據集聚集6組預設邊界框的寬高(即anchors值)，一次預測選定三個預設邊界框，依照不同大小的人臉尺寸，分別進行兩次不同尺度的獨立預測。維度聚類方法可以自適應地找到更好的邊界框寬高尺寸，有利于提升速率和網絡收斂程度。而傳統(tǒng)網絡的距離指標使用的是歐氏距離函數，這意味著較大的邊框會比較小的邊框產生更多的錯誤，聚類結果可能會偏移。為此，網絡采用IOU得分的評判標準，削減了邊框產生錯誤的概率，最終的距離函數表達式為：

d(box,obj)=1-IOU(box,obj)

(7)

在訓練過程中，網絡用二元交叉熵損失來預測類別。二元交叉熵損失公式為：

(8)

(9)

當且僅當yi和yj相等時，Loss為0;否則，Loss為一個正數。

2 Lw-YOLO輕量化網絡模型

2.1 Lw-YOLO網絡架構

針對YOLO-LITE在嵌入式設備檢測精度較低的問題，本文設計一種計算參數量小、人臉檢測精度高的輕量化網絡Lw-YOLO，通過深度可分離卷積的方法減少網絡的參數量及改進的多尺度預測方法，添加多個1×1卷積提高網絡的精度，達到速度和精度的雙平衡。

Lw-YOLO輕量化網絡相比較于圖2 YOLO-LITE網絡，具有網絡更深、精度更高的優(yōu)勢。如圖3所示，首先，網絡以YOLO-LITE為基礎架構，選取224×224的圖片輸入，增加網絡層數至20層，將除第一層卷積外的所有是3×3卷積核的傳統(tǒng)卷積都替換成更高效的深度可分離卷積，減少計算量，提升網絡深度。增加濾波器個數至512個，以獲得更多的特征。其次，改進多尺度預測，同時利用低層特征和高層特征，將7×7×128特征圖(feature-maps)[10]經過上采樣2倍后得到14×14×128特征圖，再與之前14×14×256特征圖疊加融合，形成14×14×384的特征圖，最后分別在YOLO1(7×7×18)和YOLO2(14×14×18)兩個尺度做獨立檢測。

圖2 YOLO-LITE網絡架構

圖3 Lw-YOLO網絡架構

YOLO-LITE為每個特征圖的每個柵格設置5個預設邊界框，所以每個柵格的張量(tensor)為5×(4+1+1)=30，其中：4表示(Tx,Ty,Tw,Th)4個坐標偏移；前一個1表示包含目標得分；后一個1表示1個類別，因此得到總輸出張量為7×7×30=420。而Lw-YOLO網絡為每個柵格設置3個預設邊界框，每個柵格的張量為3×(4+1+1)=18,總輸出張量為7×7×18+14×14×18=4 410。

2.2 深度可分離卷積

Lw-YOLO輕量化網絡模型將傳統(tǒng)卷積替換成深度可分離卷積提高網絡的計算效率，大大減少了計算的參數量。多個1×1點卷積的引入增加網絡模型的深度，保證網絡的精度。

如圖4所示，若原始圖像是二維的，大小是CI×CI，有M個通道，相當于是一個三維的圖片。其輸入圖片格式是CI×CI×M。卷積核大小是Dk×Dk。輸入圖片被M個不同Dk×Dk大小的卷積核遍歷N次，產生M×N個特征圖譜，進而通過疊加M個輸入通道對應的特征圖譜融合得到1個特征圖譜，最后產生的輸出圖像大小是CI×CI×N。則傳統(tǒng)卷積計算的參數量為：

C=Dk×Dk×M×N×CI×CI

(10)

圖4 傳統(tǒng)卷積

如圖5所示，深度可分離卷積是通過兩次卷積實現的，即將傳統(tǒng)的卷積分解為一個深度卷積(depthwise convolution)和一個1×1的點卷積(pointwise convolution)[5,11]。第一步，用M個Dk×Dk的卷積分別對輸入圖片的M個通道做一次卷積，生成M個特征圖譜。第二步，M個特征圖譜中分別通過N個1×1的卷積核，生成M×N個特征圖譜。最終疊加M個輸入通道對應的特征圖譜后融合得到1個特征圖譜。深度可分離卷積計算的參數量為深度卷積和1×1點卷積的參數量[12]之和為：

D=Dk×Dk×M×CI×CI+M×N×CI×CI

(11)

忽略N，當Dk=3時，深度可分離卷積和傳統(tǒng)卷積分別計算的參數量之比為：

(12)

由式(12)可見，深度可分離卷積的參數量縮減為傳統(tǒng)卷積的1/9左右。

(a) 深度卷積

(b) 點卷積圖5 深度可分離卷積

2.3 改進的多尺度預測

由于一幅圖片中可能具有多個不同大小的目標，對于簡單的目標僅僅需要淺層的特征就可以檢測到它；而對于復雜的目標，就需要利用復雜的特征來檢測它。因此，區(qū)分不同大小的目標需要不同尺度的特征。本文借鑒FPN[13]網絡的思想，采用改進的多尺度預測方法預測目標，7×7尺度特征圖采用(10,24)、(11,15)、(41,54)三個預設邊界框預測較大簡單的目標。14×14尺度特征圖同時利用低層特征和高層特征，采用(4,5)、(6,7)、(8,10)三個預設邊界框預測較小復雜的目標，所以能在較小的計算開銷下產生不同尺度的獨立預測。它的優(yōu)點是在不同尺度的層上負責輸出不同大小的目標，在有不同大小的目標時，較大的目標直接由7×7預測層輸出，不需要進行下面的卷積操作，而14×14預測層不需要再一次經過第三層卷積就能輸出對應的小目標(即對于有些目標來說，不需要進行多余的前向卷積操作)，這樣可以在一定程度上對網絡進行加速操作，同時可以提高算法的檢測性能。

整個過程如圖6(b)所示，首先網絡對輸入的圖片進行深度卷積，在基礎網絡之后對第二個卷積層上的特征進行降維操作(即添加一層1×1的卷積層)，在第四個卷積層輸出第一個尺度7×7的特征圖；對第四個卷積層上的特征進行上采樣操作(×2)，使得它的尺寸擴大兩倍，即與第二個卷積層的尺寸相同，然后對經過深度卷積處理后的第二個卷積層和處理后的第四個卷積層執(zhí)行加法操作(即對應元素相加)，將獲得的結果輸入到第五個卷積層中去，這樣做能找到早期特征映射的上采樣特征和細粒度特征[14]，并獲得更有意義的語義信息。之后，網絡添加多個卷積層來處理這個特征映射組合，得到相比第一個尺度變大兩倍的第二個尺度14×14特征圖。

(a) FPN的多尺度金字塔 (b) 輕量化的多尺度金字塔圖6 多尺度金字塔結構

本文從兩種不同尺度的特征圖譜上進行預測任務，網絡用相似的概念提取這些尺度的特征，以形成特征金字塔網絡。這次本文使用了輕量化的深度可分離卷積層來構造特征金字塔，提高網絡的計算效率；相比較圖6(a)，網絡只進行兩次預測，即將處理過的低層特征和處理過的高層特征進行累加，這樣做的目的是因為低層特征可以提供更加準確的位置信息，而多次的降采樣和上采樣操作使得深層網絡的定位信息存在誤差；因此，我們將其結合起來使用，這樣就構建了一個更淺更輕量化的多尺度特征金字塔，融合了兩層特征信息，并在不同的尺度進行獨立預測輸出。

3 實驗結果分析

3.1 實驗環(huán)境與數據集

模型訓練環(huán)節(jié)的實驗是在較高配置的PC端進行的，具體硬件環(huán)境為：處理器：Intel Core i7- 6700 3.4 GHz處理器；顯卡：GeForce GTX 1060顯卡，顯存為6 GB。實驗的軟件平臺環(huán)境為：訓練框架：DarkNet；開源庫：OpenCV；界面設計：PyQt4。

測試使用樹莓派3B+作為嵌入式平臺，樹莓派軟件配置樹莓派Respbian系統(tǒng)、OpenCV3.4.4、Python3.5編程語言。

本文使用WiderFace和Extended Yale B人臉數據集作為人臉檢測的訓練數據集和測試數據集。WiderFace包含32 203幅圖像和393 703幅人臉圖像，在尺度、姿勢、閉塞、表達、裝扮、關照等方面表現出了大的變化。Wider Face是基于61個事件類別組織的，本文對于每一個事件類別，選取其中的50%作為訓練集，10%作為驗證集，40%作為測試集。

擴展Yale人臉數據庫B中包含28個人16 128幅圖像，包括9種姿態(tài)、64種光照條件下的圖像。本文將它用作模型對不同光照、角度人臉檢測的測試集。

根據維度聚類方法對WiderFace人臉數據集進行聚類，得出6組anchor值。anchor box為特征圖上的點預測的寬高比例不同的預設邊界框，anchor值表示預設邊界框的寬高尺寸，用相對于原圖的大小來定義，大小范圍為(0×0，224×224)。網絡對于輸入圖像考慮6個預設邊界框，結果如表1所示。

表1 WiderFace人臉數據集6組anchor值

3.2 Lw-YOLO網絡訓練結果分析

網絡在3.1節(jié)實驗環(huán)境中，初始學習率learning-rate為0.001，衰減系數decay為0.000 5，動量參數momentum為0.9，每10 000次迭代保存一次此時的網絡權重，在訓練迭代次數為40 000和60 000時，分別將學習率降低至0.000 1，總訓練迭代次數為100 000。為了證明所設計的網絡可以完成對數據集的學習，將訓練中的Loss數據收集起來，并利用matlabplot庫將數據可視化，最終得到如圖7所示的Loss變化曲線。

圖7 Lw-YOLO網絡訓練中Loss變化曲線

可以看出，Lw-YOLO網絡在訓練過程中可以快速收斂，在40 000次后曲線趨于平穩(wěn)，Loss曲線變化趨勢正常，最后的Loss值下降到0.4左右。這說明優(yōu)化得到的Lw-YOLO網絡可以學習到數據集中的內容，訓練結果比較理想。接下來要對訓練過程中產生的多個權重進行選擇，選出其中最好的權重文件完成下文的網絡對比，因此本文選擇的權重為迭代40 000次的權重。

3.3 Lw-YOLO網絡測試結果分析

實驗一：選取WiderFace的測試集對三種人臉檢測模型進行測試，測試結果如表2、表3所示。

表2 三種人臉檢測模型在WiderFace精度測試結果(%)

表3 三種人臉檢測模型在WiderFace速度測試結果

由表2知，Lw-YOLO人臉檢測模型的平均精度與YOLOv3-tiny基本持平，比YOLO-LITE模型高23.22百分點，平均IOU是三者中最高的，同樣平均Recall是三者之中最優(yōu)，說明Lw-YOLO模型檢測結果與預設邊界框最接近，漏檢的概率最小。

在表3中，Lw-YOLO模型較小，只比YOLO-LITE模型大0.8 MB，在GPU和樹莓派3B+上的檢測速度也與YOLO-LITE模型相近，YOLOv3-tiny模型大小最大，檢測速度也最慢。雖然在GPU上三個模型耗時差距并不明顯，但是在計算能力有限且無GPU的樹莓派3B+上測試時，可以發(fā)現Lw-YOLO檢測速度幾乎是YOLOv3-tiny的1/7。

根據表2、表3可知，改進后的Lw-YOLO人臉檢測模型在樹莓派3B+上保持檢測速度與YOLO-LITE模型相近，而檢測精度有較大提高，網絡更深，計算參數量卻較少，輕量化成效顯著，綜合性能最佳，更適合嵌入式平臺應用。

實驗二：在Extended YaleB人臉數據集中選擇9種不同角度共252幅人臉圖像作為測試圖像，衡量三種不同人臉檢測模型的性能。

表4 三種人臉檢測模型在不同角度下的性能指標(%)

可以看出，三種人臉檢測模型在人臉角度一致的前提下，基于Lw-YOLO模型檢測準確率最佳比YOLO-LITE模型高4.59百分點，漏檢率最低。其次是基于YOLOV3-tiny模型，誤檢率與Lw-YOLO模型相同，準確率略低于改進的模型。最后是YOLO-LITE模型，漏檢個數最多，準確率最低。實驗結果表明，基于Lw-YOLO人臉檢測模型相較于原始模型，檢測性能有明顯的提升，對不同角度魯棒性最強。三種模型對不同角度檢測效果如圖8-圖10所示。

(a) 仰視30度人臉(b) 俯視30度人臉(c) 側面45度人臉圖8 基于不同角度的YOLO-LITE人臉檢測方法效果示例

(a) 仰視30度人臉(b) 俯視30度人臉(c) 側面45度人臉圖9 基于不同角度的YOLOv3-tiny人臉檢測方法效果示例

(a) 仰視30度人臉(b) 俯視30度人臉(c) 側面45度人臉圖10 基于不同角度的Lw-YOLO人臉檢測方法效果示例

實驗三：在Extended YaleB人臉數據集選擇64種共1 792幅不同角度光照環(huán)境下的正面人臉圖像作為測試圖像，衡量三種不同人臉檢測模型的性能。

如表5所示，三種人臉檢測模型在不同角度光照條件下有較好的檢測效果，其中基于YOLO-LITE的人臉檢測模型在64種光照條件下出現較多的漏檢，漏檢率比改進的模型高11.94百分點，準確率最低。而改進的Lw-YOLO模型在三者中準確率最高，漏檢率和誤檢率都是最低，表明改進的模型魯棒性較好，在光照條件不均勻的情況下，檢測精度更高。三種模型對不同光照檢測效果如圖11-圖13所示。

表5 三種人臉檢測模型在不同光照角度下的性能指標(%)

(a) 上方45度光照(b) 下方30度光照(c) 側面95度光照圖11 基于不同光照的YOLO-LITE人臉檢測方法效果示例

(a) 上方45度光照(b) 下方30度光照(c) 側面95度光照圖12 基于不同光照的YOLOv3-tiny人臉檢測方法效果示例

(a) 上方45度光照(b) 下方30度光照(c) 側面95度光照圖13 基于不同光照的Lw-YOLO人臉檢測方法效果示例

從上述3組實驗結果可知，Lw-YOLO人臉檢測方法相較于原始方法，性能有了較大的提升，并且在多角度、不同光照條件下人臉數據集的評測中，基于Lw-YOLO人臉檢測模型的魯棒性、準確性等性能表現綜合最優(yōu)，更適合實際應用場景下的人臉檢測。

4 結 語

本文設計一個基于深度可分離的輕量化人臉檢測網絡，采用深度學習的方法，針對現有神經網絡復雜、計算量大的缺點，提出一種解決無GPU嵌入式平臺計算能力和內存空間不足的人臉檢測網絡Lw-YOLO。該網絡將傳統(tǒng)卷積換成深度可分離卷積，顯著降低了網絡參數量，提高了嵌入式平臺的檢測效率。同時利用多個1×1的點卷積提升網絡深度，獲得更多的特征，最后使用多尺度預測方法提高網絡的檢測精度。網絡在WiderFace數據集的多次迭代訓練，選擇最優(yōu)的權重，得到輕量化的人臉檢測網絡，實驗結果表明該網絡在樹莓派3B+嵌入式平臺上進行人臉檢測，具有良好的檢測效果，在檢測速度和精度上大大提升，對實際場景下的人臉檢測有較好的應用價值。