基于改進(jìn)UNet網(wǎng)絡(luò)的車牌分割算法研究

楊創(chuàng)富，張昕，海燕，周飛，陳榮演，邱天

（1.五邑大學(xué)智能制造學(xué)部，廣東江門 529020；2.江門市消防局江門市消防救援支隊(duì)，廣東江門 529020）

由于在復(fù)雜環(huán)境下，傳統(tǒng)的圖像處理方法容易受強(qiáng)光、雨水、霧霾天氣等環(huán)境因素的影響，車牌識(shí)別準(zhǔn)確率如何提升一直是研究的重點(diǎn)。文獻(xiàn)[1]提出基于Gabor 濾波多特征融合車牌定位算法，但該方法耗時(shí)嚴(yán)重。文獻(xiàn)[2]提出了一種基于支持向量機(jī)（SVM）的車牌識(shí)別方法，該算法有較好的效果，但仍有進(jìn)一步提升空間。文獻(xiàn)[3]提出了一種采用HSV顏色空間與邊緣信息結(jié)合的方式，但精度仍可提高。為了獲得更高的準(zhǔn)確率，該文在分析現(xiàn)有算法的條件下，考慮到深度學(xué)習(xí)分割算法可自動(dòng)提取圖像的有效特征[4-5]，有效應(yīng)對(duì)不同環(huán)境下的識(shí)別問題，故選其作為研究對(duì)象。

1 相關(guān)算法工作

近年來，在人工智能領(lǐng)域飛速發(fā)展的深度學(xué)習(xí)算法在分割研究應(yīng)用層面?zhèn)涫芮嗖A。如FCN[6]分割網(wǎng)絡(luò)是深度學(xué)習(xí)分割網(wǎng)絡(luò)最基礎(chǔ)的結(jié)構(gòu)，其提出的上采樣反卷積網(wǎng)絡(luò)搭建，卷積網(wǎng)絡(luò)采樣跳躍連接，累加融合特征圖像素值等方法，是UNet 網(wǎng)絡(luò)的借鑒部分。UNet[7]承繼前者網(wǎng)絡(luò)的優(yōu)點(diǎn)，同時(shí)也增加了編碼器（enconde）和解碼器(decode)，通過在通道上進(jìn)行拼接，在一定程度上加深卷積層數(shù)，實(shí)現(xiàn)對(duì)特征層的信息有效提取。

通過對(duì)前人在分割領(lǐng)域使用的深度學(xué)習(xí)算法進(jìn)行研究[8]，考慮到注意力機(jī)制有利于重點(diǎn)信息的提取，并可抑制非重要信息的獲取。為了更準(zhǔn)確地實(shí)現(xiàn)車牌區(qū)域分割的目標(biāo)，將cSE 注意力機(jī)制[9]模塊融入到UNet 網(wǎng)絡(luò)，構(gòu)建cSE-UNet 網(wǎng)絡(luò)模型，在自建車牌數(shù)據(jù)集進(jìn)行對(duì)比實(shí)驗(yàn)。

2 網(wǎng)絡(luò)總體框架

2.1 原始UNet網(wǎng)絡(luò)結(jié)構(gòu)

UNet 整體為Encoder-Decoder 的結(jié)構(gòu)，主干特征提取網(wǎng)絡(luò)分五次卷積池化來提取特征信息。提取到最后的特征層再進(jìn)行五輪上采樣，同時(shí)每一輪上采樣都要和之前同層下采樣網(wǎng)絡(luò)進(jìn)行堆疊，以達(dá)到增強(qiáng)網(wǎng)絡(luò)特征信息提煉的能力，有效實(shí)現(xiàn)邊緣特征值的傳遞。最終獲得的特征圖經(jīng)過一個(gè)1×1 的卷積層壓縮為一層，通過Sigmoid 激活函數(shù)運(yùn)算生成概率，可對(duì)輸入進(jìn)來的圖片每一個(gè)像素點(diǎn)進(jìn)行判斷，最終預(yù)測(cè)結(jié)果呈二值圖像顯示。UNet網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 UNet網(wǎng)絡(luò)結(jié)構(gòu)

2.2 cSE 模塊

壓縮和激勵(lì)網(wǎng)絡(luò)模塊(cSE-Net) 是源自于SENet[10]的改進(jìn)，不同之處在于全連接層的升降維度值降為1/2，經(jīng)大量數(shù)據(jù)的對(duì)比實(shí)驗(yàn)，效果會(huì)更好。cSE 模塊主要分為擠壓操作（Squeeze）和激發(fā)操作（Excitation）。特征圖通過全局平均池化，從[B,C,H,W]變?yōu)閇B,C,1,1]，通道數(shù)保持不變，但空間大小變?yōu)?×1，其中，H和W分別為特征圖的高和寬，B是批次數(shù)，C為特征圖的通道數(shù)，U為輸入特征圖。池化后的特征圖先進(jìn)行1×1 卷積，把輸入的通道數(shù)變?yōu)?/2，這部分和原來SENet 的1/16 不同；再進(jìn)行1×1 卷積，把輸入通道恢復(fù)到原來的狀態(tài)；最后獲得的特征圖通過Sigmoid 激活函數(shù)調(diào)整權(quán)重值為[0,1]之間，再和原來的feature map 相乘，這是整個(gè)注意力機(jī)制cSE的原理流程，在這過程中特征圖被賦予不同的權(quán)重值，實(shí)現(xiàn)對(duì)特征信息有效重構(gòu)。其設(shè)計(jì)方案如圖2所示。

圖2 cSE模塊設(shè)計(jì)方案

2.3 cSE-UNet網(wǎng)絡(luò)模型

鑒于UNet 采用encoder-decoder 形式，先進(jìn)行下采樣，然后進(jìn)行上采樣，得到與原圖一樣大小的方法[11]。實(shí)驗(yàn)主要對(duì)編碼部分的下采樣層每個(gè)池化部分前面均添加cSE 模塊進(jìn)行改進(jìn)，其中每個(gè)下采樣層由三個(gè)模塊（2 個(gè)3×3 卷積層+1 個(gè)cSE 模塊+1 個(gè)2×2 最大池化層）實(shí)現(xiàn)。這種增加cSE 模塊改進(jìn)方式有助于對(duì)feature map 信息的提煉[12]，重構(gòu)特征信息，抑制非重要信息的利用，增強(qiáng)訓(xùn)練網(wǎng)絡(luò)的能力。該文設(shè)計(jì)的cSE-UNet 網(wǎng)絡(luò)模型，其整體結(jié)構(gòu)如圖3所示。

整體算法流程是先對(duì)圖片進(jìn)行編碼，進(jìn)行2 個(gè)3×3 卷積特征提取，融合1 個(gè)cSE 注意力層，再進(jìn)行一個(gè)2×2 池化下采樣，這樣的模塊組合重復(fù)四次。輸入的圖片大小開始為512×512，經(jīng)過編碼會(huì)變?yōu)?56×256、128×128、64×64、32×32 四種不同尺寸。獲得下采樣最小尺寸32×32 特征圖后進(jìn)行反卷積，尺寸變?yōu)?4×64 大小，同時(shí)把上采樣獲得的特征圖再和之前同層的下采樣相同維度大小的特征圖進(jìn)行通道拼接（skip connection），這樣的上采樣模塊重復(fù)四次，即可把圖片解碼成與輸入大小相同的分割特征圖，最后一層經(jīng)過1×1 卷積核進(jìn)行分類，使用Sigmoid激活函數(shù)，對(duì)feature map 進(jìn)行概率預(yù)測(cè)，劃分出背景和車牌區(qū)域信息，實(shí)現(xiàn)對(duì)車牌的分割。

3 車牌數(shù)據(jù)集及訓(xùn)練指標(biāo)

3.1 數(shù)據(jù)集收集及處理

該文以1 800 張汽車車牌照片為對(duì)象，其中一部分來自網(wǎng)絡(luò)收集，一部分來自于現(xiàn)場(chǎng)拍攝。圖片拍攝環(huán)境包括雨天、雪天、霧天、晚上、傾斜角度等復(fù)雜狀態(tài)下進(jìn)行。車牌圖片集如圖4 所示。

圖4 汽車車牌數(shù)據(jù)

根據(jù)UNet 網(wǎng)絡(luò)訓(xùn)練所需的圖片大小，通過程序統(tǒng)一把圖片大小裁剪為512×512像素。再用LableMe軟件對(duì)車牌圖片進(jìn)行人工標(biāo)注，運(yùn)行相關(guān)程序把圖片劃分為原圖片和掩碼標(biāo)簽兩部分，再把掩碼標(biāo)簽部分圖像二值化，二值化圖像有助提升訓(xùn)練的穩(wěn)定性。最后由兩部分圖片文件隨機(jī)生成200 張驗(yàn)證數(shù)據(jù)集和1 600 張訓(xùn)練數(shù)據(jù)集。標(biāo)注效果如圖5所示。

圖5 標(biāo)注數(shù)據(jù)集處理

3.2 效果評(píng)價(jià)指標(biāo)

預(yù)測(cè)結(jié)果指標(biāo)類型如表1 所示，TP、TN、FP、FN分別為真陽性、真陰性、假陽性、假陰性。

表1 預(yù)測(cè)結(jié)果指標(biāo)類型

由于Miou 在所有分割度量之中代表性強(qiáng)，易于理解，選擇其作為測(cè)試度量的標(biāo)準(zhǔn)之一。Miou 定義是計(jì)算真實(shí)值和預(yù)測(cè)值的交值與其兩并集之比，其計(jì)算方法如下：

其次也輔助，采用Dice 相似系數(shù)加以衡量，其原理是計(jì)算預(yù)測(cè)結(jié)果和真實(shí)分割標(biāo)簽進(jìn)行對(duì)比，得出重疊度。Dice 相關(guān)系數(shù)越大，表示的車牌分割效果越好，其公式如下：

召回率（Recall）用于表示對(duì)待分割目標(biāo)的分割覆蓋率，即表示所有正例中被正確分割出來的比例，召回率越高，代表分割的準(zhǔn)確目標(biāo)越多。

3.3 損失函數(shù)

該文選用BCE 損失函數(shù)來優(yōu)化網(wǎng)絡(luò)參數(shù)，其中BinaryCrossEntropyLoss 即為BCELoss 函數(shù)，該損失函數(shù)主要用于二值分類問題，通過評(píng)估分割預(yù)測(cè)值和標(biāo)簽值的差異程度，使得網(wǎng)絡(luò)訓(xùn)練對(duì)反饋信息進(jìn)行及時(shí)調(diào)整。損失函數(shù)值越低越穩(wěn)定，說明訓(xùn)練的結(jié)果越趨于準(zhǔn)確。BCELoss 公式如式（4）：

其中，N為迭代的次數(shù)，yi為0 或者1，p(yi)是輸出屬于yi標(biāo)簽的概率。二元交叉熵是評(píng)估訓(xùn)練和測(cè)試結(jié)果的好壞程度，概率p(yi)值越接近1，損失函數(shù)Loss 的值越接近0。

4 實(shí)驗(yàn)過程及結(jié)果

4.1 實(shí)驗(yàn)條件

實(shí)驗(yàn)條件如表2 所示。

表2 實(shí)驗(yàn)運(yùn)行環(huán)境配置

4.2 網(wǎng)絡(luò)訓(xùn)練

訓(xùn)練采用Admin 優(yōu)化器，學(xué)習(xí)率為0.001，損失函數(shù)采用二分類交叉熵?fù)p失（BCELoss）,訓(xùn)練的batchsize 為4，經(jīng)過100 輪訓(xùn)練后，根據(jù)損失函數(shù)和評(píng)價(jià)指標(biāo)，訓(xùn)練的Loss 值不斷下降最后趨于一個(gè)穩(wěn)定值，損失值為0.1，如圖6 所示。其他指標(biāo)如Dice 系數(shù)穩(wěn)定在95%，Miou 達(dá)到89%，訓(xùn)練整體收斂，達(dá)到較理想的狀態(tài)，保存最好模型。cSE-UNet 網(wǎng)絡(luò)訓(xùn)練的Dice 和Miou 值變化如圖7 所示。

圖6 損失函數(shù)Loss值變化圖

圖7 Dice和Miou值變化圖

4.3 和主流較好的分割模型對(duì)比實(shí)驗(yàn)

為驗(yàn)證該文算法的準(zhǔn)確性，分別和當(dāng)前在車牌分割領(lǐng)域有較高準(zhǔn)確率的主流分割網(wǎng)絡(luò)（FCN[6]、CeNet、ResNet[13]、UNet、Attention-UNet[14]、GAU-UNet[14]、CBAM-UNet[15]等）在該文數(shù)據(jù)集上進(jìn)行測(cè)試對(duì)比,實(shí)驗(yàn)結(jié)果如表3 和4 所示。

表3 主流分割網(wǎng)絡(luò)實(shí)驗(yàn)對(duì)比

表4 增加注意力模塊實(shí)驗(yàn)對(duì)比

從表3 和4 可以看出，在平均Dice 系數(shù)和平均交并比值（Miou）上，該文方法都明顯超越以往的主流深度學(xué)習(xí)分割網(wǎng)絡(luò)，F(xiàn)CN 網(wǎng)絡(luò)在各指標(biāo)上表現(xiàn)較差。原始UNet 在整體分割中的召回率為84%，Dice 系數(shù)為71%，平均交并比Miou 為65%，從數(shù)據(jù)來看，對(duì)于UNet 網(wǎng)絡(luò)增加Resnet 模塊或注意力模塊（CBAM[16]、GAU、cSE）都會(huì)在一定的程度上提高分割的準(zhǔn)確性，訓(xùn)練結(jié)果都比原始的UNet 有提高。而表現(xiàn)最好的是該文的cSE-UNet分割網(wǎng)絡(luò)，其中，召回率（Recall）、Dice 系數(shù)值和Miou 明顯分別比原始UNet 提高了10%、16%、15%，整體也比其他主流分割網(wǎng)絡(luò)有較大的提升。CBAM-UNet 整體略低于cSE-UNet，也說明在某些方面CBAM 模塊和cSE 模塊有相通之處，但cSE-UNet 適應(yīng)性更好。

4.4 分割結(jié)果展示

如圖8 所示，UNet 網(wǎng)絡(luò)對(duì)車牌分割結(jié)果有些地方分割不全，一些部位被忽略，整體分割較為粗糙。而對(duì)UNet 網(wǎng)絡(luò)增加注意力機(jī)制cSE 模塊能有效提升訓(xùn)練的準(zhǔn)確性，整體效果更好。其中，CBAM 和cSE模塊效果較為相似，從數(shù)據(jù)上看，cSE 模塊的準(zhǔn)確率只比CBAM 模塊高幾個(gè)點(diǎn)，但從分割效果來看，CBAM 分割出的位置太多了，有些不是車牌部分也分割出來，而cSE 網(wǎng)絡(luò)模塊分割效果恰到好處，故添加cSE 注意力機(jī)制更有效，提升的準(zhǔn)確率更大，分割出來的邊界更加平滑。綜合以上的評(píng)估結(jié)果，cSEUNet整體效果優(yōu)于其他分割算法。

圖8 UNet各改進(jìn)系列分割結(jié)果對(duì)比

5 結(jié)論

為提升在復(fù)雜環(huán)境下車牌分割的精度，該文提出一種基于注意力機(jī)制的改進(jìn)UNet 網(wǎng)絡(luò)算法。首先，篩選注意力模塊，其次，對(duì)UNet 增加cSE 模塊，最后，對(duì)比其他改進(jìn)算法實(shí)驗(yàn)，相較原創(chuàng)UNet 網(wǎng)絡(luò)有大幅提升，Dice 系數(shù)值從71%提升至87%，Miou 從65%提升至80%，比其他主流（FCN、Res-UNet、CBAM-UNet）分割方法也有明顯的提升，證明cSE 模塊方法在車牌分割領(lǐng)域是有效的。未來為進(jìn)一步提升在復(fù)雜環(huán)境下網(wǎng)絡(luò)分割的準(zhǔn)確性和穩(wěn)健性，將會(huì)加大數(shù)據(jù)集的訓(xùn)練，以及引進(jìn)多種優(yōu)化函數(shù)，增強(qiáng)網(wǎng)絡(luò)各方面的性能。