基于改進(jìn)暗通道先驗(yàn)的車牌圖像去霧方法研究*

石冬陽(yáng)，張俊林，賈兵，聶玲，楊慧敏

(1.重慶科技學(xué)院 電氣工程學(xué)院，重慶 401331；2.湘潭大學(xué) 數(shù)學(xué)與計(jì)算科學(xué)學(xué)院，湖南 湘潭 411105)

0 引言

隨著社會(huì)經(jīng)濟(jì)快速發(fā)展，車輛逐漸成為我們?nèi)粘１夭豢缮俚慕煌üぞ撸嚺谱R(shí)別系統(tǒng)因此被應(yīng)用到道路監(jiān)控中，一定程度上提高了交通管理的效率。在無霧的場(chǎng)景下，車牌識(shí)別系統(tǒng)能獲得較好的識(shí)別效果[1]；在霧霾天氣下，受到大氣中懸浮顆粒的影響，使得圖像可見度降低[2]，車牌識(shí)別系統(tǒng)采集到的車牌圖像變得模糊不清，圖像中車牌信息特征無法及時(shí)有效呈現(xiàn)出來，導(dǎo)致車牌定位與識(shí)別的精度嚴(yán)重下降。

為了直接有效地提升車牌識(shí)別精度，必須首先對(duì)車牌識(shí)別系統(tǒng)采集到的圖像進(jìn)行去霧處理。在圖像去霧方法中，圖像增強(qiáng)和圖像復(fù)原是兩種常見的去霧方法。前者在處理具有復(fù)雜結(jié)構(gòu)的有霧圖像時(shí)效果并不理想。后者基于大氣散射模型，進(jìn)而求解無霧圖像，獲得了較好的圖像去霧效果，但自身仍有局限性。Tan[3]采用最大化恢復(fù)圖像的局部對(duì)比度來消除霧霾，但結(jié)果中出現(xiàn)了圖像色調(diào)飽和的現(xiàn)象。He 等人[4]提出了基于導(dǎo)向?yàn)V波的暗通道去霧算法，縮短了去霧時(shí)間，但在處理含有天空等明亮區(qū)域的霧霾圖像時(shí)出現(xiàn)了顏色的失真和偏移。Tarel等人[5]構(gòu)建大氣耗散函數(shù)以實(shí)現(xiàn)圖像去霧，去霧結(jié)果中出現(xiàn)了顏色失真的現(xiàn)象。Fattal等[6]通過計(jì)算場(chǎng)景內(nèi)反射率得到無霧圖像,但該方法不適用于模糊圖像和灰度圖像。目前暗通道先驗(yàn)去霧算法取得了較好的去霧效果，但該算法處理含有天空等明亮區(qū)域圖像時(shí)存在顏色失真和偏移等問題，故本次在暗通道先驗(yàn)去霧算法的基礎(chǔ)上進(jìn)行相應(yīng)的改進(jìn)。

1 暗通道先驗(yàn)去霧原理

近年來暗通道先驗(yàn)去霧算法以去霧效果優(yōu)良的特點(diǎn)得到廣泛的應(yīng)用[7]，其去霧基本原理如下。

在圖像去霧領(lǐng)域中，式(1)所描述的大氣散射模型得到了廣泛的運(yùn)用[8-9]。

I(x)=t(x)J(x)+A(1-t(x))(1)式中，x 表示有霧圖像中每個(gè)像素點(diǎn)所對(duì)應(yīng)的位置，I(x)表示采集到的有霧圖像，J(x)表示需復(fù)原的無霧圖像，A與t(x)分別表示大氣光值與透射率，t(x)J(x)與A(1-t(x))分別表示場(chǎng)景直接衰減項(xiàng)與環(huán)境光項(xiàng)。

根據(jù)暗通道定義，在非天空等明亮局部區(qū)域中，某些像素至少有一個(gè)通道值趨近零，對(duì)于一幅圖像J(x)，暗通道表達(dá)式如式(2)所示：

以x 為中心的局部區(qū)域運(yùn)用Ω(x)來表示，RGB 通道值運(yùn)用上標(biāo)c 來表示。由暗通道先驗(yàn)理論可以知道，對(duì)于非天空區(qū)域的清晰圖像而言，其暗通道值趨近于零，即Jdark(x)→0。

根據(jù)大氣散射模型，化簡(jiǎn)后的式(1)如下：

首先，假設(shè)此時(shí)透射率t(x)為一常數(shù)，記為，A值是已知數(shù)值，對(duì)式(3)兩邊同時(shí)進(jìn)行兩次最小值運(yùn)算后的表達(dá)式如式(4)所示：

J(x)為所求無霧圖像，根據(jù)暗通道先驗(yàn)理論：

為了使拍攝到的圖像更加接近真實(shí)場(chǎng)景，通過引入因子ω 對(duì)透射率進(jìn)行修正，如式（7）所示：

針對(duì)大氣光值A(chǔ) 的求解，通常在圖像暗通道中取最亮的前0.1%的像素，然后在原霧霾圖像中找到與之對(duì)應(yīng)亮度點(diǎn)的值，將該值作為大氣光值。

假如所求透射率偏小，則造成所求無霧圖像存在失真現(xiàn)象，因此對(duì)透射率設(shè)定下限值t0以防止無霧圖像失真，當(dāng)求得的透射率值小于t0時(shí)，取t=t0。此時(shí)已知透射率值與大氣光值，并代入到式(1)，求解得到的無霧圖像表達(dá)式如式(8)所示。

He 等人為減少細(xì)化透射率所需要的時(shí)間，運(yùn)用導(dǎo)向?yàn)V波法來代替軟摳圖法，提升了去霧效率。

2 車牌識(shí)別模型的改進(jìn)

為提升車牌識(shí)別精度，本次將改進(jìn)型暗通道去霧算法引入到車牌識(shí)別系統(tǒng)中，如圖1 所示。

圖1 改進(jìn)后車牌識(shí)別模型

2.1 受限大氣光值

當(dāng)最小值濾波窗口過小時(shí)，暗通道先驗(yàn)去霧算法對(duì)暗通道圖像白色區(qū)域的腐蝕并不徹底，使得大氣光值取值到該白色區(qū)域，此時(shí)所得的大氣光值A(chǔ) 將大于真實(shí)值，根據(jù)式(7)，此時(shí)透射率值將取值過大，造成去霧后圖像發(fā)生失真。針對(duì)以上問題，本次對(duì)所求大氣光值A(chǔ)進(jìn)行限制，以防止大氣光值A(chǔ) 取值過高，修正后大氣光值A(chǔ) 表達(dá)式如下：

在式(9)中，當(dāng)大氣光值A(chǔ) 大于225時(shí)，令A(yù) 等于225；當(dāng)大氣光值A(chǔ) 小于225時(shí)，令大氣光值保持不變，實(shí)現(xiàn)了對(duì)大氣光值取值過大的限制。

2.2 去霧引入因子的優(yōu)化選擇

引入因子ω 的選值直接影響著圖像結(jié)構(gòu)相似性，為了獲得最佳的圖像結(jié)構(gòu)相似性，本次設(shè)置ω 的取值范圍為[0.8，1]，根據(jù)0.01 的步長(zhǎng)增大ω，通過不斷增大ω 的值，得到對(duì)應(yīng)圖像結(jié)構(gòu)相似度的值，并進(jìn)行統(tǒng)計(jì)分析，如果圖像結(jié)構(gòu)相似度開始出現(xiàn)下降的現(xiàn)象，將此時(shí)的臨界值作引入因子的最佳值，此時(shí)求得透射率值即是最優(yōu)透射率值。

2.3 明亮區(qū)域透射率的修正

當(dāng)圖像中的場(chǎng)景為天空或一些明亮區(qū)域，暗通道值遠(yuǎn)遠(yuǎn)大于零，此時(shí)天空等明亮區(qū)域的暗通道值和大氣光值很接近，表達(dá)式如式(10)所示。

根據(jù)暗通道先驗(yàn)去霧算法原理，當(dāng)圖像中存在天空或明亮區(qū)域時(shí)，此時(shí)所求的透射率值為：

此時(shí)的圖像暗通道值接近于環(huán)境大氣光值，引入因子是一個(gè)趨近于1 的常數(shù)，故所求得透射率值是一個(gè)趨近于0 的數(shù)值，低于透射率的真實(shí)值，導(dǎo)致所求無霧圖像發(fā)生失真的現(xiàn)象。為解決以上問題，本次引入容差機(jī)制來實(shí)現(xiàn)對(duì)透射率的修正，首先引進(jìn)一個(gè)容差參數(shù)K，將|I-A|定義為差值，當(dāng)|I-A|

2.4 圖像亮度增加

圖像亮度一直是影響圖像可視化效果的主要因素，通常利用RGB 模型與HIS 模型的相互轉(zhuǎn)換關(guān)系來實(shí)現(xiàn)圖像亮度的調(diào)整，本次為提高圖像亮度調(diào)整的效率，在圖像去霧的基礎(chǔ)上通過乘以相應(yīng)的系數(shù)以提高圖像整體的亮度，使得亮度調(diào)整后圖像具備更多的細(xì)節(jié)信息，特征更加明顯。

3 仿真實(shí)驗(yàn)與分析

3.1 去霧后圖像性能評(píng)價(jià)指標(biāo)

3.1.1 峰值信噪比(PSNR)

在圖像處理中通常采用峰值信噪比(PSNR)來評(píng)價(jià)一幅圖像處理后的效果，其值越高，說明圖像對(duì)噪聲處理效果越好[10-11]，噪聲因子越低。關(guān)于圖像峰值信噪比的計(jì)算，主要定義均方差MSE 與圖像的灰度級(jí)兩個(gè)變量，PSNR 計(jì)算公式如下：

MAX 指圖像灰度級(jí)，表達(dá)式為MAX=2B-1，B 指編碼一個(gè)像素所用的二進(jìn)制位數(shù)，即B=8，此時(shí)MAX 取值為255，MSE 為圖像均方差。

3.1.2 結(jié)構(gòu)相似度(SSIM)

SSIM 對(duì)去霧前后兩幅圖像的亮度、對(duì)比度和結(jié)構(gòu)進(jìn)行相似度評(píng)估，表達(dá)式如式(14)所示：

其中L(I，J)表示亮度，C(I，J)表示對(duì)比度，S(I，J)表示結(jié)構(gòu)。SSIM 值越大，代表去霧后圖像失真程度越小，與原圖的相似程度更高[12-13]。

3.1.3 圖像信息熵(Entropy)

信息熵能夠衡量圖像中平均信息的多少，熵值越大說明圖像中的輪廓信息越清晰[14-15]，一般用符號(hào)H 表示，單位是比特，表達(dá)式如式(15)所示。

式中xi表示圖像像素值，P(xi)表示像素值xi出現(xiàn)的概率，log(2，P(xi))表示以2 為底的函數(shù)。

3.1.4 圖像均值(e)

圖像去霧的效果還可以通過圖像均值來衡量，圖像均值越大，代表去霧后圖像的整體亮度越高。

3.2 圖像明亮區(qū)域的仿真實(shí)驗(yàn)

為了驗(yàn)證改進(jìn)后算法與傳統(tǒng)暗通道先驗(yàn)去霧算法在處理天空等明亮區(qū)域的差異性，本次在4 GB 內(nèi)存、64位Windows 10 系統(tǒng)上，采用MATLABR2018b 實(shí)驗(yàn)平臺(tái)對(duì)四幅含有明亮區(qū)域圖像進(jìn)行去霧處理，結(jié)果如圖2 所示。圖2 中的(a1)～(d1)代表四幅含有明亮區(qū)域的霧霾圖像，(a2)～(d2)代表運(yùn)用傳統(tǒng)暗通道先驗(yàn)去霧算法得到的結(jié)果圖像，(a3)～(d3)代表運(yùn)用改進(jìn)型暗通道先驗(yàn)去霧算法得到的結(jié)果圖像。

圖2 含有明亮區(qū)域圖像的去霧結(jié)果

由實(shí)驗(yàn)結(jié)果可知，運(yùn)用暗通道先驗(yàn)去霧算法處理含有明亮區(qū)域圖像時(shí)出現(xiàn)了顏色失真和偏移現(xiàn)象。運(yùn)用本文算法處理后的圖像彌補(bǔ)了原算法處理后圖像存在的缺陷，使得去霧后圖像更加接近于真實(shí)圖像，減小了處理天空等明亮區(qū)域圖像的失真程度，去霧可視化效果更優(yōu)。為客觀對(duì)比原算法與本文算法的差異性，對(duì)以上四組實(shí)驗(yàn)結(jié)果進(jìn)行定量性能評(píng)估，結(jié)果如表1 所示。

表1 性能評(píng)價(jià)結(jié)果

由以上數(shù)據(jù)可以看出，運(yùn)用改進(jìn)型暗通道先驗(yàn)去霧算法得到的去霧結(jié)果在PSNR、SSIM、Entropy、e 性能指標(biāo)上相對(duì)于改進(jìn)前分別平均提升1.934 dB、0.082、0.235、38.995，運(yùn)用本文算法得到的結(jié)果不僅具備了更高的抗噪性能，失真程度最低，并且圖像整體亮度有所提升，圖像輪廓更加清晰，驗(yàn)證了本文算法相對(duì)于改進(jìn)前具有相對(duì)的優(yōu)勢(shì)。

3.3 圖像去霧效果仿真實(shí)驗(yàn)

單尺度Retinex 算法(SSR 算法)、直方圖均衡化算法(HE 算法)、同態(tài)濾波(HF 算法)、暗通道先驗(yàn)去霧算法(He 算法)是當(dāng)前主流去霧算法，為了驗(yàn)證本文算法的有效性與優(yōu)越性，本次在4 GB 內(nèi)存、64 位Windows 10 系統(tǒng)上采用MATLABR2018b 實(shí)驗(yàn)平臺(tái)進(jìn)行了三組實(shí)驗(yàn)，如圖3～圖5 所示。其中圖3 中的6 幅圖像分別代表霧霾原圖、SSR 算法處理結(jié)果、HE 算法處理結(jié)果、HF 算法處理結(jié)果、He 算法處理結(jié)果、本文算法處理結(jié)果。

圖3 實(shí)驗(yàn)1 結(jié)果

由以上實(shí)驗(yàn)結(jié)果可知，運(yùn)用不同的圖像去霧算法對(duì)同一幅霧霾圖像進(jìn)行處理后得到的結(jié)果各不相同，其中運(yùn)用SSR 算法處理后的結(jié)果在顏色上存在明顯的失真問題，直方圖均衡化的處理結(jié)果存在局部白場(chǎng)過度的現(xiàn)象，同態(tài)濾波算法處理后的結(jié)果圖像在顏色上與原圖存在較大差異，運(yùn)用本文算法相對(duì)于改進(jìn)前暗通道先驗(yàn)去霧算法得到的結(jié)果具有更好的可視化效果與圖像亮度，并且去霧后圖像特征更加明顯，更加接近于原圖。

為客觀對(duì)比圖像去霧效果的差異性，分析各種去霧算法去霧效果的不同，對(duì)去霧后圖像進(jìn)行性能評(píng)估，評(píng)估結(jié)果如圖6 所示。

圖4 實(shí)驗(yàn)2 結(jié)果

圖5 實(shí)驗(yàn)3 結(jié)果

圖6 不同去霧算法下去霧結(jié)果性能對(duì)比

從結(jié)果數(shù)據(jù)上來看，運(yùn)用本文算法得到圖像PSNR值達(dá)到了最高，說明運(yùn)用本文算法得到的圖像結(jié)果具有更好的抗噪性能，同時(shí)運(yùn)用本文算法得到的結(jié)果圖像在SSIM 值與Entropy 值也取得了較好的結(jié)果，進(jìn)而說明本文算法處理后的圖像更加接近于原圖像，失真程度最低。

3.4 模型改進(jìn)前后車牌識(shí)別效果的對(duì)比

為驗(yàn)證所提車牌識(shí)別模型的有效性和優(yōu)越性，本次對(duì)去霧前后的車牌圖像進(jìn)行仿真實(shí)驗(yàn)。首先按照邊緣檢測(cè)、圖像二值化、形態(tài)學(xué)閉操作、提取輪廓、輸出車牌的步驟來實(shí)現(xiàn)車牌定位；其次利用字符間不連續(xù)特性，獲取單個(gè)字符圖像，實(shí)現(xiàn)字符分割；最后根據(jù)BP 神經(jīng)網(wǎng)絡(luò)能夠?qū)崿F(xiàn)各種非線性映射的特點(diǎn)，利用BP 神經(jīng)網(wǎng)絡(luò)識(shí)別分割后的字符，實(shí)現(xiàn)車牌識(shí)別功能。

圖7 中的兩幅圖像分別代表霧霾場(chǎng)景下采集到的原圖、運(yùn)用本文去霧算法處理得到的結(jié)果圖像。圖8 中的三幅圖像分別表示在去霧處理的基礎(chǔ)上得到的車牌定位結(jié)果、灰度化結(jié)果、傾斜矯正結(jié)果。圖9 中的三幅圖像分別表示圖像二值化結(jié)果、去霧前車牌識(shí)別結(jié)果、去霧后車牌識(shí)別結(jié)果。

圖7 霧霾原圖、去霧后圖像

圖8 車牌定位、灰度化、傾斜矯正

圖9 圖像二值化、去霧前識(shí)別結(jié)果、去霧后識(shí)別結(jié)果

由圖9 結(jié)果可知，當(dāng)圖像中含有霧霾時(shí)，車牌識(shí)別結(jié)果中出現(xiàn)了車牌定位錯(cuò)誤的現(xiàn)象，說明圖像中霧霾的存在不僅降低了圖像質(zhì)量，并且已經(jīng)影響到車牌識(shí)別系統(tǒng)識(shí)別的精度。經(jīng)過圖像去霧去噪預(yù)處理后，再次對(duì)該圖像進(jìn)行車牌識(shí)別，基本能夠正確識(shí)別出車牌，說明本文所提出的車牌識(shí)別模型能夠有效提高圖車牌識(shí)別精度。

為了驗(yàn)證本文算法的優(yōu)越性，取100 張車牌識(shí)別系統(tǒng)采集到含有霧霾的車牌圖像，100 張霧霾圖像均來源于不同地點(diǎn)，具有客觀隨機(jī)性，分為兩組進(jìn)行實(shí)驗(yàn)。本次在去霧前與運(yùn)用本文模型分別進(jìn)行車牌識(shí)別測(cè)試，測(cè)試結(jié)果如表2 所示。

表2 識(shí)別測(cè)試結(jié)果 (%)

由表2 數(shù)據(jù)可知，100 張含有霧霾的車牌圖像在去霧前車牌識(shí)別的正確率是71%，運(yùn)用本文所提的車牌識(shí)別模型得到的車牌識(shí)別正確率達(dá)到了93%，相對(duì)于改進(jìn)前車牌識(shí)別正確率提升了22%，說明了本次建立的車牌識(shí)別模型取得了較好的結(jié)果。通過對(duì)圖像進(jìn)行去霧處理，不僅能夠提升圖像質(zhì)量，減少圖像失真程度，豐富圖像信息，同時(shí)能夠提升車牌識(shí)別系統(tǒng)識(shí)別的精度，驗(yàn)證了本次所提模型的有效性與優(yōu)越性。

4 結(jié)論

本次針對(duì)霧霾場(chǎng)景下車牌識(shí)別系統(tǒng)存在識(shí)別精度較差的問題，提出改進(jìn)型車牌識(shí)別模型。改進(jìn)型車牌識(shí)別模型首先對(duì)車牌圖像進(jìn)行去霧處理，針對(duì)暗通道先驗(yàn)去霧算法在處理含有天空等明亮區(qū)域圖像時(shí)產(chǎn)生顏色失真和偏移等問題，從大氣光值、引入因子、容差機(jī)制、圖像亮度的角度對(duì)原算法進(jìn)行相應(yīng)的改進(jìn)，仿真實(shí)驗(yàn)表明運(yùn)用改進(jìn)后去霧算法得到的去霧性能相對(duì)于改進(jìn)前均有所提升，驗(yàn)證了改進(jìn)后去霧算法的有效性。最后將去霧前后車牌圖像分別送入到BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別測(cè)試，結(jié)果表明運(yùn)用所提模型能夠有效提高車牌識(shí)別精度，驗(yàn)證了所提模型的有效性與優(yōu)越性。車牌識(shí)別系統(tǒng)處于復(fù)雜多變的道路環(huán)境，采集到的圖像受到環(huán)境中多因素的影響，如何減小這一影響是一大難點(diǎn)，也是未來需要重點(diǎn)研究的內(nèi)容。