零散點(diǎn)停車位智能管理系統(tǒng)中的車牌圖像超分辨率重建技術(shù)研究

孫文

（安徽理工大學(xué)電氣與信息工程學(xué)院，淮南 232001）

0 引言

零散點(diǎn)停車位智能管理系統(tǒng)中車牌識(shí)別是一個(gè)關(guān)鍵的技術(shù)，而在管理系統(tǒng)視頻監(jiān)控下，由于成像設(shè)備性能的限制，加上環(huán)境惡劣、光線條件，和車輛和監(jiān)控設(shè)備距離等諸多因素的影響，獲取的車牌圖像通常顯示較低的分辨率，低分辨的車牌圖像不利于準(zhǔn)確地獲取車牌信息。解決低分辨圖像問(wèn)題，從技術(shù)上分類，一種是從硬件上改變，但是硬件上改進(jìn)成本太高，對(duì)于監(jiān)控系統(tǒng)海量的攝像頭來(lái)說(shuō)，這是一個(gè)巨大的成本，所以在車牌識(shí)別領(lǐng)域不現(xiàn)實(shí)；一種是從軟件來(lái)將LR圖像重建為HR圖像，這種技術(shù)也稱作SR（超分辨率圖像重建）。SR是利用單張或者多張低分辨率圖像的先驗(yàn)信息或者圖像序列的關(guān)聯(lián)性重建為HR圖像的一種技術(shù)。這種技術(shù)可以很好地將低像素車牌圖像重建為高分辨率圖像，提高識(shí)別的準(zhǔn)確率。

超分辨率重建方法有很多種，從研究方法上基本分為三種：①基于插值法，主要是利用單幀的原有像素點(diǎn)，進(jìn)過(guò)數(shù)值計(jì)算來(lái)擴(kuò)充像素點(diǎn)，這樣不能夠引入除了原有圖像的信息外的先驗(yàn)信息。重建出來(lái)的圖像有一定的邊緣效應(yīng)和振鈴效應(yīng)。②基于重建法，重建法主要分為頻域和空域兩個(gè)角度。頻域方面由于在復(fù)雜環(huán)境適應(yīng)性太低，所以現(xiàn)在很少就使用該方法?？沼蚍矫嬗蟹蔷鶆虿逯礫9]，迭代反投影（IBP）[10]，投影到凸集（POCS）[11],還有基于后驗(yàn)概率的MAP法等一些混合方法。③基于學(xué)習(xí)法，基于學(xué)習(xí)法在圖像重建過(guò)程中引入了從學(xué)習(xí)模型獲得的先驗(yàn)信息。典型的算法有基于實(shí)例的方法、鄰域嵌入法[12]（線性嵌入基于學(xué)習(xí)的超分辨率重建）、基于稀疏編碼SR方法。

1 重建算法和流程

基于稀疏學(xué)習(xí)的方法是目前基于學(xué)習(xí)重建最常用的方法，也是效果最好的。稀疏編碼的概念來(lái)自于神經(jīng)生物學(xué)，動(dòng)物在長(zhǎng)期的進(jìn)化中，生成了能夠快速、準(zhǔn)確、低代價(jià)地表示自然圖像的視覺(jué)神經(jīng)方面的能力,依照該理論，可以在在大量的數(shù)據(jù)集中，選取很小部分作為元素來(lái)重建新的數(shù)據(jù)，達(dá)到觀察的效果。在LR圖像中，高頻分量比較少。根據(jù)稀疏編碼的原理，利用圖像先驗(yàn)信息建立出的字典，可以很好地恢復(fù)出LR圖像中的高頻信息。但是這種理論方式主要使用了圖像先驗(yàn)信息，在一些特殊場(chǎng)合，圖像序列間存在亞像素級(jí)別的位移，序列之間有著互補(bǔ)的冗余信息，基于學(xué)習(xí)重建的方法沒(méi)有利用好圖像序列間的關(guān)聯(lián)信息。而基于重建的超分辨率重建方法主要是利用連續(xù)圖像序列間先驗(yàn)信息來(lái)進(jìn)行重建，實(shí)際結(jié)果表明，當(dāng)重建到4倍以上的時(shí)候，圖像就開(kāi)始出現(xiàn)模糊，這主要是因?yàn)橄闰?yàn)信息缺乏。

本文在經(jīng)過(guò)以上分析，結(jié)合車牌圖像的實(shí)際應(yīng)用場(chǎng)景，提出了一種先利用圖像序列間的關(guān)聯(lián)性，使用塊匹配的方法對(duì)圖像幀序列進(jìn)行運(yùn)動(dòng)估計(jì)，篩選出合適的幀序列，利用MAP法將篩選出的幀序列重建為合適的中分辨率的圖像，然后再利用稀疏表示的方法，重建出高分辨率的圖像。

本文算法整體思路如圖1：

圖1 算法流程圖

2 圖像退化模型

在圖像序列中，車牌原始的高分辨率圖像可以表示為Y，原始的圖像經(jīng)過(guò)幾何變形、環(huán)境和采樣噪音后，在原來(lái)的高分辨下，經(jīng)過(guò)下采樣得到一組低分辨率的觀測(cè)序列 X{1,2···,k}，有：

其中，W為變形矩陣，H為模糊矩陣，S表示下采樣，N為加性噪音。

2.1 利用先驗(yàn)信息初次提高分辨率

（1）基于運(yùn)動(dòng)估計(jì)的連續(xù)幀篩選

在實(shí)際場(chǎng)景中，車輛在行駛的時(shí)候，車牌連續(xù)圖像序列之間存在位移偏差，如果連續(xù)幀之間存在大幅度的運(yùn)動(dòng)，直接進(jìn)行重建會(huì)出現(xiàn)偏差。所以使用MAP法重建之前，首先要對(duì)連續(xù)幀做篩選，截取圖像序列間位移偏差不大圖像序列對(duì)于車牌圖像塊的確定可以使用邊緣檢測(cè)快速確定，假設(shè)車牌圖像塊占的像素大小為M×N，首先建立匹配準(zhǔn)則，本文通過(guò)判斷相鄰幀的絕對(duì)平均誤差SAD，尋找到最優(yōu)匹配[13]。

其中：

其中，f（m,n）代表該點(diǎn)的灰度值，（i,j）代表相對(duì)位移量。

①三步搜索法

按一定步長(zhǎng)取圖像中心點(diǎn)及其周圍8個(gè)點(diǎn)構(gòu)成每次搜索的點(diǎn)群。

Step1:將中心作為原點(diǎn)，選取搜索步長(zhǎng)為8，在周圍8點(diǎn)內(nèi)計(jì)算SAD，找到最合適的點(diǎn)。

Step2:將搜索步長(zhǎng)變?yōu)樯洗蔚囊话耄陨洗巫顑?yōu)的SAD點(diǎn)作為中心點(diǎn)，在周圍8點(diǎn)內(nèi)計(jì)算SAD。

Step3:重復(fù)Step2的計(jì)算，直到步長(zhǎng)為1，該點(diǎn)對(duì)應(yīng)的位置矢量為最佳運(yùn)動(dòng)估計(jì)。

通過(guò)以上步驟，得到每幀之間的運(yùn)動(dòng)矢量為dxi,dyi，將幀間的距離記作。

設(shè)置閾值T，將Δd小于T作為一個(gè)分割點(diǎn)，篩選出作為圖像重建的連續(xù)幀X{1,2···,k^}。

②MAP法重建中分辨率圖像

根據(jù)最大后驗(yàn)概率的原理，有：

再根據(jù)貝葉斯原理，推導(dǎo)得：

對(duì)式兩邊取對(duì)數(shù)：

可以看出重建的圖像和原始圖像的先驗(yàn)概率P（y）模型、降質(zhì)模型下LR圖像成像的條件概率P（x/y）模型有關(guān)。

所以MAP法重建的好壞和先驗(yàn)?zāi)Ｐ瓦x擇有關(guān)，先驗(yàn)?zāi)Ｐ鸵獫M足是凸函數(shù)，可以選擇MPF（馬爾科夫隨機(jī)場(chǎng)）模型。

求解出的最優(yōu)ymap記作中分辨率的車牌圖像Z。

2.2 基于稀疏表示的超分辨率重建

將利用連續(xù)序列得到的合適中分辨率圖像經(jīng)過(guò)稀疏表示方法繼續(xù)重建為更高的分辨率。

根據(jù)稀疏表示理論，車牌LR（低分辨率）圖像和對(duì)應(yīng)HR（高分辨率）圖像相對(duì)于它們自己的字典具有相同的稀疏系數(shù)。因此，可以通過(guò)組合訓(xùn)練的HR字典D和相應(yīng)LR圖像的稀疏系數(shù)a來(lái)重建高分辨率圖像。

稀疏表示模型為：

其中，D的每一列id稱為基或字典原子，a是稀疏系數(shù)，ε是重建誤差。

得到的最優(yōu)稀疏系數(shù)α*，高分辨圖像塊重建為：

可以理解為在重建圖像前，首先要做的是構(gòu)造超完備稀疏字典，稀疏字典的作用是建立起高分辨率和低分辨率之間的關(guān)系，然后通過(guò)稀疏編碼融合過(guò)的圖像進(jìn)行重建。在構(gòu)建完備字典后，再進(jìn)行HR重建。

（1）建立完備的稀疏字典

稀疏表示算法首先要訓(xùn)練兩個(gè)具有相同稀疏表示的詞典高分辨率詞典和低分辨率詞典，這樣詞典表示代表的是圖像特征而不是絕對(duì)強(qiáng)度，在重建過(guò)程中，每一個(gè)高分辨率圖像塊的均值是通過(guò)低分辨率圖像塊的均值預(yù)測(cè)。對(duì)每一幅低分辨率圖像塊；由低分辨率詞典就總能找到一個(gè)稀疏表示，相應(yīng)的高分辨率詞典和稀疏表示的線性組合構(gòu)成高分辨率圖像塊[4-6]。尋找稀疏表示的公式如下：

實(shí)現(xiàn)輸入訓(xùn)練圖片集X，輸出最優(yōu)字典D和稀疏表示系數(shù)A，學(xué)習(xí)字典的優(yōu)化問(wèn)題可以表示如下：

D,X=argmin{||X||0} s.t.||Y-DX||2≤ ε （9）

也可以表示為：

字典構(gòu)造的過(guò)程中，本文采用MOD算法（最優(yōu)方向算法）來(lái)訓(xùn)練字典，MOD算法更新字典的策略就是實(shí)現(xiàn)表征誤差最小化。

具體構(gòu)造步驟如下：

Step1:初始化

利用高斯隨機(jī)矩陣，得到初始矩陣D0，將每一列單位化，

Step2:固定字典，更新系數(shù)

Step3:固定系數(shù)，更新字典

Step4:循環(huán)二三步驟，直至收斂。

（2）SR圖像重建

有了超完備字典，將經(jīng)過(guò)最大后驗(yàn)概率方法重建的中分辨率圖像Z，利用稀疏表示來(lái)重建高分辨率圖像[6-7]。

具體步驟如下：

Step1:取經(jīng)過(guò)估計(jì)的圖像中分辨率圖像Z中3×3的圖像塊z，圖像塊之間重疊的部分為1；計(jì)算圖像塊的像素均值。

Step2:求解最優(yōu)稀疏系數(shù)：

Step3:計(jì)算疊加均值后高分辨率圖像塊Zi=Dhαi+m，組合得到高分辨率圖像Z0。

Step4:利用梯度下降法，求解：

來(lái)找到滿足重建約束的最優(yōu)圖像Ζ*。最后,輸出最終的重建的高分辨率圖像。

3 實(shí)驗(yàn)結(jié)果和分析

在選用數(shù)據(jù)集的時(shí)候，考慮到稀疏編碼本身就是原理利用自然界圖像的統(tǒng)計(jì)信息。本文主要應(yīng)用場(chǎng)景為超分辨率重建在車牌圖像領(lǐng)域的應(yīng)用。綜合考慮后，采用自然圖像和標(biāo)準(zhǔn)的車牌圖像結(jié)合的數(shù)據(jù)集來(lái)作為訓(xùn)練樣本。本文的實(shí)驗(yàn)環(huán)境是Intel Core i5 2.4GHz 2核CPU，仿真軟件為MATLAB。

為了表明這種方式重建的圖像有更好的效果，本文將和單獨(dú)的MAP重建和稀疏重建做對(duì)比，仿真結(jié)果如圖2所示。

從主觀上可以看出在單一的MAP法重建的圖像和利用單幀的稀疏表示后的高分辨率圖像的重建效果沒(méi)有本文所采用的結(jié)合方法的效果好。

表1 PSNR評(píng)估結(jié)果

圖2

峰值信噪比PSNR提供了一個(gè)衡量圖像失真或是噪聲水平的客觀標(biāo)準(zhǔn)表示。兩個(gè)圖像間，PSNR值越大，則越趨于無(wú)劣化。

從數(shù)值上看出，稀疏學(xué)習(xí)法的重建效果要比MAP法重建效果好，本文將兩者結(jié)合的效果是最優(yōu)的。也是證明該方法充分利用了圖像的先驗(yàn)信息和圖像序列的關(guān)聯(lián)性。

4 結(jié)語(yǔ)

相比較針對(duì)單幀的基于學(xué)習(xí)的圖像重建，和沒(méi)有利用圖像先驗(yàn)信息的MAP法，本文將兩者結(jié)合，在車牌識(shí)別場(chǎng)景中，合理的篩選出圖像關(guān)聯(lián)性大，利用重建的圖像序列，進(jìn)行初次中分辨率重建，再利用稀疏學(xué)習(xí)的方法重建出高分辨率圖像。實(shí)驗(yàn)結(jié)果表明，在車牌識(shí)別的場(chǎng)景下，該方法一定程度提高了圖像超分辨重建的效果。