圖像插值中反問題數(shù)值算法的應(yīng)用

馬世登

（廣東東軟學(xué)院 廣東省佛山市 528225）

眾所周知，隨著計(jì)算機(jī)科學(xué)技術(shù)的發(fā)展尤其是隨著智能手機(jī)類產(chǎn)品的廣泛應(yīng)用，人們已能隨時(shí)隨地生成或訪問各種類型的圖像。因此，圖像處理技術(shù)中的實(shí)時(shí)性、速度和高分辨率對(duì)計(jì)算機(jī)視覺而言變得十分重要,尤其是人工智能技術(shù)的發(fā)展對(duì)各種圖像數(shù)據(jù)集的處理和技術(shù)要求對(duì)圖像插值的最優(yōu)化算法提出了新的要求。而隨著互聯(lián)網(wǎng)和多媒體技術(shù)以及人工智能的高速發(fā)展，圖像處理對(duì)消費(fèi)性智能電子產(chǎn)品應(yīng)用而言也變得非常重要。針對(duì)從各種多媒體設(shè)備（例如移動(dòng)電話、數(shù)碼相機(jī)和便攜式計(jì)算機(jī)）上獲得尺寸各異的圖像，人們存在各種需求需要對(duì)圖像進(jìn)行各種處理。隨著工業(yè)信息化的發(fā)展，機(jī)器視覺也需要各種高速實(shí)時(shí)的圖像處理技術(shù)?？臻g技術(shù)及遙感技術(shù)的發(fā)展也產(chǎn)生大量的圖像處理需求。各類圖像處理中一個(gè)重要的圖像插值領(lǐng)域就是如何把低分辨率圖像生成高分辨圖像。針對(duì)用戶需要處理的原始圖像分辨率不高，希望通過技術(shù)手段尤其是通過數(shù)學(xué)算法生成新的高分辨率的圖像的情況，我們對(duì)圖像插值技術(shù)領(lǐng)域進(jìn)行了各類算法的比較研究，以期尋找到一種利用低分辨率圖像獲得高分辨率圖像的最優(yōu)化數(shù)值算法。將低分辨率圖像生成高分辨率圖像進(jìn)行模糊圖片的清晰化處理是圖像插值作為圖像處理中的重要應(yīng)用技術(shù)之一，其重要的一個(gè)應(yīng)用意義是在實(shí)現(xiàn)放大圖像進(jìn)行展示時(shí)呈現(xiàn)高分辨率圖片，而在存儲(chǔ)時(shí)可以使用低分辨率的圖片儲(chǔ)存格式。這樣以來在圖像壓縮中獲得更高的壓縮比。另一個(gè)重要應(yīng)用意義在于由于各種原因沒法獲得高分辨圖片或完整的圖片，可以使用圖像插值增強(qiáng)圖片的表現(xiàn)力或者進(jìn)行圖片修復(fù)。近年來，圖像插值在許多領(lǐng)域得到了廣泛應(yīng)用，如空間衛(wèi)星成像、醫(yī)學(xué)成像、人物照片放大、視頻處理、圖片修復(fù)等。此外，圖像插值的技術(shù)在圖像處理技術(shù)領(lǐng)域一直處于關(guān)鍵位置發(fā)揮著重要的作用，并被廣泛應(yīng)用于各個(gè)領(lǐng)域。

傳統(tǒng)的圖像插值算法是對(duì)原有圖像的像素進(jìn)行增加和重新分布，來改變像素?cái)?shù)量的一種方法。在圖像放大過程中，像素也相應(yīng)地增加，增加的過程就是“插值”發(fā)生作用的過程，“插值”算法選擇信息較好的像素作為增加、彌補(bǔ)空白像素的空間，而并非只使用臨近的像素，所以在放大圖像時(shí)，圖像看上去會(huì)比較平滑、干凈。是插值并不能增加圖像信息，盡管圖像尺寸變大，但效果也相對(duì)要模糊些，傳統(tǒng)的插值過程可以理解對(duì)原有像素的復(fù)制或調(diào)整，不能通過類似于預(yù)測(cè)的方式產(chǎn)生原有像素中不存在的像素。

鑒于現(xiàn)有圖像插值算法的性能不盡如人意，因此本文對(duì)一種新的基于反問題數(shù)值算法的圖像插值算法進(jìn)行了研究。其技術(shù)核心是能通過反問題的數(shù)學(xué)方法產(chǎn)生出原有像素分布著不存在的像素，從而在生成高分辨率圖像時(shí)更清晰更逼真速度更快。反問題是相對(duì)于正問題，反問題系指科學(xué)和數(shù)學(xué)中一些最重要的數(shù)學(xué)問題。數(shù)學(xué)物理反問題是源于物理、生物、醫(yī)學(xué)、地質(zhì)等眾多科學(xué)領(lǐng)域中的實(shí)際問題，經(jīng)過數(shù)學(xué)建模而產(chǎn)生的一個(gè)新興交叉學(xué)科領(lǐng)域。與正問題的研究歷史相比，反問題的研究起步于近十幾年，發(fā)展還遠(yuǎn)不成熟。從研究規(guī)律上來說，反問題的研究的難度一般比相應(yīng)的正問題要大。因?yàn)榉磫栴}的求解往往不能借助于現(xiàn)有的已知的物理過程的自然順序，從而使正問題中的許多適定性質(zhì)不再滿足。存在性、唯一性和穩(wěn)定性，三者之一不滿足就稱為不適定性問題。特別，如果條件不滿足，那么就稱為阿達(dá)馬意義下的不適定問題。一般地說不適定問題，常常是指阿達(dá)馬意義下的不適定問題。在經(jīng)典的問題又稱為不適定問題。適定問題是指滿足下列三個(gè)要求的問題：

（1）解是存在的（存在性）；

（2）解是惟一的（唯一性）。

數(shù)學(xué)物理中，人們只研究適定問題。由于這些問題的數(shù)據(jù)常常是通過測(cè)量給出的近似值，問題通常沒有精確解。因此，人們就去尋找滿足方程但只是近似地適合定解條件的所謂近似解，或近似地滿足方程的近似解。當(dāng)然，這些近似解一般是沒有惟一性的，但是若對(duì)近似解所在的函數(shù)類加以適當(dāng)?shù)南拗?，例如緊性的限制，便可以保證近似解對(duì)數(shù)據(jù)的連續(xù)依賴性用傳統(tǒng)研究者的眼光來看，這樣的問題是不值得或沒法進(jìn)行研究的。反問題方法的主要解決思路是:利用對(duì)解和數(shù)據(jù)誤差的先驗(yàn)估計(jì)可以將問題的求解限定在某個(gè)較小范圍內(nèi)，對(duì)問題的提法進(jìn)行適當(dāng)?shù)母脑旌?，原本不適定的問題就可以轉(zhuǎn)化為適定的最優(yōu)化問題求解，而且先驗(yàn)估計(jì)表明在一定精度下用正則化方法求得的解是合理的。這些反問題算法已成功應(yīng)用于光學(xué)、雷達(dá)、聲學(xué)、通信理論、信號(hào)處理、醫(yī)學(xué)成像、計(jì)算機(jī)視覺、地球物理學(xué)、海洋學(xué)、天文學(xué)、遙感技術(shù)、自然語(yǔ)言處理、機(jī)器學(xué)習(xí)、無損檢測(cè)等領(lǐng)域。圖像處理經(jīng)常被處理成反問題，什么是反問題處理圖像，考慮正問題f=Au+η，η是觀測(cè)噪聲，反問題就是在有了觀測(cè)f 的條件下怎么獲得真實(shí)圖片u，如果A 是一個(gè)恒同算子，反問題就是去燥。如果A 是一個(gè)模糊，反問題就是去模糊。

1 圖像插值問題定義說明

插值指的是利用已知數(shù)據(jù)去預(yù)測(cè)未知數(shù)據(jù)，圖像插值則是給定一個(gè)像素點(diǎn)，根據(jù)它周圍像素點(diǎn)的信息來對(duì)該像素點(diǎn)的值進(jìn)行預(yù)測(cè)。當(dāng)我們調(diào)整圖片尺寸或者對(duì)圖片變形的時(shí)候常會(huì)用到圖片插值。常見的圖像插值算法有：最近鄰插值，雙線性插值，雙三次插值方法等等。其中最近鄰插值方法（零階插值）最簡(jiǎn)單，運(yùn)算量最小，但是效果很差，塊效應(yīng)非常明顯。

雙線性插值算法也是常用的一種圖像插值方法，和最鄰近插值算法類似，先獲取原始圖像的坐標(biāo)，獲取的坐標(biāo)值是個(gè)小數(shù)，最近鄰插值算法直接四舍五入，從而得到映射的灰度，但雙線性插值不是直接四舍五入，它是根據(jù)該坐標(biāo)點(diǎn)周邊的四個(gè)點(diǎn)值依據(jù)各自的權(quán)重得出該點(diǎn)的灰度，計(jì)算公式如下：

x0=x1/scale y0=y1/scale x=int(x0) y=int(y0) u=x0-x v=y0-y

契約是地位平等、意志自由、堅(jiān)守誠(chéng)信、勇于擔(dān)當(dāng)負(fù)責(zé)的雙方、多方之間的雙贏、多贏行為。只要是雙方或多方之間基于平等、自由、誠(chéng)信、責(zé)任擔(dān)當(dāng)?shù)男袨槎歼m用于或必須適用于契約行為。

f(y1,x1)=(1-v)(1-u)f(y,x)+(1-v)uf(y,x+1)+v(1-u)f(y+1,x)+uvf(y+1,x+1)

由于該灰度跟鄰近四點(diǎn)有關(guān)，所以不會(huì)像最近鄰插值一樣出現(xiàn)鋸齒狀，可以更好的應(yīng)用于圖像插值。鄰點(diǎn)間灰度值變化率的影響。三次插值運(yùn)算可以得到更好的效果。雙三次插值算法也稱為立方卷積插值算法。三次卷積插值是一種計(jì)算復(fù)雜的插值方式。該算法利用待采樣點(diǎn)周圍16 個(gè)點(diǎn)的灰度值作三次插值，像雙線插值算法考慮4 個(gè)直接相鄰點(diǎn)的灰度影響，當(dāng)然該方法導(dǎo)致了運(yùn)算量的急劇增加。

借鑒上述解決問題的思路，引入反問題進(jìn)行插值處理。圖像插值算法在分辨率提升方面的數(shù)學(xué)描述是指用輸入的低分辨率圖像（簡(jiǎn)稱 LR）生成高分辨率圖像（簡(jiǎn)稱 HR）。我們假定原始HR 圖像的像素為并且LR 圖像的像素為其中L 大于1。則目標(biāo)LR 圖像表述如下：

其中，f∈N和分別為高分辨率圖像和低分辨率圖像的列堆疊向量。

假設(shè)HR 圖像由維度y=N×1 組成，用s表示。則可通過求解以下優(yōu)化問題計(jì)算HR 信號(hào)x。

其中，D(x)表示保真度項(xiàng)，該保真項(xiàng)能夠補(bǔ)償?shù)头直媛市盘?hào)y和估算的高分辨率信號(hào)x之間的差異，同時(shí)用x，δ和R(x)分別表示正則化參數(shù)和正則化項(xiàng)。根據(jù)上述分析及定義，可通過下述等式解決圖像插值問題。

其中，符號(hào)x、y和v分別為N×N高分辨率圖像、M×M低分辨率圖像和加性噪聲值的有序向量。而且，向量x，y和v的大小分別是N2×1，M2×1 和M2×1。

2 針對(duì)圖像插值的反問題數(shù)值解法

可通過求解下述代價(jià)函數(shù)解決上述等式（3）所示的優(yōu)化問題。

其中，C表示正則化算子，且γ表示正則化參數(shù)。然后，可通過以下計(jì)算過程解決優(yōu)化問題。

其中，x可通過以下算法使代價(jià)值最小。

基于上述分析，使用反問題數(shù)值解法中的逐次逼近法解決圖像插值問題，即如下所述。

其中，xi為在第i次迭代中獲得的高分辨率圖像，β為收斂參數(shù)。經(jīng)多次迭代后，即可獲得高質(zhì)量的高分辨率圖像。

3 對(duì)比實(shí)驗(yàn)驗(yàn)證

在本節(jié)中，我們做了多次實(shí)驗(yàn)以測(cè)試不同類圖像插值算法的性能。將我們的上述方法與其他數(shù)種圖像插值法，如圖1 中的稀疏表達(dá)混合估計(jì)（SME）插值、使用非局部自回歸建模（NARM）的基于稀疏表示的差值以及基于自適應(yīng)非局部稀疏建模（ANSM）插值進(jìn)行比較。重點(diǎn)記錄了使用12 種典型測(cè)試圖像進(jìn)行性能評(píng)價(jià)，即1）plane、2）cameraman、3）flower、4）girl、5）peppers、6）leaves、7）boat、8）birds、9）hats、10）lena、11）motorbikes、12）butterfly。

圖1

對(duì)12 類型的的圖片采用三種插值方法形成的峰值信噪比（PSNR）值進(jìn)行對(duì)比。對(duì)不同圖像插值法的峰值信噪比（PSNR）值進(jìn)行了可視化表示。為了數(shù)據(jù)的一致性所有圖像均為每像素點(diǎn)為8 比特的灰度圖像（為保證測(cè)試圖像的可度量化、可驗(yàn)證和可比較性）。通過輸入的從高分辨率圖像所生成低分辨率圖像用于驗(yàn)證，（分別使用稀疏表達(dá)混合估計(jì)（SME）插值、使用非局部自回歸建模（NARM）的基于稀疏表示的差值以及基于自適應(yīng)非局部稀疏建模（ANSM）插值的方法進(jìn)行圖像生成），隨后用不同的圖像插值算法還原回其原始狀態(tài)，以此來比較不同算法的優(yōu)劣。為確保試驗(yàn)有效，所有方法的實(shí)驗(yàn)條件設(shè)置均保持一致。本文使用的性能評(píng)價(jià)標(biāo)準(zhǔn)為峰值信噪比值（PSNR），其定義如下所述：

其中，八位灰度圖像的灰度值為255。不同圖像插值法的PSNR 值采用柱狀圖（如圖1）進(jìn)行顯示。

在通過圖1 數(shù)值的可視化分析可以容易的得出，就大多數(shù)測(cè)試圖像而言，相較其他圖像插值方法來說，本方法的性能更好。圖像插值結(jié)果如表1所示。

表1：圖像插值結(jié)果

通過表一的分析對(duì)比，使用我們的方法獲得的圖像插值結(jié)果明顯優(yōu)于使用稀疏表達(dá)混合估計(jì)（SME）插值、使用非局部自回歸建模（NARM）和基于稀疏表示的差值以及基于自適應(yīng)非局部稀疏建模（ANSM）插值算法所獲得的結(jié)果。

根據(jù)上述研究成果對(duì)問題進(jìn)行泛化，具有重要的意義正問題f=Au+η，η是觀測(cè)噪聲，反問題就是在有了觀測(cè)f 的條件下怎么獲得真實(shí)圖片u，如果A 是一個(gè)恒同算子，反問題就是去燥。如果A 是一個(gè)模糊，反問題就是去模糊。如果A 是一個(gè)CT，反問題就是CT 恢復(fù)。圖像插值中的運(yùn)算效果和速度具有重要的意義，例如在要做核磁共振，傳統(tǒng)算法在床上要聽著快一個(gè)小時(shí)噪聲，因此希望A這個(gè)算法進(jìn)行次數(shù)變少，算法更優(yōu)，做核磁共振時(shí)間會(huì)越少。問題轉(zhuǎn)化成求f=A-1u，對(duì)于A 不可逆的情況，用最小二乘法求解。如果存在η這個(gè)觀測(cè)噪聲值，進(jìn)行去模糊求逆的時(shí)候，噪聲在求逆的時(shí)候無數(shù)倍的被放大了，產(chǎn)生了偽差。這時(shí)候需要引入正則項(xiàng)min||f-Au||+R(u)來構(gòu)造R，定義：R=||▽u||1。對(duì)于正則項(xiàng)的優(yōu)化問題也可以應(yīng)用人工智能的學(xué)習(xí)方法進(jìn)行求解和優(yōu)化。

4 結(jié)論

本文討論了如何設(shè)計(jì)反問題的算法以解決圖像插值優(yōu)化的問題。我們通過構(gòu)造高分辨率圖像、低分辨率圖像和加性噪聲的向量來數(shù)字化地描述圖像插值問題。然后，提出反問題數(shù)值解法中的逐次逼近法，并通過多次迭代獲得高質(zhì)量的高分辨率圖像。并通過比對(duì)實(shí)驗(yàn)結(jié)果證明了該算法的有效性。在此基礎(chǔ)上又進(jìn)行了一般問題的泛化。