基于視頻流體模型的圖像超分辨率重建

畢國(guó)堂，唐權(quán)華，陳立偉

(1．西南科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，四川綿陽621010;2．江西師范大學(xué)軟件學(xué)院，南昌330022)

1 概述

由于存儲(chǔ)空間與采集硬件的限制，視頻監(jiān)控中所存儲(chǔ)的通常都是分辨率較小的視頻，且包含噪聲，無法滿足對(duì)監(jiān)控內(nèi)容的識(shí)別等追蹤需求。對(duì)視頻進(jìn)行去噪，合成高分辨率的圖像，可為醫(yī)學(xué)診斷提供更有力的依據(jù)，減少誤診率，為警方提供識(shí)別和追蹤罪犯的有效證據(jù)，并為科研活動(dòng)提供更詳細(xì)直觀的數(shù)據(jù)，其他如工業(yè)、農(nóng)業(yè)、商業(yè)等各行業(yè)也都對(duì)高分辨率監(jiān)控圖像有迫切的需要。

為了從監(jiān)控視頻中獲取高清晰度的圖像，進(jìn)行視頻處理是一個(gè)必不可少的環(huán)節(jié)。利用視頻連續(xù)性的特點(diǎn)，超分辨率重建的思想在20世紀(jì)80年代被提出，使用頻域逼近的方法從視頻獲得超分辨率圖像。此后，基于視頻的超分辨率重建(Video Based Super-resolution Reconstruction，VSR)方法迅速獲得人們重視，并成為圖像超分辨率重建的主要分支之一，目前仍然是圖像重建的研究熱點(diǎn)。VSR中關(guān)鍵問題在于幀間的匹配，文獻(xiàn)［1］提出使用最大后驗(yàn)概率(Maximum A Posteriori，MAP)進(jìn)行快速匹配，在此基礎(chǔ)上，文獻(xiàn)［2］基于圖像統(tǒng)計(jì)模型建立了目標(biāo)方程，提高了VSR的收斂速度，文獻(xiàn)［3］提出一種結(jié)構(gòu)保持的VSR方法，改善了重建的效果，另一些研究則是將殘差［4］、稀疏矩陣［5］等技術(shù)應(yīng)用于 VSR，從而改善或避開幀間匹配。其他研究主要針對(duì)圖像的特殊噪聲［6］、特殊應(yīng)用場(chǎng)景［7］、運(yùn)動(dòng)信息［8］做特殊處理，或應(yīng)用聚類等技術(shù)提高重建速度［9］。從已知成果來看，現(xiàn)有超分辨率重建方法都是將視頻作為隨機(jī)信號(hào)處理，從概率的角度確定像素的最可能正確值，并未考慮視頻的幾何特征。雖然一些方法在時(shí)域上進(jìn)行了區(qū)域匹配［10］，但匹配結(jié)果僅被用于提取統(tǒng)計(jì)特征，未能充分發(fā)掘像素在時(shí)域和空域上的三維相關(guān)特性，限制了超分辨率重建的效果。視頻流體模型(Video Fluid Model，VFM)［11］綜合描述視頻對(duì)象的時(shí)域和空域信息，為解決上述問題，本文提出一種新的圖像超分辨率重建方法，將視頻流體模型引入到基于視頻的圖像重建方法中。

2 視頻流體模型

視頻是對(duì)客觀世界運(yùn)動(dòng)和變化的連續(xù)取樣，從時(shí)間軸上看，當(dāng)采樣頻率足夠高時(shí)，視頻總是連續(xù)變化的，物體的運(yùn)動(dòng)軌跡為連續(xù)光滑曲線。對(duì)于視頻中的一個(gè)區(qū)域時(shí)間序列A(t)(0＜t＜∞)，如果它的中心數(shù)列CA(t)連續(xù)，并且對(duì)于時(shí)間t，可以找到一個(gè)映射f(x，y，t)，f:A(t)(A(t+1)，使得對(duì)任意區(qū)域 A(t)中的點(diǎn) (x，y)都有 I(x，y，t)=I(x+fx(x，y，t)，y+fy(x，y，t)，t+1)，并且 f在區(qū)域中關(guān)于(x，y)連續(xù)。那么稱F(t)={{A(t)}，f，CA}為一個(gè)視頻流體。其中，f稱為流體的流紋;數(shù)列CA(t)稱為視頻流線。所謂視頻流體模型則是將視頻用一組流體表達(dá)的結(jié)果。

由于視頻采集是一個(gè)三維到二維的映射，存在信息的丟失，視頻流體在各幀間并不能完全對(duì)應(yīng)，這個(gè)過程可以由以下公式表示:

其中，Mi在平移線 Li與(x，y)的連線方向上;Tj在旋轉(zhuǎn)中心(centerx，centery)與(x，y)的連線方向上。

視頻流體模型可以簡(jiǎn)化為:

視頻流體模型不僅記錄了視頻對(duì)象的整體區(qū)域，且記錄了區(qū)域內(nèi)各像素的時(shí)域?qū)?yīng)關(guān)系，是視頻時(shí)空關(guān)系的綜合體現(xiàn)。在視頻流體模型的數(shù)據(jù)中，對(duì)于空域關(guān)系僅記錄某一幀的數(shù)據(jù)，而其他幀均參考此數(shù)據(jù)，流紋數(shù)據(jù)也只記錄其中變化部分，因此，模型的記錄較少。使用流體模型時(shí)可以很直接地得到視頻對(duì)象、對(duì)象運(yùn)動(dòng)與變化相關(guān)的數(shù)據(jù)，因此，流體模型可以很方便地應(yīng)用于視頻去噪、視頻內(nèi)容分析等視頻處理過程中。

3 圖像超分辨率重建與視頻流體

圖像的超分辨率重建，主要是希望從模糊的圖像中獲得清晰的結(jié)果。傳統(tǒng)超分辨率重建主要通過運(yùn)動(dòng)估計(jì)和自適應(yīng)濾波消除模糊混疊、模糊和噪聲，從而達(dá)到提高分辨率的目的。傳統(tǒng)方法要取得成功有2個(gè)方面的要求:(1)能完成高精度的運(yùn)動(dòng)估計(jì);(2)正確完成攝像機(jī)的配準(zhǔn)。從理論上說，如果匹配2個(gè)區(qū)域的像素完全在整數(shù)位置對(duì)應(yīng)，則可以利用這種對(duì)應(yīng)關(guān)系進(jìn)行濾波，達(dá)到去噪的目的;如果區(qū)域像素在分?jǐn)?shù)位置對(duì)應(yīng)，則可以增加像素?cái)?shù)目，達(dá)到分辨率擴(kuò)展的目的。

傳統(tǒng)的超分辨率重建方法也存在一些困難，使得超分辨率重建應(yīng)用難以普及，僅能用于一些特殊行業(yè)，如交通監(jiān)控的視頻處理，理論研究也很難突破。傳統(tǒng)的運(yùn)動(dòng)估計(jì)都是基于矩陣塊完成的，無論是16×16像素的塊還是8×8像素的塊，都可能有部分像素運(yùn)動(dòng)跟塊的運(yùn)動(dòng)并不一致，這就從根本上限制了運(yùn)動(dòng)估計(jì)的精確度，從而也對(duì)超分辨率圖像重建構(gòu)成了不利影響。另外，傳統(tǒng)運(yùn)動(dòng)估計(jì)僅進(jìn)行簡(jiǎn)單的特征匹配，而無視旋轉(zhuǎn)和變形等因素，使得估計(jì)結(jié)果僅僅是塊的相似，而不能做到像素的對(duì)應(yīng)，利用塊匹配進(jìn)行濾波還可能帶來圖像質(zhì)量的惡化。

視頻流體是同一表面連續(xù)拍攝的結(jié)果，因此，在理論上也可以利用流體區(qū)域在不同時(shí)刻的像素值進(jìn)行濾波和拼接，達(dá)到去噪、擴(kuò)展分辨率的目的。流紋在本質(zhì)上是同一像素的運(yùn)動(dòng)軌跡，可以用同一流紋上的像素值濾波進(jìn)行去噪，也可以利用流紋在時(shí)域上的光滑性和空域上的平滑性提高視頻區(qū)域的質(zhì)量。當(dāng)一條流紋中斷，而它周圍的流紋延續(xù)時(shí)，可以認(rèn)為該流紋是流向了分?jǐn)?shù)位置，同樣，在2條流紋間補(bǔ)入的新流紋也可以認(rèn)為原來就存在于分?jǐn)?shù)位置，通過分?jǐn)?shù)位置的處理，則可以達(dá)到擴(kuò)展圖像分辨率的目的。當(dāng)對(duì)象區(qū)域旋轉(zhuǎn)、變形時(shí)，流體區(qū)域相應(yīng)變化，流紋會(huì)隨像素移動(dòng)方向轉(zhuǎn)向，可見，基于流體模型不僅可以完成超分辨率圖像重建，而且可以解決傳統(tǒng)超分辨率重建的難題。

4 基于流體模型的圖像重建方法

視頻流體是同一對(duì)象在不同時(shí)刻采集到的像素集，忽略光線的變化，可知同一流紋上的像素值理論上相等，即 I(x，y，t)=I(f(x，y)，t+1)，因此，可以使用流紋進(jìn)行時(shí)域去噪。同一物體表面的實(shí)際元素不改變，當(dāng)流紋間連續(xù)出現(xiàn)新的像素時(shí)，可以認(rèn)為這是原來數(shù)字化采樣丟失的像素，因此，可以使用補(bǔ)入線增加圖像的分辨率。由此可以得到基于流體模型的圖像超分辨率重建方法，即首先利用流紋進(jìn)行去噪，然后利用補(bǔ)入線擴(kuò)展圖像分辨率，其總體流程如圖1所示。

圖1 基于流體模型圖像重建總體流程

如圖1所示，重建過程首先建立視頻流體模型并進(jìn)行去噪，然后選擇起始幀作為參考圖像，并依次在各幀中選擇補(bǔ)入線流紋，再根據(jù)補(bǔ)入流紋相鄰流紋計(jì)算補(bǔ)入流紋在初始幀的位置，如果所得位置非整數(shù)，先對(duì)參考圖像插值拉伸，最后使用補(bǔ)入流紋上的值替換對(duì)應(yīng)位置的插值。

4．1 基于等色線的流體模型估計(jì)

視頻流體是同一對(duì)象產(chǎn)生的像素集，但分割視頻對(duì)象本身是一個(gè)難題，本文使用流紋的運(yùn)動(dòng)來反推流體，即先計(jì)算流紋，再根據(jù)流紋運(yùn)動(dòng)一致性來判定流體的區(qū)域。根據(jù)定義，流紋上的像素相等，但由于噪聲的影響與采樣分辨率的不足，很難通過像素值的相等來計(jì)算流紋。幸運(yùn)的是，脈沖噪聲通常是分散的，隨機(jī)噪聲污染后的值總是在真實(shí)值附近隨機(jī)波動(dòng)，另外，可以認(rèn)為相似像素值的運(yùn)動(dòng)不可分辨，再結(jié)合同一對(duì)象相鄰質(zhì)點(diǎn)運(yùn)動(dòng)方向一致的特點(diǎn)，本文利用等色線構(gòu)建視頻流體模型。

基于等色線的流體模型建立方法如下:

Step1令每幀總像素?cái)?shù)N，當(dāng)前幀數(shù)k=0，流體數(shù) c=1，流紋函數(shù) f(x，y，0)=(x，y)，即假設(shè)初始為靜態(tài)。

Step2對(duì)當(dāng)前幀frame(k)計(jì)算各像素的顏色中值Med。

Step3以frame(k-1)各流體及其流紋函數(shù)、流紋變化估計(jì)frame(k)對(duì)應(yīng)區(qū)域，若對(duì)應(yīng)像素值均相等，則令k=k+1，轉(zhuǎn)Step1;否則以Med計(jì)算等色線重新劃分frame(k)，frame(k-1)。

Step4尋找每條等色線的前后對(duì)應(yīng)關(guān)系，并在對(duì)應(yīng)等色線間以角點(diǎn)對(duì)應(yīng)、最小距離的方式查找匹配點(diǎn)連線，作為等色線上的流紋。

Step5若等色線包圍的區(qū)域內(nèi)顏色相等，則將區(qū)域內(nèi)像素均勻?qū)?yīng)作為流紋，否則以區(qū)域內(nèi)顏色中值計(jì)算等色線重新劃分區(qū)域，轉(zhuǎn)Step3。

Step6計(jì)算各流紋的變化，并以流紋變化一致區(qū)域作為流體區(qū)域。令k=k+1，轉(zhuǎn)Step2。

通過上述方法的運(yùn)算，不僅可以得到視頻流體的區(qū)域劃分，而且能準(zhǔn)確得到流紋及流紋變化等信息。

4．2 基于中值濾波的自適應(yīng)時(shí)域去噪

根據(jù)定義，流紋上的像素值相同，然而由于噪聲的存在，流紋上的像素值也可能不完全相等。去除噪聲的方法較多，通常是假設(shè)噪聲或未污染像素服從某種概率分布，如高斯分布、白噪聲、極值分布等，從而得到如高斯濾波、粒子濾波、均值濾波、中值濾波等去噪方法。對(duì)流紋上的像素而言，正常像素與噪聲的最大區(qū)別是正常像素值保持不變，呈現(xiàn)一致性，而噪聲則是隨機(jī)的，因此，噪聲的影響總是小于正常像素，污染后的像素值總是在正常像素值附近波動(dòng)。由此可以得到2種去噪方法的選擇，一是均值濾波，二是中值濾波。均值濾波的前提是噪聲為白噪聲，且容易受噪聲的極端分布所影響，而中值濾波僅需要像素值有向真實(shí)值集中的趨勢(shì)即可，因此，本文選擇使用中值濾波方法去噪。具體方法為使用流紋上的中值替代觀測(cè)值:

其中，f為流紋函數(shù)。

此處的流紋指經(jīng)過等色線估計(jì)得到的近似像素時(shí)域?qū)?yīng)關(guān)系，其中，90%左右的像素值相等或近似相等，可以不處理，同時(shí)，采用了文獻(xiàn)［12］的快速中值計(jì)算方法，雖然使用了中值濾波這一非線性方法，但并不影響整個(gè)方法的執(zhí)行效率。

4．3 基于流紋延伸的像素?cái)U(kuò)展

由于分辨率不足，視頻像素是實(shí)際像素的采樣，相對(duì)相機(jī)靜止的物體采樣位置也固定，長(zhǎng)期統(tǒng)計(jì)可以得到相應(yīng)位置的真實(shí)值。而相對(duì)相機(jī)運(yùn)動(dòng)的物體則可能得到不同位置的采樣，產(chǎn)生流紋的中斷與新增，這是補(bǔ)入線與切出線的重要來源，因此，可以用補(bǔ)入線補(bǔ)充之前未采集到的像素值，而用切出線可以預(yù)測(cè)之后丟失的像素值。由此可得到基于流紋延伸的像素?cái)U(kuò)展方法如下:

(1)以去噪后的視頻第一幀作為擴(kuò)展基礎(chǔ)，即按比例將 I(x，y，0)擴(kuò)展為目標(biāo)圖像的 P(xs，ys)，其中，s為擴(kuò)展比例，為方便計(jì)算，規(guī)定s為整數(shù)。

(2)依次計(jì)算各幀的流紋f(x，y，t)，并遞歸計(jì)算第 t幀 ～ 第1 幀的映射 g(x，y，t)。若 f(x，y，t)為切出線，則用亞像素位置對(duì)它進(jìn)行延伸，令:

(3)對(duì)P中各像素進(jìn)行補(bǔ)充賦值，若存在g(x，y，t)=(xs，ys)，則令 P(xs，ys)=(x，y，t)，否則對(duì)(xs，ys)進(jìn)行雙線性插值。

5 性能分析

通過以上重建過程可以看出，基于視頻流體模型的超分辨率圖像重建方法可以使用于連續(xù)拍攝的一般場(chǎng)景，甚至也可以用于移動(dòng)攝像機(jī)所拍攝的場(chǎng)景，具有精度高、抗干擾的適應(yīng)性強(qiáng)等優(yōu)勢(shì)。

由于本文方法基于流紋進(jìn)行重建，流紋為像素在時(shí)域上的延伸，因此重建操作本身是像素級(jí)的。與以往基于塊的圖像重建方法相比，新方法可以對(duì)每個(gè)像素進(jìn)行單獨(dú)修復(fù)和預(yù)測(cè)，而避免了塊操作產(chǎn)生的模糊等不良影響，因此新方法具有更高的重建精度。

當(dāng)噪聲存在，基于流體模型的去噪方法不僅可以從空域上對(duì)圖像去噪，而且可以同時(shí)考慮像素的時(shí)域連續(xù)性，客觀上增加了重建的抗噪聲性能。并且，當(dāng)出現(xiàn)攝像機(jī)抖動(dòng)、光線閃耀等異常情況時(shí)，流體模型能根據(jù)流紋的時(shí)域、空域的連續(xù)性、光滑性進(jìn)行校正，也保證了重建方法的抗干擾能力。

與一般重建方法只能處理固定攝像機(jī)的情況不同，本文方法并不區(qū)分場(chǎng)景的前景、背景等，而是將場(chǎng)景中的各元素視為連續(xù)運(yùn)動(dòng)的整體，因此，在進(jìn)行圖像重建時(shí)并不存在運(yùn)動(dòng)背景與靜止背景的區(qū)分，可以自然地適應(yīng)攝像機(jī)運(yùn)動(dòng)的情況。

當(dāng)然，由于對(duì)視頻進(jìn)行像素級(jí)處理，流體模型的建模過程有一定的時(shí)間開銷，但由于圖像重建過程一般都是非適時(shí)的，沒有適時(shí)要求，并且建模過程只是一個(gè)有限的時(shí)間開銷，圖像重建的對(duì)象都是重要數(shù)據(jù)，一般數(shù)量有限，因此基于流體模型的方法能夠適應(yīng)一般圖像重建的時(shí)間需求。

6 實(shí)驗(yàn)結(jié)果與分析

分別以文獻(xiàn)［3］提出的配置與最大后驗(yàn)插值方法(M＆EM)、文獻(xiàn)［4］提出的梯度投影(Gradient Projection，GP)方法、文獻(xiàn)［5］提出的最大后驗(yàn)估計(jì)與投影 (Maximum A Posteriori＆Projection，MAPP)方法及本文方法對(duì)同一段視頻(共50幀)進(jìn)行重建處理，部分結(jié)果如圖2所示。通過對(duì)比觀察可以看出本文方法重建結(jié)果最為清晰。

圖2 監(jiān)控視頻重建結(jié)果

對(duì)于普通的測(cè)試視頻，超分辨率重建后沒有可參考和對(duì)比的圖像，恢復(fù)結(jié)果僅能用肉眼觀察和人工判斷。為了客觀地評(píng)價(jià)和對(duì)比重建結(jié)果，對(duì)標(biāo)準(zhǔn)測(cè)試視頻進(jìn)行降質(zhì)處理。測(cè)試視頻的原始幀大小為704×576像素，首先對(duì)視頻各幀做幾何變換，縮小到352×288像素大小;然后使用高斯濾波對(duì)各幀進(jìn)行模糊處理;最后在各幀中隨機(jī)加入椒鹽噪聲與高斯白噪聲。采用上述各方法對(duì)不同污染程度的視頻進(jìn)行處理，然后對(duì)比處理后得到重建圖像與參考幀的峰值信噪比(Peak Signal to Noise Ratio，PSNR)，對(duì)mobile視頻處理結(jié)果(共90幀，參考幀為第45幀)如表1所示，其中，未處理列指幾何變換后與加噪后對(duì)應(yīng)視頻第45幀的PSNR對(duì)比;其余各列則指分別使用M＆EM等方法處理后得到的重建圖像與原視頻中第45幀的PSNR對(duì)比。

表1 重建圖像與參考幀的PSNR對(duì)比 dB

由表1可知，4種重建方法都可以起到擴(kuò)展圖像分辨率、提高圖像質(zhì)量的作用，而本文方法的重建效果在不同的污染情況下均超過其他3種方法。

7 結(jié)束語

基于視頻流體模型，本文提出一種新的圖像序列高分辨率重建方法。應(yīng)用視頻流紋的變化進(jìn)行圖像質(zhì)量的提高、分辨率的擴(kuò)展。實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)基于運(yùn)動(dòng)估計(jì)的圖像超分辨率重建方法相比，該方法可獲得更好的圖像重建效果。今后將研究如何提高方法的計(jì)算速度，并將流體模型應(yīng)用于其他視頻處理方面。

［1］ 肖創(chuàng)柏，禹 晶，薛 毅．一種基于MAP的超分辨率圖像重建的快速算法［J］．計(jì)算機(jī)研究與發(fā)展，2009，46(5):872-880．

［2］ 樊 超，孫寧寧，夏 旭．基于序列圖像的超分辨率重建［J］．紅外技術(shù)，2010，32(5):279-282．

［3］ 郭 琳，陳慶虎．結(jié)構(gòu)保持的圖像序列自適應(yīng)超分辨率重建［J］．武漢大學(xué)學(xué)報(bào):信息科學(xué)版，2011，36(5):548-551．

［4］ 陳華華，姜寶林，劉 超，等．基于殘差的圖像超分辨率重建［J］．中國(guó)圖象圖形學(xué)報(bào)，2013，18(1):42-48．

［5］ 李 民，程 建，樂 翔，等．基于聯(lián)合稀疏近似的彩色圖像超分辨率重建［J］．光電子·激光，2011，22(8):1241-1245．

［6］ 聶篤憲，陳一梅，陳鶴峰．去混合噪聲的超分辨率圖像重建算法［J］．紅外技術(shù)，2010，32(10):604-606．

［7］ Lu Xiaobo，Zeng Weili．Super-resolution Reconstruction for License Plate Images of Moving Vehicles［J］．Journal of Southeast University，2010，26(3):457-460．

［8］ Seelamantula C S，Mulleti S．Super-resolution Reconstruction in Frequency-domain Optical-coherence Tomography Using the Finite-Rate-of-Innovation Principle［J］．IEEE Transactions on Signal Processing，2014，62(19):5020-5029．

［9］ 李娟娟，李小紅．基于聚類的單幀圖像超分辨率重建方法［J］．計(jì)算機(jī)工程，2013，39(7):284-287．

［10］ 朱 偉，孫久運(yùn)，劉凱凱．基于最小二乘影像匹配的超分辨率重建［J］．地理與地理信息科學(xué)，2014，30(2):116-119．

［11］ 唐權(quán)華．視頻時(shí)空聯(lián)合模型與去噪研究［D］．成都:西南交通大學(xué)，2010．

［12］ 唐權(quán)華，雷金娥，周 艷，等．基于多級(jí)空間壓縮測(cè)度積分的中值計(jì)算方法［J］．中國(guó)圖象圖形學(xué)報(bào)，2009，14(4):642-646．