• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于壓縮感知的超分辨率重建研究綜述

    2021-06-18 06:47:56李瑩華喬楊歌王富平
    西安郵電大學(xué)學(xué)報 2021年2期
    關(guān)鍵詞:子帶字典相似性

    李瑩華,喬楊歌,劉 穎,3,盧 津,王富平

    (1.西安郵電大學(xué) 電子信息現(xiàn)場勘驗應(yīng)用技術(shù)公安部重點實驗室,陜西 西安 710121;2.西安郵電大學(xué) 圖像與信息處理研究所,陜西 西安 710121;3.西安郵電大學(xué) 陜西省無線通信與信息處理技術(shù)國際合作研究中心,陜西 西安 710121)

    隨著移動通信和互聯(lián)網(wǎng)技術(shù)的快速發(fā)展,單純的文字和語音通信已經(jīng)難以滿足生活等應(yīng)用需求。圖像視頻能夠傳遞更豐富的信息,現(xiàn)已成為主要通信形式之一。在圖像處理中,接收圖像和視頻的高質(zhì)量恢復(fù)技術(shù)在很多領(lǐng)域有著至關(guān)重要的作用,如醫(yī)學(xué)成像、遙感圖像、衛(wèi)星圖像、高清電視、遠(yuǎn)程醫(yī)療、監(jiān)控視頻、視頻會議,以及人們?nèi)粘I钪斜夭豢缮俚氖謾C(jī)等智能設(shè)備對圖像的存儲傳輸。

    圖像有與語音文本截然不同的特點,包含數(shù)據(jù)量巨大,內(nèi)部結(jié)構(gòu)具有高相關(guān)性。采集圖像的傳感器尺寸等硬件限制,或者采集場景中的天氣原因、光照和氣流等自然干擾,以及圖像量化、模數(shù)轉(zhuǎn)換等造成的圖像失真、分辨率降低等問題,導(dǎo)致圖像的細(xì)節(jié)信息丟失,從而不能進(jìn)行很好的應(yīng)用。因此,如何在接收端高效重構(gòu)高質(zhì)量的圖像是圖像處理和多媒體通信中至關(guān)重要的問題。

    一般來說,提升圖像清晰度和分辨率主要可以從硬件和軟件兩種方法實現(xiàn)。硬件方法主要是提高傳感器的工藝,成本高且較難實現(xiàn)。軟件方法主要是通過計算機(jī)視覺,對圖像進(jìn)行超分辨率(Super-Resolution,SR)重建,通過對低分辨率(Low Resolution,LR)圖像的處理,利用機(jī)器學(xué)習(xí)、概率統(tǒng)計理論和優(yōu)化理論等工具可重構(gòu)出低分辨率圖像對應(yīng)的高分辨率(High Resolution,HR)圖像。軟件方法較硬件方法成本低,方法也多樣化,能夠自適應(yīng)地對不同類型的圖像SR 進(jìn)行改進(jìn),更易于實現(xiàn),因而這種軟件化的超分辨率更加實用。目前,超分辨率主要的重建方法有基于插值法的SR、基于重建的 SR 以及基于學(xué)習(xí)的SR等3類。其中,雙線性插值法(Bicubic)[3]是最典型的插值法,實現(xiàn)簡單,但重建圖像質(zhì)量較差;基于重建的SR 方法主要缺點是對加性噪聲的魯棒性較差;基于學(xué)習(xí)的SR方法主要有鄰域嵌入方法、支持向量回歸(Support Vector Regression,SVR)方法以及利用圖形patch 的稀疏表示實現(xiàn)超分辨率,雖然能夠恢復(fù)出較為細(xì)致的紋理,但是因為很多高頻信息是通過外部訓(xùn)練庫學(xué)習(xí)的,結(jié)果圖中可能會存在不真實的細(xì)節(jié)。超分辨率重建是一個典型的病態(tài)問題,由于沒有足夠的低分辨率圖像用于重構(gòu),同時降質(zhì)模型未知,且根據(jù)約束條件求得的解也不是唯一的,因此,上述方法均存在運(yùn)算復(fù)雜度低或者重建圖像質(zhì)量不理想等問題。為解決這些問題,引入了基于壓縮感知理論的超分方法。壓縮感知(Compressed Sensing,CS)的出現(xiàn)為解決大的欠定問題提供了新的不同視角。在沒有關(guān)于信號支持的先驗知識的情況下,CS可以使用比傳統(tǒng)方法更少的測量重建稀疏或可壓縮信號。

    通過介紹基于壓縮感知理論的超分辨率重建研究的發(fā)展?fàn)顩r,對比分析幾種典型的基于壓縮感知的超分辨率方法,并展望圖像超分辨率未來的研究方向。

    1 超分辨率相關(guān)概念

    1.1 圖像降質(zhì)模型

    采集圖像過程就是真實場景圖像的一個降低信息的過程,采用計算機(jī)視覺的方法,可實現(xiàn)對高分辨率圖像的恢復(fù),圖像制作對應(yīng)的降質(zhì)模型如圖1所示。圖像分辨率的降低是空間上高頻信號丟失所導(dǎo)致的,光學(xué)系統(tǒng)可以看作是一個空間上的低通濾波器,只能允許一定帶寬范圍內(nèi)的空間頻率信號通過。在實際的圖像采集和傳輸中,有許多因素會造成圖像的降質(zhì),導(dǎo)致圖像分辨率的下降。就采集圖像的設(shè)備來說,傳感器尺寸、不同的鏡頭以及不同的互補(bǔ)金屬氧化物半導(dǎo)體(Complementary Metal Oxide Semiconductor,CMOS)質(zhì)量都會影響圖片的質(zhì)量。如衛(wèi)星圖像以及監(jiān)控視頻,傳感器的尺寸小,光通量也相應(yīng)減小,導(dǎo)致了分辨率的降低。另一方面,即使傳感器能夠采集到高分辨率圖像,采集場景以及設(shè)備的相對運(yùn)動都可能會造成成像時產(chǎn)生畸變。隨著對圖像質(zhì)量的要求越來越高,硬件無法自適應(yīng)地采集高精圖圖像,并且配置高精度光學(xué)儀器和傳感器的價格昂貴,性價比并不高。因此,通過改進(jìn)硬件條件難以達(dá)到所有圖像處理應(yīng)用領(lǐng)域的需求。

    圖1 圖像降質(zhì)模型

    1.2 超分辨率的主要重建方法

    超分辨率理論是由Tsai[1]等人在上世紀(jì)末提出的。最初的超分辨率技術(shù)主要應(yīng)用于衛(wèi)星圖像領(lǐng)域,根據(jù)衛(wèi)星在同一場景下采集的多幅圖像重建出高分辨率圖像,再獲取需要的細(xì)節(jié)信息。這種技術(shù)需要多幅圖像的輸入,限制較多,因此,后來很多學(xué)者開始致力于研究單幅圖像的超分重建。超分辨率的主要重建方法包括基于插值法的SR、基于重建的SR和基于學(xué)習(xí)的SR等3類。

    1)基于插值法的SR。插值法[2-5]是先根據(jù)已有的低分辨率圖像之間的相對運(yùn)動信息,在已有采樣值的基礎(chǔ)上,計算出高分辨率圖像在非均勻采樣點上的像素值,然后在非均勻采樣點上進(jìn)行插值并估計每個高分柵格上的像素值,最后進(jìn)行去模糊和去噪處理。典型的鄰插值方式有近鄰插值法、雙線性插值法和B樣條插值法,其優(yōu)點是計算復(fù)雜度低,實現(xiàn)容易。然而,該方法的前提條件是假設(shè)要求所有低分辨率圖像的噪聲與模糊相同。此外,得到的圖像過于平滑,丟失了細(xì)節(jié)紋理信息,又沒有加入先驗信息,在重建HR圖像的細(xì)節(jié)信息時會遭遇瓶頸。

    2)基于重建的SR。重建的SR主要是通過建立數(shù)學(xué)模型模擬從原高分辨率圖像到低分辨率圖像的降質(zhì)模型,即是一個典型的欠定問題,利用正則化解決此逆問題是基于重建方法常用的方式。典型的重建方法有迭代反投影(Iterative Back Projection,IBP)和凸集投影(Projection onto Convex Set,POCS)等方法[6-9]。這類方法的缺點是對加性噪聲的魯棒性較差。

    3)基于學(xué)習(xí)的SR。該方法主要是從大量的訓(xùn)練樣本中獲取先驗信息,建立低分與高分圖像的特征空間的映射關(guān)系,通過得出他們之間的對應(yīng)關(guān)系,對感興趣的LR圖像學(xué)習(xí)得出的映射關(guān)系進(jìn)行恢復(fù)。利用鄰域嵌入方法[10]、支持向量回歸方法(Support Vector Regression,SVR)以及圖形patch 的稀疏表示實現(xiàn)超分辨率[11]時,很多高頻信息是由外部訓(xùn)練庫學(xué)習(xí)得到,雖然恢復(fù)了較為細(xì)致的紋理,但是結(jié)果圖中可能會存在不真實的細(xì)節(jié)。目前,基于學(xué)習(xí)的方法已有較多研究,但是針對不同的應(yīng)用,基于插值的方法和基于重構(gòu)的方法也有其自身的優(yōu)點,仍然被很多學(xué)者所重視。

    2 基于壓縮感知的超分辨率重建

    2.1 壓縮感知理論

    在傳統(tǒng)的信號處理中,先根據(jù)奈奎斯特(Nyquist)采樣定理對信號進(jìn)行高速采樣,對采樣值進(jìn)行數(shù)字化處理和頻域變換后,對頻域分布上較重要的系數(shù)進(jìn)行編碼,再對編碼值進(jìn)行存儲和傳輸。隨著多媒體網(wǎng)絡(luò)的發(fā)展,現(xiàn)在需要處理的都是具有大數(shù)據(jù)量大維度的圖像和視頻信號,在帶寬資源受限的應(yīng)用環(huán)境下,已有的硬件設(shè)備很難滿足高采樣率進(jìn)行采樣壓縮的要求,并且先采樣再壓縮的過程會導(dǎo)致大量存儲資源的浪費(fèi)和采樣值的冗余。在此背景下,信號處理領(lǐng)域的學(xué)者們開始探尋能夠?qū)嚎s和采樣同步進(jìn)行的解決辦法,壓縮感知(Compressed Sensing,CS)理論相繼被提出。

    CS理論可以遠(yuǎn)低于Nyquist的采樣率同時實現(xiàn)對信號的采樣和壓縮。需要說明的是,CS 理論研究的出發(fā)點是克服Nyquist采樣要求的限制,因此, CS理論與Nyquist采樣定理存在3點區(qū)別[12]。第一,Nyquist采樣定理針對的對象是無限長的連續(xù)信號,而CS理論關(guān)注的則是有限維觀測空間的向量。第二,Nyquist 采樣定理是對信號進(jìn)行均勻采樣,而CS理論則是通過一個隨機(jī)測量矩陣,與信號求內(nèi)積獲得測量值。第三,傳統(tǒng)的信號采樣壓縮傳輸后,其信號的恢復(fù)是通過對采樣數(shù)據(jù)的Sinc 函數(shù)進(jìn)行線性插值獲得,而CS理論中則是根據(jù)測量值,求解一個欠定的凸優(yōu)化問題恢復(fù)出信號。

    壓縮感知可以用遠(yuǎn)少于傳統(tǒng)方法的測量值恢復(fù)出稀疏或者可壓縮的信號[13-15],CS理論的出現(xiàn)影響了信號采集和恢復(fù)。假設(shè)x是一個N維的離散信號,若其元素的非零值個數(shù)不大于r(r<

    ‖x‖0≤r,?x是r-稀疏信號

    同時,若某一信號的幅度值呈指數(shù)型衰減,則稱該信號為“近似稀疏信號”。此外,若一個信號在某一個表示基上具有近似稀疏的表示系數(shù),則稱該信號為“可壓縮”信號。

    對于自然圖像來說,包含的像素一般都有較強(qiáng)的相關(guān)性,不滿足嚴(yán)格意義上的稀疏性。但是,可以找到合適的稀疏基對圖像進(jìn)行表示,而稀疏表示系數(shù)是滿足稀疏性的,故圖像是可壓縮信號,可以利用CS理論對自然圖像進(jìn)行處理。信號壓縮感知的過程如圖2所示。

    圖2 信號壓縮感知的過程

    對于N維離散信號x(x∈RN),{ψi}(i=1,2,…,N)是Ω∈RN空間的一組正交基,將x在這組正交基下展開,即

    (1)

    x=Ψα

    (2)

    其中,α是信號x的稀疏度。在CS理論中,稀疏基的構(gòu)造稱之為稀疏字典的設(shè)計。按照字典的構(gòu)成方式,稀疏字典可以分為正交基字典、基于框架構(gòu)造的字典和基于學(xué)習(xí)的字典。從正交性角度來分,又可分為正交基和過完備冗余字典。稀疏字典的設(shè)計是至關(guān)重要的部分,因為信號在字典上的表示系數(shù)的稀疏程度決定了重構(gòu)圖像的精度。

    利用M×N(M?N)維的測量矩陣Φ對信號x進(jìn)行測量,則有

    y=Φx

    (3)

    式中,y∈RM表示經(jīng)測量矩陣觀測后的M維測量值信號。將M/N稱作壓縮感知中對信號進(jìn)行測量的采樣率,記為符號MR(Measurement Rate)。

    對信號的測量過程也可看作是原信號根據(jù)測量矩陣從高維空間到低維空間的降維投影過程。測量值的每個元素均是原信號分量的加權(quán)和,因而每個測量值均包含了部分原信號所有分量的信息。利用CS理論對信號進(jìn)行測量,彩色圖塊分別表示信號和測量矩陣的元素,則測量過程可用色塊矩陣表示,如圖3所示。

    圖3 壓縮感知的測量過程

    在解碼端根據(jù)測量值對信號進(jìn)行精確重構(gòu),需從測量值y∈RM中重構(gòu)出原始信號x∈RN。由于M?N,因此式(3)有無窮多個解,是個欠定問題(病態(tài)問題)。而CS理論在信號x是K稀疏的前提條件下,若測量矩陣滿足一定條件,則原信號可由測量值通過求解一個零范數(shù)最優(yōu)化問題精確重構(gòu)出來。

    2.2 超分辨率與壓縮感知理論的內(nèi)在聯(lián)系

    超分辨率問題本質(zhì)上就是一個從低分辨率圖像,根據(jù)某些先驗知識或?qū)Τ上衲P偷募僭O(shè),恢復(fù)出高分辨率圖像的一個反問題,也是一個從低維空間的信號恢復(fù)高維空間信號的問題。這與CS理論的重構(gòu)具有異曲同工之妙。壓縮感知中的測量值y可視為低分辨率圖像,是高分辨率圖像x的測量值。

    超分辨率的高維重建又與CS理論有微小的差異。此時的測量矩陣不再基于設(shè)計者的選擇確定,而是一個包含對圖像模糊化和降采樣的降質(zhì)模型。此外,此時的稀疏基Ψ不需要一定是正交基,也可以是任意的冗余字典,記為D∈RN×K(K?N)。

    將超分辨率問題在CS理論的框架下進(jìn)行公式化表示。SR問題是從一個或多個低分圖像Y中重構(gòu)恢復(fù)出高分圖像X。低分辨率圖像是從降質(zhì)模型中獲取,即

    (4)

    將整個圖像降質(zhì)模型表示為一個矩陣算子L=RLp,把矩陣L稱作超分辨率問題的投影算子,這就和壓縮感知的測量過程式(1)與之對應(yīng)。那么,超分辨率重建的問題就是降質(zhì)算子的逆算子,這是一個病態(tài)問題,因為式(2)的降質(zhì)模型造成了信息的丟失。

    假設(shè)x∈RN是原圖像X的一個子塊拉伸成的一維向量,存在一個過完備字典D∈RN×K使得x稀疏表示為

    x=Dα,‖α‖0=S,S

    (5)

    則低分圖像塊表示為

    y=Lx

    (6)

    式中,y是x的低維投影,相當(dāng)于壓縮感知中的測量值。

    將式(5)代入式(6),得到

    y=LDα

    (7)

    稀疏向量α可以通過求解優(yōu)化問題得到。

    CS理論的出現(xiàn)為解決欠定問題提供了全新的視角,在沒有關(guān)于信號支撐的先驗知識的情況下,其可以使用比傳統(tǒng)方法更少的測量值重構(gòu)稀疏或可壓縮信號。CS理論突破了傳統(tǒng)采樣理論的限制,即對信號的采集和重建必須遵循Nyquist抽樣理論。壓縮感知已經(jīng)應(yīng)用于各種領(lǐng)域,如機(jī)器學(xué)習(xí)[16,17]、無線通信[18,19]和醫(yī)學(xué)成像[20,21]。

    CS理論因其可以降維的優(yōu)勢,可以用于解決超分辨率問題。CS理論和稀疏表示在SR 恢復(fù)領(lǐng)域的應(yīng)用,引起了大量研究人員的興趣和關(guān)注。最早的基于CS理論的超分辨率重構(gòu)研究可以追溯到文獻(xiàn)[22-27],其中,Sen等人提出了可以直接從單個低分辨率圖像生成超分辨率圖像,而無需使用訓(xùn)練數(shù)據(jù)集的方法[22],文獻(xiàn)[25-27]在此基礎(chǔ)上進(jìn)行了擴(kuò)展,提出了基于稀疏表示的單圖像SR 問題的新方法。

    3 典型的基于CS的超分辨率方法

    3.1 基于迭代收縮和全變分稀疏表示的SR方法

    基于迭代收縮和全變分稀疏表示的SR方法將兩步迭代收縮算法和全變分(Total Variation,TV)稀疏表示相結(jié)合,構(gòu)建了一種單幅圖像的超分辨率重建方法[28]。為了后續(xù)敘述方便,將這種方法簡稱為TVCS_SR。該方法不需要訓(xùn)練集,僅需單幅LR圖像實現(xiàn)重建,創(chuàng)新點主要包括兩個方面:第一個方面,在測量矩陣?yán)锛尤胂虏蓸拥屯V波器,使得SR問題滿足應(yīng)用CS理論的有限等距性質(zhì)(Restricted Isometry Property,RIP);第二個方面,在重建時通過全變分函數(shù),利用兩步迭代法引入TV去噪算子,避免了直接對算子求逆。全變分正則化能保持邊界的對比度與銳度[29]。

    利用兩步迭代算法和全變分正則化實現(xiàn)了超分辨率重構(gòu),其核心是在對前一估計值降噪處理的基礎(chǔ)上,利用兩步迭代收縮得到新的估計值。

    3.2 基于小波域的壓縮感知SR方法

    基于小波域的壓縮感知SR方法[30]在小波域?qū)R圖像進(jìn)行分解,分別得到其低頻與高頻子帶。在此基礎(chǔ)上,利用CS技術(shù)分別對低頻子帶與高頻子帶進(jìn)行重建,同時通過小波逆變換獲得重建后的HR圖像。為后續(xù)敘述方便,將這種方法簡稱為WaveletCS_SR。基于小波域的方法主要包括基于小波變換對圖像進(jìn)行重建和基于CS的高低頻子帶圖像重建兩個部分。

    3.2.1 基于小波變換對圖像進(jìn)行重建

    小波變換是一種時頻分析技術(shù),可在時域和頻域獲得表征信號局部特征的能力,廣泛應(yīng)用與圖像分析中。根據(jù)不同小波基函數(shù)的特點及低分圖像特征,文獻(xiàn)[30]采用了由Cohen等提出的CDF97小波,其滿足線性相位的要求,且運(yùn)算速度快,同等條件下,比Haar小波快兩倍。

    假設(shè)M×N維的LR圖像為I0,基于CDF97的SR重構(gòu)步驟如下。

    步驟1利用小波變換將LR圖像分解為4個子帶圖像,即低頻子帶LL和LH、HL和HH等3個高頻子帶,分別對應(yīng)水平、垂直和對角線方向。

    步驟2基于小波變換對LL再次分解,獲得下一級的4個子帶圖。

    步驟3對低頻子帶圖進(jìn)行插值放大,得到重建圖像的低頻子帶。

    步驟4分別對3個高頻子帶進(jìn)行插值放大處理,得出重建圖像的高頻子帶。

    步驟5利用小波逆變換分別對高低頻子帶進(jìn)行重構(gòu),得到HR圖像。

    3.2.2 基于CS的高低頻子帶圖像重建

    在基于小波域?qū)D像進(jìn)行超分重建的過程中,高低頻子帶的獲取很關(guān)鍵。由于高頻子帶圖像均具有方向性,若采用傳統(tǒng)的插值法,重建后的圖像視覺效果較差,圖像質(zhì)量較低。然而,CS技術(shù)卻可以在較小的失真率前提下實現(xiàn)對原信號的高精度恢復(fù),以保證圖像的邊緣細(xì)節(jié)等關(guān)鍵信息,獲得理想的重構(gòu)視覺效果。基于CS的高低頻子帶圖像重建步驟如下。

    步驟1初始化余量r0=y,迭代次數(shù)n=1。

    步驟2計算圖像信號能量

    c=ΦTrn-1=<ΦT,rn-1>

    步驟3利用TV函數(shù)對信號進(jìn)行去噪處理。

    步驟4選取c中能量最大的2K個元素,對應(yīng)的原子構(gòu)成支撐矩陣ΦI。

    基于CS的高低頻子帶圖像重建過程如圖4所示。

    圖4 基于CS的高低頻子帶圖像重建過程

    3.3 基于冗余字典的SR方法

    壓縮感知中的字典學(xué)習(xí)已廣泛應(yīng)用于圖像超分辨率重建中?;谌哂嘧值涞腟R方法基于壓縮感知理論,構(gòu)造了兩組冗余字典,分別用于表示LR圖像和HR圖像的子塊。其中,在字典訓(xùn)練階段使用K奇異值分解(K-SVD)算法進(jìn)行訓(xùn)練?;谌哂嘧值涞腟R方法減小了字典訓(xùn)練所需時間,同時也顯著提高了重建HR圖像的主客觀質(zhì)量,其重建過程如圖5所示。為后續(xù)敘述方便,將這種方法簡稱為Dic_SR。

    圖5 基于冗余字典的SR方法重建過程

    基于冗余字典的圖像超分重建的關(guān)鍵點在于,對于一個低分圖像的圖像子塊和其對應(yīng)的高分圖像子塊,可分別用低分辨率冗余字典DL和高分辨率字典DH進(jìn)行表示,而兩者的表示系數(shù)滿足某種規(guī)則。冗余字典主要利用K-SVD字典訓(xùn)練方法得到。輸入的低分辨率圖像可以在更新后的低分辨率字典稀疏基上表示為稀疏系數(shù),然后用對應(yīng)于高分圖像字典的稀疏系數(shù)重建高分辨率圖像塊。

    3.4 基于分類字典與非局部相似性的SR方法

    壓縮感知理論為解決超分辨率問題提供了理論基礎(chǔ),如上所述,利用高分辨率及低分辨率冗余字典對重建出高質(zhì)量的高分圖像已取得了很好的效果。然而,圖像自身以及不同尺度的圖像之間,都存在著一定的結(jié)構(gòu)相似性,將這種圖像內(nèi)部的自相似性以及不同尺度的非局部相似性應(yīng)用在基于冗余字典的超分重構(gòu)中,也顯著提升了重構(gòu)后圖像的質(zhì)量。

    基于分類字典與非局部相似性的SR方法[32]是基于壓縮感知和自相似約束的圖像SR算法。為后續(xù)敘述方便,將該方法簡稱為ClassDic_SR。

    在字典訓(xùn)練部分中,利用基于測量域的分類字典訓(xùn)練方法可以使用最合適的字典重構(gòu)感興趣的LR圖像。如果僅僅從外部圖像數(shù)據(jù)庫中學(xué)習(xí)先驗知識,則往往會產(chǎn)生重建的HR圖像的不真實細(xì)節(jié)。通過充分利用圖像的相似性及圖像的非局部相似性,搜索整個圖像中的相似塊,將圖像塊的稀疏性和自相似性作為優(yōu)化問題的約束進(jìn)行求解。具體來說,首先,提出了一種基于測量域的字典分類方法,通過分析測量域中的特征,圖像塊被分類為平滑、紋理和邊緣部分。然后,使用分類的圖像塊訓(xùn)練相應(yīng)的字典。此外,在重構(gòu)部分,使用聯(lián)合CS重構(gòu)方法恢復(fù)HR 圖像,同時,考慮圖像的非局部相似性和稀疏性作為約束。

    3.4.1 字典分類方法

    紋理分類是圖像處理領(lǐng)域的重要研究方向之一。考慮到算法復(fù)雜度,探尋一種能夠降低處理數(shù)據(jù)維度,同時又不會導(dǎo)致圖像信息丟失的紋理分類方法至關(guān)重要。壓縮感知理論很好地解決了這個問題,其可從少量采樣值中高概率恢復(fù)出原始高維信號[33-35],同時,測量域的數(shù)據(jù)量又遠(yuǎn)小于像素域的數(shù)據(jù)量。測量域分析信號快速高效,可以高精度地對圖像塊進(jìn)行紋理分類,同時還能夠保證在對圖像進(jìn)行重構(gòu)時不損失圖像的信息。字典分類方法的重建過程如圖6所示。

    圖6 字典分類方法的重建過程

    在壓縮感知圖像處理領(lǐng)域,可以直接分析圖像塊的測量域信息得出圖像的結(jié)構(gòu)和細(xì)節(jié)信息[36]。將圖像在測量域的相關(guān)性作為依據(jù)對圖像塊進(jìn)行劃分,在此基礎(chǔ)上,利用K-SVD算法針對每一類圖像塊分別訓(xùn)練對應(yīng)的冗余字典。

    3.4.2 圖像非局部相似性的CS超分方法

    一幅圖像內(nèi)部,自身存在著一定程度的相似性和可重復(fù)性,這包括像素上的重復(fù)性以及子圖像塊的相似性。圖像里的某個像素,均可以表示為兩個鄰像素的加權(quán)之和。加權(quán)系數(shù)的值取決于兩個像素與當(dāng)前像素的相似性。一般來講,相鄰像素的相似度更高,但實際上,距離較遠(yuǎn)的兩個像素也具有相似性或者一致性。受此啟發(fā),將圖像內(nèi)部的相似性和可重復(fù)性用于超分重建算法。

    一幅圖像自身內(nèi)部的圖像塊之間,比外部訓(xùn)練數(shù)據(jù)庫中圖像塊更為相似[37]。將圖像的非局部自相似信息與外部字典相結(jié)合,提出了圖像非局部相似性的CS超分方法。圖像在不同尺度之間也有許多相似的塊,較大的搜索區(qū)域會產(chǎn)生更多類似的塊,可采用變步長搜索方法尋找相似塊。在目標(biāo)圖像塊的相鄰區(qū)域,采用螺旋式塊搜索,而對于非鄰區(qū)域,則增加步長進(jìn)行搜索。這種方法可以充分挖掘圖像中的類似信息。

    對于輸入LR圖像的任何圖像塊y,根據(jù)其方差選擇相應(yīng)類別的字典對DL和DH。在整個圖像中找到所有類似的塊S={y1,y2,…,yn}。將自相似性作為優(yōu)化問題的約束,需要α的非零值元素數(shù)量很少,由α表示的高分圖像塊與其類似的塊S具有高度相似性。使用S、DL和DH的聯(lián)合重構(gòu)方法的計算表達(dá)式可表示為

    (8)

    式中:F為特征提取算子;參數(shù)λ用來平衡解的稀疏性和對圖像塊的近似程度。式中的前兩項用于保證輸入LR圖像塊的保真度,中間的l1正則化項保證LR塊在DL上的稀疏性,最后一項確?;謴?fù)的HR圖像塊和類似塊之間的近似程度。近似程度由γi控制,可表示為

    其中:Z為歸一化參數(shù);h為控制衰減速度的參數(shù)。

    求解式(8)得到系數(shù)α,利用

    x=DHα

    (9)

    獲得HR圖像塊。處理得到的所有LR塊,即可恢復(fù)HR圖像X。

    圖像非局部相似性的CS超分方法的重構(gòu)過程如圖7所示。

    圖7 圖像非局部相似性的CS超分方法的重構(gòu)過程

    4 幾種典型方法性能對比

    4.1 超分辨率評價指標(biāo)

    SR方法的性能從主觀和客觀兩個角度進(jìn)行評價。主觀評價主要是基于人眼的視覺感知評估圖像的質(zhì)量,每個個體對圖像的關(guān)注點各不相同,主觀評價存在個體差異??陀^評價是使用計算方法,對比原始的高分圖像與重構(gòu)得到的高分圖像的相似性,常用的兩個標(biāo)準(zhǔn)是峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)和結(jié)構(gòu)相似性(Structural Similarity Index,SSIM)。

    4.2 性能對比

    選取數(shù)據(jù)集Set5、Set14、BSD100和Urban100中部分圖像,分別利用Bicubic、TVCS_SR、WaveletCS_SR、Dic_SR和ClassDic_SR等5種典型超分算法進(jìn)行超分辨率重建,并利用PSNR和SSIM對重建HR圖像的質(zhì)量進(jìn)行評價。圖8為放大因子為2時重建后HR圖像的主觀效果,圖9為放大因子為4時重建后HR圖像的主觀效果。表1和表2分別為5種方法在4種數(shù)據(jù)集進(jìn)行實驗得出的PSNR值和SSIM值。

    圖8 放大因子為2時重建HR圖像的主觀效果

    圖9 放大因子為4時重建HR圖像的主觀效果

    表1 5種方法在各個測試數(shù)據(jù)集上的PSNR值/dB

    表2 5種算法在各個測試數(shù)據(jù)集上的SSIM值

    由圖8和圖9中的主觀視覺結(jié)果可以得出,使用基于CS理論中的冗余字典方法重建圖像具有豐富的紋理區(qū)域、更自然的輪廓,且沒有明顯的振鈴效應(yīng)和鋸齒形效果。這是由于引入了圖像的自相似性作為圖像重構(gòu)的約束,這種自相似性提供了圖像內(nèi)部相鄰像素和非相鄰像素的相關(guān)性特征,進(jìn)行SR重構(gòu)時,得到的高分辨率圖像的結(jié)構(gòu)更接近原始的高分圖像,故從主觀視覺上看優(yōu)于其他算法。由表1和表2可知,基于壓縮感知冗余字典的方法比其他算法具有更好的客觀質(zhì)量,PSNR和SSIM均得到改善,PSNR 值比Bicubic增加了約5.4~6.5 dB,比其他3種CS方法增加約1.1~5.2 dB;SSIM值較Bicubic增加約0.11~0.15,比其他3種CS方法增加約0.01~0.13。因此,CS理論中的冗余字典方法性能較插值法更優(yōu),而考慮了圖像相似性并結(jié)合CS感知理論的SR方法則優(yōu)于未考慮圖像相似性的方法。

    5 結(jié)語與展望

    介紹了超分辨率及壓縮感知的相關(guān)概念,并探討了壓縮感知與超分辨率問題的內(nèi)在聯(lián)系。通過分析對比幾種典型的基于壓縮感知的超分重構(gòu)方法的性能,得出利用壓縮感知技術(shù)的超分方法展現(xiàn)出了較傳統(tǒng)算法的優(yōu)越性,同時將圖像的自相似性作為重構(gòu)高分辨率圖像的約束條件,也進(jìn)一步提升了重建后高分圖像的質(zhì)量。

    對圖像進(jìn)行超分辨率重建時,采用字典訓(xùn)練提取高分辨率圖像和低分圖像之間的映射關(guān)系,這種映射關(guān)系的學(xué)習(xí)還不夠精確,需要一種更加高效的算法來構(gòu)建二者的映射關(guān)系,后續(xù)研究可將稀疏表示與深度學(xué)習(xí)相結(jié)合,應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)框架對圖像的稀疏特征進(jìn)行學(xué)習(xí),從而構(gòu)造稀疏字典,再利用稀疏字典對圖像進(jìn)行超分重構(gòu)。此外,超分辨率算法對圖像降質(zhì)模型的模擬依賴性很強(qiáng),已有的降質(zhì)模型的估計方法無法很好地應(yīng)對復(fù)雜和惡劣的成像環(huán)境下的模型估計,當(dāng)實際情況與模擬的降質(zhì)模型差別較大時,重構(gòu)圖像的質(zhì)量受到很大影響,因此,還需要繼續(xù)深入研究對降質(zhì)模型的更精準(zhǔn)估計模擬方法。

    猜你喜歡
    子帶字典相似性
    開心字典
    家教世界(2023年28期)2023-11-14 10:13:50
    開心字典
    家教世界(2023年25期)2023-10-09 02:11:56
    一類上三角算子矩陣的相似性與酉相似性
    一種基于奇偶判斷WPT的多音干擾抑制方法*
    淺析當(dāng)代中西方繪畫的相似性
    河北畫報(2020年8期)2020-10-27 02:54:20
    子帶編碼在圖像壓縮編碼中的應(yīng)用
    電子制作(2019年22期)2020-01-14 03:16:24
    我是小字典
    正版字典
    讀者(2016年14期)2016-06-29 17:25:50
    低滲透黏土中氯離子彌散作用離心模擬相似性
    基于虛擬孔徑擴(kuò)展的子帶信息融合寬帶DOA估計
    墨竹工卡县| 历史| 林芝县| 堆龙德庆县| 关岭| 清新县| 唐山市| 比如县| 大姚县| 长岛县| 额尔古纳市| 浮梁县| 綦江县| 汽车| 麟游县| 清镇市| 会理县| 兰考县| 彰化县| 铜陵市| 南昌县| 宕昌县| 大荔县| 思南县| 瑞昌市| 衢州市| 马关县| 胶州市| 卓尼县| 大厂| 太谷县| 建昌县| 临潭县| 鱼台县| 灵川县| 沽源县| 大关县| 姜堰市| 耿马| 宝丰县| 新昌县|