基于多階結(jié)構(gòu)表示的超分辨率重構(gòu)圖像質(zhì)量盲評(píng)價(jià)方法

王 爍，余 偉，田傳耕

(1.徐州工程學(xué)院 信電工程學(xué)院,徐州 221018；2. 成都理工大學(xué)工程技術(shù)學(xué)院,成都 614000)

0 引 言

超分辨率圖像重構(gòu)技術(shù)[1-6]是在不改變已有成像系統(tǒng)物理分辨率的條件下，利用計(jì)算機(jī)將一幅低分辨圖像或圖像序列恢復(fù)出高分辨率圖像的一種圖像處理技術(shù)。目前，圖像超分辨重構(gòu)已經(jīng)在計(jì)算機(jī)視覺(jué)和遙感技術(shù)等眾多領(lǐng)域取得成功。在過(guò)去十年間，大量的圖像超分辨重構(gòu)算法被提出[7-9]。然而，至今沒(méi)有一種重構(gòu)算法能高效地重構(gòu)出所有視覺(jué)內(nèi)容的高清圖像。隨著大量圖像超分辨重構(gòu)算法被提出，如何有效地評(píng)價(jià)超分辨重構(gòu)圖像的質(zhì)量已經(jīng)成為一個(gè)亟待解決的問(wèn)題。

客觀圖像質(zhì)量評(píng)價(jià)方法[10-12]可根據(jù)參考信息的可用性分為全參考、半?yún)⒖己蜔o(wú)參考3類。全參考方法是利用原始圖像全部信息，通過(guò)計(jì)算原始圖像與失真圖像之間的感知誤差，并對(duì)這些誤差進(jìn)行加權(quán)得到失真圖像的質(zhì)量分?jǐn)?shù)。比較經(jīng)典的全參考方法有特征相似度 (feature similarity, FSIM)[13]，梯度幅值相似性偏差(gradient magnitude similarity deviation, GMSD)[14]，結(jié)構(gòu)相似性 (structural similarity, SSIM)[15]，多尺度結(jié)構(gòu)相似性 (multi-scale version of SSIM, MS-SSIM)[16]，峰值信噪比(peak signal to noise ratio, PSNR)，基于塊的對(duì)比度質(zhì)量指標(biāo) (patch-based contrast quality index, PCQI)[17]等。半?yún)⒖挤椒ㄅc全參考類似，只是在比較相似度部分需要借助從參考圖像中提取的部分信息[18]。無(wú)參考方法則僅利用待評(píng)價(jià)信號(hào)本身的信息，基于自然場(chǎng)景統(tǒng)計(jì) (natural scene statistic, NSS)或特征學(xué)習(xí) (feature learning, FL)的方法來(lái)計(jì)算質(zhì)量分?jǐn)?shù)。如文獻(xiàn)[19]提出的基于空間域自然場(chǎng)景統(tǒng)計(jì)的無(wú)參考(blind/referenceless image spatial quality evaluator, BRISQUE)算法，文獻(xiàn)[20]提出了一種使用自然場(chǎng)景對(duì)數(shù)導(dǎo)數(shù)統(tǒng)計(jì)的無(wú)參考質(zhì)量評(píng)價(jià) (derivative statistics-based quality evaluator, DESIQUE)算法，文獻(xiàn)[21]提出的基于多變量高斯模型的非監(jiān)督無(wú)參考質(zhì)量評(píng)價(jià) (natural image quality evaluator, NIQE)算法，文獻(xiàn)[22]提出的基于自由能熵的無(wú)參考質(zhì)量評(píng)價(jià) (no-reference free energy-based robust metric, NFERM)算法。近些年，通用型無(wú)參考圖像質(zhì)量評(píng)價(jià)逐漸成為研究熱點(diǎn)，并且取得了一定的發(fā)展。

早期，研究者們采用傳統(tǒng)的PSNR和SSIM[15]方法預(yù)測(cè)超分辨重構(gòu)圖像的質(zhì)量。這些方法需要無(wú)失真的高清圖像作為參考，在真實(shí)超分辨重構(gòu)場(chǎng)景下，無(wú)失真的高清圖像通常不存在[23]。而無(wú)參考質(zhì)量評(píng)價(jià)方法雖然在評(píng)價(jià)常見(jiàn)失真類型上取得成功，但它們并不能有效地評(píng)價(jià)超分辨重構(gòu)圖像的質(zhì)量。因?yàn)樽匀粓D像常見(jiàn)失真主要表現(xiàn)于紋理結(jié)構(gòu)失真、邊緣模糊等，而超分辨率重構(gòu)圖像的失真還表現(xiàn)于細(xì)節(jié)信息的丟失[1]。因此設(shè)計(jì)針對(duì)超分辨重構(gòu)圖像的無(wú)參考質(zhì)量評(píng)價(jià)算法是有必要的。

目前，針對(duì)超分辨重構(gòu)圖像質(zhì)量評(píng)價(jià)的研究十分有限。文獻(xiàn)[24]進(jìn)行了一個(gè)超分辨重構(gòu)圖像的主觀實(shí)驗(yàn)，并測(cè)試了幾種客觀評(píng)價(jià)方法的性能，其效果并不理想。文獻(xiàn)[25]提出了一種基于自然場(chǎng)景統(tǒng)計(jì)的超分辨重構(gòu)圖像質(zhì)量無(wú)參考評(píng)價(jià)方法。該方法提取空間域和頻域中的二維統(tǒng)計(jì)特征來(lái)計(jì)算高分辨率圖像的質(zhì)量分?jǐn)?shù)。但是，在他們的工作中只分析了8幅圖像和4種超分辨率重構(gòu)算法，實(shí)驗(yàn)數(shù)據(jù)量不足[26]。文獻(xiàn)[27]提出了一種半?yún)⒖嫉某直嬷貥?gòu)圖像質(zhì)量評(píng)價(jià)方法。該方法通過(guò)對(duì)比高分辨率圖像和低分辨率圖像之間圖像塊的像素對(duì)應(yīng)關(guān)系來(lái)預(yù)測(cè)二者的感知相似性，從而估計(jì)高分辨率圖像的整體質(zhì)量。該方法采用馬爾科夫隨機(jī)場(chǎng)來(lái)建立低分辨率圖像和高分辨率圖像之間的像素對(duì)應(yīng)關(guān)系，從而解決了參考圖像和失真圖像尺寸不一致的問(wèn)題。該方法在一個(gè)專門針對(duì)超分辨率重構(gòu)圖像而建立的數(shù)據(jù)庫(kù)上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)數(shù)據(jù)量得到保證。但因?yàn)樾枰獏⒖夹畔?，所以該方法在?shí)際情況中可能并不適用。文獻(xiàn)[26]構(gòu)建了一個(gè)大尺度超分辨重構(gòu)圖像數(shù)據(jù)庫(kù)。隨后，作者提出了一種基于機(jī)器學(xué)習(xí)的無(wú)參考超分辨重構(gòu)圖像質(zhì)量評(píng)價(jià)方法。該方法的優(yōu)點(diǎn)在于使用來(lái)自空間域和頻域的3組判別性低級(jí)特征來(lái)描述超分辨率重構(gòu)圖像，其次兩階段回歸模型對(duì)于處理主觀實(shí)驗(yàn)的感知分?jǐn)?shù)中的異常值是比較魯棒的；缺點(diǎn)是對(duì)于具有高頻信息的圖像該方法的預(yù)測(cè)效果并不理想[26]。上述方法在評(píng)價(jià)超分辨率重構(gòu)圖像上取得了一定的成功，但他們主要是基于圖像的1階導(dǎo)數(shù)表示來(lái)提取特征，幾乎沒(méi)有考慮圖像的多階信息。

本文提出了一種基于圖像多階結(jié)構(gòu)的超分辨率重構(gòu)圖像質(zhì)量無(wú)參考評(píng)價(jià)方法。首先利用圖像的多階導(dǎo)數(shù)信息表示超分辨率圖像的主要結(jié)構(gòu)和細(xì)微紋理，主要結(jié)構(gòu)包括圖像的梯度和邊緣，細(xì)微紋理表示圖像的紋理信息和局部結(jié)構(gòu)。圖像的1階導(dǎo)數(shù)可以檢測(cè)圖像的邊緣和梯度，從而提取圖像的主要結(jié)構(gòu)和高頻信息；圖像的高階導(dǎo)數(shù)可以檢測(cè)圖像中的團(tuán)塊以及紋理結(jié)構(gòu)，從而提取圖像的紋理信息和局部細(xì)節(jié)信息。其次利用局部二值模式 (local binary pattern, LBP) 提取圖像的多階結(jié)構(gòu)特征。LBP是描述圖像局部紋理特征的算子，具有旋轉(zhuǎn)不變性和灰度不變性等顯著優(yōu)點(diǎn)，能夠從圖像多階導(dǎo)數(shù)信息中提取對(duì)圖像質(zhì)量更為敏感的特征。因?yàn)闄C(jī)器學(xué)習(xí)是處理非線性擬合和回歸問(wèn)題的一個(gè)有效方法；所以，將獲得的所有特征和圖像的平均意見(jiàn)分?jǐn)?shù) (mean opinion score, MOS)一起輸入到隨機(jī)森林模型中，進(jìn)行回歸訓(xùn)練得到圖像質(zhì)量預(yù)測(cè)模型。最后利用訓(xùn)練好的模型預(yù)測(cè)待測(cè)圖像的質(zhì)量。

該方法的創(chuàng)新點(diǎn)在于利用圖像導(dǎo)數(shù)成功檢測(cè)超分辨率重構(gòu)圖像的高頻信息；同時(shí)采用圖像的高階導(dǎo)數(shù)檢測(cè)圖像塊丟失的局部細(xì)節(jié)信息(詳情見(jiàn)1.1節(jié))。實(shí)驗(yàn)結(jié)果表明，本文提出的算法優(yōu)于現(xiàn)有的無(wú)參考評(píng)價(jià)方法，與主觀評(píng)價(jià)結(jié)果保持高度一致性。

1 基于結(jié)構(gòu)的超分辨率重構(gòu)圖像質(zhì)量評(píng)價(jià)模型

結(jié)構(gòu)信息對(duì)圖像質(zhì)量評(píng)價(jià)非常重要，人類視覺(jué)系統(tǒng) (human visual system, HVS) 在感知視覺(jué)場(chǎng)景時(shí)對(duì)結(jié)構(gòu)十分敏感[15]。圖像結(jié)構(gòu)可以分為主要結(jié)構(gòu)和細(xì)微紋理[28]。主要結(jié)構(gòu)包括圖像高頻部分，比如邊緣；細(xì)微紋理表示圖像的具體細(xì)節(jié)和視覺(jué)內(nèi)容。超分辨率重構(gòu)圖像包括了這兩部分的失真?；诖耍疚奶崛D像的結(jié)構(gòu)信息來(lái)構(gòu)建質(zhì)量評(píng)價(jià)模型。圖1給出了本文方法的框架圖，可以分為模型訓(xùn)練和分?jǐn)?shù)預(yù)測(cè)2部分。在模型訓(xùn)練部分，首先提取圖像的多階梯度信息，其次使用LBP統(tǒng)計(jì)提取有效特征，最后結(jié)合MOS值使用隨機(jī)森林進(jìn)行模型訓(xùn)練得到質(zhì)量預(yù)測(cè)模型。分?jǐn)?shù)預(yù)測(cè)部分直接使用得到的預(yù)測(cè)模型對(duì)失真圖像進(jìn)行質(zhì)量預(yù)測(cè)。

1.1 多階導(dǎo)數(shù)信息

圖像的多階導(dǎo)數(shù)可以表示圖像的不同結(jié)構(gòu)[29]。其中，第1階導(dǎo)數(shù)表示圖像的主要結(jié)構(gòu)，比如圖像梯度和邊緣變化明顯的地方；圖像的高階(2階，3階等)導(dǎo)數(shù)可以抓取到圖像的結(jié)構(gòu)細(xì)節(jié)，突出圖像的紋理和細(xì)節(jié)信息丟失。因此，本文利用圖像的多階導(dǎo)數(shù)表征圖像的結(jié)構(gòu)。給定一幅圖像I(x,y)，它的1階導(dǎo)數(shù)信息定義為[25]

(1)

(2)

(3)

進(jìn)一步，圖像的第n階導(dǎo)數(shù)信息計(jì)算為

(4)

(5)

(6)

圖1 本文方法的框架圖Fig.1 Flow chart of this paper

1.2 局部二值模式

局部二值模式被廣泛應(yīng)用于圖像的紋理分析和圖像質(zhì)量評(píng)價(jià)，是一種很好的結(jié)構(gòu)和紋理分析技術(shù)手段[30-32]。本文采用旋轉(zhuǎn)不變的統(tǒng)一局部二值模式在圖像多階導(dǎo)數(shù)信息基礎(chǔ)上抓取圖像的結(jié)構(gòu)特征。傳統(tǒng)的局部二值模式計(jì)算中心像素點(diǎn)Pc與周圍像素點(diǎn)Pi的大小關(guān)系，并采用科學(xué)的計(jì)算方法計(jì)算中心像素的模式[33]得

(7)

(8)

(7)式中：P是周圍像素的數(shù)量；R是周圍像素的半徑。旋轉(zhuǎn)不變的統(tǒng)一局部二值模式具有更好的提取結(jié)構(gòu)信息的能力。其定義為[31]

(9)

(9)式中：上標(biāo)riu2表示不變的統(tǒng)一模式；當(dāng)u值小于2，u的統(tǒng)一計(jì)算方式為

u(LBPP,R)=‖s(PP-1-Pc)-s(P0-Pc)‖+

(10)

這樣，經(jīng)過(guò)局部二值模式計(jì)算，圖像的每個(gè)像素就歸為一種模式(一共有P+2種模式)。最后，統(tǒng)計(jì)每種模式出現(xiàn)的頻率，得到P+2個(gè)概率作為圖像的質(zhì)量特征，用以表示圖像的結(jié)構(gòu)信息。

本文計(jì)算1～3階導(dǎo)數(shù)信息，R取值為1，P取值為8。最終，一幅圖像提取30個(gè)質(zhì)量特征。

圖2 圖像的多階導(dǎo)數(shù)信息Fig.2 Image sample and its derivative magnitude maps of different orders

1.3 模型訓(xùn)練和質(zhì)量預(yù)測(cè)

提取上述特征后，本文使用隨機(jī)森林回歸方法訓(xùn)練質(zhì)量預(yù)測(cè)模型。假設(shè)xi和yi分別是第i個(gè)圖像的特征向量和MOS值，利用隨機(jī)森林對(duì)所有的訓(xùn)練數(shù)據(jù)進(jìn)行回歸分析。隨機(jī)森林的主要目的是尋找圖像特征之間的方程f(xi)，使得f(xi)與MOS值之間的最大差值小于一個(gè)特定的極小值，從而訓(xùn)練出質(zhì)量預(yù)測(cè)模型。隨后，利用訓(xùn)練好的質(zhì)量預(yù)測(cè)模型預(yù)測(cè)失真圖像得到質(zhì)量分?jǐn)?shù)。假設(shè)失真圖像的特征向量為xi，則f(xi)即為待測(cè)圖像的質(zhì)量分?jǐn)?shù)。

2 實(shí)驗(yàn)結(jié)果和分析

2.1 實(shí)驗(yàn)設(shè)置

本文中，利用迄今為止最大的超分辨率重構(gòu)圖像數(shù)據(jù)庫(kù)(SR reconstructed image database, SRID)[27]來(lái)測(cè)試提出方法的性能。SRID數(shù)據(jù)庫(kù)包含1 620幅超分辨率重構(gòu)圖像。首先，對(duì)30幅原始圖像進(jìn)行6種不同的下采樣和模糊組合處理，得到180幅低分辨率圖像。隨后，利用9種圖像超分辨率重構(gòu)算法對(duì)這180幅低分辨率圖像進(jìn)行重構(gòu)，得到1 620幅超分辨率重構(gòu)圖像。最后，采用多刺激方法對(duì)所有圖像進(jìn)行主觀測(cè)試，進(jìn)而得到每幅圖像的MOS值。

本文采用4類常用的性能指標(biāo)來(lái)評(píng)價(jià)所提方法的性能：斯皮爾曼相關(guān)系數(shù)(spearman’s rank ordered correlation coefficient，SRCC)，肯德?tīng)柕燃?jí)相關(guān)系數(shù)(kendall rank order correlation coefficient，KRCC)，皮爾森線性相關(guān)系數(shù)(pearson linear correlation coefficient，PLCC)和均方根誤差(root mean squared error, RMSE)。SRCC和KRCC衡量方法預(yù)測(cè)的單調(diào)性；PLCC和RMSE描述算法評(píng)價(jià)值與MOS值之間的相關(guān)性，即衡量方法預(yù)測(cè)的準(zhǔn)確性。PLCC，SRCC，KRCC越大，RMSE越小表示算法性能越好。為了計(jì)算出上述性能指標(biāo)，單調(diào)邏輯擬合函數(shù)被用來(lái)實(shí)現(xiàn)主觀分?jǐn)?shù)和客觀分?jǐn)?shù)之間的映射為

(11)

(11)式中：y代表MOS值；f(y)代表擬合后的分?jǐn)?shù)；ai{i=1,2,3,4,5}是擬合回歸參數(shù)。

1)皮爾森線性相關(guān)系數(shù)

(12)

2)斯皮爾曼相關(guān)系數(shù)

(13)

(13)式中：rsi和rxi分別表示si和xi在各自數(shù)據(jù)序列中的排序位置。

3)肯德?tīng)柕燃?jí)相關(guān)系數(shù)

(14)

(14)式中：Nc表示數(shù)據(jù)序列中序號(hào)對(duì)一致的個(gè)數(shù)；Nd則是序號(hào)對(duì)不一致的個(gè)數(shù)。

4)均方根誤差

(15)

(15)式中：si是MOS值；fi是非線性擬合后的客觀分?jǐn)?shù)值的均值。

2.2 性能比較

本節(jié)將本文所提算法與基于離散小波變換域的通用無(wú)參考質(zhì)量評(píng)價(jià)算法(blind image quality index, BIQI)[33]、基于失真識(shí)別的圖像真實(shí)性和完整性評(píng)估(distortion identification-based image verity and integrity evaluation, DIIVINE)[34],BRISQUE[19]、基于離散余弦變換的算法(blind image integrity notator using DCT statistic, BLIINDS-II)[35]，NIQE[21]，DESIQUE[20]， NFERM[22]7種主流通用無(wú)參考評(píng)價(jià)方法；FISBLIM(five-step blind metric)[36]，SISBLIM(six-step blind metric)[37]，GWH-GLBP(gradient-weight histogram of local binary pattern calculated on the gradient map)[30]3種主流多失真無(wú)參考評(píng)價(jià)方法和1個(gè)超分辨率重構(gòu)評(píng)價(jià)方法(high-order local pattern descriptor, HOLPD[29])進(jìn)行比較。所有代碼均是從對(duì)比文獻(xiàn)作者主頁(yè)下載，并使用默認(rèn)參數(shù)。由于本文方法和對(duì)比的方法皆是基于訓(xùn)練的，所以本文將圖像庫(kù)分作2部分，一部分(80%的圖像)作為訓(xùn)練集，另一部分(20%的圖像)作為測(cè)試集，2部分沒(méi)有交集。為保證實(shí)驗(yàn)結(jié)果的準(zhǔn)確性，重復(fù)試驗(yàn)1 000次，取結(jié)果中值作為方法最終的性能。表1給出了實(shí)驗(yàn)結(jié)果，數(shù)據(jù)被加下劃線的表示性能最好的方法。表1中“G” 表示通用無(wú)參考評(píng)價(jià)方法；“M”表示多失真無(wú)參考評(píng)價(jià)方法；“SR”表示超分辨率重構(gòu)評(píng)價(jià)方法。

表1 本文方法和對(duì)比的方法在SRID數(shù)據(jù)庫(kù)中的性能

從表1可以看出：①本文所提方法性能最優(yōu)，優(yōu)于所有通用無(wú)參考評(píng)價(jià)方法、多失真無(wú)參考評(píng)價(jià)方法和超分辨率重構(gòu)評(píng)價(jià)方法；②通用無(wú)參考評(píng)價(jià)方法只能取得一般的性能表現(xiàn)；③多失真無(wú)參考評(píng)價(jià)方法性能與通用方法相似；④HOLPD的性能排第2，低于本文所提方法。綜上，無(wú)論是預(yù)測(cè)準(zhǔn)確性還是預(yù)測(cè)單調(diào)性，本文方法都優(yōu)于其他方法。該結(jié)果證明了本文所提方法的優(yōu)越性。

2.3 高階導(dǎo)數(shù)對(duì)性能的影響

本文提出的方法分3步提取了感知質(zhì)量特征，分別在1階、2階和3階導(dǎo)數(shù)信息上運(yùn)用LBP提取特征。本文1.1節(jié)從理論方面介紹了采用多階導(dǎo)數(shù)的合理性。在本節(jié)中將進(jìn)行實(shí)驗(yàn)定量分析本文方法每個(gè)步驟的實(shí)驗(yàn)結(jié)果。為驗(yàn)證高階導(dǎo)數(shù)信息對(duì)提升本文算法性能的有效性，分別使用從1階圖像導(dǎo)數(shù)信息中提取的質(zhì)量感知特征和從1階、2階導(dǎo)數(shù)信息中提取的特征進(jìn)行模型訓(xùn)練和質(zhì)量預(yù)測(cè)，再對(duì)比考慮3階導(dǎo)數(shù)信息即本文方法以及4階導(dǎo)數(shù)信息的實(shí)驗(yàn)結(jié)果，如表2。

從表2的比較結(jié)果可以看出，多階導(dǎo)數(shù)信息可以獲取更多有效的質(zhì)量感知特征，顯著地提升算法的性能。這表明通過(guò)高階導(dǎo)數(shù)信息提取圖像的紋理、細(xì)節(jié)信息的設(shè)想是有效且合理的。同時(shí)對(duì)比3階和4階信息的實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，超過(guò)3階的導(dǎo)數(shù)信息不再有效。這也證明本文方法提取到3階導(dǎo)數(shù)信息的合理性。

表2 多階導(dǎo)數(shù)信息對(duì)算法性能的影響

2.4 訓(xùn)練集大小對(duì)性能的影響

對(duì)于基于訓(xùn)練的方法來(lái)說(shuō)，訓(xùn)練樣本量對(duì)實(shí)驗(yàn)結(jié)果起著很大的作用。為此，本節(jié)討論訓(xùn)練量對(duì)性能的影響。具體地，調(diào)整訓(xùn)練測(cè)試比例，分別對(duì)70%訓(xùn)練-30%測(cè)試，60%訓(xùn)練-40%測(cè)試，50%訓(xùn)練-50%測(cè)試，40%訓(xùn)練-60%測(cè)試和30%訓(xùn)練-70%測(cè)試5種比例進(jìn)行實(shí)驗(yàn)。表3給出了實(shí)驗(yàn)結(jié)果。

表3 本文所提方法在不同比例的訓(xùn)練-測(cè)試過(guò)程中的性能

從表3可以看出，隨著訓(xùn)練量的減少，本文所提算法的性能有所下降。但是整體性能依然很好，當(dāng)訓(xùn)練數(shù)據(jù)量只有30%時(shí)，其SRCC值達(dá)到了0.868，仍然好過(guò)大多數(shù)現(xiàn)有的圖像質(zhì)量評(píng)價(jià)方法。該結(jié)果表明，本文方法不依賴訓(xùn)練數(shù)據(jù)量，有利于解決現(xiàn)實(shí)應(yīng)用中小樣本問(wèn)題。

2.5 質(zhì)量預(yù)測(cè)實(shí)例

為了直觀地理解本文所提方法對(duì)超分辨率重構(gòu)圖像的預(yù)測(cè)效果，本節(jié)給出了一組預(yù)測(cè)實(shí)例。圖3顯示了4幅不同失真程度的超分辨率圖像，它們的MOS值逐漸降低。此處利用本文所提方法和上述幾種對(duì)比方法分別預(yù)測(cè)這4張圖像的質(zhì)量，預(yù)測(cè)結(jié)果見(jiàn)表4。

從表4可以看出，本文提出的方法能準(zhǔn)確預(yù)測(cè)圖3中圖像的質(zhì)量，所預(yù)測(cè)的質(zhì)量分?jǐn)?shù)具有和MOS值一致的單調(diào)性，其他方法都不能準(zhǔn)確預(yù)測(cè)出圖3中圖像的質(zhì)量。該結(jié)果進(jìn)一步表明本文所提方法的有效性和實(shí)用性。

圖3 超分辨率重構(gòu)圖像實(shí)例Fig.3 Example of super-resolution reconstructed image

表4 本文方法和對(duì)比方法的質(zhì)量預(yù)測(cè)結(jié)果

2.6 算法時(shí)間復(fù)雜度比較

為了評(píng)估算法的時(shí)間復(fù)雜性，我們?cè)赟RID數(shù)據(jù)庫(kù)中隨機(jī)挑選100張尺寸為320×480的圖片；分別用本文算法和11種比較算法預(yù)測(cè)這100張圖片的質(zhì)量，記錄每種算法的運(yùn)行總時(shí)間；最后計(jì)算平均時(shí)間作為預(yù)測(cè)每張圖片所需的時(shí)間。所有實(shí)驗(yàn)在相同的實(shí)驗(yàn)環(huán)境(電腦配備i5的CPU，主頻為3.3 GHz，12 GB運(yùn)行內(nèi)存，64位Windows7系統(tǒng)，Matlab2015a)下進(jìn)行。實(shí)驗(yàn)結(jié)果如表5。

表5 本文方法和對(duì)比方法的時(shí)間復(fù)雜度比較

由表5，本文所提出方法預(yù)測(cè)一張圖片所消耗的時(shí)間較為合理，雖然BRISQUE，NIQE，DESIQUE，GWH-GLBP算法的運(yùn)行時(shí)間都比本文方法略低，但他們的預(yù)測(cè)性能卻遠(yuǎn)遠(yuǎn)低于本文算法。所以結(jié)合預(yù)測(cè)性能和時(shí)間復(fù)雜度兩方面考慮，本文提出的算法是最理想的。

3 結(jié) 論

本文針對(duì)超分辨率重構(gòu)圖像的失真特性，提出了一種基于圖像結(jié)構(gòu)信息的超分辨率重構(gòu)圖像無(wú)參考質(zhì)量評(píng)價(jià)方法。該方法利用圖像的多階導(dǎo)數(shù)信息表征圖像的結(jié)構(gòu)，進(jìn)而在空間域提取相關(guān)結(jié)構(gòu)特征。最后，利用隨機(jī)森林訓(xùn)練質(zhì)量預(yù)測(cè)模型來(lái)預(yù)測(cè)待測(cè)圖像的質(zhì)量。通過(guò)廣泛的實(shí)驗(yàn)表明，本文提出的超分辨率重構(gòu)圖像質(zhì)量評(píng)價(jià)方法優(yōu)于現(xiàn)有的通用無(wú)參考評(píng)價(jià)方法，多失真無(wú)參考評(píng)價(jià)方法和超分辨率重構(gòu)評(píng)價(jià)方法。