侯春萍 李浩 岳廣輝
摘? ?要:人類視覺系統(tǒng)首先粗略地感知全局區(qū)域,然后精細地感知局部區(qū)域的圖像質量.針對色調映射圖像的質量評價問題,考慮人眼視覺機制的特性,提出一種融合局部和全局特征的無參考圖像質量評價算法.首先從全局特征出發(fā),考慮了顏色矩、全局熵和欠曝光/過曝光條件下的明暗分布特性,得到相應的全局特征;然后結合局部對比度、局部熵和分塊小波能量,得到相應的局部特征;最后,融合全局特征和局部特征,使用支持向量回歸進行特征訓練,建立圖像特征空間與感觀質量分數(shù)的關系,得到圖像質量評價模型.在公開的ESPL-LIVE HDR數(shù)據(jù)庫上驗證,實驗結果表明,提出的方法與主觀評分有較高的一致性,并且性能優(yōu)于目前較優(yōu)秀的無參考圖像質量評價算法.
關鍵詞:圖像質量評價;人類視覺系統(tǒng);色調映射;無參考
中圖分類號:TP391? ? 文獻標志碼:A
Quality Assessment of Tone-mapped Images
Using Local and Global Features
HOU Chunping,LI Hao,YUE Guanghui?覮
(School of Electrical and Information Engineering,Tianjin University,Tianjin? 300072,China)
Abstract:Human Visual System(HVS) first roughly perceives global areas,then centers on the detailed local areas for the perception of image quality. In this paper,a novel blind Image Quality Assessment(IQA) algorithm was proposed for tone-mapped images by combining local and global features. First,the global features were extracted based on color moments,global entropy and bright/dark pixels' distribution under overexposure/underexposure conditions. Then,local contrast,local entropy and wavelet energy based on blocks were utilized to extract local features. Finally,global features were combined with local features to constitute a final feature vector. And all these feature vectors mentioned above were trained using Support Vector Regression(SVR) to generate a model,which bridges the feature space with quality space. Extensive experiments on a public ESPL-LIVE HDR database have demonstrated that the proposed method has a high consistency with subjective evaluation and outperforms state-of-the-art no-reference IQA metrics.
Key words:Image Quality Assessment(IQA);Human Visual System(HVS);tone mapping;No-reference(NR)
圖像質量評價是圖像處理領域的研究熱點[1],可以用于監(jiān)控圖像質量、評估圖像處理算法以及優(yōu)化圖像傳輸系統(tǒng)[2]. 近年來,圖像質量評價發(fā)展迅速,國內(nèi)外學者提出了眾多性能優(yōu)異的評價算法[3-6],現(xiàn)有的圖像評價算法主要分為全參考、半?yún)⒖己蜔o參考質量評價算法.全參考和半?yún)⒖荚u價算法依賴于參考圖像的信息,具有有限的應用場景,而無參考質量評價算法僅需要失真圖像便可完成圖像的質量評估工作,具備更寬泛的應用范圍.開發(fā)有效的無參考圖像質量評價算法已逐漸成為目前研究的重點.無參考算法主要分為具體失真[6,7-11]和通用失真[4,12-15]類型的算法,這些算法主要針對常見的失真類型(如模糊、壓縮、噪聲等). 而色調映射圖像主要包含異常曝光、顏色失真.因此,開發(fā)適用于色調映射的圖像質量評價算法越來越引起研究者的注意.色調映射是通過色調映射算子將高動態(tài)范圍(HDR,High Dynamic Range)的圖像轉化為低動態(tài)范圍(LDR,Low Dynamic Range)圖像以適應顯示設備的技術[16],在這個轉化中不可避免會造成圖像質量降低,因此評價色調映射圖像的質量具有重要意義. Gu[17]等認為高質量色調映射圖像包含更多細節(jié),通過亮化或暗化原始色調映射圖像的亮度,提取了9個全局熵特征,應用支持向量機來建立特征與感觀分數(shù)之間的關系.Yue[18]等通過局部二值模式和灰度共生矩陣提取色調映射圖像的局部紋理和結構特征,通過支持向量回歸將特征向量映射為質量分數(shù). Jiang[19]等定義了色調映射圖像的最亮區(qū)和最暗區(qū),并結合自然圖像統(tǒng)計特征和顏色信息進行特征提取,最后使用隨機森林回歸得到圖像的質量分數(shù). Jiang[20]等考慮了視覺信息、局部結構和自然性,即通過局部稀疏表示和全局統(tǒng)計分析提取特征,最后用極限學習機實現(xiàn)從特征空間到質量分數(shù)的映射. 綜上所述,色調映射圖像質量評價仍處于逐步發(fā)展完善的階段. 然而,現(xiàn)有算法仍舊存在兩方面的不足:一方面算法性能仍然存在很大的提升空間,另一方面很少結合全局特征和局部特征進行分析,Jiang[20]等雖然綜合了全局和局部特征,但是沒有充分考慮色調映射圖像自身的特性,比如在欠曝光/過曝光條件下的明暗分布特性.因此,提出一種結合局部和全局特征并且符合色調映射圖像自身特性的質量評價方案尤為必要.
針對色調映射圖像質量評價問題,本文提出了一種局部和全局特征融合的無參考圖像質量評價方法.本方法不需要參考圖像信息,在公開數(shù)據(jù)集上性能優(yōu)于現(xiàn)有的無參考評價算法.
1? ?無參考圖像質量評價算法
本文提出的無參考色調映射圖像質量評價算法主要分為三個步驟:
1)全局和局部特征提取;
2)模型建立;
3)質量預測.
算法流程如圖1所示.
選取ESPL-LIVE HDR數(shù)據(jù)庫作為數(shù)據(jù)集,將圖片分為訓練集和測試集.首先在訓練集上進行特征提取,將提取的特征和訓練集上的主觀質量分數(shù)(Mean Opinion Value,MOS)通過機器學習方法進行訓練,得到一個質量評價模型;然后在劃分的測試集上同樣進行特征提取,并將其輸入訓練好的模型中進行預測,即可得到相應的質量分數(shù).
其中,算法的核心是特征提取,本文從色調映射圖像的失真特點出發(fā),考慮了顏色、明暗分布和信息量等特征,結合人眼觀察物體從全局到局部的特性,分別提取圖像局部特征、全局特征,用于評估圖像質量.
2? ?特征提取
視覺生理學研究[21]表明,人眼視覺系統(tǒng)(Human Visual System,HVS)在觀察物體時,首先從整體感知圖像的亮度、顏色等全局信息,繼而深入局部區(qū)域觀察圖片的細節(jié)信息.由于此特性反映了人眼的普遍規(guī)律,因此廣泛運用于質量評價過程并且取得了較好的效果[7,8,20,22]. 本文模擬HVS的機理,從全局和局部兩個層次提取圖片特征.
色調映射算子在將HDR圖像轉化為LDR圖像過程中,不可避免地會造成顏色、亮度和信息量等信息的丟失. 圖2是從ESPL-LIVE HDR數(shù)據(jù)庫中選取的三張具有代表性的色調映射圖片.三張圖片的MOS值都比較小,分別為16.94,18.31,31.94. 其中,MOS值越小,表明人眼主觀判斷該圖像的質量越差.
通過對這三幅圖片觀察,讀者能夠發(fā)現(xiàn)圖2(a)和(b)分別處于一種類欠曝光和過曝光的狀態(tài),圖像的細節(jié)丟失嚴重;圖片(c)盡管保留了基本圖像內(nèi)容,然而呈現(xiàn)一種顏色失調的外觀.這三幅圖像反映了由色調映射算子處理后生成圖像的基本失真特性.
針對上述色調映射圖像的特性,本算法首先提取全局特征,采用顏色矩來表征顏色特征,定義欠曝光/過曝光的明暗分布來表征非正常的曝光,并用全局熵來量化色調映射圖像的信息.然后,進行局部特征的分析,定義局部對比度來度量人眼對色調映射圖像的感觀變化,計算基于塊的局部熵來反映圖像的細節(jié)信息,并結合分塊小波能量來表示圖像的輪廓和細節(jié)信息.最后,融合全局特征和局部特征,得到最終的特征向量,以反映色調映射圖像整體和細節(jié)的特性.
2.1? ?全局特征分析
2.1.1? ?顏色矩
考慮到色調映射算子非線性映射易造成色彩信息丟失的特點,本文首先提取圖像的顏色信息用于質量評價.顏色矩是一種有效的顏色量化手段,本文采用Stricker和Orengo[23]提出的顏色矩來表示圖像的顏色特征.具體而言,在RGB顏色空間,首先分解得到每個顏色通道,然后在每個顏色通道分別計算一階矩均值、二階矩標準差、三階矩偏度,計算公式如下:
式中:pij 表示第i個顏色通道的第j個像素;N表示顏色通道內(nèi)總像素數(shù),式(1)(2)(3)分別用于求均值、標準差和偏度. 通過對三個顏色通道處理,總計得到9個顏色特征,記作f1.
2.1.2? ?明暗分布
從圖2(a)和(b)可以看出,色調映射圖像的一些區(qū)域呈現(xiàn)全黑或發(fā)白的現(xiàn)象,類似于圖像欠曝光或者過曝光,大面積的全黑或者發(fā)白意味著大多數(shù)像素比較集中分布于低像素值或者高像素值區(qū)域,這是因為HDR圖像在通過色調映射算子轉化為LDR圖像時,圖像動態(tài)范圍減少造成亮度分布不均勻,從而引起質量退化[24]. 圖3(a)是圖2(a)欠曝光圖像的亮度分布,像素數(shù)大多集中在像素值較小的區(qū)域,使得整張圖片的亮度分布失衡,表現(xiàn)為大部分暗區(qū).相反,圖3(b)是圖2(b)過曝光圖像的亮度分布,像素數(shù)多集中分布于像素值較大的區(qū)域,整張圖片呈現(xiàn)大面積亮區(qū).
針對色調映射圖像這一特征,本文根據(jù)經(jīng)驗將像素范圍[0 255]分為適度曝光和非正常曝光區(qū)域,非正常曝光又可細分為過曝光和欠曝光.三個區(qū)域的分割簡單遵從平均分布規(guī)律,欠曝光對應暗區(qū),過曝光對應亮區(qū),分別定義如下:
1)暗區(qū):像素值分布于[0 85]的圖像區(qū)域;
2)適度曝光區(qū):像素值分布于[86 169]的圖像
區(qū)域;
3)亮區(qū):像素值分布于[170 255]的圖像區(qū)域.
定義亮區(qū)(暗區(qū))像素數(shù)占總像素數(shù)的比例為亮區(qū)比(暗區(qū)比)用于反應圖像亮(暗)程度,分別記作 Ω和?椎. 計算公式如下:
在灰度圖上分別計算Ω和?椎,將得到的明暗分布特征記作f2.
2.1.3? ?全局熵
如圖3所示,色調映射圖像由于非正常曝光,像素值會趨近暗區(qū)或者亮區(qū),而暗區(qū)和亮區(qū)之間的區(qū)域則分布較少,使得物體辨識度降低,因此圖像的細節(jié)丟失嚴重.信息熵反映信號的復雜程度,本文采用信息熵來量化色調映射圖像的信息量:
式中:H(D)表示全局熵;Pl(D)表示第l個灰度級上的概率密度,對8-bits圖而言,l的最大值為255.為方便讀者,將全局熵特征記作f3.
綜上所述,記全局特征為fG,則fG = [f1,f2,f3].
2.2? ?局部特征分析
經(jīng)過全局特征分析,圖像整體反映失真的特征向量通過fG表示. 進一步進行局部特征分析,從圖像細節(jié)中提取質量敏感的特征.
2.2.1? ?局部對比度
色調映射圖像由于動態(tài)范圍減少,在顏色或者亮度上呈現(xiàn)明顯的差異.對比度反映了圖像顏色或者亮度在視覺感知中的差異,本文采用對比度來量化人眼對色調映射圖像的感觀變化.不同圖像區(qū)域有不同的對比度,定義基于塊的局部對比度如下:
式中:設置塊尺寸為16像素×16像素;P,Q分別為圖像分割后縱向塊數(shù)和橫向塊數(shù);Imax,B和Imin,B分別表示圖像塊中最大像素值和最小像素值;設置C1 =C2 = 1.
在R、G、B三個顏色通道內(nèi)分別計算LC的值,得到3維局部對比度特征,記為f4.
2.2.2? ?局部熵
全局熵在一定程度上量化了色調映射圖像的信息,但是不能反映圖像中的細節(jié).因此,提出基于塊的局部熵,分塊方法與局部對比度相同,分割后一個大小為M×N的圖像塊中每個灰度值的概率為ρij:
式中:f(i,j)表示圖像 (i,j)處的灰度,將概率ρij 代入公式(6)即可得到一個圖像塊的局部熵HL. 對一張圖所有塊的HL計算平均值和標準差,得到局部熵特征,記作f5.
2.2.3? ?分塊小波能量
色調映射圖像的明暗分布和色彩失真會使得圖像輪廓和細節(jié)信息發(fā)生變化.如圖2(a)(b)所示,類似欠曝光和過曝光的條件下,圖像的整體輪廓難以分辨,圖2(c)的顏色失真則使得圖像的局部細節(jié)發(fā)生改變.小波變換是一種時頻分析方法,廣泛應用于圖像處理領域[25-26],相比于傅里葉變換,小波可以進行時頻域分析、多分辨率分析,可以從信號中提取有效信息.通過小波變換可以將圖像分解為低頻和高頻成分,其中,低頻成分包含了圖像的主要信息,而高頻成分反映了圖像的細節(jié)信息,可以在不同的頻帶上計算小波能量[27]從而表示圖像輪廓和細節(jié)信息的改變. 圖4表示二維離散小波變換(單層分解)的例子,(a)表示原始圖像,(b)表示分解圖像.
對比圖4(a)(b)可以發(fā)現(xiàn),(b)圖的左上角是小波分解的低頻區(qū)域,因而保留了(a)圖的主要輪廓信息,而(b)的其他位置則是小波分解的高頻區(qū)域,從圖中可以看出一些邊緣點、線等圖像細節(jié). 由于色調映射圖像的明暗分布和顏色失調會使得圖像的輪廓和細節(jié)發(fā)生變化,因此可以通過小波變換提取圖像的低頻信息以表征輪廓,提取圖像的高頻信息以反映細節(jié). 具體的二維離散小波變換見框圖5.
圖5表示二維離散小波變換. A0代表輸入的色調映射圖像,對應圖4(a). A1,H1,V1和D1分別表示A0的近似分解系數(shù)、水平分解系數(shù)、垂直分解系數(shù)以及對角分解系數(shù),對應圖4(b)的左上、右上、左下和右下4個位置. LF、HF分別表示低通濾波器和高通濾波器.
具體地,A0經(jīng)過行低通濾波和列低通濾波處理得到近似分解系數(shù)A1,A1很大程度上保留了原始圖像的低頻信息.如圖4(b)左上角所示,能夠清晰看出圖像的輪廓.而H1,V1,D1這三個方向上的分解系數(shù),在一定程度上包含了圖像的高頻分量.如圖4(b)右上、左下和右下所示,能夠看出圖像的一些細節(jié)信息.因此,A1,H1,V1和D1包含了圖像的低頻和高頻成分,能夠反映色調映射圖像的輪廓和細節(jié)信息.
為了進一步表示圖像的局部信息,在DWT域將圖像分成大小為M*N塊,用C統(tǒng)一表示近似、水平、垂直和對角方向上的小波分解系數(shù),計算圖像塊的分解系數(shù),并在系數(shù)上進行能量運算.
小波能量可以表示為:
式中:E為一個圖像塊的小波能量,包含了近似、水平、垂直和對角方向的能量,對一張圖所有圖像塊的小波能量取均值和標準差,記該特征為f6.
綜上所述,將局部特征表示為fL,則fL = [ f4,f5,f6]. 經(jīng)過全局特征和局部特征提取,記總的特征向量為f,則f = [fL,fG].
3? ?模型建立和質量預測
獲取多維圖像特征后,如何利用這些特征得到圖像的質量是無參考圖像質量評價算法下一步的任務.現(xiàn)階段,機器學習技術被眾多學者所采納,其中較為廣泛應用的是SVR[4,18]. 為保證與對比算法的公平性,本文亦采用SVR進行評價模型的建立和質量分數(shù)的預測.具體而言,首先利用SVR對高維的訓練集特征f進行訓練,從而得到一個質量評價模型.標準形式的SVR算法可以表示如下[28]:
式中:υ和 ■是松弛變量;b為偏置;xi是第i張圖像的25維特征向量;yi是與之相關的主觀質量分數(shù);z是訓練集樣本數(shù). ?準(xi)T?準(xi)表示核函數(shù).為方便讀者觀察,本文進一步給出25維特征及描述,見表1.
結合圖1和表1,本文提取了25維訓練集特征,并將相應的MOS值一起通過SVR訓練,得到一個評價模型.給定一張測試集圖片,將提取的測試集特征向量送入模型,即可預測其質量分數(shù).
4? ?實驗結果和分析
4.1? ?數(shù)據(jù)庫描述
本文選取ESPL-LIVE HDR Database[29]作為數(shù)據(jù)集來驗證提出算法的有效性.ESPL-LIVE HDR Database是目前國際上公開的最大的色調映射圖像數(shù)據(jù)集,因此可以作為檢驗色調映射無參考圖像質量評價算法的理想數(shù)據(jù)集.該數(shù)據(jù)庫是由德克薩斯大學奧斯汀分校的圖像視頻工程實驗室建立的,總計1 811張LDR圖像,處理的方法主要包括色調映射算子,多曝光融合算法以及軟件后期處理. 每張圖片的MOS值是通過5 000多名被試在眾包平臺打分得到的.數(shù)據(jù)庫不僅提供了每張圖片的MOS值,還提供了相關的標準差分數(shù).值得注意的是,ESPL-LIVE HDR數(shù)據(jù)庫沒有公開HDR圖像,因此,將本文算法與一些無參考的評價算法比較,并不涉及全參考方法.
4.2? ?性能評估準則
為了客觀檢驗圖像質量評價算法的性能,采用視頻質量專家組建議的四種性能評估準則,分別是皮爾森線性相關系數(shù)(Pearson Linear Correlation Coefficient,PLCC)、斯皮爾曼秩相關系數(shù)(Spearman Rank-order Correlation Coefficient,SRCC)、肯德爾秩相關系數(shù)(Kendall′s Rank Correlation Coefficient,KRCC)和均方根誤差(Root Mean-Squared Error,RMSE).
PLCC反映了預測的精度,可以通過下式計算:
式中:si,pi分別表示第i張圖片的主觀分數(shù)和預測分數(shù)在主觀分數(shù)序列和預測分數(shù)序列中的排序位置.
KRCC同樣用于衡量預測的單調性,可表示為:
式中:Nc和Nd分別代表數(shù)據(jù)庫中一致對和非一致對的數(shù)量.
RMSE反映了預測的一致性,通過下式計算:
為了減少預測分數(shù)非線性的影響,在計算PLCC和RMSE之前使用一個五參數(shù)邏輯回歸
函數(shù):
(15)
式中:q是原始IQA評估指標的值;Qp是回歸后得到的質量分數(shù);β1,β2,β3,β4,β5是該邏輯回歸函數(shù)的參數(shù).
4.3? ?實驗細節(jié)
在正式實驗開始之前,需要對本算法的參數(shù)設置以及實驗設置進行說明.
1)局部特征提取中塊尺寸選取
特征提取是算法的核心步驟,好的特征能夠在很大程度上反映圖像的屬性,局部特征計算時涉及到塊尺寸選取,體現(xiàn)在局部對比度、局部熵和分塊小波能量的提取過程中. 本文通過實驗討論,設置塊分割尺寸為16像素×16像素(詳細討論見4.4).
2)訓練集/測試集劃分
基于學習的方法中,測試集和數(shù)據(jù)集的比例直接影響最終的實驗結果. 為保證比較的公平性,本文遵循前人工作,將整個數(shù)據(jù)庫80%圖片作為訓練集,剩余20%作為測試集.
4.4? ?性能比較
為了驗證算法的性能,將提出的算法與目前性能優(yōu)異的無參考質量評價算法進行比較,這些算法可以分為兩類:一是針對自然圖像質量評價的算法,例如BRISQUE[4],ILNIQE[12],SSEQ[13],NFERM[14],NRSL[15],NIQE[30]和BSD[31];二是針對色調映射圖像的評價算法,包括Yue′s method[18],BLIQUE-TMI[20]和BTMQI[32]. 為了與提出的算法公平對比,上述算法中基于學習的算法均將數(shù)據(jù)庫劃分為80%訓練集和20%測試集.為避免實驗結果的隨機性、增強結果的可信度,將訓練集、測試集隨機劃分1 000次,并將
1 000次測試結果的中值作為本文最終的實驗結果.不同IQA算法性能比較如表2所示.粗體表示每種評價準則下性能最優(yōu)的算法.由于BLIQUE-TMI沒有公布源碼,因此用“—”表示表2中缺失的值.
從表2可以得出以下結論:
1)本文提出的算法性能勝過各種無參考圖像質量評價算法,其預測分數(shù)與人眼的主觀評估有較高的一致性,具有較高的精確度和單調性;
2)BTMQI,Yue′s method,BLIQUE-TMI以及本文提出的算法普遍優(yōu)于其他自然圖像的評價算法性能.究其原因,NIQE、ILNIQE等算法采用自然圖像特征,適用于分析常見的失真類型,比如高斯白噪聲、模糊失真和壓縮失真等,這些失真與色調映射圖像自身的特性有很大不同,因此性能并不好.而BTMQI、Yue's method和BLIQUE-TMI則是考慮了色調映射圖像在結構、紋理和色彩等方面的信息,更符合色調映射圖像自身的特性,因而性能較之自然圖像評價算法有很大提升;
3)本文提出的算法性能優(yōu)于BTMQI、Yue′s method和BLIQUE-TMI這些同樣針對色調映射的IQA算法. 究其原因,提出的算法結合了圖像的全局特征和局部特征,并且考慮了色調映射圖像非正常曝光條件下明暗分布的差異.正如圖1(a)(b)所示的欠曝光和過曝光圖像,色調映射算子將16比特或者32比特的HDR圖像轉化為適合在設備上顯示的8比特LDR圖像,這一過程會造成信息損失,其中一個突出的表現(xiàn)就是圖像明暗分布不均勻,嚴重影響了圖像質量.因此,提出的算法不僅符合人眼感知圖像的過程,而且進一步分析了色調映射圖像的特性,從而在性能上優(yōu)于其他算法.
基于訓練的算法在很大程度上會依賴訓練集的大小,本文進一步討論不同訓練集大小對提出算法性能的影響. 具體而言,訓練集劃分從20%開始,每次10%的比例增加直到80%,相應測試集比例互補的減少,迭代1 000次,取相應評估準則的中值.結果如表3所示.
從表3可以看出,隨著訓練圖片數(shù)據(jù)量的增加,相應的算法性能評估指標都有所提升(RMSE減?。c現(xiàn)有的基于學習的無參考評價算法[18,20]結論一致.結合表2和表3發(fā)現(xiàn),即使只采用了20%的比例作訓練集,性能依舊領先其他采用80%比例作訓練集的自然圖像評價算法.
塊尺寸的大小決定了局部信息的多少,在局部特征提取過程中,局部對比度、局部熵和分塊小波能量都與塊尺寸的選取有關.本文設置塊尺寸為8像素*8像素,16像素*16像素,32像素*32像素以及64像素*64像素,以分析塊尺寸對算法性能的影響.訓練集占數(shù)據(jù)集的80%,改變塊尺寸,并迭代1000次,對PLCC,SRCC,KRCC以及RMSE的結果取中值. 實驗結果如圖6所示.
從圖6可以看出,不同塊尺寸對四個評價準則的影響并不大,但是塊尺寸為16像素*16像素的效果略好于其它塊尺寸.因此,本文在局部特征提取階段設置塊尺寸為16像素*16像素.
5? ?結? ?論
考慮人眼視覺特性,針對色調映射圖像,提出了一種結合全局和局部特征的無參考圖像質量評價算法.全局特征方面,考慮了顏色矩、明暗分布和信息熵,從圖像整體提取特征;局部特征方面,考慮了局部對比度、局部熵和分塊小波能量,從圖像區(qū)域細節(jié)入手提取特征.利用SVR將融合了全局和局部特征的向量映射到質量分數(shù)上.相比于前人研究,更多結合了局部和全局特征分析色調映射圖像的特性,提取的特征對質量感知有很強的敏感性.實驗結果表明,提出的算法性能優(yōu)于目前優(yōu)秀的無參考自然圖像評價算法和無參考色調映射圖像評價算法,與人眼的主觀感知有著很高的一致性,可以應用于監(jiān)控圖像質量等領域.未來的研究中,重點在于色調映射視頻的質量研究,使得算法能夠評估視頻質量從而優(yōu)化視頻傳輸系統(tǒng).同時,對于明暗分布特征,本文采用簡單的動態(tài)范圍分割以評估圖像質量,初步驗證了該想法的有效性.今后會嘗試建立極端曝光情形下的圖像數(shù)據(jù)庫,根據(jù)圖像區(qū)域分割和曝光特點以期進一步提高算法性能.
參考文獻
[1]? ? 侯春萍,劉月,岳廣輝,等. 沃爾什哈達瑪變換域的無參考圖像質量評價[J]. 湖南大學學報(自然科學版),2017,44(8):137—144.
HOU C P,LIU Y,YUE G H,et al. No-reference image quality assessment on Walsh Hadamard transform domain[J]. Journal of Hunan University (Natural Sciences),2017,44(8):137—144. (In Chinese)
[2]? ? YUE G,HOU C,ZHOU T. Blind quality assessment of tone-mapped images considering colorfulness,naturalness,and structure [J]. IEEE Transactions on Industrial Electronics,2019,66(5):3784—3793.
[3]? ? WANG Z,BOVIK A C,SHEIKH H R,et al. Image quality assessment:from error visibility to structural similarity [J]. IEEE Transactions on Image Processing,2004,13(4):600—612.
[4]? ? MITTAL A,MOORTHY A K,BOVIK A C. No-reference image quality assessment in the spatial domain [J]. IEEE Transactions on Image Processing,2012,21(12):4695—4708.
[5]? ? YUE G,HOU C,GU K,et al. Analysis of structural characteristics for quality assessment of multiply distorted images[J]. IEEE Transactions on Multimedia, 2018, DOI: 10. 1109/TMM. 2018. 2807589.
[6]? ? YUE G,HOU C,GU K,et al.? No reference image blurriness assessment with local binary patterns [J]. Journal of Visual Communication and Image Representation,2017,49:382—391.
[7]? ? YUE G,HOU C,ZHOU T. Effective and efficient blind quality evaluator for contrast distorted images [J]. IEEE Transactions on Instrumentation and Measurement,2018,DOI:10.1109/TIM.2018. 2868555.
[8]? ? LU Q,ZHOU W,LI H. A no-reference image sharpness metric based on structural information using sparse representation [J]. Information Sciences,2016,369:334—346.
[9]? ? LI L,WU D,WU J,et al. Image sharpness assessment by sparse representation [J]. IEEE Transactions on Multimedia,2016,18(6):1085—1097.
[10]? LI L,XIA W,LIN W,et al. No-reference and robust image sharpness evaluation based on multiscale spatial and spectral features[J]. IEEE Transactions on Multimedia,2017,19(5):1030—1040.
[11]? LI L,ZHOU Y,LIN W,et al. No-reference quality assessment of deblocked images [J]. Neurocomputing,2016,177(C):572—584.
[12]? ZHANG L,ZHANG L,BOVIK A C. A feature-enriched completely blind image quality evaluator [J]. IEEE Transactions on Image Processing,2015,24(8):2579—2591.
[13]? LIU L,LIU B,HUANG H,et al. No-reference image quality assessment based on spatial and spectral entropies[J]. Signal Processing Image Communication,2014,29(8):856—863.
[14]? GU K,ZHAI G,YANG X,et al. Using free energy principle for blind image quality assessment[J]. IEEE Transactions on Multimedia,2014,17(1):50—63.
[15]? LI Q,LIN W,XU J,et al. Blind image quality assessment using statistical structural and luminance features [J]. IEEE Transactions on Multimedia,2016,18(12):2457—2469.
[16]? REINHARD E,WARD G,PATTANAIK S,et al. High dynamic range imaging:acquisition,display,and image-based lighting [M]. USA:Princeton University Press,2005.
[17]? GU K,ZHAI G,LIU M,et al. Details preservation inspired blind quality metric of tone mapping methods[C]// IEEE International Symposium on Circuits and Systems. IEEE,2014:518—521.
[18]? YUE G,HOU C,GU K,et al. Biologically inspired blind quality assessment of tone-mapped images [J]. IEEE Transactions on Industrial Electronics,2018,65(3):2525—2536.
[19]? JIANG G,SONG H,YU M,et al. Blind tone-mapped image quality assessment based on brightest/darkest regions,naturalness and aesthetics [J]. IEEE Access,2018,6:2231—2240.
[20]? JIANG Q,SHAO F,LIN W,et al. BLIQUE-TMI:Blind quality evaluator for tone-mapped images based on local and global Feature Analyses [J]. IEEE Transactions on Circuits & Systems for Video Technology,2017,29(2):323—335.
[21]? GRAHAM N V S. Visual pattern analyzers [M]. New York:Oxford University Press,1989.
[22]? BAE S H,KIM M. A novel image quality assessment with globally and locally consilient visual quality perception[J]. IEEE Transactions on Image Processing,2016,25(5):2392—2406.
[23]? STRICKER A S M A,ORENGO M. Similarity of color images[J]. Proc Spie Storage & Retrieval for Image & Video Databases,1995,2420:381—392.
[24]? WANG Y F,HUANG Q,HU J. Image enhancement based on adaptive demarcation between underexposure and overexposure[C]//2017 International Conference on Progress in Informatics and Computing (PIC). Nanjing,2017:196—199.
[25]? 李樹濤,孫鳳梅. 基于Curvelet和小波變換的紋理圖像識別[J]. 湖南大學學報(自然科學版),2008,35(4):51—54.
LI S T,SUN F M. Texture recognition based on Curvelet and wavelet transformation [J]. Journal of Hunan University (Natural Sciences),2008,35(4):51—54. (In Chinese)
[26]? 周四望,劉龍康. 基于小波變換的圖像零樹壓縮感知方法[J]. 湖南大學學報(自然科學版),2017,44(2):129—136.
ZHOU S W,LIU L K. Image zerotree compressed sensing based on wavelet transform[J]. Journal of Hunan University (Natural Sciences),2017,44(2):129—136. (In Chinese)
[27]? WU X Q,WANG K Q,ZHANG D. Wavelet energy feature extraction and matching for palmprint recognition [J].Journal of Computer Science and Technology,2005,20(3):411—418.
[28]? SCHOLKOPF B,SMOLA A J. Learning with kernels:Support vector machines,regularization,optimization,and beyond [M]. London:MIT Press,2001.
[29]? KUNDU D,GHADIYARAM D,BOVIK A C,et al. Large-scale crowd sourced study for tone-mapped HDR pictures [J]. IEEE Transactions on Image Processing,2017,26(10):4725—4740.
[30]? MITTAL A,SOUNDARARAJAN R,BOVIK A C. Making a “completely blind” image quality analyzer [J]. IEEE Signal Processing Letters,2013,20(3):209—212.
[31]? LI Q,LIN W,F(xiàn)ANG Y. BSD:Blind image quality assessment based on structural degradation[J]. Neurocomputing,2017,236:93—103.
[32]? GU K,WANG S,ZHAI G,et al. Blind quality assessment of tone-mapped images via analysis of information,naturalness,and structure [J]. IEEE Transactions on Multimedia,2016,18(3):432—443.