集成學(xué)習(xí)算法在圖像質(zhì)量評(píng)估中的應(yīng)用

牟卿志， 李玉婷， 孫宗升， 周 荃

（濰坊職業(yè)學(xué)院 機(jī)電工程學(xué)院， 山東 濰坊 262737）

0 引 言

由于拍攝、存儲(chǔ)和顯示技術(shù)的進(jìn)步，圖像信息交互已經(jīng)成為在線媒體和社交網(wǎng)絡(luò)的主流，每天平均有數(shù)十億張圖片在網(wǎng)上共享。 為了能夠在有限的帶寬內(nèi)共享所有圖像，需要設(shè)計(jì)緊湊的壓縮算法，使圖片不僅滿足帶寬要求，而且能夠保持適當(dāng)?shù)母兄|(zhì)量。 然而，海量圖像數(shù)據(jù)使得人工主觀評(píng)估的方法不再可行。 因此，迫切需要可靠的圖像質(zhì)量評(píng)估方法，來提供用戶體驗(yàn)基準(zhǔn)，以應(yīng)對媒體與社交網(wǎng)絡(luò)信息流傳遞的需求。

圖像質(zhì)量評(píng)估通常用于處理一幅或多幅圖像，按規(guī)律映射到評(píng)估器進(jìn)行運(yùn)算，進(jìn)而完成分?jǐn)?shù)評(píng)估工作［1］。 按照映射時(shí)是否需要參考圖像來看，可分為全參考圖像質(zhì)量評(píng)價(jià)（FR-IQA）、半?yún)⒖紙D像質(zhì)量評(píng)價(jià)（RR-IQA） 和無參考圖像質(zhì)量評(píng)價(jià)（NRIQA）3 類。 其中，無參考圖像質(zhì)量評(píng)價(jià)因其廣泛的應(yīng)用場景與較大的評(píng)價(jià)難度成為當(dāng)今的研究熱點(diǎn)［2］。 在無參考圖像質(zhì)量評(píng)價(jià)中，按映射規(guī)律，評(píng)估器可分為基于保真度［3-4］、結(jié)構(gòu)相似性［5-6］、顏色質(zhì)量［7］與數(shù)據(jù)驅(qū)動(dòng)學(xué)習(xí)［8］等多種評(píng)價(jià)指標(biāo)。 分析評(píng)估算法，可知現(xiàn)有估計(jì)器都基于視覺系統(tǒng)不同方面的特征，即使某種方法在特定感知策略上不如其他方法直接相關(guān)，但其仍然可以包含其他方法無法提供的額外信息。 因此，融合多種方法提高整體評(píng)估能力的策略被提出，并已成為圖像質(zhì)量評(píng)估工作中的主要發(fā)展方向。 隨著融合與增強(qiáng)方法的改進(jìn)，多方法融合可以產(chǎn)生更全面的質(zhì)量估計(jì)器。 目前常用多方法融合策略有基于線性組合［9］、回歸［10］、集成學(xué)習(xí)策略［11］等的方法，其中基于集成學(xué)習(xí)策略的方法被證明表現(xiàn)優(yōu)于常規(guī)融合方法。

在對算法評(píng)估能力探究，尤其是將多方法融合策略視為一個(gè)集成學(xué)習(xí)框架進(jìn)行分析方面，文獻(xiàn)［2］在LIVE 和TID 08 數(shù)據(jù)集對5 種非特定失真的算法性能，結(jié)合算法運(yùn)行時(shí)間情況評(píng)選出最佳方法。文獻(xiàn)［12］則針對模糊失真圖像的特性，按人工模糊與自然模糊進(jìn)行了評(píng)估。 本研究發(fā)現(xiàn)，框架不應(yīng)局限于某些特定的質(zhì)量指標(biāo)、失真類型或?qū)W習(xí)方法。為了研究集成學(xué)習(xí)質(zhì)量估計(jì)器的通用性，本文選用基于4 種不同評(píng)價(jià)指標(biāo)中的主流圖像質(zhì)量評(píng)估算法。 在學(xué)習(xí)算法中，使用支持向量機(jī)與通用神經(jīng)網(wǎng)絡(luò)執(zhí)行增強(qiáng)。 所選用方法在3 種最新且全面的數(shù)據(jù)庫中進(jìn)行多項(xiàng)訓(xùn)練和測試，最后使用基于準(zhǔn)確性和線性進(jìn)行度量，通過將融合方法與現(xiàn)有方法的評(píng)估能力進(jìn)行比較，證明并探討了不同融合方法在不同數(shù)據(jù)庫上的評(píng)估能力。

1 實(shí)驗(yàn)設(shè)定

1.1 圖像質(zhì)量評(píng)估器選用

1.1.1 基于保真度

保真度屬性直白量化了評(píng)估圖像相對于參考圖像的變化，是圖像和視頻編碼標(biāo)準(zhǔn)中用于衡量失真率的首選指標(biāo)。 峰值信噪比（PSNR）是其最為常用的像素級(jí)保真度度量方法。 進(jìn)一步擴(kuò)展指標(biāo)，添加均值漂移靈敏度，定義為PSNR-HMA（簡稱HMA），這兩個(gè)指標(biāo)均用于失真率衡量操作。

1.1.2 基于結(jié)構(gòu)相似性

結(jié)構(gòu)相似性是一種衡量兩幅圖像相似度的指標(biāo)。 文獻(xiàn)［3］中提出的基于參考圖像和扭曲圖像在空間域中亮度、對比度和結(jié)構(gòu)方面比較的完全參考度量方案-結(jié)構(gòu)相似性（Structural Similarity，簡稱為SSIM），有效衡量了空間域中兩幅圖像結(jié)構(gòu)的接近程度，是目前主流方法。

1.1.3 基于顏色

在亮度穩(wěn)定情況下，顏色成為人類視覺系統(tǒng)（HVS）的首要感知評(píng)價(jià)信息。 在圖像質(zhì)量評(píng)估中，文獻(xiàn)［7］所提出的PerSIM 算法通過計(jì)算顏色-對立空間（LAB 空間）中色度通道的像素級(jí)保真度來引入顏色信息，通過視網(wǎng)膜細(xì)胞的對比敏感度帶通特征，計(jì)算兩幅圖像相似性。

1.1.4 基于數(shù)據(jù)驅(qū)動(dòng)學(xué)習(xí)

數(shù)據(jù)驅(qū)動(dòng)的質(zhì)量估計(jì)器多采用無監(jiān)督方式對使用的圖像進(jìn)行訓(xùn)練。 圖像通過多種預(yù)處理獲得更具描述性的結(jié)構(gòu)和顏色表示后，被送入線性解碼器以獲得稀疏表示，進(jìn)而對稀疏表示進(jìn)行比較，從而獲得客觀分?jǐn)?shù)。 數(shù)據(jù)驅(qū)動(dòng)的質(zhì)量估計(jì)器UNIQUE 被證明是具備優(yōu)秀表現(xiàn)的算法［8］。

1.2 集成學(xué)習(xí)算法

本文通過支持向量機(jī)和通用神經(jīng)網(wǎng)絡(luò)兩種主流方法探究提升效果。 在通用神經(jīng)網(wǎng)絡(luò)架構(gòu)中，調(diào)整的唯一參數(shù)是單個(gè)隱藏層中的神經(jīng)元數(shù)量，其被設(shè)置為實(shí)驗(yàn)中使用的質(zhì)量估計(jì)器的總數(shù)。 均方誤差設(shè)置為代價(jià)函數(shù)；Levenberg-Marquardt 方法設(shè)置為訓(xùn)練函數(shù)。 所采用支持向量機(jī)的策略中包括序列最小優(yōu)化算法（Sequential Minimal Optimization，SMO）和線性核。

1.3 數(shù)據(jù)集

在估計(jì)器評(píng)估能力比較中，引入LIVE［13］、多重失真LIVE（MULTI）［14］和TID 2013（TID13）數(shù)據(jù)庫［15］。 數(shù)據(jù)庫中提供了參考圖像及附帶評(píng)價(jià)的失真圖像，通過不同的失真圖像及相關(guān)評(píng)價(jià)，可以有效對質(zhì)量估計(jì)器的評(píng)估能力進(jìn)行客觀驗(yàn)證。

以TID2013 數(shù)據(jù)集為例，其提供的參考圖像及相關(guān)失真圖像如圖1 所示。

圖1 TID2013 數(shù)據(jù)集中提供的參考圖片與失真圖片F(xiàn)ig.1 Reference and distorted images provided in the TID2013 dataset

1.4 數(shù)據(jù)分區(qū)和實(shí)驗(yàn)次數(shù)

實(shí)驗(yàn)中，質(zhì)量估計(jì)器的評(píng)估能力通過k折交叉驗(yàn)證進(jìn)行測量。 其中，k設(shè)置為4。 在每次迭代中，每個(gè)數(shù)據(jù)庫中總圖像的25%被選為測試集，用于測量現(xiàn)有質(zhì)量估計(jì)器的評(píng)估能力。 每種方法都經(jīng)過10 次運(yùn)行后取均值作為最終結(jié)果。

1.5 評(píng)價(jià)指標(biāo)

本文采用精度和線性度兩種評(píng)價(jià)指標(biāo)。 均方根誤差（RSME）用于測量精度，而泊爾森相關(guān)系數(shù)（PLCC）用于測量預(yù)測線性度。 相關(guān)公式如下：

其中，s為索引圖像序號(hào)；xs是評(píng)價(jià)分?jǐn)?shù)；ys是參考分?jǐn)?shù)；u是圖像均值；N是圖像總數(shù)。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 現(xiàn)有質(zhì)量估計(jì)器的評(píng)估能力

現(xiàn)有質(zhì)量估計(jì)器的評(píng)估能力見表1。 就準(zhǔn)確性（均方根誤差RMSE） 和線性度（泊爾森相關(guān)系數(shù)PLCC） 而言，最佳執(zhí)行方法是LIVE、MULTI 數(shù)據(jù)庫中的UNIQUE 和TID13 數(shù)據(jù)庫中的PerSIM 方法。就整體評(píng)估能力來看，UNIQUE 估計(jì)器的評(píng)估誤差較小，是評(píng)估能力最強(qiáng)的。

表1 現(xiàn)有IQA 方法的評(píng)估能力Tab.1 Evaluation capability of existing IQA methods

2.2 集成學(xué)習(xí)后圖像質(zhì)量估計(jì)器評(píng)估能力變化

本節(jié)探究了在集成學(xué)習(xí)算法的弱勢方法中添加新方法所導(dǎo)致的相對評(píng)估能力變化，以及現(xiàn)有方法與集成學(xué)習(xí)后的圖像質(zhì)量評(píng)估方法的比較。 在集成學(xué)習(xí)時(shí)，每個(gè)類別均由表現(xiàn)最差的方法作為基礎(chǔ)，加入所有方法列表中未使用過的最佳方法進(jìn)行集成學(xué)習(xí)（該方法此時(shí)狀態(tài)將變更為已使用），進(jìn)行估計(jì)器能力評(píng)估，進(jìn)而依次循環(huán)，繼續(xù)進(jìn)行方法列表下一個(gè)未使用過最佳方法的集成，直至所有方法全部集成為止。 初始最弱勢方法為表1 中所列的PSNR 方法，其RSME值為14.63，PLCC值為0.811。

實(shí)驗(yàn)結(jié)果表明，隨著集成學(xué)習(xí)方法數(shù)量的增加，均方根誤差（RSME） 呈現(xiàn)遞減趨勢，而泊爾森相關(guān)系數(shù)（PLCC） 增加，圖像質(zhì)量評(píng)估的準(zhǔn)確性不斷提升，線性度則不斷優(yōu)化。 僅在少數(shù)例外情況下， 泊爾森相關(guān)系數(shù)（PLCC） 在集成學(xué)習(xí)方法的數(shù)量方面出現(xiàn)線性度反向變化的行為。 實(shí)驗(yàn)結(jié)果在LIVE、MULTI 及TID13 數(shù)據(jù)集的整體變化基本趨同。 在LIVE 數(shù)據(jù)集運(yùn)行的標(biāo)準(zhǔn)誤差線柱狀圖如圖2、圖3所示。 其中，主軸代表相應(yīng)指標(biāo)均值，誤差線代表標(biāo)準(zhǔn)差。

圖2 集成學(xué)習(xí)后估計(jì)器的均方根誤差Fig.2 RSME of estimator after ensemble learning

圖3 集成學(xué)習(xí)后估計(jì)器的泊爾森相關(guān)系數(shù)Fig.3 PLCC of estimator after ensemble learning

在準(zhǔn)確性及線性度分析方面，以LIVE 數(shù)據(jù)集為例可以發(fā)現(xiàn)，集成學(xué)習(xí)方法通?？梢蕴岣邎D像質(zhì)量評(píng)估能力。

集成單種方法時(shí)，基于神經(jīng)網(wǎng)絡(luò)集成學(xué)習(xí)的方式，使估計(jì)器評(píng)估能力在準(zhǔn)確度與線性度方面分別提升25.52%與4.81%；而使用支持向量機(jī)集成學(xué)習(xí)的質(zhì)量估計(jì)器的評(píng)估能力提升不足，準(zhǔn)確度與線性度提升能力僅為7.17%與0.42%。 由此可見，神經(jīng)網(wǎng)絡(luò)集成學(xué)習(xí)的方式對集成方法帶來的誤差減小較為敏感，可顯著在原方法上完成優(yōu)勢信息補(bǔ)充。

集成兩種及以上方法時(shí)，神經(jīng)網(wǎng)絡(luò)與支持向量機(jī)集成學(xué)習(xí)策略均取得顯著的評(píng)估能力優(yōu)化，在LIVE、MULTI、TID13 數(shù)據(jù)集運(yùn)行結(jié)果見表2。

表2 現(xiàn)有與集成學(xué)習(xí)后的圖像質(zhì)量評(píng)估方法比較Tab.2 Comparison of existing and ensemble learning image quality assessment methods

因全部集成學(xué)習(xí)完成后的方案將所有圖像質(zhì)量評(píng)估算法都已融合在內(nèi)，因此在進(jìn)行評(píng)價(jià)時(shí)，選擇將集成學(xué)習(xí)算法與原來的單一最佳方法進(jìn)行對比，以驗(yàn)證多方法集成增強(qiáng)的有效性。 在3 種數(shù)據(jù)庫權(quán)重一致的情況下，神經(jīng)網(wǎng)絡(luò)集成算法較原最優(yōu)方法的準(zhǔn)確度與線性度分別提升16.68%與2.52%，而支持向量機(jī)的準(zhǔn)確度與線性度提升9.01%與1.10%，兩者均取得了較為有效地提升。 考慮深度學(xué)習(xí)網(wǎng)絡(luò)集成學(xué)習(xí)參數(shù)設(shè)置的便捷性，且其評(píng)估能力增強(qiáng)亦優(yōu)于基于支持向量機(jī)的增強(qiáng)，因此該方法具有更強(qiáng)的適用性與推廣性。

3 結(jié)束語

本文分析了基于多方法融合集成學(xué)習(xí)框架對圖像質(zhì)量提升的影響。 實(shí)驗(yàn)結(jié)果表明，基于集成學(xué)習(xí)方法的評(píng)估能力優(yōu)于現(xiàn)有的最佳方法，可以證明集成學(xué)習(xí)通常會(huì)提高圖像質(zhì)量評(píng)估算法的評(píng)估能力，增強(qiáng)級(jí)別取決于集成學(xué)習(xí)策略的類型。 此外，使用兩種或兩種以上的附加方法增強(qiáng)評(píng)估能力最差的質(zhì)量估計(jì)器，可以在所有場景中獲得統(tǒng)計(jì)顯著的改進(jìn)，而不依賴于特定集成學(xué)習(xí)策略。