低秩矩陣恢復(fù)下的自適應(yīng)圖像超分辨率重建

鹿宸銘

（悉尼大學 電氣與信息工程學院，澳洲 悉尼 2006）

0 引言

自適應(yīng)圖像具有較強的可操作性，可以根據(jù)輸入輸出條件的不同做出相應(yīng)的變化，從而在維護像素信息完整性的同時，避免關(guān)聯(lián)節(jié)點出現(xiàn)相互覆蓋的情況[1]。信息參量在自適應(yīng)圖像中普遍保持單序列分布形式，且每一序列內(nèi)所包含像素信息的類型完全相同，主機元件在去除像素信息時會完整移除一整個序列內(nèi)的像素對象，造成低分辨率問題和像素節(jié)點稀疏分布的情況，而這也是圖像清晰度水平達不到實際需求標準的主要原因?；诿芗瘹埐顗K生成對抗網(wǎng)絡(luò)的圖像超分辨率重建方法[2]，通過定義空間目標對象的方式，對網(wǎng)絡(luò)主機捕捉到的像素信息進行訓練處理，定義具體的像素重建標準，實現(xiàn)圖像超分辨率重建。

基于VGG 能量損失的圖像超分辨率重建方法[3]在損失函數(shù)的基礎(chǔ)上，完成對像素信息的編碼處理，又按照梯度遞減原則選取關(guān)鍵分辨率參量，以便于主機元件能夠根據(jù)超分辨率條件進行重建。然而上述兩種方法對圖像的降噪處理效果有限，并不能保證重建后圖像的分辨率水平完全達到實際需求標準。

低秩矩陣恢復(fù)是一種廣泛應(yīng)用的像素對象復(fù)原方法，即便在原圖像中存在噪聲的情況下，只要在低秩矩陣內(nèi)完成對像素信息的取樣，即可以使恢復(fù)后圖像的清晰度保持高水平狀態(tài)[4]。因此，本文利用低秩矩陣恢復(fù)模型的應(yīng)用優(yōu)勢，設(shè)計一種新型的自適應(yīng)圖像超分辨率重建方法。

1 低秩矩陣恢復(fù)下的自適應(yīng)圖像降噪

為實現(xiàn)對自適應(yīng)圖像的超分辨率重建，在低秩矩陣恢復(fù)模型的支持下完成對圖像的降噪處理。低秩矩陣恢復(fù)模型對于自適應(yīng)圖像的降噪處理是按照像素信息矩陣的補全原則，實施對像素參量的低秩恢復(fù)。

1）矩陣補全

低秩矩陣恢復(fù)模型對于像素信息矩陣補全處理的要求表現(xiàn)在行向量、列向量兩個方面。行向量影響像素信息在低秩矩陣中的橫向取值結(jié)果，其向量值越大，像素信息在低秩矩陣中的橫向取值位置越靠后[5-6]。列向量影響像素信息在低秩矩陣中的縱向取值結(jié)果，其向量值越大，像素信息在低秩矩陣中的縱向取值位置越靠下。

對于行向量、列向量的求解滿足如下表達式：

式中：α表示低秩矩陣中的像素信息行向量參數(shù)；δ表示低秩矩陣中的像素信息列向量參數(shù)；χ表示像素信息橫向標記系數(shù)；β表示像素信息縱向標記系數(shù)；a、s表示兩個不相等的像素信息定義項；da表示基于參數(shù)a的像素信息定義值；ds表示基于參數(shù)s的像素信息定義值。

利用公式（1）推導(dǎo)低秩矩陣恢復(fù)模型的像素信息矩陣補全表達式為：

式中：γ表示信息補全參數(shù)；Dαδ表示低秩矩陣中像素信息對象的行向量、列向量取值。

2）低秩恢復(fù)適配系數(shù)計算

利用補全的低秩矩陣中的像素信息參量計算數(shù)據(jù)樣本與自適應(yīng)圖像之間的適配性系數(shù)，作為低秩矩陣恢復(fù)模型的必要構(gòu)建條件，只有保證系數(shù)結(jié)果的唯一性，才能使圖像像素中無適配關(guān)系的噪聲被有效去除。低秩描述了像素信息在取樣時的狀態(tài)，對于自適應(yīng)圖像而言，單位像素區(qū)域內(nèi)低秩節(jié)點的數(shù)量越多，去噪后圖像的清晰度水平就越高[7]。為保證數(shù)據(jù)信息與重建節(jié)點之間對應(yīng)關(guān)系的唯一性，只能通過歸一化將一種類型的像素信息作為適配對象。

設(shè)g表示低秩條件下的像素信息驗證向量，f表示自適應(yīng)圖像中的像素復(fù)原系數(shù)，聯(lián)立公式（3），可將歸一化的低秩恢復(fù)適配系數(shù)表示為：

3）基于低秩矩陣恢復(fù)的峰值信噪比計算

在自適應(yīng)圖像中，峰值信噪比決定了有效像素與噪聲像素之間的最大配比關(guān)系，該項物理量的數(shù)值水平越高，就表示原圖像中所包含的有效像素信息越多[8-10]。在降噪處理之前，必須基于低秩恢復(fù)適配系數(shù)計算峰值信噪比參數(shù)，公式如下：

式中：ε表示有效像素信息取樣值；表示有效像素點與噪聲像素點的數(shù)量配比特征參數(shù)；?表示有效像素點與噪聲像素點的像素值配比參數(shù)。

4）自適應(yīng)圖像降噪

由于超分辨率重建對圖像信息像素水平的要求較高，所以在降噪處理的過程中應(yīng)基于峰值信噪比參數(shù)，盡可能去除所有噪聲對象[11-12]。秩矩陣恢復(fù)下，自適應(yīng)圖像降噪的表達式如下：

式中：j表示完整圖像中的自適應(yīng)分區(qū)參數(shù)，且j≠0 的不等式條件恒成立；ι表示像素點的局部均值。完成圖像降噪是實現(xiàn)自適應(yīng)圖像超分辨率重建的基礎(chǔ)環(huán)節(jié)。

2 基于降噪處理的自適應(yīng)圖像超分辨率重建

自適應(yīng)圖像的超分辨率重建是基于降噪處理后的像素，提取重建處理所必需的圖像自適應(yīng)特征，再按照超分辨率判別條件完成超分辨率重建。圖像自適應(yīng)特征是符合自適應(yīng)提取條件的像素點對象，具有分布集中、對比度強的特性。在一幅完整的圖像中，自適應(yīng)特征像素點的數(shù)量越多，重建后圖像的清晰度水平越高[13]。

設(shè)λ表示原圖像中的像素點取樣參數(shù)，表示滿足自適應(yīng)條件的像素特征，表示原圖像中的自適應(yīng)像素特征辨識參量。在上述物理量的支持下，可將圖像自適應(yīng)特征提取表達式定義為：

超分辨率判別條件是依據(jù)低秩矩陣恢復(fù)模型推導(dǎo)的超分辨率節(jié)點定義表達式。當前情況下，如果提取的每一個像素對象都符合圖像自適應(yīng)特征，那么超分辨率判別條件即為將所有像素節(jié)點關(guān)聯(lián)在一起的分辨率判定原則。

在原圖像中隨機選取n個不重合的超分辨率像素節(jié)點，其定義式如下：

式中：y1，y2，…，yn表示同一圖像區(qū)域內(nèi)的n個自適應(yīng)像素點對象；ν1，ν2，…，νn分別表示與自適應(yīng)像素點對象匹配的分辨率辨識參數(shù)。

利用式（8）推導(dǎo)自適應(yīng)圖像的超分辨率判別參數(shù)，定義式為：

式中：η表示像素節(jié)點的超分辨率判定向量表示自適應(yīng)圖像中的超分辨率定義項表示自適應(yīng)像素節(jié)點超分辨率均值。

對于超分辨率像素節(jié)點而言，重建后圖像的清晰度水平受到重建函數(shù)表達式的直接影響，且由于單位圖像區(qū)域內(nèi)存在相似性超分辨率像素節(jié)點的可能性較高，所以在定義重建函數(shù)時，還應(yīng)將像素信息完全相同的取樣情況考慮在內(nèi)。

設(shè)表示超分辨率像素節(jié)點的相似性特征表示像素節(jié)點相似性度量值；q表示像素節(jié)點清晰度的超分辨率識別參數(shù)；Z表示超分辨率像素節(jié)點的重建系數(shù)。聯(lián)立公式（9），可將低秩矩陣恢復(fù)下的自適應(yīng)圖像超分辨率重建函數(shù)表示為：

由此完成低秩矩陣恢復(fù)下的自適應(yīng)圖像超分辨率重建。

3 實例分析

為驗證重建后自適應(yīng)圖像的分辨率水平和清晰度，采用低秩矩陣恢復(fù)下的自適應(yīng)圖像超分辨率重建方法、基于密集殘差塊生成對抗網(wǎng)絡(luò)的圖像超分辨率重建方法（文獻[2]）、使用VGG 能量損失的圖像超分辨率重建方法（文獻[3]）設(shè)計如下對比實驗。

3.1 實驗準備

從DIV2K 大規(guī)模圖像超分辨率數(shù)據(jù)庫中選取800張訓練圖像和100 張驗證圖像，可以用于訓練和評估自適應(yīng)圖像超分辨率重建算法。低分辨率圖像尺寸為256×256，重建后超分辨率圖像為1 024×1 024。重建訓練在NVIDIA Ge-Force RTX 3090 GPU 圖像處理工作站上進行，對低分辨率圖像進行4 倍降采樣，batchsize 設(shè)為16。利用掃描儀元件將自適應(yīng)圖像錄入c++program 軟件之中進行重建。由于原圖像中明顯像素點并不能保持較為均勻的分布狀態(tài)，所以出于公平性考慮，實驗過程中不需對自適應(yīng)圖像進行分區(qū)處理。

3.2 實驗步驟與原理

本次實驗根據(jù)重建后像素點對象的分辨率水平判斷重建后圖像的清晰度，并以此為基礎(chǔ)判斷重建方法的應(yīng)用能力。

本次實驗的具體執(zhí)行流程如下：

1）提取自適應(yīng)圖像中的明顯像素點開始實驗。選擇如圖1 所示的自適應(yīng)圖像作為目標實驗展示圖像，自適應(yīng)圖像中的明顯像素點提取結(jié)果如圖2 所示。

圖1 自適應(yīng)圖像

圖2 自適應(yīng)圖像中的明顯像素點

對比圖1 和圖2 可知，本文方法可有效提取自適應(yīng)圖像中的明顯像素點，為后續(xù)重建奠定基礎(chǔ)。

2）應(yīng)用低秩矩陣恢復(fù)下的自適應(yīng)圖像超分辨率重建方法進行實驗，記錄完成重建后的像素節(jié)點分辨率，所得結(jié)果作為實驗組變量。

3）應(yīng)用基于密集殘差塊生成對抗網(wǎng)絡(luò)的圖像超分辨率重建方法進行實驗，記錄完成重建后的像素節(jié)點分辨率，所得結(jié)果作為對照1 組變量。

4）使用VGG 能量損失的圖像超分辨率重建方法進行實驗，記錄完成重建后的像素節(jié)點分辨率，所得結(jié)果作為對照2 組變量。

5）根據(jù)所得分辨率數(shù)據(jù)，總結(jié)實驗規(guī)律。

3.3 數(shù)據(jù)與結(jié)論

圖3 反映了實驗組、對照1 組、對照2 組應(yīng)用后圖像的去噪水平。

圖3 圖像峰值信噪比對比

圖3 結(jié)果證明，經(jīng)過實驗組方法處理后，與其他對照組方法相比，圖像具有較高的峰值信噪比，證明本文方法去噪效果較好。

圖4 反映了實驗組、對照1 組、對照2 組重建后圖像的分辨率水平。

圖4 重建后圖像的分辨率

分別統(tǒng)計圖4 中重建后圖像分辨率在各個像素區(qū)域內(nèi)的極大值與極小值，計算圖像分辨率均值，詳情如表1 所示。

表1 圖像分辨率均值 PPI

分析表1 可知，重建后圖像分辨率均值的排列順序為實驗組＞對照2 組＞對照1 組。綜上可知，低秩矩陣恢復(fù)下的自適應(yīng)圖像超分辨率重建方法的應(yīng)用可以有效解決自適應(yīng)圖像中由低分辨率導(dǎo)致的像素密度過于稀疏的問題，能夠使重建后圖像清晰度達到超分辨標準，符合實際應(yīng)用需求。

4 結(jié)語

低秩矩陣恢復(fù)下自適應(yīng)圖像超分辨率重建方法利用降噪后的圖像，定義與節(jié)點對象相關(guān)的自適應(yīng)特征提取原則，又聯(lián)合超分辨率判別條件，推導(dǎo)具體的重建函數(shù)表達式，實現(xiàn)自適應(yīng)圖像超分辨率重建。測試結(jié)果表明，該方法可以大幅提升圖像信噪比和重建后圖像的分辨率水平，達到超分辨率標準。