一種改進的字典學習的教室圖像超分辨率重建方法

摘" 要：目前，教室的成像因受設備性能低和環(huán)境復雜的影響，會出現(xiàn)教學環(huán)境下對師生認識不全的情況。為了充分利用圖像信息，全面細致地了解教學情況，文章提出一種改進的字典學習的教室圖像超分辨率重建方法。通過采用字典學習算法訓練自構(gòu)的教室圖像數(shù)據(jù)集得到對應的低秩字典和稀疏字典，使用訓練的兩個字典重建訓練集圖像，再參與訓練，得到殘差字典，然后運用訓練得到的三個字典重建低分辨率圖像，最終得到高分辨率圖像。將提出的算法與幾種經(jīng)典算法進行對比實驗，可視化和量化結(jié)果均表明，提出的算法在PSNR和SSIM上都獲得了顯著的提升。

關(guān)鍵詞：低秩矩陣分解；局部線性嵌入；殘差字典；圖像超分辨率

中圖分類號：TP391.4" 文獻標識碼：A 文章編號：2096-4706（2024）12-0027-05

An Improved Dictionary Learning Super-resolution Reconstruction Method for Classroom Images

DING Yuxiang

（School of Information and Artificial Intelligence， Anhui Business College， Wuhu" 241002， China）

Abstract： At present， the imaging of classrooms is affected by low equipment performance and complex environments， resulting in incomplete understanding of teachers and students in the teaching environment. In order to fully utilize image information and comprehensively and meticulously understand the teaching situation， this paper proposes an improved dictionary learning super-resolution reconstruction method for classroom image. By using dictionary learning algorithms to train a self constructed classroom image dataset， corresponding low rank and sparse dictionaries are obtained. The two trained dictionaries are used to reconstruct the training set images， and then participate in training to obtain residual dictionaries. Then， the three trained dictionaries are used to reconstruct low resolution images， ultimately high-resolution images are obtained. Comparative experiments are conducted between the proposed algorithm and several classic algorithms， and both visual and quantitative results show that the proposed algorithm achieved significant improvements in both PSNR and SSIM.

Keywords： low rank matrix factorization; locally linear embedding; residual dictionary; image super-resolution

0" 引" 言

圖像超分辨率重建主要是對圖像退化過程的研究和應用。圖像重建的方法就是利用已知的先驗知識，對損失的高頻細節(jié)信息進行預估，實現(xiàn)圖像擴大尺度后依然能夠保留高質(zhì)量圖像信息的目標。圖像超分辨率重建技術(shù)在很多領域（如遙感圖像領域、安防監(jiān)控領域、醫(yī)療圖像領域、軍事領域、影像視頻領域）得到了關(guān)注和應用。在日常生活中，人們對高分辨率圖像的需求越來越迫切。使用超分辨率重構(gòu)技術(shù)能夠提高信號的清晰度，既不用考慮兼容性問題，又節(jié)約了帶寬和技術(shù)投入成本，已經(jīng)被越來越多的研究人員所關(guān)注。

在重建算法中，基于學習的算法憑借重建性能的優(yōu)越性，成為圖像超分辨率重建領域主流研究方向。這是因為基于學習的算法是使用先驗知識來指導高分辨率圖像的重建。通過對圖像樣本的學習，能夠獲取低分辨率圖像與對應高分辨率圖像之間的映射關(guān)系，將映射關(guān)系作為先驗知識應用于圖像重建可以重建高分辨率圖像的細節(jié)信息，提升重建圖像的質(zhì)量。國內(nèi)外許多學者都在超分辨率圖像重構(gòu)領域做出了卓越的貢獻。2010年，Yang等[1]引入壓縮感知理論，采用字典學習和稀疏表示的方法來處理樣本圖像，基于自然圖像的稀疏特性，學習得到圖像塊的稀疏表示系數(shù)和高低分辨率字典來重建圖像，最終取得了不錯的效果。2016年，Dong等[2]引入卷積神經(jīng)網(wǎng)絡理論，在重建高分辨率圖像的過程中，使用三層卷積神經(jīng)網(wǎng)絡擬合了高低分辨率圖像的映射關(guān)系，從而恢復了圖像的邊緣細節(jié)信息，在取得顯著效果的同時也為后續(xù)的研究提供了全新的思路和方法。此后，Zeyde等[3]開始使用K-SVD訓練字典，這種方法得到的過完備字典在訓練時間上遠遠短于之前的字典，精度也有一定的提升。Timofte等[4]則將流形學習與稀疏表示的字典相結(jié)合，充分利用兩種方法各自的優(yōu)勢，一是保證了圖像重建的效果，二是縮短了圖像重建的時間。2021年，融合鄰域回歸和稀疏表示的圖像超分辨率重建算法[5]關(guān)注圖像內(nèi)部的特征信息，訓練得到稀疏字典和低秩字典，用于重建圖像，顯著提升了重建圖像的質(zhì)量。隨著圖像超分辨率算法[6-11]的發(fā)展，其應用范圍正變得越來越廣。

然而，上述算法更多的是對所有場景的應用，所使用訓練集的覆蓋范圍較廣，對教室場景特征信息映射關(guān)系的獲取不全。另外，上述算法在重建過程中容易丟失細節(jié)信息。為此，本文提出一種改進的字典學習的教室圖像超分辨率重構(gòu)算法。通過對已有圖像超分辨率重建模型加以改進并更新訓練集，加強了對圖像細節(jié)信息的構(gòu)建，提升了重建算法的性能。

1" 改進的圖像超分辨率重建模型

為了更好地重建教室圖像，使用教室圖像作為訓練集，充分學習了教室場景下的圖片，使訓練得到的字典包含更多有關(guān)教室圖像重建的特征信息。利用圖像內(nèi)部不同的特征信息將訓練集圖像分解為低秩部分和稀疏部分，分別訓練得到低秩字典和稀疏字典，再對訓練集圖像進行下采樣得到低分辨率圖像，然后結(jié)合訓練得到字典重建高分辨率圖像，將重建之后的圖像與原訓練集圖像做差得到易缺失細節(jié)信息的殘差圖像，接下來對原圖像和殘差圖像進行聯(lián)合訓練得到殘差字典，最后再使用訓練得到的低秩字典、稀疏字典和殘差字典重建低分辨率圖像，得到最終的高分辨率圖像，具體過程如下。

1.1" 訓練階段

訓練階段首先需要使用低秩分解對圖像進行處理，將樣本訓練集的圖像分解為低秩部分Ha和稀疏部分He：

（1）

再通過對原圖像進行先下采樣再上采樣的處理，得到相同尺寸的高分辨率圖像和對應的模糊圖像Yl：

（2）

其中，v表示隨機噪聲，L表示高低分辨率圖像的映射關(guān)系矩陣。由于圖像低秩部分含有圖像的大部分信息，本文采用字典學習的方法對圖像的低秩部分進行處理，將Ha的圖像塊集" 和Yl的圖像塊集" 作為字典學習的訓練集。

對于圖像塊集，首先使用PCA方法對" 降維得到對應的圖像塊訓練集 ，然后使用KSVD算法處理 ，通過不斷迭代求出最優(yōu)解，這樣就能得到稀疏系數(shù)" 和對應的低分辨率字典Dl：

（3）

根據(jù)高低分辨率圖像具有相同稀疏系數(shù)這一屬性，能夠得到對應的高分辨率字典 ，可以通過求解下面的最優(yōu)化問題得到：

（4）

對于圖像的稀疏部分同樣采用上述方法進行學習，可由解下面的最優(yōu)化問題得到：

（5）

然后使用訓練得到的字典重建訓練集圖像Yc，采用字典學習的方法進行學習，將Hh和Yc的圖像塊集" 和" 作為字典學習的訓練集。采用類似的方法學習對應的殘差字典：

（6）

通過字典訓練，最終得到低分辨率圖像關(guān)于重建的圖像低秩部分、圖像稀疏部分、圖像殘差部分的字典對 。訓練過程如圖1所示。

1.2" 重建階段

在重建階段，需要將給定的低分辨率圖像Zl重建為高分辨率圖像，重建過程如下：

1）先將圖像Zl擴大到指定大小，得到圖像Yl。

2）將圖像Yl分塊得到圖像塊集 。

3）對于圖像塊集 ，利用字典Dl得到稀疏系數(shù) ，再依據(jù)相同的稀疏系數(shù)并結(jié)合圖像低秩部分的字典" 得到對應的低秩部分圖像塊集" ，這樣就能得到高分辨率圖像的低秩部分Ha。

4）在低分辨率字典Dl中依據(jù)鄰域嵌入算法的原理，利用在低分辨率空間學習得到的LLE重構(gòu)權(quán)重重新構(gòu)建高分辨率空間的圖像。對于任一低分辨率圖像塊" ，通過對重構(gòu)誤差做極小化來計算LLE重構(gòu)權(quán)值系數(shù) ：

（7）

高分辨率圖像稀疏部分的圖像塊" 可由對應的低分辨率圖像塊" 結(jié)合權(quán)重得到：

（8）

從而得到高分辨率圖像的稀疏部分He。

5）融合圖像Ha和圖像He，得到重建的高分辨率圖像Hh，但此時恢復的高頻信息不足，因此再利用學習到的殘差字典對{Dc，Dh}處理重建的高分辨率圖像Hh，得到最終的高分辨率圖像Yh，具體過程如圖2所示。

2" 實驗結(jié)果與分析

2.1" 實驗參數(shù)設置

實驗平臺為處理器Intel Core i5-9400@2.90 GHz，內(nèi)存為8 GB的64位Windows 10專業(yè)版，MATLAB R2016a。圖像訓練集為自構(gòu)建的46幅圖片。設定低秩平衡因子為0.45，學習字典的尺度大小為1 024，KSVD迭代次數(shù)為20。

2.2" 評價指標

在評估圖像超分辨率重建算法的有效性時，通常使用的是PSNR（峰值信噪比）和SSIM（結(jié)構(gòu)相似性）這兩項評價指標。由于所得到的結(jié)果不受外界因素的干擾，能夠準確客觀地驗證圖像超分辨率重建算法是否有效，從而做出公正統(tǒng)一的評價。兩個指標的表達式分別為：

（9）

（10）

重建圖像的質(zhì)量越好，PSNR值越高。重建圖像與原始圖像的相似程度越高，SSIM的值越接近于1。

2.3" 實驗結(jié)果與分析

字典學習的效果會受訓練集的影響。現(xiàn)有字典大都采用的是覆蓋范圍較廣的數(shù)據(jù)集，比如Set14 [3]、Set5 [3]、BSD100 [4]、Urban100 [4]等。本文是針對教室這一場景，因此使用的是教室圖片構(gòu)成的訓練集和測試集。為了研究自構(gòu)建訓練集和經(jīng)典訓練集對測試集重建效果的影響，使用自構(gòu)建的測試集對結(jié)果進行驗證分析。

實驗中參與訓練的圖像塊大小為3×3，放大倍數(shù)為3，鄰域嵌入?yún)?shù)K = 24，平衡因子為0.45，將字典的尺度分別設置為128、256、512、1 024，使用的算法為經(jīng)典的Zeyde算法。實驗結(jié)果如表1所示，由實驗結(jié)果不難發(fā)現(xiàn)自構(gòu)建的訓練集在字典精度上有所提升。

為了驗證所提算法的有效性，本節(jié)采用自構(gòu)建教室圖片作為訓練集，分別對圖片進行了放大3倍和放大4倍的實驗，并將本章算法與幾種典型的圖像超分辨率重建算法效果進行了對比。其中，作為對比的SR算法包括Zeyde [3]、NE+LLE [4]和CNASSR [5]，使用圖像評價中最常用的PSNR和SSIM指標進行客觀評價。從實驗結(jié)果可以看出，提出的算法相比其他算法在重建圖像的質(zhì)量上有明顯的提升，如表2所示。

最后，將提出的算法與其他算法進行對比實驗，對自構(gòu)建的測試集進行圖像超分辨率重建，使用PSNR和SSIM作為客觀評價標準，結(jié)果如圖3和圖4所示。在主觀評估方面，通過人眼觀察實驗結(jié)果，會發(fā)現(xiàn)在重建圖像的邊緣效果上，提出的算法相比其他算法恢復的效果更好，如圖5和圖6所示，且與上述客觀評估結(jié)果相統(tǒng)一。實驗結(jié)果表明提出的算法通過恢復更多的高頻細節(jié)信息，能夠使重建圖像的質(zhì)量得以提升。

3" 結(jié)" 論

為了提升教室圖像的重建效果，提出一種改進的字典學習的教室圖像超分辨率重構(gòu)算法。通過使用自構(gòu)建的教室圖像訓練集提升了字典的精度，再依據(jù)現(xiàn)有模型重建高分辨率圖像，但存在高頻信息恢復不足的情況，從而改進模型，增加了殘差字典的訓練，進一步提高圖像細節(jié)信息的重建。經(jīng)過實驗驗證，改進后的算法在放大尺度為3、4的客觀和主觀評價標準上都有明顯的提升。

參考文獻：

[1] YANG J C，WRIGHT J，HUANG T，et al. Image Super-resolution via Sparse representation [J].IEEE Transactions on Image Processing，2010，19（11）：2861-2873.

[2] DONG C，LOY C C，HE K M，et al. Image Super-Resolution Using Deep Convolutional Networks [J/OL].arXiv：1501.00092v3 [cs.CV].[2023-09-06].https：//arxiv.org/abs/1501.00092.

[3] ZEYDE R，ELAD M，PROTTER M. On Single Image Scale-up Using Sparse-Representations [C]//Proceedings of the 7th International Conference on Curves and Surfaces. [S.l.]：Springer，2010：711–730.

[4] TIMOFTE R，DE V，GOOL L V. Anchored Neighborhood Regression for Fast Example-Based Super-Resolution [C]//2013 IEEE International Conference on Computer Vision. Sydney：IEEE，2013：1920-1927.

[5] 丁玉祥，卞維新，接標，等.融合鄰域回歸和稀疏表示的圖像超分辨率重構(gòu) [J].計算機工程與應用，2021，57（2）：230-236.

[6] 蔡體健，彭瀟雨，石亞鵬，等.通道注意力與殘差級聯(lián)的圖像超分辨率重建 [J].光學精密工程，2021，29（1）：142-151.

[7] 陳貴強，何軍.自然場景下遙感圖像超分辨率重建算法研究 [J].計算機科學，2022，49（2）：116-122.

[8] 宋全博，李揚科，范業(yè)瑩，等.先驗GAN的CBCT牙齒圖像超分辨率方法 [J].計算機輔助設計與圖形學學報，2023，35（11）：1751-1759.

[9] 柏正堯，陶勁宇.采用偽3D卷積網(wǎng)絡的腦部MRI圖像超分辨率重建 [J].計算機輔助設計與圖形學學報，2022，34（2）：208-216.

[10] 程德強，陳杰，寇旗旗，等.融合層次特征和注意力機制的輕量化礦井圖像超分辨率重建方法 [J].儀器儀表學報，2022，43（8）：73-84.

[11] 林毅，周芃，陳彥明.基于語義注意力的醫(yī)學圖像超分辨率方法 [J].計算機科學，2023，50（S2）：1017-1022.

作者簡介：丁玉祥（1994—），男，漢族，安徽蕪湖人，助教，碩士，研究方向：機器學習與圖像處理。