基于稀疏神經(jīng)網(wǎng)絡(luò)的圖像超分辨率重建算法

黎浩民，李光平

（廣東工業(yè)大學(xué)信息工程學(xué)院，廣州 510000）

0 概述

單幀圖像超分辨率（Single Image Super-Resolution，SISR）重建是指通過特定的算法模型對(duì)丟失高頻特征信息的低分辨率圖像重建出一張清晰的高分辨率圖像。近年來，SISR 技術(shù)被廣泛應(yīng)用于移動(dòng)端設(shè)備的視覺成像、監(jiān)控成像、遙感衛(wèi)星成像、醫(yī)學(xué)成像等多個(gè)領(lǐng)域。

現(xiàn)有SISR 重建算法主要分為基于插值和基于深度學(xué)習(xí)兩類?；诓逯档闹亟ㄋ惴ㄓ?jì)算復(fù)雜度較低，重建速度較快，其依據(jù)低分辨率圖像的已知特征信息和空間的維度相關(guān)性在合適的位置插入若干像素點(diǎn)來提高低分辨率圖像的分辨率。由于此類算法主要是通過簡單地評(píng)估相鄰像素點(diǎn)之間的相關(guān)性來擴(kuò)充低分辨率圖像的特征信息，因此在重建的過程中難以獲取真實(shí)圖像的高頻信息，導(dǎo)致高分辨率圖像丟失細(xì)節(jié)特征，并且成像視覺效果較差?；谏疃葘W(xué)習(xí)的重建算法主要通過神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)低分辨率圖像與對(duì)應(yīng)高分辨率圖像之間的映射關(guān)系，利用這個(gè)映射關(guān)系的先驗(yàn)知識(shí)將低分辨率圖像映射為高質(zhì)量的高分辨率圖像。文獻(xiàn)［1-3］研究表明，基于深度學(xué)習(xí)的算法比基于插值的算法具有更強(qiáng)大的重建性能，能夠顯著提高重建圖像的質(zhì)量。

在基于深度學(xué)習(xí)的重建算法中，特征表達(dá)能力強(qiáng)的網(wǎng)絡(luò)層能夠更有效地學(xué)習(xí)圖像的特征表示，捕獲更細(xì)粒度和豐富的細(xì)節(jié)特征。部分基于深度學(xué)習(xí)的SISR 重建算法［3-4］通過使用更深的網(wǎng)絡(luò)層和更復(fù)雜的連接方式來提高網(wǎng)絡(luò)模型的整體特征表達(dá)能力，進(jìn)而提升重建性能。雖然在一定程度上通過擴(kuò)大網(wǎng)絡(luò)層的深度和復(fù)雜的連接方式能夠增強(qiáng)網(wǎng)絡(luò)層的整體特征表達(dá)能力，但是過度依賴于這種方式會(huì)導(dǎo)致網(wǎng)絡(luò)模型中的參數(shù)量和計(jì)算復(fù)雜度急劇上升。在神經(jīng)網(wǎng)絡(luò)中，參數(shù)量代表了網(wǎng)絡(luò)模型的規(guī)模，而計(jì)算復(fù)雜度代表了網(wǎng)絡(luò)模型前向推理的效率。從實(shí)際應(yīng)用的意義上來說，網(wǎng)絡(luò)模型的規(guī)模和超分辨率圖像的重建速度會(huì)限制SISR 網(wǎng)絡(luò)模型在現(xiàn)實(shí)場景中的應(yīng)用。文獻(xiàn)［5］指出，舍棄深度網(wǎng)絡(luò)層中冗余的參數(shù)不僅能夠減小網(wǎng)絡(luò)模型過參數(shù)化所帶來的消極影響，而且還能提高特征表達(dá)的穩(wěn)定性。

神經(jīng)網(wǎng)絡(luò)的剪枝算法通過舍棄部分參數(shù)的方式來減少網(wǎng)絡(luò)模型的參數(shù)量?，F(xiàn)有剪枝算法主要可分為結(jié)構(gòu)化剪枝算法和非結(jié)構(gòu)化剪枝算法兩大類。結(jié)構(gòu)化剪枝算法通過舍棄網(wǎng)絡(luò)層中部分的通道達(dá)到減少參數(shù)量的效果。由于這種方式是在網(wǎng)絡(luò)結(jié)構(gòu)上做出的調(diào)整，因此原來的網(wǎng)絡(luò)結(jié)構(gòu)會(huì)發(fā)生改變。非結(jié)構(gòu)化剪枝算法通過將網(wǎng)絡(luò)層中部分參數(shù)歸零的方式來舍棄部分參數(shù)，因此，不會(huì)改變原來的網(wǎng)絡(luò)結(jié)構(gòu)。文獻(xiàn)［6-7］將結(jié)構(gòu)化剪枝算法應(yīng)用到圖像超分辨率網(wǎng)絡(luò)模型中，在確保重建性能的情況下，最大化地輕量化網(wǎng)絡(luò)模型的規(guī)模，以部署到實(shí)際應(yīng)用場景中。

文獻(xiàn)［8］提出神經(jīng)網(wǎng)絡(luò)的非結(jié)構(gòu)化剪枝算法LTH。算法的設(shè)計(jì)思想是將一個(gè)復(fù)雜的神經(jīng)網(wǎng)絡(luò)視作一個(gè)獎(jiǎng)池，而中獎(jiǎng)彩票則是一組權(quán)重參數(shù)所對(duì)應(yīng)的稀疏子網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果表明，LTH 算法通過搜索最優(yōu)的稀疏子網(wǎng)絡(luò)，在圖像分類任務(wù)上取得了顯著的效果，但應(yīng)用在圖像超分辨率任務(wù)上卻效果較差。

LTH 算法采用非均衡的特征學(xué)習(xí)策略，只注重于網(wǎng)絡(luò)模型的稀疏程度，而忽視了特征表達(dá)的多樣性。為進(jìn)一步提高圖像重建性能，本文結(jié)合圖像超分辨率重建任務(wù)的特點(diǎn)，在LTH 算法的基礎(chǔ)上提出一種基于均衡學(xué)習(xí)策略的動(dòng)態(tài)非結(jié)構(gòu)化剪枝算法RLTH。該算法在保證網(wǎng)絡(luò)模型稀疏性的同時(shí)還注重權(quán)重參數(shù)學(xué)習(xí)的多樣性，能夠解決圖像超分辨率重建任務(wù)中網(wǎng)絡(luò)模型過參數(shù)化導(dǎo)致重建性能下降的問題，并在不改變網(wǎng)絡(luò)結(jié)構(gòu)和不增加計(jì)算復(fù)雜度的前提下提高重建超分辨率圖像的質(zhì)量。

1 相關(guān)工作

1.1 基于深度學(xué)習(xí)的單幀圖像超分辨率重建算法

文獻(xiàn)［9］提出SRCNN 模型，通過三層CNN 分別實(shí)現(xiàn)低分辨率圖像的特征提取、特征的非線性映射和高分辨率圖像的重建過程。相對(duì)于傳統(tǒng)基于插值的圖像超分辨率重建算法，SRCNN 重建的高分辨率圖像具有更豐富的細(xì)節(jié)特征，且圖像的輪廓清晰可見。文獻(xiàn)［10］提出DRN 網(wǎng)絡(luò)模型，通過訓(xùn)練低分辨率圖像與高分辨率圖像之間的對(duì)偶映射關(guān)系，并利用閉環(huán)的映射關(guān)系來降低低分辨率圖像對(duì)高分辨率圖像的依賴性，進(jìn)而解決真實(shí)樣本的超分辨率問題。文獻(xiàn)［11］提出RFANet 網(wǎng)絡(luò)模型，利用殘差模塊和增強(qiáng)空間注意力模塊的有效特征提取能力，將它們整合為殘差特征聚合框架，從而提高超分辨率圖像的質(zhì)量。文獻(xiàn)［12］提出的TTSR 網(wǎng)絡(luò)模型是一種可學(xué)習(xí)的紋理提取器，其通過訓(xùn)練來獲取最適合超分辨率重建的紋理信息，為紋理遷移和紋理合成提供豐富的紋理基礎(chǔ)信息，最終生成高質(zhì)量的超分辨率圖像。

現(xiàn)有的SISR 重建算法中大部分通過設(shè)計(jì)較深的網(wǎng)絡(luò)結(jié)構(gòu)和使用復(fù)雜的網(wǎng)絡(luò)連接策略來增強(qiáng)特征提取能力，以利用有效的特征提取能力從低分辨率圖像中學(xué)習(xí)和捕獲豐富的紋理特征，進(jìn)而獲得高質(zhì)量的超分辨率圖像。但是，這種過量擴(kuò)大網(wǎng)絡(luò)深度和使用復(fù)雜的連接方式會(huì)導(dǎo)致網(wǎng)絡(luò)模型的大小和計(jì)算復(fù)雜度急劇上升。

1.2 神經(jīng)網(wǎng)絡(luò)的非結(jié)構(gòu)化剪枝算法

神經(jīng)網(wǎng)絡(luò)的非結(jié)構(gòu)化剪枝算法［13-15］通過將某些參數(shù)歸零的方式來獲得稀疏子網(wǎng)絡(luò)，一般地，神經(jīng)網(wǎng)絡(luò)的稀疏性可以提高特征選擇和泛化的能力。一方面，一些研究者通過探索有效的非結(jié)構(gòu)剪枝方式去獲得稀疏子網(wǎng)絡(luò)，如利用不同的正則化技術(shù)或設(shè)計(jì)可行的剪枝策略。文獻(xiàn)［13-14，16］所提出的方法是通過利用L2 正則化技術(shù)優(yōu)化基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的模型來獲得稀疏子網(wǎng)絡(luò)。文獻(xiàn)［15］通過L0 正則化技術(shù)來獲得稀疏子網(wǎng)絡(luò)。文獻(xiàn)［17］通過聯(lián)合正則化技術(shù)和參數(shù)的敏感度評(píng)估來實(shí)現(xiàn)剪枝的過程。不同于上述利用正則化技術(shù)的方法，文獻(xiàn)［8］通過迭代的動(dòng)態(tài)剪枝過程將不重要的參數(shù)歸零來搜索最優(yōu)的稀疏子網(wǎng)絡(luò)。另一方面，一些研究者把注意力放在了非結(jié)構(gòu)化剪枝方法所帶來的效率問題上，并探索如何將這種效率落實(shí)到硬件設(shè)備上。文獻(xiàn)［18］探索了在CNN 模型中找到平衡的稀疏度并在硬件設(shè)備上加速神經(jīng)網(wǎng)絡(luò)的推理過程。文獻(xiàn)［19］通過對(duì)網(wǎng)絡(luò)參數(shù)的評(píng)估來實(shí)現(xiàn)參數(shù)的剪枝和復(fù)原過程，并嘗試最大化地壓縮基于密集神經(jīng)網(wǎng)絡(luò)（Dense Neural Network，DNN）或CNN 的模型來加速訓(xùn)練的過程。此外，文獻(xiàn)［13］將稀疏網(wǎng)絡(luò)部署到單獨(dú)設(shè)計(jì)的硬件設(shè)備上，獲得了非常高的加速效率。

2 均衡學(xué)習(xí)的動(dòng)態(tài)非結(jié)構(gòu)化剪枝算法

2.1 LTH 剪枝算法

神經(jīng)網(wǎng)絡(luò)的非結(jié)構(gòu)化剪枝算法處理的對(duì)象是網(wǎng)絡(luò)層中的權(quán)重參數(shù)，其目的是剪掉網(wǎng)絡(luò)層中冗余的或者對(duì)網(wǎng)絡(luò)模型最終輸出結(jié)果幾乎不產(chǎn)生影響的權(quán)重參數(shù)。因此，這種剪枝算法只是在網(wǎng)絡(luò)層的權(quán)重參數(shù)層面進(jìn)行處理，而不會(huì)影響整個(gè)網(wǎng)絡(luò)模型的具體結(jié)構(gòu)。LTH 算法通過迭代訓(xùn)練的方式在每輪迭代中將無意義的權(quán)重參數(shù)歸零來實(shí)現(xiàn)剪枝的過程，從而進(jìn)一步搜索最優(yōu)的稀疏子網(wǎng)絡(luò)。具體地，LTH 算法是通過比較權(quán)重參數(shù)和閾值的大小關(guān)系來判斷網(wǎng)絡(luò)層中的一個(gè)權(quán)重參數(shù)是否是具有意義的。當(dāng)權(quán)重參數(shù)的值小于閾值，則認(rèn)為該權(quán)重參數(shù)是無意義或者冗余的，否則認(rèn)為該權(quán)重參數(shù)是具有學(xué)習(xí)潛力和有意義的。閾值λ是一個(gè)動(dòng)態(tài)的值，其計(jì)算公式為：

其中：Wt表示經(jīng)過t次迭代后任意一層網(wǎng)絡(luò)層中的權(quán)重參數(shù)；frank是一個(gè)將Wt進(jìn)行遞增排序的函數(shù)；F是一個(gè)計(jì)算有序權(quán)重參數(shù)的第p百分位數(shù)的函數(shù)。對(duì)于將權(quán)重參數(shù)歸零的剪枝過程，LTH 算法通過使用掩碼m與相應(yīng)的Wt對(duì)應(yīng)位置上的元素相乘來實(shí)現(xiàn)。掩碼m的定義可以表示為：

其中：i、j和k表示一個(gè)張量中的元素索引。從式（2）中可以看出，當(dāng)?shù)陀趧?dòng)態(tài)閾值λ時(shí)，在掩碼m對(duì)應(yīng)的索引位置上將元素的值設(shè)置為0，否則將元素的值設(shè)置為1。通過這種方式，在每輪的迭代剪枝中舍棄無意義的權(quán)重參數(shù)，而保留具有潛力的權(quán)重參數(shù)去學(xué)習(xí)數(shù)據(jù)的特征表示。網(wǎng)絡(luò)層中權(quán)重參數(shù)的歸零處理可以被表示為：

其中：W0是網(wǎng)絡(luò)層進(jìn)行隨機(jī)初始化時(shí)的權(quán)重參數(shù)；⊙運(yùn)算符表示2 個(gè)張量之間相同位置上的元素相乘。通過式（3），在每輪迭代剪枝中使用網(wǎng)絡(luò)層初始化時(shí)的權(quán)重參數(shù)W0來初始化本次迭代的權(quán)重參數(shù)，并將其作為模型微調(diào)的初始狀態(tài)。雖然LTH 算法在圖像分類任務(wù)上通過搜索最優(yōu)的稀疏子網(wǎng)絡(luò)獲得了突出的性能表現(xiàn)，但是在圖像超分辨率重建任務(wù)上卻不能獲得較好的效果。

2.2 RLTH 剪枝算法

本文在LTH 算法的基礎(chǔ)上改變權(quán)重參數(shù)的非均衡學(xué)習(xí)策略，提出一個(gè)基于均衡學(xué)習(xí)策略的非結(jié)構(gòu)化剪枝算法RLTH。通過在訓(xùn)練的過程中監(jiān)聽網(wǎng)絡(luò)層權(quán)重參數(shù)的變化過程，將參數(shù)值落入局部小范圍內(nèi)的權(quán)重參數(shù)加入到凍結(jié)隊(duì)列中。權(quán)重參數(shù)一旦加入到凍結(jié)隊(duì)列，將在本次迭代中保持當(dāng)前的值，不再對(duì)參數(shù)進(jìn)行更新。換言之，當(dāng)權(quán)重參數(shù)在訓(xùn)練的過程中變成一個(gè)極小的值，則其對(duì)輸出特征圖所產(chǎn)生的影響是微乎其微的。因此，對(duì)于這類權(quán)重參數(shù)，可以選擇不再對(duì)其進(jìn)行參數(shù)的更新，而將特征學(xué)習(xí)的側(cè)重點(diǎn)放在有潛力的權(quán)重參數(shù)上。在具體實(shí)現(xiàn)時(shí)，本文通過控制權(quán)重參數(shù)在訓(xùn)練過程中所產(chǎn)生的梯度來實(shí)現(xiàn)，其中梯度的控制可以表示為：

其中：Lloss是損失函數(shù)是網(wǎng)絡(luò)層中相應(yīng)索引位置上權(quán)重參數(shù)的梯度值；EPS 是一個(gè)固定的正數(shù)閾值。在訓(xùn)練的過程中，本文將絕對(duì)值大小在閾值范圍內(nèi)的權(quán)重參數(shù)的梯度歸零，限制它們在微調(diào)訓(xùn)練的過程中學(xué)習(xí)特征的表達(dá)。最終，Wt的參數(shù)優(yōu)化過程可以表示為：

其中：α是參數(shù)優(yōu)化的學(xué)習(xí)率。通過這種均衡的學(xué)習(xí)方式，本文所提出的RLTH 算法在滿足特征多樣性的前提下使網(wǎng)絡(luò)層的權(quán)重參數(shù)能夠最大化地學(xué)習(xí)到圖像的特征信息。相對(duì)而言，雖然LTH 算法通過非均衡的學(xué)習(xí)策略能夠?qū)崿F(xiàn)網(wǎng)絡(luò)層最大化的稀疏程度，但其忽略了負(fù)數(shù)階的權(quán)重參數(shù)在特征多樣性的學(xué)習(xí)中所占的比重。對(duì)于圖像超分辨率重建任務(wù)而言，特征多樣性的學(xué)習(xí)扮演了最重要的角色。算法1描述了RLTH 算法的過程，其中：T表示迭代剪枝的次數(shù)；E表示訓(xùn)練的迭代次數(shù)；D表示訓(xùn)練數(shù)據(jù)集。

算法1RLTH 算法

2.3 基于RLTH 剪枝算法的MSRResNet 網(wǎng)絡(luò)模型

本文所使用的網(wǎng)絡(luò)模型MSRResNet［6］整體框架如圖1 所示。

圖1 MSRResNet 網(wǎng)絡(luò)模型框架Fig.1 Framework of MSRResNet network model

低分辨率圖像ILR作為該端到端網(wǎng)絡(luò)模型的輸入，首先經(jīng)過卷積層的特征提取過程，可以表示為：

其中：Cextract是實(shí)現(xiàn)特征提取的卷積神經(jīng)網(wǎng)絡(luò)；Ifea是卷積神經(jīng)網(wǎng)絡(luò)對(duì)低分辨率圖像ILR所提取到的特征圖。然后，特征圖Ifea經(jīng)過深度網(wǎng)絡(luò)模塊的非線性映射過程，可以表示為：

其中：Cdeep是實(shí)現(xiàn)特征的非線性映射的卷積神經(jīng)網(wǎng)絡(luò)；Ideep是特征圖Ifea經(jīng)過深度網(wǎng)絡(luò)模塊的非線性映射后得到的深度特征圖。最后，Ideep在經(jīng)過上采樣和特征融合過程后重建為超分辨率圖像，該過程可以表示為：

其中：Cup是實(shí)現(xiàn)上采樣的卷積神經(jīng)網(wǎng)絡(luò)；Cmerge是實(shí)現(xiàn)特征融合的卷積神經(jīng)網(wǎng)絡(luò)；IHR是最終重建的超分辨率圖像。

圖1 所示的網(wǎng)絡(luò)層可以分為兩類，一類是由獨(dú)立的卷積層作為特征學(xué)習(xí)的模塊，另一類是由多層深度的卷積層通過復(fù)雜的連接策略所構(gòu)成的Basic Block 網(wǎng)絡(luò)模塊。其中，Basic Block 網(wǎng)絡(luò)模塊是一個(gè)可擴(kuò)展和替換的特征學(xué)習(xí)網(wǎng)絡(luò)模塊。值得注意的是，本文只是對(duì)網(wǎng)絡(luò)模型中參數(shù)量占主導(dǎo)地位的Basic Block 網(wǎng)絡(luò)模塊應(yīng)用RLTH 算法，利用該算法的迭代剪枝方式和均衡的學(xué)習(xí)策略去搜索最優(yōu)的稀疏子網(wǎng)絡(luò)，具體流程如圖2 所示。通過這種方式，可以舍棄Basic Block 網(wǎng)絡(luò)模塊中冗余的參數(shù)，把特征學(xué)習(xí)的側(cè)重點(diǎn)放在有潛力的權(quán)重參數(shù)上，避免冗余的參數(shù)所帶來的消極影響。

圖2 RLTH 算法搜索稀疏子網(wǎng)絡(luò)的過程Fig.2 The process of RLTH algorithm searching for sparse sub-networks

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集與實(shí)驗(yàn)參數(shù)

為了與之前的SISR 研究工作保持一致，本文采用DIV2K［20］的800 幅訓(xùn)練圖像進(jìn)行訓(xùn)練。在開始訓(xùn)練之前，對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行旋轉(zhuǎn)和翻轉(zhuǎn)的數(shù)據(jù)增強(qiáng)預(yù)處理。值得注意的是，輸入模型的訓(xùn)練圖像是從一張高分辨率圖像上隨機(jī)裁剪得到的96×96×3 大小的子圖像。為保證測試的可靠性，本文選擇Set5［21］、Set14［22］和BSD100［23］測試數(shù)據(jù)集進(jìn)行實(shí) 驗(yàn)。同 時(shí)，使用MSRA［24］對(duì)網(wǎng)絡(luò)的參數(shù)進(jìn)行初始化，采用Adam［25］優(yōu)化器進(jìn)行優(yōu)化，初始學(xué)習(xí)率設(shè)置為10-4。Adam 優(yōu)化器的初始參數(shù)為：β1=0.9，β2=0.999，ε=10-9。此外，用于優(yōu)化網(wǎng)絡(luò)模型采用的是均方誤差（Mean Square Error，MSE）損失函數(shù)。

3.2 結(jié)果分析

本文在不同的測試集上對(duì)分別應(yīng)用LTH 算法和RLTH算法的MSRResNet［6］網(wǎng)絡(luò)模型進(jìn)行 性能比較。為了保證比較的公平性，對(duì)比模型采用作者提供的官網(wǎng)代碼，并在實(shí)驗(yàn)中使用作者設(shè)定的默認(rèn)參數(shù)。對(duì)于圖像質(zhì)量的客觀評(píng)估標(biāo)準(zhǔn)，本文采用峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似度指數(shù)（Structural Similarity，SSIM）評(píng)估重建的超分辨率圖像質(zhì)量。在實(shí)驗(yàn)中，分析通過LTH 算法和RLTH 算法的剪枝過程后網(wǎng)絡(luò)模型在不同稀疏百分比情況下的重建性能，并進(jìn)一步分析RLTH 算法在不同的剪枝率條件下的重建性能。除此之外，還比較重建超分辨率圖像的運(yùn)行時(shí)間和模型的大小，以及超分辨率圖像的視覺效果。

3.2.1 客觀評(píng)價(jià)標(biāo)準(zhǔn)分析

對(duì)比各個(gè)模型在Set5、Set14 和BSD100 測試集上的平均PSNR 和SSIM，如表1 和表2 所示，其中最優(yōu)結(jié)果通過字體加粗的方式表示。表1 列出了不同的網(wǎng)絡(luò)模型所重建的4 倍超分辨率圖像在RGB 通道上的平均PSNR 和SSIM。可以看出：應(yīng)用本文所提出的RLTH 算法在不同的測試集上的平均PSNR 和SSIM 都是最高的；與應(yīng)用LTH 算法相比，應(yīng)用RLTH算法在Set5 測試集上平均PSNR 和SSIM 分別提高0.65 dB 和0.009 7，在Set14 測試集上分別提高0.48 dB 和0.011 5，而在BSD100 測試集上分別提高0.37 dB 和0.011 6；與原始模型相比，應(yīng)用RLTH 算法在Set5、Set14 和BSD100 測試集上分別提高0.1 dB和0.002 1、0.07 dB 和0.000 7、0.08 dB 和0.001。表2列出了重建的4 倍超分辨率圖像在Y通道上的平均PSNR 和SSIM?？梢钥闯觯簯?yīng)用RLTH 算法的網(wǎng)絡(luò)模型在不同的測試集上表現(xiàn)最好。

表1 在Set5、Set14和BSD100測試集上的性能評(píng)估（RGB通道）Table 1 Performance evaluation on the Set5，Set14 and BSD100 test set（sRGB channel）

表2 在Set5、Set14 和BSD100 測試集上的性能評(píng)估（Y 通道）Table 2 Performance evaluation on Set5，Set14 and BSD100 test set（sY channel）

本文在Set5 測試集上對(duì)比通過LTH 算法和RLTH 算法的剪枝過程后，網(wǎng)絡(luò)模型在不同的稀疏百分比情況下的重建性能，如圖3 所示?？梢钥闯觯瑧?yīng)用RLTH 算法的網(wǎng)絡(luò)模型總體上是先逐漸上升而隨后逐漸下降的，并在稀疏百分比為7.95%時(shí)獲得了最優(yōu)的平均PSNR。雖然應(yīng)用LTH 算法的網(wǎng)絡(luò)模型總體上與應(yīng)用RLTH 算法的趨勢相似，但是由于該算法采用不平衡的學(xué)習(xí)策略而忽視了權(quán)重參數(shù)學(xué)習(xí)的多樣性，導(dǎo)致在圖像超分辨率任務(wù)上效果較差。相對(duì)而言，本文所提出的RLTH 算法在保證網(wǎng)絡(luò)模型的稀疏性的前提下，同時(shí)能夠確保權(quán)重參數(shù)學(xué)習(xí)的多樣性。因此，網(wǎng)絡(luò)模型在應(yīng)用RLTH 算法之后，重建的性能得到了明顯的提高。

圖3 不同稀疏百分比下的PSNR 比較Fig.3 Comparison of PSNR under different sparsity percent

在Set5 測試集上進(jìn)一步分析剪枝率對(duì)應(yīng)用RLTH 算法的網(wǎng)絡(luò)模型所產(chǎn)生的影響，如圖4 所示。可以看出，網(wǎng)絡(luò)模型在采用較小剪枝率的條件下獲得了較高的平均PSNR，而采用較大的剪枝率反而效果較差。實(shí)驗(yàn)結(jié)果表明，網(wǎng)絡(luò)模型搜索最優(yōu)的稀疏子網(wǎng)絡(luò)是一個(gè)漸進(jìn)搜索和微調(diào)的過程，不能采用大范圍的搜索方式。

圖4 不同剪枝率下的PSNR 比較Fig.4 Comparison of PSNR under different pruning percent

3.2.2 主觀評(píng)價(jià)標(biāo)準(zhǔn)分析

對(duì)重建的4 倍超分辨率圖像進(jìn)行視覺效果比較，如 圖5和圖6所示，相 關(guān)PSNR 和SSIM 指標(biāo)如表3 所示?？梢钥闯?，應(yīng)用RLTH 算法的網(wǎng)絡(luò)模型所重建的超分辨率圖像擁有更豐富的細(xì)節(jié)特征，并且內(nèi)容的輪廓更清晰。在圖5 中，應(yīng)用RLTH 算法的模型所重建的Butterfly 圖像在翅膀上的斑點(diǎn)更清晰，并且擁有更多的細(xì)節(jié)特征。在圖6 中，應(yīng)用RLTH 算法的模型所重建的Woman 圖像在整體和局部的輪廓上更清晰，而原始模型所重建的圖像在局部細(xì)節(jié)上相對(duì)比較模糊。

圖5 Butterfly 重建圖像的視覺效果比較Fig.5 Comparison of visual quality of the reconstructed Butterfly image

圖6 Woman 重建圖像的視覺效果比較Fig.6 Comparison of visual quality of the reconstructed Woman image

表3 Butterfly 與Woman 重建圖像性能指標(biāo)Table 3 Performance index for reconstructed Butterfly and Woman images

3.2.3 運(yùn)行效率分析

在Set5 測試集上比較重建4 倍超分辨率圖像所消耗的時(shí)間，如表4 所示。為了保證比較的公平性，本文在同一個(gè)平臺(tái)環(huán)境（Inter Core i5 10600+NVIDIA GTX2060 Super）中對(duì)網(wǎng)絡(luò)模型進(jìn)行測試?？梢钥闯?，應(yīng)用RLTH 算法的網(wǎng)絡(luò)模型與原始模型在重建超分辨率圖像時(shí)所消耗的時(shí)間基本一致。同時(shí)，網(wǎng)絡(luò)模型的大小也是保持一致的。由于RLTH算法的剪枝過程只是在訓(xùn)練階段通過剪枝評(píng)估策略對(duì)權(quán)重參數(shù)進(jìn)行評(píng)估，并將被評(píng)估為冗余的權(quán)重參數(shù)置為零，因此這種非結(jié)構(gòu)化的剪枝方式僅僅改變的是網(wǎng)絡(luò)層中權(quán)重參數(shù)的大小，并不會(huì)改變網(wǎng)絡(luò)模型的整體結(jié)構(gòu)。此外，RLTH 算法在訓(xùn)練階段實(shí)則是起到一個(gè)指導(dǎo)訓(xùn)練的作用，而并非是一個(gè)具體的網(wǎng)絡(luò)層模塊。因此，應(yīng)用RLTH 算法的模型與原始模型的大小是一致的，并不會(huì)增加網(wǎng)絡(luò)模型的參數(shù)量，模型大小均為5.8 MB。

表4 重建高分辨率圖像所消耗的時(shí)間Table 4 Time consuming for high-resolution images reconstruction ms

4 結(jié)束語

本文基于LTH 算法提出適用于圖像超分辨率重建任務(wù)的動(dòng)態(tài)非結(jié)構(gòu)化剪枝算法RLTH，在保證網(wǎng)絡(luò)模型稀疏性的同時(shí)，通過均衡的學(xué)習(xí)策略來確保權(quán)重參數(shù)學(xué)習(xí)特征的多樣性。實(shí)驗(yàn)結(jié)果表明，在不改變網(wǎng)絡(luò)結(jié)構(gòu)和不增加計(jì)算復(fù)雜度的前提下，RLTH 剪枝算法應(yīng)用在SISR 網(wǎng)絡(luò)模型上能夠明顯提高重建的超分辨率圖像質(zhì)量。后續(xù)將在圖像超分辨率重建任務(wù)中應(yīng)用神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)化剪枝算法，使圖像質(zhì)量和效率得到進(jìn)一步提升。