信息蒸餾與異構上采樣的眼底圖像超分辨重建

李航宇，玄祖興，周建平，胡晰遠，程鋼煒

1.北京聯(lián)合大學 北京市信息服務工程重點實驗室，北京 100101

2.北京聯(lián)合大學 數(shù)理與交叉科學研究院，北京 100101

3.安徽工業(yè)大學 計算機科學與技術學院，安徽 馬鞍山 243032

4.南京理工大學 計算機科學與工程學院，南京 210094

5.北京協(xié)和醫(yī)院 眼科中心，北京 100005

眼底圖像是許多眼部和全身疾病的診斷工具，包括糖尿病視網(wǎng)膜病變、青光眼、惡性高血壓和多發(fā)性硬化等[1]。然而，由于高清眼底照相設備價格昂貴且不便于攜帶，許多貧困地區(qū)的大規(guī)模疾病篩查主要依靠便攜式手持攝像機和遠程診斷來完成。研究表明，這一過程獲得的眼底圖像質量較差、分辨率低，不利于醫(yī)生的診斷[2-3]。同時，盡管正常的眼底圖像具有較高的分辨率來方便醫(yī)生對圖像的分割和診斷，但在一些較暗的光線和角度下拍攝的圖像，不足以清晰地顯示小的部位（微動脈瘤，出血，血管分支）。目前，在不升級硬件的情況下，超分辨的方法有望解決這個問題。

由一幅或多幅低分辨率（low-resolution，LR）圖像生成對應高分辨率（high-resolution，HR）圖像的過程稱為圖像的超分辨率重建[4]（super-resolution，SR）。在多幅圖像的SR任務中，利用同一場景下的多幅LR圖像提取信息生成一幅HR圖像，這不僅需要從同一場景下對圖像快速獲取，并且需要將它們快速地配準，這本身就是具有挑戰(zhàn)的問題，同時，這往往伴隨著巨大的計算量。因此，眼底圖像的SR任務更適合由單幅圖像來生成。

在過去的研究中，SR領域有許多出色的工作，傳統(tǒng)的SR算法大致分為基于插值的算法和基于學習的算法兩大類。其中插值算法包括雙線性[5]、雙三次插值[6]等方法，都被廣泛應用于醫(yī)學圖像的SR任務。可是由于HR圖像是由LR圖像像素間進行數(shù)學插值得到，在細節(jié)處往往會產(chǎn)生模糊。字典學習[7]和錨定鄰域回歸[8]等屬于基于學習的算法，它們往往需要大量的數(shù)據(jù)作為支撐，在數(shù)據(jù)不完備或者數(shù)據(jù)不匹配（例如用自然圖像作為字典來表示眼底圖像）的情況下，效果經(jīng)常不理想。

隨著深度學習的快速發(fā)展，各種深度學習方法也成為了SR領域的研究熱點。其中基于卷積神經(jīng)網(wǎng)絡的SRCNN[9]（super-resolution convolutional neural network）和FSRCNN[10]（fast super-resolution convolutional neural networks），它們較早被提出并應用于醫(yī)學圖像的SR任務[11]。VDSR[12]（very deep super-resolution networks）、EDSR[13]（enhanced deep super-resolution network）和RCAN[14]（residual channel attention networks）通過構建局部和全局殘差結構使網(wǎng)絡深度增加來提取深度特征。但是它們需要巨大的參數(shù)量，并且對于數(shù)據(jù)量少且特征單一的醫(yī)學圖像，訓練比較困難。同時，也有許多工作圍繞網(wǎng)絡輕量化進行。CARN[15]（cascading residual network）采用級聯(lián)結構在穩(wěn)定訓練的同時只使用了極小的參數(shù)量，在自然圖像上取得了優(yōu)異的結果并應用于眼底圖像的SR任務[16]。IDN[17]（information distillation network）提出了信息蒸餾結構，它將提取過程中的淺層特征明確地分成兩部分，一部分保留，另一部分被進一步處理，該結構可以有效地提取局部長路徑與短路徑特征。在此基礎上，IMDN[18]（information multi-distillation network）提出了信息多蒸餾結構使在網(wǎng)絡不加深的情況下盡可能地提取深度特征，并發(fā)現(xiàn)了網(wǎng)絡的運行速度受網(wǎng)絡深度的影響。LESRCNN[19]（lightweight enhanced super-resolution CNN）提出了異構的結構來解決很深的網(wǎng)絡丟失低頻特征的問題。為了讓生成的圖像更符合真實圖像的概率分布，對抗神經(jīng)網(wǎng)絡（GAN）[20-22]（superresolution using a generative adversarial network）也在SR領域有大量的工作并應用于眼底圖像的SR任務[23]。

盡管上述方法在自然圖像上取得了不錯的成績，也在眼底圖像上進行了應用。但對于眼底圖像的SR任務應該考慮減少算法的參數(shù)量，能夠集成在手持攝像機或者一般的醫(yī)生電腦上運行，并且保證運行時間盡可能得低，保證在疾病篩查時不造成延誤。不同于自然圖像，眼底圖像的高頻特征集中在視盤部分（圖1所示），可是對于其他邊緣處的血管（低頻特征）仍需要進行清晰的修復[24]，這對于輕量級的網(wǎng)絡是一個兩難的問題。針對這個問題，在IDN[17]和IMDN[18]的啟發(fā)下提出了一種基于殘差信息蒸餾結構和異構上采樣的輕量級超分辨網(wǎng)絡，在方法部分詳細介紹了本文提出的網(wǎng)絡結構。實驗在IDRID[25]數(shù)據(jù)集上進行，定性定量地探討了提出的結構的作用。對比于許多先進的方法，提出的網(wǎng)絡在參數(shù)量小于大多數(shù)輕量級網(wǎng)絡的同時獲得了最高的圖像質量（PSNR、SSIM[26]）。

圖1 眼底圖像的特征分布（藍色區(qū)域為高頻特征較多的視盤部分，黃色區(qū)域是密集的血管，綠色區(qū)域低頻特征較多）Fig.1 Feature distribution of fundus images

1 算法流程

提出網(wǎng)絡的結構如圖2所示，將LR圖像作為輸入，通過卷積（CONV3×3）變換為64通道后經(jīng)過8個殘差信息蒸餾塊（residual information distillation）提取特征，每個殘差信息蒸餾塊會分離出8個通道。將共計64個分離出的通道合并后通過通道注意力機制[27]（channel attention）賦予每個通道新的權重，再與初始信息相結合后進行上采樣（up-sample）。同時被殘差信息蒸餾塊提取的深度特征也進行上采樣操作，將兩個上采樣后得到的特征結合通過信息集成（information ensemble）模塊輸出HR圖像。

圖2 提出的網(wǎng)絡總流程（第一個CONV輸入為3通道，輸出64通道，up-sample模塊參數(shù)是共享的）Fig.2 Overall flow of proposed network

本章后面的內容介紹了每個結構的詳細信息和損失函數(shù)的設置。

1.1 殘差信息蒸餾與通道注意力機制

影響網(wǎng)絡運行速度的一個重要因素是網(wǎng)絡的深度，在運行過程中網(wǎng)絡的前一層和后一層有依賴的關系，進行當前的計算必須等待上一次計算完成，但是每一層的多個卷積運算可以并行處理，殘差信息蒸餾塊（如圖3（a））可以在不加深網(wǎng)絡的情況下盡可能提取到不同層次的特征，它的表達式如下：

其中，Ci表示第i個殘差信息蒸餾塊的Relu和CONV3×3操作，Split表示通道分離操作，F(xiàn)separation_i表示第i個蒸餾出的8個通道，F(xiàn)keep_i表示第i個保留的64個通道。Fout_i-1是第i-1個殘差信息蒸餾塊的輸出，它的表達式如下：

其中，C1×1_i-1表示第i-1殘差信息蒸餾塊的CONV1×1操作。每個Fseparation_i包含8個通道，將它們拼接后得到64個通道的特征經(jīng)過通道注意力模塊重新賦予權重，具體的表達式如下：

其中，joint表示通道拼接操作，F(xiàn)separation是總的蒸餾特征。ca表示通道注意力操作（如圖3（b）），表達式如下：

其中，F(xiàn)in和Fout是輸入和輸出，avgpool是平均池化操作，CR是模塊中的CONV1×1和Relu操作。由于被蒸餾出來的通道深度是不同的，所以在通道注意力機制中將通道從64壓縮至8個，再生成64個通道，目的是讓網(wǎng)絡關注于更重要的通道，調節(jié)通道之間的平衡。

1.2 異構上采樣與信息集成

每一層蒸餾出的特征都從某種程度上包含了當前深度的特征。因此將通道注意力塊處理過后的蒸餾特征看作是對初始的粗特征的一種補足。將它們結合后與殘差信息蒸餾塊保留的特征用同一個上采樣塊（參數(shù)共享）（如圖3（c））進行上采樣，具體表達式如下：

圖3 提出網(wǎng)絡的詳細結構注（（a）中的output1是分離的蒸餾特征；（b）中乘法操作是對應通道乘以對應權重；（c）為2倍SR任務的上采樣示意圖（4倍任務通道再乘4）；（d）中除最后一個CONV以外均為64通道））Fig.3 Detailed structure of proposed network

其中，up-sample是上采樣操作，F(xiàn)1和Fout_8分別為第一個CONV3×3和最后一個殘差信息蒸餾塊的輸出，U1和U2分別是粗特征和深度特征上采樣的結果。深度特征往往包含許多高頻的細節(jié)信息，而粗特征包含更多低頻的整體結構信息。將二者異構上采樣的目的是使生成的HR圖像能夠兼顧整體結構和細節(jié)信息。將上采樣后的特征結合，通過信息集成模塊（圖3（d））整合特征后輸出HR圖像，具體表達式如下：

其中，IHR表示生成的高清眼底圖像，IE是信息集成模塊的操作，通過4個Relu和CONV3×3交替處理后輸出3通道的彩色圖像。

1.3 損失函數(shù)

考慮生成圖像有豐富的細節(jié)并保持和ground-truth一樣的結構信息，用到了兩個損失函數(shù)。第一個損失函數(shù)是平均絕對誤差（L1范數(shù)），具體表達式如下：

其中，W和H是圖像的寬和高，指真實的圖像和生成的圖像在(x,y)處的像素值。第二個損失函數(shù)是由VGG16網(wǎng)絡構造的感知損失，具體的表達式如下：

其中，Wi,j和Hi,j是VGG16網(wǎng)絡中第i個激活層前第j個特征圖的寬和高分別是將真實圖像和HR圖像輸入VGG16網(wǎng)絡后在該層的特征圖的(x,y)位置的像素值。VGG網(wǎng)絡是預訓練好的分類網(wǎng)絡，通過控制特征圖相互接近來保證生成圖像具有和真實圖像接近的結構特征。

2 實驗分析

2.1 實驗設置

實驗使用IDRID[23]數(shù)據(jù)集來驗證提出的模型，數(shù)據(jù)集包含1 113張眼底圖像，所有圖像均具有足夠的質量和臨床意義，沒有重復。其中前750張作為訓練集，后350張作為測試集，剩余13張作為快速驗證集。為了去掉邊框和檢測背景，統(tǒng)一將圖像裁剪縮放至512×512作為ground-truth，通過雙三次插值下采樣得到2倍（256×256）和4倍（128×128）的LR圖像。隨機提取LR圖像中大小為48×48的圖像塊和對應的HR圖像塊來訓練模型，每組數(shù)據(jù)都通過隨機水平反轉和90°旋轉實現(xiàn)增強。所有的模型均在pytorch1.7中實現(xiàn)，服務器的CPU為10700k，頻率為3.8 MHz，運行內存大小為64 GB，頻率為3 200 MHz，GPU為NVIDIA GeForce GTX 3080（10 GB），硬盤為三星970EVOPlus NVMe M.2（1 TB）。模型訓練持續(xù)100 epochs，初始學習率為0.001，每10 epochs減半，batch size設置為16，平均絕對誤差和感知損失函數(shù)的比例為1∶0.06（通過網(wǎng)格搜索得出）。實驗結果的衡量指標主要采用PSNR和SSIM[24]。

2.2 模型分析

在這一節(jié)中，對提出的模型進行消融實驗，所有比較實驗均在四倍SR任務下進行。首先探討異構上采樣對網(wǎng)絡的增益，為了公平的比較，不對殘差信息蒸餾塊進行通道分離的操作，并且不增加CONV3×3的通道數(shù)（固定64通道），將這樣的結構稱為基本塊。表1記錄了五次異構上采樣和僅將基本塊輸出的深度特征上采樣的平均結果。由于上采樣模塊的參數(shù)是共享的，所以網(wǎng)絡的參數(shù)內存并沒有變化，異構上采樣在測試集上運行的時間略高，但在圖像質量尤其是SSIM上獲得了更高的成績。在異構上采樣的情況下，比較僅粗特征被通道注意力塊處理和利用蒸餾特征補充粗特征之間的差別，表2記錄了五次實驗的平均結果。在使用殘差信息蒸餾塊分離的特征補充粗特征后，參數(shù)內存和運行時間有小幅的增加，但圖像質量有更明顯的增長。圖4展示了使用異構上采樣并用蒸餾信息對粗特征補足在圖像上的效果。由于粗特征包含更多的低頻信息，可以觀察到圖像在邊緣位置（藍色箭頭標出）更加的光滑，而僅使用深度特征上采樣的圖像在邊緣處有更多的鋸齒。

表1 異構與普通上采樣對比結果Table 1 Compare heterogeneous and normal up-sampling

表2 不同特征提取塊的對比結果Table 2 Compare different feature extraction blocks

圖4 提出的結構生成眼底圖像對比Fig.4 Fundus image generated by proposed structure

2.3 與先進的方法比較

為了進一步地驗證模型的性能，將它與一些先進的 方 法（雙 三 次 插 值[6]、SRCNN[9]、VDSR[12]、EDSR[13]、CARN[15]、IMDN[18]、LESRCNN[19]、SRGAN[20]）從生成圖像質量、參數(shù)內存、運行時間三個方面進行比較。表3記錄了每個方法五次訓練的平均結果，相比于不需要預先上采樣LR圖像的方法（EDSR、SRGAN、CARN、IMDN、LESRCNN），提出的模型在參數(shù)內存和運行時間上取得了較好的成績（僅高于IMDN）。同時，對比于所有方法，提出的模型獲得了最高的圖像質量（PSNR、SSIM[26]）。圖5展示了不同方法生成高清眼底圖像的差別，在第一行中，細微血管的生成往往是比較困難的，預先上采樣的方法（雙三次插值、SRCNN、VDSR）生成的部分顏色不明顯且很模糊，其他方法生成的血管都有一些顆粒感，本文提出的模型生成出了較細膩的血管。在第二行圖像的視盤部分，在血管密集部分其他方法生成的圖像都有些許血管粘連。在第三行圖像的黃斑區(qū)部分，盡管在二倍圖像的SR任務下與其他方法生成的圖像結構差別不大，但是其他的方法的背景有一定的色差并且伴隨少量偽影。圖6展示了本文提出的方法與先進的輕量級網(wǎng)絡的比較，其中SRGAN作為參考，提出的網(wǎng)絡在參數(shù)量僅高于IMDN且遠小于一般網(wǎng)絡（SRGAN為例）的情況下取得了最高的重建質量，這表明考慮眼底圖像的特征分布提出針對性的網(wǎng)絡結構是有效的。圖7展示了不需要預先上采樣LR圖像的方法的驗證曲線。由于訓練時蒸餾特征對粗特征的補足，提出的模型驗證曲線波動較小，相比于其他方法，訓練較為穩(wěn)定，更易收斂。

表3 與先進的方法比較的結果Table 3 Results of comparison with advanced methods

圖5 與先進方法生成的圖像對比Fig.5 Comparison with image generated by advanced method

圖6 與先進的輕量級網(wǎng)絡比較Fig.6 Comparison with advanced lightweight networks

圖7 后上采樣方法的驗證曲線Fig.7 Validation curve of post-up-sampling method

3 結束語

本文提出了一種基于信息蒸餾與異構上采樣的眼底圖像超分辨算法。不同于自然圖像，眼底圖像特征種類較為單一，但對于細節(jié)和整體結構的準確度需求較高。因此設計了一個殘差信息蒸餾塊，在深度提取特征的同時不斷分離出蒸餾特征對初始的粗特征進行補足。同時，采用異構的方式將粗特征和深度特征分別進行上采樣，集成二者的上采樣特征生成高清眼底圖像。與一些先進的算法比較，在參數(shù)內存和運行時間取得優(yōu)異的成績同時獲得了最高的圖像質量。因此，提出的模型為超分辨算法嵌入在移動式眼底攝像機或者普通醫(yī)用設備上提供了思路。

在設計網(wǎng)絡時，為了減少參數(shù)量，共享了異構上采樣模塊的參數(shù)，這導致蒸餾特征的通道數(shù)量需要與深度特征的通道數(shù)一致。本文將殘差信息蒸餾塊分離的通道數(shù)量設置為常量（每次分離8個通道，共計分離出64個通道），盡管減少了模型的復雜度，但也限制了模型的表達能力。這也表明模型具有在降低參數(shù)量的同時提升重建圖像質量的潛力。通過設計更靈活的信息蒸餾塊使網(wǎng)絡適應不同種類的醫(yī)學圖像（不同的特征分布）和自然圖像將是未來工作的一部分。