應(yīng)用于視覺測量的圖像超分辨率重建算法*

王亞金，吳麗君，陳志聰，鄭 巧，程樹英，林培杰

(福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350108)

0 引言

建筑結(jié)構(gòu)的位移監(jiān)測對于建筑的安全性保證是十分重要的，比如斜拉橋和懸索橋這類采用索纜作為主體的建筑結(jié)構(gòu)，在極端天氣下發(fā)生的振動對整體建筑的安全性影響不可忽視。近年來，基于視覺的非接觸式測量方法因?yàn)槠鋵?shí)用性被廣泛應(yīng)用于位移測量，但目前的方法仍存在一些局限性。首先，當(dāng)拍攝距離較遠(yuǎn)，需要提高測量精度時，通常只能縮小視場范圍，測量精度與視場大小二者是相互矛盾的，也可以考慮采用多個設(shè)備同步測量，但這會大幅度提高成本。其次，橋梁索纜圖像的采集是在戶外條件下，因此采集到的圖像會受到各種噪聲干擾，這種低質(zhì)圖像會給后續(xù)的位移測量工作帶來困難。圖像超分辨率重建是一種有效提升圖像質(zhì)量、重建目標(biāo)細(xì)節(jié)特征的圖像處理方法，為解決上述提出的位移測量問題提供了一個新的思路。

圖像的超分辨率重建是指將給定的低分辨率圖像(Low Resolution，LR)通過特定的算法變換為對應(yīng)的高分辨率圖像(High Resolution，HR)。圖像的超分辨率重建在衛(wèi)星圖像和醫(yī)學(xué)影像等領(lǐng)域都已有廣泛的應(yīng)用。本文主要研究的是基于深度學(xué)習(xí)的單幅圖像超分辨率重建(Single Image Super-Resolution，SISR）。超分辨率卷積神經(jīng)網(wǎng)絡(luò)(SRCNN)[1]是首次提出使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)解決超分辨率問題的算法，網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)簡單，僅使用三層卷積網(wǎng)絡(luò)進(jìn)行非線性映射，在速度和重建效果上均優(yōu)于傳統(tǒng)算法。在SRCNN的基礎(chǔ)上，研究者們后續(xù)提出了FSRCNN[2]、VDSR[3]、EDSR[4]和RCAN[5]等一系列網(wǎng)絡(luò)結(jié)構(gòu)針對不同需求的超分辨率重建問題。隨著新的超分辨率網(wǎng)絡(luò)不斷被提出，有研究者提出這些方法存在感知質(zhì)量不理想的缺點(diǎn)。雖然峰值信噪比(Peak Single-to-noise Ratio，PSNR)和結(jié)構(gòu)相似度(Structural Similarity，SSIM)這些常用的指標(biāo)在不斷被刷新提高，但以提升這兩個指標(biāo)為導(dǎo)向的超分辨率算法通常都是基于像素空間進(jìn)行優(yōu)化，能獲得較高的PSNR與SSIM，但輸出的圖像往往過于平滑，并不符合人類的主觀感受。當(dāng)重建倍數(shù)較高時，比如4倍或8倍重建時，會丟失大量高頻細(xì)節(jié)。Ledig等人[6]提出了在提升超分辨率重建視覺效果方面里程碑式的網(wǎng)絡(luò)結(jié)構(gòu)——SRGAN(Super-Resolution Generative Adversarial Network)，這是首個將生成對抗網(wǎng)絡(luò)(Generative Adversarial Network，GAN)應(yīng)用在超分辨率領(lǐng)域的工作，生成對抗網(wǎng)絡(luò)輸出了更加自然真實(shí)的結(jié)果。作者還提出了一種不同以往的在像素空間優(yōu)化的感知損失，這種感知損失在特征空間中進(jìn)行模型優(yōu)化，對細(xì)節(jié)紋理的重建效果顯著優(yōu)于其他深度學(xué)習(xí)網(wǎng)絡(luò)。ESRGAN[7]在SRGAN基礎(chǔ)上進(jìn)行改進(jìn)，在網(wǎng)絡(luò)結(jié)構(gòu)中引進(jìn)殘差連接密集塊(Residual-in-Residual Dense Block，RRDB)提升網(wǎng)絡(luò)性能，使用相對判別器[8]替換標(biāo)準(zhǔn)判別器，幫助學(xué)習(xí)更精細(xì)的紋理，輸出結(jié)果的感知質(zhì)量得到明顯提升。但在細(xì)節(jié)紋理的重建上，存在畸變、模糊和偽影嚴(yán)重的問題。超分辨率應(yīng)用于視覺測量等領(lǐng)域時，對細(xì)節(jié)紋理恢復(fù)的清晰度、真實(shí)性、準(zhǔn)確度都顯得十分重要。

本文提出一種關(guān)注細(xì)節(jié)特征的圖像超分辨率重建算法，關(guān)注圖像超分辨率中細(xì)節(jié)信息的重建。一張圖像可以分為平坦區(qū)域、邊緣區(qū)域和角點(diǎn)區(qū)域，通常用邊緣和角點(diǎn)代表圖像的細(xì)節(jié)信息。本文設(shè)計(jì)了一個角點(diǎn)增強(qiáng)支路輔助超分，單獨(dú)對角點(diǎn)注意圖像進(jìn)行超分，網(wǎng)絡(luò)會更加集中關(guān)注角點(diǎn)區(qū)域。將重建后的角點(diǎn)注意圖像整合到超分支路中，突出角點(diǎn)區(qū)域。同時，提出角點(diǎn)損失來監(jiān)督重建圖像的角點(diǎn)信息，增加邊緣損失對邊緣信息的恢復(fù)進(jìn)行監(jiān)督指導(dǎo)。在約束指導(dǎo)下，可以更好地保持細(xì)節(jié)信息，獲得高感知質(zhì)量和豐富細(xì)節(jié)紋理的超分圖像。提出方法中的SR網(wǎng)絡(luò)可以是任何已有的結(jié)構(gòu)，本文使用的是ESRGAN。實(shí)驗(yàn)結(jié)果表明，該方法一定程度上提升了模型性能，可以得到更加清晰準(zhǔn)確的細(xì)節(jié)紋理。

1 本文算法

本文算法的網(wǎng)絡(luò)結(jié)構(gòu)圖如圖1所示。

圖1 本文算法具體網(wǎng)絡(luò)結(jié)構(gòu)

1.1 角點(diǎn)增強(qiáng)支路

角點(diǎn)增強(qiáng)支路分為粗糙超分網(wǎng)絡(luò)、角點(diǎn)提取模塊和精細(xì)超分網(wǎng)絡(luò)三個部分。

(1)粗糙超分網(wǎng)絡(luò)

首先，本文使用粗糙超分網(wǎng)絡(luò)對LR圖像ILR進(jìn)行處理得到粗糙HR圖像ICH?？紤]到LR圖像往往高頻部分模糊，直接從網(wǎng)絡(luò)輸入的LR圖像中提取真實(shí)細(xì)節(jié)信息是很困難的，使用粗糙超分網(wǎng)絡(luò)進(jìn)行初步處理可以緩解先驗(yàn)估計(jì)的困難。網(wǎng)絡(luò)結(jié)構(gòu)包含一層3×3的卷積層，用于提取特征，卷積層后的激活層以PReLU函數(shù)作為激活函數(shù)。之后連接3個殘差塊[9]，殘差塊的密集連接結(jié)構(gòu)可以緩解梯度彌散問題，保證深層網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性，最后一層3×3卷積層重構(gòu)出粗糙HR圖像ICH?？紤]到BN層會帶來偽影問題，還會增加訓(xùn)練難度，并不適用于超分任務(wù)，本研究中去除了所有BN層。

(2)角點(diǎn)提取模塊

基于深度學(xué)習(xí)的角點(diǎn)檢測算法過于復(fù)雜，準(zhǔn)備工作較多，考慮本研究中已經(jīng)有較復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，通過OpenCV使用傳統(tǒng)算法Harris角點(diǎn)檢測[10]從粗糙HR圖像ICH中提取角點(diǎn)信息。后續(xù)損失函數(shù)計(jì)算時，同樣使用Harris角點(diǎn)檢測算法從HR圖像中提取角點(diǎn)信息。首先，將ICH轉(zhuǎn)換為灰度圖像，灰度轉(zhuǎn)換操作記為G。對灰度圖進(jìn)行Harris角點(diǎn)檢測，閾值設(shè)為0.01，將角點(diǎn)檢測操作記為H，C代表提取出的角點(diǎn)，IC代表粗糙角點(diǎn)注意圖像，提取過程可表示為如下公式：

(3)精細(xì)超分網(wǎng)絡(luò)

得到粗糙角點(diǎn)注意圖像IC后，送入精細(xì)超分網(wǎng)絡(luò)，得到精細(xì)角點(diǎn)注意圖像。首先，對粗糙角點(diǎn)注意圖像進(jìn)行一次卷積操作，接著送入殘差連接密集塊RRDB結(jié)構(gòu)中進(jìn)行殘差學(xué)習(xí)，堆疊了四個殘差連接密集塊。一個RRDB由三個殘差密集塊(Residual Dense Block，RDB)構(gòu)成，結(jié)構(gòu)如圖2所示。RRDB結(jié)構(gòu)融合了每層的輸入特征和輸出特征，加強(qiáng)了層與層之間的特征復(fù)用，可以為重建提供更多的細(xì)節(jié)信息。本研究主要針對4倍放大因子的超分辨率，所以有兩層亞像素卷積層，用亞像素卷積層對RRDB結(jié)構(gòu)輸出特征進(jìn)行上采樣，將輸出結(jié)果進(jìn)行一次卷積激活操作后，再利用一層卷積層進(jìn)行最后的重構(gòu)。將得到的精細(xì)角點(diǎn)注意圖像與SR主支路的輸出融合，最后得到超分辨率圖像ISR。

圖2 RRDB結(jié)構(gòu)

1.2 損失函數(shù)設(shè)計(jì)

本研究增加了角點(diǎn)損失函數(shù)Lcor和邊緣損失函數(shù)Ledge。角點(diǎn)損失函數(shù)監(jiān)督角點(diǎn)增強(qiáng)支路的角點(diǎn)恢復(fù)，用L1損失計(jì)算。將送入SR支路的精細(xì)角點(diǎn)注意圖像進(jìn)行一次卷積，得到角點(diǎn)增強(qiáng)支路的輸出，表示為ICSR。CH表示從高分辨率圖像提取的角點(diǎn)信息，IHR表示高分辨率圖像，N為訓(xùn)練集的圖像數(shù)目，角點(diǎn)損失函數(shù)可表示為如下公式：

比較常用的邊緣檢測算子有Sobel算子、Laplacian算子和Canny算子等，其中Canny算子對邊緣的檢測效果最優(yōu)，所以本工作通過Canny算子對重建圖像和真實(shí)圖像檢測邊緣，通過邊緣損失函數(shù)指導(dǎo)邊緣細(xì)節(jié)的恢復(fù)。利用Canny算子CE檢測輸出的超分辨率圖像ISR和高分辨率圖像IHR的邊緣，用L1損失計(jì)算，可表示為如下公式：

最終生成器的損失函數(shù)包含像素?fù)p失Lpix，感知損失Lper，對抗損失Ladv，角點(diǎn)損失Lcor與邊緣損失Ledge，公式表示如下：

2 實(shí)驗(yàn)結(jié)果及分析

2.1 實(shí)驗(yàn)環(huán)境及實(shí)驗(yàn)設(shè)置

本實(shí)驗(yàn)基于Ubuntu18.04 LTS 64位操作系統(tǒng)，使用框架PyTorch以及CUDA10.1和cuDNN7搭建環(huán)境，顯卡為NVDIA GTX1080Ti。損失函數(shù)的權(quán)重設(shè)置如下：α=0.01，β=0.005，γ=0.05，δ=0.001。

本實(shí)驗(yàn)采用的數(shù)據(jù)集是DIV2K[11]和Flikr2K[12]，數(shù)據(jù)量共有3450張。初始數(shù)據(jù)集中沒有對應(yīng)的低分辨率圖像，通過對高分辨率圖像雙三次下采樣構(gòu)造低分辨率圖像，本研究中的放大因子設(shè)為4。DIV2K包含100張具有對應(yīng)高質(zhì)圖像的測試圖像，用它和紋理圖案豐富的公開數(shù)據(jù)集Urban100作為測試集，同樣地，對Urban100中的圖像通過雙三次下采樣構(gòu)造對應(yīng)的低分辨率圖像。將本文方法與經(jīng)典的圖像超分辨率重建方法Bicubic、EDSR、ESRGAN及關(guān)注細(xì)節(jié)重建的NatSR[13]進(jìn)行比較，評價(jià)方法分為量化評價(jià)、視覺評價(jià)和間接評價(jià)。量化評價(jià)是指通過幾項(xiàng)常用指標(biāo)量化計(jì)算重建圖像與參考圖像的差異性，視覺評價(jià)是放大圖像細(xì)節(jié)通過主觀感受進(jìn)行評價(jià)，間接評價(jià)是設(shè)計(jì)了一個視覺測量實(shí)驗(yàn)驗(yàn)證圖像細(xì)節(jié)紋理重建的準(zhǔn)確性，進(jìn)而可知對視覺測量精度提升的有效性。

2.2 量化評價(jià)

為了量化評估本研究方法與經(jīng)典算法的對比結(jié)果，采用PSNR、SSIM、PI與LPIPS作為衡量指標(biāo)。PSNR基于像素計(jì)算圖像之間的差異性，SSIM從圖像的亮度、對比度和結(jié)構(gòu)三個方面衡量圖像相似性，兩種指標(biāo)的評價(jià)標(biāo)準(zhǔn)為指標(biāo)越高，結(jié)果越好。而PI與LPIPS更關(guān)注圖像的感知質(zhì)量，兩種指標(biāo)都是數(shù)值越低，結(jié)果越好。

表1中為Bicubic、EDSR、ESRGAN、NatSR與本文方法在測試集Urban100和DIV2K上的指標(biāo)測試結(jié)果?？梢钥吹?，在SSIM、PI和LPIPS指標(biāo)上，本文方法都優(yōu)于其他方法。結(jié)果表明，本文方法在量化指標(biāo)上取得了較好的結(jié)果。

表1 圖像超分辨率重建效果量化比較結(jié)果(dB)

2.3 視覺評價(jià)

從測試圖像中挑選了紋理豐富的圖像，并比較圖像放大后的細(xì)節(jié)。從圖3中可以看出，從主觀的視覺角度來看，傳統(tǒng)的Bicubic重建出的圖像最模糊，幾乎看不清圖像細(xì)節(jié)，圖像分辨率提升十分有限。EDSR重建出的圖像清晰度有較大提升，但圖像過于平滑，邊緣紋理不清晰，圖像缺乏真實(shí)性。ESRGAN與NatSR重建出的圖像視覺感知效果最好，但在邊緣紋理部分存在大量噪聲，產(chǎn)生偽影使得邊緣角點(diǎn)不清晰。而本文方法得到的超分辨率圖像整體視覺效果清晰，噪聲偽影更少，細(xì)節(jié)紋理豐富，更接近真實(shí)圖像。

圖3 不同圖像超分辨率算法的視覺對比圖

2.4 間接評價(jià)

在建筑結(jié)構(gòu)的非接觸式視覺測量領(lǐng)域中，決定測量精度的步驟之一就是目標(biāo)定位，而目標(biāo)定位的準(zhǔn)確主要依賴于對目標(biāo)特征的提取精度，圖像的細(xì)節(jié)特征得到有效提升即可達(dá)到提高定位精度的目的。本文提出的超分辨率算法主要方向就是重建更清晰準(zhǔn)確的細(xì)節(jié)特征。為了驗(yàn)證本文方法在視覺測量中的有效性，本小節(jié)提出了一個針對圖像超分辨率重建在視覺測量精度提升有效性的評價(jià)實(shí)驗(yàn)框架。該實(shí)驗(yàn)設(shè)計(jì)思路如下：

首先，采集已經(jīng)預(yù)設(shè)格子間距的黑白格圖像，雙三次下采樣處理后，通過超分辨率算法得到超分辨率圖像，采用視覺測量算法計(jì)算出超分辨率圖像的格子間距，與真實(shí)間距進(jìn)行比較可以對比出不同超分辨率算法對視覺測量精度提升的有效性，同時了解不同超分辨率圖像邊緣角點(diǎn)的重建情況。

通過雙目采集系統(tǒng)采集黑白格圖像以及棋盤格標(biāo)定板圖像。具體的圖像處理步驟為：首先使用MATLAB工具箱對棋盤格圖像實(shí)現(xiàn)標(biāo)定得到標(biāo)定參數(shù)，然后通過Shi-Tomasi角點(diǎn)檢測算法[14]檢測超分辨率圖像黑白格區(qū)域角點(diǎn)的像素坐標(biāo)，根據(jù)雙目視覺成像原理利用前面得到的相機(jī)內(nèi)外參實(shí)現(xiàn)從像素坐標(biāo)到世界坐標(biāo)的轉(zhuǎn)換。最后使用距離計(jì)算公式計(jì)算出相鄰角點(diǎn)的距離，通過距離的比較判斷角點(diǎn)的準(zhǔn)確性。

相機(jī)采用的是維視公司型號為ALLIED GIGE GT1910C的CCD(Charge Coupled Device)彩色工業(yè)相機(jī)，其分辨率為1920 px×1080 px。使用的雙目鏡頭焦距為50 mm，拍攝距離為4 m左右，格子間距定為15 mm。實(shí)驗(yàn)圖像為8張，共有256條邊。采集的部分圖像及標(biāo)定所用標(biāo)定板如圖4所示。

圖4 采集的部分黑白格圖像和標(biāo)定板圖像

低分辨率與高分辨率圖像的角點(diǎn)檢測結(jié)果如圖5所示。由于下采樣后的低分辨率圖像質(zhì)量不佳，在角點(diǎn)檢測上存在困難，難以檢測到黑白格所有的角點(diǎn)坐標(biāo)，故對比結(jié)果中未提供低分辨率圖像的檢測計(jì)算結(jié)果。而經(jīng)過超分辨率處理的高分辨率圖像角點(diǎn)都可以完整檢測，由此說明超分辨率算法在視覺測量領(lǐng)域有一定實(shí)用性。

圖5 低分辨率(左)與高分辨率(右)圖像角點(diǎn)檢測結(jié)果

為了更直觀地比較幾種超分辨率算法，以盒型圖的形式展示了超分辨率黑白格圖像的格子間距計(jì)算結(jié)果，如圖6所示。從盒型圖中可以看到，Bicubic得到的計(jì)算結(jié)果異常值最多，分布區(qū)間最大，說明邊緣角點(diǎn)的重建準(zhǔn)確度最不理想。其中本文方法的計(jì)算結(jié)果異常值最少，分布區(qū)間最小，說明本文方法得到的超分辨率圖像邊緣角點(diǎn)的重建準(zhǔn)確度最高，在一定程度上能夠提高圖像視覺測量的精度。

圖6 不同圖像超分辨率重建算法的格子間距測量結(jié)果

3 結(jié)論

針對現(xiàn)有超分辨率算法對圖像邊緣角點(diǎn)重建存在的過于平滑、缺乏真實(shí)性、偽影嚴(yán)重等問題，提出了一種關(guān)注細(xì)節(jié)特征的圖像超分辨率重建算法。該算法設(shè)計(jì)了一種角點(diǎn)增強(qiáng)支路，結(jié)合提出的角點(diǎn)損失和邊緣損失，實(shí)現(xiàn)了對邊緣角點(diǎn)這些紋理特征較準(zhǔn)確的重建。量化指標(biāo)表明，本文方法取得了較好的超分辨率重建結(jié)果。主觀評價(jià)方面，本文方法得到的圖像細(xì)節(jié)紋理更加清晰真實(shí)，最接近參考圖像。通過設(shè)計(jì)的視覺測量實(shí)驗(yàn)間接比較了不同算法超分辨率圖像的細(xì)節(jié)紋理準(zhǔn)確度。實(shí)驗(yàn)結(jié)果表明，本文方法對細(xì)節(jié)紋理的重建更準(zhǔn)確，說明了本文方法對視覺測量精度提升的有效性，在建筑結(jié)構(gòu)的非接觸式位移測量領(lǐng)域有一定的潛在應(yīng)用前景。