線紋計量圖像超分辨率重構(gòu)技術(shù)研究

李淼，石羽南

（中國空空導(dǎo)彈研究院，河南洛陽，471003）

0 引言

影像式計量設(shè)備被廣泛應(yīng)用于力學(xué)、幾何量、電子等專業(yè)的校準(zhǔn)檢定工作，通常由光照系統(tǒng)、伺服系統(tǒng)、采集系統(tǒng)、上位機(jī)判別系統(tǒng)等部分組成，圖1為市場常見的商用全自動影像式計量設(shè)備。

圖1 常見的商用全自動計量設(shè)備

雖然基于圖像采集的影像式計量設(shè)備的光照條件、圖像采集模塊分辨率、伺服機(jī)構(gòu)穩(wěn)定性、使用條件及環(huán)境穩(wěn)定性正逐步提升，且設(shè)備能夠按照用戶的需求設(shè)計及研發(fā)，理想狀態(tài)下計量全過程無需人員參與，能夠有效提升計量效率。但在實(shí)際操作過程中，由于光照、震動、待測儀器形變或磨損等各種原因，在結(jié)果判別時常需要人工介入進(jìn)行中心線選取及確認(rèn)等工作，大大降低了自動化工作的效率。

圖2為待測線紋量具在視場內(nèi)顯示效果欠佳、采集及處理后的圖像分辨率不足的視場圖像示意圖，可通過將所采集到的信息量較少的圖像經(jīng)過系列變換處理得到高信息量的圖像。

圖2 影像式計量系統(tǒng)采集結(jié)果示意圖

本文將基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重構(gòu)技術(shù)引入到計量圖像處理工作中。對影像式計量設(shè)備中所采集的自然單幅圖像進(jìn)行超分辨率復(fù)原，在提高超分辨率圖像的質(zhì)量的同時盡可能減少計算量，從而全面地提高算法性能。

1 國內(nèi)外研究現(xiàn)狀

圖像超分辨率重構(gòu)技術(shù)分為兩種，一種是從多張低分辨率圖像合成一張高分辨率圖像，另外一種是從單張低分辨率圖像獲取高分辨率圖像[2]，本文模擬影像式計量設(shè)備視窗內(nèi)采集的單幅圖像超分辨率重構(gòu)。

圖像超分辨率重構(gòu)主要分為淺層學(xué)習(xí)（主要包含基于插值的超分辨方法、基于重構(gòu)的超分辨率方法、基于學(xué)習(xí)的超分辨率方法）以及基于深度學(xué)習(xí)的方法[3]。

基于深度學(xué)習(xí)的方法是淺層學(xué)習(xí)方法的升級版，淺層學(xué)習(xí)中基于學(xué)習(xí)的多層次體系方法是以監(jiān)督學(xué)習(xí)的方法自動化特征空間轉(zhuǎn)換，當(dāng)采用深度神經(jīng)網(wǎng)絡(luò)構(gòu)建這種多層體系結(jié)構(gòu)時，稱為深度學(xué)習(xí)，采用卷積神經(jīng)網(wǎng)絡(luò)搭建對應(yīng)的多層體系結(jié)構(gòu)，不斷訓(xùn)練和擬合由低分辨率到高分辨率圖像之間的映射關(guān)系[3]。目前學(xué)界內(nèi)普遍認(rèn)可這一表述在實(shí)際的運(yùn)用過程中被證實(shí)能夠應(yīng)用于大多數(shù)場景，這也是深度學(xué)習(xí)目前在多個領(lǐng)域均得到廣泛應(yīng)用和傳播的原因之一。

由Dong等人首次提出SRCNN[5]。該方法使用了三個卷積層，其作用分別為圖像塊的提取和特征表示、特征非線性映射、最終的重構(gòu)。方法中對低分辨率圖像使用雙三次插值將其放大到目標(biāo)尺寸后，通過卷積神經(jīng)網(wǎng)絡(luò)完成非線性映射的工作，這樣得到的處理結(jié)果便是高分辨率圖像。Dong等人對SRCNN的工作進(jìn)行了改進(jìn)，提出了一種加速卷積神經(jīng)網(wǎng)絡(luò)的超分辨率方法FSRCNN[5]。相比SRCNN，F(xiàn)SRCNN在整個模型的末端使用了一個反卷積層進(jìn)行尺寸的放大。因此，可以直接將未經(jīng)放大的低分辨率圖像輸入到網(wǎng)絡(luò)中，而不需要SRCNN中的插值預(yù)處理。Lai[5]等人提出了一種拉普拉斯金字塔超分辨率網(wǎng)絡(luò)(LapSRN)，該網(wǎng)絡(luò)可以在多個金字塔尺度下逐步恢復(fù)多尺度的高分辨率圖像。由于以上方法均基于有監(jiān)督的訓(xùn)練方法，需要大量的成對數(shù)據(jù)集來對網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，限制了這些方法在很多實(shí)際場景中的適用性。DBPN[45]通過設(shè)計迭代上下采層提出了迭代誤差反饋機(jī)制，使網(wǎng)絡(luò)實(shí)現(xiàn)了自校正過程，但采用單一大小的卷積核提取圖像特征并學(xué)習(xí)特征映射限制了網(wǎng)絡(luò)恢復(fù)高頻特征的能力。SRFBN利用具有約束的 RNN 中的隱藏狀態(tài)來構(gòu)造反饋模塊，以驅(qū)動反饋流并生成強(qiáng)大的高級表示，但忽略了特征通道間的相互依賴性，約束了網(wǎng)絡(luò)學(xué)習(xí)高層表示的能力。2018年，Zhang等人提出深度殘差通道注意網(wǎng)絡(luò)RCAN，由幾個具有長跳躍連接的殘差組構(gòu)成的結(jié)構(gòu)來構(gòu)建深度網(wǎng)絡(luò)，形成殘差注意力機(jī)制，但網(wǎng)絡(luò)訓(xùn)練相對較慢，且生成的高分辨率的圖像則會存在邊緣模糊等情況。

盡管上述模型能夠取得卓越的性能，但需要巨大的計算和訓(xùn)練能力。為了能應(yīng)用于更廣泛的真實(shí)計量應(yīng)用場景，需開發(fā)一種快速的、注重邊沿細(xì)節(jié)優(yōu)化的和輕量級的網(wǎng)絡(luò)。

2 線紋計量圖像超分重構(gòu)方法

■ 2.1 圖像特點(diǎn)分析

通過對計量圖像的觀察，發(fā)現(xiàn)其通常構(gòu)成為簡單、體量較小且多為單色值的圖像，所以在構(gòu)造超分網(wǎng)絡(luò)時，計量圖像很容易被解析為兩個次層次組件—邊緣有效值及內(nèi)像素。其中邊緣有效值對應(yīng)高頻信息部分，即在識別線紋或數(shù)字時，僅需對邊緣處圖像進(jìn)行超分辨率，內(nèi)像素對應(yīng)圖像低頻部分，理想狀態(tài)可丟棄或不做處理。

大多數(shù)超分辨率重構(gòu)算法是針對單張或多張圖片進(jìn)行重構(gòu)，即關(guān)注圖像中的每一個像素。但是，如將超分辨率算法引入到計量影像重構(gòu)中，背景區(qū)域的深度處理其實(shí)對于后續(xù)測量步驟沒有價值。因此，本文在SR2CNN算法[7]的基礎(chǔ)上進(jìn)行了優(yōu)化，提出超分計量影像分支重構(gòu)思想。

■ 2.2 超分計量影像分支重構(gòu)思想

由于計量影像的單一特性，除了輪廓等高頻信息外，其他視野內(nèi)信息大多為無效信息。本文特引入目標(biāo)檢測算法中常見的“前景目標(biāo)”的概念，設(shè)計了兩條并行路徑取處理不同的圖像信息。一條針對高頻有效信息數(shù)據(jù)（即前景）進(jìn)行重構(gòu)，一條針對低頻信息（即背景）。在并行處理的過程中，一方面強(qiáng)化有效信息，一方面選取輕量級基礎(chǔ)模型去減少對背景區(qū)域的計算量，提高圖像重構(gòu)速度，更好的滿足實(shí)際使用的實(shí)時性需求。示意圖如圖3所示。

圖3 超分計量影像分支重構(gòu)思想示意圖

第一步：解析并分割圖像，在此步驟中，不直接對LR圖像進(jìn)行上采樣。過多的像素將帶來過多的計算，根據(jù)圖像特點(diǎn)，摒棄深度學(xué)習(xí)的圖像分割方法，選取成熟且調(diào)節(jié)能力強(qiáng)的圖像分割方法來完成此項工作；

第二步：通過SR2CNN對圖像進(jìn)行高頻信息超分重構(gòu)，使用轉(zhuǎn)置卷積層來完成這部分工作。為了提高重構(gòu)細(xì)節(jié)的質(zhì)量，需要不斷地調(diào)整轉(zhuǎn)置卷積層的數(shù)量；

第三步:處理背景圖片，選取輕量級算法進(jìn)行圖像處理；

第四步:完成前景及背景圖像融合映射，輸出高分辨率圖片。

■ 2.3 實(shí)現(xiàn)步驟

2.3.1 基于閾值的圖像分割

圖像分割是指在一副圖像中，根據(jù)灰度、彩色、空間紋理、幾何形狀等特征把圖像劃分成若干個互不相交的區(qū)域，使得這些特征在同一區(qū)域內(nèi)表現(xiàn)出一致性或相似性，而在不同區(qū)域間表現(xiàn)出明顯的不同達(dá)到從背景中分離目標(biāo)的目的。

本文采用了圖像分割中的 OTSU方法（即“大津法”）。假定一張圖片共有n個像素，其中灰度值小于閾值的像素為n1個，大于等于閾值的像素為n2個（n1+n2=n）。w1和w2表示這兩種像素各自的比重。而所有灰度值小于閾值的像素的平均值和方差分別為μ1和σ1，所有灰度值大于等于閾值的像素的平均值和方差分別為μ2和σ2。于是，可以得到：

類內(nèi)差異 = w1(σ1)2+ w2(σ2)2

類間差異 = w1w2(μ1-μ2)^2

合適的閾值時讓類內(nèi)差異最小或者類間差異最大，從計算角度出發(fā)，本文選擇后者進(jìn)行計算，即 BSS：

分割后圖片如圖4所示。

圖4 圖像分割效果

2.3.2 基于高頻信息的密集深度卷積神經(jīng)網(wǎng)絡(luò)

本文采用了SR2CNN[7]卷積神經(jīng)網(wǎng)絡(luò)來提高SR圖像高頻部分的質(zhì)量,如圖5所示。該方法使用反卷積層來對圖像進(jìn)行放大，由于僅針對高頻信息處理，采用多對多的連接機(jī)制，大大減少了參數(shù)的數(shù)量，有效地解決了梯度消失問題。

圖5 SR2CNN網(wǎng)絡(luò)結(jié)構(gòu)

在特征提取時，網(wǎng)絡(luò)之間采用多對多連接，可以增強(qiáng)特征的傳播，避免梯度彌散問題，且可以大大減少參數(shù)的數(shù)量。在重構(gòu)中，考慮使用反卷積層，從而進(jìn)一步保證了重構(gòu)的質(zhì)量。為了提高模型的重構(gòu)速度的同時不影響其重構(gòu)質(zhì)量，使用多個卷積核大小為1×1的并行卷積網(wǎng)絡(luò)，來增強(qiáng)其非線性表達(dá)能力。

3 實(shí)驗(yàn)及驗(yàn)證

■ 3.1 數(shù)據(jù)集

由于線紋圖像數(shù)據(jù)信息較少，數(shù)據(jù)的代表性不夠、部分還包含太多的噪聲或者是被一些無關(guān)特征污染，這樣的模型對訓(xùn)練數(shù)據(jù)集的擬合程度不能指導(dǎo)泛化誤差。本文對數(shù)據(jù)集進(jìn)行了45°及90°的旋轉(zhuǎn)，并在開始構(gòu)建模型之前將數(shù)據(jù)集進(jìn)行劃分，防止數(shù)據(jù)窺探偏誤，也就是說我們避免了解太多關(guān)于測試集中的樣本特點(diǎn)，防止所挑選的圖像都是有助于測試集數(shù)據(jù)的模型。

降質(zhì)后，對數(shù)據(jù)集進(jìn)行了標(biāo)識及篩選，共1224張。根據(jù)訓(xùn)練集、開發(fā)集、測試集6：3：1的比例，最終完成了本地線紋計量影像數(shù)據(jù)集庫，其中：

(1)訓(xùn)練集（Train set）:用于模型擬合的數(shù)據(jù)樣本,本數(shù)據(jù)集中存在800圖像；

(2)驗(yàn)證集（Validation set）:是模型訓(xùn)練過程中單獨(dú)留出的樣本集，它可以用于調(diào)整模型的超參數(shù)和用于對模型的能力進(jìn)行初步評估。 通常用來在模型迭代訓(xùn)練時，用以驗(yàn)證當(dāng)前模型泛化能力（準(zhǔn)確率，召回率等），以決定是否停止繼續(xù)訓(xùn)練，本數(shù)據(jù)集中存在284張；

(3)測試集（Test set）:用來評估模最終模型的泛化能力。但不能作為調(diào)參、選擇特征等算法相關(guān)的選擇的依據(jù)，共140張。

■ 3.2 數(shù)據(jù)預(yù)處理

本文選擇了三個不同的退化模型來合成低分辨率圖像，分別是：

(1)雙三線性下采樣退化（該退化模型簡稱為BI）；

(2)先用大小為7×7的高斯模糊核對HR圖像進(jìn)行模糊處理，高斯模糊核的標(biāo)準(zhǔn)差為1.6，然后使用雙三線性插值對模糊圖像進(jìn)行3倍下采樣（該退化模型簡稱為BD）；

(3)對HR圖像使用雙三線性插值進(jìn)行降采樣，然后再添加噪聲級別為30的高斯白噪聲（該退化模型簡稱為DN）。

■ 3.3 實(shí)驗(yàn)結(jié)果分析

該算法在PSNR 和 SSIM 上表現(xiàn)如表1、表2所示。

表1 各型退化模型結(jié)果比較

表2 各算法應(yīng)用到公開數(shù)據(jù)集上的結(jié)果比較

表1中，紅色表示最優(yōu)結(jié)果。從結(jié)果的整體來看，本文所提出針對計量線紋影像的算法相比幾類典型算法在重建精度的客觀指標(biāo)上更有優(yōu)勢，在 經(jīng)過BI、BD、DN退化函數(shù)處理的數(shù)據(jù)中結(jié)果顯得尤為明顯。

表2中，紅色表示最優(yōu)的結(jié)果。從結(jié)果的整體來看，本文所提出針對公開數(shù)據(jù)集時，相比近年幾類典型算法在重建精度的客觀指標(biāo)上不具有優(yōu)勢。

根據(jù)圖6、圖7所示，能夠很明顯的察覺，與其他算法相比，本文在處理計量影像目標(biāo)圖像時，效果更好。但所提出針對公開數(shù)據(jù)集時，相比幾類典型算法在重建精度的客觀指標(biāo)上不具有優(yōu)勢。

圖6 不同算法在同一測試集的圖像測試效果對比

圖7 不同算法在公開測試集的部分圖像測試效果對比

4 總結(jié)與展望

本文建立了一個中等規(guī)模的線紋計量影像數(shù)據(jù)集，雖然暫時無法覆蓋所有可能會出現(xiàn)的線紋邊緣的特殊情況，但通過對數(shù)據(jù)集的劃分和降質(zhì)處理，已經(jīng)能夠成功驗(yàn)證算法性能.同時提出了一種超分計量影像分支重構(gòu)思想，對有效信高頻部分的信息進(jìn)行區(qū)域判別，減少背景區(qū)域的低頻特征的計算，極大的降低了計算成本。

盡管基于深度學(xué)習(xí)的圖像超分辨率算法取得了很高的成就，在本文中也得到了很好的體現(xiàn)，但應(yīng)用到真實(shí)應(yīng)用場景的過程中還存在著很多挑戰(zhàn)性的問題。在超分辨率重構(gòu)領(lǐng)域，未來還有很多值得探討和研究的地方。

(1)圖像超分辨率任務(wù)作為一個經(jīng)典的圖像處理問題，也是一個極具挑戰(zhàn)性的不適定的“病態(tài)”問題，仍然有很多問題有待研究人員進(jìn)行深入探索和解決；

(2)可以在此研究基礎(chǔ)上進(jìn)一步探討基于語義信息的圖像超分辨率重構(gòu)算法?？梢栽诜种Ф思虞d不同權(quán)重的過濾器，該問題可在后續(xù)工作中持續(xù)補(bǔ)充；

(3)雖然形成了有一定規(guī)模的訓(xùn)練集，但超分辨率重構(gòu)對訓(xùn)練集參數(shù)量依賴性很高，目前數(shù)據(jù)集遠(yuǎn)不能覆蓋問題域中所有已知可能出現(xiàn)的問題，還有待完善，但可以考慮可以用該訓(xùn)練集訓(xùn)練好的模型嘗試著訓(xùn)練復(fù)雜圖像，并做好當(dāng)前算法與其他算法的比對以及分析；

(4)考慮是否能夠設(shè)計更加合理的評價指標(biāo)，是否可以加入直觀的可視化評估，使得結(jié)果能夠更為客觀的呈現(xiàn)，可以通過引入評估所生成的可視化圖像的質(zhì)量和或含義的指標(biāo)來實(shí)現(xiàn)。