面向激光光條圖像修復的循環(huán)相似度映射網(wǎng)絡

冀振燕，韓夢豪，宋曉軍，馮其波

（1.北京交通大學軟件學院，北京 100044；2.北京交通大學理學院，北京 100044）

1 引言

結構光視覺檢測具有高精度、非接觸、結構簡單、范圍廣、實時性強等特點，被廣泛應用于軌道交通、機器人視覺引導、地形檢測、物體型面檢測等工業(yè)檢測領域，并成為當下的研究熱點.

由于結構光視覺檢測設備多為室外現(xiàn)場在線監(jiān)測，容易受到環(huán)境干擾、被測物體表面散射和外界雜散光的影響，所采集激光光條圖像含有大量區(qū)域粘連（光斑區(qū)域）和局部光條斷裂，影響后續(xù)中心線提取精度并進而影響測量精度.因此，構建圖像修復模型對激光光條圖像進行高精度地去噪和修復，對于工業(yè)檢測具有重要意義.

圖像修復模型主要利用已知的圖像信息去修復圖像中缺失（待修復）區(qū)域的圖像信息.圖像修復模型的發(fā)展經(jīng)歷了2 個階段：傳統(tǒng)算法和深度學習模型.傳統(tǒng)算法可以分為基于擴散的圖像修復［1，2］和基于樣本的圖像修復［3，4］.基于深度學習的圖像修復模型以生成對抗網(wǎng)絡（Generative Adversarial Network，GAN）模型［5～7］為主流，文獻［8］提出部分卷積網(wǎng)絡（Partial convolution，Pconv），通過漸進式修復實現(xiàn)了對不規(guī)則孔洞的較高精度修復.文獻［9］提出重建-生成路徑的網(wǎng)絡提供多樣化的修復方案，生成路徑在基本的數(shù)據(jù)分布基礎上可構建不同特色的修復圖像.文獻［10］和文獻［11］改進了文獻［8］提出的部分卷積層，文獻［10］提出基于門控卷積的修復網(wǎng)絡，為特征圖添加軟編碼，增添了網(wǎng)絡學習的靈活性和泛化性；文獻［11］提出可學習的注意圖（Learnable Attention Map，LAM），以取優(yōu)的軟掩碼模式將掩碼區(qū)域取值較高的子區(qū)域設為新的掩碼區(qū)域.圖像修復還可借助圖像的邊緣信息在圖像中填充細節(jié)紋理［12～14］.

現(xiàn)有的圖像修復模型對于人臉、風景等RGB 圖像修復效果顯著，可以滿足視覺自然、語義合理等要求，但對于激光光條灰度圖像的修復效果不佳，因為顏色相似度信息缺失.此外，激光光條圖像的修復除了對于視覺和語義有要求外，對光條邊緣像素點的位置準確度也有要求，邊緣像素點位置的準確度直接影響后續(xù)光條中心線提取精度，并最終影響被測物體的幾何參數(shù)解耦精度.盡管灰度激光光條圖像的修復對于基于多線激光視覺的工業(yè)檢測十分重要，但目前該領域的研究以傳統(tǒng)算法為主，精度不高、適應性不強，鮮有采用深度學習方法的研究工作發(fā)表，本文的研究為解決基于多線激光視覺的工業(yè)檢測領域所存在的問題提供了一個新的思路.

針對上述激光光條圖像的修復問題，本文提出以循環(huán)網(wǎng)絡為主體的相似度映射圖像修復模型RSM-Net（Recurrent Similarity Mapping Network）.該模型對循環(huán)網(wǎng)絡進行了如下改進：首先引入軟編碼Pconv 層替換原始Pconv 層，強化特征學習能力，有效提升精度；其次提出非對稱相似度度量，兼顧特征向量的角度差異和源特征向量響應值，降低圖像背景特征對修復的負面影響，更有效地將光條特征信息應用于未知區(qū)域的修復優(yōu)化；設計含有多尺度結構相似性（Multi-Scale Structural SIMilarity，MS-SSIM）損失項的混合損失函數(shù)，契合激光光條圖像強結構、強紋理的特征，以精確引導光條結構信息的還原，實現(xiàn)高精度的光條圖像修復.本文還構建了多線激光光條圖像數(shù)據(jù)集，實驗表明所提出模型在小光斑、大光斑、斷裂區(qū)域的修復精度和效果均優(yōu)于所對比的主流修復模型.

2 基于循環(huán)神經(jīng)網(wǎng)絡的相似度映射網(wǎng)絡

針對多線激光光條圖像修復問題，本文提出如圖1所示的RSM-Net 模型，模型由2 個模塊組成：相似度映射修復模塊和特征融合模塊.相似度映射修復模塊的主體是循環(huán)神經(jīng)網(wǎng)絡，負責圖像特征的修復和修復優(yōu)化；本模型融合各層循環(huán)的輸出特征作為后續(xù)輸入特征以提高模型精度，特征融合模塊負責各層循環(huán)輸出特征的融合以及融合之后的特征處理.模型損失函數(shù)結合絕對差異損失項(Lhole+Lvalid)、風格損失項（Lstyle）、感知損失項（Lperceptual）、全變分損失項（Ltv）和多尺度結構相似度損失項（Lms），各損失項的作用詳見第2.2 節(jié).模型的輸入是mask 和訓練圖像的結合，具體結合方法是將2個圖像對應的張量進行point-wise乘法運算.

圖1 RSM-Net框架

2.1 相似度映射修復模塊

相似度映射修復模塊負責圖像紋理特征的修復和修復后的優(yōu)化，其輸入階段是連續(xù)的2 個軟編碼Pconv層，第一層在修復圖像的同時進行降采樣操作，使得網(wǎng)絡整體在較低的分辨率環(huán)境下執(zhí)行，減少模型的計算復雜度.輸入圖像分辨率為384×384，經(jīng)過兩個連續(xù)的軟編碼Pconv層后特征圖的分辨率降為192×192.

模塊的主體是循環(huán)神經(jīng)網(wǎng)絡，通過帶自反饋的神經(jīng)元構成循環(huán)，每層循環(huán)采用相同結構和參數(shù)變量，循環(huán)使得網(wǎng)絡的輸出不僅和當前的輸入相關，還和上層循環(huán)的輸出相關.循環(huán)神經(jīng)網(wǎng)絡的優(yōu)勢：共享參數(shù)，因此可以用較少的參數(shù)實現(xiàn)縱深較大的網(wǎng)絡結構；有利于內(nèi)嵌的非對稱相似度模塊在不同層循環(huán)上的上下文信息聯(lián)動，充分發(fā)揮循環(huán)神經(jīng)網(wǎng)絡的記憶功能.本模塊的循環(huán)次數(shù)設置為6，輸入特征圖分辨率為192×192.

考慮到顯存負載的限制，每層循環(huán)初始是2個連續(xù)的原始Pconv層，原始Pconv層負責圖像的漸進式修復，Pconv 層后是一個類U-Net［15］的編碼-解碼子網(wǎng)絡，編碼層是步長為2的卷積層對特征圖進行降采樣，每個降采樣操作將特征圖的分辨率尺寸降為原來的1/2；解碼層是步長為2的轉置卷積對特征圖進行升采樣，每個升采樣操作將特征圖的分辨率尺寸升到原來的2 倍.編碼-解碼子網(wǎng)絡總共包含3個編碼層和3個解碼層.為了進一步增加循環(huán)網(wǎng)絡的縱深，在編碼層和解碼層中間加入5 層普通卷積，這5 層卷積不改變特征圖的分辨率.非對稱相似度模塊內(nèi)嵌在第一和第二個解碼層之間，負責特征圖修復特征的優(yōu)化.此外，編碼層的壓縮特征通過跳躍連接前向傳遞給對應分辨率的解碼層，指導解碼層進行低分辨率抽象特征的高分辨率具象化.

2.1.1 軟編碼Pconv層

RSM-Net模型中的軟編碼Pconv層是基于NVIDIA團隊提出的Partial convolution（Pconv）［8］操作優(yōu)化的到的.

（1）Pconv層

Pconv［8］曾采用迭代更新的mask 策略實現(xiàn)漸進式的圖像修復，mask在前向傳播過程中逐漸縮小，可利用的圖像信息越來越豐富，有利于修復精度的提升.

由于原始Pconv 層的掩碼取值采用硬編碼策略（非0 即1），缺少對不同區(qū)域mask 的區(qū)分度；并且特征更新的縮放因子隨M c的值單調(diào)遞減，但是不同mask區(qū)域對應的特征區(qū)域對圖像待修復區(qū)域的影響不是簡單的單調(diào)遞減，因此Pconv 層的縮放因子策略不能恰當?shù)胤从痴鎸嵉奶卣饔绊懛植?因此，構建軟編碼Pconv 層對原始Pconv層進行改進.

（2）軟編碼Pconv層

軟編碼Pconv 層對原始Pconv 層進行了2 項改進：學習型mask更新策略和非對稱高斯縮放因子.

（a）學習型mask更新策略

其中，ReLU 是激活函數(shù)，該激活函數(shù)保證更新后的待修復區(qū)域mask 值置零，與之前相同；在已修復區(qū)域上（ReLU 正值區(qū)間）的mask 值具有自適應性.α是比例超參數(shù)，用于增強ReLU 正值區(qū)間的掩碼值，當α=0 時，gM(M c)會退化為原始Pconv層的fM(M c).

（b）非對稱高斯縮放因子

如前文所述，原始Pconv層縮放因子采用單調(diào)變化的fA(M c)，該縮放因子隨著卷積窗口內(nèi)已修復特征（對應mask值為1）的增多縮小，這種考慮過于簡單和片面.

特征的縮放因子影響輸出特征的響應值，應考慮下述2 種情況：首先，當卷積窗口滑動的位置遠離待修復區(qū)域時，當前卷積窗口對應的M c值通常是最大的（因為區(qū)域M 內(nèi)的值均非0）；而當卷積窗口與待修復區(qū)域有交集或在待修復區(qū)域之中時，隨著卷積窗口從待修復區(qū)域內(nèi)部向邊界區(qū)域移動時（即M c逐漸變大時），窗口內(nèi)特征對待修復區(qū)域的影響應該是逐漸增大的；在圖像修復領域，對修復結果影響最大的特征通常是在待修復區(qū)域邊界附近，因此遠離待修復區(qū)域的卷積窗口（M c數(shù)值較大）對應的響應值應設置為較小的值.綜上所述，本文采用非對稱高斯函數(shù)表示特征縮放因子，表示如下：

其中，a、γl、γr分別是式（2）的超參數(shù)，μ是非對稱高斯函數(shù)左右分支的分界點.該函數(shù)形狀如圖2所示.圖中豎線是μ所在位置，代表待修復區(qū)域邊緣區(qū)域.由圖可見，μ的右半?yún)^(qū)間代表遠離待修復區(qū)域的特征區(qū)域，其縮放因子要小于μ對應的值；同時μ左半?yún)^(qū)間代表待修復區(qū)域內(nèi)部的特征區(qū)域，該區(qū)域縮放因子也小于μ對應的值.遠離待修復區(qū)域的特征區(qū)域有完整的圖像信息，而待修復區(qū)域內(nèi)的圖像信息是相對混亂的，因此μ右半?yún)^(qū)間的縮放因子水平要高于左半?yún)^(qū)間.

圖2 非對稱高斯函數(shù)示意圖

與Pconv 層相比，本文引入的軟編碼Pconv 層具有如下優(yōu)勢：采用卷積濾波器提升學習能力，使得模型參數(shù)更新更靈活；特征權值更新采用非對稱高斯函數(shù)，更全面地量化不同特征區(qū)域對待修復區(qū)域的影響程度.

2.1.2 非對稱相似度模塊

為進一步優(yōu)化圖像修復效果，本模塊依據(jù)最近鄰相似度搜索思想設計了非對稱相似度模塊，該模塊內(nèi)嵌在解碼層中間.其優(yōu)化的作用范圍是當前循環(huán)第二次原始Pconv 層對應mask 和上層循環(huán)第二次原始Pconv 層對應mask 的差異區(qū)域部分.非對稱相似度模塊的作用是對每層循環(huán)起始Pconv 層的修復結果進行特征優(yōu)化，以提高修復精度.非對稱相似度模塊利用全局的特征相似性進行優(yōu)化，解決了傳統(tǒng)卷積的局部感受野問題.

常用的相似度度量有余弦距離、歐式距離等，當前RGB圖像修復領域更多應用余弦距離.然而，由于激光光條圖像是灰度圖像，輸入的R、G、B分量相同，與RGB圖像相比，其特征缺少色度信息，因此在前向傳播中容易生成更多的冗余特征圖，冗余特征圖之間特征相似，用余弦距離會導致兩特征向量之間的相似度多接近1，區(qū)分度較低；此外，在激光光條圖像中，響應值更大的特征往往更加清晰，對待優(yōu)化區(qū)域的影響較大，因此設置更大的相似度映射；響應值較小的值可能對應的是背景信息，應設置較小的相似度映射.為了使修復特征更加平滑，防止特征的局部落差過大（修復視覺效果上邊界感明顯），目標特征點(x，y)和源特征點(x′，y′)之間的相似度通過計算目標特征點和以源特征點(x′，y′)為中心的k×k區(qū)域內(nèi)的所有源特征點的相似度平均值得到，計算如下：

其中，k×k是以源特征點(x′，y′)為中心的區(qū)域大小.為了得到目標特征點(x，y)的完整相似度映射，式（3）計算得到的值會通過softmax 進行處理得到，這樣能夠保證(x，y)和所有源特征點的相似度映射之和為1，從而計算最后的目標特征值.此外，本模塊的循環(huán)網(wǎng)絡結構設計不僅能夠以較低的訓練參數(shù)代價獲得高縱深的模型，還能實現(xiàn)非對稱相似度模塊的上下文聯(lián)動.具體而言，第i層循環(huán)非對稱相似度模塊的相似度映射結果不僅包含當前循環(huán)的計算結果，還綜合了第i-1 層前向傳遞的相似度映射，表示如下：

計算完第i層最終的相似度映射，目標特征點的優(yōu)化特征值由相似度映射和源特征點進行加權求和得到，計算如下：

2.2 特征融合模塊

相似度映射修復模塊包含多個循環(huán)層，每層輸出一個修復后的特征圖.考慮到每層循環(huán)對最終修復結果都有貢獻，如果以最后一層的輸出特征圖作為最終輸出前向傳播，有可能導致網(wǎng)絡縱深過大，產(chǎn)生梯度消失問題.因此特征融合模塊負責將多個循環(huán)層的輸出特征圖進行特征融合.考慮到不同層的輸出特征圖對應的mask 區(qū)域大小是不同的，直接point-wise 求和取平均會導致圖像特征不連續(xù)，圖像區(qū)域出現(xiàn)明顯的斷層問題.

針對特征直接求和取平均的斷層問題，本模塊采用更加細粒度的特征融合機制，單獨計算特征圖中各位置的特征點；考慮到循環(huán)結構中的特征修復和特征修復優(yōu)化的計算都引入了掩碼值，在計算各位置的融合特征時也要結合每個循環(huán)的掩碼值，最終的特征融合公式如下：

其中，(x，y，z)是特征點在特征圖上的位置是位于(x，y，z)位置的融合特征值是第i層最終輸出的位于(x，y，z)的特征值是第i層循環(huán)對應的mask 特征圖上位于(x，y，z)的掩碼值.由式（6）可知，當某一層(x，y，z)的特征點處于未修復狀態(tài)，則對應的特征值不計入最終的融合特征.

特征融合之后，為了還原到網(wǎng)絡的輸入分辨率，首先對融合的特征進行上采樣，具體采用轉置卷積；上采樣后圖像分辨率增大，特征可能出現(xiàn)損失，因此采用跳躍連接將原始圖像的信息與上采樣特征圖的信息融合，利用原始圖像的已知區(qū)域特征指導上采樣特征圖對應區(qū)域的特征細化；細化后的特征圖先經(jīng)過一層軟編碼Pconv 層進行處理，再通過一個Bottleneck 層融合通道特征實現(xiàn)一定程度地模型減參.軟編碼Pconv 層和Bottleneck 層的輸出通道維連接后通過一個卷積層輸出最終的修復圖像.

除了網(wǎng)絡結構，本模塊的另一創(chuàng)新點是網(wǎng)絡的損失函數(shù)設計.設計了結合絕對差異損失項、風格損失項、感知損失項、全變分損失項和多尺度結構相似度（Multi-Scale Structural Similarity，MS-SSIM）損失項的損失函數(shù).損失函數(shù)表示如下：

絕對差異損失項包括2部分：已知區(qū)域差異Lvalid和mask區(qū)域差異Lhole.Lvalid使得不需要修復的已知區(qū)域的特征差異收斂，有利于mask區(qū)域的修復；Lhole使得mask區(qū)域的特征差異收斂，使修復效果盡可能向groundtruth 靠近.感知損失Lperceptual能夠保證修復圖像在風格上與ground-truth 圖像相同，從另一個角度保證修復結果與源圖像的特征一致性，在圖像修復領域中被廣泛應用.風格損失項Lstyle與感知損失項功能相似，都是保證修復前后圖像的特征風格一致性，但是具體思路不同，在圖像修復中通常聯(lián)合使用以達到更好的修復效果.全變分損失項Ltv用于維持圖像修復效果的平滑性，防止圖像局部區(qū)域尤其是修復邊界區(qū)域出現(xiàn)局部特征落差過大的問題.MS-SSIM 損失項Lms能夠保證激光光條的結構特征被更加準確地修復還原，并且考慮了不同圖像分辨率的問題.

MS-SSIM 損失項從亮度、對比度和結構3 個方面約束修復圖像和ground-truth 圖像之間的差異，包含M個分辨率，其由原始分辨率做2倍下采樣，迭代M-1次得到.MS-SSIM損失項表達如下：

其中，lM(x，y)是第M個分辨率的亮度分量，ci(x，y)和si(x，y)分別是第i個分辨率的對比度分量和結構分量，αM是亮度分量對應的比重參數(shù)，βi和γi分別是對比度分量和結構分量的比重參數(shù).

MS-SSIM 可最大程度地保留圖像邊緣和紋理結構等高頻信息，適合激光光條圖像的修復.

綜上所述，RSM-Net具有以下優(yōu)勢：（1）采用非對稱相似度模塊取代余弦相似度模塊.在角度之外考慮了源特征向量的激活值，激活值較低表示特征不明顯或是背景信息；（2）采用軟編碼Pconv 層替代傳統(tǒng)的Pconv層，增加了漸進式修復過程中的可學習性，同時用更契合實際的特征縮放函數(shù)描述不同特征向量對待優(yōu)化區(qū)域特征的影響；（3）引入MS-SSIM損失項，加強對圖像結構特征的還原，以更精確地修復激光光條的邊緣信息.

3 激光光條圖像修復實驗

為了驗證RSM-Net 在激光光條圖像上的性能優(yōu)勢，設計實驗對比了RSM-Net 模型和多個主流圖像修復模型的修復精度.

3.1 實驗數(shù)據(jù)集

目前缺少高質(zhì)量的激光光條圖像數(shù)據(jù)集，為了驗證模型有效性，構建了多線激光光條圖像數(shù)據(jù)集，數(shù)據(jù)來源于企業(yè)采用輪對智能在線監(jiān)測設備在列車真實運行環(huán)境下所采集的圖像.

采集到的輪對激光光條圖像尺寸為1280×1028，考慮到完整圖像分辨率過大，導致實際訓練效率低、顯存負載壓力過大，難以實現(xiàn)，且光斑區(qū)域和斷裂區(qū)域都是局部問題，其修復更多利用周邊局部區(qū)域的信息，因此本文的訓練數(shù)據(jù)集是對采集到的原始輪對光條圖像裁剪而成.考慮到訓練模型的泛化性和通用性，本文對所采集圖像中的區(qū)域進行隨機裁剪，裁剪尺寸是384×384.

隨機裁剪的區(qū)域背景信息所占比例不能過高，過高會導致裁剪的圖像中大部分都是黑色背景，不利于模型提取光條特征.因此本實驗采用的裁剪方案是一種基于比例閾值的窗口掃描法，即高光區(qū)域（值為255的像素點區(qū)域）像素點個數(shù)/總像素點個數(shù)（384×384）的比例不低于0.0001.光條訓練數(shù)據(jù)集包含16478張圖像，每張圖像分辨率384×384，訓練數(shù)據(jù)集樣例如圖3所示.

圖3 訓練集示意圖

輪對光條數(shù)據(jù)集還包括光斑區(qū)域測試集和斷裂區(qū)域測試集，樣例如圖4 所示.光斑區(qū)域測試集包含254張圖像，斷裂區(qū)域測試集包含70 張圖像.測試掩碼圖區(qū)域為人工標注獲得，ground-truth 圖像是由攝像機在理想黑暗環(huán)境下采集.

圖4 測試集示意圖

3.2 基準方法

實驗對比了4 個主流圖像修復模型：經(jīng)典模型Pconv-Net［8］（Partial convolution Network）、對partial convolution 進行了優(yōu)化的LBAM［11］（Learnable Bidirectional Attention Maps）、發(fā)表于2019 年CVPR 會議的代表模型PIC-Net［9］（Pluralistic Image Completion Network）、高精度模型RFR-Net［16］（Recurrent Feature Reasoning Network）.

3.3 評價指標

本實驗所采用的圖像修復精度指標為：平均絕對誤差MAE、均方誤差MSE、峰值信噪比PSNR 和結構相似性SSIM（Structural Similarity）.MSE 相較于MAE 對異常點更為敏感，如果有個別修復后的像素值與groundtruth 值差異較大，會引起MSE 更大的偏差.可視誤差PSNR 客觀性強，但與人類視覺系統(tǒng)的主觀評價有出入，原因在于人的視覺系統(tǒng)對圖像的主觀感受不僅受到圖像像素差異的影響，而且人眼對亮度的靈敏度比色度高.SSIM 可以同時提取亮度、對比度、結構三種圖像特征，更加符合人類的主觀感受.

3.4 實驗環(huán)境和模型超參數(shù)

實驗環(huán)境硬件配置為：Intel i9-10900X 處理器、NVIDIA GeForce RTX 3080 顯卡.軟件配置為：CUDA10.1+Cudnn7.6.5 并行計算框架、Python3.7 編程語言、Pytorch1.7深度學習框架.RSM-Net模型和中間模型采用的超參數(shù)相同，參數(shù)值設置見表1.

表1 模型超參數(shù)

3.5 實驗結果及分析

本實驗分階段提出3 種模型：Variant1、Variant2、RSM-Net.如表2 所示，Variant1 和Variant2 的主要區(qū)別在于相似度模塊采用的相似度度量不同，前者計算特征向量之間的余弦相似度，后者計算優(yōu)化的非對稱相似度.Variant2和RSM-Net的區(qū)別在于Pconv層，前者采用傳統(tǒng)Pconv-Net 模型的編碼層，后者采用優(yōu)化的軟編碼Pconv層.

表2 Variant1,Variant,RSM-Net模型結構對比

3.5.1 光斑區(qū)域實驗對比

設計實驗對比了Variant1、Variant2、RSM-Net 模型和4 個主流圖像修復模型在多線激光光條圖像數(shù)據(jù)集上的光斑區(qū)域修復精度.實驗結果如表3 所示，最佳結果加粗顯示.Variant1 在所有精度指標上都超越了所對比的主流模型.Variant2 對Variant1 進行了優(yōu)化，將余弦相似度模塊改進為非對稱相似度模塊，明顯提升了精度.RSM-Net 在4 個精度指標上全面超越Variant2，其對Variant2 的優(yōu)化是將傳統(tǒng)Pconv 層改進為軟編碼Pconv 層，軟編碼Pconv 層增加了漸進式修復的可學習性，同時用非對稱高斯函數(shù)描述不同圖像區(qū)域特征對待修復區(qū)域特征優(yōu)化的影響分布.

表3 模型精度對比（光斑區(qū)域）

圖5、圖6 給出了RSM-Net 模型和4 個baseline 模型對2個具體的光斑區(qū)域實例進行修復的實驗結果對比.圖5 展示小光斑區(qū)域的修復效果對比，圖6 展示大光斑區(qū)域的修復效果對比.

如圖5 所示，RSM-Net 模型在小光斑區(qū)域可以實現(xiàn)精確的修復；Variant1，Variant2 和RFR-Net 在該區(qū)域也能實現(xiàn)較精確的修復；而LBAM 的修復效果欠佳，雖然能修復光條，但是修復的光條存在寬度不均衡、邊緣不平滑的問題；PIC-Net和Pconv-Net則無法完整地修復光條，修復結果中仍然存在局部斷裂，Pconv-Net斷裂情況尤為明顯.

圖5 修復樣例(小光斑區(qū)域)

如圖6 所示，RSM-Net 模型在大光斑區(qū)域仍然可以實現(xiàn)精確的修復，而后6種模型的修復結果都存在不同程度的局部斷裂，其中LBAM 和PIC-Net 存在光條左右部分連接不匹配問題.

圖6 修復樣例(大光斑區(qū)域)

綜上所述，本文提出的RSM-Net 模型無論在小光斑區(qū)域還是大光斑區(qū)域上的修復效果都顯著優(yōu)于當前主流的圖像修復模型.

3.5.2 斷裂區(qū)域實驗對比

本文設計實驗對比了Variant1、Variant2、RSM-Net模型和4 個主流圖像修復模型在輪對多線激光光條圖像斷裂區(qū)域的修復精度，實驗結果如表4 和圖7 所示.表4 中最佳實驗結果加粗顯示.與光斑區(qū)域相比，光條斷裂區(qū)域的待修復特征簡單，在前3 個精度指標上，LBAM 模型表現(xiàn)更佳，但是RSM-Net 在最契合主觀視覺判斷的SSIM 指標上結果最佳.整體精度對比，Variant2 和RSM-Net 各有優(yōu)勢；圖像修復效果對比圖如圖7 所示，RSM-Net 在光條斷裂區(qū)域的修復效果與ground-truth 圖像基本一致；Variant1 生成的光條不光滑；而Variant2 和RFR-Net 修復的光條部分存在局部斷裂問題；LBAM 能完整修復光條，但是該模型修復的光條走向與ground-truth 不完全貼合，存在局部突出問題；PIC-Net 和Pconv-Net 都存在明顯的修復斷裂問題，并且Pconv-Net 還存在光條左右部分連接不匹配問題.

表4 模型精度對比（斷裂區(qū)域）

圖7 修復樣例(斷裂區(qū)域)

綜上所述，本文提出的RSM-Net 在光條局部斷裂區(qū)域的修復效果顯著優(yōu)于當前主流的圖像修復模型.

4 結論

針對激光光條灰度圖像修復問題，本文提出基于深度學習的修復模型RSM-Net，可高精度地修復激光光條圖像的光斑和斷裂，修復精度和效果均優(yōu)于當前主流圖像修復模型.考慮到激光檢測多用于嵌入式檢測設備，設備資源有限，對運行其上的模型有輕量化要求，未來將探索模型的輕量化，在滿足精度要求的同時實現(xiàn)模型的輕量.