多尺度注意力線束端子實(shí)時(shí)語(yǔ)義分割網(wǎng)絡(luò)

谷亞楠，曹如意，趙理山，蘆碧波，蘇柏順

（河南理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，河南 焦作 454003）

1 引言

線束在電子器件中的應(yīng)用非常廣泛，是電子系統(tǒng)中傳輸信號(hào)的重要載體，而線束端子作為線束生產(chǎn)中的重要連接組件，其質(zhì)量直接影響到整個(gè)電子系統(tǒng)的功能［1］。線束生產(chǎn)中需要對(duì)線束端子進(jìn)行壓接，使之與電線牢固連接，在壓接過(guò)程中會(huì)出現(xiàn)壓斷線芯或者線芯空隙過(guò)大的情況，進(jìn)而影響到電子器件的正常使用，因此線束端子的質(zhì)量檢測(cè)就顯得尤為重要［2］。由于線束端子的橫截面積較小，故其清晰圖像的采集難度較大，需要專業(yè)人員通過(guò)專業(yè)儀器設(shè)備對(duì)線束端子進(jìn)行切片、拋光、腐蝕、酸洗等操作之后再放在顯微鏡下進(jìn)行拍攝來(lái)獲取線束端子橫截面的彩色圖像［3］。通過(guò)測(cè)量線束端子線芯與絕緣層輪廓，將測(cè)量得到的參數(shù)與設(shè)定的標(biāo)準(zhǔn)參數(shù)進(jìn)行對(duì)比，可以檢測(cè)線束端子質(zhì)量［4］。但是人工測(cè)量成本高、效率低，并且持續(xù)的高強(qiáng)度工作會(huì)導(dǎo)致疲勞，從而造成測(cè)量精度下降，影響檢測(cè)準(zhǔn)確率。

為實(shí)現(xiàn)線束端子質(zhì)量檢測(cè)自動(dòng)化，蘆碧波等人［3］先將圖像轉(zhuǎn)換至Lab 空間進(jìn)行處理，再使用水平集方法［5］分割其輪廓。李秀娟等人［6］利用HALCON 軟件中的相關(guān)算子測(cè)量端子圖像中部分幾何量。胡建華等人［7］制訂了一套較完整的端子壓接質(zhì)量檢驗(yàn)標(biāo)準(zhǔn)。近年來(lái)，由于深度學(xué)習(xí)的發(fā)展，神經(jīng)網(wǎng)絡(luò)在圖像分割［8］領(lǐng)域已經(jīng)取得了很大的進(jìn)展。Long 等人［9］提出了全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Networks，F(xiàn)CN）［10］，實(shí)現(xiàn)了端到端的語(yǔ)義分割模型。Ronneberger 等人在全卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上提出UNet［11］網(wǎng)絡(luò)，在少量樣本的情況下也能達(dá)到較好的分割精度。何凱明等人［12］在Faster R-CNN［13］基礎(chǔ)上增加了一個(gè)語(yǔ)義分割的分支提出了Mask R-CNN，實(shí)現(xiàn)了實(shí)例分割。由于神經(jīng)網(wǎng)絡(luò)可以通過(guò)大量數(shù)據(jù)自動(dòng)學(xué)習(xí)提取不同目標(biāo)的特征，因此對(duì)于線束端子顯微圖像的分割效果要明顯優(yōu)于傳統(tǒng)的分割方法。

然而對(duì)于線束端子分割任務(wù)，仍存在以下問(wèn)題。首先，線束端子數(shù)據(jù)集采集難度較大導(dǎo)致數(shù)據(jù)有限，過(guò)于復(fù)雜的模型可能會(huì)過(guò)擬合。其次，線束端子線芯與絕緣層特征接近且線芯區(qū)域存在空隙，易造成誤分割。另外，線束端子質(zhì)量檢測(cè)具有實(shí)時(shí)性要求，需要模型具有較快的推理速度。為解決上述問(wèn)題，本文基于UNet 網(wǎng)絡(luò)進(jìn)行改進(jìn)，提出一種基于多尺度注意力的線束端子實(shí)時(shí)語(yǔ)義分割網(wǎng)絡(luò)MRF-UNet。首先使用參數(shù)量更少的多尺度注意力模塊（Multiple Receptive Field attention module，MRF）代替UNet 的下采樣模塊，增強(qiáng)多尺度特征提取能力同時(shí)通過(guò)減少參數(shù)量降低過(guò)擬合的可能。其次使用特征融合實(shí)現(xiàn)跳躍連接并對(duì)解碼部分進(jìn)行深度約減，提升推理速度。

2 相關(guān)工作

2.1 UNet 網(wǎng)絡(luò)

UNet 是常用的語(yǔ)義分割網(wǎng)絡(luò)，其總體采用對(duì)稱的U 型結(jié)構(gòu)并通過(guò)跳躍連接（Skip-connection）將淺層特征引入解碼部分，使解碼器在上采樣時(shí)利用淺層特征得到更加精細(xì)的分割結(jié)果，UNet 網(wǎng)絡(luò)如圖1所示。

UNet 由編碼部分與解碼部分構(gòu)成，編碼部分通過(guò)卷積池化等操作對(duì)特征圖進(jìn)行壓縮與編碼，獲取圖像語(yǔ)義信息與細(xì)節(jié)信息。輸入圖像首先經(jīng)過(guò)雙層卷積操作將特征通道擴(kuò)展到64 維，之后依次通過(guò)4 組池化層與雙層卷積操作進(jìn)行特征提取。

解碼部分則利用反卷積與卷積操作對(duì)特征圖進(jìn)行解碼，利用編碼部分獲得的語(yǔ)義信息與細(xì)節(jié)信息恢復(fù)概率圖。首先通過(guò)4 組反卷積層與雙層卷積層（對(duì)輸入特征2 倍上采樣后與編碼部分對(duì)應(yīng)特征進(jìn)行拼接，再將特征通道數(shù)減半）對(duì)輸入特征進(jìn)行語(yǔ)義解析與細(xì)節(jié)恢復(fù)。最后通過(guò)1×1 卷積輸出概率圖。

圖1 UNet 網(wǎng)絡(luò)Fig.1 UNet network

2.2 殘差結(jié)構(gòu)

何凱明等人在ResNet 網(wǎng)絡(luò)中使用殘差結(jié)構(gòu)［14］，通過(guò)將輸入與輸出進(jìn)行連接，使得梯度在反向傳播時(shí)增加了一條恒等通道，可加快模型訓(xùn)練速度，降低梯度消失的可能。本文提出的MRF 模塊可以提升網(wǎng)絡(luò)的特征提取能力，但同時(shí)網(wǎng)絡(luò)深度增加可能造成學(xué)習(xí)退化的問(wèn)題。在MRF 模塊中使用殘差結(jié)構(gòu)可以加快模型訓(xùn)練速度。

圖2 殘差結(jié)構(gòu)Fig.2 Residual structure

3 線束端子實(shí)時(shí)語(yǔ)義分割網(wǎng)絡(luò)

3.1 網(wǎng)絡(luò)總體結(jié)構(gòu)

線束端子顯微圖像獲取流程繁瑣，能夠得到的訓(xùn)練樣本有限。如果使用復(fù)雜的大型網(wǎng)絡(luò)容易過(guò)擬合且會(huì)造成模型參數(shù)量增加，不利于實(shí)現(xiàn)算法實(shí)時(shí)性。因此在線束端子分割任務(wù)中大型分割網(wǎng)絡(luò)與結(jié)構(gòu)簡(jiǎn)單的UNet 網(wǎng)絡(luò)比并不具有優(yōu)勢(shì)。但UNet 網(wǎng)絡(luò)采用雙層卷積操作提取圖像特征，語(yǔ)義解析能力不足且運(yùn)算速度較慢。為解決以上問(wèn)題，本文在UNet 基礎(chǔ)框架上進(jìn)行改進(jìn)。采用參數(shù)量更少的MRF 模塊作為網(wǎng)絡(luò)的特征提取模塊，提升模型提取多尺度特征的能力，同時(shí)較少的參數(shù)量也降低了過(guò)擬合的可能。其次使用特征相加實(shí)現(xiàn)跳躍連接，進(jìn)一步減少了網(wǎng)絡(luò)的參數(shù)量。最后對(duì)解碼部分進(jìn)行深度約減，降低模型參數(shù)量并提升推理速度。

MRF-UNet 網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。網(wǎng)絡(luò)分為編碼部分（Encode）與解碼部分（Decode）。Encode包含1 個(gè)ConvX 層與4 個(gè)MRF 模塊，Decode由4 個(gè)上采樣（UP）模塊和1 個(gè)ConvX 層構(gòu)成，1～4 層特征與6～9 層特征通過(guò)跳躍連接相連。其中ConvX 層代表卷積、批量歸一化、非線性激活操作。

圖3 MRF-UNet 網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 MRF-UNet network structure

輸入圖像首先經(jīng)過(guò)ConvX 層將圖像卷積到32 維，再通過(guò)4 個(gè)MRF 模塊提取圖像多尺度特征，每個(gè)MRF 模塊將特征圖通道數(shù)擴(kuò)大2 倍并進(jìn)行2 倍下采樣。之后經(jīng)過(guò)4 個(gè)UP 模塊恢復(fù)特征圖分辨率，UP 模塊利用反卷積（De-Conv）層將特征圖通道數(shù)縮小一半并進(jìn)行2 倍上采樣。其次經(jīng)過(guò)批量歸一化（Batch Normalization，BN）層與非線性激活函數(shù)（Rectified Linear Unit，ReLU）層對(duì)特征進(jìn)行歸一化處理與非線性激活。最后ConvX 層對(duì)特征進(jìn)行解碼再通過(guò)跳躍連接引入淺層特征相加后輸出，特征相加實(shí)現(xiàn)跳躍連接參數(shù)量更少。本文利用反卷積層同時(shí)實(shí)現(xiàn)上采樣與特征映射，相較于UNet 的上采樣模塊，減少了一個(gè)卷積層，實(shí)現(xiàn)解碼部分深度約減。

3.2 多尺度注意力模塊

線束端子顯微圖像在采集過(guò)程中，受工藝水平、光照環(huán)境等因素影響，線芯與絕緣層邊界不清晰且線芯區(qū)域存在空隙，因此給分割任務(wù)帶來(lái)很大難度，此外線束端子質(zhì)量檢測(cè)具有實(shí)時(shí)性要求［3］。為了使模型在高質(zhì)量完成特征提取任務(wù)的同時(shí)，還能保持較少參數(shù)量，本文采用多尺度注意力（MRF）模塊作為網(wǎng)絡(luò)特征提取的基礎(chǔ)模塊。MRF 模塊結(jié)構(gòu)如圖4 所示，由短期密集連接（Short-Term Density Concatenate module，STDC）模塊［15］與通道注意力機(jī)制（Attention）［16］構(gòu)成并使用殘差結(jié)構(gòu)將輸入與輸出連接，相較于UNet 的下采樣模塊，MRF 模塊增強(qiáng)模型多尺度特征提取能力的同時(shí)，保持較少的參數(shù)量。輸入特征首先通過(guò)STDC 模塊提取多尺度特征，再利用通道注意力機(jī)制對(duì)多尺度特征進(jìn)行自適應(yīng)加權(quán)激活，最后引入殘差結(jié)構(gòu)加速網(wǎng)絡(luò)訓(xùn)練。使用STDC 模塊代替?zhèn)鹘y(tǒng)卷積模塊，能夠增強(qiáng)網(wǎng)絡(luò)多尺度特征提取能力，避免下采樣過(guò)程導(dǎo)致線束端子顯微圖像中的邊緣和空隙等細(xì)節(jié)信息丟失，從而提升網(wǎng)絡(luò)對(duì)邊緣以及空隙的分割能力。而注意力機(jī)制能夠?qū)Σ煌奶卣髯赃m應(yīng)增加權(quán)重，強(qiáng)化不同目標(biāo)特征間的差異性，進(jìn)一步提升線芯與絕緣層邊界的提取能力。

圖4 多尺度注意力模塊Fig.4 Multiple receptive field attention module

3.2.1 STDC 模塊

Fan 等人提出STDC 模塊，總體結(jié)構(gòu)如圖4（b）所示，STDC 模塊通過(guò)較少的參數(shù)量獲得多感受野特征，輸出結(jié)果中深層特征少，淺層特征多。在圖像分類任務(wù)中，深層特征一般會(huì)使用更多的通道數(shù)量。但語(yǔ)義分割任務(wù)中，模型在解碼階段將高維度特征圖進(jìn)行解碼得到概率圖，淺層特征能夠帶來(lái)更加細(xì)粒度的信息，使得到的分割圖像更加精細(xì)，過(guò)多的深度特征則會(huì)導(dǎo)致語(yǔ)義信息冗余。因此STDC 模塊可以增強(qiáng)網(wǎng)絡(luò)提取線束端子顯微圖像中不同尺度特征的能力。

輸入特征圖依次經(jīng)過(guò)4 個(gè)ConvX 層獲取不同尺度特征，第1 個(gè)ConvX 層的卷積核尺寸是1×1，其余為3×3。第2 個(gè)ConvX 層的卷積步長(zhǎng)是2，其余步長(zhǎng)是1。因此第2 個(gè)ConvX 之后的特征圖尺寸都是輸入特征尺寸的一半，最后將得到的4 組特征圖通道拼接后輸出。由于第1 組特征圖尺寸是其余3 組的2 倍，需要使用均值池化進(jìn)行2 倍下采樣后才能進(jìn)行拼接。

3.2.2 通道注意力機(jī)制

STDC 模塊可以提取多尺度特征，但是不同尺度的特征對(duì)分割結(jié)果的影響不同，線束端子顯微圖像中，目標(biāo)的顏色通常是綠色，背景則通常是黑色，因此顏色信息對(duì)線束端子的分割尤為重要。所以對(duì)不同尺度特征進(jìn)行針對(duì)性的提取與學(xué)習(xí)可以進(jìn)一步提升分割精度。STDC 模塊能夠充分利用線束端子多尺度特征進(jìn)行分割，但是不同尺度特征對(duì)分割結(jié)果的權(quán)重不同。通道注意力機(jī)制可以對(duì)不同尺度的特征進(jìn)行重加權(quán)激活，增強(qiáng)有用信息，抑制冗余信息。這樣可以有效提升模型對(duì)特征的學(xué)習(xí)能力，同時(shí)加速模型擬合。

本文所采用的通道注意力機(jī)制如圖4（c）所示。首先，通過(guò)最大池化和均值池化獲取兩組特征向量。其次，經(jīng)過(guò)卷積層和ReLU 層將特征向量進(jìn)行壓縮激活，利用卷積層將壓縮后的特征向量解壓縮。之后將兩路特征向量融合，并利用Sigmoid 激活函數(shù)進(jìn)行激活。最后，將激活的特征向量與輸入特征圖相乘得到輸出特征圖。

3.3 損失函數(shù)

交叉熵?fù)p失函數(shù)［17］是圖像分割的常用方法，用于描述兩個(gè)概率分布之間的差異性信息，交叉熵?fù)p失函數(shù)（CrossEntropy Loss，CELoss）計(jì)算公式如式（1）：

其中：N代表像素點(diǎn)個(gè)數(shù)；M代表類別數(shù)；yij代表符號(hào)函數(shù)，若樣本i的真實(shí)類別等于j則取1，否則取0；pij表示像素點(diǎn)i屬于類別j的預(yù)測(cè)概率。

線束端子數(shù)據(jù)集中的背景、絕緣層、線芯這三個(gè)類別的分布相差較大。背景區(qū)域占比大，因此在訓(xùn)練過(guò)程中，網(wǎng)絡(luò)更側(cè)重學(xué)習(xí)背景區(qū)域的特征。引入戴斯系數(shù)損失函數(shù)（DiceLoss）［18］可以很好的解決類別不均衡問(wèn)題，DiceLoss 用于描述兩個(gè)集合的重合度，計(jì)算公式如式（2）：

其中：A和B分別表示真實(shí)結(jié)果與模型分割結(jié)果，|A∩B|表示兩個(gè)集合相交的像素點(diǎn)個(gè)數(shù)，|A|和|B|分別表示集合A和B的元素個(gè)數(shù)。

然而DiceLoss 對(duì)邊界較為敏感，在反向傳播的過(guò)程中可能導(dǎo)致梯度劇烈變化，造成模型訓(xùn)練速度變慢［19］。基于以上考慮，本文使用CELoss與DiceLoss 構(gòu)成的復(fù)合損失函數(shù)，如式（3）所示：

本文將CELoss 與DiceLoss 相加構(gòu)成復(fù)合損失函數(shù)，CELoss 關(guān)注像素分類結(jié)果，DiceLoss 則更關(guān)注分割區(qū)域與真實(shí)結(jié)果之間的相似性，二者具有一致性，當(dāng)分割區(qū)域與真實(shí)結(jié)果完全重合，損失值為0。該復(fù)合損失函數(shù)可以降低類別不均衡問(wèn)題對(duì)模型造成的影響，同時(shí)防止梯度劇烈變化，加快模型訓(xùn)練速度。

4 實(shí)驗(yàn)分析

4.1 實(shí)驗(yàn)配置

實(shí)驗(yàn)運(yùn)行環(huán)境為Ubuntu20.04 系統(tǒng)，Intel Xeon（R）Silver 4214R CPU @ 2.40 GHz x48 處理器，內(nèi)存128 GB，顯卡NVIDIA Corporation TU102GL ［Quadro RTX 8000］，CUDA11.4.2，Pytorch1.9.1，Python3.8.12。模型訓(xùn)練使用RMSprop 優(yōu)化算法，并設(shè)置衰減學(xué)習(xí)率，連續(xù)2個(gè)Epoch 模型驗(yàn)證精度不提高，學(xué)習(xí)率衰減一半。訓(xùn)練過(guò)程開(kāi)啟AMP 自動(dòng)混合精度，降低訓(xùn)練過(guò)程中內(nèi)存占用，加快訓(xùn)練。BatchSize 設(shè)為20，Epoch 設(shè)為101，初始學(xué)習(xí)率設(shè)為0.001。

4.2 數(shù)據(jù)集介紹

本文使用線束端子顯微圖像數(shù)據(jù)集均通過(guò)專業(yè)人員利用線束端子截面檢測(cè)儀進(jìn)行采集。數(shù)據(jù)采集流程繁瑣，能夠獲得的數(shù)據(jù)集有限，共138 張?jiān)紨?shù)據(jù)，線束端子顯微圖像如圖5 所示。為提高模型泛化能力，本文通過(guò)調(diào)節(jié)亮度對(duì)比度、灰度均衡化、隨機(jī)高斯噪聲、幾何變換等圖像處理技術(shù)對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)，共得到1 600張數(shù)據(jù)。其中，隨機(jī)選取200 張作為測(cè)試數(shù)據(jù)集，用于模型性能評(píng)價(jià)；140 張作為驗(yàn)證集，用于訓(xùn)練過(guò)程中對(duì)模型性能進(jìn)行階段性評(píng)估；剩余的1 260 張作為訓(xùn)練集用于模型訓(xùn)練。為便于進(jìn)行批訓(xùn)練，通過(guò)裁剪縮放等操作對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，將所有圖像尺寸統(tǒng)一成576×800。

圖5 線束端子顯微圖像Fig.5 Micrograph of harness terminal

4.3 評(píng)價(jià)指標(biāo)

為客觀評(píng)價(jià)本文算法性能，采用以下指標(biāo)對(duì)模型進(jìn)行評(píng)估：平均交并比（MIoU）、平均像素精度（MPA）、戴斯系數(shù)（Dice）、每秒推理幀數(shù)（FPS）。MIoU 表示分割結(jié)果與實(shí)際結(jié)果的相似度，MPA 表示像素點(diǎn)分類精度，Dice 表示分割結(jié)果與實(shí)際結(jié)果的重合度，F(xiàn)PS 表示每秒模型推理圖片數(shù)量。具體計(jì)算公式如下：

其中：k+1 是類別個(gè)數(shù)，在線束端子顯微圖像分割任務(wù)中k=2；Pii為真正的數(shù)量，Pij，Pji分別表示假正和假負(fù)；N為推理圖片數(shù)量；T為推理所用時(shí)間；A和B分別表示真實(shí)結(jié)果與模型分割結(jié)果。

4.4 實(shí)驗(yàn)與分析

4.4.1 模型性能對(duì)比實(shí)驗(yàn)

STDC 模塊能夠增強(qiáng)模型多尺度特征的提取能力，但是不同尺度特征對(duì)分割結(jié)果的影響不同，加入注意力機(jī)制可以對(duì)重要特征增加自適應(yīng)權(quán)重，從而提升分割效果。注意力機(jī)制提取特征向量后會(huì)利用卷積與ReLU 對(duì)其進(jìn)行壓縮激活，不同的壓縮比率對(duì)模型性能的影響不同。為了對(duì)比STDC 模塊、注意力機(jī)制對(duì)模型效果的影響，進(jìn)行以下實(shí)驗(yàn)，其中K表示注意力機(jī)制特征壓縮比率。從表1 可以看出，單獨(dú)使用STDC 模塊，模型的精度略低于UNet，但是速度卻是UNet 的4 倍。使用本文提出的MRF 模塊相較于使用STDC 模塊在分割精度上有一定提升，且模型推理速度是UNet 的3 倍。并且當(dāng)特征壓縮比率K=16 時(shí)效果最好。

本文算法為保證實(shí)時(shí)性與輕量化，采用了參數(shù)量更少的MRF 模塊。其次使用特征相加實(shí)現(xiàn)跳躍連接，進(jìn)一步減少了網(wǎng)絡(luò)的參數(shù)量。最后對(duì)解碼部分進(jìn)行深度約減，降低模型運(yùn)算量。為驗(yàn)證網(wǎng)絡(luò)整體性能，將MRF-UNet 與UNet，BiSeNet［20］，SegNet［21］等語(yǔ)義分割網(wǎng)絡(luò)的推理占用內(nèi)存（Memory）、浮點(diǎn)數(shù)運(yùn)算量（Floating-point Operation Per second，F(xiàn)LOPs）、每秒推理幀數(shù)（FPS）進(jìn)行對(duì)比，對(duì)比結(jié)果如表2 所示。實(shí)驗(yàn)結(jié)果顯示，MRF-UNet 模型推理占用內(nèi)存低于其他網(wǎng)絡(luò)，相較于UNet 下降了48%左右，這表明模型對(duì)設(shè)備內(nèi)存的要求較低，可以降低設(shè)備成本；浮點(diǎn)數(shù)運(yùn)算量同樣低于其他網(wǎng)絡(luò)，相較于UNet下降了89%左右，運(yùn)算量大幅度減少，因此模型推理速度得到較大提升。模型推理速度達(dá)到15 FPS，可以滿足線束端子質(zhì)量檢測(cè)實(shí)時(shí)性要求。

表1 模塊性能指標(biāo)對(duì)比Tab.1 Module performance index comparison

表2 網(wǎng)絡(luò)性能指標(biāo)對(duì)比Tab.2 Comparison of network performance indicators

為驗(yàn)證本文算法對(duì)線束端子的分割效果，將MRF-UNet 與UNet，BiSeNet，SegNet 在測(cè)試數(shù)據(jù)集上進(jìn)行分割效果對(duì)比，實(shí)驗(yàn)對(duì)比結(jié)果如表3所示。實(shí)驗(yàn)結(jié)果可以看出，MRF-UNet 的各項(xiàng)指標(biāo)均優(yōu)于其他模型，MIoU，MPA，Dice 指標(biāo)分別達(dá)到了97.54%，98.83%，98.31%，高于其他模型，分割精度滿足線束端子質(zhì)量檢測(cè)要求。

表3 網(wǎng)絡(luò)分割效果對(duì)比Tab.3 Comparison of network segmentation effects（%）

為了定性分析本文算法對(duì)邊界不明顯與線芯區(qū)域存在空隙的線束端子圖像的分割效果，將本文算法與其他語(yǔ)義分割網(wǎng)絡(luò)進(jìn)行對(duì)比，結(jié)果如圖6 所示。例1 邊界不明顯，BiSeNet，UNet 線芯區(qū)域誤分割，SegNet 分割絕緣層存在缺失；例2線芯與絕緣層存在較大空隙，BiSeNet 分割線芯區(qū)域過(guò)于平滑，UNet 分割線芯區(qū)域存在孔洞，SegNet 分割線芯效果較差；例3 邊界不清晰且線芯與絕緣層存在空隙，BiSeNet 分割邊緣丟失細(xì)節(jié)信息，UNet，SegNet 分割結(jié)果不夠精細(xì)；例4 邊界不清晰，BiSeNet 線芯區(qū)域誤分割，UNet 分割結(jié)果尚可，SegNet 分割線芯邊緣存在鋸齒。例5線芯與絕緣層存在細(xì)小空隙，BiSeNet，SegNet 線芯區(qū)域誤分割，UNet 分割結(jié)果尚可。例6 邊界不明顯，BiSeNet 線芯分割不夠精細(xì)，UNet 分割結(jié)果較好，SegNet 分割絕緣層精度不足。可以看出，本文算法對(duì)于邊界不清晰與線芯存在空隙的樣本分割效果更好。

圖6 分割結(jié)果對(duì)比圖Fig.6 Comparison diagram of segmentation results

4.4.2 幾何參數(shù)測(cè)量實(shí)驗(yàn)

為驗(yàn)證MRF-UNet 在實(shí)際線束端子顯微圖像幾何測(cè)量任務(wù)中的精確度，分別使用MRFUNet，BiSeNet，UNet 和SegNet 等模型對(duì)線束端子測(cè)試樣本進(jìn)行幾何測(cè)量。幾何測(cè)量要先獲取線束端子線芯與絕緣層的輪廓，具體流程如下：（1）利用模型對(duì)線束端子顯微圖像進(jìn)行分割，獲得線芯與絕緣層對(duì)應(yīng)區(qū)域；（2）使用數(shù)字圖像處理技術(shù)，對(duì)分割區(qū)域進(jìn)行平滑、去孔洞處理（為獲取相對(duì)平滑的輪廓）；（3）使用輪廓檢測(cè)算法獲取線芯與絕緣層輪廓。輪廓獲取結(jié)果對(duì)比如圖7所示。

示例1 中BiSeNet 與SegNet 分割的線芯輪廓邊界不夠精細(xì)，UNet 分割的線芯輪廓存在孔洞；示例2 中BiSeNet 與SegNet 分割的邊界不夠準(zhǔn)確，UNet 分割結(jié)果較好；示例3 中的BiSeNet，SegNet 對(duì)線芯輪廓的分割都不夠精確，UNet 得到了較好的分割結(jié)果；由此可見(jiàn)，BiSeNet、UNet，SegNet 算法對(duì)一些線束端子圖像容易誤分割，分割結(jié)果不穩(wěn)定，這將影響輪廓幾何特征的測(cè)量，從而影響線束端子質(zhì)量檢測(cè)。而本文提出的算法MRF-UNet 則可以精準(zhǔn)的對(duì)線束端子線芯與絕緣層進(jìn)行分割，并準(zhǔn)確提取內(nèi)外輪廓，為后續(xù)的質(zhì)量檢測(cè)提供數(shù)據(jù)支撐。

圖7 輪廓檢測(cè)對(duì)比圖Fig.7 Contour detection comparison diagram

幾何測(cè)量在獲取線芯與絕緣層輪廓之后，根據(jù)所得輪廓計(jì)算線芯與絕緣層的周長(zhǎng)和面積，將所得數(shù)據(jù)與人工測(cè)量數(shù)據(jù)進(jìn)行比較，計(jì)算平均測(cè)量精確度（線芯與絕緣層的周長(zhǎng)和面積的精確度平均值）。本文算法與其他網(wǎng)絡(luò)進(jìn)行幾何測(cè)量的對(duì)比結(jié)果如圖8 所示。

測(cè)量結(jié)果可以得知，BiSeNet，SegNet，UNet網(wǎng)絡(luò)的幾何測(cè)量平均精度分別為94.5%，95.8%，96.1%。而本文算法MRF-UNet 的幾何測(cè)量平均精度達(dá)到96.3%，優(yōu)于其他算法。

圖8 幾何測(cè)量結(jié)果對(duì)比圖Fig.8 Comparison diagram of geometric measurement results

5 結(jié)論

本文為實(shí)現(xiàn)線束端子質(zhì)量檢測(cè)自動(dòng)化，提出了一種基于多尺度注意力的線束端子實(shí)時(shí)語(yǔ)義分割網(wǎng)絡(luò)MRF-UNet。首先，采用MRF 模塊作為特征提取基礎(chǔ)模塊，增強(qiáng)模型對(duì)線束端子的多尺度特征提取能力。其次，使用通道相加代替通道拼接，進(jìn)一步降低網(wǎng)絡(luò)參數(shù)量，防止模型過(guò)擬合。最后，對(duì)解碼部分進(jìn)行深度約減，提高模型推理速度，滿足線束端子檢測(cè)實(shí)時(shí)性要求。經(jīng)過(guò)實(shí)驗(yàn)對(duì)比，MRF-UNet 網(wǎng)絡(luò)的各個(gè)指標(biāo)均優(yōu)于UNet、BiSeNet 和SegNet，MIoU，MPA，Dice 指標(biāo)分別達(dá)到97.54%，98.83%，98.31%。更重要的是在分割精度達(dá)到預(yù)期水平的情況下，推理速度是UNet 的3 倍，滿足線束端子質(zhì)檢任務(wù)的實(shí)時(shí)性要求與精確度要求，可以為后續(xù)的線束端子質(zhì)量檢測(cè)提供數(shù)據(jù)支撐。