基于改進(jìn)Sobel算子的語義分割算法

劉清華 仲臣 徐錦修 韓雨辰

摘? 要：針對常用語義分割算法存在丟失邊緣信息導(dǎo)致分割不夠精確的問題，通過結(jié)合邊緣檢測算法進(jìn)行語義分割，有效地改善了分割不準(zhǔn)確及邊緣模糊的問題。算法采用并行結(jié)構(gòu)，通過邊緣檢測子網(wǎng)絡(luò)所提取的邊緣特征來對語義分割子網(wǎng)絡(luò)所提取的語義分割特征進(jìn)行信息的補(bǔ)充，采用concat融合兩路特征進(jìn)行卷積操作來獲取最終分割結(jié)果。實(shí)驗(yàn)基于TensorFlow平臺(tái)進(jìn)行，所提出方法相比以往算法在計(jì)算速度接近的同時(shí)真實(shí)值和預(yù)測值的交并比上取得了一定提升，增強(qiáng)了分割結(jié)果。

關(guān)鍵詞：圖像分割;邊緣檢測;深度學(xué)習(xí);全卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)：TP391.41;TP242? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2020）24-0101-05

Semantic Segmentation Algorithm Based on Improved Sobel Operator

LIU Qinghua1，2，ZHONG Chen1，2，XU Jinxiu1，2，HAN Yuchen1，2

（1.School of Space Information and Surveying Engineering，Anhui University of Science and Technology，Huainan? 232001，China;

2.Key Laboratory of Aviation-Aerospace-Ground Cooperative Monitoring and Early Warning of Coal Mining-Induced Disasters of Anhui Higher Education Institutes，Anhui University of Science and Technology，Huainan? 232001，China）

Abstract：Aiming at the problem of inaccurate segmentation caused by the loss of edge information in common semantic segmentation algorithms，the problem of inaccurate segmentation and fuzzy edge is effectively improved by semantic segmentation combined with edge detection algorithm. The algorithm adopts parallel structure. The edge features extracted by the edge detection sub-network are used to supplement the semantic segmentation features extracted by the semantic segmentation sub-network. The final segmentation result is obtained by convolution operation of concat fusion of two features. The experiment is based on TensorFlow platform. Compared with the previous algorithm，the proposed method achieves a certain improvement in the intersection and union ratio of the real value and the predicted value，and enhances the segmentation results.

Keywords：image segmentation;edge detection;deep learning;fully convolutional network

0? 引? 言

圖像語義分割是計(jì)算機(jī)視覺領(lǐng)域中極為重要的一個(gè)研究方向，其主要作用是以像素級(jí)別對目標(biāo)圖像中各事物進(jìn)行圖像識(shí)別及目標(biāo)檢測。方法為從像素級(jí)別分辨出所識(shí)別圖像中的具體對象及對象位置，即先識(shí)別圖片中的目標(biāo)，后描繪各個(gè)體和場景之間的輪廓，最后將其分類并對同一類事物賦予同樣顏色表示。但其存在著諸如不同類但較為相似物體難以區(qū)分、尺寸過小的物體難以識(shí)別等難點(diǎn)。而如今隨著深度學(xué)習(xí)的成熟，基于深度學(xué)習(xí)的圖像語義分割成為主流，在準(zhǔn)確性和識(shí)別速度等各方面都有較大提高，且在自動(dòng)駕駛、人臉識(shí)別、遙感影像及醫(yī)學(xué)影像等領(lǐng)域廣泛應(yīng)用，具有很高的研究價(jià)值。

1? 發(fā)展概況

1.1? 語義分割發(fā)展概況

全卷積網(wǎng)絡(luò)（Fully Convolution Networks，F(xiàn)CN）[1]是將深度學(xué)習(xí)應(yīng)用到語義分割領(lǐng)域的鼻祖。DeepLab系列網(wǎng)絡(luò)專門用于圖像分割領(lǐng)域，DeepLab V1[2]將VGG16中全連接層轉(zhuǎn)化為卷積層，網(wǎng)絡(luò)中最后兩個(gè)池化層后的卷積層轉(zhuǎn)化為空洞卷積[3]，并在網(wǎng)絡(luò)的最后一層添加全連接條件隨機(jī)場用以提升精確率。DeepLab V2[4]在V1的基礎(chǔ)上以ResNet網(wǎng)絡(luò)代替VGG16，且加入了空洞空間金字塔池化（Atrous Spatial Pyramid Pooling，ASPP），在改善了神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中信息丟失問題，精度方面有較大提升。DeepLab V3[5]在V2的基礎(chǔ)上添加了1×1的卷積層和批量歸一化層（Batch Normalization，BN），設(shè)計(jì)了串行和并行空洞卷積模塊并采用不同空洞率來獲得多尺度特征信息，將獲取到的全部特征融合一起。

編碼器-解碼器結(jié)構(gòu)是目前采用較多的網(wǎng)絡(luò)結(jié)構(gòu)。其原理是編碼器通過卷積池化獲得像素點(diǎn)位置信息，對應(yīng)解碼器進(jìn)行反卷積操作還原像素的位置信息，從而輸出分割圖像。最經(jīng)典的編解碼結(jié)構(gòu)的分割網(wǎng)絡(luò)是SegNet[6]，有著相對較高的分割精度及分割速度，但會(huì)導(dǎo)致圖像丟失部分高頻細(xì)節(jié)，從而致使目標(biāo)邊緣模糊及分割結(jié)果細(xì)節(jié)丟失。U-Net[7]將網(wǎng)絡(luò)中每層信息多層次融合，減少了因池化層丟失的信息，但不能恢復(fù)到與輸入圖相同的尺寸。Deeplab V3+[8]將DeepLab V3作為編碼器后添加了一個(gè)簡單的解碼器用于捕獲空間信息，取得了更高的精度。

還有部分方法通過構(gòu)建特殊模塊，將其添加到常用結(jié)構(gòu)中來提升語義分割的性能。ENet[9]基于SegNet設(shè)計(jì)了一個(gè)采用池化層和卷積層并行計(jì)算的初始模塊，可以減少網(wǎng)絡(luò)的深度并降低計(jì)算量，該算法是一種速度極快的算法，可以達(dá)到SegNet算法的數(shù)倍。PSPNet[10]將復(fù)雜場景上下文加入FCN預(yù)測框架，通過金字塔池化模塊聚合不同區(qū)域的上下文信息，常用于復(fù)雜場景的場景解析，可以提高對外觀相似的不同物體的分割精度。

1.2? 邊緣檢測發(fā)展概況

邊緣加測算法的通過檢測局部像素灰度值差異的變化進(jìn)行確定邊界點(diǎn)，通過確定的邊界點(diǎn)連接進(jìn)而獲得開放或封閉的邊界。邊緣檢測算法可以提供豐富的圖像邊緣信息，根據(jù)處理策略的不同可分為串行檢測法和并行檢測法兩種。由于并行檢測法過程相對簡單，性能較為優(yōu)良，故在實(shí)際應(yīng)用中常采用并行檢測法完成分割。常用的傳統(tǒng)邊緣檢測算子有Prewitt算子[11]、Canny算子[12]和Sobel算子[13]等，其中Canny算子邊緣定位準(zhǔn)確且閉合性好，但必須人工設(shè)置檢測閾值;Sobel算子操作簡單切運(yùn)算簡便，但對斜向邊緣的檢測效果較差。本文通過對Sobel算子進(jìn)行改良，在其原本僅有豎向及橫向檢測算子的基礎(chǔ)上增加45°及135°兩個(gè)斜方向算子，對其斜向邊緣不足進(jìn)行補(bǔ)充，達(dá)到更好的效果。

2? 結(jié)合改進(jìn)Sobel算子的語義分割算法

針對單一語義分割算法存在的問題，本文提出一種新的算法，該算法通過結(jié)合邊緣檢測網(wǎng)絡(luò)彌補(bǔ)語義分割算法存在的問題，通過結(jié)合深度學(xué)習(xí)，達(dá)到了較為理想的結(jié)果。

2.1? 算法原理

本文提出的模型采用并行結(jié)構(gòu)，如圖1所示，主要由邊緣檢測、語義分割兩個(gè)子網(wǎng)絡(luò)和特征融合模塊三部分組成。在輸入圖像后將圖像分別送入兩路網(wǎng)絡(luò)，從而得到兩種特征信息，特征信息采用concat融合方式進(jìn)行初步融合，將結(jié)果進(jìn)行多層卷積，利用卷積操作融合兩個(gè)子網(wǎng)絡(luò)特征，最后將多次卷積后的結(jié)果進(jìn)行Softmax分類，從而得到最終的分割圖像。

邊緣檢測子網(wǎng)絡(luò)用于捕獲和學(xué)習(xí)圖像的邊緣信息，獲取更多的細(xì)節(jié)信息，從而為語義分割提供更精確的邊緣信息。

語義分割子網(wǎng)絡(luò)用于提取圖像的區(qū)域特征，通過對輸入的圖像進(jìn)行下采樣后進(jìn)行上采樣，得到初步的語義分割特征，但在下采樣時(shí)大量的細(xì)節(jié)信息會(huì)丟失。

特征融合模塊用于融合獲取的兩路特征信息，通過將獲得邊緣檢測特征和語義分割特征進(jìn)行卷積融合，利用獲取的邊緣信息來補(bǔ)充語義分割中缺失的邊緣信息，從而改善語義分割的效果。

2.2? 邊緣檢測子網(wǎng)絡(luò)

邊緣檢測子網(wǎng)絡(luò)采用改進(jìn)Sobel算子算法，該方法通過在傳統(tǒng)Sobel算子算法的縱向及橫向兩個(gè)算子的基礎(chǔ)上增加45°及135°兩個(gè)方向算子，從而解決傳統(tǒng)Sobel算子算法在斜方向上檢測效果不佳的問題，改進(jìn)算子結(jié)構(gòu)如圖2所示。

計(jì)算時(shí)采用四個(gè)方向的算子模板，對圖像矩陣依次計(jì)算得到各分量的運(yùn)算結(jié)果，用結(jié)果和替代像素點(diǎn)灰度值，邊緣方向由新灰度值的模板的方向決定，選擇合適的閾值TH并進(jìn)行二值化處理，然后利用式（1）進(jìn)行二值化判斷。若像素點(diǎn)梯度方向接近水平、豎直、傾斜45°或傾斜135°方向之一，且梯度大于TH，則判斷點(diǎn)位于圖像邊緣，否則視為非邊緣點(diǎn)忽略。

（1）

其中，▽G?（x，y）為經(jīng)過計(jì)算的梯度值，TH為選取的閾值。

2.3? 語義分割子網(wǎng)絡(luò)

語義分割子網(wǎng)絡(luò)結(jié)構(gòu)采用基于編碼器-解碼器結(jié)構(gòu)的SegNet算法，結(jié)構(gòu)圖如圖3所示。編碼階段主要對圖像進(jìn)行特征提取，算法采用VGG16網(wǎng)絡(luò)模型，編碼階段由卷積層、BN層和池化層組成。卷積層獲取圖像特征，池化層進(jìn)行圖像下采樣并將特征傳送到下一層，BN層對圖像進(jìn)行歸一化分布，增強(qiáng)學(xué)習(xí)效率。解碼階段由對應(yīng)編碼器的不同解碼器組成，包含反卷積層、BN層和上采樣層，解碼器通過獲取編碼器對應(yīng)存儲(chǔ)的最大池化索引來獲取信息，通過反卷積使得圖像分類后特征得以重現(xiàn)，上采樣層彌補(bǔ)編碼階段池化層對目標(biāo)造成的細(xì)節(jié)損失。

2.4? 特征融合模塊

本文設(shè)計(jì)的結(jié)構(gòu)中，獲得邊緣檢測特征及語義分割特征后，需要對兩路特征進(jìn)行融合。因?yàn)檫吘墮z測子網(wǎng)絡(luò)所得特征多為表示圖像邊緣和細(xì)節(jié)信息，而語義分割子網(wǎng)絡(luò)所得特征多為表示圖像區(qū)域的信息。進(jìn)行特征融合簡單地進(jìn)行加權(quán)難以達(dá)到預(yù)期的效果，所以本文采用一個(gè)特征融合模塊，用于融合兩個(gè)不同的子網(wǎng)絡(luò)信息特征。

常用的網(wǎng)絡(luò)模型融合方式一般有add和concat兩種方式，add融合將對應(yīng)的特征圖相加，再進(jìn)行卷積操作;concat融合則是通過通道數(shù)的增加，將多通道特征進(jìn)行融合，常用于將多通道特征聯(lián)合、多卷積特征框架獲取的特征融合或者是將輸出層的信息進(jìn)行融合。對于本文設(shè)計(jì)的特征融合模塊，首先對邊緣特征和語義分割特征進(jìn)行初步融合，然后進(jìn)行多層卷積操作，利用多層卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)特征融合。綜合兩種融合方式及本文目的，最終選用concat方式進(jìn)行特征融合。

3? 實(shí)驗(yàn)結(jié)果

本文算法基于TensorFlow 2.3框架，系統(tǒng)為Windows 10，所使用的GPU為NVIDIA RTX 2070，并在Cityscapes數(shù)據(jù)集上進(jìn)行試驗(yàn)檢測。

3.1? 數(shù)據(jù)集

Cityscapes數(shù)據(jù)集是一個(gè)大型的城市街景及道路交通場景的數(shù)據(jù)集，它具有8大類別30種類的像素級(jí)別標(biāo)注，數(shù)據(jù)集來自50多個(gè)城市的街頭場景中記錄的不同視頻序列，包含5 000張高精準(zhǔn)度標(biāo)注的圖像及20 000余張粗略標(biāo)注圖像。整個(gè)數(shù)據(jù)集支持像素級(jí)別分割、實(shí)例級(jí)別分割及全景級(jí)別分割三個(gè)級(jí)別的分割性能評(píng)估。本文試驗(yàn)只使用了精準(zhǔn)標(biāo)注的圖像，同時(shí)為了實(shí)驗(yàn)方便，將圖像的分辨率調(diào)整為480×360，且每個(gè)像素都被注釋為預(yù)定義的19類。

3.2? 評(píng)價(jià)標(biāo)準(zhǔn)

本文采用當(dāng)前語義分割方向常采用的兩種標(biāo)準(zhǔn)度量指標(biāo)平均交并比（mean Intersection Over Union，mIOU）和每秒鐘可處理幀數(shù)（Frames Per Second，F(xiàn)PS）作為評(píng)價(jià)標(biāo)準(zhǔn)。mIOU通過計(jì)算真實(shí)值和預(yù)測值的交并集之比來評(píng)價(jià)算法精度，其計(jì)算公式為：

（2）

其中，k為前景對象個(gè)數(shù)，pij為原屬于第i類但卻被分到第j類的像素?cái)?shù)量。

FPS通過計(jì)算每秒鐘可處理的幀數(shù)來評(píng)價(jià)算法計(jì)算的速度，其計(jì)算公式為：

（3）

其中，N為圖像數(shù)量，Tj表示處理第j張圖像的時(shí)間。

3.3? 實(shí)驗(yàn)?zāi)Ｐ?/p>

3.3.1? 模型訓(xùn)練

本文提出的算法模型采用端到端的聯(lián)合學(xué)習(xí)方式。在過程中選用SGD優(yōu)化器，其相對于BGD優(yōu)化器訓(xùn)練較快、可以增加訓(xùn)練樣本，且其訓(xùn)練答案具有一般性，即對于服從同樣分布的非訓(xùn)練集表現(xiàn)依然良好。

3.3.2? 損失函數(shù)

由于本文采用兩種分類網(wǎng)絡(luò)，故采用兩種損失函數(shù)。

針對邊緣檢測網(wǎng)絡(luò)，其損失函數(shù)常采用交叉熵?fù)p失函數(shù)，其可以定義為：

（4）

其中，yedgelab為真實(shí)值，yedgepre為預(yù)測值，n為圖像總像素?cái)?shù)量。

針對語義分割網(wǎng)絡(luò)，通常也采用交叉熵?fù)p失函數(shù)，其可以定義為：

（5）

其中，yseglab為真實(shí)值，ysegpre為預(yù)測值，n為圖像總像素?cái)?shù)量。

3.4? 實(shí)驗(yàn)結(jié)果及分析

本文試驗(yàn)基于Cityscapes數(shù)據(jù)集，對照算法選用基于VGG16的SegNet算法和基于From Scratch的ENet算法進(jìn)行對比，通過在精度mIoU和處理時(shí)間FPS兩個(gè)指標(biāo)來評(píng)定實(shí)驗(yàn)結(jié)果。本文選取了四幅輸入圖像的分割結(jié)果對比，圖4給出了本文算法與其余兩種算法的對比，表1是在同環(huán)境下本文算法與其余算法的分割效果對比。結(jié)果對比中圖4（a）列為輸入圖像，圖4（b）列為正確標(biāo)注的分割結(jié)果，圖4（c）為本文所采用算法獲取的分割結(jié)果，圖4（d）為SegNet算法分割結(jié)果，圖4（e）為ENet算法分割結(jié)果。

由圖4可以看出，本文所采用的算法對于物體邊界的分割效果更為精確。部分較小或較細(xì)物體如路燈、電線桿、欄桿等其余算法不能很好地識(shí)別或識(shí)別不完全，本文算法在這方面具有一定改善，使得分割更為精確。

由表1可以看出，本文采用算法對SegNet算法在處理速度上較為接近，分割精度上具有優(yōu)勢;對比ENet算法雖在處理速度上有一定落后，但本文算法在精度方面有較大提升。綜合精度及速度而言，本文算法仍具有較大優(yōu)勢。

本文所提出算法由于結(jié)合了邊緣檢測模塊進(jìn)行語義分割，有效地改善了傳統(tǒng)算法中分割邊緣模糊的問題，在精度及處理速度方面均有一定情況改善。且本文邊緣識(shí)別模塊采用了較為簡單的改進(jìn)Sobel算子算法，降低了對硬件的要求，使得不需要大型工作站的情況下可以取得較為理想的結(jié)果。綜上所述，本文所提出方法具有有效性及可行性。

4? 結(jié)? 論

本文提出了一種結(jié)合邊緣檢測模塊，利用深度學(xué)習(xí)進(jìn)行卷積融合從而獲取更精準(zhǔn)結(jié)果的語義分割方法，通過將輸入的圖像進(jìn)行語義分割及邊緣識(shí)別處理后通過卷積操作進(jìn)行融合，從而取得最終的分割結(jié)果。試驗(yàn)結(jié)果表明，本文方法可以有效改善原有算法存在的分割不準(zhǔn)、邊緣模糊等問題，得到更為精準(zhǔn)的分割結(jié)果。

參考文獻(xiàn)：

[1] LONG J，SHELHAMER E，DARRELL T. Fully Convolutional Networks for Semantic Segmentation [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，39（4）：640-651.

[2] CHEN L，PAPANDREOU G，KOKKINOS I，et al. DeepLab：Semantic Image Segmentation with Deep Convolutional Nets，Atrous Convolution，and Fully Connected CRFs [J].IEEE transactions on pattern analysis and machine intelligence，2018，40（4）：834-848.

[3] YU F，KOLTUN V. Multi-scale context aggregationby dilated convolutions [J/OL].arXiv：1511.07122 [cs.CV].（2015-11-23）.https：//arxiv.org/abs/1511.07122.

[4] CHEN L，PAPANDREOU G，KOKKINOS I，et al. DeepLab：Semantic Image Segmentation with Deep Convolutional Nets，Atrous Convolution，and Fully Connected CRFs [J].IEEE transactions on pattern analysis and machine intelligence，2018，40（4）：834-848.

[5] CHEN L C，PAPANDREOU G，SCHROFF F，et al. Rethinking atrous convolution for semantic image segmentation [J/OL].arXiv：1706.05587 [cs.CV].（2017-06-17）.https：//arxiv.org/abs/1706.05587.

[6] BADRINARAYANAN V，KENDALL A，CIPOLLA R. Segnet：A deepconvolutional encoder-decoder architecture for imagesegmentation [J].IEEE transactions on pattern analysisand machine intelligence，2017，39（12）：2481-2495.

[7] RONNEBERGER O，F(xiàn)ISCHER P，BROX T. U-net：Convolutional networks for biomedical imagesegmentation [C]//International Conference on Medical image computing and computerassisted intervention.Cham：Springer，2015：234-241.

[8] CHEN L C，ZHU Y K，PAPANDREOU G，et al. Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation [C]// Computer Vision-ECCV 2018.Cham：Springer，2018：833-851.https：//doi.org/10.1007/978-3-030-01234-2_49.

[9] PASZKE A，CHAURASIA A，KIM S，et al. Enet：A deepneural network architecture for real-time semanticsegmentation [J/OL].arXiv：1606.02147 [cs.CV].（2016-06-07）.https：//arxiv.org/abs/1606.02147.

[10] ZHAO H S，SHI J P，QI X G，et al. Pyramid scene parsing network [C]//Proceedings of the IEEE conference on computer visionand patternrecognition.Honolulu：IEEE，2017：6230-6239.

[11] YANG L，WU X Y，ZHAO D W，et al. An improved Prewitt algorithm for edge detectionbased on noised image [C]// 2011 4th International Congress on Image and Signal Processing.Shanghai：IEEE，2011：1197-1200.

[12] LI E S，ZHU S L，ZHU B S，et al. An adaptive edge-detection method based on the Canny operator [C]//2009 International Conference on Environmental Science and Information Application Technology.New York：IEEE，2009：465-469.

[13] GAO W，ZHANG X，YANG L，et al. An improved Sobel edge detection [C]//Proceedings of the 3rd IEEE International Conference on Computer Science and Information Technology.Chengdu：IEEE，2010：67-71.

[14] 徐輝，祝玉華，甄彤，等.深度神經(jīng)網(wǎng)絡(luò)圖像語義分割方法綜述 [J].計(jì)算機(jī)科學(xué)與探索，2021，15（1）：47-59.

[15] 田萱，王亮，丁琪.基于深度學(xué)習(xí)的圖像語義分割方法綜述 [J].軟件學(xué)報(bào)，2019，30（2）：440-468.

[16] 繆成根，劉琛.基于改進(jìn)索貝爾算子的灰度圖像邊緣檢測 [J].物聯(lián)網(wǎng)技術(shù)，2020，10（11）：37-38+41.

[17] 袁銘陽，黃宏博，周長勝.全監(jiān)督學(xué)習(xí)的圖像語義分割方法研究進(jìn)展 [J].計(jì)算機(jī)工程與應(yīng)用，2021，57（4）：43-54.

[18] 劉麗霞，李寶文，王陽萍，等.改進(jìn)Canny邊緣檢測的遙感影像分割 [J].計(jì)算機(jī)工程與應(yīng)用，2019，55（12）：54-58+180.

作者簡介：劉清華（1997—），男，漢族，山西晉中人，碩士研究生在讀，研究方向：圖像識(shí)別與圖像處理。