多尺度特征融合下三維視覺圖像場景分割算法

摘 "要： 為減少噪聲對分割結(jié)果的影響，降低單一尺度特征對分割結(jié)果的敏感性，提升分割算法的魯棒性與穩(wěn)定性，并增強(qiáng)分割邊界清晰度，提高分割精度，文中提出一種多尺度特征融合下三維視覺圖像場景分割算法。雙路徑多信息域注意力模塊通過結(jié)合頻域通道與空間注意力機(jī)制，提取三維視覺圖像的多尺度特征，降低單一尺度特征對分割結(jié)果的敏感性；在多尺度特征融合模塊內(nèi)添加空洞卷積層，增大多尺度特征的感受野，并融合增大感受野的多尺度特征，捕捉圖像的細(xì)節(jié)信息和全局信息，減少噪聲對分割結(jié)果的影響，提升分割算法的魯棒性與穩(wěn)定性；利用Softmax分類器處理融合特征，得到三維視覺圖像場景分割結(jié)果；通過全連接條件隨機(jī)場、后處理分割結(jié)果，優(yōu)化分割邊界清晰度，提高分割精度。實(shí)驗(yàn)結(jié)果證明：該算法可有效提取三維視覺圖像的多尺度特征，有效完成三維視覺圖像場景分割，且場景分割的邊界非常清晰。為三維視覺圖像的處理與分析提供了新的思路和方法。

關(guān)鍵詞： 多尺度； 特征融合； 三維視覺； 圖像場景分割； 注意力機(jī)制； 空洞卷積； Softmax分類器； 條件隨機(jī)場

中圖分類號： TN911.73?34； TP391.41 " " " " " " " 文獻(xiàn)標(biāo)識(shí)碼： A " " " " " " " " " 文章編號： 1004?373X（2024）21?0046?05

3D visual image scene segmentation algorithm based on multi?scale feature fusion

YAN Jingfu， WANG Pengfei

（China University of Petroleum （Beijing） at Karamay， Karamay 834000， China）

Abstract： A 3D visual image scene segmentation algorithm based on multi?scale feature fusion is proposed to reduce the impact of noise on the segmentation results， reduce the sensitivity of single scale features to the segmentation results， improve the robustness and stability of the segmentation algorithm， enhance the segmentation boundary sharpness and improve the segmentation accuracy. Dual?path multi?information domain attention module is responsible for extracting multi?scale features of 3D visual images by combining frequency domain channel and spatial attention mechanism， so as to reduce the sensitivity of single scale features to segmentation results. A hollow convolution layer is added in the multi?scale feature fusion module to increase the receptive field of multi?scale features， and the multi?scale features of the enlarged receptive field are fused to capture the detailed information and global information of the image， reduce the impact of noise on the segmentation results， and improve the robustness and stability of the segmentation algorithm. The Softmax classifier is used to process the fused features to obtain the scene segmentation results of 3D visual images. By fully?connected conditional random fields （CRFs）， the segmentation results are post?processed to optimize the segmentation boundary sharpness and improve the segmentation accuracy. Experimental results show that the proposed algorithm can effectively extract multi?scale features of 3D visual images and segment the scene of 3D visual images， and the boundary of scene segmentation is very clear. It is a new idea for the processing and analysis of 3D visual images.

Keywords： multi?scale; feature fusion; 3D vision; image scene segmentation; attention mechanism; dilated convolution; Softmax classifier; CRF

0 "引 "言

三維視覺圖像處理與分析技術(shù)不僅推動(dòng)無人駕駛、智慧城市、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)等新興技術(shù)的快速發(fā)展[1]，還拓寬了計(jì)算機(jī)視覺技術(shù)在工業(yè)檢測、醫(yī)療影像、安防監(jiān)控等各個(gè)領(lǐng)域的應(yīng)用范圍[2]。三維視覺圖像場景分割作為計(jì)算機(jī)視覺領(lǐng)域中的一項(xiàng)關(guān)鍵技術(shù)，旨在將三維場景圖像劃分為多個(gè)具有相似性質(zhì)的區(qū)域或?qū)ο?，?shí)現(xiàn)對場景內(nèi)容的精細(xì)理解和分析[3]。

深入研究三維場景分割算法，有助于揭示三維數(shù)據(jù)內(nèi)在的結(jié)構(gòu)與規(guī)律，推動(dòng)計(jì)算機(jī)視覺理論向更高層次發(fā)展。例如，文獻(xiàn)[4]首先運(yùn)用顯著區(qū)域檢測技術(shù)自動(dòng)辨識(shí)圖像中的關(guān)鍵目標(biāo)區(qū)域，降低后續(xù)處理的復(fù)雜度和計(jì)算需求。文獻(xiàn)[5]通過預(yù)處理輸入圖像，提取能夠表征圖像區(qū)域特性的描述符；利用相似性度量方法計(jì)算不同描述符之間的相似度，確定相似區(qū)域與不相似區(qū)域。文獻(xiàn)[6]通過引入動(dòng)態(tài)權(quán)衡因子，調(diào)整圖像處理過程中的各項(xiàng)參數(shù)，抑制噪聲的負(fù)面影響，同時(shí)保留圖像的細(xì)微特征。文獻(xiàn)[7]在ResNet網(wǎng)絡(luò)架構(gòu)上引入金字塔池化模塊，將輸入圖像劃分為數(shù)個(gè)尺寸不一的網(wǎng)格，并全局平均池化處理各網(wǎng)格圖像，池化后的特征圖被上采樣到原始尺寸，并與原始特征圖進(jìn)行拼接，實(shí)現(xiàn)全局上下文信息與局部細(xì)節(jié)信息的有效融合，使用Softmax分類器得到圖像分割結(jié)果。

三維視覺圖像中，不同物體和場景的特征往往具有不同的尺度。導(dǎo)致上述方法在多尺度下存在一定的問題，通過多尺度特征融合可以捕捉到從局部細(xì)節(jié)到全局結(jié)構(gòu)的多層次信息，從而更準(zhǔn)確地分割出圖像中的不同部分。同時(shí)，多尺度特征融合能夠減少噪聲對分割結(jié)果的影響。不同尺度的特征可以相互補(bǔ)充，降低單一尺度特征對分割結(jié)果的敏感性，提高算法的魯棒性和穩(wěn)定性。為此，本文研究多尺度特征融合下三維視覺圖像場景分割算法，為三維視覺圖像的處理與分析提供新的思路和方法。

1 "三維視覺圖像場景分割算法

為提升三維視覺圖像場景分割精度，設(shè)計(jì)一種多尺度特征融合與雙重注意力機(jī)制的網(wǎng)絡(luò)（MD?AUNet），通過雙路徑多信息域注意力模塊提取三維視覺圖像的多尺度特征[8]。利用多尺度特征融合模塊融合不同尺度的特征，減少噪聲對分割結(jié)果的影響，提升分割算法的魯棒性與穩(wěn)定性[9]；利用softmax分類器處理融合后的特征，得到三維視覺圖像場景分割結(jié)果；通過全連接條件隨機(jī)場、后處理分割結(jié)果，考慮像素之間的空間關(guān)系，優(yōu)化分割邊界的清晰度，提高分割精度。

1.1 "三維視覺圖像多尺度特征提取

三維視覺圖像通常包含豐富的空間信息和復(fù)雜的結(jié)構(gòu)特征，不同尺度的特征對于理解整個(gè)場景至關(guān)重要。在MD?AUNet中，雙路徑多信息域注意力模塊的雙路徑設(shè)計(jì)允許網(wǎng)絡(luò)并行處理不同尺度的信息，更全面地捕捉圖像中的多層次特征。三維視覺圖像不同尺度的特征之間可能存在冗余或相互干擾。通過結(jié)合頻域通道注意力機(jī)制和空間注意力機(jī)制，該模塊能夠自動(dòng)學(xué)習(xí)并強(qiáng)調(diào)對場景分割任務(wù)更為關(guān)鍵的特征，同時(shí)抑制不重要的或冗余的特征，減少特征間的干擾，提高分割的準(zhǔn)確性。

該模塊提取三維視覺圖像多尺度特征的具體步驟如下。

步驟1：將輸入的三維視覺圖像A劃分成[N]組。

步驟2：對各組進(jìn)行卷積處理，提取三維視覺圖像的多尺度特征，公式如下：

[Xi=Convki×ki， MiAi， " "i=0，1，2，…，N-1] （1）

式中：[Conv]是卷積操作；[Mi]是分組大?。籟ki]是卷積核大小，用于在不同感受野下提取三維視覺圖像特征，較大的卷積核能夠捕獲更全局的信息，較小的卷積核則更專注于局部細(xì)節(jié)，通過尺寸不一的卷積核便可實(shí)現(xiàn)多尺度特征提取。

步驟3：以拼接方式處理[Xi]，得到最終的多尺度特征提取結(jié)果。

[X=ConcatX0，X1，X2，…，XN-1] （2）

1.1.1 "頻域通道注意力機(jī)制的多尺度特征加權(quán)處理

頻域通道注意力機(jī)制能夠增強(qiáng)網(wǎng)絡(luò)對三維視覺圖像特征圖中不同通道重要性的識(shí)別能力。在三維視覺圖像中，不同通道可能包含不同的語義信息，通過頻域通道注意力機(jī)制，網(wǎng)絡(luò)能夠自動(dòng)學(xué)習(xí)并強(qiáng)調(diào)對分割任務(wù)更為關(guān)鍵的通道特征[10]，抑制不重要的通道特征，提高分割精度。

在頻域通道注意力機(jī)制中，離散余弦變換（DCT）可以提取通道間的特征相關(guān)性。通過對特征圖進(jìn)行DCT變換，可以捕捉到不同通道間的能量分布和相關(guān)性信息[11]，為后續(xù)的注意力權(quán)重分配提供依據(jù)。DCT的計(jì)算公式如下：

[g=i=0H-1j=0W-1xi，jHW] （3）

式中：[xi，j]是三維視覺圖像的多尺度特征圖；[H]、[W]是[xi，j]的高度與寬度。

依據(jù)[g]計(jì)算頻域通道注意力的權(quán)值[ω]，公式如下：

[ω=sigmoidfgX] （4）

式中[f]是激活函數(shù)。

加權(quán)后的三維視覺圖像多尺度特征為：

[X=ωlXl] （5）

式中[l]是通道編號。

二維DCT能夠?qū)⑼ǖ雷⒁饬U(kuò)展至頻域通道注意力內(nèi)，二維DCT的計(jì)算公式如下：

[g2h，w=gxHW] （6）

通過二維DCT可獲取三維視覺圖像多尺度特征的多頻譜向量，公式如下：

[Zl=2g2h，wXl] （7）

采用多頻譜向量可獲取更多的三維視覺圖像多尺度特征信息[12]，分組卷積時(shí)，原始通道數(shù)是分組后通道數(shù)的[η]倍。通過拼接方式處理[Zl]，得到最終的多頻譜向量，公式如下：

[Z=ConcatZ0，Z1，Z2，…，Zη-1] （8）

利用sigmoid激活函數(shù)處理，得到頻域通道注意力加權(quán)后的三維視覺圖像多尺度特征，公式如下：

[X=sigmoidfZ] （9）

1.1.2 "空間注意力機(jī)制的多尺度特征加權(quán)處理

空間注意力機(jī)制關(guān)注于三維視覺圖像多尺度特征圖中每個(gè)空間位置的重要性。在三維視覺圖像中，由于光照變化、遮擋、噪聲等因素，不同空間位置的特征質(zhì)量可能存在差異[13]。通過空間注意力機(jī)制，網(wǎng)絡(luò)能夠聚焦于對分割結(jié)果影響較大的關(guān)鍵區(qū)域，忽略或減弱噪聲等不利因素的影響，提高分割結(jié)果的魯棒性和穩(wěn)定性。

對第[l]、[l+1]個(gè)通道的三維視覺圖像多尺度特征圖展開1×1的卷積處理，確保二者的通道和尺寸一致，公式如下：

[Xl，1=φConv1×1Xl] （10）

[Xl+1，1=φConv1×1Xl+1] （11）

式中[φ]是組標(biāo)準(zhǔn)化操作。

對[Xl，1]與[Xl+1，1]展開進(jìn)行ReLU激活處理，公式如下：

[Xl，l+1=ReLUXl，1⊕Xl+1，1] （12）

式中[Xl，l+1]是融合兩個(gè)通道后的三維視覺圖像多尺度特征。

空間注意力權(quán)值為：

[?l，l+1=11+e-Conv1×1Xl，l+1] （13）

空間注意力加權(quán)后的三維視覺圖像多尺度特征為：

[X=Resample?l，l+1?Xl] （14）

雙路徑多信息域注意力模塊輸出的最終三維視覺圖像多尺度特征為：

[X=softmaxX⊕X] （15）

1.2 "三維視覺圖像多尺度特征融合

在多尺度特征融合模塊內(nèi)添加空洞卷積層，擴(kuò)展三維視覺圖像多尺度特征的感受野，更全面地考慮上下文信息，降低單一尺度特征對分割結(jié)果的敏感性，并對空洞卷積層處理后的不同尺度特征進(jìn)行融合，捕捉三維視覺圖像的細(xì)節(jié)信息和全局信息，減少噪聲對分割結(jié)果的影響，提升分割算法的魯棒性與穩(wěn)定性。

空洞卷積操作的公式如下：

[vτ=kXτ+λkαk] （16）

式中：[τ]是三維視覺圖像多尺度特征圖的像素點(diǎn)編號；[α]是卷積核；[λ]是輸入多尺度特征圖的采樣間隔。以調(diào)整[λ]的方式，便可獲取不同感受野的三維視覺圖像多尺度特征圖，進(jìn)而進(jìn)一步提取不同感受野下的三維視覺圖像特征，即不同尺度的三維視覺圖像特征。

多尺度特征融合模塊中，利用二層空洞卷積層進(jìn)一步提取不同尺度下的三維視覺圖像特征，并以加權(quán)融合的方式，融合二層空洞卷積層處理后的三維視覺圖像特征，得到多尺度特征融合結(jié)果[V]。

1.3 "三維視覺圖像場景分割的實(shí)現(xiàn)

利用softmax分類器處理1.2節(jié)得到的多尺度特征融合結(jié)果[V]，從而得到三維視覺圖像場景分割概率，公式如下：

[qyj=eψjVieψiV] （17）

式中：[qyj]是預(yù)測結(jié)果為第[j]個(gè)三維視覺圖像特征屬于類別[yj]的概率；[ψjV]、[ψiV]是第[j]、[i]個(gè)激活輸出。

利用全連接條件隨機(jī)場，考慮像素之間的空間關(guān)系，優(yōu)化三維視覺圖像場景分割邊界的清晰度，提升分割精度。

能量函數(shù)的計(jì)算公式如下：

[Oy=τ， μγyτ+γyτ，yμ] （18）

式中：[γyτ]、[γyτ，yμ]是一元、二元?jiǎng)菽芎瘮?shù)；[τ]、[μ]是三維視覺圖像特征圖的像素編號。

以迭代方式，令[Oy]降至最低，細(xì)化分割邊緣，此時(shí)獲取的分割結(jié)果即最終的三維視覺圖像場景分割結(jié)果。

2 "實(shí)驗(yàn)分析

以某三維視覺圖像數(shù)據(jù)集為實(shí)驗(yàn)對象，該三維視覺圖像數(shù)據(jù)集的相關(guān)參數(shù)如表1所示。

在該三維視覺圖像數(shù)據(jù)集內(nèi)，隨機(jī)選擇一幅三維視覺圖像，如圖1所示。

根據(jù)圖1可知，該幅三維視覺圖像中包含小汽車和道路兩部分場景。

在10×10、5×5、2×2三個(gè)感受野下，利用本文算法提取該三維視覺圖像的多尺度特征，部分多尺度特征提取結(jié)果如圖2所示。

根據(jù)圖2可知，本文算法可有效在10×10、5×5、2×2三個(gè)感受野下分別提取三維視覺圖像特征，進(jìn)而獲取三維視覺圖像多尺度特征。其中：大感受野（10×10）能夠捕捉全局結(jié)構(gòu)信息，對于理解整個(gè)場景布局和物體間的空間關(guān)系至關(guān)重要；小感受野（2×2）則專注于局部細(xì)節(jié)，有助于識(shí)別物體邊緣、紋理等細(xì)微特征；中等感受野（5×5）則介于兩者之間，提供更為平衡的全局與局部信息，可為后續(xù)三維視覺圖像場景分割提供全面的數(shù)據(jù)支持。

利用本文算法對該幅三維視覺圖像的多尺度特征進(jìn)行融合，并預(yù)測三維視覺圖像場景分割結(jié)果，場景分割預(yù)測結(jié)果如圖3所示。

根據(jù)圖3可知，本文算法可有效依據(jù)多尺度特征融合結(jié)果，得到三維視覺圖像場景分割預(yù)測結(jié)果，但預(yù)測的場景分割結(jié)果邊界較為模糊，需要對其展開進(jìn)一步處理，優(yōu)化場景分割邊界的清晰度，如圖4所示。

根據(jù)圖4可知，本文算法可有效利用全連接條件隨機(jī)場，優(yōu)化預(yù)測的三維視覺圖像場景分割結(jié)果，使得優(yōu)化過程能夠考慮全局信息，不僅僅是局部鄰域。這種全局視野有助于在邊界區(qū)域產(chǎn)生更加平滑和一致的分割結(jié)果，經(jīng)過優(yōu)化后場景分割的邊界非常清晰。

3 "結(jié) "語

在三維視覺圖像場景中，從宏觀到微觀的不同尺度上都有豐富的細(xì)節(jié)，如天空、云層、樹木、建筑物等。通過融合這些不同尺度的特征，可以更全面地描述圖像中的對象，提高分割的精確度。為此，本文提出一種多尺度特征融合下三維視覺圖像場景分割算法，通過整合不同尺度的特征信息，實(shí)現(xiàn)對復(fù)雜場景的高效分割。

參考文獻(xiàn)

[1] 王雪琦，何澤浩，朱巧芬，等.面向頭戴式三維顯示的圖像質(zhì)量測評方法和系統(tǒng)[J].應(yīng)用光學(xué)，2024，45（3）：598?607.

[2] 孫紅，楊晨，莫光萍，等.基于雙分支特征提取的輕量級圖像分割算法[J].包裝工程，2023，44（11）：299?308.

[3] 應(yīng)俊杰，樓陸飛，辛宇.基于深度學(xué)習(xí)的無監(jiān)督領(lǐng)域自適應(yīng)語義分割算法綜述[J].電子技術(shù)應(yīng)用，2024，50（1）：1?9.

[4] 何亞茹，葛洪偉.視覺顯著區(qū)域和主動(dòng)輪廓結(jié)合的圖像分割算法[J].計(jì)算機(jī)科學(xué)與探索，2022，16（5）：1155?1168.

[5] BIRANE A， HAMAMI L. A fast level set image segmentation driven by a new region descriptor [J]. IET image processing， 2021， 15（3）： 615?623.

[6] 劉以，邱軍海，張嘉星，等.基于權(quán)衡因子和多維空間度量的高魯棒性圖像分割算法[J].圖學(xué)學(xué)報(bào)，2024，45（3）：482?494.

[7] 王嘉，張楠，孟凡云，等.基于金字塔場景分析網(wǎng)絡(luò)改進(jìn)的語義分割算法[J].計(jì)算機(jī)工程與應(yīng)用，2021，57（19）：220?227.

[8] 孫克強(qiáng)，繆君，江瑞祥，等.基于空洞卷積與多尺度特征融合的室內(nèi)場景單圖像分段平面三維重建[J].傳感技術(shù)學(xué)報(bào)，2021，34（3）：370?378.

[9] 易清明，張文婷，石敏，等.多尺度特征融合的道路場景語義分割[J].激光與光電子學(xué)進(jìn)展，2023，60（12）：92?100.

[10] 艾青林，張俊瑞，吳飛青.基于小目標(biāo)類別注意力機(jī)制與特征融合的AF?ICNet非結(jié)構(gòu)化場景語義分割方法[J].光子學(xué)報(bào)，2023，52（1）：189?202.

[11] 李鈺，袁晴龍，徐少銘，等.基于感知注意力和輕量金字塔融合網(wǎng)絡(luò)模型的室內(nèi)場景語義分割方法[J].華東理工大學(xué)學(xué)報(bào)（自然科學(xué)版），2023，49（1）：116?127.

[12] 余娜，劉彥，魏雄炬，等.基于注意力機(jī)制和金字塔融合的RGB?D室內(nèi)場景語義分割[J].計(jì)算機(jī)應(yīng)用，2022，42（3）：844?853.

[13] 郭昕剛，王佳，屈諾希，等.基于梯度方向的Canny SLIC圖像分割算法[J].計(jì)算機(jī)仿真，2021，38（9）：465?469.

作者簡介：閆景富（1978—），男，山西晉中人，博士研究生，副教授，研究方向?yàn)樾盘枡z測與智能信息處理、嵌入式系統(tǒng)與智能儀器。

王鵬飛（1998—），男，新疆昌吉人，碩士研究生，研究方向?yàn)橛?jì)算機(jī)視覺。