基于注意力修正的半監(jiān)督視頻目標(biāo)分割

付利華, 楊寒雪, 張 博, 王俊翔, 吳會(huì)賢, 閆紹興

(北京工業(yè)大學(xué)信息學(xué)部，北京 100124)

半監(jiān)督視頻目標(biāo)分割是在視頻幀中對(duì)人工給定的第1幀分割目標(biāo)進(jìn)行分割.半監(jiān)督視頻目標(biāo)分割是視頻處理的基礎(chǔ)，有利于理解視頻場(chǎng)景，為計(jì)算機(jī)視覺(jué)領(lǐng)域的其他任務(wù)(如目標(biāo)檢測(cè)、目標(biāo)跟蹤等)提供了重要的技術(shù)支持[1-2].

基于是否用到視頻序列的時(shí)序信息，基于深度學(xué)習(xí)的半監(jiān)督視頻目標(biāo)分割方法主要有：基于在線微調(diào)的視頻目標(biāo)分割方法和基于時(shí)序信息的視頻目標(biāo)分割方法.基于在線微調(diào)的視頻目標(biāo)分割方法在測(cè)試時(shí)需要先根據(jù)視頻第1幀在線微調(diào)模型，其分割準(zhǔn)確性較高，但是在線微調(diào)耗時(shí)較長(zhǎng)且不能適應(yīng)目標(biāo)物體發(fā)生較大形變的情況[3-4].一次性視頻目標(biāo)分割(one-shot video object segmentation，OSVOS)[4]先離線預(yù)訓(xùn)練一個(gè)通用的前景-背景分割網(wǎng)絡(luò)，用于通用目標(biāo)的前景和背景分割，再基于密集注釋視頻分割(denly-annotated video segmentation，DAVIS)[5-6]測(cè)試集對(duì)模型進(jìn)行在線微調(diào)，以實(shí)現(xiàn)分割特定的目標(biāo).OSVOS僅根據(jù)視頻序列第1幀微調(diào)網(wǎng)絡(luò)，因此，模型不能很好地適應(yīng)外觀變化較大的目標(biāo).在線一次性視頻目標(biāo)分割(online one-shot video object segmentation, Online-OSVOS)方法[7]對(duì)視頻幀中的每個(gè)像素都分配標(biāo)簽并將第1幀作為額外添加的訓(xùn)練樣本對(duì)模型進(jìn)行在線微調(diào)，使模型對(duì)外觀特征的適應(yīng)性得到了提高.視頻對(duì)象分割的提議生成、細(xì)化和合并(proposal-generation, refinement and merging for video object segmentation, PReMVOS)[8]融合了在線學(xué)習(xí)、實(shí)例分割、光流、細(xì)化和行人重識(shí)別等技術(shù)，目前取得了較高的分割精度.Li等[9]提出的模型基于行人重識(shí)別技術(shù)匹配相同的目標(biāo)，并根據(jù)具有較高置信度的分割結(jié)果對(duì)網(wǎng)絡(luò)模型進(jìn)行更新，從而提升模型的分割精度.

基于時(shí)序信息的視頻目標(biāo)分割方法將前一幀的分割結(jié)果作為參考幀，對(duì)當(dāng)前幀的目標(biāo)分割進(jìn)行指導(dǎo)，從而模型對(duì)目標(biāo)物體的形變具有一定的適應(yīng)性，然而當(dāng)前幀的分割結(jié)果依賴前一幀的分割結(jié)果，并且分割的誤差會(huì)累積傳播[10-11].Perazzi等[10]提出的模型將前一幀的分割結(jié)果與當(dāng)前幀合并為四通道圖像，并作為網(wǎng)絡(luò)模型的輸入以提供時(shí)序信息.Wug等[11]提出了一種基于孿生編碼器結(jié)構(gòu)的模型，該模型將視頻第1幀的高層特征和當(dāng)前幀的高層特征進(jìn)行堆疊，得到當(dāng)前幀的分割掩碼.視頻傳播網(wǎng)絡(luò)(video propagation networks，VPN)[12]是一個(gè)可學(xué)習(xí)的雙邊濾波網(wǎng)絡(luò)，用于傳播視頻幀之間的結(jié)構(gòu)化信息.Cheng等[13]提出的模型對(duì)第1幀標(biāo)注的目標(biāo)進(jìn)行拆分，并在視頻的后續(xù)幀中對(duì)拆分的目標(biāo)各部分進(jìn)行跟蹤，然后分割跟蹤結(jié)果，最后合并分割結(jié)果并獲得目標(biāo)最終的分割結(jié)果.

為了有效地解決現(xiàn)有基于深度學(xué)習(xí)的半監(jiān)督視頻目標(biāo)分割方法存在的問(wèn)題，本文提出一種基于注意力修正的半監(jiān)督視頻目標(biāo)分割方法.該方法通過(guò)獲取與目標(biāo)物體有關(guān)的空間特征信息與外觀特征信息，基于注意力機(jī)制學(xué)習(xí)獲得的特征信息，指導(dǎo)當(dāng)前幀的目標(biāo)分割，最后融合低層語(yǔ)義信息和高層語(yǔ)義信息，實(shí)現(xiàn)對(duì)目標(biāo)物體的精確分割.

1 基于注意力修正的半監(jiān)督視頻目標(biāo)分割

本文提出一種基于注意力機(jī)制結(jié)合外觀特征信息和空間特征信息的半監(jiān)督視頻目標(biāo)分割方法，主要包含3個(gè)部分，分別是外觀特征提取子網(wǎng)、當(dāng)前幀特征提取子網(wǎng)和全局引導(dǎo)特征融合子網(wǎng)，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示.本文方法基于注意力機(jī)制分別學(xué)習(xí)待分割目標(biāo)的空間特征信息與外觀特征信息，其中空間特征信息和外觀特征信息分別提供目標(biāo)的大致位置和外觀信息，指導(dǎo)視頻目標(biāo)分割；設(shè)計(jì)的全局引導(dǎo)特征融合子網(wǎng)將高級(jí)語(yǔ)義特征視為全局特征，對(duì)融合全局信息和局部信息進(jìn)行引導(dǎo)，進(jìn)一步提高分割的精度.

圖1 基于注意力修正的半監(jiān)督視頻目標(biāo)分割結(jié)構(gòu)

1.1 外觀特征提取子網(wǎng)

目標(biāo)物體的外觀信息主要包含物體的紋理、形狀、顏色以及種類等，這些信息在目標(biāo)運(yùn)動(dòng)過(guò)程中基本不會(huì)發(fā)生變化，對(duì)模型在尋找視頻后序幀中目標(biāo)物體的過(guò)程中進(jìn)行有效指導(dǎo).在半監(jiān)督視頻目標(biāo)分割中，視頻后序幀的目標(biāo)分割都會(huì)受到第1幀中給定目標(biāo)物體的影響，因此，有效地獲取視頻第1幀的外觀特征非常重要.

本文設(shè)計(jì)外觀特征提取子網(wǎng)來(lái)對(duì)目標(biāo)物體的外觀特征進(jìn)行提取.首先，使用給定的分割掩碼以獲取第1幀的目標(biāo)物體，并將其作為外觀特征提取子網(wǎng)的輸入；然后，使用外觀特征提取子網(wǎng)提取目標(biāo)物體的特征；最后，使用提取的目標(biāo)特征對(duì)后續(xù)幀的目標(biāo)分割進(jìn)行指導(dǎo).

外觀特征提取子網(wǎng)基于Resnet-50網(wǎng)絡(luò)[14]，將其中的最大池化層刪除，并將Conv_4層的步長(zhǎng)設(shè)置為1，最終輸出原始圖像尺寸1/16大小的特征圖，其網(wǎng)絡(luò)參數(shù)如表1所示.

表1 外觀特征提取子網(wǎng)的網(wǎng)絡(luò)參數(shù)

為了獲得更大分辨率的帶有語(yǔ)義信息的特征圖且防止混入噪聲區(qū)域，本文方法將ResNet-50網(wǎng)絡(luò)的池化層進(jìn)行刪除并設(shè)置其Conv_4層的步長(zhǎng)為1.

1.2 當(dāng)前幀特征提取子網(wǎng)

當(dāng)前幀特征提取子網(wǎng)的輸入為前一幀的分割掩碼、外觀特征提取子網(wǎng)輸出的視頻第1幀特征圖和當(dāng)前幀圖像.為了使模型的目標(biāo)分割結(jié)果更加優(yōu)化，本文根據(jù)通道注意力機(jī)制并基于外觀特征提取子網(wǎng)提取的目標(biāo)外觀信息，對(duì)當(dāng)前幀的外觀分割進(jìn)行修正；根據(jù)空間注意力機(jī)制并基于前一幀的目標(biāo)分割掩碼對(duì)當(dāng)前幀的目標(biāo)位置進(jìn)行修正；最后，將外觀修正特征圖和位置修正特征圖進(jìn)行融合，使得當(dāng)前幀特征圖更加細(xì)化.

1.2.1 雙分支結(jié)構(gòu)

基于雙分支的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)當(dāng)前幀特征提取子網(wǎng)進(jìn)行設(shè)計(jì).其中一個(gè)分支基于外觀特征提取子網(wǎng)和外觀修正通道注意力對(duì)獲取的當(dāng)前幀的高級(jí)語(yǔ)義特征進(jìn)行基于第1幀外觀特征的外觀修正，從而得到外觀修正特征圖，最后，將其用于對(duì)分割目標(biāo)的通道權(quán)值進(jìn)行加強(qiáng)；另一個(gè)分支基于外觀特征提取子網(wǎng)的前3層和位置修正空間注意力，對(duì)提取得到的當(dāng)前幀的空間特征信息進(jìn)行基于前一幀分割結(jié)果中目標(biāo)物體空間位置信息的位置修正，從而得到位置修正特征圖，并將其用于對(duì)目標(biāo)分割的空間位置權(quán)值進(jìn)行加強(qiáng).該子網(wǎng)的2個(gè)分支共享外觀特征提取子網(wǎng)的前3層網(wǎng)絡(luò).

本文對(duì)外觀修正特征圖上采樣并進(jìn)行通道壓縮以恢復(fù)細(xì)節(jié)信息，從而使外觀修正特征圖和位置修正特征圖能夠更好地進(jìn)行融合.此外，本文將位置修正特征圖與外觀修正特征圖進(jìn)行矩陣相乘，以此來(lái)抑制無(wú)用的通道信息和空間信息，減少上采樣過(guò)程中混入的雜質(zhì).

1.2.2 外觀修正通道注意力

半監(jiān)督視頻目標(biāo)分割使用視頻第1幀的分割掩碼得到目標(biāo)物體的特征信息，并比較其與后續(xù)幀特征信息的異同，從而得到后續(xù)幀中的目標(biāo)物體的分割結(jié)果.本文采用外觀修正的通道注意力，根據(jù)通道間的相關(guān)性，獲得2幅圖像中待分割目標(biāo)間的相關(guān)性，以此修正當(dāng)前幀的深層語(yǔ)義特征圖.圖2展示了外觀修正通道注意力的具體網(wǎng)絡(luò)結(jié)構(gòu).

圖2 外觀修正通道注意力結(jié)構(gòu)

第1幀特征圖F0中含有目標(biāo)物體的紋理、形狀、顏色、種類等外觀信息，外觀修正的通道注意力的輸入分別是F0和當(dāng)前幀特征圖Ft.

(1)

再將當(dāng)前幀特征圖與通道修正權(quán)重圖X進(jìn)行矩陣相乘，并乘以因子β，加上當(dāng)前幀特征圖，以獲得外觀修正特征圖EC，即

(2)

式中β的初始值為0，隨著模型的學(xué)習(xí)，β被賦予更合理的權(quán)值.

1.2.3 位置修正空間注意力

在視頻目標(biāo)分割中，目標(biāo)物體在視頻序列中持續(xù)運(yùn)動(dòng)，具有充分的時(shí)序信息.為了獲取這些信息，本文將前一幀的分割結(jié)果作為先驗(yàn)知識(shí)來(lái)粗略定位當(dāng)前幀的目標(biāo)物體.

為了得到前一幀分割結(jié)果中和當(dāng)前幀在各位置上的相關(guān)性，本文基于位置修正空間注意力，并以前一幀的分割結(jié)果來(lái)對(duì)當(dāng)前幀目標(biāo)的位置信息進(jìn)行修正以獲得當(dāng)前幀目標(biāo)物體的大體位置.圖3展示了位置修正空間注意力的具體結(jié)構(gòu).

圖3 位置修正空間注意力結(jié)構(gòu)

(3)

(4)

式中α的初值為0，隨著模型的學(xué)習(xí)，α被賦予合理的權(quán)值.

1.3 全局引導(dǎo)特征融合子網(wǎng)

卷積神經(jīng)網(wǎng)絡(luò)在通過(guò)多層卷積提取特征的過(guò)程中，特征逐漸缺失空間信息并逐漸獲得更豐富的語(yǔ)義信息.因此，空間信息更多地集中于低級(jí)語(yǔ)義特征，而語(yǔ)義信息則更多地集中在高級(jí)語(yǔ)義特征.為了進(jìn)一步提升分割的效果，本文設(shè)計(jì)全局引導(dǎo)特征融合子網(wǎng)，將低級(jí)語(yǔ)義特征和高級(jí)語(yǔ)義特征進(jìn)行融合，從而實(shí)現(xiàn)目標(biāo)物體分割.

如圖1所示，當(dāng)前幀特征提取子網(wǎng)的輸入是外觀特征提取子網(wǎng)輸出的第1幀特征圖、前一幀分割掩碼和當(dāng)前幀，輸出是當(dāng)前幀的不同尺度特征圖，分別是C1、C2、C3和C4.本文將包含豐富語(yǔ)義信息的高級(jí)語(yǔ)義特征圖C4作為全局引導(dǎo)特征，以避免高級(jí)語(yǔ)義特征與低級(jí)語(yǔ)義特征在融合過(guò)程中丟失語(yǔ)義信息.

特征圖C1、C2、C3和C4的大小分別是原圖像的1/4、1/8、1/16和1/16，因此，在與低級(jí)語(yǔ)義特征進(jìn)行融合時(shí)，需將特征圖C4依次進(jìn)行1倍、2倍和4倍上采樣，再融合當(dāng)前層特征圖，然后將融合后的特征圖進(jìn)一步卷積并與下一層特征圖進(jìn)行融合，得到最終的目標(biāo)分割結(jié)果.

現(xiàn)有的目標(biāo)分割網(wǎng)絡(luò)缺乏高層語(yǔ)義信息與全局信息，像素點(diǎn)所屬類別無(wú)法確定，并最終使得分割結(jié)果精度不高.本文設(shè)計(jì)了全局引導(dǎo)特征融合子網(wǎng)，在目標(biāo)分割過(guò)程中融合了低級(jí)語(yǔ)義特征和高級(jí)語(yǔ)義特征，并同時(shí)以高級(jí)語(yǔ)義特征作為全局引導(dǎo)特征來(lái)指導(dǎo)全局特征融合局部特征，進(jìn)一步提升分割效果.

2 實(shí)驗(yàn)結(jié)果與分析

本文方法數(shù)據(jù)集為YouTube-VOS數(shù)據(jù)集[15]和DAVIS數(shù)據(jù)集[5-6]，訓(xùn)練集由YouTube-VOS數(shù)據(jù)集和DAVIS數(shù)據(jù)集中的訓(xùn)練集構(gòu)成，測(cè)試集則使用DAVIS數(shù)據(jù)集的測(cè)試集.

YouTube-VOS數(shù)據(jù)集是ECCV2018視頻目標(biāo)分割比賽所用的數(shù)據(jù)集，共有78個(gè)不同類別的7 822個(gè)目標(biāo)，具有多實(shí)例標(biāo)注，共有4 453個(gè)視頻序列，其中訓(xùn)練集有3 471個(gè)序列.

DAVIS數(shù)據(jù)集有2個(gè)版本，分別是DAVIS-2016和DAVIS-2017.其中：DAVIS-2016[16]采用單實(shí)例標(biāo)注，共有50個(gè)序列，訓(xùn)練集為其中30個(gè)序列；DAVIS-2017[17]則采用多實(shí)例標(biāo)注，共有150個(gè)序列，訓(xùn)練集為其中60個(gè)序列.DAVIS數(shù)據(jù)集是目標(biāo)分割領(lǐng)域的基準(zhǔn)數(shù)據(jù)集，模擬了一些真實(shí)的視頻場(chǎng)景，包含不同類型的對(duì)象和攝像機(jī)運(yùn)動(dòng).本文基于DAVIS-2016進(jìn)行模型的測(cè)試.

2.1 訓(xùn)練細(xì)節(jié)

本文方法是基于Tensorflow開源框架實(shí)現(xiàn)的，損失函數(shù)由加權(quán)二分類交叉熵[18]損失函數(shù)和Lovász-softmax[19]損失函數(shù)共同組成，訓(xùn)練優(yōu)化器采用自適應(yīng)矩估計(jì).在模型訓(xùn)練的初始階段，batchsize的大小設(shè)置為4，學(xué)習(xí)率的大小設(shè)置為1×10-4；在模型迭代訓(xùn)練50萬(wàn)次初步收斂后，將學(xué)習(xí)率的大小設(shè)置為5×10-5；在模型訓(xùn)練20萬(wàn)次初步穩(wěn)定后，將學(xué)習(xí)率的大小設(shè)置為1×10-5，并最終訓(xùn)練模型至完全收斂.

2.2 主流方法測(cè)評(píng)

視頻目標(biāo)分割一直是計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)，有許多比較傳統(tǒng)的方法，如雙邊空間視頻分割(bilateral space video segmentation, BVS)[20]、全連接對(duì)象提議(fully connected object proposals, FCP)[21]，也有許多方法基于卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分割，如OSVOS[4]、基于網(wǎng)絡(luò)調(diào)制的視頻目標(biāo)分割(video object segmentation via network modulation, OSMN)[22]和面向視頻目標(biāo)分割的像素級(jí)匹配(pixel-level matching for video object segmentation, PLM)[23].本文方法與當(dāng)前主流的幾種半監(jiān)督視頻目標(biāo)分割方法進(jìn)行比較以展示本文方法的有效性.

本文采用區(qū)域相似性J和輪廓精度F評(píng)估模型在DAVIS數(shù)據(jù)集上的目標(biāo)分割效果.分割結(jié)果的錯(cuò)誤像素?cái)?shù)量基于區(qū)域相似性J進(jìn)行度量，分割結(jié)果中分割邊界的準(zhǔn)確率則基于輪廓精度F進(jìn)行度量.

表2展示了本文模型與當(dāng)前主流的視頻目標(biāo)分割方法在DAVIS-2016數(shù)據(jù)集的測(cè)試集上的比較結(jié)果.其中：T代表模型對(duì)視頻每幀的處理時(shí)間；FT代表模型是否需要在線微調(diào).

如表2所示：

表2 不同視頻目標(biāo)分割方法在DAVIS-2016實(shí)驗(yàn)結(jié)果

1)本文方法與BVS相比，客觀評(píng)價(jià)指標(biāo)J和F分別提高12.03和19.55；與FCP相比，客觀評(píng)價(jià)指標(biāo)J和F分別提高13.63和29.15.本文方法對(duì)每一幀的分割時(shí)間為0.16 s，比BVS快1倍多，比FCP快2倍多.傳統(tǒng)半監(jiān)督視頻目標(biāo)分割方法BVS和FCP需要通過(guò)構(gòu)建復(fù)雜的圖像模型進(jìn)行目標(biāo)分割，因此，目標(biāo)分割需要消耗大量時(shí)間，并且分割的精度也較低.本文提出的視頻目標(biāo)分割方法是基于深度學(xué)習(xí)的方法，與傳統(tǒng)的半監(jiān)督視頻目標(biāo)分割方法相比，本文方法的目標(biāo)分割精度和效果都有較大的提升.

2)PLM和OSVOS兩者均是基于在線微調(diào)的策略進(jìn)行半監(jiān)督視頻目標(biāo)分割的方法.PLM的客觀評(píng)價(jià)指標(biāo)J和F分別比本文方法低1.83和15.85，分割所耗時(shí)間是本文方法耗時(shí)的近4倍；OSVOS分割效果較好，其客觀評(píng)價(jià)指標(biāo)J和F分別比本文方法高7.77和2.25，分割所耗時(shí)間是本文方法分割時(shí)間的61倍多.基于在線微調(diào)的半監(jiān)督視頻目標(biāo)分割方法需要通過(guò)在測(cè)試時(shí)對(duì)網(wǎng)絡(luò)模型進(jìn)行迭代優(yōu)化，從而適應(yīng)特定的待分割目標(biāo)物體，因此，模型的分割速度較慢.本文方法在視頻目標(biāo)進(jìn)行分割的過(guò)程中，只需要讀取一次視頻的第1幀，并基于外觀修正通道注意力對(duì)視頻第1幀中的待分割目標(biāo)的外觀特征進(jìn)行學(xué)習(xí)，因此，具有較快的分割速度.

3)本文方法相較于OSMN，客觀評(píng)價(jià)指標(biāo)J降低1.97，但評(píng)價(jià)指標(biāo)F提高5.45.OSMN方法在目標(biāo)分割過(guò)程中引入外觀信息和空間信息對(duì)目標(biāo)分割進(jìn)行指導(dǎo)，雖然該方法的分割效果有所提升，但是其是基于模型前一幀的分割圖生成的二維高斯分布熱力圖來(lái)表示空間信息，比較模糊，導(dǎo)致分割結(jié)果具有不準(zhǔn)確的目標(biāo)物體輪廓.本文提出的方法基于位置修正空間注意力來(lái)學(xué)習(xí)在前一幀中目標(biāo)物體所在每個(gè)像素點(diǎn)的位置信息，可以獲取更精確的輪廓信息.

為了更直觀地對(duì)本文方法的實(shí)驗(yàn)效果進(jìn)行分析，將本文方法的分割結(jié)果與BVS、FCP、OSVOS、OSMN、PLM中的部分目標(biāo)分割結(jié)果比較，進(jìn)行了定性分析，圖4展示了對(duì)比結(jié)果.

圖4 不同視頻目標(biāo)分割方法在DAVIS-2016的部分定性結(jié)果

由圖4可知：

1)傳統(tǒng)的半監(jiān)督視頻目標(biāo)分割方法BVS、FCP難以獲得輪廓邊緣清晰的分割結(jié)果，本文方法則能在保證分割精度的同時(shí)，保持目標(biāo)物體的輪廓細(xì)節(jié)，優(yōu)于傳統(tǒng)的視頻目標(biāo)分割方法.

2)本文方法采用位置修正空間注意力對(duì)前一幀目標(biāo)物體和當(dāng)前幀的位置關(guān)系進(jìn)行學(xué)習(xí).由圖4中第2行和第3行的例子可以看出，本文方法能夠較好地區(qū)分視頻幀中的相似物體，在背景中具有相似的人或者具有駱駝的情況下，仍然可以獲得較準(zhǔn)確的前景目標(biāo)分割結(jié)果.

3)本文方法基于設(shè)計(jì)的全局引導(dǎo)特征融合子網(wǎng)，根據(jù)高級(jí)語(yǔ)義信息對(duì)網(wǎng)絡(luò)的目標(biāo)物體分割進(jìn)行引導(dǎo).由圖4中第3行和第5行的例子可以看出，本文方法在復(fù)雜環(huán)境下依舊可以獲得較準(zhǔn)確的分割邊界.

3 結(jié)論

1)傳統(tǒng)的半監(jiān)督視頻目標(biāo)分割方法大多是基于幀間時(shí)序信息或是基于在線微調(diào)策略，不能同時(shí)保證模型的分割精度和分割效率.

2)本文提出一種基于注意力修正的半監(jiān)督視頻目標(biāo)分割方法.首先，分別基于視頻第1幀和前一幀分割結(jié)果，得到外觀指導(dǎo)信息與位置指導(dǎo)信息；然后，分別基于外觀修正通道注意力和位置修正空間注意力在當(dāng)前幀特征圖中注入外觀和位置指導(dǎo)信息；最后，本文方法將高級(jí)語(yǔ)義特征作為全局引導(dǎo)特征并通過(guò)全局引導(dǎo)特征融合子網(wǎng)對(duì)全局信息和局部信息的融合進(jìn)行引導(dǎo)，進(jìn)一步提升模型的分割精度.實(shí)驗(yàn)結(jié)果表明，本文的視頻目標(biāo)分割方法分割速度快且分割目標(biāo)的輪廓精度高.