融合序列影像相關(guān)區(qū)域信息的光流估計(jì)網(wǎng)絡(luò)

安彤， 賈迪，2*， 張家寶， 蔡鵬

（1.遼寧工程技術(shù)大學(xué) 電子與信息工程學(xué)院， 遼寧 葫蘆島 125105；2.遼寧工程技術(shù)大學(xué) 電氣與控制工程學(xué)院， 遼寧 葫蘆島 125105）

1 引言

光流估計(jì)是計(jì)算機(jī)視覺的核心問題之一，在視頻理解［1］、動(dòng)作識(shí)別［2］、目標(biāo)跟蹤［3］、全景拼接［4］等領(lǐng)域具有重要的應(yīng)用，在各類視頻分析任務(wù)中可以更好地反映目標(biāo)的運(yùn)動(dòng)信息，被認(rèn)為是一種重要的視覺線索。然而，目前的光流估計(jì)網(wǎng)絡(luò)仍存在過度平滑、缺乏細(xì)粒度、無(wú)紋理曲面難以準(zhǔn)確估計(jì)的問題。

傳統(tǒng)光流估計(jì)方法常基于亮度一致性和空間平滑度能量最小化的方式獲得光流估計(jì)結(jié)果。Horn等［5］采用全局方法估計(jì)圖像的稠密光流場(chǎng)，基于亮度恒定與光流場(chǎng)平滑假設(shè)構(gòu)造能量函數(shù)提出一種光流變分框架。Black等［6］提出一種魯棒的光流估計(jì)框架，對(duì)違反空間平滑和亮度恒定這兩個(gè)約束條件進(jìn)行統(tǒng)一處理。為了解決二次方懲罰項(xiàng)偏差較大的問題，TV-L1［7］采用替換L1數(shù)據(jù)項(xiàng)和總變差正則化較好地剔除了異常值。一些學(xué)者又通過結(jié)合能量最小化以及描述符匹配策略建立區(qū)域?qū)哟谓Y(jié)構(gòu)［8］，引入新的高階正則化項(xiàng)解決了該框架中的相關(guān)問題。

近年來(lái)，基于深度學(xué)習(xí)的光流估計(jì)方法取得了快速進(jìn)展?？赏ㄟ^訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)直接對(duì)幀間光流進(jìn)行預(yù)測(cè)，缺點(diǎn)是會(huì)產(chǎn)生局部噪聲和模糊結(jié)果。針對(duì)該問題，Simonyan等［9］采用變分法、Ilg［10］等采用疊加多網(wǎng)絡(luò)的思想來(lái)進(jìn)行改進(jìn)，較好地解決了該問題。此后，Ranjan等［11］結(jié)合傳統(tǒng)算法中的金字塔理念提出SpyNet網(wǎng)絡(luò)，由粗到精地完成了光流估計(jì)，更好地處理了光流算法中的大位移問題。Sun等［12］提出PWC-Net網(wǎng)絡(luò)同樣采用了由粗到精的金字塔思想，引入經(jīng)典算法中的相關(guān)體處理（Cost Volume），以端到端的訓(xùn)練方式完成了網(wǎng)絡(luò)性能的提升。Yang等［13］提出的VCN網(wǎng)絡(luò)進(jìn)一步改進(jìn)了相關(guān)體處理方法，通過引入4D卷積提高了光流估計(jì)的準(zhǔn)確性。這些方法均采用由粗到精的金字塔處理方式進(jìn)行迭代優(yōu)化，并在迭代中不共享權(quán)重。

與以上方法相比，建立在FlownetS和PWC網(wǎng)絡(luò)架構(gòu)基礎(chǔ)上的IRR［14］網(wǎng)絡(luò)能夠細(xì)化網(wǎng)絡(luò)間的共享權(quán)重，但由于該網(wǎng)絡(luò)過大（38M參數(shù)），只能完成5次迭代。Devon等［15］給出一種更加精細(xì)的模塊設(shè)計(jì)（2.7M參數(shù)），在推理過程中可以進(jìn)行上百次迭代，獲得更加精確的結(jié)果。

隨著深度學(xué)習(xí)的發(fā)展，許多工作將視覺問題轉(zhuǎn)化為優(yōu)化問題，將優(yōu)化的思想融入到網(wǎng)絡(luò)體系結(jié)構(gòu)中。Amos等［16］提出的OptNet網(wǎng)絡(luò)將優(yōu)化問題作為單個(gè)層嵌入到深度網(wǎng)絡(luò)中，并提供了更好的反向傳播功能，使該網(wǎng)絡(luò)具備較強(qiáng)的學(xué)習(xí)能力。Agrawal等［17］在求解優(yōu)化過程中引入更為嚴(yán)格的參數(shù)化編程，較好地避免了可微應(yīng)用中使用凸優(yōu)化存在的問題。Zachary Teed等［18］提出一種光流估計(jì)網(wǎng)絡(luò)（RAFT），結(jié)合以上算法思想，提取像素級(jí)特征，為所有像素建立多尺度4D關(guān)聯(lián)信息，循環(huán)迭代更新光流場(chǎng)，有效提高了光流估計(jì)的準(zhǔn)確率。但RAFT也存在著一些待解決的問題：首先，由于RAFT在高分辨率和低分辨率的條件下為所有特征對(duì)都建立了相關(guān)體積，每次更新都需要獲得全像素位移的信息導(dǎo)致引入過多誤差信息，降低了后續(xù)光流估計(jì)的準(zhǔn)確率。其次，在迭代更新模塊部分，RAFT依賴于靜態(tài)濾波器融合光流和相關(guān)體積，這也使得最終的光流預(yù)測(cè)圖產(chǎn)生過于平滑的結(jié)果。

為了解決上述RAFT中存在的問題，本文在構(gòu)建4D相關(guān)體前，對(duì)輸入的連續(xù)兩幀特征圖進(jìn)行分區(qū)處理，以強(qiáng)弱相關(guān)的方式計(jì)算稠密的視覺相似度，以此計(jì)算建立更為精細(xì)的4D相關(guān)體積。在迭代更新階段，本文在卷積門循環(huán)單元（ConvGRU）模塊的基礎(chǔ)上加入了殘差卷積濾波器和細(xì)粒度模塊，在融合光流信息和相關(guān)體信息前盡可能地保留更多的局部小位移信息。

本文通過特征提取模塊、計(jì)算視覺相似度模塊和光流迭代更新模塊獲得最終的光流估計(jì)結(jié)果，本文的主要貢獻(xiàn)如下：

（1）提出采用分區(qū)處理強(qiáng)弱相關(guān)信息的方法，能夠較好地剔除誤差，建立更為精細(xì)的4D相關(guān)體，從而獲得更加準(zhǔn)確的相關(guān)體信息；

（2）引入殘差卷積濾波器，使光流信息不會(huì)隨著卷積濾波器的迭代加深而出現(xiàn)過于平滑的結(jié)果；

（3）采用細(xì)粒度模塊，在盡可能擴(kuò)大感受野的同時(shí)，使模塊更加關(guān)注局部小位移的特征信息。

2 本文方法

圖1為本文給出的光流估計(jì)網(wǎng)絡(luò)結(jié)構(gòu)，由特征提取模塊、視覺相似度計(jì)算模塊和迭代更新模塊3部分構(gòu)成。

圖1 光流估計(jì)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Optical flow estimation network structure

特征提取器模塊由特征編碼器和全局編碼器兩部分構(gòu)成。輸入的前后幀圖片經(jīng)過特征提取器模塊分別提取下采樣8倍的特征圖和上下文信息。視覺相似度計(jì)算模塊由分區(qū)強(qiáng)弱相關(guān)計(jì)算和相關(guān)金字塔構(gòu)成。分區(qū)強(qiáng)弱相關(guān)計(jì)算會(huì)對(duì)特征圖進(jìn)行特征權(quán)重的空間重構(gòu)，并通過相關(guān)金字塔得到不同尺度的相關(guān)體積。迭代更新模塊由基準(zhǔn)移動(dòng)編碼模塊和卷積門控循環(huán)單元構(gòu)成。光流信息會(huì)通過對(duì)不同尺度的相關(guān)體積進(jìn)行按位查詢，得到與預(yù)測(cè)光流位移相對(duì)應(yīng)的相關(guān)體，查詢得到的相關(guān)體和光流位移經(jīng)過基準(zhǔn)移動(dòng)編碼模塊（圖1中B標(biāo)識(shí)模塊）進(jìn)行信息的融合。最終，輸出融合結(jié)果將與上下文信息一起作為卷積門控循環(huán)單元的輸入，迭代12次后得到更為精細(xì)的光流預(yù)測(cè)圖。

對(duì)給定的輸入連續(xù)兩幀圖像，分別表示為Ia與Ib。輸入圖像的寬和高分別記為H和W。

2.1 特征提取模塊

特征提取模塊由特征編碼器和全局編碼器兩部分構(gòu)成。特征編碼器以權(quán)重共享的方式作用于Ia與Ib，并以1/8的分辨率輸出編碼后的特征Fa、Fb∈RH/8×W/8×D，其中Fa、Fb分別為圖像Ia、Ib的輸出，D為特征圖的維度。

此外，全局編碼器網(wǎng)絡(luò)的體系結(jié)構(gòu)與特征編碼器網(wǎng)絡(luò)相同。它將從第一張輸入圖像Ia上提取特征，并輸出編碼后的特征Fc∈RH/8×W/8×D。編碼器的網(wǎng)絡(luò)設(shè)計(jì)如圖2所示。

圖2 編碼器結(jié)構(gòu)Fig.2 Encoder structure

2.2 視覺相似度計(jì)算模塊

計(jì)算視覺相似度是光流估計(jì)中的一個(gè)核心步驟，在整體結(jié)構(gòu)中起到了至關(guān)重要的作用，但之前的許多工作并沒有在這一步投入太多關(guān)注，計(jì)算方式大多以直接做全局特征向量的內(nèi)積為主。全局的特征匹配往往是直接對(duì)兩張?zhí)卣鲌D以像素點(diǎn)為單位計(jì)算點(diǎn)積，即取所有特征向量對(duì)之間的點(diǎn)積形成相關(guān)體。當(dāng)給定特征圖Fa的像素坐標(biāo)(u，v)和特征圖Fb的像素坐標(biāo)(x，y)，相關(guān)體積C即可通過矩陣運(yùn)算獲得：

在光流估計(jì)任務(wù)中，連續(xù)兩幀圖像間，大位移的像素點(diǎn)占比極少，遠(yuǎn)距離的像素相關(guān)性較小，即第一幀圖像中位于上方的像素通常情況下不會(huì)位移到第二幀圖像的下方。在這種情況下，做全局的相關(guān)計(jì)算就會(huì)引入許多誤差信息。但若直接忽略遠(yuǎn)距離的特征點(diǎn)，一些大位移像素的相關(guān)關(guān)系將被完全清零，這可能導(dǎo)致一些更致命的誤差。經(jīng)過上述的分析，本文提出了基于分區(qū)思想的強(qiáng)弱相關(guān)計(jì)算方法。該方法可以在構(gòu)建相關(guān)金字塔的基礎(chǔ)上，強(qiáng)化對(duì)局部區(qū)域的關(guān)注度，從而減少對(duì)全局信息的錯(cuò)誤判斷。

如圖3所示，輸入的特征圖會(huì)被橫向切分成2n個(gè)區(qū)域（Region），通過區(qū)域間的范圍閾值來(lái)設(shè)定兩幀間像素的映射。在本文中，分條區(qū)域的個(gè)數(shù)被設(shè)置成偶數(shù)，這種做法的原因是當(dāng)對(duì)圖片進(jìn)行分區(qū)處理時(shí)，選擇偶數(shù)計(jì)算更為方便。對(duì)特征提取模塊求出的特征圖Fa和Fb，分區(qū)（Region）的表達(dá)方式如式（2）所示：

圖3 橫向切分做邊緣區(qū)域點(diǎn)映射的強(qiáng)-弱相關(guān)與中心區(qū)域點(diǎn)映射的強(qiáng)-弱相關(guān)（以分條顏色的深淺表示相關(guān)的強(qiáng)度，對(duì)應(yīng)位置區(qū)域認(rèn)定為強(qiáng)相關(guān)，相關(guān)因子置1，其余顏色越弱，相關(guān)性越弱）。Fig.3 Strength-weakness correlation of the edge-region point mapping with the center-region point mapping done by the horizontal cut （The strength of the correlation is indicated by the shade of the color of the bars， The correlation factor is set to 1 when the corresponding position area is identified as strong correlation. The weaker the rest of the color，the weaker the correlation）.

其中，i和j分別表示Fa和Fb的分條區(qū)域索引。

對(duì)于不同映射關(guān)系的像素點(diǎn)，本文通過設(shè)置相應(yīng)的可學(xué)習(xí)相關(guān)因子來(lái)強(qiáng)化兩幀區(qū)域內(nèi)的強(qiáng)弱相關(guān)性。這種方法的好處在于既能獲得全像素對(duì)的相關(guān)信息，降低對(duì)大位移像素離群值的敏感性，又能極大程度地減少區(qū)域外的誤相關(guān)帶來(lái)的誤差。加入強(qiáng)弱關(guān)系后的相關(guān)體積Cfinal的計(jì)算方式如式（3）和式（4）所示：

其中：h(·)表示幀間各個(gè)分條區(qū)域間的映射關(guān)系，與之對(duì)應(yīng)的λj是可學(xué)習(xí)的自適應(yīng)相關(guān)因子，用來(lái)表示不同程度的相關(guān)性；?為幀間對(duì)應(yīng)區(qū)域內(nèi)像素的點(diǎn)積；C′ij表示區(qū)域i和區(qū)域j加入強(qiáng)弱關(guān)系后的相關(guān)體積。本模型利用sigmoid函數(shù)將λj的取值范圍約束在0～1之間。

至此，對(duì)于Fa中的每一個(gè)特征點(diǎn)，均計(jì)算出Fb中所有特征點(diǎn)與它的相關(guān)關(guān)系，即相關(guān)體積Cfinal，其維度為w×h×w×h。需要說明的是這里的w和h是原始圖片的下采樣8倍后的寬和高，即之后本文采用4個(gè)不同大?。ň矸e步長(zhǎng)分別為1，2，4，8）的卷積核對(duì)相關(guān)體積的后兩個(gè)維度進(jìn)行降采樣得到4層金字塔相關(guān)金字塔標(biāo)號(hào)q與其維度的關(guān)系如式（5）所示：

圖4 基于相關(guān)金字塔的查詢操作。橙色部分為不同尺度下的查詢點(diǎn)的鄰域點(diǎn)集。Fig.4 Lookup operator based on correlation pyramid. The orange part is the neighborhood dot product of the query points at different scales.

其中：dp為查找范圍且取整數(shù)；r為搜索半徑，設(shè)定為4像素；Z為正整數(shù)集。將該鄰域內(nèi)的所有點(diǎn)看作是Ia中像素點(diǎn)p在Ib上的潛在位置。后續(xù)在迭代更新光流的過程中，可借助插值查詢操作從相關(guān)金字塔中索引得到像素級(jí)別的相關(guān)特征信息，最后將不同金字塔層的查詢結(jié)果在特征維度上進(jìn)行合并，得到最終的相關(guān)體Clast。

綜上所述，本文以分條區(qū)域做強(qiáng)弱相關(guān)的方式計(jì)算視覺相似度，其好處在于既能獲得全像素對(duì)的相關(guān)信息，又能極大減少由全局匹配所引入的錯(cuò)誤信息，進(jìn)而獲得更加準(zhǔn)確的相關(guān)體信息，為后續(xù)光流場(chǎng)迭代更新計(jì)算提供支持。

2.3 迭代更新模塊

本文主要通過迭代更新模塊中的光流序列{f1，…，fN}完成光流估計(jì)，其迭代更新過程可以描述為：

其中：Δfk為每次迭代后的更新量，fk為當(dāng)前光流，fk+1為更新后的光流，k為迭代更新次數(shù)。

迭代更新模塊主要由基準(zhǔn)移動(dòng)編碼模塊和卷積門控循環(huán)單元（ConvGRU）構(gòu)成。本文使用卷積門控循環(huán)單元對(duì)上下文信息和光流信息進(jìn)行迭代更新，并且提出了基準(zhǔn)移動(dòng)編碼模塊來(lái)增強(qiáng)光流預(yù)測(cè)圖的細(xì)粒度。

如圖5所示，在基準(zhǔn)移動(dòng)編碼模塊中，輸入為：（1）根據(jù)當(dāng)前光流位移（fk）在相關(guān)金字塔中檢索出的相關(guān)體Clast；（2）當(dāng)前光流位移（fk）。

圖5 基準(zhǔn)移動(dòng)編碼模塊結(jié)構(gòu)設(shè)計(jì)Fig.5 Basic motion encoder module structure design

相關(guān)體Clast經(jīng)過卷積濾波器來(lái)融合不同相關(guān)金字塔層的信息，但基于卷積的基準(zhǔn)移動(dòng)編碼模塊會(huì)產(chǎn)生過于平滑的結(jié)果。為了緩解小位移運(yùn)動(dòng)在卷積堆疊運(yùn)算后難以維持局部細(xì)致化的問題，本文在卷積濾波器的基礎(chǔ)上加入了殘差連接（圖5中的紅色線），用于修正局部的小位移運(yùn)動(dòng)，增強(qiáng)最終光流預(yù)測(cè)圖的細(xì)粒度。最終卷積濾波器的輸出Coutput計(jì)算方式如式（8）所示：

此外，對(duì)當(dāng)前光流位移（fk）采用細(xì)粒度模塊進(jìn)行處理。細(xì)粒度模塊由3個(gè)核大小為3的卷積核并行構(gòu)成。并行3個(gè)小卷積核不僅彌補(bǔ)了感受野小的不足，同時(shí)使得模塊更加關(guān)注局部的小運(yùn)動(dòng)特征。具體處理方法如式（9）和式（10）所示：

其中：flow_i(i=1 ， 2 ， 3)為光流位移（fk）由3個(gè)并行的3×3卷積核經(jīng)不同輸出通道處理獲得的光流特征，F(xiàn)output為光流特征拼接結(jié)果，cat(·)為拼接操作，relu為激活函數(shù)。卷積濾波器的輸出Coutput和細(xì)顆粒模塊的輸出Foutput在特征維度上進(jìn)行拼接，成為基準(zhǔn)移動(dòng)編碼模塊的輸出Boutput。

ConvGRU是門控激活單元（GRU）中的全連接層被卷積代替而形成的，同時(shí)也是迭代更新的核心算子。采用ConvGRU完成光流估計(jì)的主要過程如下：首先輸入上一時(shí)刻的隱藏狀態(tài)ht-1（初始化為0）和當(dāng)前時(shí)刻信息xt，之后經(jīng)過重置門和更新門，最終輸出當(dāng)前時(shí)刻的隱藏狀態(tài)ht，將該隱藏狀態(tài)ht經(jīng)過兩層卷積即可得到Δf，完成光流的更新操作。具體如式（11）～（14）所示：

其中：xt為第t時(shí)刻的基準(zhǔn)移動(dòng)編碼模塊的輸出Boutput和上下文信息Fc在特征維度合并的結(jié)果，ht-1為t-1時(shí)刻的隱藏狀態(tài)，ht為t時(shí)刻的隱藏狀態(tài)，h′為t時(shí)刻的候選隱藏狀態(tài)，r為重置門，rt表示t時(shí)刻重置門狀態(tài)，z為更新門，zt表示t時(shí)刻更新門狀態(tài)，W為權(quán)重，σ(·)為激活函數(shù)，tanh為非線性激活函數(shù)。

在ConvGRU的基礎(chǔ)上融合基準(zhǔn)移動(dòng)編碼模塊可以捕獲更多的細(xì)粒度特征，使結(jié)果更加有效地逼近真實(shí)光流，最終輸出更為準(zhǔn)確和精細(xì)的光流場(chǎng)。此外，由于在特征提取階段輸出的是1/8分辨率的特征圖，因此，迭代更新部分得到的初始光流預(yù)測(cè)圖的分辨率也是原圖的1/8。本文通過上采樣操作得出與原圖相同分辨率的光流場(chǎng)景，與此同時(shí)，ConvGRU利用了卷積操作學(xué)習(xí)上采樣的權(quán)值。在上采樣之后的光流結(jié)果中，每一個(gè)像素點(diǎn)的值都是其9個(gè)粗分辨率鄰接區(qū)域的凸組合。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)設(shè)計(jì)

3.1.1 數(shù)據(jù)集

KITTI-2015數(shù)據(jù)集［19］是在真實(shí)的交通環(huán)境下的街景數(shù)據(jù)集，其中包含394組訓(xùn)練數(shù)據(jù)集，395組測(cè)試數(shù)據(jù)集。

MPI-Sintel光流數(shù)據(jù)集［20］是一個(gè)基于動(dòng)畫電影的合成數(shù)據(jù)集，該數(shù)據(jù)庫(kù)分為Clean和Final兩個(gè)數(shù)據(jù)集。Clean數(shù)據(jù)集包括大位移、弱紋理、非剛性大形變等困難場(chǎng)景；Final數(shù)據(jù)集添加運(yùn)動(dòng)模糊、霧化效果以及圖像噪聲更加貼近現(xiàn)實(shí)場(chǎng)景。MPI-Sintel光流數(shù)據(jù)集包含1 041組訓(xùn)練數(shù)據(jù)集，552組測(cè)試數(shù)據(jù)集。

3.1.2 評(píng)價(jià)指標(biāo)

在KITTI-2015數(shù)據(jù)集上，采用兩種指標(biāo)評(píng)估光流估計(jì)結(jié)果，分別為光流估計(jì)中的標(biāo)準(zhǔn)誤差度量（EPE）和光流異常值百分比（Fl）。端點(diǎn)誤差（end-point-error，EPE）是光流估計(jì)中標(biāo)準(zhǔn)的誤差度量，表示所有像素點(diǎn)的真實(shí)標(biāo)簽值和預(yù)測(cè)出來(lái)的光流之間差別距離（歐氏距離）的平均值，公式如式（15）所示：

其中：Fi表示預(yù)測(cè)的光流值，F(xiàn)gi表示地面真實(shí)值。同時(shí)，F(xiàn)l是KITTI-2015數(shù)據(jù)集中圖像整體區(qū)域中光流異常值（＞3 px或＞5%誤差）的比率。

在MPI-Sintel數(shù)據(jù)集上，以EPE和1，3，5 px為性能度量，其中1，3，5 px分別表示整幅圖像中EPE＜1、EPE＜3、EPE＜5的像素所占的比例。

3.1.3 訓(xùn)練

本文網(wǎng)絡(luò)采用端到端方式，對(duì)數(shù)據(jù)集進(jìn)行常規(guī)數(shù)據(jù)增強(qiáng)（添加隨機(jī)噪聲、隨機(jī)翻轉(zhuǎn)等），并通過一次性訓(xùn)練構(gòu)造樣本集。運(yùn)行環(huán)境采用PyTorch和Adamw優(yōu)化器，令A(yù)damw優(yōu)化器的參數(shù)值wdecay為0.000 01，顯卡為NVIDIA3090，批量大小為5，對(duì)KITTI-2015數(shù)據(jù)集進(jìn)行50 000輪訓(xùn)練、MPI Sintel數(shù)據(jù)集進(jìn)行120 000輪訓(xùn)練，初始學(xué)習(xí)率為0.000 1，每5 000輪學(xué)習(xí)率減少0.000 01。

通過預(yù)測(cè)值和地面真實(shí)流之間的l1距離來(lái)監(jiān)督網(wǎng)絡(luò)，損失函數(shù)如公式（16）所示：

其中：T為12表示迭代次數(shù)，初始化光流f0=0，fi為光流序列即{f1，...，fN}，F(xiàn)g為地面真實(shí)流，γ初始權(quán)重設(shè)置為0.8，由公式（16）可得權(quán)重隨著迭代次數(shù)呈指數(shù)增長(zhǎng)。

3.2 實(shí)驗(yàn)結(jié)果

3.2.1 KITTI-2015數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果

在KITTI-2015數(shù)據(jù)集上的評(píng)估結(jié)果如表1所示，其中4分條和6分條分別在EPE和Fl上表現(xiàn)較好。相較于先前結(jié)果最好的RAFT（Zachary Teed 等人，2020），通過公式（17）、（18）計(jì)算可得，本文方法在EPE指標(biāo)上降低了8.2%，在Fl指標(biāo)上降低了0.14%。

表1 不同方法在KITTI-2015測(cè)試集上的光流估計(jì)性能（↓：數(shù)值越小，表現(xiàn)越好）Tab.1 Optical flow estimation performance of different methods on KITTI-2015 test set （↓：The smaller the value， the better the performance）

其中：ηEPE表示EPE降低的比率，EPERAFT表示RAFT的EPE數(shù)值，EPEOur(n)表示n分條時(shí)EPE數(shù)值，F(xiàn)1Our(n)表示n分條的Fl數(shù)值，n取4，6，8。PCTFl表示Fl降低的百分點(diǎn)，F(xiàn)lRAFT表示RAFT的Fl數(shù)值。

本文記錄了KITTI-2015數(shù)據(jù)集訓(xùn)練過程中EPE指標(biāo)和Fl指標(biāo)的收斂曲線。以8分條方法為例，如圖6所示，模型的EPE和Fl指標(biāo)在分別迭代36 k和46 k個(gè)Epoches后超過了RAFT，并在訓(xùn)練結(jié)束時(shí)分別達(dá)到0.707 347和1.862 571。

圖6 KITTI-2015上的收斂曲線。（a）EPE指標(biāo)收斂曲線；（b）Fl指標(biāo)收斂曲線。Fig.6 Convergence curve on KITTI-2015.（a） Convergence curve on EPE index； （b） Convergence curve on Fl index.

圖7為在KITTI-2015驗(yàn)證集上的光流預(yù)測(cè)結(jié)果。由圖7中的第二行圖像可見，RAFT僅構(gòu)建出欄桿的大致輪廓，而本文方法清晰地構(gòu)建出欄桿處的細(xì)節(jié)，如圖中紅框所示。此外，由圖7中的后三行圖像可見，在RAFT構(gòu)建的光流圖中，車的整體輪廓和邊緣處均有缺陷，而本文方法預(yù)測(cè)得到的光流圖無(wú)論是車身，還是車的細(xì)節(jié)方面均更貼近真實(shí)圖像，且更為清晰、完整。

圖7 KITTI驗(yàn)證集上的光流估計(jì)結(jié)果（4，6，8分別為本文提出的4分條區(qū)域、6分條區(qū)域、8分條區(qū)域）。Fig.7 Optical flow estimation results on the KITTI validation set （4， 6， and 8 are the 4-point， 6-point， and 8-point methods proposed in this paper， respectively）.

3.2.2 MPI-Sintel數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果

在MPI-Sintel數(shù)據(jù)集上的評(píng)估結(jié)果如表2所示，其中8分條和4分條分別在MPI-Sintel（Clean）和MPI-Sintel（Final）上的EPE數(shù)值較好，相較于先前結(jié)果最好的RAFT，通過公式（17）計(jì)算可得，EPE分別降低了6.15%和5.87%。除此之外，本文分條策略中的1，3，5 px相較于基準(zhǔn)方法均有所提高，從性能度量上來(lái)看，本文得到的結(jié)果中小誤差占比更大。從這個(gè)角度分析，本文方法得到的結(jié)果魯棒性更強(qiáng)且在處理局部細(xì)粒特征時(shí)具有更強(qiáng)的競(jìng)爭(zhēng)力。

表2 不同方法在MPI-Sintel測(cè)試集上的光流估計(jì)性能（↓：數(shù)值越小，表現(xiàn)越好；↑：數(shù)值越大，表現(xiàn)越好）Tab.2 Optical flow estimation performance of different methods on MPI-Sintel test set （↓：The smaller the value， the better the performance； ↑：The greater the value， the better the performance）

在MPI-Sintel（Final）數(shù)據(jù)集中，本文記錄了訓(xùn)練過程中8分條方法的EPE，1，3，5 px指標(biāo)的收斂曲線如圖8所示。為了便于描繪指標(biāo)的變化趨勢(shì)，圖8中紅色陰影部分為實(shí)際記錄的指標(biāo)數(shù)據(jù)，紅色折線則為局部平滑后的結(jié)果。模型在整個(gè)訓(xùn)練過程中逐步收斂，在78k個(gè)Epoches后，EPE指標(biāo)超過RAFT，并在訓(xùn)練結(jié)束時(shí)達(dá)到0.877 59。

圖8 MPI-Sintel上的收斂曲線。（a）EPE指標(biāo)收斂曲線；（b）1 px指標(biāo)收斂曲線；（c）3 px指標(biāo)收斂曲線；（d）5 px指標(biāo)收斂曲線。Fig.8 Convergence curve on MPI-Sintel. （a） Convergence curve on EPE index； （b） Convergence curve on 1 px index；（c） Convergence curve on 3 px index； （d） Convergence curve on 5 px index.

在MPI-Sintel驗(yàn)證集上預(yù)測(cè)得到光流結(jié)果如圖9所示。其中前五行為Clean數(shù)據(jù)，由圖9可見，本文方法在手臂輪廓、腿部輪廓等邊緣細(xì)節(jié)處結(jié)果明顯優(yōu)于RAFT，尤其是第五行中RAFT未捕捉到空中兩只鳥的光流信息，而本文方法所捕獲的鳥邊緣信息更為準(zhǔn)確。此外，由后兩行的Final數(shù)據(jù)集的預(yù)測(cè)結(jié)果可見，即使面對(duì)帶有運(yùn)動(dòng)模糊的場(chǎng)景，本文方法依然可以很好地將武器以及手部邊緣光流信息完整地預(yù)測(cè)。

圖9 MPI-Sintel驗(yàn)證集上的光流估計(jì)結(jié)果（4，6，8分別為本文提出的4分條區(qū)域、6分條區(qū)域、8分條區(qū)域）。Fig.9 Optical flow estimation results on the MPI- Sintel validation set （4， 6， and 8 are the 4-point， 6-point， and 8-point methods proposed in this paper， respectively）.

3.3 消融實(shí)驗(yàn)

通過消融實(shí)驗(yàn)驗(yàn)證本文提出的各部分模塊的有效性，包括分區(qū)強(qiáng)弱相關(guān)計(jì)算、細(xì)粒度模塊以及殘差卷積濾波器，分別采用MPI-Sintel和KITTI-2015數(shù)據(jù)集進(jìn)行消融實(shí)驗(yàn)。在消融實(shí)驗(yàn)中，所有不同的方法組合均采取了相同的訓(xùn)練參數(shù)設(shè)置和訓(xùn)練輪數(shù)。令A(yù)（4）、A（6）、A（8）代表4分條區(qū)域、6分條區(qū)域、8分條區(qū)域，B代表使用細(xì)粒度模塊，C代表使用殘差卷積濾波器。實(shí)驗(yàn)結(jié)果如表3所示，其中BC代表模型使用細(xì)粒度模塊和殘差卷積濾波器的組合，BA（n）表示使用細(xì)粒度模塊和強(qiáng)弱相關(guān)計(jì)算方法的組合，CA（n）表示使用殘差卷積濾波器和強(qiáng)弱相關(guān)計(jì)算方法的組合，n取4，6，8。

表3 在KITTI-2015和 MPI-Sintel數(shù)據(jù)集上的消融實(shí)驗(yàn)Tab.3 Ablation experiments on KITTI-2015 and MPI-Sintel datasets

表3中，在使用不同方法的組合進(jìn)行訓(xùn)練的情況下，使用細(xì)粒度模塊和殘差卷積濾波器的組合構(gòu)建的光流預(yù)測(cè)結(jié)果獲得了最佳的表現(xiàn)。這表明細(xì)粒度模塊和殘差卷積濾波器不僅優(yōu)化了后期光流和相關(guān)體的信息融合過程，并且保留了更多的光流局部的細(xì)粒度，使最終的光流預(yù)測(cè)圖在局部小物體中表現(xiàn)得更好，如圖7和圖9所示。在細(xì)粒度模塊和殘差卷積濾波器組合的基礎(chǔ)上，加入8分條的強(qiáng)弱相關(guān)計(jì)算較為明顯地降低了端點(diǎn)誤差，并且也獲得了最多的最優(yōu)指標(biāo)。在KITTI數(shù)據(jù)集中，BA（6）與BCA（8）的實(shí)驗(yàn)結(jié)果相差最大，證明殘差卷積濾波器在獲得更精準(zhǔn)的光流信息方面起到了重要的作用，其余實(shí)驗(yàn)結(jié)果相近。綜上，在本文給出的3種方法和模塊共同作用下，可以更好地完成光流圖的構(gòu)建。

4 結(jié)論

本文融合序列影像相關(guān)區(qū)域信息給出一種光流估計(jì)網(wǎng)絡(luò)模型，其中計(jì)算相似度模塊采用分區(qū)處理強(qiáng)弱相關(guān)信息的方法，能夠剔除大量誤差信息；迭代更新模塊采取了殘差卷積濾波器和細(xì)粒度模塊，緩解了光流結(jié)果缺乏局部細(xì)粒度的問題。在KITTI-2015和MPI-Sintel光流數(shù)據(jù)集的實(shí)驗(yàn)表明，本文提出的網(wǎng)絡(luò)模型能夠有效提高光流估計(jì)的準(zhǔn)確率，較好地解決了過度平滑、缺乏細(xì)粒度和小物體快速運(yùn)動(dòng)估計(jì)不夠準(zhǔn)確的問題。未來(lái)的工作將集中在優(yōu)化模型的運(yùn)行時(shí)間成本和減少參數(shù)量方面。