引入輕量級Transformer 的自適應(yīng)窗口立體匹配算法

王正家，胡飛飛*，張成娟，雷卓，何濤

（1.現(xiàn)代制造質(zhì)量工程湖北省重點實驗室，湖北 武漢 430068；2.湖北工業(yè)大學(xué)機械工程學(xué)院，湖北 武漢 430068）

0 引言

立體匹配旨在預(yù)測立體圖像中沿極線像素形成的視差，是計算機視覺中經(jīng)典的研究課題，在許多領(lǐng)域發(fā)揮著重要作用，包括自動駕駛、增強現(xiàn)實和機器人等領(lǐng)域?；趯W(xué)習(xí)的立體匹配算法能夠達到亞像素級別的匹配精度和較低的誤匹配率，但多以犧牲運行效率為代價；而以快速計算為目的的算法，在匹配精度上欠佳。

起初深度神經(jīng)網(wǎng)絡(luò)被引入立體匹配任務(wù)中僅用于匹配代價計算［1］。近年來出現(xiàn)了很多端到端的立體匹配網(wǎng)絡(luò)，通過探索不同的特征描述方式和聚合方法來獲取匹配代價。這些網(wǎng)絡(luò)可以大致分類為基于相關(guān)性和基于3D 卷積的立體匹配算法。基于相關(guān)性的立體匹配［2-3］一般采用相關(guān)層進行匹配代價計算。LIANG 等［3］使用相關(guān)層計算每個離散視差的代價，然后用特征恒量對視差進行優(yōu)化。AANet［4］使用一種多尺度代價聚合架構(gòu)，包含基于稀疏點的尺度內(nèi)代價聚合和尺度間代價聚合層，試圖解決不連續(xù)視差估計問題和改善弱紋理區(qū)域的匹配。LI 等［5］提出了一種遞歸細化的分層網(wǎng)絡(luò)，通過以粗到細的方式對視差進行細化，并利用自適應(yīng)相關(guān)層來減少匹配模糊現(xiàn)象?；?D 卷積的立體匹配算法［6-8］大多采用直接特征級聯(lián)構(gòu)造代價體。GCNet［9］用3D 卷積聚 合4D 代價體 以回歸 最終視差。PSMNet［10］用 空間池化金字塔模塊聚合不同尺度和位置的特征并構(gòu)造4D 代價體，最后利用3D 卷積進行正則化。StereoDRNet［11］通過一 種擴張3D 卷積來 減少計 算量，并通過融合幾何誤差和光度誤差來細化視差。在性能方面，基于3D 卷積的方法比基于相關(guān)性的方法在精度上占更大優(yōu)勢，但是運行速度很慢。還有像Gwc-Net［12］這 種混合使用 相關(guān)性 和3D 卷積的方法，但這種方法計算量依然很大。無論是基于相關(guān)性還是基于3D 卷積的匹配方法，都設(shè)置了最大視差范圍以減輕內(nèi)存和計算需求，對于超出預(yù)定范圍的視差，則無法推斷出正確的匹配，這是以犧牲精度來權(quán)衡效率的方式。

與計算機視覺并行發(fā)展的自然語言處理領(lǐng)域中的Transformer，在許多圖像理解任務(wù)中取得了不錯的成果［13-15］，現(xiàn)有一些工作采用Transformer 架構(gòu)來編碼匹配特征［16-18］。SuperGlue［16］通過自注意力和交叉注意力機制來學(xué)習(xí)關(guān)鍵點的空間依賴關(guān)系和它們的視覺外觀信息，在增強特征表達的同時，能夠使代價學(xué)習(xí)復(fù)雜的先驗知識，然后使用一種線性分配策略尋找最佳稀疏匹配點。LoFTR［17］采用級聯(lián)結(jié)構(gòu)的Transformer，在粗匹配中學(xué)習(xí)密集排列和全局一致的匹配先驗，然后對高置信度的匹配點使用基于相關(guān)性的方法將其細化到亞像素級別。STTR［18］通過捕捉不同特征之間的遠程依賴關(guān)系和全局上下文信息來計算像素間的相關(guān)性，從序列到序列的角度沿極線進行密集像素匹配。SSD-former［19］利用滑動窗口機制將整體代價量分解為許多小代價量，減少了Transformer的自注意力操作，可靈活適應(yīng)不同的分辨率并提高計算效率。這些基于Transformer 特征描述的匹配方法與上述兩類方法相比，雖然能放松視差范圍，但是存在較高的延遲，因為Transformer模型中的自注意力層中大量使用全連接算子，這使得計算的復(fù)雜度相對于序列長度的時間和空間復(fù)雜度均二次增長，當(dāng)序列長度過大時計算成本難以承受［20］。

現(xiàn)有基于學(xué)習(xí)的立體匹配算法通過設(shè)置最大視差來減少內(nèi)存和計算需求，但卻以損失精度為代價；而沒有視差范圍局限的Transformer 特征描述匹配算法則存在較高的延遲。針對以上問題，本文提出一種基于輕量級Transformer 自適應(yīng)窗口的立體匹配算法（LTAWNet）。LTAWNet 包含坐標注意力位置編碼模塊、輕量級Transformer 特征描述模塊和自適應(yīng)窗口匹配細化模塊。坐標注意力位置編碼模塊通過位置編碼提供空間位置依賴信息，可以增強相似特征之間的辨別能力，有助于提高匹配精度；輕量級Transformer 特征描述模塊用來轉(zhuǎn)換上下文相關(guān)的特征，可以增強特征的特異性描述，提供更加精確的匹配點集，為降低Transformer 的高延遲性，本文提出用可分離多頭自注意力層對Transformer 進行輕量化改進；自適應(yīng)窗口細化模塊在高分辨率特征圖上對候選的匹配點進行局部區(qū)域匹配細化，并引入可變形卷積，對不同紋理自適應(yīng)地產(chǎn)生更合適的匹配窗口，在提高匹配精度的同時提高執(zhí)行效率。

1 LTAWNet 立體匹配網(wǎng)絡(luò)

本文所提出的立體匹配算法包括特征提取、輕量級Transformer 特征描述、特征匹配、自適應(yīng)窗口的匹配細化、視差回歸等5 個階段，如圖1 所示。

圖1 LTAWNet 總體框架Fig.1 Overall framework of LTAWNet

在特征提取階段，使用兩個權(quán)重共享的特征提取網(wǎng)絡(luò)對輸入的立體圖像對進行多尺度特征提取，生成三級特征金字塔用于計算不同尺度的匹配特征，并在最小尺度特征圖的相關(guān)性計算前加入坐標注意力機制（CA）進行位置編碼，以增強特征圖的位置依賴性；在基于輕量級Transformer 的特征描述階段，使用提出的輕量級Transformer 模塊（WT）對特征進行特異性增強表達，Transformer 模塊中交替使用自注意力和交叉注意力層，可以聚集特征圖內(nèi)和左右特征圖間全局上下文信息，在兩個注意力層疊加過程中，匹配點的數(shù)量將會收斂為更為精確的匹配點集；在特征匹配階段，使用可微匹配層對關(guān)注度最高的特征進行匹配，生成一個匹配置信度矩陣，為后續(xù)的視差生成做準備；在匹配細化階段，以上一級低分辨率特征圖的匹配點為中心，對其用相關(guān)性的方法映射到下一級高分辨率的特征圖的局部窗口中，在局部窗口內(nèi)對特征點進一步細化到亞像素級別的匹配，將可變形卷積融入到相關(guān)性計算中，從而生成內(nèi)容自適應(yīng)窗口，減少匹配模糊現(xiàn)象；在視差回歸階段，圍繞匹配點構(gòu)建3 像素窗口，利用重歸一化操作算子計算權(quán)值，對窗口內(nèi)匹配點進行視差加權(quán)以回歸最終視差。

1.1 特征提取

在特征提取階段，將立體圖像對IL和IR輸入到權(quán)重共享的特征提取網(wǎng)絡(luò)，利用帶有特征金字塔網(wǎng)絡(luò)（FPN）［21］的標準卷積結(jié)構(gòu)提取IL和IR三級特征金字塔，將三級特征圖記為，1/2、1/4、1/8 尺度的特征圖通道數(shù)分別為64、128、256。為了增強特征的位置依賴性，提出使用坐標注意力機制［22］對特征進行位置編碼，并僅對特征圖使用。特征提取網(wǎng)絡(luò)和位置編碼層的詳細結(jié)構(gòu)如圖2 所示。

圖2 特征提取網(wǎng)絡(luò)結(jié)構(gòu)和位置編碼層結(jié)構(gòu)Fig.2 Feature extraction network structure and position encoding layer structure

在弱紋理和無紋理區(qū)域，像素間的相似性比較模糊，通過加入位置編碼有助于解決這一歧義問題，該方法已在STTR 中被證明是有效的。與在STTR中使用二次計算代價的相對位置編碼不同，本文使用一種具有線性復(fù)雜度的坐標注意力層來進行位置編碼，在提高精度的同時，該方法引入的計算量更小。

1.2 輕量級Transformer 的特征描述

使用Transformer 模塊來轉(zhuǎn)換具有位置依賴性和上下文相關(guān)的特征，可以在增強特征特異性表達的同時，將特征點收斂為更精確的匹配點集。為了彌補標準Transformer在立體匹配任務(wù)中延時高的不足，本文提出引入可分離多頭自注意力層（MHSA）［23］對標準Transformer 進行輕量化改進。

本文所提的輕量級Transformer 模塊結(jié)構(gòu)如圖3所示。WT 模塊由順序連接的編碼器組成，編碼器中交替使用自注意力和交叉注意力層，匹配點的數(shù)量在兩種注意力層疊加的過程中逐漸收斂。其中，Qh、Kh和Vh在自注意力層中從同一特征圖中計算，在交叉注意力層中從兩個不同特征圖中計算。輸入x∈ Rk×d由k個d維token（在視覺Transformer 中指像素）嵌入組成，x被傳輸?shù)? 個分支，即查詢Qh、鍵Kh和值Vh。注意力層首先對所有h個頭同時計算Qh和Kh中線性層輸出之間的點積，然后用Softmax 操作算子σ來生成注意力矩陣（或上下文映射）a∈ Rk×k×h，再計算a和Vh中線性層輸出之間的另一個點積，加權(quán)后輸出yw∈Rk×dh×h，其中，dh=d/h是頭的維度。h個頭的輸出被連接起來生成k個d維token 的張量，然后將其輸入另一個權(quán)重為WO∈Rd×d的線性層，產(chǎn)生最終加權(quán)輸出y∈Rk×d。

圖3 WT 結(jié)構(gòu)及多頭自注意力層結(jié)構(gòu)Fig.3 WT structure and MHSA layer structure

標準Transformer 中的多頭自注意力層使用縮放點積注意力來捕獲k個token 或patch 之間的上下文關(guān)系，如圖4（a）所示。大量的tokenK使得MHSA 的時間和空間計算復(fù)雜度為O(k2)。此外，MHSA 中使用批量矩陣乘法和Softmax 函數(shù)用于計算注意力矩陣，這種計算方式會嚴重消耗內(nèi)存，因此，本文基于標準Transformer 引入具有線性復(fù)雜度的可分離自注意力機制。

圖4 多頭自注意力對比Fig.4 Comparison of MHSAs

引入的可分離自注意力機制原理如圖4（b）所示。對輸入x使用3 個分支進行處理，變?yōu)檩斎隝、鍵K和值V。分支I使用權(quán)重為WI∈Rd的線性層將x中的每個d維token 映射到標量，權(quán)重WI作為圖4（b）中的潛在節(jié)點L。這個線性映射是一個內(nèi)積操作，然后計算潛在tokenL和x之間的距離，得到一個k維向量，并使用Softmax 函數(shù)對所得向量歸一化以產(chǎn)生上下文分數(shù)cs：

與計算每個token 相對于所有k個token 的注意力（或上下文）得分的Transformer 不同，可分離自注意力機制僅計算潛在tokenL的上下文得分，這將計算注意力（或上下文）得分的成本從O(k2)降低到O(k)。上下文分數(shù)cs用于計算上下文向量cv，該向量對上下文信息進行編碼，使用權(quán)重為WK∈Rd×d的鍵分支K將輸入x線性投影到d維空間，產(chǎn)生輸出xK∈Rk×d。上下文向量cv∈Rd被計算 為xK的 加權(quán)和：

上下文向量cv對輸入x中所有標記的信息進行編碼，cv中編碼的上下文信息與x中的所有token 共享。與此同時，使用權(quán)重為WV∈Rd×d的值分支V將輸入x線性投影到d維空間，經(jīng)過ReLU 激活函數(shù)后輸出xV∈Rk×d。然后cv中的上下文信息通過元素傳播乘法運算傳播到xV，將生成的結(jié)果傳遞給另一個權(quán)重為WO∈Rd×d的線性層，產(chǎn)生最終輸出y∈Rk×d。

可分離自注意力機制可以用數(shù)學(xué)公式定義為：

其中：*和∑分別是元素傳播乘法與求和操作。

可分離自注意力機制的特點是它使用元素級操作（如求和與乘法），這是實現(xiàn)高效計算的關(guān)鍵。之所以說這種方法是可分離的，是因為它允許通過用兩個單獨的線性計算取代二次MHSA 來編碼全局信息。本文將可分離MHSA 替換標準Transformer 中的MHSA 得到輕量級的改進Transformer，與基于標準Transformer 的立體匹配算法STTR 相比延時更少。

1.3 特征匹配

傳統(tǒng)的匹配算法會對匹配點施加唯一性約束，即每個像素點只能有唯一的匹配點與之相對應(yīng)，然而這種方法無法進行梯度傳播，不適合基于學(xué)習(xí)的立體匹配算法。Dual-Softmax［17］操作算子是一種可微的匹配策略，其對匹配點進行軟約束。本文使用Dual-Softmax 算子進行匹配概率矩陣計算。將1/8尺度的特征圖經(jīng)過WT 模塊轉(zhuǎn)換后記為

首先，使用式（5）計算得分矩陣S：

然后，在S的水平和垂直方向都應(yīng)用Softmax 函數(shù)去獲取軟約束互最近鄰（MNN）［24］匹配的概率。獲取的匹配概率矩陣Pc用式（6）表達為：

最后，再次使用互最近鄰準則對置信度低于θc的匹配點進行過濾，剔除可能異常的粗匹配，得到新匹配概率矩陣Mc為：

相比基于3D 卷積的立體匹配算法PSMNet，本文使用的相關(guān)性匹配方法匹配冗余信息更少、計算消耗更小。

1.4 自適應(yīng)窗口的匹配細化

經(jīng)上述處理過程得到粗級匹配概率矩陣后，在1/4 和1/2 尺度的特征圖上執(zhí)行匹配細化。為了減少匹配搜索空間和避免非理性矯正帶來的匹配失效，提出使用沿極線的自適應(yīng)窗口對特征點進行匹配細化?；谧赃m應(yīng)窗口的匹配細化過程如圖5所示。

圖5 匹配細化過程及自適應(yīng)搜索窗口的形成Fig.5 Matching refinement process and formation of adaptive search window

局部窗口在搜索匹配點進行相關(guān)性概率計算時，使用內(nèi)容自適應(yīng)窗口，通過可變形卷積［25］學(xué)習(xí)附加偏置dx和dy來尋找新的相關(guān)對，新的匹配概率矩陣可以被計算為：

其中：i(x，y)和j(x，y)分別為左右特征圖上的點；xi和xj表示點i、j的水平方向坐標；yi和yj表示對應(yīng)的垂直方向坐 標；i′和j′為加入位置 偏移量后點i(x，y)和 點j(x，y)的新表達；c表示輸入特征圖的通道數(shù)；f(d)和g(d)表示當(dāng)前像素在水平和垂直方向上的固定偏移量，在本文中設(shè)置f(d)∈[-4，4]，圖5 顯示了偏移量如何改變固定形狀搜索窗口的形成。本文使用的自適應(yīng)窗口匹配細化方法，僅計算局部的相關(guān)性，比STTR 的逐像素全對匹配方法具有更高的執(zhí)行效率。

1.5 視差回歸

利用最終的細化匹配矩陣Mf′回歸最終視差。對 于匹配矩陣上的匹配點對圍 繞′點構(gòu)建一個3×3 像素的窗口N3(k)，對窗口中的匹配概率進行重歸一化處理得到對應(yīng)像素視差的權(quán)重，對窗口中的候選視差加權(quán)就是回歸的視差。假設(shè)處的匹配概率為t，t∈N3(k)，用公式表達為：

1.6 損失函數(shù)

訓(xùn)練過程的損失函數(shù)由第1 級的粗級損失、第2、3 級的細化損失和最后計算的視差損失組成。粗級損失是計算置信矩陣Pc上的負對數(shù)似然函數(shù)，使用互最近鄰準則來計算置信矩陣的真實標簽，通過在Mgtc網(wǎng)格上最小化負對數(shù)似然損失進行反向梯度傳播：

給定視差真值，計算最后一層輸出的視差損失為：

2 實驗

為了驗證所提LTAWNet 立體匹配算法的性能，在3 個流行的公共數(shù)據(jù)基準上進行訓(xùn)練，對算法的各個組成模塊進行消融研究，以驗證各模塊對算法整體性能的影響，并將LTAWNet 與其他立體匹配模型進行性能對比實驗，以驗證LTAWNet算法的優(yōu)勢。

2.1 數(shù)據(jù)集

實驗使用的數(shù)據(jù)集如下：

1）SceneFlow［2］：是一個大型合成數(shù)據(jù)集，包含超過3.9×104個960×540 像素分辨率的立體圖像訓(xùn)練對。該數(shù)據(jù)集提供了詳細和稠密的視差圖真值，使用像素平均視差誤差（EPE）作為評價指標，在實驗中選取80%的數(shù)據(jù)作為訓(xùn)練集，剩下的部分作為測試集。

2）KITTI2015［26］和KITTI2012［27］：由 動態(tài)街景 的廣角立體圖像對和LiDAR 采樣的稀疏視差真值組成。KITTI2015 的訓(xùn)練集和測試集分別包含200 個立體圖像對，以視差預(yù)測異常值D1 的百分比（D1-all）作為衡量指標；KITTI2012 的訓(xùn)練集和測試集分別提供了194 和195 對立體圖像對，將錯誤像素百分比作為評價指標。

2.2 訓(xùn)練

本文利用PyTorch［28］框架完成網(wǎng)絡(luò)模型構(gòu)建，該模型在8 個NVIDIA GTX2080Ti GPU 上加速訓(xùn)練，批處理大小為16，整個訓(xùn)練過程執(zhí)行300 000 次迭代，并使用標準學(xué)習(xí)率為0.000 4 的Adam［29］優(yōu)化器。在網(wǎng)絡(luò)訓(xùn)練熱身階段，先執(zhí)行6 000 個訓(xùn)練周期，使學(xué)習(xí)率從5%線性增加到標準值100%，保持0.000 8 的學(xué)習(xí)率訓(xùn)練180 000 個周期之后，學(xué)習(xí)率逐漸降低到標準值的5%。模型的輸入尺寸為384×512 像素，對訓(xùn)練的數(shù)據(jù)進行數(shù)據(jù)增強來提高模型的魯棒性和泛化能力，包括使用裁剪操作、非對稱色度增強（亮度、對比度和伽馬變化）和使用隨機大小的掩碼遮擋。

2.3 消融實驗

在不同的實驗變量設(shè)置下，對本文算法性能進行消融研究，并對坐標注意力機制（CA）、輕量級Transformer 模塊（WT）、自適應(yīng)細化匹配窗口（AMW）及級聯(lián)的層數(shù)N給出定量的評估結(jié)果，如表1 所示。其中，√表示使用該模塊，all 是指對所有像素進行評價，Noc是指只對非遮擋區(qū)域的像素進行測試。

表1 消融實驗結(jié)果Table 1 Results of ablation experiments

對提出的輕量級Transformer 模塊進行消融研究時，與使用標準Transformer 模塊進行對比，對比結(jié)果如表1 的第1、2 行顯示，可見，使用輕量級Transformer 在運行時間上有較大的提升，運行時間比使用標準Transformer 快了約3 倍。對進行特征編碼的坐標注意力層進行消融研究，結(jié)果如表1 的第2、3 行顯示，可見，添加CA 后網(wǎng)絡(luò)的整體誤匹配率明顯降低，在SceneFlow 數(shù)據(jù)集上像素平均視差誤差從0.82 下降到0.56，下降了約30%。對自適應(yīng)細化匹配窗口進行消融研究，與使用固定形狀窗口的匹配細化做對比實驗，結(jié)果如表1 的第3、4 行顯示，可見，使用自適應(yīng)窗口匹配細化在3 個數(shù)據(jù)集的誤匹配率指標上均有所下降，在KITTI2015 數(shù)據(jù)集上，所有區(qū)域的D1-all 從1.72% 降低到1.61%。此外，對于級聯(lián)的層數(shù)N，測試了使用2～4 層的級聯(lián)結(jié)構(gòu)，結(jié)果如表1 的最后3 行顯示，可見，隨著級聯(lián)層數(shù)的加深，誤匹配率有下降的趨勢，3 層級聯(lián)和4 層級聯(lián)結(jié)構(gòu)有著接近的匹配精度，為了更好地權(quán)衡本網(wǎng)絡(luò)模型的匹配精度和運行效率，本文采用3 層的級聯(lián)結(jié)構(gòu)。

2.4 性能對比實驗

為了進一步評估所提出的算法，把實驗中訓(xùn)練的最佳算法在KITTI2015、KITTI2012 和SceneFlow數(shù)據(jù)集上進行對比實驗，包括基于3D 卷積的立體匹配算法：PSMNet［10］和GCNet［9］，基于相關(guān)性的立體匹配算法：AA-Net［4］，基于相關(guān)性與3D 卷積 的混合方法：Gwc-Net［12］，基于Transformer 架構(gòu)的匹配算法：STTR［18］和SSD-former［19］。在KITTI2015 數(shù)據(jù)集中，使用所有區(qū)域（All）和非遮擋區(qū)域（Noc）的視差預(yù)測異常值D1 百分比為評價指標，其中3 像素誤差在兩個區(qū)域中包含所有像素（D1-all）、背景像素（D1-bg）和前景像素（D1-fg），并測評不同算法的推理時間。在KITTI2012 數(shù)據(jù)集上，評估所有區(qū)域和非遮擋區(qū)域的錯誤像素百分比（＞2px，＞3px，＞4px，＞5px）。在SceneFlow 數(shù)據(jù)集上，測試本文算法和對比算法的綜合性能，測試的性能包括參數(shù)量、顯存消耗、浮點數(shù)計算量、運行時間和誤匹配率。所有的測評數(shù)據(jù)均在單個NVIDIA GTX2080Ti GPU 上測試所得。

2.4.1 KITTI2015 對比實驗

在KITTI2015 數(shù)據(jù)集上的測評結(jié)果如表2 所示，其中加粗數(shù)據(jù)表示最優(yōu)值。在參考的評價指標中，所提的立體匹配算法除了在D1-fg 指標上性能略顯遜色，其他指標都取得了領(lǐng)先的結(jié)果。在考慮所有像素情況下的視差預(yù)測異常值D1-all為1.71%，與使用3D 卷積的PSMNet［10］相比，視差精度提高了26%，運行時間快了5 倍。與基于相關(guān)性的立體匹配算法AANet［4］相比，誤匹配率明顯降低，速度上也比較接近，單對圖像的推斷時間為0.08 s，這主要得益于這兩種方法都避開了內(nèi)存消耗較大的3D 卷積。此外，與基于標準Transformer 的STTR［18］算法相比，本 文算法在速度和精度上都有了較大的提升，這主要因為本文提出的是基于改進的輕量化Transformer 架構(gòu)，并且本文算法是一種局部的立體匹配算法，只在局部窗口上執(zhí)行Transformer 運算，但是有一點不容忽視，本文算法沒有考慮對遮擋的視差估計處理，所以在D1-fg指標上性能略次。

表2 在KITTI2015 數(shù)據(jù)集上的性能對比結(jié)果 Table 2 Performance comparison results on KITTI2015 dataset

為了定性評價本文算法的效果，從對比的實驗?zāi)Ｐ椭羞x取基于3D 卷積的立體匹配算法PSMNet［10］和基于Transformer 的立體 匹配算 法STTR［18］進行可 視化分 析，可視化 結(jié)果由KITTI2015 基準測評官網(wǎng)得到。圖6（a）為輸入圖像，圖6（b）～圖6（d）分別為PSMNet、STTR 和本文算法的視差圖和對應(yīng)的誤差圖，通過對比視差圖上矩形框中的物體可以看出，本文算法可以在物體邊界上獲得更加平滑和細致的預(yù)測，對物體邊界的視差恢復(fù)較為完整。

圖6 在KITTI2015 數(shù)據(jù)集上的定性對比結(jié)果Fig.6 Qualitative comparison results on KITTI2015 dataset

2.4.2 KITTI2012 對比實驗

在KITTI2012 數(shù)據(jù)集上的定量和定性實驗結(jié)果分別如表3 和圖7 所示，可見，與對比算法相比，本文算法在5 像素誤差上達到了最先進的水平，并且運行時間僅次于基于相關(guān)性方法的AA-Net，單對圖像的推理時間為0.09 s。本文的立體匹配算法與基于Transformer 算法的SSD-former 相比，整體匹配精度較為接近但運行速度要快3 倍多；與STTR 算法相比，非遮擋區(qū)域的3 像素誤差下降了0.09，運行速度提高了近4 倍；與基于3D 卷積的PSMNet 算法相比，整體精度有較大的提升，非遮擋區(qū)域的3 像素誤差下降了0.34，運行時間快了4 倍多。圖7（a）為輸入圖像，圖7（b）～圖7（d）分別為PSMNet、STTR 和所提方法的視差圖和對應(yīng)的誤差圖，觀察白色矩形框中的車輛可以看出，本文算法可以較清晰地恢復(fù)車輛邊界的視差，視差估計的質(zhì)量更細致。

表3 在KITTI2012 測試數(shù)據(jù)集上的性能對比結(jié)果 Table 3 Performance comparison results on KITTI2012 test dataset

圖7 在KITTI2012 數(shù)據(jù)集上的定性對比結(jié)果Fig.7 Qualitative comparison results on KITTI2012 dataset

2.4.3 SceneFlow 對比實驗

在SceneFlow 數(shù)據(jù)集上，為了保證對比結(jié)果的有效性，統(tǒng)一使用576×960 像素的輸入圖像，定量和定性的評估結(jié)果分別如表4 和圖8 所示。

表4 綜合性能對比 Table 4 Comparison of comprehensive performance

圖8 在SceneFlow 數(shù)據(jù)集上的定性對比結(jié)果Fig.8 Qualitative comparison results on SceneFlow dataset

由表4 可知：本文立體匹配算法的參數(shù)量為2.28×106，在所對比的5 種算法中具有最小的參數(shù)量；浮點數(shù)計算量為216.52×109，顯存消耗為1.28×109，運行時間為0.09 s，這3 項指標均僅次于基于相關(guān)性模型的AANet，但優(yōu)于其他的對比算法；在匹配精度方面，EPE 指標和3 像素誤差低于6 種對比的算法，擁有最高的匹配精度；與基于3D 卷積模型的PSMNet相比，本文算法在參數(shù)量上減少了56.32%，浮點數(shù)的計算量降低96.72%，顯存消耗也降低了近一半多；與基于Transformer 的匹配模型STTR 相比，運行時間快5 倍多，浮點數(shù)的計算量減少了1 倍多，匹配精度在3 像素誤差上降低了0.16，在EPE 上降低了30%左右。綜上，在所對比的模型中，本文模型能較好地平衡匹配精度和運行效率。

圖8（a）為原始左視圖示例，圖8（b）～圖8（d）分別為PSMNet、STTR 和本文算法的測得的視差圖，觀察第1 列視差圖中的輪轂可以看出，本文算法可以細致地恢復(fù)輪轂的結(jié)構(gòu)特征；觀察圖8（b）的Monkaa 視差估計結(jié)果可以看出，本文算法對物體的視差估計較為完整，不存在視差估計不連續(xù)問題；由圖8（c）可見，對車體的視差估計中，本文算法能夠高保真的還原其輪廓信息，在邊緣出的視差估計更平滑。

3 結(jié)束語

針對現(xiàn)有立體匹配算法存在的顯存消耗大、運行時間長、視差范圍有限等問題，本文提出一種基于輕量化Transformer 的自適應(yīng)窗口立體匹配算法。該算法在低分辨率特征圖上進行位置編碼和特征粗匹配，在高分辨率特征圖上進行匹配細化。算法中輕量級Transformer 特征描述模塊和自適應(yīng)窗口匹配細化模塊，在增強特征表達和提高匹配精度的同時，可有效減少計算消耗，并且能生成無視差范圍的視差圖。實驗結(jié)果表明，相比基于3D 卷積和基于Transformer 的匹配算法，所提立體匹配算法無論是在匹配精度還是在運行時間上，都有較大的性能提升，能夠較好地平衡匹配精度和運行效率。后續(xù)將把遮擋視差處理融入到算法中，對算法做進一步改進。