輕量級(jí)空間移位MLP 用于指靜脈分割

曾軍英，田慧明，陳宇聰，顧亞謹(jǐn)，鄧森耀，尹永宏，尤吳杭，黃國(guó)林，甘俊英，秦傳波

（五邑大學(xué)智能制造學(xué)部，廣東江門 529020）

0 引 言

近年來(lái)，手指靜脈識(shí)別作為流行的第二代生物特征識(shí)別工具，相較于其他生物識(shí)別技術(shù)具有安全性高、準(zhǔn)確率高、唯一性、非接觸式采集、不易偽造和低成本等特點(diǎn)，因此受到越來(lái)越多的學(xué)者關(guān)注。在手指靜脈的提取和識(shí)別應(yīng)用中，圖像分割是其中一項(xiàng)主要任務(wù)，直接影響到識(shí)別的準(zhǔn)確率。但是這些主流網(wǎng)絡(luò)模型[1-4]的主要工作都集中在開(kāi)發(fā)高效和魯棒性的分割方法上，對(duì)指靜脈提取的實(shí)時(shí)性分割工作很難達(dá)到理想效果。此外，這些方法需要消耗大量的計(jì)算資源和存儲(chǔ)空間，在嵌入式終端上很難達(dá)到運(yùn)行的條件。相對(duì)于占用大量計(jì)算和內(nèi)存資源、對(duì)設(shè)備要求較高的CNN 架構(gòu)，以及需要大量數(shù)據(jù)進(jìn)行訓(xùn)練、建立全局依賴的Transformer 架構(gòu)[5-8]，設(shè)計(jì)一種計(jì)算開(kāi)銷較小、參數(shù)數(shù)量較少、推理時(shí)間更快的分割網(wǎng)絡(luò)模型，并保持其良好的分割性能是非常重要的。此外，探索局部性對(duì)模型體系結(jié)構(gòu)的影響也同樣具有重要意義。對(duì)于上述問(wèn)題，本文提出了一種基于MLP的輕量級(jí)手指靜脈分割網(wǎng)絡(luò)模型——S-MLP。該網(wǎng)絡(luò)模型采用帶有編碼器、解碼器和跳躍連接的U 型5 層深度網(wǎng)絡(luò)結(jié)構(gòu)。同時(shí)，在每一個(gè)解碼器和編碼器中引用了一種新穎的標(biāo)記化MLP，這種標(biāo)記化MLP 能夠?qū)⒕矸e特征映射到抽象的標(biāo)記空間中，從而降低了計(jì)算量，并利用MLP 學(xué)習(xí)有意義的特征圖信息以進(jìn)行分割。使用逐深度卷積進(jìn)一步減少網(wǎng)絡(luò)模型參數(shù)，同時(shí)還能捕捉到重要的圖像特征。為了將局部性引入所提出的方法中，該算法在特征圖中采用窗口劃分的方式，并在每個(gè)窗口中執(zhí)行標(biāo)記混合投影，以對(duì)特征像素點(diǎn)及其周圍特征像素點(diǎn)之間的關(guān)系進(jìn)行建模。在MLP 中引入了移位操作，通過(guò)水平和垂直兩個(gè)方向空間移動(dòng)，將來(lái)自不同位置的特征進(jìn)行聚合，以提取對(duì)應(yīng)軸向移位的局部信息，從而引入了局部性。由于標(biāo)記化特征的維度較少，且MLP 相對(duì)于卷積和Transformer 更為簡(jiǎn)單，考慮到減小模型大小可能會(huì)影響分割性能，因此該算法在每個(gè)層后面添加一個(gè)參數(shù)量極少的注意力模塊Triplet Attention[9]，它可以使模型的注意力集中在指靜脈紋路上，抑制網(wǎng)絡(luò)模型提取無(wú)關(guān)信息。

1 方 法

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

S-MLP 整體結(jié)構(gòu)如圖1 中的A 部分所示，由沙漏狀的深度可分離卷積為基礎(chǔ)模塊組成編碼器、解碼器和跳躍連接的U 型結(jié)構(gòu)。圖1 中的B 部分顯示了結(jié)構(gòu)的處理過(guò)程：首先，通過(guò)3×3 逐層卷積提取深度方向特征，從而得到具有較強(qiáng)表達(dá)性的特征圖；接下來(lái)，利用沙漏狀的雙層1×1 的點(diǎn)卷積層將特征維度先壓縮再擴(kuò)展，從而在提取到充足的通道特征信息的前提下減少卷積帶來(lái)的巨大開(kāi)銷；最后，通過(guò)一層3×3 的逐層卷積來(lái)補(bǔ)充在點(diǎn)卷積過(guò)程中丟失的空間特征信息。在沙漏狀深度可分離卷積中間使用由文獻(xiàn)[10]提出的標(biāo)記MLP 模塊。

圖1 S-MLP 總體網(wǎng)絡(luò)結(jié)構(gòu)

1.2 Shifted MLP

Shifted MLP 利用通道投影、垂直偏移和水平偏移來(lái)提高局部信息的提取能力。通過(guò)對(duì)特征圖的維度進(jìn)行軸向移動(dòng)，可以獲得來(lái)自不同維度的信息流，從而捕獲局部依賴關(guān)系。特征圖軸向移動(dòng)方法具體步驟為：

1）通道投影將特征映射為線性層；

2）分別在水平和垂直上進(jìn)行空間移動(dòng)特征，將不同位置的特征轉(zhuǎn)移至同一位置。

當(dāng)特征重組時(shí)，將不同空間位置的信息組合在一起，從而獲取更多的局部特征以提高性能。在移動(dòng)中引入基于窗口的注意，以向全局模型添加更多的局域性，使得MLP 更加關(guān)注特征的局部細(xì)節(jié)。

1.3 標(biāo)記MLP

如圖1 中的C 部分所示，標(biāo)記MLP 包括兩個(gè)移位操作層、一個(gè)GeLU 層、一個(gè)特征編碼層、一個(gè)歸一化層（LayerNorm, LN）和一個(gè)重投影層。值得注意的是，該算法使用GeLU[11]和LN 來(lái)代替常用的ReLU 激活函數(shù)和BN 層，這兩種在Transformer 中被廣泛使用，GeLU 相較于ReLU 激活函數(shù)性能表現(xiàn)更好，LN 沿著特征向量序列進(jìn)行規(guī)范化。

特征圖經(jīng)過(guò)平移操作后，在標(biāo)記化MLP 模塊中，首先將特征通過(guò)嵌入投影操作轉(zhuǎn)換成特征向量并將它們映射編碼成“標(biāo)記”信息；接著，采用3×3 的卷積核對(duì)這些標(biāo)記進(jìn)行卷積操作，然后，將這些“標(biāo)記”跨越寬度傳遞給一個(gè)移位的MLP；接下來(lái)，這些特征“標(biāo)記”通過(guò)深度可分離卷積層（DW-Conv）進(jìn)行處理，重復(fù)上述操作，將“標(biāo)記”再次跨越高度傳遞給一個(gè)移位的MLP；最后，將這些特征“標(biāo)記”再次傳遞給深度可分離卷積進(jìn)行層處理，使用殘差連接并將原始標(biāo)記作為殘差添加到輸出的移位特征中，補(bǔ)充特征信息，應(yīng)用層歸一化（LN）并將輸出特征傳遞給下一個(gè)模塊。

標(biāo)記MLP 塊中特征圖的計(jì)算可以總結(jié)為：

式中：X表示輸入特征圖；T表示標(biāo)記化；W 表示寬度；H 表示高度；DWConv 表示逐深度卷積；LN 表示歸一化層。

1.4 輕量型注意力模塊Triplet Attention

SE[12]和CBAM[13]注意力模塊在CNN 模塊中被證實(shí)是有效的。但是，它們引入的額外參數(shù)量不能被忽視。Triplet Attention 模塊可以在不涉及任何降維的情況下對(duì)注意力進(jìn)行建模，并且用一種參數(shù)極小的注意力機(jī)制來(lái)模擬通道和空間注意力。如圖1 中的D 部分所示，在前兩個(gè)分支中，旋轉(zhuǎn)操作對(duì)輸入的張量X分別沿高度（H）和寬度（W）兩個(gè)軸逆時(shí)針旋轉(zhuǎn)90°。然后通過(guò)映射變換操作，由標(biāo)準(zhǔn)卷積層和批歸一化層生成形狀為1 ×H×C和1 ×C×W的中間輸出張量，這些中間輸出將被用于計(jì)算通道和高度（寬度）的跨維度交互。再經(jīng)過(guò)順時(shí)針90°旋轉(zhuǎn)，恢復(fù)特征向量。對(duì)于第三個(gè)分支，與前面不同的是輸入張量X的通道通過(guò)Z-pool 輸出。最終，通過(guò)簡(jiǎn)單平均將三個(gè)分支的輸出張量匯總。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 評(píng)估數(shù)據(jù)集

本次實(shí)驗(yàn)采用了三個(gè)數(shù)據(jù)集。其中，山東大學(xué)MLA 實(shí)驗(yàn)室創(chuàng)建的SDU-FV 數(shù)據(jù)集共采集了106 個(gè)人的左右手食指、中指和無(wú)名指的指靜脈圖像，每個(gè)手指采集6 張圖片，共計(jì)636 類、3 816 張圖片，大小為320×240。香港理工大學(xué)指靜脈數(shù)據(jù)集HKPU包含來(lái)自156個(gè)人的3 132 張手指圖像，分別采集了每個(gè)人的食指和中指，大小為513×256。

UTFVP 數(shù)據(jù)集是由荷蘭特文特大學(xué)創(chuàng)建，共包含60 個(gè)人的兩張左右手食指、中指、無(wú)名指圖像，數(shù)據(jù)集包含1 440 張PNG 格式圖像，大小為672×380。

2.2 實(shí)驗(yàn)設(shè)置

本文將各個(gè)數(shù)據(jù)集隨機(jī)選取80%作為訓(xùn)練集，剩余20%作為測(cè)試集。本文PC 端實(shí)驗(yàn)環(huán)境配置為NVIDIA RTX A4000 顯卡，對(duì)NVIDIA 嵌入式終端JETSON NANO、JETSON TX2、JETSON XAVIAR NXJETSON 進(jìn)行了相關(guān)實(shí)驗(yàn)，驗(yàn)證了提出算法的結(jié)構(gòu)和思想，以及在終端上實(shí)現(xiàn)的可行性。

2.3 消融實(shí)驗(yàn)

為了研究每個(gè)模塊的具體作用，本文方法在SDUFV數(shù)據(jù)集中設(shè)置了如下實(shí)驗(yàn)：

1）不使用任何模塊；

2）僅使用位置嵌入操作（PE）；

3）添加標(biāo)記MLP 模塊；

4）添加只對(duì)水平轉(zhuǎn)移的操作；

5）添加先對(duì)垂直進(jìn)行轉(zhuǎn)移操作，再對(duì)水平進(jìn)行轉(zhuǎn)移操作；

6）最終的S-MLP 模型。

消融實(shí)驗(yàn)結(jié)果如表1 所示，通過(guò)表中數(shù)據(jù)可以得出結(jié)論：S-MLP 模型的高效性受益于每個(gè)模塊的貢獻(xiàn)，在使用了標(biāo)記MLP 后，Params 僅增加了6.177K，但是Flops 和Mult-Adds 分別減少了0.51G 和3M，Dice 提高4.1%、AUC 提高了0.15%、Acc 提高了0.08%。

表1 各模塊消融后評(píng)價(jià)指標(biāo)對(duì)比

2.4 與其他網(wǎng)絡(luò)模型實(shí)驗(yàn)對(duì)比

觀察表2 與表3 的實(shí)驗(yàn)數(shù)據(jù)可以發(fā)現(xiàn)，與所有的卷積結(jié)構(gòu)和Transformer 結(jié)構(gòu)模型相比，S-MLP 模型取得了更好的分割性能。S-MLP 模型的Params 僅有346.949K、Flops 僅有1.853G、Mult-Adds 僅有11.023M，相較于參數(shù)大小為31.042M 的UNet，Params 僅有其1.09%，F(xiàn)lops 和Mult-Adds 分別占其0.42%和0.31%。在模型參數(shù)大幅下降的情況下，S-MLP 模型Dice 指標(biāo)達(dá)到了0.515 6，比UNet 提高了4.19%，AUC 提升了1.49%，Acc 提升了0.21%。與經(jīng)典分割網(wǎng)絡(luò)模型DenseUNet、R2UNet、ResUNet 和AttentionUNet 相比，S-MLP 在參數(shù)量、Dice 系數(shù)和AUC 指標(biāo)中同樣表現(xiàn)出了優(yōu)異的性能。相較于所有卷積結(jié)構(gòu)的網(wǎng)絡(luò)模型，它是最輕量的網(wǎng)絡(luò)模型。由于Transformer 特有的網(wǎng)絡(luò)結(jié)構(gòu)，SwinUNet 與TransUNet的Params 達(dá)到驚人的108.496M 和116.922M。此外，SwinUNet 的缺陷在于需要提供大量的數(shù)據(jù)進(jìn)行訓(xùn)練，否則模型容易發(fā)生過(guò)擬合現(xiàn)象。SDU-FV 數(shù)據(jù)集明顯沒(méi)有達(dá)到這種需求，所以導(dǎo)致Dice、AUC 和Acc 表現(xiàn)的非常差。TransUNet 的編碼和解碼結(jié)構(gòu)部分是卷積層，在一定程度上彌補(bǔ)了數(shù)據(jù)不足問(wèn)題，但在參數(shù)量和性能指標(biāo)上依然要低于S-MLP 模型。

表2 S-MLP 模型在SDU-FV 數(shù)據(jù)集與其他模型效果對(duì)比

表3 S-MLP 模型在HKPU 數(shù)據(jù)集和UTFVP 數(shù)據(jù)集與其他模型效果對(duì)比

由此可見(jiàn)，標(biāo)記MLP 將特征信息投影到更高的維度，極大減少了計(jì)算量，使得S-MLP 模型在參數(shù)量和計(jì)算復(fù)雜度上已經(jīng)超越了基于CNN 和Transformer 結(jié)構(gòu)的網(wǎng)絡(luò)模型。S-MLP 模型的整體結(jié)構(gòu)和對(duì)特征圖的移位操作既有UNet 的將底層特征的位置信息和深層的語(yǔ)義信息相融合的能力，又有SwinTransformer 結(jié)構(gòu)在窗口中建立特征像素與局部像素的依賴關(guān)系，并且計(jì)算復(fù)雜度更低。輕量級(jí)注意力模塊Triplet Attention 的加入，使得本文方法更加專注于指靜脈區(qū)域，抑制背景區(qū)域的影響，進(jìn)一步提高了分割性能。

2.5 在嵌入式平臺(tái)實(shí)驗(yàn)

在三個(gè)NVIDIA 嵌入式平臺(tái)中，從算力的角度來(lái)看NX＞TX2＞NANO。

表4 記錄了所提方法與其他網(wǎng)絡(luò)模型的實(shí)驗(yàn)結(jié)果，需要注意的是，由于NANO 平臺(tái)算力較低，顯存僅有4 GB，因此在此平臺(tái)上無(wú)法運(yùn)行參數(shù)量和計(jì)算復(fù)雜度巨大的UNet、SwinUNet 和TransUNet 網(wǎng)絡(luò)模型。從三個(gè)NVIDIA 嵌入式平臺(tái)的實(shí)驗(yàn)結(jié)果來(lái)看，本文方法在Dice和AUC 兩個(gè)重要性能指標(biāo)中都取得了最優(yōu)結(jié)果，證明了輕量化的S-MLP 網(wǎng)絡(luò)模型以極少的參數(shù)量不僅在PC端超越了基于CNN 和Transformer 結(jié)構(gòu)的網(wǎng)絡(luò)模型，在NVIDIA 嵌入式平臺(tái)同樣取得了優(yōu)秀的性能表現(xiàn)，這是另外兩種結(jié)構(gòu)所不具備的。

表4 S-MLP 網(wǎng)絡(luò)模型與其他網(wǎng)絡(luò)模型在NVIDIA 嵌入式平臺(tái)實(shí)驗(yàn)結(jié)果對(duì)比

2.6 可視化分割效果

圖2 展示了SDU-FV、HKPU 和UTFVP 三個(gè)指靜脈數(shù)據(jù)集在各種網(wǎng)絡(luò)模型下的分割結(jié)果可視化圖。從圖中可以觀察到UNet 網(wǎng)絡(luò)模型的分割效果并不理想，部分指靜脈的細(xì)節(jié)部位并沒(méi)有很好的分割出來(lái)；TransUNet 在性能指標(biāo)上雖然優(yōu)于基于卷積結(jié)構(gòu)的網(wǎng)絡(luò)模型，但是在可視化圖中依然存在血管分割斷裂的情況；S-MLP 網(wǎng)絡(luò)模型不僅在分割性能指標(biāo)上表現(xiàn)出色，在可視化分割效果圖中分割出的血管形態(tài)更平滑，符合人體指靜脈血管特點(diǎn)。

圖2 各個(gè)網(wǎng)絡(luò)模型在SDU-FV、HKPU 和UTFVP數(shù)據(jù)集上的實(shí)際分割效果圖

3 結(jié) 語(yǔ)

本文提出的算法能夠有效地解決現(xiàn)有基于CNN 和Transformer 結(jié)構(gòu)模型的內(nèi)存資源占用問(wèn)題，并在嵌入式平臺(tái)上表現(xiàn)出色。S-MLP 是一種輕量級(jí)指靜脈紋路分割網(wǎng)絡(luò)模型，采用Shifted MLP 對(duì)特征圖進(jìn)行軸向移位使網(wǎng)絡(luò)模型更關(guān)注特征圖局部位置信息；使用標(biāo)記MLP塊標(biāo)記和投影特征信息；最后在每一層之間添加輕量級(jí)的注意力模塊Triplet Attention，分別在三個(gè)分支上對(duì)空間維度和通道維度進(jìn)行跨維度交互，建立起空間注意力，解決了模型輕量化導(dǎo)致性能下降的問(wèn)題。S-MLP 在三個(gè)指靜脈分割數(shù)據(jù)集上都取得了最優(yōu)的分割性能并且參數(shù)量最少，在算力有限的嵌入式終端中仍能取得先進(jìn)的性能。

注：本文通訊作者為秦傳波。