基于光流卷積網(wǎng)絡(luò)的粒子圖像測(cè)速自動(dòng)掩模及速度場(chǎng)計(jì)算

郭春雨，范毅偉，韓 陽(yáng)，于長(zhǎng)東，徐 鵬，畢曉君

(1a.哈爾濱工程大學(xué)船舶工程學(xué)院；b.信息通信學(xué)院，哈爾濱 150001；2.中央民族大學(xué)信息工程學(xué)院，北京 100081)

0 引 言

粒子圖像測(cè)速（Particle Image Velocimetry，PIV）技術(shù)發(fā)展始于20 世紀(jì)80 年代，是一種能夠無(wú)接觸地獲得全場(chǎng)流場(chǎng)瞬態(tài)流動(dòng)速度矢量信息的測(cè)量技術(shù)，在海洋、航空等領(lǐng)域具有廣泛的應(yīng)用[1-3]。在船舶與海洋工程領(lǐng)域的PIV 實(shí)驗(yàn)中，常出現(xiàn)固體結(jié)構(gòu)物遮擋及其表面反光、強(qiáng)非線性變形自由液面以及空化卷氣等現(xiàn)象，這些現(xiàn)象會(huì)對(duì)液相區(qū)域速度場(chǎng)計(jì)算造成干擾，具體表現(xiàn)在不同相位的流體的流動(dòng)狀態(tài)存在著較大差異，在兩相邊界處容易存在速度穿過(guò)相位交界面、速度數(shù)值差異過(guò)大導(dǎo)致的過(guò)度插值等錯(cuò)誤[4]，且由于氣腔與氣泡的脈動(dòng)導(dǎo)致的激光散射會(huì)嚴(yán)重影響液相區(qū)域速度場(chǎng)計(jì)算結(jié)果[5]，因此需要對(duì)該干擾區(qū)域進(jìn)行掩模處理。研究人員在PIV 試驗(yàn)圖像中非液相區(qū)域掩模算法的開(kāi)發(fā)及應(yīng)用上做了大量的研究，2011 年Arnaud Sanchis 等[6]基于Radon 變換提出了一種空氣-水自由液面邊界自動(dòng)檢測(cè)算法，此算法可對(duì)具有明顯線性特征的自由液面邊界進(jìn)行檢測(cè)并對(duì)自由液面以上的氣體進(jìn)行掩模；2020年Vennemann等[4]提出了三種基于卷積自動(dòng)編碼器的圖像自動(dòng)掩模方法，該方法可對(duì)液體中的固體結(jié)構(gòu)物進(jìn)行識(shí)別并對(duì)其邊界進(jìn)行逐像素的分割。

在對(duì)粒子圖像中的非液相區(qū)域進(jìn)行掩模后，再采用運(yùn)動(dòng)估計(jì)算法計(jì)算液相區(qū)域的速度場(chǎng)，其中掩膜和速度場(chǎng)計(jì)算兩個(gè)步驟各自獨(dú)立完成[6]。速度場(chǎng)計(jì)算是PIV 圖像處理過(guò)程中最重要的一步，在其發(fā)展的三十多年過(guò)程中，互相關(guān)算法由于其高效簡(jiǎn)單的特性一直占據(jù)主導(dǎo)地位。2002 年Scarano 等[7]對(duì)多網(wǎng)格迭代變形窗口互相關(guān)算法進(jìn)行了系統(tǒng)的總結(jié)，并將此方法稱(chēng)之為window deformation iterative multigrid（WIDIM）方法，該方法逐漸成為PIV 運(yùn)動(dòng)估計(jì)的基準(zhǔn)方法。2010 年，Wieneke 等[8]提出了自適應(yīng)互相關(guān)算法應(yīng)用于PIV 運(yùn)動(dòng)估計(jì)，該方法可根據(jù)圖像中不同的粒子濃度自適應(yīng)改變?cè)儐?wèn)窗口大小和形狀。2018年，Wang等[9]使用N-S方程進(jìn)行TR-PIV計(jì)算以減少計(jì)算誤差。但是相關(guān)分析法假設(shè)流體在迭代窗口內(nèi)均勻流動(dòng)，因此，當(dāng)流動(dòng)結(jié)構(gòu)的尺寸小于最小迭代窗口尺寸時(shí)會(huì)出現(xiàn)計(jì)算不準(zhǔn)的現(xiàn)象[14]。

近幾年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)（CNN）的出現(xiàn)大大促進(jìn)了機(jī)器學(xué)習(xí)與計(jì)算機(jī)視覺(jué)相結(jié)合[10]，隨著深度學(xué)習(xí)方法在圖像光流計(jì)算領(lǐng)域的廣泛應(yīng)用[11]，研究者們提出使用深度學(xué)習(xí)方法應(yīng)用于PIV運(yùn)動(dòng)估計(jì)領(lǐng)域并取得了突破性的進(jìn)展。2017 年，Rabault 等[12]首次提出了一種端到端的人工神經(jīng)網(wǎng)絡(luò)進(jìn)行PIV 運(yùn)動(dòng)估計(jì)，但計(jì)算能力并未超越相關(guān)分析法。2017年Lee等[13]構(gòu)建了一種級(jí)聯(lián)形式神經(jīng)網(wǎng)絡(luò)用于PIV運(yùn)動(dòng)估計(jì)，該網(wǎng)絡(luò)采用類(lèi)似于相關(guān)分析法的查詢(xún)窗口進(jìn)行流體運(yùn)動(dòng)估計(jì)，計(jì)算結(jié)果較為稀疏且機(jī)選效率較低。在計(jì)算機(jī)視覺(jué)領(lǐng)域，以LiteFlowNet[16]和PWC-Net[27]等為代表的基于深度學(xué)習(xí)的光流模型展現(xiàn)出了優(yōu)秀的計(jì)算性能，近些年來(lái)研究人員開(kāi)始嘗試將其用于PIV流場(chǎng)計(jì)算。LiteFlowNet[16]是一種金字塔形結(jié)構(gòu)的輕量級(jí)光流計(jì)算卷積神經(jīng)網(wǎng)絡(luò)，具有模型體量小、計(jì)算效率高和計(jì)算精度高等優(yōu)點(diǎn)，是當(dāng)前較為先進(jìn)的光流估計(jì)深度學(xué)習(xí)模型，極具改進(jìn)潛力。本質(zhì)上，PIV 任務(wù)也屬于一種粒子的運(yùn)動(dòng)估計(jì)問(wèn)題，2020 年Cai 等[14]在LiteFlowNet[16]的基礎(chǔ)上進(jìn)行了拓展，增加了一層包含特征匹配、亞像素細(xì)化、流場(chǎng)正則化完整的光流估計(jì)層，使其能夠輸出具有像素級(jí)空間分辨率的流場(chǎng)，并將其命名為PIV-Lite-FlowNet-en。與互相關(guān)算法相比，該模型在進(jìn)行湍流小尺度渦結(jié)構(gòu)的速度場(chǎng)測(cè)量時(shí)，在精度上具有較大的提升，但是PIV-LiteFlowNet-en 存在過(guò)多的冗余結(jié)構(gòu)，這導(dǎo)致模型在訓(xùn)練和使用時(shí)會(huì)占據(jù)大量的顯存空間。此外，目前基于深度學(xué)習(xí)的算法僅適用于純流場(chǎng)（即粒子圖像中都是流體信息）PIV 計(jì)算，當(dāng)圖像中存在固體結(jié)構(gòu)物遮擋或自由液面等現(xiàn)象時(shí)，會(huì)嚴(yán)重干擾臨近相位邊界位置的流場(chǎng)速度場(chǎng)計(jì)算，并造成較多的計(jì)算錯(cuò)誤。

本文研究的關(guān)鍵問(wèn)題是對(duì)現(xiàn)有的PIV 運(yùn)動(dòng)估計(jì)深度學(xué)習(xí)模型進(jìn)行改進(jìn)，使其同時(shí)具有對(duì)粒子圖像中的非液相區(qū)域進(jìn)行自動(dòng)掩模和計(jì)算液相區(qū)域速度場(chǎng)的能力，并著重于減少相位邊界位置計(jì)算錯(cuò)誤從而提高模型的計(jì)算精度。本文在LiteFlowNet 基礎(chǔ)之上對(duì)模型整體結(jié)構(gòu)進(jìn)行改進(jìn)，在模型中加入全卷積特征解碼模塊實(shí)現(xiàn)PIV 圖像目標(biāo)特征檢測(cè)，使其具有圖像特征語(yǔ)義分割能力[17]，并根據(jù)分割結(jié)果對(duì)各中間層速度場(chǎng)進(jìn)行逐層掩模，最后采用特征正則化模塊對(duì)速度場(chǎng)進(jìn)行平滑處理及錯(cuò)誤矢量去除等修正，改進(jìn)后的模型命名為Mask-PIV-LiteFlowNet。實(shí)驗(yàn)結(jié)果表明，其能夠?qū)IV 圖像中的固體結(jié)構(gòu)物以及液滴飛濺等非液相區(qū)域進(jìn)行自動(dòng)掩模，并對(duì)液相區(qū)域進(jìn)行高精度、高空間分辨率運(yùn)動(dòng)估計(jì)，并輸出稠密的速度場(chǎng)。

1 Mask-PIV-LiteFlowNet模型結(jié)構(gòu)

1.1 LiteFlowNet光流估計(jì)模型介紹

Mask-PIV-LiteFlowNet 是在LiteFlowNet 的基礎(chǔ)上改進(jìn)得來(lái)，LiteFlowNet 是一種具有金字塔結(jié)構(gòu)的輕量級(jí)光流計(jì)算卷積神經(jīng)網(wǎng)絡(luò)，在每層金字塔結(jié)構(gòu)中進(jìn)行從粗到細(xì)的優(yōu)化計(jì)算[16]，其模型結(jié)構(gòu)如圖1 所示。LiteFlowNet 由NetC 特征提取器和NetE 運(yùn)動(dòng)估計(jì)器組成。其中NetC 由六層全卷積模塊串聯(lián)而成，用于對(duì)輸入的圖像進(jìn)行特征等級(jí)由低到高的編碼。NetE 為具有五層金字塔結(jié)構(gòu)的運(yùn)動(dòng)估計(jì)結(jié)構(gòu)，通過(guò)使用特征金字塔中的圖像特征信息進(jìn)行由粗到細(xì)的運(yùn)動(dòng)估計(jì)。以NetE 的第二層計(jì)算流程為例，NetE的計(jì)算可簡(jiǎn)單描述為

圖1 LiteFlowNet模型結(jié)構(gòu)（模型輸入為兩張粒子圖像，輸出為速度場(chǎng)估計(jì)值）Fig.1 LiteFlowNet architecture(The input of the model includes a pair of particle images,and the output is composed of the estimated values for the velocity field)

式中，v2為第二層輸出速度場(chǎng)，f為特征解碼層計(jì)算函數(shù)，F(xiàn)22(I2)的上標(biāo)代表第二層結(jié)構(gòu)，下標(biāo)代表第二張圖像的特征，v3為NetE 第三層速度場(chǎng)輸出。特征解碼層NetE 主要包含三種結(jié)構(gòu)：特征扭曲模塊、特征匹配與亞像素細(xì)化模塊（圖1中的M：S）和特征正則化模塊（圖1中的R）。計(jì)算流程如下：第一步，使用v3對(duì)F22(I2)的特征信息進(jìn)行扭曲得到F22(I2)～，以減少其與F21(I1)之間的特征空間距離。第二步，特征匹配與亞像素細(xì)化（圖1 中的M：S 模塊）：通過(guò)使用最小化代價(jià)體方法（cost volume）對(duì)F22(I2)～與F12(I1)進(jìn)行特征匹配產(chǎn)生像素級(jí)速度場(chǎng)匹配結(jié)果，并基于匹配結(jié)果與圖像特征進(jìn)行亞像素細(xì)化。第三步，流場(chǎng)正則化（圖1中的R模塊）：該結(jié)構(gòu)類(lèi)似于光流法中的正則項(xiàng)[18]，通過(guò)限制速度場(chǎng)空間梯度的方式提高速度場(chǎng)平滑度。在LiteFlowNet 中的流場(chǎng)正則化模塊根據(jù)‖I2(x+v)-I1(x)‖2作為遮擋概率圖，并根據(jù)當(dāng)前層的特征F22(I2)～和F12(I1)，使用特征驅(qū)動(dòng)的卷積層對(duì)速度場(chǎng)估計(jì)結(jié)果v?3進(jìn)行后處理，從而實(shí)現(xiàn)速度場(chǎng)平滑和錯(cuò)誤矢量去除的目的，其中，各模塊的參數(shù)采用監(jiān)督學(xué)習(xí)的方式通過(guò)訓(xùn)練得到。

1.2 Mask-PIV-LiteFlowNet改進(jìn)

在深度學(xué)習(xí)與計(jì)算機(jī)視覺(jué)領(lǐng)域，常采用卷積模塊進(jìn)行圖像特征降采樣及特征編碼，并采用反卷積模塊進(jìn)行圖像上采樣及特征表達(dá)，最終實(shí)現(xiàn)逐像素的分類(lèi)即語(yǔ)義分割功能[17]。而在LiteFlowNet 中的特征提取結(jié)構(gòu)（NetC）中，同樣使用串聯(lián)的全卷積模塊對(duì)輸入的圖像進(jìn)行由低到高的特征編碼形成特征圖，本文提出使用該特征信息實(shí)現(xiàn)對(duì)圖像中的目標(biāo)進(jìn)行逐像素的分類(lèi)，從而使模型兼顧自動(dòng)掩模的功能，以此思路對(duì)LiteFlowNet 模型進(jìn)行改進(jìn)，改進(jìn)后的模型結(jié)構(gòu)如圖2所示，其中藍(lán)色虛線框內(nèi)的Velocity masking model 和Mask generating module 為本文的改進(jìn)部分，模型輸入為帶結(jié)構(gòu)物的粒子圖像，輸出為掩模后的速度場(chǎng)。具體改進(jìn)方法如下：

圖2 Mask-PIV-LiteFlowNet結(jié)構(gòu)示意圖Fig.2 Mask-PIV-LiteFlowNet architecture

（1）掩模生成模塊（Mask generating module）：在NetE 結(jié)構(gòu)中增加掩模生成模塊（Mask generating module），該模塊可利用NetC 提取的信息對(duì)特征圖進(jìn)行上采樣及特征解碼（如圖2 中藍(lán)色箭頭所示），以實(shí)現(xiàn)對(duì)不同目標(biāo)進(jìn)行逐像素的識(shí)別與分類(lèi)。卷積上采樣模塊由轉(zhuǎn)置卷積層批正則化（Batch Normalization）[19]和ReLU 激活函數(shù)組成，并在最后一層卷積模塊中，使用Sigmoid 激活函數(shù)將特征值映射到0～1之間，表示此區(qū)域?yàn)橐合嗟母怕剩ㄈ鐖D2中綠色箭頭所示），并在使用過(guò)程中將掩模結(jié)果矩陣（圖2 中的Mask output）中概率小于0.5 的位置值賦值為0，概率大于等于0.5 的位置值賦值為1，最后得到掩模結(jié)果（圖2中Mask output）。

（2）速度場(chǎng)掩模模塊（Velocity masking module）：從光流估計(jì)模塊中間層入手，使用Mask output 對(duì)每層的M：S模塊和Feature ReLU 輸出的速度場(chǎng)進(jìn)行非液相‘歸零’處理（如公式（2）、（3）所示），并將計(jì)算結(jié)果傳入下一層網(wǎng)絡(luò)中進(jìn)行計(jì)算，模型中每層均以此方式進(jìn)行迭代計(jì)算。以第二層Velocity masking module中的計(jì)算為例：

（3）輸出端流場(chǎng)正則化（圖2 中的R0）：在模型的輸出端額外增加了一個(gè)流場(chǎng)正則化模塊，用以對(duì)速度場(chǎng)進(jìn)行平滑及錯(cuò)誤矢量去除，并使速度場(chǎng)分辨率達(dá)到像素級(jí)空間分辨率。流場(chǎng)正則化模塊的原理是，通過(guò)構(gòu)建一個(gè)特征驅(qū)動(dòng)的局部卷積層（feature-driven local convolution filter，f-lcon）對(duì)計(jì)算的速度場(chǎng)進(jìn)行后處理，從而使流體區(qū)域的速度場(chǎng)更加平滑并減少流場(chǎng)的計(jì)算錯(cuò)誤。其中f-lcon 是根據(jù)單獨(dú)的計(jì)算區(qū)塊自適應(yīng)構(gòu)建的，它的構(gòu)建包含以下幾個(gè)步驟：首先，使用第一個(gè)圖像I1（x）和經(jīng)過(guò)特征扭曲的第二個(gè)圖像I2（x+）構(gòu)建遮擋概率圖O，

其次，定義一個(gè)特征驅(qū)動(dòng)的卷積距離度量D用于估計(jì)局部流動(dòng)變化，它基于第一張圖像的特征F01(I1)和上采樣后的速度場(chǎng)輸出以及遮擋概率圖O進(jìn)行構(gòu)建，

式中，RD為使用卷積層和ReLU 激活層構(gòu)建的6 層卷積計(jì)算單元。隨后，使用特征驅(qū)動(dòng)的距離度量D構(gòu)建f-lcon的每一個(gè)卷積層g，

式中，c為張量D的通道數(shù)，(xi,yi)∈N(x,y)，代表以位置(x,y)為中心處的ω×ω大小范圍內(nèi)的像素點(diǎn)。總體而言，公式（6）中分母部分的計(jì)算原理就是，對(duì)以位置(x,y)為中心、尺寸大小為ω×ω范圍內(nèi)的所有像素點(diǎn)求解exp(-D(x,y,c)2)函數(shù)值并求和。更多關(guān)于流場(chǎng)正則化模塊的細(xì)節(jié)可參考論文[16]。最后，定義G={g}作為f-lcon所有的卷積層，并定義流場(chǎng)正則化模塊R0，

式中，v0為最終輸出速度場(chǎng)。

2 深度學(xué)習(xí)模型訓(xùn)練策略及數(shù)據(jù)集

Mask-PIV-LiteFlowNet 是一種采用監(jiān)督學(xué)習(xí)的方式進(jìn)行訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型，其具有非液相區(qū)域自動(dòng)掩模及液相區(qū)域速度場(chǎng)計(jì)算的功能，兩種功能的實(shí)現(xiàn)過(guò)程均采用遷移學(xué)習(xí)的方式，分三步對(duì)模型參數(shù)進(jìn)行訓(xùn)練：

（1）訓(xùn)練特征編碼模塊NetC 和掩模生成模塊（Mask generating module）：采用物體入水PIV 圖像掩模數(shù)據(jù)集[5]對(duì)NetC 特征編碼模塊和Mask generating module 進(jìn)行訓(xùn)練，該數(shù)據(jù)集中包含60 張楔形體入水和240張船艏入水的PIV實(shí)驗(yàn)圖像及掩模結(jié)果，關(guān)于更多訓(xùn)練集的信息可參考文獻(xiàn)[5]。訓(xùn)練過(guò)程中固定模型中光流估計(jì)模塊參數(shù)（圖2中的Optical flow estimation block）。模型輸入為“帶結(jié)構(gòu)物”的PIV實(shí)驗(yàn)圖像并對(duì)其進(jìn)行了圖像隨機(jī)拉伸、旋轉(zhuǎn)以及裁剪等數(shù)據(jù)增強(qiáng)操作，將Mask-PIV-LiteFlowNet 的掩模結(jié)果（圖2 中的Mask output）作為模型輸出。根據(jù)掩模結(jié)果Mask output 與掩模標(biāo)簽計(jì)算模型損失，損失函數(shù)LM采用交叉熵?fù)p失LH（如公式（8）所示）和Smoothing Dice Loss[20]（LS）（如公式（9）所示）的平均值計(jì)算：

公式（8）中p（x，y）和q（x，y）分別為（x，y）位置的預(yù)測(cè)值和真實(shí)值；公式（9）中X為模型計(jì)算出的圖像掩模矩陣，Y為圖像掩模矩陣標(biāo)簽，此衡量標(biāo)準(zhǔn)不僅強(qiáng)調(diào)分割的精確性，還對(duì)欠分割和過(guò)度分割實(shí)施懲罰。模型基于Pytorch 進(jìn)行搭建、訓(xùn)練和測(cè)試，Pytorch 是Torch 的Python 版本，是由Facebook 開(kāi)源的神經(jīng)網(wǎng)絡(luò)框架，專(zhuān)門(mén)針對(duì)GPU加速的深度神經(jīng)網(wǎng)絡(luò)（DNN）編程，在機(jī)器學(xué)習(xí)和其他數(shù)學(xué)密集型應(yīng)用中有廣泛應(yīng)用。采用Adma 等[21]優(yōu)化算法優(yōu)化模型參數(shù)，Adma 優(yōu)化算法利用梯度的一階矩估計(jì)和二階矩估計(jì)動(dòng)態(tài)調(diào)整每個(gè)參數(shù)的學(xué)習(xí)率，經(jīng)過(guò)偏置矯正后每一次迭代學(xué)習(xí)率的范圍較為穩(wěn)定，使得優(yōu)化參數(shù)過(guò)程較為平穩(wěn)。再采用余弦退火學(xué)習(xí)率衰減算法（Cosine Annealing LR）[22]調(diào)節(jié)學(xué)習(xí)率，該方法以余弦函數(shù)為周期，在每個(gè)周期的最大值處重新設(shè)置學(xué)習(xí)率，采用此方法能夠使優(yōu)化的參數(shù)跳出局部最優(yōu)解，學(xué)習(xí)率調(diào)整范圍為1E-5～2E-6。經(jīng)測(cè)試，模型迭代400次達(dá)到收斂，訓(xùn)練曲線如圖3（a）所示。

圖3 模型訓(xùn)練誤差曲線Fig.3 Model training error curve

（2）訓(xùn)練NetC 特征編碼模塊和光流估計(jì)模塊（Optical estimation module）：采用公開(kāi)的人工合成PIV 粒子圖像-速度場(chǎng)數(shù)據(jù)集對(duì)NetC 特征編碼模塊和NetE 中的光流估計(jì)模塊進(jìn)行遷移學(xué)習(xí)，采用的訓(xùn)練集其中含有15 000組粒子圖像輸入及速度場(chǎng)標(biāo)簽，關(guān)于更多訓(xùn)練集的信息請(qǐng)參考論文[14]。在訓(xùn)練過(guò)程中模型中掩模生成模塊參數(shù)（圖2 中的Mask generating module）固定不變，并且掩模結(jié)果（圖2中的Mask output）不參與計(jì)算，將無(wú)結(jié)構(gòu)物的粒子圖像作為模型的輸入，速度場(chǎng)輸出結(jié)果作為模型的輸出。采用期待預(yù)測(cè)損失（Expected Predicted Error loss，EPE loss）計(jì)算模型輸出速度場(chǎng)與標(biāo)簽速度場(chǎng)誤差進(jìn)行模型參數(shù)優(yōu)化，EPE loss 如公式（11）所示。采用Adma 算法優(yōu)化模型參數(shù)，并采用Cosine Annealing LR 算法調(diào)節(jié)學(xué)習(xí)率，學(xué)習(xí)率調(diào)整范圍為1E-6～2E-7，經(jīng)測(cè)試，模型迭代500 次達(dá)到收斂，訓(xùn)練曲線如圖3（b）所示。

式中，uei和v為第i個(gè)預(yù)測(cè)的水平和豎直速度場(chǎng)，uti和為第i個(gè)真實(shí)的水平和豎直速度場(chǎng)，N為數(shù)據(jù)總量。

（3）Mask-PIV-LiteFlowNet 模型所有參數(shù)微調(diào):本階段基于物體入水PIV圖像掩模數(shù)據(jù)集[5]以及公開(kāi)的PIV 數(shù)據(jù)集[14]制作“帶結(jié)構(gòu)物”的粒子圖像-速度場(chǎng)訓(xùn)練集，對(duì)Mask-PIV-LiteFlowNet 所有參數(shù)進(jìn)行微調(diào)。值得注意的是，文中所有人工合成的“帶結(jié)構(gòu)物”的粒子圖像均做了特殊標(biāo)注，因?yàn)檎嬲慕Y(jié)構(gòu)物涉及物體邊界的運(yùn)動(dòng)和邊界流動(dòng)條件的改變，文中生成的數(shù)據(jù)集是為了指導(dǎo)模型的訓(xùn)練。數(shù)據(jù)集制作流程如圖4 所示，具體流程如下：①提取物體入水PIV 圖像掩模數(shù)據(jù)集中的PIV 實(shí)驗(yàn)圖像和掩模結(jié)果。②使用掩模結(jié)果對(duì)公開(kāi)的PIV 數(shù)據(jù)集[14]中合成粒子圖像對(duì)應(yīng)的非液相位置灰度值清零，得到部分遮擋的合成粒子圖像；使用掩模結(jié)果對(duì)PIV 實(shí)驗(yàn)圖像中對(duì)應(yīng)的的液相位置灰度值清零，得到非液相區(qū)域圖像信息。將部分遮擋的合成粒子圖像與非液相區(qū)域圖像信息進(jìn)行拼接，得到“帶結(jié)構(gòu)物”的合成粒子圖像，以此作為模型的輸入。③使用掩模結(jié)果對(duì)公開(kāi)的PIV 數(shù)據(jù)集中的速度場(chǎng)標(biāo)簽對(duì)應(yīng)非液相位置的速度值清零，得到部分遮擋的速度場(chǎng)，以此作為模型的標(biāo)簽。物體入水PIV 圖像掩模數(shù)據(jù)集[5]中的300張實(shí)驗(yàn)圖像和掩模結(jié)果經(jīng)過(guò)隨機(jī)旋轉(zhuǎn)、平移和拉伸等變換后，與公開(kāi)的PIV數(shù)據(jù)集[14]中的15 000組粒子圖像-速度場(chǎng)隨機(jī)組合。訓(xùn)練集和測(cè)試集分布如表1所示，合成的粒子圖像及速度場(chǎng)標(biāo)簽可視化結(jié)果如圖5所示，訓(xùn)練集和測(cè)試集使用了不同的數(shù)據(jù)。

表1“帶結(jié)構(gòu)物”的粒子圖像-速度場(chǎng)訓(xùn)練集和測(cè)試集設(shè)置Tab.1 Setting of training set and testing set for partially occluded particle image and velocity field

圖4“帶結(jié)構(gòu)物”的粒子圖像-速度場(chǎng)數(shù)據(jù)集制作流程Fig.4 Data set production process of partially occluded particle image-speed field

圖5“帶結(jié)構(gòu)物”的粒子圖像-速度場(chǎng)數(shù)據(jù)集示例Fig.5 Data set of partially occluded particle image-velocity field

模型訓(xùn)練時(shí)以人工合成的“帶結(jié)構(gòu)物”的粒子圖像（圖2中的I1和I2）作為模型輸入，并以掩模后的速度場(chǎng)（圖2中的Maskedvout）作為模型輸出，與訓(xùn)練集中部分遮擋的速度場(chǎng)標(biāo)簽計(jì)算EPE損失，采用Adma 算法優(yōu)化模型參數(shù)，并采用Cosine Annealing LR 算法調(diào)節(jié)學(xué)習(xí)率，調(diào)整范圍為5E-7～1E-7，經(jīng)測(cè)試，模型迭代500次達(dá)到收斂，訓(xùn)練曲線如圖3（c）所示。

3 仿真實(shí)驗(yàn)及結(jié)果分析

3.1 人工合成“帶結(jié)構(gòu)物”的粒子圖像測(cè)試

為了定量評(píng)估Mask-PIV-LiteFlowNet 應(yīng)用于不同復(fù)雜程度流場(chǎng)計(jì)算的準(zhǔn)確度，本節(jié)使用表1中生成的測(cè)試集對(duì)算法進(jìn)行對(duì)比測(cè)試，測(cè)試集中包含楔形體入水實(shí)驗(yàn)和船艏入水實(shí)驗(yàn)兩種結(jié)構(gòu)物形式共100 張，并與六種流動(dòng)形式共3000 個(gè)流場(chǎng)隨機(jī)組合，分別記錄各流動(dòng)形式的均方根誤差（root mean square error，RMSE）的平均值，均方根誤差為

式中，和為第i個(gè)預(yù)測(cè)的水平和豎直速度場(chǎng)和為第i個(gè)真實(shí)的水平和豎直速度場(chǎng)，N為數(shù)據(jù)總量。

本次實(shí)驗(yàn)中采用的硬件環(huán)境配置為Intel（R）Core（TM）i7-9700K CPU@3.00GHz 處理器、32G 內(nèi)存，并采用RTX 2080Ti GPU 進(jìn)行運(yùn)算加速，操作系統(tǒng)為64位Windows 10。采用基于Python的PyTorch深度學(xué)習(xí)框架完成模型搭建。對(duì)比算法包括：

（1）基于PIVlab[15]開(kāi)源計(jì)算平臺(tái)的WIDIM 方法，三重迭代窗口尺寸為64×64 pixel、32×32 pixel、16×16 pixel，窗口重復(fù)率為50%，輸入粒子圖像分辨率為256×256 pixel，速度場(chǎng)輸出尺寸為31×31。WIDIM 算法是PIV 計(jì)算最常用的基準(zhǔn)方法，在PIVlab 軟件中支持直接導(dǎo)入掩模矩陣對(duì)粒子圖像進(jìn)行掩模。在測(cè)試過(guò)程中直接使用掩模標(biāo)簽對(duì)粒子圖像中的非液相區(qū)域掩模后輸入算法進(jìn)行計(jì)算。

（2）PIV-LiteFlowNet-en，采用網(wǎng)絡(luò)上公開(kāi)的模型及其參數(shù)[14]，輸入粒子圖像分辨率為256×256 pixel，輸出速度場(chǎng)尺寸為256×256。在測(cè)試時(shí)首先使用掩模標(biāo)簽對(duì)“帶結(jié)構(gòu)物”的粒子圖像中的非液相區(qū)域的灰度值歸零生成部分遮擋的粒子圖像，隨后將部分遮擋的粒子圖像輸入到算法中計(jì)算流場(chǎng)。

六種流動(dòng)形式的均方根誤差如表2 所示，其中WIDIM 方法的速度場(chǎng)計(jì)算結(jié)果尺寸為31×31，將速度場(chǎng)標(biāo)簽降采樣至相同尺寸后計(jì)算誤差，另外兩種算法速度場(chǎng)計(jì)算結(jié)果的尺寸與標(biāo)簽相同。其中WIDIM 方法在計(jì)算均勻流和后臺(tái)階流動(dòng)的誤差較低，但是隨著流動(dòng)復(fù)雜程度的增加誤差也隨即增大，特別是當(dāng)計(jì)算DNS-turbulent 以及SQG 流場(chǎng)時(shí)，均方根誤差分別達(dá)到了0.3070 和0.4392，此時(shí)WIDIM 方法已經(jīng)無(wú)法進(jìn)行正確的流場(chǎng)估計(jì)，這是因?yàn)閃IDIM 方法無(wú)法計(jì)算流動(dòng)結(jié)構(gòu)尺寸小于最小判讀窗口的情況，只能計(jì)算判讀窗口平均流動(dòng)速度。另外，在測(cè)試時(shí)曾嘗試將最小迭代窗口的尺寸設(shè)置為8×8 pixel，但是發(fā)現(xiàn)此方法無(wú)法降低計(jì)算誤差，這種情況在相關(guān)論文中也曾出現(xiàn)[14]。此外，Mask-PIV-Lite-FlowNet在除均勻流以外的所有流場(chǎng)中都取得了最低的計(jì)算誤差。在均勻流、后臺(tái)階流兩種結(jié)構(gòu)較為簡(jiǎn)單的流場(chǎng)的計(jì)算誤差與WIDIM 相近，且隨著流場(chǎng)復(fù)雜程度的增加，Mask-PIV-LiteFlowNet 與WIDIM計(jì)算誤差的差距逐漸增大，尤其是在DNS-turbulent 以及SQG 兩種復(fù)雜流場(chǎng)時(shí)的計(jì)算誤差遠(yuǎn)小于WIDIM 方法，在計(jì)算后臺(tái)階流、圓柱繞流、JHTDB-channel 流、DNS-turbulence 和SQG 五種流場(chǎng)時(shí)的均方根誤差分別降低了21.6%、26.2%、25.0%、60.2%和71.4%。從表中也可以發(fā)現(xiàn)Mask-PIV-LiteFlowNet相比于PIV-LiteFlowNet-en 在計(jì)算均勻流、后臺(tái)階流、圓柱繞流、JHTDB-channel流、DNS-turbulence和SQG六種流場(chǎng)時(shí)的均方根誤差分別降低了29.3%、32.5%、19.7%、16.5%、18.5%和14.5%。

表2 不同模型均方根誤差（RMSE）測(cè)試結(jié)果Tab.2 Root mean square error(RMSE)test results of different models

為了探尋Mask-PIV-LiteFlowNet 誤差降低的原因，下面將從流場(chǎng)可視化的角度進(jìn)行說(shuō)明。本節(jié)使用楔形體入水圖像制作的“帶結(jié)構(gòu)物”的粒子圖像，并選擇表2 中誤差最高的SQG 流場(chǎng)作為基準(zhǔn)進(jìn)行誤差可視化比較，可視化平方根誤差為

流場(chǎng)可視化結(jié)果如圖6所示，其中完整的粒子圖像如圖6（a）所示，圖像中粒子的參數(shù)如表3所示，參數(shù)的設(shè)置參考了文獻(xiàn)[14]中的設(shè)置。遮擋圖像如圖6（b）所示，完整的SQG 流場(chǎng)真值如圖6（c）所示，從圖中可以看到流場(chǎng)中存在多個(gè)較為明顯的漩渦。使用圖4 中的方法制作的“帶結(jié)構(gòu)物”的粒子圖像如圖6（d）所示，Mask-PIV-LiteFlowNet 輸出的掩模結(jié)果如圖6（e）所示，在圖中藍(lán)色區(qū)域代表液相區(qū)域，紅色代表非液相區(qū)域，在速度云圖中該區(qū)域速度值為0?？梢园l(fā)現(xiàn)分割邊界嚴(yán)格按照氣液、固液相位邊界分布，并且對(duì)液體飛濺區(qū)域進(jìn)行了掩模。

表3 圖6中的粒子圖像參數(shù)Tab.3 Parameters of particle image in Fig.6

圖6 人工合成帶結(jié)構(gòu)的粒子圖像測(cè)試結(jié)果可視化Fig.6 Visualization of particle image test results for artificially synthesized structured'particles

圖6（f）為部分遮擋的SQG 流場(chǎng)速度場(chǎng)真值可視化結(jié)果。WIDIM、Mask-PIV-LiteFlowNet 和PIVLiteFlowNet-en的平方根誤差分布如圖6（g）～（i）所示，從圖6（g）中紅色圓圈區(qū)域可以看到WIDIM的計(jì)算結(jié)果中存在較多的高誤差區(qū)域，并且這些高誤差區(qū)域多集中在速度數(shù)值較大且速度剪切率較大的小尺度旋渦位置（如圖6（f）中紅色圓圈所示）。而Mask-PIV-LiteFlowNet 和PIV-LiteFlowNet-en 在這些小尺度渦結(jié)構(gòu)區(qū)域誤差較低，這是由于兩種具有稠密速度場(chǎng)估計(jì)能力的算法能夠提取復(fù)雜流場(chǎng)中的流動(dòng)細(xì)節(jié)。在圖6（i）黃色圓圈區(qū)域中可以發(fā)現(xiàn)，PIV-LiteFlowNet-en 的計(jì)算結(jié)果在掩模邊界位置存在明顯的計(jì)算錯(cuò)誤，并且錯(cuò)誤速度場(chǎng)延伸到液相區(qū)域（黃圈左端），而Mask-PIV-LiteFlowNet 的計(jì)算結(jié)果的掩模邊界位置的錯(cuò)誤較少，這說(shuō)明Mask-PIV-LiteFlowNet 結(jié)構(gòu)能夠減少相位邊界速度場(chǎng)計(jì)算發(fā)生錯(cuò)誤的現(xiàn)象，從而降低平均計(jì)算誤差。

對(duì)三種算法的計(jì)算時(shí)間進(jìn)行了測(cè)試，結(jié)果如表4 所示。測(cè)試采用1000 張分辨率為256×256 像素的粒子圖像，輸出500個(gè)速度場(chǎng)。其中PIV-LiteFlowNet-en 和Mask-PIV-LiteFlowNet 采用GPU 并行加速計(jì)算，WIDIM 采用CPU 進(jìn)行計(jì)算。從表4 可以發(fā)現(xiàn)，Mask-PIV-LiteFlowNet 在同時(shí)進(jìn)行掩模和速度場(chǎng)計(jì)算兩項(xiàng)工作時(shí)，處理1000張粒子圖像耗時(shí)57.7 s，比PIV-LiteFlowNet-en 少了5.7%。

表4 不同模型計(jì)算時(shí)間表Tab.4 Calculation schedules for different models

3.2 楔形體入水兩相流PIV實(shí)驗(yàn)圖像速度場(chǎng)計(jì)算結(jié)果分析

為測(cè)試Mask-PIV-LiteFlowNet 算法用于實(shí)際粒子圖像速度場(chǎng)計(jì)算的性能，本節(jié)使用楔形體入水PIV 實(shí)驗(yàn)圖像進(jìn)行測(cè)試，實(shí)驗(yàn)設(shè)置在文獻(xiàn)[23]中有詳細(xì)介紹，選擇楔形體下落高度15 cm、接觸水面后10 ms時(shí)的粒子圖像進(jìn)行進(jìn)行計(jì)算。WIDIM 方法實(shí)驗(yàn)設(shè)置如下：掩模采用Mask-PIV-LiteFlowNet 掩模輸出結(jié)果（如圖7（a）所示），計(jì)算采用三重迭代窗口，窗口尺寸為64×64 pixel、32×32 pixel和16×16 pixel，窗口重疊率為50%，最小步長(zhǎng)為8 pixel，并保證最小迭代窗口中具有10個(gè)左右粒子，且速度場(chǎng)最大值小于1/4 最小迭代窗口尺寸[7]。使用PIVlab 內(nèi)置的預(yù)處理程序?qū)αＷ訄D像進(jìn)行了直方圖均衡化，高通濾波預(yù)處理，對(duì)速度場(chǎng)計(jì)算結(jié)果進(jìn)行了平滑。

圖7 楔形體入水PIV實(shí)驗(yàn)結(jié)果對(duì)比Fig.7 Comparison of PIV experimental results of wedge-shaped body entering water

Mask-PIV-LiteFlowNet 自動(dòng)掩模結(jié)果如圖7（a）所示，數(shù)值模擬結(jié)果的速度云圖等值線如圖7（b）所示。由于楔形體入水現(xiàn)象較為簡(jiǎn)單且具有豐富的理論基礎(chǔ)，文獻(xiàn)的作者進(jìn)行了8.2×106網(wǎng)格數(shù)量的數(shù)值模擬并證明了模擬結(jié)果的正確性，因此本節(jié)使用該模擬結(jié)果作為基準(zhǔn)進(jìn)行分析[23，28-29]。WIDIM 和Mask-PIV-LiteFlowNet 計(jì)算結(jié)果的速度云圖等值線如圖7（c）、（d）所示，從速度極大值和速度場(chǎng)的分布兩個(gè)方面對(duì)兩種算法計(jì)算結(jié)果進(jìn)行對(duì)比分析。圖7（b）、（c）、（d）的紅圈處位于楔形體外側(cè)流體堆積根部射流區(qū)域，速度等值線較為密集，速度梯度較大。模擬結(jié)果（圖7（b））射流處的極大值超過(guò)了2.0 m/s，并且Mask-PIV-LiteFlowNet 的計(jì)算結(jié)果（圖7（d））中的速度極大值同樣超過(guò)了2.0 m/s，在WIDIM的計(jì)算結(jié)果（圖7（c））中出現(xiàn)了速度極大值明顯低于模擬結(jié)果的現(xiàn)象。Mask-PIV-LiteFlowNet 計(jì)算結(jié)果（如圖7（d）紅圈所示）的速度極大值的位置與模擬結(jié)果（圖7（b））中速度極大值所處位置相同，都位于楔形體外側(cè)的流體堆積根部射流區(qū)域。在WIDIM 的計(jì)算結(jié)果中（圖7（c）），速度極大值位置向楔形體內(nèi)側(cè)發(fā)生了明顯的偏移，并且相較于圖7（c），圖7（d）的1.2 m/s、0.8 m/s，0.4 m/s速度等值線的位置與圖7（b）更為接近。

以上兩點(diǎn)表明，Mask-PIV-LiteFlowNet 的計(jì)算結(jié)果與數(shù)值模擬結(jié)果具有更好的一致性，說(shuō)明其在計(jì)算速度梯度較大且流動(dòng)結(jié)構(gòu)尺度較小的流場(chǎng)時(shí)結(jié)果更加精確，模型能夠展現(xiàn)更為準(zhǔn)確的流動(dòng)細(xì)節(jié)。

4 結(jié) 語(yǔ)

文中提出了一種PIV 實(shí)驗(yàn)圖像遮擋區(qū)域掩模及剩余區(qū)域速度場(chǎng)計(jì)算一體化的深度學(xué)習(xí)模型Mask-PIV-LiteFlowNet，模型在經(jīng)典的光流估計(jì)算法LiteFlowNet 的基礎(chǔ)上增加了掩模生成模塊，并根據(jù)掩模輸出對(duì)光流估計(jì)金字塔的逐層結(jié)果進(jìn)行非液相區(qū)域速度場(chǎng)清零，并在模型輸出層對(duì)速度場(chǎng)進(jìn)行了正則化。制作了帶結(jié)構(gòu)物的人工合成粒子圖像-速度場(chǎng)數(shù)據(jù)集對(duì)算法進(jìn)行測(cè)試，結(jié)果表明算法能夠?qū)IV 粒子圖像中的固體結(jié)構(gòu)物、自由液面及液滴飛濺等目標(biāo)進(jìn)行掩模，并且算法具有較高的精度和計(jì)算空間分辨率，應(yīng)用于具有小尺度復(fù)雜流動(dòng)結(jié)構(gòu)的速度場(chǎng)計(jì)算時(shí)具有更大的優(yōu)勢(shì)，并能有效改善掩模邊界位置速度場(chǎng)計(jì)算錯(cuò)誤的現(xiàn)象。Mask-PIV-LiteFlowNet 在同時(shí)完成非液相區(qū)域掩模和液相速度場(chǎng)計(jì)算的情況下，計(jì)算耗時(shí)相較于PIV-LiteFlowNet-en 減少了5.7%。最后使用物體入水PIV實(shí)驗(yàn)圖像對(duì)提出的算法進(jìn)行了對(duì)比測(cè)試，證明了該算法能夠用于多種場(chǎng)景的PIV 計(jì)算。本文提出的方法為深度學(xué)習(xí)粒子圖像測(cè)速算法應(yīng)用于船舶與海洋工程領(lǐng)域的復(fù)雜流動(dòng)現(xiàn)象的測(cè)量提供了解決思路，具有廣闊的應(yīng)用前景。