基于相位光流法的結(jié)構(gòu)振動微小位移測量①

王浩林,劉 源,王 蕓

(長安大學(xué) 信息工程學(xué)院,西安 710064)

隨著我國基礎(chǔ)設(shè)施建設(shè)的需求和數(shù)量的不斷擴大,巨大數(shù)量的基礎(chǔ)設(shè)施需要定期檢查評估以確保其安全性和可靠性.近年來利用結(jié)構(gòu)健康監(jiān)測(SHM)技術(shù)管理基礎(chǔ)設(shè)施成為研究人員關(guān)注的熱點.以模態(tài)分析為中心的基于結(jié)構(gòu)動力學(xué)的振動方法是民用、機械和航空結(jié)構(gòu)健康監(jiān)測、模型表征和更新最廣泛使用的技術(shù)之一[1].

橋梁結(jié)構(gòu)的模態(tài)分析需要通過分析傳感器的振動數(shù)據(jù)來確定模態(tài)特性,傳統(tǒng)的傳感器多為接觸式傳感器,如加速度計,通過直接固定在結(jié)構(gòu)表面上進行測量.這種方法通常非常精確并具有高動態(tài)范圍,人們也可以通過使用應(yīng)變儀來測量動態(tài)應(yīng)變[2].但接觸式傳感器在許多人類難以到達的結(jié)構(gòu)處安裝困難、費時且昂貴,并且對于長期監(jiān)測而言,傳感器的傳輸電纜或電池維護也是一個挑戰(zhàn).最近非接觸式傳感器系統(tǒng)用于結(jié)構(gòu)振動測量,如微波遙感[3],數(shù)字圖像處理[4],激光多普勒技術(shù)[5,6]和基于視頻序列的光流分析[7].這些方法的優(yōu)點在于傳感器不需固定在結(jié)構(gòu)上,并且隨著消費級相機的普及和算法的改進,基于計算機視覺的位移測量技術(shù)越來越受到研究人員關(guān)注.

目前在結(jié)構(gòu)位移檢測領(lǐng)域內(nèi)應(yīng)用較多的方法有模板匹配、數(shù)字圖像相關(guān)技術(shù)(DIC)、SIFT 特征點匹配、傳統(tǒng)Lucas-Kanade 光流神經(jīng)、基于深度學(xué)習(xí)的光流等方法.例如Ye 等人[8]通過在橋梁上使用專用的視覺標(biāo)記如二維碼或LED 燈進行模板匹配監(jiān)測大跨度橋梁的結(jié)構(gòu)位移,這種方法的限制是仍需在結(jié)構(gòu)表面添加人工目標(biāo).Mazzoleni 等人[9]通過DIC 第一次在土木結(jié)構(gòu)上估算人群引起的垂直動荷載.Khuc 等人[10]研究使用尺度不變特征變換SIFT 方法進行結(jié)構(gòu)位移測量,和傳統(tǒng)傳感器之間的最大差異小于5%.Zhao 等人[11]結(jié)合支持相關(guān)濾波算法與Kanade-Lucas-Tomasi (KLT)算法測量斜拉橋的位移,但僅在KLT 算法上較為魯棒.Dong 等人[7]提出一種基于神經(jīng)網(wǎng)絡(luò)Flownet2的全場光流法位移計算方法,比傳統(tǒng)的光流算法具有更高的精度.

人眼感知運動的范圍是有限度的,對于視頻中許多幅度微小的運動,人眼無法感知.最近,一種用于可視化肉眼看不見的微小運動的運動放大算法受到關(guān)注,基于歐拉的運動放大和基于相位的運動放大算法類似于流體流動分析的歐拉框架[12–14],即跟蹤圖像中每一像素在不同幀中亮度的變化.Wadhwa 等人[13]通過復(fù)數(shù)可操縱金字塔將圖像分解為多尺度的相位和幅值圖,再通過放大系數(shù)放大不同幀之間的相位差,將放大后的相位疊加對圖像進行重構(gòu),放大了微小位移.2015年,Chen等人[15]結(jié)合基于局部相位的光流技術(shù)[16],將基于相位的運動放大算法拓展為一種可以量化微小運動的光流法,并用于懸臂梁的模態(tài)識別.2017年,Chen 等人[17]測量了校園建筑頂部距離超過175 m的天線塔,識別出0.21 mm的諧振振幅,小于1/170 像素.Cha 等人[18]通過卡爾曼濾波降低了基于相位的光流法的噪聲.Shang 等人[19]通過基于運動放大的光流法進行人行天橋的多點模態(tài)頻率和振型測量,誤差均小于4%.基于相位的光流法在微小位移測量方面顯示出巨大的應(yīng)用潛力.

目前基于相位的光流法在橋梁結(jié)構(gòu)振動檢測方面應(yīng)用較少,本文受以上研究啟發(fā),并根據(jù)Diamond 等人[2]對基于相位運動放大的光流法精確度的驗證研究,提出了一種基于相位的改進光流法計算結(jié)構(gòu)微小位移的方法.本文選擇基于相位的運動放大方法中的構(gòu)造的復(fù)數(shù)可操縱金字塔中的第一層y方向濾波器來計算局部相位,利用局部相位輪廓不變性求得視頻中運動結(jié)構(gòu)的像素位移時間歷程,再通過比例因子將像素位移轉(zhuǎn)換為實際位移.并在實驗室通過搭建簡支梁模型進行振動測量實驗并與傳感器進行對比,驗證了本文方法的性能.

1 結(jié)構(gòu)微小振動位移計算方法設(shè)計

1.1 位移測量系統(tǒng)流程

本文提出的基于相位的光流法計算結(jié)構(gòu)微小位移實驗流程如圖1所示,大致可分為4 個步驟:數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、基于相位的光流法計算位移和數(shù)據(jù)后處理.首先進行相機標(biāo)定,建立二維圖像和三維真實世界之間的對應(yīng)關(guān)系,并通過相機采集結(jié)構(gòu)振動視頻數(shù)據(jù).接著進行數(shù)據(jù)預(yù)處理,采集的視頻需要進行裁剪選擇出感興趣(region of interest,ROI)區(qū)域,目的是降低運算量.并將視頻拆解為幀,因為位移計算是計算第一幀和第n幀之間的位移.第3 步就是計算像素位移,采用改進的基于相位的光流法計算振動的像素位移.最后是數(shù)據(jù)的后處理,算法要對像素位移數(shù)據(jù)進行降噪處理,并將像素單位的位移轉(zhuǎn)換為物理單位的位移并進行數(shù)據(jù)結(jié)果分析.

1.2 相機標(biāo)定

相機標(biāo)定是為了估計投影過程.在基于視覺的結(jié)構(gòu)位移測量研究中,常用的方法主要有3 種:比例因子法、全投影矩陣法和平面單應(yīng)矩陣法[7].當(dāng)相機和鏡頭的軸垂直于運動平面時,比例因子計算為真實世界物體尺寸與圖像尺寸的比率.如果在基于視覺的位移測量系統(tǒng)中應(yīng)用比例因子,則徑向失真可以忽略不計的假設(shè)必須成立.Dong 等人[7]建議使用徑向畸變可忽略不計的變焦鏡頭,以避免現(xiàn)場應(yīng)用中繁瑣的攝像機固有矩陣校準(zhǔn)工作.本文中所使用的數(shù)碼相機具有失真校正功能,且本文實驗中相機鏡頭光軸垂直于物體運動平面,因此選擇比例因子法將運動結(jié)構(gòu)的像素運動轉(zhuǎn)換為毫米的物理單位.

1.3 濾波器構(gòu)造

可操縱金字塔(steerable pyramid)是一種過完備變換,根據(jù)空間比例、方向和位置分解圖像.變換的基函數(shù)類似于Gabor 小波,由高斯包絡(luò)加窗的正弦曲線,并且是可操縱的[20].可操縱金字塔的定向頻帶 ψl,θ中的頻域轉(zhuǎn)換函數(shù)是基本濾波器的不同尺度和不同方向的副本,由尺度l和方向θ 決定.如圖2所示,每一塊區(qū)域均代表一組濾波器副本.頻率軸范圍從?π 到 π,K=4,分為4 個方向和多層尺度[21].基本函數(shù)通過尺度變換和方向變換組成多組濾波器副本(初始高通帶和最終低通子帶除外).

可控金字塔是通過遞歸地將圖像分割成一組定向子帶和一個低通殘留帶來實現(xiàn)的.轉(zhuǎn)換的系統(tǒng)圖如圖3所示,H表示高通濾波,L表示低通濾波,B表示帶通濾波,低通部分通過遞歸的方式進行子項分解.

在傅里葉域中,濾波器構(gòu)造公式[22]如下:

帶有徑向和角度部分:

其中,r,θ是極坐標(biāo)下的極徑和極角,K表示總共分解的幾個方向.

復(fù)數(shù)可操縱金字塔(complex steerable pyramid,CSP)的轉(zhuǎn)換函數(shù)只包含相應(yīng)的實部可控金字塔濾波器的正頻率,即 2 cos(ωx)=eiωx+e?iωx中eiωx的響應(yīng),因此存在幅度和相位的概念[13].

本文通過時域卷積定理進行濾波,即時域內(nèi)的卷積對應(yīng)頻域內(nèi)的乘積,如式(3)所示:

在基于相位的視頻運動放大中,局部相位需要進行放大疊加以形成重構(gòu)圖像.但在本文中,計算的是局部相位輪廓隨時間偏移形成的位移,實驗設(shè)計為y方向垂直振動的簡支梁振動模型,因此選擇復(fù)數(shù)可操縱金字塔第一層y方向的濾波器,即 θ=π/2.濾波器的可操縱性基本上沒有被使用,因為本文中主要計算的是縱向振動位移.

1.4 基于相位的光流法

基于相位的光流法是由Chen 等人[15]新提出的一種結(jié)構(gòu)位移計算方法,適用于無背景雜波的微小像素位移計算.Wadhwa 等人[13]首次提出了一種基于相位的運動放大算法,通過構(gòu)造的復(fù)數(shù)可操縱金字塔濾波器對圖像亮度進行濾波,計算出局部空間相位和幅值,局部空間相位信號在時間上被傅立葉變換分解成一系列代表諧波運動的正弦曲線.相位信號隨后在時間上被帶通濾波、放大并重新組合以形成運動放大視頻.Wadhwa 等人[14]又通過里斯變換進行改進加快了運算速度.Chen 等人[15]受基于相位的運動放大啟發(fā),利用局部相位在時間上的恒定輪廓的運動[16,23]來計算相應(yīng)的位移信號.

空間局部相位和局部振幅是類似于傅立葉級數(shù)系數(shù)的相位和振幅的量.相位控制基函數(shù)的位置,而振幅控制其強度.在傅里葉變換的情況下,相位對應(yīng)于全局運動.局部相位提供了一種計算局部運動的方法[16].對于視頻數(shù)據(jù),如式(4)所示,由I(x,y,t0)表示在空間位置(x,y) 處和t0時刻的圖像亮度,通過使用復(fù)數(shù)濾波器Gθ2+iH2θ對視頻幀進行卷積運算,獲得時間t0的幀的方位θ的局部相位?θ(x,y,t0)和局部振幅Aθ(x,y,t0).

位移信號是從局部相位在時間上的恒定輪廓的運動中獲得的[16,23],可以表示為:

其中,m表示常數(shù),意味著隨著時間的推移相位的局部相位恒定輪廓不變,某個方向的位移信號就是局部相位輪廓在第一幀和當(dāng)前幀之間的移動距離,在實際計算中僅考慮和坐標(biāo)軸x,y平行的兩個方向的分量,式(6)是通過關(guān)于時間的微分獲得的方程式.

其中,u和v表示圖像x,y軸方向上的速度.通過求解式(6)可得:

其中,? ?0(x,y,t)/?y=0和? ?π/2(x,y,t)/?x=0.由于計算相鄰幀的速度進行積分得到的位移會累計誤差,因此選擇初始幀圖像和當(dāng)前幀圖像之間進行計算,本文對原始公式進行優(yōu)化變形,計算結(jié)構(gòu)振動在y方向的位移?y,得到式(8):

其中,η表示一個極小的正數(shù),目的是防止分母為0.α表示位移系數(shù),用于將速度轉(zhuǎn)換為位移,β為下采樣倍率,根據(jù)Diamond 等人[2]的實驗,在應(yīng)用復(fù)數(shù)濾波器之前,對輸入圖像執(zhí)行下采樣.這樣做是為了降低圖像中的噪聲.Chen 等人建議選擇視頻中結(jié)構(gòu)邊緣或者有紋理區(qū)域中的點進行運算[15],這是因為無紋理區(qū)域的運動是局部模糊的,在本文中不做討論.

1.5 數(shù)據(jù)后處理

通過多次實驗發(fā)現(xiàn),在算法計算過程中,由于圖像噪聲的影響,位移時程數(shù)據(jù)中會出現(xiàn)某些超出正常范圍值得尖峰噪聲,因此選擇中值濾波進行降噪處理,濾波器尺寸為1×3.最后通過比例因子將像素單位的位移轉(zhuǎn)換為以毫米為單位的真實物理位移,并于其他方法進行比較.在接下來的章節(jié)中,將通過實驗室實驗來驗證所提出的改進算法的可行性和性能.

2 實驗與結(jié)果分析

2.1 實驗設(shè)置

本文的實驗環(huán)境為實驗室搭建的簡支梁模型,如圖4所示,圖4(a)為簡支梁模型,左側(cè)為固定端,右側(cè)為滑動端;圖4(b)為傳感器固定位置,為簡支梁左側(cè)1/4 位置處,傳感器下方箭頭指向的像素點為選擇進行計算的點,位于簡支梁的邊緣,將傳感器的數(shù)據(jù)作為參考標(biāo)準(zhǔn);圖4(c)為激勵源,使用橡皮錘在簡支梁右側(cè)10 cm 處輕輕敲擊,產(chǎn)生振動源.兩個底座固定在同一木板上,簡支梁是一組總長150 cm,寬30 mm,厚度為2 mm的鋼條組成,在簡支梁中部可通過改變螺絲松緊度來模擬橋梁損傷,但本文實驗?zāi)繕?biāo)是驗證振動位移測量方法的性能,因此將螺絲旋轉(zhuǎn)至固定.

本文中進行視頻采集的設(shè)備為Canon EOS-1D X Mark II 相機,攝像模式參數(shù)為1920×1080的分辨率和120 fps的幀率,光照條件為穩(wěn)定的室內(nèi)光源.相機通過三腳架和云臺固定,與簡支梁和傳感器處于同一水平面上,且鏡頭正對簡支梁和傳感器,距離簡支梁模型1.3 m,以免因夾角產(chǎn)生計算誤差.本文中使用的為891-4 型超低頻測振儀垂直傳感器,傳感器的采樣頻率為200 Hz,用來測量豎直方向的速度作為參考數(shù)據(jù),并在最后的實驗比對階段進行積分處理,振動數(shù)據(jù)采集設(shè)備如圖5所示,圖5(a)為視頻采集設(shè)備,圖5(b)為振動傳感器數(shù)據(jù)采集儀和采集軟件.

本文使用的位移真值近似值由用于超低頻或低頻振動測量的891-4 型拾振器獲得,通過傳感器測量的速度積分計算位移,該傳感器的速度分辨率為1.6×10–6m/s,速度靈敏度為1.738 mV/mm/s,位移分辨率為1.6×10–6m,傳感器采樣率為200 Hz.本文認為由891-4型拾振器采集的原始位移數(shù)據(jù)屬于更高一級的位移測量方法,因此選擇此數(shù)據(jù)作為振動位移的真值近似值.

2.2 實驗結(jié)果與分析

為了驗證本文方法的性能,選取了兩種基于神經(jīng)網(wǎng)絡(luò)的光流方法進行對比,文獻[24]中的Flownet2.0網(wǎng)絡(luò)是一種經(jīng)典的基于神經(jīng)網(wǎng)絡(luò)的光流方法,性能追平了傳統(tǒng)光流方法,文獻[25]中的基于循環(huán)全對場變換(recurrent all-pairs field transforms,RAFT)的神經(jīng)網(wǎng)絡(luò)是截止2020年最為先進的深度學(xué)習(xí)光流方法,兩種網(wǎng)絡(luò)具體結(jié)構(gòu)見文獻[24,25],幾種方法均選擇同一像素進行位移計算.

在簡支梁上選取點并放置振動傳感器作為參照,使用本文方法及深度學(xué)習(xí)光流方法計算簡支梁振動位移,本文方法與其他光流方法的數(shù)據(jù)可視化對比如圖6所示,橫坐標(biāo)為圖像幀數(shù),縱坐標(biāo)為真實位移,單位為mm.視頻中簡支梁結(jié)構(gòu)振動振幅不超過1 個像素.將傳感器數(shù)據(jù)降采樣為120 Hz,手動進行傳感器和相機的時間對齊,將兩者數(shù)據(jù)進行同步,選擇了1 300 個數(shù)據(jù)點進行對比.圖6(a)為總的1 300 個數(shù)據(jù),為了更直觀的展示方法差異,選擇部分?jǐn)?shù)據(jù)進行展示,圖6(b)為200–400幀數(shù)據(jù)可視化對比,圖6(c)為800–1 000 幀的可視化對比,從中可以看出本文方法位移時程序列明顯更加平滑.

本文采用兩種評價參數(shù)作為性能指標(biāo),一是皮爾森相關(guān)系數(shù)(Pearson correlation coefficient),是兩組位移時程數(shù)據(jù)的協(xié)方差和標(biāo)準(zhǔn)差的商,用于衡量算法數(shù)據(jù)與傳感器數(shù)據(jù)的相關(guān)程度,相關(guān)系數(shù)越大,表示相關(guān)程度越高:

二是平均絕對誤差(mean absolute error,MAE),用來度量兩條位移時程序列間各點的平均偏差程度,MAE越小,表示偏差程度越小:

圖7展示了3 種方法與傳感器數(shù)據(jù)的誤差分析可視化圖,左側(cè)為絕對誤差的時程曲線,右側(cè)為絕對誤差的分布直方圖.方法的誤差服從正態(tài)分布,選擇誤差的均值、方差、和標(biāo)準(zhǔn)差進行分析.均值公式、方差、標(biāo)準(zhǔn)差公式分別為:

Chen 等人建議在使用此方法時量程不要超過2 個像素單位[15],在本文實驗中,經(jīng)過驗證,本方法在位移為3 個像素單位內(nèi)測量較為準(zhǔn)確,因此本文方法量程為3 個像素單位,即單側(cè)位移不超過1.5 個像素單位.測量方法的準(zhǔn)確度等級為(最大絕對誤差/量程)×100,本文方法測量的最大絕對誤差為0.267 8 個像素單位,最大量程為3 個像素單位,因此本文方法的精確度等級為8.9.量程較小屬于方法的固有缺陷,這限制了本文方法的應(yīng)用場景,但本文方法的優(yōu)勢在于對于微小位移的測量的相關(guān)度和誤差分析結(jié)果均優(yōu)于現(xiàn)有光流方法.

本文實驗通過橡皮錘敲擊簡支梁產(chǎn)生單次振動,并重復(fù)10 次實驗,每次振動的峰-峰值均接近最大量程,本文方法的10 次實驗結(jié)果如表1.每次均選擇從振動開始的1 300 個數(shù)據(jù)點(每秒120 個數(shù)據(jù)點)進行分析.

表1 基于相位光流法的10 次振動實驗數(shù)據(jù)分析和誤差分析

接著使用其他兩種方法對10 次實驗進行數(shù)據(jù)分析和誤差分析對比,結(jié)果如表2所示,本文的方法在穩(wěn)定光照條件下測得的簡支梁振動數(shù)據(jù)各項指標(biāo)均優(yōu)于其他兩種光流方法.

表2 不同方法的實驗數(shù)據(jù)和誤差分析10 組數(shù)據(jù)均值

綜合以上實驗結(jié)果,本文基于相位運動放大的結(jié)構(gòu)振動微小位移測量方法在微小振動位移的精確度和穩(wěn)定性上具有明顯優(yōu)勢,并且通過實驗室簡支梁振動實驗驗證了方法的有效性.

3 結(jié)論與展望

結(jié)構(gòu)健康監(jiān)測技術(shù)對于維護土木建筑結(jié)構(gòu)的安全和可靠性具有重要意義,基于計算機視覺的技術(shù)可以實現(xiàn)在較少用戶參與的情況下,實現(xiàn)土木結(jié)構(gòu)的非接觸位移監(jiān)測.本文提出了一種改進的基于相位的光流法,與傳統(tǒng)的位移和振動監(jiān)測測量技術(shù)相比,該方法需要更簡單、不太復(fù)雜且更具成本效益的硬件.本文將方法應(yīng)用于一個實驗室搭建的簡支梁模型,它很好地代表了許多類似的相對細長的結(jié)構(gòu).本文方法相比于其他光流方法在微小位移檢測上具有更好的精確度,但當(dāng)視頻中的結(jié)構(gòu)出現(xiàn)大的運動(大于3 個像素)或者光照劇烈變化時,該方法并不適用,這限制了方法的適用范圍.在未來的研究中,要加強方法對于外界干擾的魯棒性研究,擴展方法的適用范圍,提高方法的實用性.