基于視覺和振動監(jiān)測數(shù)據(jù)融合的結(jié)構(gòu)動態(tài)位移識別及其試驗驗證

修 晟，張 愿，單伽锃,2

(1.同濟(jì)大學(xué)土木工程學(xué)院結(jié)構(gòu)防災(zāi)減災(zāi)工程系，上海 200092；2.上海韌性城市與智能防災(zāi)工程技術(shù)研究中心，上海 200092)

目前，我國土木工程領(lǐng)域事故時有發(fā)生，如橋梁的驟然斷裂、房屋的突然倒塌等，造成重大的人員傷亡以及財物損失。作為評估工程結(jié)構(gòu)的手段，結(jié)構(gòu)健康監(jiān)測逐漸成為土木工程的重要研究領(lǐng)域之一[1-2]。進(jìn)行結(jié)構(gòu)健康監(jiān)測時，系統(tǒng)識別是分析潛在損傷的重要環(huán)節(jié)。為了實(shí)現(xiàn)系統(tǒng)識別，需要利用傳感器對加速度、位移等結(jié)構(gòu)響應(yīng)進(jìn)行測量[3]。這類信息可以反映結(jié)構(gòu)的完整性，判斷結(jié)構(gòu)狀態(tài)，在使用中的極端值可能顯示負(fù)載異常或結(jié)構(gòu)缺陷[4-5]。此外，也可以用位移監(jiān)測的結(jié)果對結(jié)構(gòu)的有限單元模型更新[6]。

結(jié)構(gòu)工程領(lǐng)域有許多手段可以直接測量結(jié)構(gòu)的位移響應(yīng)，這些手段包括拉線式位移計、線性可變差動變壓器 (LVDT)、實(shí)時動態(tài)全球衛(wèi)星導(dǎo)航系統(tǒng)(RTK-GNSS)等[7]。LVDT 通常需要安裝在目標(biāo)點(diǎn)和固定參考點(diǎn)之間，因此盡管LVDT 測量精度高，但實(shí)際工程中安裝不便。RTK-GNSS 比一般的GNSS 精度高，但是采樣頻率低[8]。加速度二次積分也被用來測量位移，但這種方法存在低頻漂移現(xiàn)象。已有許多方法用于解決漂移問題，但這些方法也會移除結(jié)構(gòu)在低頻的響應(yīng)信息[9]。

近幾年來光學(xué)相機(jī)、光學(xué)鏡頭迅速發(fā)展，基于計算機(jī)視覺的結(jié)構(gòu)監(jiān)測與檢測逐漸成為熱點(diǎn)[1,10]，其主要應(yīng)用領(lǐng)域包括結(jié)構(gòu)裂縫識別[11-12]、融合其他傳感器數(shù)據(jù)的結(jié)構(gòu)影響線計算[13]、結(jié)構(gòu)動力響應(yīng)測量[14]和結(jié)構(gòu)振動模態(tài)測量[15-16]等。基于計算機(jī)視覺的動態(tài)測量方法具有測量精度高、距離遠(yuǎn)、成本低、能實(shí)現(xiàn)整體測量等優(yōu)點(diǎn)[2,11]。相機(jī)可以捕捉結(jié)構(gòu)運(yùn)動，并對圖像處理來測量結(jié)構(gòu)的位移，但位移精度很大程度上受到光照條件和分辨率的限制。此外，現(xiàn)有數(shù)碼相機(jī)大多只有較低的幀率，無法收集高頻信息，并且高頻位移振幅較小，難以識別[17]。對此，可以通過融合加速度傳感器數(shù)據(jù)解決上述問題[2]。

1 結(jié)構(gòu)位移視覺識別

通過計算機(jī)視覺識別結(jié)構(gòu)位移的一般過程如下[18]：首先，為減小計算量，并提高計算精度，需要選取目標(biāo)區(qū)域(region of interest, ROI)。隨后，在選定的ROI 范圍內(nèi)尋找特征點(diǎn)。計算機(jī)視覺位移監(jiān)測中，需要將人工標(biāo)志或自然標(biāo)志置于ROI之內(nèi)。自然標(biāo)志是指已有的結(jié)構(gòu)目標(biāo)，如天然裂縫；而人工標(biāo)志則是專門用來測量位移的標(biāo)志，這些標(biāo)志可以看作特征。有多種方法可以計算特征點(diǎn)，如Harris 角點(diǎn)、SIFT 點(diǎn)以及SURF 方法等[9]。之后，通過特征匹配方法，如暴力搜索算法和BBF搜索算法等，對第j幀的特征點(diǎn)和第一幀的特征點(diǎn)進(jìn)行匹配。匹配的結(jié)果需要通過隨機(jī)抽樣一致法(RANSAC)等方法，將異常點(diǎn)剔除。計算第j幀和第一幀的相對位移時，可按以下方法計算[19]：

式中：N為匹配結(jié)果數(shù)；di為以像素為單位的結(jié)構(gòu)相對位移。最后，通過比例因子將測得的像素位移轉(zhuǎn)換到實(shí)際位移。

式中，α 為比例因子，可通過以下公式進(jìn)行估計[20]：

式中，ut和dt分別表示人工和自然標(biāo)志物的相應(yīng)的物理尺寸和像素尺寸。

2 加速度和位移的數(shù)據(jù)融合

2.1 比例因子計算

計算機(jī)視覺測量得到的是為以像素為單位的位移，為了獲得實(shí)際的位移值，傳統(tǒng)的基于視覺的位移測量方法，需要提供額外的尺寸信息，來計算比例因子。這種計算方式需要額外的特征提取過程，而且對邊緣識別有更高要求，很容易產(chǎn)生測量誤差。此外還存在某些情況下標(biāo)識的尺寸信息難以測量等問題。利用加速度數(shù)據(jù)可以估計比例因子，具體流程見圖1。

圖1 數(shù)據(jù)融合流程Fig.1 Flow chart of estimate scale factor

該方法首先計算以像素級別的位移，再用加速度二次積分計算結(jié)構(gòu)的位移。為避免加速度傳感器的低頻漂移現(xiàn)象，積分結(jié)果需要經(jīng)過帶通濾波。同時，對視覺測量的結(jié)果升采樣到與加速度測量相同頻率。視覺測量的結(jié)果同樣需要帶通濾波，濾波范圍和積分結(jié)果相同，以減小濾波范圍外的影響。最后，用最小二乘法求出比例因子。

2.2 多速率卡爾曼濾波算法

卡爾曼濾波是一種廣泛應(yīng)用于數(shù)據(jù)處理的方法，該方法通過在時域上不斷預(yù)測、修正，對數(shù)據(jù)進(jìn)行估計。一般而言，加速度計采樣頻率高于視頻的幀率，即加速度的采樣率高于位移測量采樣率。對此，SMYTH 和 WU[21]采用多速率卡爾曼濾波器融合不同采樣率下的加速度和位移，來改善位移信號的估計。該方法將低采樣率的位移數(shù)據(jù)和高采樣率的加速度數(shù)據(jù)進(jìn)行數(shù)據(jù)融合，狀態(tài)方程如下：

式中：X(t)=[x(t),x˙(t)]T，x(t) ,x˙(t)分別為位移和速度；u(t) 為加速度的觀測值； α(t)為狀態(tài)噪聲，α ～N(0,q)，q為加速度方差。

將基于計算機(jī)視覺的測量的位移作為觀測值，可建立如下的卡爾曼濾波觀測方程：

式中， β(t) 為位移觀測噪聲， β ～N(0,r)，r為位移方差。

上述方程的離散形式可以表示為：

式中：k為時間步；uk和zk分別為測量的加速度和位移數(shù)據(jù)；wk和vk分別為離散的狀態(tài)噪聲和測量噪聲。狀態(tài)噪聲協(xié)方差為Q，觀測噪聲協(xié)方差為R。

式(7)中矩陣A、B和H分別為：

式中，dt為加速度采樣間隔。

相應(yīng)的噪聲的協(xié)方差矩陣可以寫成：

融合位移和加速度的多速率卡爾曼濾波流程如圖1 所示，具體步驟為：

1) 狀態(tài)向量及其協(xié)方差矩陣初始化。

2) 基于加速度數(shù)據(jù)的預(yù)測。狀態(tài)預(yù)測公式為：

相應(yīng)的協(xié)方差矩陣預(yù)測公式為：

3) 當(dāng)進(jìn)行τd/τa次預(yù)測后，融合加速度和位移數(shù)據(jù)進(jìn)行觀測更新，式中τd、τa分別代表位移和加速度測量時間間隔。

RTS 平滑是一種固定區(qū)間的最優(yōu)平滑算法，它利用固定時間區(qū)間的全部觀測值來估計區(qū)間每個時刻的狀態(tài)，具體公式推導(dǎo)見文獻(xiàn)[22]。

2.3 位移測量噪聲參數(shù)估計

如式(2)所述，實(shí)際的位移為比例因子和像素位移的乘積。根據(jù)誤差傳遞規(guī)律，位移測量的方差的可由下式計算：

3 振動臺試驗

本文以一個大比例鋼筋混凝土框架模型振動臺試驗為例，在模型振動臺試驗中，結(jié)構(gòu)動力行為識別接近工程實(shí)際，對計算機(jī)視覺的實(shí)際應(yīng)用具有參考價值。

3.1 試驗基本信息

本試驗在4 m×4 m 三向6 自由度地震模擬振動臺上進(jìn)行，振動臺最大承重25 t，頻率范圍為0.1 Hz～50 Hz，最大位移±100 mm，最大速度±1000 mm/s，臺面最大加速度X向±4g、Y向±2g、Z向±4.0g。框架結(jié)構(gòu)柱截面均為 125 mm×125 mm，框架梁的截面取為70 mm×120 mm，樓板厚度均為35 mm。

結(jié)構(gòu)模型上設(shè)置有紅外光學(xué)位移測量系統(tǒng)的紅外靶點(diǎn)。這套由加拿大NDI 公司開發(fā)的 Optotrak?CertusTM 三維運(yùn)動測量系統(tǒng)，利用3 個CCD 鏡頭捕捉標(biāo)識點(diǎn)發(fā)射的紅外光源，測量標(biāo)識點(diǎn)精確的三維空間位置信息，并將此信息傳輸?shù)较到y(tǒng)控制單元進(jìn)行處理。模型上另設(shè)有10 個加速度計。使用 SONY HDR-PJ220E 高清攝像機(jī)以斜視角度拍攝框架結(jié)構(gòu)振動試驗視頻數(shù)據(jù)。拍攝的視頻分辨率為1920×1080，色深8bit，拍攝時選取的幀速率為25 幀/秒。最終結(jié)果以紅外系統(tǒng)測量數(shù)據(jù)作為真值。

3.2 試驗工況

本試驗有3 種地震工況，選用的地震波分別為2011 年日本“3·11”地震波、1994 年Northridge地震波和上海人工波。統(tǒng)一對三種地震波進(jìn)行調(diào)幅，設(shè)定地面加速度峰值(PGA)為0.2g。三種地震波具有不同的頻譜特性，以激發(fā)框架結(jié)構(gòu)不同的地震反應(yīng)特征。

3.3 試驗分析

3.3.1 計算機(jī)視覺處理

框架結(jié)構(gòu)視覺追蹤的ROI 選擇如圖2 的藍(lán)色虛框所示。一般的，過大的ROI 選擇造成計算成本高，誤匹配、錯匹配增加；過小的ROI 則無法保證覆蓋目標(biāo)區(qū)域移動的全部范圍，帶來大振幅下特征點(diǎn)匹配適量少和誤匹配的問題。ROI 的選擇可依據(jù)現(xiàn)場光照條件、目標(biāo)區(qū)域構(gòu)件幾何尺寸、整體結(jié)構(gòu)物理特征等確定初始范圍，并采取試算法迭代確定最優(yōu)范圍。

圖2 大比例RC 框架布局和實(shí)景Fig.2 The large-scale RC frame and the region of interest (ROI)

3.3.2 比例因子影響

由于各自設(shè)備的限制，本試驗中加速度傳感器、攝像機(jī)紅外系統(tǒng)的采樣頻率分別為256 Hz、25 Hz 和128 Hz。這三種傳感器系統(tǒng)各自獨(dú)立采樣，使用不同的時鐘，這不僅使得數(shù)據(jù)難以融合，而且也使得計算效果難以比較。因此，在進(jìn)行數(shù)據(jù)融合和比較之前，需要對數(shù)據(jù)進(jìn)行預(yù)處理。XU 等[23]在對加速度信號和GPS 信號融合時，通過插值和計算互相關(guān)系數(shù)實(shí)現(xiàn)不同信號間的時間同步?？紤]卡爾曼濾波算法限制，加速度的采樣頻率一般設(shè)定為視覺采樣頻率的整數(shù)倍，所以本研究將這三類信號統(tǒng)一重采樣為250 Hz。插值后，以計算機(jī)視覺所測位移序列為基準(zhǔn)，加速度二次積分位移序列和紅外測量位移序列分別與計算機(jī)視覺位移序列計算最大互相關(guān)系數(shù)(cross correlation)，以此完成不同信號間的時間同步。

本文計算得到的比例因子結(jié)果如圖3 所示。由圖3 數(shù)據(jù)點(diǎn)沿直線近似分布可知，最小二乘法擬合效果良好。

圖3 日本“3·11”地震工況下各層位移/像素的比例因子Fig.3 The regressed scale factor between displacement and pixels for each floor under the Japan ＂3·11＂ excitation scenario

作者已有比例因子計算方法[18]需要在圖像中提取框架梁上、下邊緣，計算以像素(pixel，單位表示為px)為單位的框架梁高，結(jié)合已知結(jié)構(gòu)框架梁高度為0.12 m，計算比例因子。本文的結(jié)果與文獻(xiàn)方法的結(jié)果對比見圖4。由此可見，一般情況下，本文使用的比例因子計算方法與作者已有視覺識別方法[18]計算得到的比例因子很接近。但需要注意的是，樓層4 的比例因子差距相對較大。如圖2 所示，樓層4 位于圖像畸變較大的區(qū)域，可能導(dǎo)致單一視覺識別方法出現(xiàn)構(gòu)件邊緣識別的不確定性與差異，進(jìn)而影響相應(yīng)樓層4 比例因子計算結(jié)果的準(zhǔn)確性。

圖4 兩種方法下日本“3·11”地震工況下各樓層比例因子比較Fig.4 Compare of scale factor under the Japan ＂3·11＂excitation scenario

結(jié)構(gòu)在地震作用下的響應(yīng)，層間位移角是個重要的物理量。為此，在時域范圍內(nèi)，本文通過以下兩個指標(biāo)來判斷結(jié)果正確性：

1) 峰值誤差，即位移最大處的誤差。該指標(biāo)對最大層間位移角 有重要意義。

2) 歸一化均方根誤差(normalized root mean square error, NRMSE)，該指標(biāo)從整體上判斷測量誤差。其公式定義如下：

式中：x?i和xi分別代表第i步的估計值和真實(shí)值；n代表數(shù)據(jù)點(diǎn)數(shù)目。

日本“3·11”地震工況結(jié)果見圖5。可以看出，在本工況下，本文方法相較文獻(xiàn)方法對比例因子的計算更可靠。

圖5 日本“3·11”地震下各層峰值誤差和歸一化均方根誤差Fig.5 Peak error and NRMSE for each floor under the Japan＂3·11＂ excitation scenario

對本實(shí)驗，在卡爾曼濾波過程中，指定加速度傳感器的方差為2×10-2m2/s4，計算機(jī)視覺測量的位移方差由式(16)計算。

卡爾曼濾波后，各個工況下時程對比分別如圖6～圖8 所示。

圖6 日本“3·11”地震下各層時程結(jié)果對比Fig.6 Time history results for each floor under the Japan＂3·11＂ excitation scenario

圖7 Northridge 地震工況下各層時程結(jié)果對比Fig.7 Time history results for each floor under the Northridge excitation scenario

圖8 上海人工波工況下各層時程結(jié)果對比Fig.8 Time history results for each floor under the Shanghai artificial wave excitation scenario

各個工況下，峰值誤差和歸一化均方根誤差分別見表1 和表2。

表1 峰值誤差統(tǒng)計Table 1 Peak error statistics

表2 歸一化均方根誤差統(tǒng)計Table 2 NRMSE statistics

由表1 可看出，卡爾曼濾波對誤差峰值的改進(jìn)不明顯。如果濾波前誤差大，則融合之后可減小誤差，而如果濾波前誤差已經(jīng)比較小，則該方法對誤差峰值的改進(jìn)不明顯。

由表2 可知，NRMSE 更強(qiáng)調(diào)整體， 卡爾曼濾波的效果更加明顯。除在少部分工況下結(jié)果劣化外，大部分工況均有改進(jìn)，最大幅度達(dá)38%。同時注意到，有2 個工況在卡爾曼濾波后出現(xiàn)一定程度的劣化，但基本在9%以內(nèi)?？紤]在相應(yīng)工況下，基于視覺識別的NRMSE 已經(jīng)比較小，所以卡爾曼濾波進(jìn)一步改善的效果不明顯。

在頻域范圍內(nèi)，功率譜密度(PSD)是識別結(jié)構(gòu)動力特性的一個重要指標(biāo)。各地震工況下頻譜圖見圖9～圖11。

圖9 日本“3·11”地震工況下各樓層歸一化功率譜密度Fig.9 Normalized PSD for each floor under the Japan ＂3·11＂excitation scenario

圖10 Northridge 地震工況下各樓層歸一化功率譜密度Fig.10 Normalized PSD for each floor under the Northridge excitation scenario

圖11 上海人工波工況下各樓層歸一化功率譜密度Fig.11 Normalized PSD for each floor under the Shanghai artificial wave excitation scenario

在頻域范圍內(nèi)，可以明顯看出，卡爾曼濾波后頻率更加接近紅外系統(tǒng)測量結(jié)果。在所有工況下，結(jié)構(gòu)的高頻信息都更加接近紅外系統(tǒng)結(jié)果，這對判斷結(jié)構(gòu)的頻率和模態(tài)均有幫助。對低頻部分，卡爾曼濾波后，歸一化功率譜密度曲線與純視覺結(jié)果相同。由于日本“3·11”地震工況時間更長，相比其他兩個工況，結(jié)構(gòu)的自振頻率更突出。

4 結(jié)論

本文利用加速度傳感器和計算機(jī)視覺技術(shù)，對結(jié)構(gòu)動力行為的接觸式監(jiān)測和非接觸式追蹤數(shù)據(jù)進(jìn)行融合，以充分發(fā)揮兩者優(yōu)勢。針對計算機(jī)視覺技術(shù)無法采集結(jié)構(gòu)高頻振動信息，需要額外參數(shù)估算比例因子等不足而加速度計無法監(jiān)測低頻位移、存在零漂等缺點(diǎn)，本文提出利用卡爾曼濾波和RTS 平滑方法，用最小二乘法計算比例因子，融合了計算機(jī)視覺和加速度計的數(shù)據(jù)。并以一個大比例框架結(jié)構(gòu)振動臺試驗為例，驗證了方法的可靠性。結(jié)果表明：

(1)該種數(shù)據(jù)融合方法能夠可靠估計比例因子；

(2)在時域范圍內(nèi)，雖然對結(jié)構(gòu)最大位移的測量改進(jìn)不明顯，但有效減少了NRMSE 值，整體上提升了位移測量精度；

(3)在頻域范圍內(nèi)，所提出的數(shù)據(jù)融合方法，彌補(bǔ)了純計算機(jī)視覺采樣率低的缺點(diǎn)，有效提高了位移數(shù)據(jù)在高階模態(tài)范圍內(nèi)的信噪比，保證了對結(jié)構(gòu)高階模態(tài)的識別能力。下一步的工作將研究ROI 的選擇方法，實(shí)現(xiàn)ROI 的自動選擇。