離面振動光流分析方法研究

尹愛軍, 張　泉, 戴宗賢, 薛　磊

(1.重慶大學 煤礦災(zāi)害動力學與控制國家重點實驗室,重慶　400044;2.重慶大學 機械傳動國家重點實驗室,重慶　400044;3.重慶市計量質(zhì)量檢測研究院第一分院,重慶　402260)

離面振動光流分析方法研究

尹愛軍1,2, 張泉2, 戴宗賢3, 薛磊2

(1.重慶大學 煤礦災(zāi)害動力學與控制國家重點實驗室,重慶400044;2.重慶大學 機械傳動國家重點實驗室,重慶400044;3.重慶市計量質(zhì)量檢測研究院第一分院,重慶402260)

摘要：視覺振動檢測方法因大范圍、非接觸等特點，已得到廣泛的研究和應(yīng)用。研究了結(jié)構(gòu)離面振動視覺檢測的基本原理，建立了檢測模型。根據(jù)光流法運動估計的基本原理及離面振動視覺檢測模型，研究了離面振動光流分析方法，提出了兩種離面振動的光流檢測模型。最后，對懸臂梁進行了視覺振動檢測實驗，并與有限元仿真進行了對比，結(jié)果表明該方法無需圖像的特征提取，能夠有效地識別結(jié)構(gòu)的振動參數(shù)。

關(guān)鍵詞：光流；離面視覺；振動分析

結(jié)構(gòu)振動分析對現(xiàn)代工程結(jié)構(gòu)的性能評價和安全使用具有重要意義[1]。其中，結(jié)構(gòu)振動參數(shù)的識別是結(jié)構(gòu)振動分析的關(guān)鍵。傳統(tǒng)的振動分析方法通?；谝粋€或多個傳感器實現(xiàn)振動參數(shù)的識別，其檢測系統(tǒng)復(fù)雜，且在一定的程度上會影響結(jié)構(gòu)的固有動力學特性[2]。視覺測量作為非接觸、大范圍振動測量方法，得到了廣泛應(yīng)用和研究。

視覺測量方法中，基于結(jié)構(gòu)光、單攝像機以及多目立體視覺的測量方法得到廣泛的研究和應(yīng)用[3]。Xu等[4]利用結(jié)構(gòu)光測量系統(tǒng)，對復(fù)雜三維輪廓進行了高精度的尺寸測量及輪廓重建。Teyssieux等[5]利用單個高速CCD相機和顯微成像系統(tǒng)，實現(xiàn)MEMS懸臂梁的面內(nèi)運動精確測量。視覺振動分析主要包括數(shù)字圖像相關(guān)法、高速攝像法、特征提取法、區(qū)域匹配法等。Wang等[6]利用切比雪夫矩描述子對圖像的邊界特征進行分析，得到復(fù)合板的結(jié)構(gòu)模態(tài)。關(guān)柏青[7]提出了一種基于主動序列運動模糊圖像及幾何矩的面內(nèi)簡諧振動測量方法。王言磊等[8]利用散斑圖像相關(guān)技術(shù)對海洋平臺結(jié)構(gòu)模型振動位移進行了監(jiān)測。這些方法需要復(fù)雜昂貴的實驗設(shè)備、復(fù)雜的運算過程，如輔助光源、高精度相機、結(jié)構(gòu)光等；甚至要求對圖像特征的精確跟蹤。因此，相機性能和圖像特征提取對視覺測量結(jié)果影響大。

光流法是用圖像灰度模式的像素運動速度來估計物體的空間運動。光流算法主要包括Lueas-Kanade算法以及Lueas-Kanade改進算法、Hom-ehunek算法[9]、特征匹配法等。在目標分割、識別、跟蹤、機器人導(dǎo)航等重要的計算機視覺與圖像處理領(lǐng)域得到廣泛的應(yīng)用。Davis等[10]首先采用頻閃顯微視覺系統(tǒng)，綜合運用光流技術(shù)提取MEMS的二維面內(nèi)運動信息。王亮[11]通過特征點匹配光流算法實現(xiàn)了目標的檢測與跟蹤。Shao等[12]基于光流原理實現(xiàn)了頭部行為的檢測。

本文結(jié)合離面振動視覺檢測原理和光流運動估計原理，研究了離面振動光流分析檢測方法，提出了兩種離面測振光流法模型，并用于懸臂梁振動檢測。最后，通過本文所提方法進行了懸臂梁的離面振動測試實驗，并對不同的結(jié)構(gòu)振動分析方法進行了對比分析。研究結(jié)果表明，本文方法可準確識別振動頻率信息，對設(shè)備和環(huán)境要求低，避免了視覺測振中的圖像特征提取等問題。

1離面視覺測振原理

根據(jù)針孔成像模型，離面振動視覺測量原理如圖1所示。相機垂直振動方向成像，因離面位移造成物距大小的改變，使得成像大小相應(yīng)發(fā)生改變，通過分析這種成像變化即可獲得結(jié)構(gòu)振動特性。

圖1　攝像機成像等效針孔模型Fig.1 Pin-hole model of camera imaging

如圖1，O為攝像機光心，a為像距，b為物距，在t0時刻空間某點A(X(t0),Y(t0),Z(t0))，其圖像位置為B(x′(t0),y′(t0))。A相對相機只做離面運動，t時刻，A離面運動w(t)后到A′(X(t),Y(t),Z(t))，圖像位置B′(x′(t),y′(t))。由相似關(guān)系，像點x(t)位移為:

由于A只作離面運動，X(t)=X(t0),則上式可變?yōu)椋?/p>

(1)

由式(1)可知，隨著物距b的增加，離面位移引起的測量變化會顯著減小。在本文的實際測量中，物距b一般遠大于振動位移w(t)，則上式可以近似簡化為：

(2)

同理，

(3)

設(shè)G(X,Y)為系統(tǒng)的振型函數(shù)，g(t)為系統(tǒng)的單位脈沖響應(yīng)，則振動位移w(t)可由式(4)表示

w(t)=G(X,Y)g(t)

(4)

由圖1及式(2)、(3)可知，空間平面某點(X,Y為常數(shù))所對應(yīng)的像點坐標為時間的函數(shù)；而視頻上某點(x,y為常數(shù))所對應(yīng)的空間坐標為時間函數(shù)，即可定義N(t)=G(X(t),Y(t))，結(jié)合式(2)～(4)可得：

(5)

此時，像素位移反映了物體的離面運動，且X(t),Y(t),N(t),g(t)有相同的周期成分。由上可知，利用像素位移檢測離面振動時，需要準確知道圖像中特征的像素位置變化。因此圖像的特征提取與識別是該方法的關(guān)鍵。

2光流原理

光流的概念是Gibson在1950年首先提出來的。它是空間運動物體在觀察成像平面上的像素運動的瞬時速度。光流場是物體在三維真實世界中的運動場在二維圖像平面上的投影[13]。光流法就是研究如何利用圖像序列中的像素強度數(shù)據(jù)的時域變化和相關(guān)性來確定各自像素位置的“運動”，從而通過間接的方法近似得到空間物體的運動場[14]。

光流法一般有三個基本的前提假設(shè)[15]：① 相鄰幀之間的亮度恒定；② 視頻的取幀時間連續(xù)，相鄰幀之間物體的運動比較“微小”；③ 物體運動保持空間一致性，即同一子圖像的像素點具有相同的運動。

設(shè)I(x,y,t)是圖像像素點(x,y)在時刻t的亮度，根據(jù)光流的亮度恒定及“微小”運動假設(shè)，有

I(x+Δx,y+Δy,t+Δt)=I(x,y,t)

(6)

設(shè)圖像亮度I(x,y,t)隨時間平滑變化，根據(jù)Taylor級數(shù)展開，有：

I(x+Δx,y+Δy,t+Δt)=I(x,y,t)+…

(7)

式中，e是關(guān)于δx，δy，δt的高階誤差項。由式(6)、(7)可得：

即

Ixu+Iyv+It=0

(8)

(9)

分別為該點光流速度在x和y上的分量，反映了物體的運動狀況。

計算光流速度u,v的方法很多，本文采用Lueas-Kanade算法[16]。假設(shè)在一個小的空間鄰域Ω上運動矢量保持恒定，有

(10)

式中，q1,q2,…,qn為鄰域Ω內(nèi)的像素點。設(shè)

式(10)可以表示為

CU=D

(11)

利用最小二乘法求解方程組，解得U=(CTC)-1CTD即

(12)

3光流測振原理

3.1估計空間平面特征點P(X(t0),Y(t0))的離面(Z向)振動

根據(jù)式(5)，此時N(t0)=G(X(t0),Y(t0)),X(t0),Y(t0)為常數(shù)。P所對應(yīng)圖像坐標Q(x(t),y(t))為時間t的函數(shù)。根據(jù)式(9)光流速度的定義，有

kX(t0)N(t0)g′(t)

同理，

v(x(t),y(t))=kY(t0)N(t0)g′(t)

則

(13)

此時，光流速度即為脈沖響應(yīng)函數(shù)的微分。由于空間特征點在不同時刻的圖像坐標不同，因此，這種方法同樣要求每一幀圖像都需要準確跟蹤圖像特征點，從而得到特征點在不同時刻的光流速度，即空間特征法。

3.2由特定像點Q(x(t0),y(t0))估計空間振動

根據(jù)式(5)，此時，Q點在圖像中的坐標不變，其所對應(yīng)空間坐標P(X(t),Y(t)),N(t)=G(X(t),Y(t))為時間t的函數(shù)。根據(jù)式(9)光流速度的定義，有

同理，

v(x(t0),y(t0),t)=k[Y(t)N(t)g(t)]′

則

(14)

此時，光流速度是3個周期相同的信號的乘積。由于這種方法計算光流時的圖像坐標保持不變，因此不需要對圖像特征點進行跟蹤，即像點特征法。

3.3懸臂梁光流測振

懸臂梁的一階振型函數(shù)如式(15)所示，其中β為一階振型的特征值，L為懸臂梁的長度。

(15)

(16)

則懸臂梁振動位移函數(shù)為M(x,t)為[17]

(17)

根據(jù)式(5)，并令N(t)=G(X(t))得到離面振動的像素位移變化為

結(jié)合式(13)、(17)，即得到懸臂梁空間某點的振動速度為

結(jié)合式(14)、(17)，得到特定像素點的振動為

(20)

4實驗與分析

4.1實驗系統(tǒng)

實驗系統(tǒng)如圖2所示，其中相機為德國Baumer公司的TXG03c CCD相機，最高分辨率為656×490像素，最高分辨率下的最高幀率為90 Fps。實驗中，相機正對x-y面放置，相機中心軸與z軸平行。懸臂梁為長(x向)550 mm，寬(y向)30 mm，高(z向)3 mm的合金鋁板，其密度為2 900 kg/m3，楊氏模量為6.3×1010Pa。在懸臂梁x-y面中間，為黑白交界的特征線。本實驗為相機在140×140分辨率下，幀率為150 Fps時，在B點進行錘擊激勵。

圖2　實驗系統(tǒng)圖Fig.2 The diagram of the experimental system

4.2數(shù)據(jù)分析與比較

4.2.13種振動檢測方法的比較

圖3為t=2 s的原始圖像及光流計算圖像，其中光流計算矩陣為20×20。

圖3　原始圖像及光流計算圖像(t=2 s)Fig.3 The original image and figure of optical flow calculation when t=2 s

分別利用式(18)像素變化檢測法、式(19)的空間特征點光流法以及式(20)的像素特征點光流法對實驗數(shù)據(jù)進行分析與比較。圖4為K點所得到三種方法的響應(yīng)時域波形。

圖4　K點的時域響應(yīng)波形Fig.4 The time-domain response signals of point K

從圖4(a)與圖4(b)中看出，像素變化法與空間特征點光流法存在一定的相位差。根據(jù)式(18)、(19)可知，兩者之間相位差為α，當阻尼比ξ趨近于0時，α趨近與90°。根據(jù)式(13)，光流為位移的一階微分，因此圖4(b)比圖4(a)含有更多的噪聲成分。圖4(c)可知，波形會在C區(qū)域中為常數(shù)，這是由于如圖3(a)中圖像A區(qū)域和B區(qū)域的紋理不夠豐富，導(dǎo)致對應(yīng)的Ix=0,Iy=0，最終導(dǎo)致C區(qū)域中光流值為零。

圖5　K點的頻率響應(yīng)曲線Fig.5 The frequency response of point K

圖5為圖4對應(yīng)的頻率曲線。從圖5可知，上述3種方法測得結(jié)構(gòu)的一階固有頻率均為7.76 Hz，ANSYS仿真結(jié)果為7.96 Hz，兩者的誤差為2.51%。圖5(a)中并未識別出結(jié)構(gòu)的二階固有頻率，而圖5(b)與5(c)識別結(jié)構(gòu)的二階固有頻率為47.90 Hz，ANSYS仿真結(jié)果為49.88 Hz，兩者的誤差為3.97%。圖5(a)和圖5(b)中，邊緣提取的準確性直接影響結(jié)果的準確性。圖5(c)出現(xiàn)高階諧波成分，因為根據(jù)式(20)，光流速度是3個周期相同的信號的乘積，且N(t)=G(X(t),Y(t))≥0，因此，該算法所得到的頻率響應(yīng)曲線將出現(xiàn)高階諧波成分。但圖5(c)中的方法無需邊緣提取，算法簡單。

4.2.2任取特定圖像點的比較

如圖3(a)，在邊緣特征附近任取特征點J,K,L，利用式(20)得到三點的光流速度，其頻譜如圖6所示。

圖6　J、K、L三點的頻率響應(yīng)曲線Fig.6 The Frequency Response of point J, K and L

從圖6可知，在邊緣特征附近任取固定點可以對結(jié)構(gòu)的固有頻率有效識別，固有頻率對應(yīng)的幅值會有改變。由于特征點選取的不同，經(jīng)過紋理不夠豐富的區(qū)域A和區(qū)域B的時刻會相應(yīng)的改變，從而導(dǎo)致光流值為常數(shù)的位置發(fā)生改變，最終固有頻率對應(yīng)的幅值會發(fā)生改變。因此, 方法3可以在圖像中的任意點準確得到結(jié)構(gòu)的離面振動特性。

4.2.3與其他方法的比較

振動加速度檢測法是傳統(tǒng)的振動分析方法，而邊緣提取法是常用、成熟的圖像分析方法，本文采用加速度傳感器檢測法、邊緣提取法、像素特征點光流法分別對圖2(b)懸臂梁的結(jié)構(gòu)振動參數(shù)識別的結(jié)果進行分析對比。其中，加速度傳感器檢測法是用ICP壓電式加速傳感器采集懸臂梁的振動信號。ICP壓電式加速度傳感器型號為PCB-333B45，頻率范圍為10～3 000 Hz，靈敏度為51.7 mV/(mm·s-1)。圖7為三種方法的時域響應(yīng)及其對應(yīng)的頻率響應(yīng)。

圖7　三種方法的時域響應(yīng)及其對應(yīng)的頻率響應(yīng)Fig.7 The time-domain response signal and its corresponding frequency response of the three methods

由圖7可得到該試樣的一階、二階固有頻率；表1為該懸臂梁的一階、二階固有頻率與有ANSYS限元分析的結(jié)果對比。

由表1分析可知，接觸式加速度檢測的誤差最高，這是由于傳感器在一定的程度上影響懸臂梁的固有動力學特性。邊緣提取法的精度取決于邊界特征提取的準確度，因此對成像設(shè)備和環(huán)境具有一定的要求，需要復(fù)雜的運算或者昂貴的成像設(shè)備支撐，如高亮度的額外輔助光照條件、高分辨率相機等。本文提出的離面振動光流視覺測量方法能夠在常規(guī)成像條件下有效地識別結(jié)構(gòu)的振動參數(shù)，避免視覺測振中的圖像特征提取等問題。同時，與邊緣提取法相比，像素特征點光流法的識別誤差更低。

表1　試驗與仿真結(jié)果對比

5結(jié)論

視覺測量方法具有非接觸、大范圍測量等優(yōu)點。傳統(tǒng)的圖像測振方法需要特征匹配或者邊界特征提取等復(fù)雜運算或者借助復(fù)雜昂貴的成像設(shè)備。光流法對圖像亮度變化分析估計空間運動。本文研究了在常規(guī)成像條件下離面視覺測振模型，根據(jù)光流法運動估計的基本原理及結(jié)構(gòu)振型分析，建立了兩種離面振動光流法檢測模型。論文最后對懸臂梁進行了視覺振動檢測實驗，并與有限元仿真進行了對比，結(jié)果表明該方法無需圖像的特征提取，能夠有效地識別結(jié)構(gòu)的振動參數(shù)。

本文提出的基于光流法的離面視覺測量方法仍需要以下2個方面深入研究：

(1) 根據(jù)式(14)，光流速度是3個周期相同的信號的乘積。后期工作將對該信號進行分離，從而獲得結(jié)構(gòu)的振型函數(shù)；

(2) 本文光流法的視覺測量針對的是離面振動信號，今后將對三維復(fù)合振動信號進行深入研究，從而建立光流三維測振的一般分析方法。

參 考 文 獻

[1] 黃捷. 實驗?zāi)B(tài)分析中結(jié)構(gòu)建模的研究及虛擬式模態(tài)分析儀的研制[D].重慶:重慶大學,2010.

[2] 李德葆,陸秋海. 實驗?zāi)B(tài)分析及其應(yīng)用[M]. 北京: 科學出版社, 2001.

[3] 朱錚濤,黎紹發(fā). 視覺測量技術(shù)及其在現(xiàn)代制造業(yè)中的應(yīng)用[J]. 現(xiàn)代制造工程,2004(4):59-61.

ZHU Zheng-tao, LI Shao-fa. The technology of vision measurement and its application in the modern manufacture[J].Machinery Manufacturing Engineer,2004(4):59-61.

[4] Xu Jing, Liu Shao-li, Wan An,et al.An absolute phase technique for 3D profile measurement using four-step structured light pattern[J]. Optics and Lasers in Engineering, 2012(50): 1274-1280.

[5] Teyssieux D, Euphrasie S, Cretin B. MEMS in-plane motion/vibration measurement system based CCD camera[J]. Measurement, 2011, 44(10): 2205-2216.

[6] Wang W, Mottershead J E. Adaptive moment descriptors for full-field strain and displacement measurements[J]. The Journal of Strain Analysis for Engineering Design, 2012,48(1):16-35.

[7] 關(guān)柏青. 基于主動序列模糊圖像的運動估計和振動測量[D].上海:上海交通大學,2007.

[8] 王言磊,歐進萍. 散斑圖像相關(guān)數(shù)字技術(shù)在海洋平臺結(jié)構(gòu)模型振動位移測量中的應(yīng)用[J]. 世界地震工程,2006(1):94-98.

WANG Yan-lei, OU Jin-ping. Application of a digital speckle in age correlation technique to vibrationdisplacementmeasurement of an offshore platform model[J].World Earthquake Engineering,2006(1):94-98.

[9] Sun De-qing, Roth S, Black M J.Secrets of optical flow estimation and their principles[C]// Computer Vision and Pattern Recognition (CVPR).San Francisco,CA,2010.

[10] Davis C Q, Freeman D M. Using a light microscope to measure motions with nanometer accuracy[J]. Optical Engineering,1998,37(4): 1299-1304.

[11] 王亮. 光流技術(shù)及其在運動目標檢測和跟蹤中的應(yīng)用研究[D].長沙：國防科學技術(shù)大學,2007.

[12] Shao Hui, Zhao Qi-jie, Tu Da-wei.Head behavior detection method based on optical flow theory[C]//Intelligent Environments (IE), 2014 International Conference on.Shanghai,2014.

[13] Song Xiao-jing, Seneviratne L D, Althoefer K.A kalman filter-integrated optical flow method for velocity sensing of mobile robots[J].Mechatronics, IEEE/ASME Transactions on,2011,16(3):551-563.

[14] Barron J L, Fleet D J, Beauchemin S S. Performance of optical flow techniques[J]. International Journal of Computer Vision, 1994, 12(1): 43-77.

[15] Beauchemin S S, Barron J L. The computation of optical flow[J]. ACM Computing Surveys (CSUR),1995,27(3):433-466.

[16] 鄭馳. 基于光流法的單目視覺里程計研究[D].杭州：浙江大學,2013.

[17] 李克安. 等截面懸臂梁的振動分析[J]. 湖南大學邵陽分校學報,1989,1:18-21.

LI Ke-an. Vibration analysis of uniform cantilever beam [J].Journal of Hunan University Shaoyang Campus,1989,1:18-21.

Analysis of out-of-plane vibration using optical flow

YIN Ai-jun1,2, ZHANG Quan2, DAI Zong-xian3, XUE Lei2

(1. State Key Laboratory of Coal Mine Disaster Dynamics and Control, Chongqing University, Chongqing 400044, China;2. The State Key Laboratory of Mechanical Transmission, Chongqing University, Chongqing 400044, China;3. No1. Branch of Chongqing Academy of Metrology and Quality Inspection, Chongqing 402260, China)

Abstract:Visual vibration measurement has been extensively researched and applied due to its large range and non-contact characteristics. The principle of vibration detection based on the out-of-plane vision under conventional imaging condition was investigated. Models of vibration detection based on the out-of-plane vision were developed. According to these models and the principle of optical flow motion estimation, vibration measurement methods based on the out-of-plane vision using optical flow were discussed. Two basic models of vibration detection based on the out-of-plane vision using optical flow were proposed. The results of visual vibration detection experiments on a cantilever beam were rigorously compared with those of a finite element simulation to verify the efficacy of the proposed methods. It turns out that the proposed methods can effectively identify the vibration parameters of a structure without its image feature extraction.

Key words:optical flow; out-of-plane vision; vibration analysis

基金項目：中央高?；究蒲袠I(yè)務(wù)費專項資金資助項目(CDJZR13115501);重慶大學煤礦災(zāi)害動力學與控制國家重點實驗室開放課題(2011DA105287-FW201505)

收稿日期：2014-12-03修改稿收到日期：2015-04-21

中圖分類號:TH113

文獻標志碼：A

DOI:10.13465/j.cnki.jvs.2016.10.003

第一作者 尹愛軍 男，博士,教授,1978年5月生

E-mail:aijun.yin@cqu.edu.cn