考慮相機運動補償?shù)囊曈X模態(tài)測試方法

摘要： 基于計算機視覺的結構模態(tài)測試方法因其非接觸式的特點和全場測量的優(yōu)勢而備受關注，但此類方法對相機運動敏感，通常要求相機固定以保證測量精度。本文提出一種考慮相機運動補償?shù)囊曈X模態(tài)測試方法，采用基于特征匹配的單應變換對原抖動視頻進行校正，補償相機的六自由度運動以得到穩(wěn)定視頻；在結構表面設置“虛擬視覺傳感器”，利用歐拉視角的稠密光流法估計結構的振動響應；通過隨機子空間法識別結構的模態(tài)參數(shù)。為驗證所提方法的有效性，通過手持智能手機拍攝的方式采集模擬抖動的視頻，并開展懸臂梁的單頻振動試驗和模態(tài)辨識試驗。將視覺模態(tài)測試結果與掃描式激光多普勒測振儀的測試結果進行比較，前五階模態(tài)頻率和阻尼比的平均誤差分別低于0.4%和11.5%，模態(tài)振型的MAC矩陣對角值高于98%。試驗結果表明，所提方法有效地消除了相機運動的干擾，并獲得了良好的結構模態(tài)參數(shù)估計精度。

關鍵詞： 模態(tài)測試； 相機運動； 光流法； 隨機子空間法

中圖分類號： O327；TP391.4 文獻標志碼： A 文章編號： 1004-4523（2024）06-0976-10

DOI：10.16385/j.cnki.issn.1004-4523.2024.06.008

引 言

振動試驗是飛行器及其部/組件從理論研究走向工程實際的必要考核環(huán)節(jié)。為了獲取結構的振動響應，通常在結構的表面粘貼“接觸式”傳感器，例如加速度計、速度計、應變片等。此類傳感器種類豐富，技術較為成熟。近年來，隨著航空航天領域輕質薄壁結構的大量使用，“接觸式”傳感器帶來的附加剛度和附加質量對結構動力學性質的影響愈發(fā)顯著。在此類工程應用中，“非接觸式”傳感器由于不會改變結構的動力學特性而更有優(yōu)勢，其中較為成熟的產品有掃描式激光多普勒測振儀［1］（Scanning Laser Doppler Vibrometer，SLDV）和數(shù)字圖像相關（Digital Image Correlation，DIC）測量系統(tǒng)［2］等。然而，這些大型精密設備在模態(tài)測試之前需要較為復雜的試件表面處理及儀器標定過程，較為耗時且成本較高。

數(shù)字攝像機與光流算法的結合為基于單目視覺的振動檢測帶來了全新的方案——“視覺模態(tài)測試方法”［2］，其原理是利用結構表觀光流變化獲得結構的振動響應，再從表觀運動響應中辨識結構的模態(tài)參數(shù)。這類“非接觸式”振動測試方法不僅能夠實現(xiàn)測量的高空間分辨率、高頻率分辨率，而且具有成本低，布署與使用靈活的優(yōu)勢［3?6］，其運動檢測精度可達到亞像素級別［7?8］。Dong等［9］使用基于深度學習的全場光流對真實看臺進行了位移測量；Lu等［10］提出了一種結合光流算法與模態(tài)分析的視覺模態(tài)分析技術，對四層鋼框架進行了工作模態(tài)分析；王路倩等［11］使用稠密光流與運動放大算法對懸臂梁結構進行了全場工作模態(tài)分析。光流測振方法無需對結構的表面進行特殊處理，展現(xiàn)出極廣的應用前景。然而，當前大多數(shù)文獻中假設相機固定于慣性坐標系。在實際視覺模態(tài)分析中，部分場景下相機運動不可避免，例如乘坐交通工具時、地震災害后等受限情況下手持拍攝的視頻。在傳統(tǒng)的圖像和視頻分析領域，對于相機運動的研究通常以平滑視頻抖動、消除模糊效應為主要目標［12］，而在視覺振動檢測中則需要以提取和恢復視頻中結構的振動信息為目標。

相機運動對視覺振動檢測帶來的干擾按照運動分析視角的不同可以分成兩類方法：拉格朗日方法和歐拉方法。拉格朗日方法直接跟蹤視頻內目標物的特征點，提取的特征點運動是目標的真實運動（在慣性系中的運動）與相機運動的疊加。因而，采用該方法進行測振首先需基于特征檢測、模板匹配或信號分析對所測原始振動數(shù)據(jù)進行處理，再通過分離相機的運動信息獲得目標的真實運動。辛宜曈等［13］通過檢測視頻中距離目標物較近的不動點來近似計算相機的運動矩陣；Zhang等［14］采用了基于經(jīng)驗模態(tài)分解的方法消除無人機運動的干擾；Shao等［15］采用立體匹配和基于斑點的相對運動補償方法解決了立體DIC中的相機運動問題；Chen等［16］研究了無人機橋梁檢測中相機運動對DIC造成的干擾，通過檢測DIC的特征點計算單應變換（Homography Transformation）矩陣對抖動視頻進行校正。歐拉方法則聚焦于圖像固定位置上的物體運動，無需復雜的目標特征匹配，計算效率較高。然而，相機的運動會使得圖像目標位置觀察到的物體發(fā)生變化，從而產生虛假的運動估計。為了抑制這一影響，歐拉方法一般首先采用視頻穩(wěn)定算法對抖動視頻進行校正（通常是利用某種平面變換），再基于穩(wěn)定視頻進行振動檢測。Jana等［17］研究了基于仿射變換（Affine Transformation）的相機運動抑制算法，并成功從手持抖動視頻中估計了懸索橋的實時索力。然而，該算法中六參數(shù)的仿射變換模型只能抑制相機平動帶來的圖像扭曲和變形，尚缺乏對考慮相機多自由度空間運動的歐拉方法的研究。

此外，通過實際結構的動力學試驗驗證上述相機運動抑制算法的研究極為缺乏。Shao等［15］使用仿真DIC圖像驗證了靜態(tài)位移對測量結果的影響；Chen等［16］驗證了相機運動對結構單頻振動檢測結果的干擾；Jana等［17］驗證了視頻抖動導致的橋梁拉索前三階模態(tài)頻率辨識的誤差，以及對實時索力檢測能力的影響。針對復雜結構的模態(tài)試驗，從抖動的視頻中辨識出模態(tài)參數(shù)是極為嚴峻的挑戰(zhàn)：一方面，模態(tài)試驗中往往給被測試件施加寬頻隨機激勵，此時結構振動響應中包含多個模態(tài)的分量。除此之外，與單頻振動測試相比，各階模態(tài)隨機響應信號的幅值小、信噪比低，更容易受相機運動的影響。另一方面，模態(tài)試驗中期望得到結構更多的參數(shù)，例如各階模態(tài)的頻率、阻尼比和振型。此類復雜試驗尚未見公開的文獻報道。

本文提出了一種考慮相機運動補償?shù)囊曈X模態(tài)測試方法，并針對手持拍攝需求下的限制場景進行試驗分析。首先采用單應變換抑制相機運動帶來的視頻抖動，再利用歐拉視角的稠密光流法從穩(wěn)定的視頻中提取結構的振動信息，最后使用協(xié)方差驅動的隨機子空間法（Covariance?driven Stochastic Subspace Identification，Cov?SSI）辨識結構的多階模態(tài)參數(shù)。與通常的仿射變換相比，本文采用的八參數(shù)單應變換更為全面地補償了相機在三維空間中的運動［18］。為了驗證所提方法的有效性，利用手持智能手機拍攝的方式獲得含相機運動干擾的視頻，分別開展了懸臂梁的單頻振動試驗和模態(tài)辨識試驗。通過與掃描式激光多普勒測振儀的測試結果進行比較，驗證所提方法對抑制相機運動干擾的有效性，并檢驗模態(tài)參數(shù)估計的精度。

1 視覺模態(tài)測試方法

考慮相機運動的視覺模態(tài)測試方法的步驟如圖1所示，首先利用單應變換對抖動視頻進行校正得到穩(wěn)定視頻，再通過歐拉視角的光流算法從穩(wěn)定視頻中獲取結構的時域振動響應，最后基于Cov?SSI算法從結構響應數(shù)據(jù)中辨識得到結構的工作模態(tài)參數(shù)。

1.1 相機運動補償原理

相機在三維空間中存在六自由度的剛體運動，在笛卡爾坐標系下可描述為三個方向的平移和旋轉。如圖2所示，相機運動對應成像平面的運動，反映為視頻圖像序列的抖動。若將視頻首幀作為參考圖像，相機運動將導致視頻后續(xù)圖像幀相對參考圖像幀的扭曲與變形。若要消除這些影響，需借助平面變換來補償相機的運動。如圖3所示，常見的基本平面變換包括四參數(shù)的相似變換，六參數(shù)的仿射變換和八參數(shù)的單應變換。其中，單應變換考慮了相機六自由度運動帶來的平面變形［18］。此外，由于相機運動造成的視頻抖動是全局的，即視頻某幀圖像不同部分之間的運動是相關的，故序列圖像間存在著同樣的對象和特征。

基于上述特點，本文采用基于特征點匹配與單應變換的相機運動補償方法。如圖4所示，首先將視頻首幀作為參考圖像并提取特征點，再依次提取后續(xù)圖像幀的特征點，與參考圖像的特征點進行匹配后計算圖像間的單應變換矩陣。隨后基于單應變換矩陣將后續(xù)圖像變換至參考圖像的視角，即可獲得穩(wěn)定的視頻?？紤]到在短時間內相機的運動是較小的，根據(jù)視頻的拍攝幀率（Frames Per Second，F(xiàn)PS）更新參考圖像，減少校正圖像帶來的誤差積累。

1.1.1 特征點提取與匹配

特征點一般為圖像中的邊緣、角點和紋理變化明顯的區(qū)域，由關鍵點（描述了特征點的位置）和描述符（描述了特征點的特征）兩個量來確定。本文采用尺度不變特征變換（Scale?Invariant Feature Transform，SIFT）算法進行特征點檢測，SIFT算法綜合考慮了目標區(qū)域的梯度方向，強度（灰度值）以及特征尺度信息來描述目標，其特征點描述符具有在圖像縮放和旋轉下保持不變的性質［19］。

檢測得到參考圖像幀和當前圖像幀中的特征點集后，因目標結構存在柔性變形，首先過濾結構運動范圍內的特征點。良好的特征點應為慣性系中的固定點，例如試驗過程中的吊架、固支于地面的結構等。然后使用K近鄰算法（K?Nearest Neighbors，KNN）對當前圖像與參考圖像中的特征點進行匹配，K近鄰算法通過比較特征點描述符向量在高維特征空間中的距離對其進行匹配［20?21］。SIFT特征點的描述符為長度128的向量，設特征空間是128維實數(shù)向量空間，對參考圖像和當前圖像中的任意特征點描述符向量，，使用歐氏距離（L2范數(shù)）度量K近鄰：

（1）

根據(jù)歐氏距離度量，從參考圖像的特征點集中找出與當前圖像中任意特征點最鄰近的兩個特征點（最近鄰和第二近鄰），依據(jù)最近鄰與第二近鄰的距離比進行高效和正確的匹配。篩選的匹配項時能夠消除90%的錯誤匹配項，同時丟棄少于5%的正確匹配項。因為當最近鄰是正確匹配時，最近鄰要比第二近鄰更為接近；而當最近鄰為錯誤匹配時，由于特征空間的高維性，在相近的距離內可能存在許多錯誤匹配［19］。

圖5展示了抖動視頻中典型的兩幀圖像所匹配到的特征點，可以發(fā)現(xiàn)特征點間的連線反映了圖像各個部分相似的運動趨勢。

1.1.2 單應矩陣的計算

從當前圖像和參考圖像中匹配到足夠數(shù)量的特征點對后，如圖6所示，即可根據(jù)匹配點對的坐標計算圖像（成像平面）之間的單應變換矩陣H［22］：

（2）

其中：

。

式中 矩陣A反映了尺度、旋轉和剪切等仿射變換參數(shù)；參數(shù)t反映了平移變換參數(shù)；參數(shù)v反映了單應變換的非線性效應；參數(shù)s是與v相關的縮放因子，通常歸一化使s為1。故該變換矩陣H由8個參數(shù)確定。

考慮一般情況，任意一組匹配點，間有下式成立：

（3）

SAJ+Tk0yWb7hycwhEa22DoMuDWatxyaXmQJD/Umx9is=得到：

（4）

式中 hi為變換矩陣的未知系數(shù)。

計算當前圖像平面與參考圖像平面之間的變換矩陣H，使得反向投影錯誤率達到最小，即

（5）

式中 。

使用隨機抽樣一致算法（Random Sample Consensus， RANSAC）［23］對式（5）進行單應變換矩陣的參數(shù)估計，避免錯誤匹配點對的干擾。得到后續(xù)圖像相對參考圖像的單應變換矩陣H后，即可通過反向變換將后續(xù)圖像變換至參考圖像的視角，從而將抖動視頻變換至穩(wěn)定視頻。

1.2 基于穩(wěn)定視頻的模態(tài)參數(shù)辨識

將抖動視頻校正為穩(wěn)定視頻后，第二步使用基于歐拉視角的稠密光流提取目標結構的振動響應，并辨識結構的模態(tài)參數(shù)。

1.2.1 運動提取

視頻數(shù)據(jù)是按時序順序捕獲的圖像幀，每幀圖像為離散的的二維矩陣，可以認為是投影平面上關于灰度值的二維函數(shù)。圖像的灰度值受到對象表面特征和光照等因素的影響，當對象移動時，圖像序列的灰度值也將發(fā)生相應變化，因此某一像素的灰度值也是時間的函數(shù)，表示為。光流將圖像中像素灰度值的變化與像素的運動聯(lián)系起來，反映了物體的三維運動場在二維成像平面上的投影，即物體的表觀運動［24］。

結構動力學測試場景通常能夠滿足光流法的亮度恒定和小運動假設。歐拉視角的光流法在圖像上選擇固定區(qū)域、固定大小的“虛擬視覺傳感器”，使用Gunnar Farneback稠密光流法獲取每個傳感器所測結構的表觀運動，該方法僅利用相鄰幀進行幀間的運動估計，對連續(xù)幀之間快速變化且難以預測的位移具有較好的適用性。其基本思想是用多項式展開擬合每個像素的某個鄰域。以二次多項式為例，某個像素及其鄰域在某時刻的多項式擬合可表示為［25］：

（6）

根據(jù)像素及其鄰域的灰度值以加權最小二乘法估計式（6）的擬合系數(shù)。像素及其鄰域經(jīng)過全局運動d后在下一時刻可表示為：

（7）

同時可表示為：

（8）

由式（7）和（8）對應系數(shù)相等可求得像素及其鄰域的運動：

（9）

更詳細的敘述參見文獻［25］。受視頻拍攝噪聲、單應變換誤差和光流檢測算法精度的影響，直接采用歐拉視角的光流算法估計的結構振動響應存在一些異常值。首先對原始信號進行時域濾波來檢測和替換異常值，計算每個采樣值偏離中位數(shù)絕對值的標準差，如果采樣值與中位數(shù)相差三個以上標準差，則該采樣值將被中位數(shù)替換［26］。

1.2.2 工作模態(tài)分析

在視覺模態(tài)測試中，通過光流算法估計得到的結構運動響應是離散化的，考慮環(huán)境噪聲干擾得到系統(tǒng)離散時間狀態(tài)空間模型［27?29］：

（10）

式中 wk為環(huán)境噪聲干擾；vk為“虛擬”傳感器測量誤差帶來的噪聲干擾，此處包括視頻拍攝、單應變換、光流檢測等導致的測量誤差；xk為第k采樣時刻的系統(tǒng)狀態(tài)向量；yk表示第k采樣時刻的輸出向量，為“虛擬”傳感器觀測所得到的結構響應數(shù)據(jù)；表示系統(tǒng)狀態(tài)矩陣；表示系統(tǒng)輸出矩陣；M為測點數(shù)量；N為系統(tǒng)階數(shù)。

通過基于稠密光流的運動估計得到結構上M個“虛擬視覺傳感器”所測時域速度響應，將N個采樣點（取決于視頻幀率及拍攝時長）、M個測點的時域數(shù)據(jù)矩陣Y作為Cov?SSI的輸入辨識結構模態(tài)參數(shù)：

（11）

由振動理論可知，基于Cov?SSI求得系統(tǒng)狀態(tài)矩陣S和系統(tǒng)輸出矩陣C后，即可求得系統(tǒng)的模態(tài)參數(shù)。對系統(tǒng)狀態(tài)矩陣S進行特征值分解：

（12）

式中 對角矩陣，其中為矩陣的各階特征值。

各階模態(tài)頻率、阻尼比與模態(tài)振型如下式所示：

（13）

（14）

（15）

式中 表示采樣時間間隔。

2 試驗驗證

為驗證本文方法的有效性與精確度，開展了懸臂梁的單頻振動測量試驗和工作模態(tài)分析試驗，對比了相機運動干擾下直接視覺方法［11］（直接對抖動視頻進行歐拉視角的振動檢測與參數(shù)辨識）和補償視覺方法（補償相機運動后對穩(wěn)定視頻進行振動檢測與參數(shù)辨識）的測試結果，并將SLDV的測試結果作為參考基準進行了對比分析。

被測懸臂梁結構為（17.8×39.2×2016） mm3的鋼尺，如圖7所示，鋼尺頂部使用臺虎鉗固定于龍門架上，固接位置距離鋼尺底部為2000 mm。

考慮相機運動補償?shù)囊曈X模態(tài)測試環(huán)境如圖7（a）所示，使用無頻閃光源進行照明以避免室內頻閃燈的干擾，使用智能手機作為視頻采集設備，采用手持拍攝的方式獲取受相機運動干擾的抖動視頻。經(jīng)有限元仿真與理論計算，該懸臂梁結構前五階頻率在30 Hz內。根據(jù)香農?奈奎斯特采樣定理，為避免時域混疊，視頻拍攝幀率需大于結構模態(tài)頻率的2倍，設置視頻拍攝幀率為60 FPS，分辨率為1920×1080 pixel，錄制時長為60 s。

圖7（b）所示為采用SLDV作為測量設備的試驗場景，采用了德國Polytec公司生產的PSV?500全場掃描式激光多普勒測振儀，其速度分辨率優(yōu)于0.02 μm/s/1 Hz，掃描角度范圍為40°×50°。激光掃描頭距離結構約5 m，高度約為1.3 m，與懸臂梁中部對齊。懸臂梁從底端開始間距100 mm粘貼21個反光片作為SLDV的測點。

如圖8所示，視覺模態(tài)測試過程中，在被測結構上設置了與SLDV反光片相同位置的21個“虛擬視覺傳感器”，傳感器的大小為80×30 pixel。取每個傳感器水平方向的像素光流均值作為被測結構對應位置的動態(tài)響應。

如圖9所示，通過單應變換將第1080幀校正至第1幀視角，可以看到在1920×1080分辨率下變換前手持拍攝帶來的幀間圖像變形幅度在幾十像素量級，變換后幀間圖像的扭曲與變形基本被消除，變形幅度在像素級。

2.1 單頻振動測量試驗

使用信號發(fā)生器（Tektronix，AFG2021）和激振器（東華測試，DH40020）在懸臂梁固接端根部施加定頻為10 Hz的正弦激勵。

圖10顯示了21號測點的時頻域數(shù)據(jù)，并對比了直接視覺方法與補償視覺方法的振動檢測結果?？梢钥闯觯捎谑殖峙臄z導致的視頻微幅和低頻抖動，直接視覺方法存在較大的低頻干擾，同時其估計得到的測點運動幅值與補償視覺方法存在較大差異。這是因為直接視覺方法選擇了固定區(qū)域和大小的“虛擬視覺傳感器”，由于相機運動的干擾，被測結構在水平方向可能會移動至傳感器以外，如圖9（b）所示。

表1對比了直接視覺方法、補償視覺方法和SLDV測試方法對梁的振動頻率和幅值的估計結果。從頻率估計結果來看，直接視覺方法的檢測結果為10.003 Hz，補償視覺方法的結果為10.005 Hz（頻域分辨率為0.0083 Hz），二者的頻率測量精度都在理想范圍內。這反映了相機的低頻運動并不會顯著影響結構單頻運動下的頻率檢測精度。從幅值估計結果來看，直接視覺方法所得21個測點的幅值與SLDV所測結果的均方根誤差（Root Mean Square Error，RMSE）達20.81%，而補償視覺方法對應的RMSE降至12.12%，幅值誤差降低了41.76%，取得了較大的改善。這一改善從各測點的幅值對比中（圖11）可以更加清晰地觀察到。

2.2 懸臂梁工作模態(tài)分析試驗

給予懸臂梁根部附近初始力激勵，直接視覺方法與補償視覺方法所測結構響應的時頻數(shù)據(jù)如圖12所示。同樣的，由于手持拍攝導致的相機微幅、低頻的六自由度空間運動，直接視覺方法所測振動響應存在大量低頻噪聲，對識別結構的低階模態(tài)頻率造成一定干擾，同時各階模態(tài)頻率的幅值也存在較大差異。表2和3對比了直接視覺方法、補償視覺方法與SLDV測試方法得到的模態(tài)頻率和阻尼比。以SLDV測試方法得到的結果為基準，直接視覺方法估計的懸臂梁前五階模態(tài)頻率的平均誤差為6.59%，其中主要誤差來源為第一階模態(tài)，誤差達32.14%；而對高階模態(tài)頻率和阻尼比的估計相對準確，進一步說明手持拍攝帶來的運動干擾對低階模態(tài)的辨識影響更為顯著；前五階模態(tài)阻尼比的平均誤差為367%，誤差較大。采用補償視覺方法前五階模態(tài)頻率的平均誤差僅為0.39%，低階模態(tài)頻率誤差極大的降低，而前五階模態(tài)阻尼比的平均誤差為11.45%。由以上分析可知，利用相機運動補償算法，懸臂梁視覺模態(tài)測試結果中模態(tài)頻率誤差降低了94.08%，模態(tài)阻尼比誤差降低了96.88%。

圖13為懸臂梁工作模態(tài)振型的分析結果，直接視覺方法的低階振型識別結果相比SLDV的結果在一些測點（測點1，2，3，11，12，21）存在較大突變。如前文所述，當相機存在運動時被測結構可能移動至“虛擬視覺傳感器”以外。而補償視覺方法與SLDV的振型分析結果具有極佳的一致性。采用模態(tài)置信準則（Modal Assurance Criteria，MAC）評價直接視覺方法與補償視覺方法所測振型與SLDV所測振型的相似度。如圖14（b）所示，補償視覺方法與SLDV的前五階MAC矩陣對角線元素分別為99.19%，99.39%，98.81%，98.64%和98.18%，非對角線元素趨近于零，均值僅為1.10%。

3 結 論

本文提出了一種考慮相機運動補償?shù)囊曈X模態(tài)測試方法，該方法基于單應變換抑制相機運動帶來的視頻抖動，利用稠密光流法獲取結構振動響應，通過隨機子空間法辨識結構模態(tài)參數(shù)。依據(jù)手持拍攝條件下懸臂梁單頻振動試驗和模態(tài)辨識試驗表明本文所提方法在類似限制場景下能夠有效地抑制相機運動干擾。以SLDV測試方法獲得的結果為基準，考慮相機運動補償?shù)囊曈X模態(tài)測試方法對懸臂梁的前五階模態(tài)頻率辨識誤差低于0.4%，模態(tài)阻尼比辨識誤差低于11.5%，MAC矩陣對角值高于98%。本方法有效抑制了相機運動對歐拉視角的視覺模態(tài)測試的干擾，較為精準地獲得了結構的模態(tài)參數(shù)。

本文提出的方法具有成本低、布署靈活、無需在結構表面進行人工標記等優(yōu)勢，但仍在以下方面值得進一步研究：（1）視頻校正后圖像序列間的運動仍為像素級別，對亞像素級別的微弱振動的檢測精度值得探究。（2）基于平面變換的相機運動補償在某些復雜環(huán)境（如特征點過少且具有顯著景深變化時）存在較大幅度的圖像變形問題，如何減少該類校正誤差需深入探究。

參考文獻：

［1］ Chen D M， Xu Y F， Zhu W D. Identification of damage in plates using full-field measurement with a continuously scanning laser Doppler vibrometer system［J］. Journal of Sound and Vibration， 2018， 422： 542-567.

［2］ 王興， 王路倩. 一種基于光流法的結構微幅振動工作模態(tài)分析方法： 202111410401.0［P］. 2022-03-15.

［3］ Baqersad J， Poozesh P， Niezrecki C， et al. Photogrammetry and optical methods in structural dynamics?a review［J］. Mechanical Systems and Signal Processing， 2017， 86（B）： 17-34.

［4］ Bhowmick S， Nagarajaiah S， Lai Z. Measurement of full-field displacement time history of a vibrating continuous edge from video［J］. Mechanical Systems and Signal Processing， 2020， 144： 106847.

［5］ Luan L L， Zheng J W， Wang M L， et al. Extracting full-field subpixel structural displacements from videos via deep learning［J］. Journal of Sound and Vibration， 2021， 505： 116142.

［6］ Javed A， Lee H， Kim B， et al. Vibration measurement of a rotating cylindrical structure using subpixel-based edge detection and edge tracking［J］. Mechanical Systems and Signal Processing， 2022， 166： 108437.

［7］ Javh J， Slavi? J， Bolte?ar M. The subpixel resolution of optical-flow-based modal analysis［J］. Mechanical Systems and Signal Processing， 2017， 88： 89-99.

［8］ Diamond D H， Heyns P S， Oberholster A J. Accuracy evaluation of sub-pixel structural vibration measurements through optical flow analysis of a video sequence［J］. Measurement， 2017， 95： 166-172.

［9］ Dong C Z， Celik O， Catbas F N， et al. Structural displacement monitoring using deep learning-based full field optical flow methods［J］. Structure and Infrastructure Engineering， 2020， 16（1）： 51-71.

［10］ Lu Z， Lin G， Wang L. Output-only modal parameter identification of structures by vision modal analysis［J］. Journal of Sound and Vibration， 2021， 497： 115949.

［11］ 王路倩， 王振宇， 王興. 結構全場工作模態(tài)分析的計算機視覺測振方法［J］. 振動工程學報， 2024， 37（2）： 226-236.

Wang L Q， Wang Z Y， Wang X. Full-field structural modal analysis based on visual vibrometry［J］. Journal of Vibration Engineering， 2024， 37（2）： 226-236.

［12］ Guilluy W， Oudre L， Beghdadi A. Video stabilization： overview， challenges and perspectives［J］. Signal Processing： Image Communication， 2021， 90： 116015.

［13］ 辛宜曈， 曹文霞， 陳鯨， 等. 抗相機運動干擾的歐拉視頻振動檢測［J］. 計算機工程與應用， 2022， 58（17）： 277-284.

Xin Y T， Cao W X， Chen J， et al. Eulerian video vibration detection against camera motion interference［J］. Computer Engineering and Applications， 2022， 58（17）： 277-284.

［14］ Zhang C， Tian Y， Zhang J. Complex image background segmentation for cable force estimation of urban bridges with drone‐captured video and deep learning［J］. Structural Control and Health Monitoring， 2022， 29（4）： e2910.

［15］ Shao X， He X. Camera motion-induced systematic errors in stereo-DIC and speckle-based compensation method［J］. Optics and Lasers in Engineering， 2022， 149： 106809.

［16］ Chen G， Liang Q， Zhong W， et al. Homography-based measurement of bridge vibration using UAV and DIC method［J］. Measurement， 2021，170： 108683.

［17］ Jana D， Nagarajaiah S. Computer vision?based real?time cable tension estimation in Dubrovnik cable‐stayed bridge using moving handheld video camera［J］. Structural Control and Health Monitoring， 2021， 28（5）： e2713.

［18］ Szeliski Richard. 計算機視覺——算法與應用［M］. 艾海舟， 興軍亮， 等譯. 北京： 清華大學出版社， 2012.

［19］ Lowe D G. Distinctive image features from scale-invariant keypoints［J］. International Journal of Computer Vision， 2004， 60（2）： 91-110.

［20］ 李航. 統(tǒng)計學習方法［M］. 2版. 北京： 清華大學出版社， 2019.

［21］ Cover T， Hart P. Nearest neighbor pattern classification［J］. IEEE Transactions on Information Theory， 1967， 13（1）： 21-27.

［22］ Hartley Richard， Zisserman Andrew. 計算機視覺中的多視圖幾何［M］. 韋穗， 楊尚駿， 章權兵， 等譯. 合肥： 安徽大學出版社， 2002.

［23］ Fischler M A， Bolles R C. Random sample consensus： a paradigm for model fitting with applications to image analysis and automated cartography［J］. Communications of the ACM， 1981， 24（6）： 381-395.

［24］ 伯特霍爾德·霍恩. 機器視覺［M］. 王亮， 蔣欣蘭，譯. 北京： 中國青年出版社， 2014.

［25］ Farneb?ck G. Two-Frame Motion Estimation Based on Polynomial Expansion［M］. Berlin， Heidelberg： Springer， 2003： 363-370.

［26］ Liu H， Shah S， Jiang W. On-line outlier detection and data cleaning［J］. Computers and Chemical Engineering， 2004， 28（9）： 1635-1647.

［27］ Brincker R， Andersen P. Understanding stochastic subspace identification［C］//Conference Proceedings： IMAC-XXIV： A Conference & Exposition on Structural Dynamics. St. Louis， Missouri， US： Society for Experimental Mechanics， 2006.

［28］ Van Overschee P， De Moor B L. Subspace Identification for Linear Systems： Theory?Implementation? Applications［M］. New York： Springer， 1996.

［29］ Zabel V. Operational modal analysis-theory and aspects of application in civil engineering［D］. Weimar： Bauhaus?Universit?t Weimar， 2019.

Vision-based structural modal analysis in presence of camera motions

WANG Zhen-yu1， WANG Lu-qian1， WANG Xing1，2

（1.School of Aeronautics and Astronautics， Shenzhen Campus of Sun Yat-sen University， Shenzhen 518107， China；2.Shenzhen Key Laboratory of Intelligent Microsatellite Constellation， Shenzhen 518107， China）

Abstract： Vision-based modal analysis techniques have gained attention due to their non-contact， full-field measurement capabilities， making them particularly suitable for the dynamic testing of large-scale or thin-walled structures. However， these techniques often require cameras to be fixed to the ground to avoid coupling with the vibrations of the test structure， a requirement that can be too restrictive in real-world applications. This paper proposes a method to compensate for camera motion using homography transformation， followed by the extraction of the test structure’s movement by applying the dense optical flow method to the stabilized video. The procedure involves transforming the video captured by a moving camera using feature matching algorithms， where a homography matrix compensates for six degrees of camera motions. Several "virtual vision sensors" are selected on the edges of the structure， and their vibrations are estimated using optical flow methods. Structural modal parameters are then extracted from the output-only data using stochastic subspace identification algorithms. The proposed procedure was applied to videos recorded using a moving smartphone to conduct an operating modal analysis of a 2 m cantilevered beam. To validate the procedure， the vision-based analysis results were compared with measurements taken with a Scanning Laser Doppler Vibrometer. The results show an average discrepancy of 0.4% and 11.5% for the first five natural frequencies and damping ratios of the beam， respectively. The mode shapes also show strong correlation between the two measurement techniques， as indicated by the diagonal MAC values greater than 98%. Therefore， the proposed procedure effectively cancels out camera motions and achieves accurate estimation of structural modal parameters.

Key words： modal analysis； camera motion； optical flow method； stochastic subspace identification

作者簡介： 王振宇（1997―），男，碩士研究生。E-mail： wangzhy237@mail2.sysu.edu.cn。

通訊作者： 王 興（1989―），男，博士，副教授。E-mail： wangxing5@mail.sysu.edu.cn。