利用雙目視覺方法的車身振動響應(yīng)識別與分析

林文梁，王曉佳，李國興，吳 通，贠星辰

(太原理工大學(xué) 機(jī)械與運(yùn)載工程學(xué)院， 太原 030024)

隨著無人駕駛車輛的出現(xiàn)，各國對汽車的主動安全方面提出了更高的要求，不僅限于環(huán)境的感知，車輛自身的狀態(tài)監(jiān)測也至關(guān)重要。統(tǒng)計(jì)數(shù)據(jù)表明：車輛懸架系統(tǒng)故障在所有故障中占比較大，如懸架彈性元件、阻尼器故障會減小車輛對路面激勵的緩沖，導(dǎo)致車輛振動能量無法被耗散，不但會嚴(yán)重影響汽車平順性，還可能導(dǎo)致車輛失控，造成嚴(yán)重交通事故。對于無人駕駛車輛，缺失了駕駛員對整車的狀態(tài)感知和故障排查，一旦發(fā)生懸架故障，危害性極大。通過測量車輛受激狀態(tài)的振動可實(shí)現(xiàn)對懸架系統(tǒng)的監(jiān)測，從而實(shí)現(xiàn)車輛行駛的主動安全控制。

常見的振動測量方法有IMU測量、視覺測量以及電磁測量等。目前最常使用的IMU測量設(shè)備必須固定在被測物體上，同時(shí)儀器自身存在漂移問題，隨著智能車技術(shù)的發(fā)展，基于機(jī)器視覺的雙目視覺三維振動測量技術(shù)的優(yōu)越性逐漸顯現(xiàn)出來。視覺測量振動多是將攝像頭固定于一個(gè)確定的世界坐標(biāo)系點(diǎn)，通過識別被測物體或系統(tǒng)上的標(biāo)志點(diǎn)，獲取其位移、速度、加速度等振動信息。Avitabile等[1]通過對比不同振動測量方法的優(yōu)缺點(diǎn)，提出了一種用視覺測量結(jié)構(gòu)振動的方法；徐秀秀等[2]在柔性臂上安裝光源標(biāo)記用于振動測量，同時(shí)搭建了實(shí)驗(yàn)系統(tǒng)，可以實(shí)時(shí)在線地采集和處理圖像，動態(tài)顯示當(dāng)前時(shí)刻振動位移，并對信號進(jìn)行處理；黃鵬程等[3]利用雙目視覺原理設(shè)計(jì)了一種多點(diǎn)三維振動測量系統(tǒng)，通過同時(shí)對多個(gè)設(shè)定好的標(biāo)志點(diǎn)進(jìn)行匹配實(shí)現(xiàn)三維測振；邱志成等[4]通過雙目視覺對柔性臂上的多個(gè)特征點(diǎn)同時(shí)進(jìn)行匹配，進(jìn)而獲取柔性臂的定點(diǎn)和旋轉(zhuǎn)振動信號，并對振動信號進(jìn)行模態(tài)分析獲取柔性臂的振動特性，為抑制振動模塊提供信息；臧旭等[5]通過視覺測量柔性太陽翼振動，獲取其模態(tài)頻率和振型；除了對特征點(diǎn)與試驗(yàn)結(jié)構(gòu)進(jìn)行研究，熊文等[6]在數(shù)字圖像相關(guān)法(DIC)的理論基礎(chǔ)上，提出了一種基于幾何特征提取的連通域識別算法，提高了特征識別的準(zhǔn)確性和魯棒性。另有將視覺傳感器布置于被測物體或系統(tǒng)上，通過識別位于空間固定點(diǎn)的標(biāo)志，進(jìn)而獲取物體的振動信息；李田等[7]為測量軌道車輛運(yùn)行時(shí)車體姿態(tài)變化，提出一種利用面陣相機(jī)和線激光組合的攝影測量方法，實(shí)現(xiàn)了在線檢測車體姿態(tài)的目的。

本文將雙目相機(jī)固定于車身上，對車輛施加特定的路面激勵，通過連續(xù)高幀率拍攝序列照片，分析車輛前方固定特征點(diǎn)在相機(jī)坐標(biāo)系中的三維坐標(biāo)變化，進(jìn)而獲取車輛的受激振動信息。在車輛前方布置2個(gè)圓環(huán)標(biāo)志物，通過左、右相機(jī)同步采集標(biāo)志物圖像，對圓環(huán)進(jìn)行處理，獲取圓環(huán)中心的像素坐標(biāo)，利用雙目測距原理和運(yùn)動解耦方法，反推車輛的振動信息，將雙目相機(jī)與IMU獲取的信息進(jìn)行對比，分析雙目測量的有效性和準(zhǔn)確性。

1 雙目測量車身振動原理

1.1 雙目視覺模型

雙目立體視覺是機(jī)器視覺的一種重要形式，它是基于視差原理并利用成像設(shè)備從不同的位置獲取被測物體的2幅圖像，通過計(jì)算圖像對應(yīng)點(diǎn)間的位置偏差，來獲取物體三維幾何信息。

圖1描述的是雙目立體視覺測距原理。通過同步采集左右相機(jī)的圖像，計(jì)算圖像間視差，進(jìn)而估計(jì)每一個(gè)共同視野內(nèi)像素的深度。圖2中OL、OR為左右相機(jī)中心，b為相機(jī)中心間距即基線，f為相機(jī)焦距，PL(xL,yL)和PR(xR,yR)分別為空間點(diǎn)P(X,Y,Z)在左右相機(jī)成像平面的投影點(diǎn)。通過相似三角形幾何關(guān)系，可得到：

(1)

解方程(1)，可得：

(2)

式中：d為左右圖像中橫坐標(biāo)之差(視差)。

由式(2)可知,只要獲取標(biāo)定后雙目的內(nèi)參、基線b以及視差，即可唯一地求出空間點(diǎn)P的三維坐標(biāo)。

圖1 雙目立體視覺測距原理示意圖

使用張正友標(biāo)定法[8-9]對雙目系統(tǒng)進(jìn)行標(biāo)定，以獲得雙目相機(jī)內(nèi)外參數(shù)，用于圖像畸變校正與雙目測距算法輸入。

1.2 車身振動測量原理

相機(jī)隨車身運(yùn)動由平移和旋轉(zhuǎn)組成?？递W非等[10-11]將空間特征點(diǎn)分為遠(yuǎn)點(diǎn)(雙目視差為零的點(diǎn))和近點(diǎn)(雙目視差非零點(diǎn))2種。其中近點(diǎn)包含相機(jī)平移和旋轉(zhuǎn)運(yùn)動，遠(yuǎn)點(diǎn)僅包含相機(jī)旋轉(zhuǎn)運(yùn)動。通過相鄰幀間的遠(yuǎn)點(diǎn)解算相機(jī)的旋轉(zhuǎn)運(yùn)動，獲得旋轉(zhuǎn)量后，通過近點(diǎn)估算相機(jī)平移量。此方法在遠(yuǎn)點(diǎn)容易獲取的環(huán)境中性能較好，但在相機(jī)運(yùn)動速度快和遠(yuǎn)點(diǎn)不易獲取的環(huán)境中，性能有待提升。為精確測量車輛過減速帶時(shí)的振動，本文在車輛行駛前方設(shè)置了特定標(biāo)志物，將車輛分階段簡化為剛體運(yùn)動，通過獲取標(biāo)志點(diǎn)的相對位移，解算相機(jī)平移和旋轉(zhuǎn)運(yùn)動。圖2中分別描述了前輪與后輪受激下的車身俯仰以及圖像中的標(biāo)志物相對位移。分別分析2個(gè)極限位置點(diǎn)(前輪到達(dá)激勵最高點(diǎn)與后輪到達(dá)激勵最高點(diǎn))處平移運(yùn)動占標(biāo)志物相對位移的比例，幾何分析和實(shí)車測量表明，前者占比為14.05%，后者占比為6.08%。

圖2 車身振動示意圖

車輛行駛動力學(xué)分析時(shí)通常建立整車7自由度模型，雖然對真實(shí)的車輛而言，已非常簡化，但考慮到低頻路面激勵下的左右輪運(yùn)動軌跡相關(guān)性，高頻路面激勵只影響車輪跳動，對車身運(yùn)動影響甚微，可將模型簡化為4自由度半車模型[12]；在此基礎(chǔ)上，對模型進(jìn)行動力學(xué)等效處理，可將車輛進(jìn)一步簡化為2自由度模型(前懸架決定前軸處集中質(zhì)量塊的運(yùn)動，后懸架決定后軸處集中質(zhì)量塊的運(yùn)動)，前后部分之間相互影響很小[13]?；诖耍珊侠淼貙⑶?、后輪過減速帶時(shí)的單獨(dú)激勵進(jìn)行分解。當(dāng)車輛前輪通過路面激勵時(shí)，將車輛簡化為繞后輪輪芯旋轉(zhuǎn)的剛體，當(dāng)車輛后輪通過路面激勵時(shí)，將車輛簡化為繞前輪輪芯旋轉(zhuǎn)的剛體，記錄2次激勵引起振動達(dá)到峰值的時(shí)間點(diǎn)，取兩時(shí)間點(diǎn)的中點(diǎn)為切換點(diǎn)。簡化模型如圖3所示，其中L1表示相機(jī)光心距后輪輪芯距離，∠A表示其連線與水平位置夾角；L2表示相機(jī)光心距前輪輪芯距離，∠B表示其連線與水平位置夾角；Wb為車輛軸距。

圖3 乘用車簡化模型示意圖

2次激勵下求解車身俯仰運(yùn)動過程如下：圖4(a)中P1為車輛初始狀態(tài)后輪芯位置,P2為車輛運(yùn)動過程中t時(shí)刻輪芯位置。∠C為對應(yīng)旋轉(zhuǎn)角，相機(jī)射出的實(shí)線表示相機(jī)光軸，D1為標(biāo)志點(diǎn)相對位移，D2為相機(jī)平移運(yùn)動量，D3為P2時(shí)標(biāo)志點(diǎn)對應(yīng)深度。結(jié)合整車簡化圖，有：

(3)

式中: ∠A和L1由實(shí)車測量得到，D1由圖像特征識別獲得像素位移對應(yīng)的空間真實(shí)位移，D3通過雙目測距原理計(jì)算得到。規(guī)定逆時(shí)針方向旋轉(zhuǎn)時(shí)，∠C為正值。求解方程組，可求得每一時(shí)刻對應(yīng)的旋轉(zhuǎn)角∠C。

圖4(b)中P3為車輛初始狀態(tài)前輪輪芯位置，P4為車輛運(yùn)動過程中t時(shí)刻輪芯位置。∠E為對應(yīng)旋轉(zhuǎn)角，相機(jī)射出的實(shí)線表示相機(jī)光軸，D5為標(biāo)志點(diǎn)相對位移，D4為相機(jī)平移運(yùn)動量，D6為P4時(shí)標(biāo)志點(diǎn)對應(yīng)深度。結(jié)合整車簡化圖，同理，有：

(4)

式中： ∠B和L2由實(shí)車測量得到，求解方程組，即可得到每一時(shí)刻對應(yīng)的旋轉(zhuǎn)角∠E，其中逆時(shí)針方向旋轉(zhuǎn)為正值。

圖4 運(yùn)動解耦原理示意圖

由于受相機(jī)標(biāo)定和像素誤差影響，雙目測得的深度信息波動較大，且波動隨距離增加而增大，因此為了使深度信息更加可靠，增加了新的約束。通過設(shè)置已知中心間距為m的2個(gè)圓環(huán)標(biāo)志，獲取圓心像素坐標(biāo)，獲得像素差i，同時(shí)相機(jī)視場角±α以及圖像分辯率(640×480)已知，因此，有式(5)：

譯文： Some officials are not fulfilling their duties properly. They sidestep difficult problems and matters of public concern, argue and pass the buck, and tackle their responsibilities in a perfunctory manner…[2]467

(5)

式中：W表示標(biāo)志點(diǎn)所在深度處相機(jī)的取景寬度，D為由視場角推出的標(biāo)志點(diǎn)深度。

由此，得到了標(biāo)志點(diǎn)的深度信息，過程中并未使用雙目特征匹配，對相機(jī)雙目標(biāo)定精度以及特征匹配無依賴，可作為雙目深度信息的約束。

2 目標(biāo)識別系統(tǒng)

2.1 原理方法

圖5描述的是目標(biāo)識別系統(tǒng)。將成功標(biāo)定的2個(gè)相機(jī)的內(nèi)參、外參和畸變系數(shù)用于圖像的立體校正和立體匹配，通過對視頻抽幀生成序列圖像，調(diào)用雙目立體匹配算法獲得視差圖，進(jìn)而獲得圖像各像素點(diǎn)的深度信息；同時(shí)對序列圖像進(jìn)行灰度和二值化處理，調(diào)用邊緣檢測算法對邊界進(jìn)行檢測，使用Hough變換，調(diào)整相關(guān)參數(shù)，獲得標(biāo)志物2個(gè)圓環(huán)圓心的像素坐標(biāo)，查詢對應(yīng)點(diǎn)處深度信息；記錄幀間標(biāo)志點(diǎn)對應(yīng)像素位移，獲取目標(biāo)點(diǎn)相對三維運(yùn)動，反推相機(jī)運(yùn)動；使用1.2節(jié)中提出的解算方法，對相機(jī)平移和旋轉(zhuǎn)運(yùn)動進(jìn)行解耦，求解得到相機(jī)俯仰角-時(shí)間關(guān)系；對IMU數(shù)據(jù)進(jìn)行分析，獲得俯仰角-時(shí)間關(guān)系；對2組數(shù)據(jù)進(jìn)行對比，分析差異。

圖5 目標(biāo)識別系統(tǒng)框圖

2.2 圓心像素坐標(biāo)獲取方法

由于在車輛行進(jìn)過程中，標(biāo)志物的投影隨距離減小而不斷增大，直接檢測圓環(huán)將會導(dǎo)致出現(xiàn)較多‘假目標(biāo)’的現(xiàn)象，因此針對標(biāo)志點(diǎn)的圓心坐標(biāo)獲取，分別使用了Roberts算子、Prewitt算子、Sobel算子、Laplacian算子、Canny算子對標(biāo)志物進(jìn)行邊緣檢測。通過對比分析，Canny算子在低閾值設(shè)置為50、高閾值為150的情況下邊界識別效果最好。同時(shí)Hough變換設(shè)置檢測圓的半徑范圍，剔除誤識別目標(biāo)。

3 試驗(yàn)系統(tǒng)

基于車載雙目視覺測量車身振動試驗(yàn)系統(tǒng)如圖6所示，由測量模塊、標(biāo)志物、路面激勵和車輛構(gòu)成。其中測量模塊如圖7所示，由雙目相機(jī)和IMU模塊組成，自主搭建的雙目相機(jī)最大分辨率為2 560×760，最大幀數(shù)為90 fps，基線可調(diào)節(jié)，試驗(yàn)中基線設(shè)定為120 mm，配備8 mm焦距鏡頭；IMU模塊布置于相機(jī)中心處，試驗(yàn)前進(jìn)行校準(zhǔn)，最大采樣頻率為200 Hz；標(biāo)志物為圓心等高的2個(gè)圓環(huán)，外徑為400 mm，內(nèi)徑為300 mm，間距為580 mm；路面激勵分為2種，截面分別為30 mm×350 mm和50 mm×350 m，長度為2 500 mm；所使用的車輛為小型純電乘用車。 測量模塊水平固定于車輛前擋風(fēng)玻璃上，選擇一條平直道路，分別布置2種路面激勵，在其10 m遠(yuǎn)處設(shè)計(jì)龍門形式的標(biāo)志懸掛裝置，調(diào)整懸掛高度，使圓環(huán)圓心與相機(jī)盡量保持等高。為了能夠更加清晰地識別標(biāo)志物，標(biāo)志物背景選擇白色，減小圖像處理難度。為了保證相機(jī)高幀率抓取圖片，需要有足夠的光照強(qiáng)度。

圖6 車身振動試驗(yàn)系統(tǒng)示意圖

圖7 測量模塊

汽車行駛動力學(xué)中針對懸架設(shè)計(jì)的剛體動力學(xué)，研究頻率范圍一般為0.25～15 Hz，依據(jù)香農(nóng)采樣定理，為了不失真地恢復(fù)模擬信號，采樣頻率應(yīng)該大于模擬信號頻譜中最高頻率的2倍。若要完整識別車輛的剛體運(yùn)動信號，需要采樣頻率不低于30 Hz，本實(shí)驗(yàn)設(shè)備滿足實(shí)際測量需求。

4 實(shí)車試驗(yàn)

4.1 試驗(yàn)設(shè)計(jì)

為論證雙目測量方法的有效性和適應(yīng)性，試驗(yàn)分為2部分,第1部分使用電動乘用車進(jìn)行實(shí)車路試試驗(yàn)，第2部分使用方程式賽車進(jìn)行試驗(yàn)。乘用車試驗(yàn)布置如圖8(a)所示，圖右側(cè)為標(biāo)志物，車輛前方布置了矩形激勵，通過更換高為30 mm和50 mm的矩形路面激勵，設(shè)置一系列等差序列車速[14]，勻速通過，相機(jī)幀率為60 fps，分辨率為1 280×480，IMU采樣頻率為100 Hz，同時(shí)側(cè)方位布置一臺幀率為120 fps的相機(jī)對整車進(jìn)行拍攝，用于檢驗(yàn)車輛模型的簡化是否合理。賽車試驗(yàn)中將雙目相機(jī)及IMU置于駕駛艙前橫梁上，使相機(jī)光軸盡量保持水平，標(biāo)志物置于車前10 m位置，調(diào)節(jié)標(biāo)志高度，中心保持與相機(jī)等高。方程式試驗(yàn)如圖8(b)所示,激勵為階段性踩踏車架橫梁，使車身進(jìn)行俯仰運(yùn)動，相機(jī)幀率60 fps，分辨為 1 280×480,IMU采樣頻率為100 Hz。同時(shí)在已知賽車完整參數(shù)情況下，利用多體動力學(xué)仿真軟件，設(shè)置同類型激勵，參照王朝輝等[15]的方法，對賽車進(jìn)行仿真，作為IMU與雙目測量結(jié)果的參考。

圖8 試驗(yàn)照片

4.2 數(shù)據(jù)分析

在不同試驗(yàn)條件下進(jìn)行試驗(yàn)后，通過對序列圖像的分析和運(yùn)動解耦處理，分別得到2種測量方式測得的車身剛體運(yùn)動曲線。圖9為車輛以不同車速勻速通過高度為30 mm的矩形激勵時(shí)的俯仰角-時(shí)間曲線[16]。

圖9(a)中第一波谷是由前輪過激勵激發(fā)，t=3 s之后的波峰為后輪過激勵激發(fā)。由圖可知，雙目測量和IMU測量所得的曲線能夠較好地貼合，最大差值為0.23°，雙目測量所得曲線未進(jìn)行濾波處理，整體存在較小波動，IMU由于內(nèi)置了濾波模塊，整體曲線較為光順?？v向?qū)Ρ认嗤?、不同車速下的曲線，隨著車速的增加，俯仰角的幅度在減小，同時(shí)曲線的平滑程度在降低，2條曲線之間的貼合度變差。其中俯仰幅值的減小是由于所用的激勵寬度為35 cm，而懸架壓縮行程阻尼系數(shù)一般僅為拉伸行程的30%～60%，更大的速度下，懸架未及時(shí)回彈就已通過激勵，因此峰值逐漸減??；同時(shí)更高的車速帶來更大的加速度，會激發(fā)出更多接近采樣頻率的振動，對剛體振動測量產(chǎn)生噪聲影響；車速越大，前后輪受激勵的時(shí)間間隔越短，波形過渡越不明顯。

圖10為車輛以不同車速勻速通過高度為 50 mm矩形激勵下的俯仰角-時(shí)間曲線。同理可知，幅值隨車速的增加而減小，貼合度變差。圖10(a)中對應(yīng)高度為50 mm的激勵，車速5 km/h，整體2條曲線的貼合度優(yōu)于其他工況；橫向?qū)Ρ葓D9(a)和圖10(b)2個(gè)工況數(shù)據(jù)，車速相同，俯仰角峰值隨激勵高度的增加而變大，同時(shí)2個(gè)激勵間的過渡，前者更加明顯，這佐證了是由于減振器回彈不及時(shí)導(dǎo)致車速增加時(shí)過渡不明顯。

表1中統(tǒng)計(jì)了5組試驗(yàn)的結(jié)果，平均差值表示IMU測量與雙目測量差異的平均情況，最大差值表示2個(gè)數(shù)據(jù)間的差異最大值，IMU幅值表示IMU最大值與最小值的差值，比例表示平均差值占幅值的比例。數(shù)據(jù)顯示，平均差值波動較小，比例均保持在7%以下。

表1 雙目視覺與IMU數(shù)據(jù)

在此基礎(chǔ)上，對懸架參數(shù)已知的方程式賽車進(jìn)行試驗(yàn)，進(jìn)一步探究了多次連續(xù)激勵下雙目視測量方式的可靠性和有效性。如圖11所示，在連續(xù)多次踩踏激勵下，雙目視覺測量和IMU測量結(jié)果相比，幅值差異較小，貼合可較好，但I(xiàn)MU數(shù)據(jù)出現(xiàn)了明顯的漂移，連續(xù)7次激勵下，漂移量最大0.79°，同時(shí)雙目數(shù)據(jù)也出現(xiàn)微小漂移。經(jīng)過分析，雙目數(shù)據(jù)出現(xiàn)的漂移是由于減振器的末端回彈不到位，多次振動后回彈改善，IMU數(shù)據(jù)的漂移是IMU自身漂移和回彈不到位的疊加作用導(dǎo)致，而IMU數(shù)據(jù)后半段的自糾正是由IMU模塊內(nèi)置算法實(shí)現(xiàn)[17]。仿真試驗(yàn)數(shù)據(jù)作為理想化的參考,為兩者的比較提供了基準(zhǔn)。由此表明，雙目測量在改善IMU漂移問題上，效果良好。

圖11 賽車試驗(yàn)IMU、雙目、仿真數(shù)據(jù)

5 結(jié)論

以車載雙目視覺模型為基礎(chǔ)，對車輛模型進(jìn)行簡化，提出一種分段運(yùn)動解耦方式，通過把已知間距的特征點(diǎn)在圖像中所占像素的變化作為深度約束，使用SGBM算法獲取標(biāo)志物的深度信息，對相機(jī)運(yùn)動進(jìn)行解耦。通過不同平臺試驗(yàn)，分析雙目視覺與IMU兩者測量所得俯仰振動曲線的差異，得出如下結(jié)論：

1) 本文方法與IMU數(shù)據(jù)吻合良好，平均差值占IMU幅值比例均保持在7%以內(nèi)，驗(yàn)證了本文提出的雙目測量方法測量受激車身振動的有效性和可靠性，且在大激勵和低車速下，比例小于2.6%，該工況適用于對車輛懸架進(jìn)行故障排查。

2) 賽車試驗(yàn)表明，雙目測量方法在多次連續(xù)激勵工況下，相較IMU測量，仍能保持穩(wěn)定不漂移，可作為IMU測量的有效補(bǔ)充。

3) 通過試驗(yàn)驗(yàn)證了本文提出的車輛模型簡化和分階段剛體運(yùn)動求解辦法的合理性和有效性，降低了系統(tǒng)復(fù)雜度，提高了求解的運(yùn)算速度，為后期實(shí)時(shí)監(jiān)測系統(tǒng)的搭建提供了方法支持。