雷達(dá)與視頻融合的落物檢測(cè)研究

梁 影 黃嘉智 朱思悅 王磊磊

（1.上海無(wú)線電設(shè)備研究所，上海 200090；2.上海市目標(biāo)識(shí)別與環(huán)境感知工程技術(shù)研究中心，上海 200090）

毫米波雷達(dá)具有體積小、質(zhì)量輕和空間分辨率高的特點(diǎn)，其與激光、紅外雷達(dá)相比，具有全天候且抗雨、抗雪、抗霧干擾的優(yōu)點(diǎn)，目前在無(wú)人駕駛、手勢(shì)識(shí)別、治安監(jiān)測(cè)等領(lǐng)域都有著廣泛的應(yīng)用。智能視頻監(jiān)控已廣泛應(yīng)用于周界安全防范等領(lǐng)域，如人群密度估計(jì)、治安卡口、鐵路異物入侵檢測(cè)等，由于視頻易受光照、能見(jiàn)度、天氣狀況的影響，漏報(bào)及誤報(bào)率較高，導(dǎo)致其無(wú)法單獨(dú)用于落物檢測(cè)，因此本文將雷達(dá)與視頻融合，提出了一種雷達(dá)、視頻融合的危險(xiǎn)落物檢測(cè)方法。

1 系統(tǒng)組成

雷達(dá)與視頻融合落物檢測(cè)系統(tǒng)主要由雷達(dá)系統(tǒng)、視頻系統(tǒng)及數(shù)據(jù)融合系統(tǒng)組成，雷達(dá)系統(tǒng)主要對(duì)監(jiān)測(cè)區(qū)域的運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)，對(duì)目標(biāo)的距離、速度、角度等信息進(jìn)行測(cè)量，根據(jù)目標(biāo)運(yùn)動(dòng)軌跡篩選出潛在下落目標(biāo)，若為潛在落物，則觸發(fā)視頻獲取目標(biāo)的多幀運(yùn)動(dòng)圖像，并將目標(biāo)數(shù)據(jù)傳輸給數(shù)據(jù)融合系統(tǒng)進(jìn)行進(jìn)一步數(shù)據(jù)處理；視頻系統(tǒng)對(duì)獲取的連續(xù)多幀視頻圖像進(jìn)行目標(biāo)提取、濾波等圖像處理操作，提取出圖像中運(yùn)動(dòng)目標(biāo)的相關(guān)信息，并將數(shù)據(jù)實(shí)時(shí)傳輸給數(shù)據(jù)融合系統(tǒng)，進(jìn)行進(jìn)一步目標(biāo)篩選及與雷達(dá)探測(cè)數(shù)據(jù)的融合處理。

2 雷達(dá)系統(tǒng)

采用2發(fā)4收的毫米波雷達(dá)，發(fā)射正交FMCW波，對(duì)探測(cè)區(qū)域的目標(biāo)進(jìn)行距離、速度、角度探測(cè)，并進(jìn)行跟蹤濾波，根據(jù)目標(biāo)運(yùn)動(dòng)趨勢(shì)確定是否為潛在落物。

雷達(dá)天線發(fā)射寬波束信號(hào)，覆蓋整個(gè)照射區(qū)域，4路間距為d的接收陣元并行接收回波信號(hào)，天線陣型如圖1所示。有兩個(gè)發(fā)射天線TX1、TX2，其中TX1發(fā)射信號(hào)形成的接收相位序列為[0 w 2w 3w]（以第一個(gè)天線陣元作為參考陣元），因?yàn)榘l(fā)射天線TX2與TX1之間的距離為4d，TX2的發(fā)射信號(hào)與TX1相比額外增加了4dsinθ的路徑長(zhǎng)度,每個(gè)接收天線上的信號(hào)都有一個(gè)額外的4w相移(與接收到的TX1的信號(hào)相比)。TX2的發(fā)射信號(hào)在4個(gè)接收天線形成的相位序列為為[4w 5w 6w 7w]。由于從TX1和TX2獲得的接收信號(hào)序列為[0 w 2w 3w 4w 5w 6w 7w]，相當(dāng)于8個(gè)接收陣元的接收，該陣型形成4個(gè)虛擬陣元，增加了接收陣元數(shù)量，從而提高了信號(hào)角度分辨能力。

圖1 2發(fā)4收雷達(dá)天線陣型

接收信號(hào)采用數(shù)字波束合成技術(shù)，對(duì)監(jiān)控區(qū)域進(jìn)行空域?yàn)V波，通過(guò)二維FFT處理對(duì)目標(biāo)的距離、速度進(jìn)行估計(jì)。

二維FFT方法進(jìn)行距離—速度解算的實(shí)現(xiàn)步驟如圖2所示，將單個(gè)調(diào)頻周期的采樣數(shù)據(jù)[ab c…]，進(jìn)行FFT變換，得到頻譜[A B C…]，該頻譜包含了目標(biāo)的一維距離信息，積累M個(gè)周期數(shù)據(jù)后得到矩陣。

圖2 回波信號(hào)采樣圖

通過(guò)多個(gè)周期間的包絡(luò)變化可以得到目標(biāo)的速度信息，即對(duì)M個(gè)周期每個(gè)距離單元數(shù)據(jù)進(jìn)行FFT變換，頻譜包含了目標(biāo)的速度信息。

信號(hào)處理硬件平臺(tái)采用高速AD、FPGA、ARM處理架構(gòu)，F(xiàn)PGA中進(jìn)行實(shí)時(shí)信息解算，如數(shù)字波束形成、二維FFT距離速度解算，并將數(shù)據(jù)傳輸給ARM，ARM對(duì)目標(biāo)數(shù)據(jù)進(jìn)行目標(biāo)檢測(cè)及融合，該處理架構(gòu)具有較高的數(shù)據(jù)刷新速率。

3 視頻系統(tǒng)

視頻系統(tǒng)目標(biāo)檢測(cè)通過(guò)目標(biāo)提取、濾波、目標(biāo)融合等圖像處理措施，從連續(xù)多幀圖像中獲得運(yùn)動(dòng)目標(biāo)的位置、輪廓等信息，同時(shí)將數(shù)據(jù)傳輸給雷達(dá)視頻數(shù)據(jù)融合系統(tǒng)。

3.1 視頻目標(biāo)提取

視頻目標(biāo)提取將背景差分法與三幀差分法相結(jié)合，即將背景差分后二值化的圖像，再用三幀差分法進(jìn)行處理，該方法能夠較為完整地提取出運(yùn)動(dòng)目標(biāo)，并且不受運(yùn)動(dòng)目標(biāo)速度限制。背景圖像對(duì)光照、天氣等外部動(dòng)態(tài)場(chǎng)景變化極其敏感，若要取得較好的差分結(jié)果，必須實(shí)時(shí)對(duì)背景進(jìn)行更新。

3.1.1 背景建模

中值法背景建模是取圖像序列相同位置像素值的中值作為背景。設(shè)連續(xù)fnum幀圖像序列為{I1，I2，…，Ifnum}，均值法和中值法的背景建模分別如式（1）和式（2）所示。

式中，i、j分別為圖像像素的行標(biāo)和列標(biāo)。第k幀圖像背景差分結(jié)果Dk(i,j)為：

3.1.2 二值化

背景差分后圖像需再進(jìn)行二值化操作，將運(yùn)動(dòng)目標(biāo)與背景進(jìn)行分割，設(shè)二值化閾值為T，第k幀圖像二值化結(jié)果為：

閾值的選取直接影響目標(biāo)提取結(jié)果，閾值取值太小，則噪聲及干擾殘留較多；取值太大，則前景提取不夠明顯，可對(duì)多次試驗(yàn)獲得的樣本圖像進(jìn)行處理，選取合適的二值化閾值。

3.2 形態(tài)學(xué)濾波

視頻監(jiān)控環(huán)境往往比較復(fù)雜，圖像易受噪聲等干擾的影響，導(dǎo)致背景差分后的二值圖中仍混有噪聲點(diǎn)，需對(duì)圖像進(jìn)行濾波。

形態(tài)學(xué)濾波是對(duì)圖像先進(jìn)行開(kāi)運(yùn)算，再進(jìn)行閉運(yùn)算。在形態(tài)學(xué)濾波中，開(kāi)、閉運(yùn)算能夠在濾除噪聲斑點(diǎn)、填補(bǔ)空洞的同時(shí)，很好地保存圖像局部特征。需要注意的是，形態(tài)學(xué)濾波中結(jié)構(gòu)元素的形狀及大小對(duì)濾波的結(jié)果有直接影響，可根據(jù)不同需要進(jìn)行相應(yīng)設(shè)定。

采用結(jié)構(gòu)元素為4×4的正方形對(duì)包含目標(biāo)與噪聲的圖像進(jìn)行形態(tài)學(xué)濾波，濾波前后的圖像如圖3所示，圖3(a)為濾波前圖像，圖右側(cè)最大的圓形亮點(diǎn)為真實(shí)目標(biāo)，圖中左上角、右上角、右下角有很多噪聲點(diǎn)，圖3(b)為濾波后圖像，可以看出圖3(a)中的噪聲點(diǎn)被濾除，且目標(biāo)的特征被很好地保存下來(lái)。

圖3 形態(tài)學(xué)濾波

采用形態(tài)學(xué)濾波方法可將圖像內(nèi)小的干擾濾除，降低噪聲及其他干擾（如昆蟲(chóng)、落葉等）對(duì)目標(biāo)檢測(cè)的影響。

3.3 目標(biāo)融合算法

為了防止將一個(gè)目標(biāo)識(shí)別為多個(gè)目標(biāo)，需進(jìn)行目標(biāo)融合，目標(biāo)融合、分類采用近鄰原則，即將距離間隔小于一定閾值的目標(biāo)合并為一個(gè)目標(biāo)，采用八連通進(jìn)行連通分量標(biāo)記，計(jì)算相鄰兩個(gè)連通分量間距離，分類后對(duì)目標(biāo)重心進(jìn)行提取。

目標(biāo)融合操作將距離間隔小于閾值R的目標(biāo)合并為一個(gè)目標(biāo)，具體操作如下：

首先，進(jìn)行連通分量標(biāo)記（八連通），并計(jì)算相鄰兩連通分量間距離。設(shè)A1，A2為兩相鄰連通分量，如圖4所示，A1邊界的行坐標(biāo)為r11，r12(r11＜r12)，列坐標(biāo)為c11，c12(c11＜c12)，A2邊界的行坐標(biāo)為r21，r22(r21＜r22)，列坐標(biāo)為c21，c22(c21＜c22)，每個(gè)連通分量的邊界線都構(gòu)成一個(gè)矩形區(qū)域，用該矩形作為連通分量的代表。若A1為已有分類，A2為待分類，A1、A2之間的距離d12的計(jì)算分為以下4種情況：

（1）兩矩形區(qū)域相交。若r21或r22在（r11，r12）之間（包含等于），并且c21或c22在（c11，c12）之間（包含等于），則d12=0。

（2）兩矩形為上下結(jié)構(gòu)。若c21或c22在（c11，c12）之間（包含等于），但r21或r22不在（r11，r12）之間（包含等于），則d12=min(|r22-r11|，|r12-r21|)。

（3）兩矩形為左右結(jié)構(gòu)。若c21或c22不在（c11，c12）之間（包含等于），但r21或r22在（r11，r12）之間（包含等于），則d12=min(|c22-c11|，|c12-c21|)。

（4）兩矩形為對(duì)角結(jié)構(gòu)。若c21或c22不在（c11，c12）之間（包含等于），且r21或r22不在（r11，r12）之間（包含等于），設(shè)連通分量A1的矩形區(qū)域4個(gè)頂點(diǎn)分別為a11、a12、a13、a14，A2的矩形區(qū)域頂點(diǎn)分別為a21、a22、a23、a24， 則d12=min(d(a11,a24)，d(a14,a21)，d(a12,a23)，d(a13,a22))。

圖4 相鄰聯(lián)通區(qū)域

其次，進(jìn)行分類合并，將連通分量間距離小于閾值T1的分量合并，T1取最小可檢測(cè)目標(biāo)的大小。若不滿足合并條件，則建立新類別；若滿足合并關(guān)系，則將滿足合并關(guān)系的類別與待分類的分量合并到標(biāo)號(hào)最小的類中（可能與多個(gè)類別滿足合并關(guān)系）。

對(duì)濾波后的二值圖進(jìn)行目標(biāo)融合和不進(jìn)行目標(biāo)融合的目標(biāo)分類結(jié)果如圖5所示，藍(lán)色框內(nèi)圖像為目標(biāo)區(qū)域的局部放大，目標(biāo)分類用紅色矩形框標(biāo)出。圖5 (a)為沒(méi)有進(jìn)行目標(biāo)融合的分類結(jié)果，可以看出一個(gè)目標(biāo)被分割成4個(gè)，圖5(b)為目標(biāo)融合算法作用后的目標(biāo)分類，目標(biāo)碎片得到了融合，確認(rèn)為一個(gè)目標(biāo)，目標(biāo)融合算法降低了同一目標(biāo)的分離概率。

圖5 目標(biāo)融合

4 數(shù)據(jù)融合系統(tǒng)

數(shù)據(jù)融合系統(tǒng)對(duì)雷達(dá)探測(cè)的目標(biāo)數(shù)據(jù)進(jìn)行處理，通過(guò)運(yùn)動(dòng)目標(biāo)軌跡擬合及運(yùn)動(dòng)速度等信息進(jìn)一步判斷是否為落物；根據(jù)視頻系統(tǒng)提供的各幀圖像中目標(biāo)的位置，采用Hough變換法進(jìn)行多目標(biāo)運(yùn)動(dòng)軌跡提取，根據(jù)運(yùn)動(dòng)參數(shù)提取下落目標(biāo)；將雷達(dá)落物數(shù)據(jù)與視頻處理結(jié)果進(jìn)行融合，進(jìn)一步剔除干擾。雷達(dá)視頻數(shù)據(jù)融合系統(tǒng)簡(jiǎn)要處理流程如圖6所示。

圖6 數(shù)據(jù)融合系統(tǒng)簡(jiǎn)要處理流程

首先將雷達(dá)探測(cè)目標(biāo)位置轉(zhuǎn)化為視覺(jué)系統(tǒng)坐標(biāo)，雷達(dá)探測(cè)目標(biāo)與視頻系統(tǒng)檢測(cè)的運(yùn)動(dòng)目標(biāo)進(jìn)行匹配，對(duì)能夠匹配的目標(biāo)進(jìn)行危險(xiǎn)目標(biāo)判斷，判定為危險(xiǎn)目標(biāo)則報(bào)警；無(wú)法匹配的目標(biāo)與預(yù)存的虛警信息庫(kù)進(jìn)行匹配，若不屬于預(yù)存的虛警情況，則需人工查看視頻圖像數(shù)據(jù)來(lái)判斷是否為危險(xiǎn)目標(biāo)，若為危險(xiǎn)落物則報(bào)警，否則更新虛警信息庫(kù)。

雷達(dá)與視頻中匹配成功的目標(biāo)，仍可能存在干擾目標(biāo)，會(huì)影響危險(xiǎn)目標(biāo)的判定。為了去除漂浮物、飛鳥(niǎo)、突發(fā)干擾及危險(xiǎn)區(qū)域外落物產(chǎn)生的虛警次數(shù)，列出以下3種簡(jiǎn)單的危險(xiǎn)目標(biāo)判定方法：（1）通過(guò)圖像中目標(biāo)輪廓來(lái)區(qū)分危險(xiǎn)目標(biāo)與干擾目標(biāo)； （2）計(jì)算目標(biāo)下落高度，若下落高度小于一定閾值(傾斜飛過(guò)監(jiān)控區(qū)域的鳥(niǎo)等），則不報(bào)警；（3）根據(jù)目標(biāo)軌跡對(duì)目標(biāo)落地位置進(jìn)行預(yù)測(cè)，若目標(biāo)下落位置不在危險(xiǎn)區(qū)域，則認(rèn)為目標(biāo)超界，否則輸出報(bào)警信號(hào)。

5 結(jié)束語(yǔ)

雷達(dá)具有全天候的工作能力，且抗雨、抗雪、抗霧干擾能力強(qiáng)，但無(wú)法識(shí)別目標(biāo)種類；視頻易受環(huán)境干擾，但可以實(shí)現(xiàn)探測(cè)場(chǎng)景的可視，所以可將兩者結(jié)合起來(lái)進(jìn)行檢測(cè)。雷達(dá)與視頻融合的目標(biāo)檢測(cè)方法將是未來(lái)重要的發(fā)展方向，本文對(duì)落物檢測(cè)的探索開(kāi)啟了一個(gè)新的應(yīng)用領(lǐng)域。