基于雙目相機(jī)的車(chē)輛鳴笛監(jiān)測(cè)方法

姜博，柳小勤

（650500 云南省 昆明市 昆明理工大學(xué) 機(jī)電工程學(xué)院）

0 引言

隨著經(jīng)濟(jì)的快速發(fā)展，人們對(duì)生活品質(zhì)的追求不斷提高，使得車(chē)輛數(shù)目在逐年快速增長(zhǎng)。違規(guī)鳴笛現(xiàn)象充斥于日常生活。車(chē)輛的違規(guī)鳴笛加劇了城市噪聲污染，也影響居民的正常生活[1]。為了提高居民生活質(zhì)量，國(guó)家頒布《中華人民共和國(guó)道路交通安全法實(shí)施條例》[2]，其中第六十二條規(guī)定，“駕駛機(jī)動(dòng)車(chē)不得在禁止鳴喇叭的區(qū)域或者路段鳴喇叭”，但是通過(guò)人工監(jiān)管的方法來(lái)進(jìn)行監(jiān)管違法亂紀(jì)車(chē)輛不僅效率低下且耗費(fèi)大量人力物力。

麥克風(fēng)陣列因其能夠精確定位出聲源被廣泛應(yīng)用于噪聲測(cè)試中[3]。為了提高對(duì)違規(guī)鳴笛車(chē)輛的監(jiān)測(cè)力度，麥克風(fēng)陣列同樣被用于鳴笛檢測(cè)系統(tǒng)中。孫懋珩等[4]提出一種基于麥克風(fēng)陣列聲源定位技術(shù)的城市道路汽車(chē)?guó)Q笛定位系統(tǒng)；徐靜等[5]在聲源定位算法理論研究的基礎(chǔ)上，將麥克風(fēng)陣列定位技術(shù)應(yīng)用于城市違章鳴笛車(chē)輛定位中；袁芳等[6]利用傳聲器陣列對(duì)鳴笛汽車(chē)進(jìn)行聲學(xué)定位實(shí)現(xiàn)汽車(chē)?guó)Q笛的實(shí)時(shí)抓拍；張煥強(qiáng)等[7]提出一種基于傳聲器陣列聲源定位算法的違章鳴笛車(chē)輛定位方法，通過(guò)實(shí)驗(yàn)驗(yàn)證了方法的可行性；牛鋒等[8]介紹了聲源定位技術(shù)原理與機(jī)動(dòng)車(chē)?guó)Q笛抓拍系統(tǒng)的組成及功能特點(diǎn)；秦朝琪等[9]提出一種聲光圖像一致及聲壓準(zhǔn)確度的鳴笛監(jiān)測(cè)系統(tǒng)測(cè)試方法。

對(duì)違規(guī)鳴笛監(jiān)測(cè)要求提高對(duì)聲源定位的準(zhǔn)確性與計(jì)算速度。上述文獻(xiàn)基于麥克風(fēng)陣列傳統(tǒng)車(chē)輛鳴笛監(jiān)測(cè)方法，為搜索鳴笛聲源，需要提前設(shè)定麥克風(fēng)陣列與被測(cè)車(chē)輛的距離，距離設(shè)定是否準(zhǔn)確直接影響違規(guī)鳴笛定位的準(zhǔn)確性。已有的鳴笛監(jiān)測(cè)系統(tǒng)對(duì)整個(gè)拍攝視野范圍內(nèi)進(jìn)行聲源搜索定位，降低了對(duì)違規(guī)鳴笛監(jiān)測(cè)的效率。為了提高鳴笛監(jiān)測(cè)的準(zhǔn)確性與效率，本文提出了一種利用雙目相機(jī)與麥克風(fēng)陣列相結(jié)合的車(chē)輛鳴笛監(jiān)測(cè)方法。

1 結(jié)合雙目相機(jī)車(chē)輛違規(guī)鳴笛監(jiān)測(cè)方法原理

1.1 聲源定位原理

利用陣列進(jìn)行車(chē)輛鳴笛檢測(cè)原理圖如圖1 所示。空間中存在M 個(gè)傳聲器組成的傳聲器陣列，存在一輛鳴笛車(chē)輛s，假設(shè)第m 號(hào)傳聲器作為參考傳聲器，其接收到的聲壓信號(hào)為Pm（t），則整個(gè)陣列信號(hào)延時(shí)求和可得到波束形成輸出結(jié)果：

圖1 車(chē)輛鳴笛定位原理圖Fig.1 Schematic diagram of vehicle whistle localization

對(duì)式（1）進(jìn)行傅里葉變換，得到波束形成輸出的頻域表達(dá)式：

式中：ω——信號(hào)頻率。

當(dāng)計(jì)算聲源的波束形成結(jié)果時(shí)，用互譜成像函數(shù)波束形成算法進(jìn)行計(jì)算，能夠提高波束形成結(jié)果的精度?；プV波束形成表達(dá)式為

式中：Cik（ω）——互功率譜矩陣；Pi（ω）——第i 個(gè)傳聲器；Pk（ω）——第k 個(gè)傳聲器接收的聲壓信號(hào)；*——共軛轉(zhuǎn)置。

波束形成算法基本原理是根據(jù)掃描點(diǎn)聚焦方向?qū)﹃嚵兄宣溈孙L(fēng)接收到的信號(hào)執(zhí)行延時(shí)求和確定掃描點(diǎn)聲壓貢獻(xiàn)量。聲壓貢獻(xiàn)量大的網(wǎng)格點(diǎn)即為聲源位置。如圖2 所示，進(jìn)行聲源定位需要對(duì)定位平面內(nèi)的所有網(wǎng)格點(diǎn)進(jìn)行計(jì)算，所以算法的處理效率與網(wǎng)格點(diǎn)數(shù)量呈反比。計(jì)算范圍內(nèi)會(huì)存在有效定位區(qū)域以及定位干擾區(qū)域，若能減小干擾區(qū)域面積則能提高定位違法鳴笛車(chē)輛的效率。

圖2 掃描網(wǎng)格示意圖Fig.2 Schematic diagram of scanning grid

1.2 雙目相機(jī)工作原理

雙目相機(jī)是模仿人眼視覺(jué)系統(tǒng)獲取視線范圍內(nèi)物體信息的一種產(chǎn)品，其主要原理是通過(guò)相機(jī)上安裝的兩個(gè)相機(jī)鏡頭從不同角度對(duì)相機(jī)視野范圍內(nèi)的同一物體進(jìn)行拍攝，在各自鏡頭上會(huì)產(chǎn)生不同的物體影像，通過(guò)兩個(gè)物像間的視覺(jué)差，結(jié)合三角形測(cè)距原理能夠計(jì)算出拍攝的目標(biāo)物體與雙目相機(jī)之間的距離。

雙目相機(jī)拍攝成像圖如圖3 所示。成像左側(cè)為相機(jī)正常拍攝區(qū)域?yàn)椴噬珗D像，右側(cè)為圖像拍攝的環(huán)境深度圖像。

圖3 雙目相機(jī)成像圖Fig.3 Image of binocular camera

對(duì)違規(guī)鳴笛車(chē)輛定位要求計(jì)算的快速性與準(zhǔn)確性。傳統(tǒng)鳴笛檢測(cè)系統(tǒng)使用陣列對(duì)車(chē)輛進(jìn)行聲源定位測(cè)試時(shí)，需要提前設(shè)定車(chē)輛與陣列間的距離以及搜索平面范圍。通過(guò)雙目相機(jī)深度圖像能夠獲得精確的距離，提高聲源定位的準(zhǔn)確性。對(duì)環(huán)境深度圖像進(jìn)行圖像分割以分離出定位有效區(qū)域，減少計(jì)算量提高聲源定位的效率。

圖像分割是進(jìn)行圖像處理的基本操作。通過(guò)設(shè)定特征閾值可將被測(cè)物體從相機(jī)拍攝的視像范圍內(nèi)提取出，縮小聲源定位的搜索范圍，提高聲源搜索運(yùn)算效率。由于深度圖像的每個(gè)像素點(diǎn)為RGB 圖像，即由紅綠藍(lán)3 個(gè)不同顏色的比例呈現(xiàn)出不同顏色。根據(jù)設(shè)定特征閾值進(jìn)行目標(biāo)物體分離。假設(shè)環(huán)境深度圖像每個(gè)像素點(diǎn)信息用函數(shù)A（ui，vi，wi）表示，函數(shù)中xi、yi和zi分別表示第i 個(gè)像素點(diǎn)中紅色、綠色和黃色所占數(shù)值。設(shè)置圖像分割閾值標(biāo)準(zhǔn)可將圖像分割為有效定位區(qū)域與定位干擾區(qū)域，閾值篩選條件為T(mén)（r1-r2，g1-g2，b1-b2）圖像分割函數(shù)公式為：

最終獲得分割函數(shù)C。將C 中數(shù)值等于1 的像素點(diǎn)坐標(biāo)整理排列，即可得到需要進(jìn)行聲源重構(gòu)的位置坐標(biāo)，從而實(shí)現(xiàn)了有效定位區(qū)域與定位干擾區(qū)域分離。

1.3 波束形成與雙目相機(jī)結(jié)合方法

對(duì)車(chē)輛鳴笛監(jiān)測(cè)通過(guò)聲陣列與雙目相機(jī)相結(jié)合，進(jìn)行鳴笛車(chē)輛的定位。將聲陣列獲取的聲學(xué)信息與雙目相機(jī)獲取的光學(xué)信息相結(jié)合會(huì)存在時(shí)間關(guān)系不匹配和聲源定位坐標(biāo)不匹配2 個(gè)問(wèn)題。

1.3.1 時(shí)間關(guān)系

在信息采集方面，麥克風(fēng)陣列會(huì)按照采樣的時(shí)間與頻率對(duì)外界聲信號(hào)進(jìn)行接收，雙目相機(jī)則是按照曝光的間隔通過(guò)每一幀進(jìn)行圖像采集，因此對(duì)車(chē)輛鳴笛進(jìn)行實(shí)時(shí)監(jiān)測(cè)需要將兩者信息進(jìn)行時(shí)間關(guān)系的匹配，才能正確判斷鳴笛的違規(guī)車(chē)輛。

設(shè)置觸發(fā)器使麥克風(fēng)陣列與雙目相機(jī)同時(shí)進(jìn)行信息采集，滿足采集時(shí)間的同步性。假設(shè)相機(jī)采樣的幀率為αfps，聲信號(hào)的采樣率設(shè)置為βHz，第i 幀錄像所對(duì)應(yīng)的須進(jìn)行處理的信號(hào)時(shí)間段為，具體對(duì)應(yīng)原理如圖4 所示。

圖4 圖像和信號(hào)對(duì)應(yīng)原理圖Fig.4 Schematic diagram of image and signal corresponding

通過(guò)對(duì)應(yīng)關(guān)系可將麥克風(fēng)陣列采集聲學(xué)信息與雙目相機(jī)獲取的光學(xué)信息的時(shí)間關(guān)系相一致。

1.3.2 位置關(guān)系

陣列與雙目相機(jī)處在不同坐標(biāo)系，進(jìn)行聲源定位重構(gòu)面的點(diǎn)位信息應(yīng)與經(jīng)過(guò)圖像分割后雙目相機(jī)拍攝的深度圖中有效定位區(qū)域的掃描點(diǎn)相統(tǒng)一。

如圖5 所示，空間中存在以麥克風(fēng)陣列為基準(zhǔn)的o-xyz 坐標(biāo)系，陣列中心為坐標(biāo)系原點(diǎn)；另一個(gè)為以雙目相機(jī)為基準(zhǔn)的o'-x'y'z'坐標(biāo)系。2 個(gè)相機(jī)鏡頭連線的中點(diǎn)為坐標(biāo)系的原點(diǎn)。已知經(jīng)過(guò)篩選后雙目相機(jī)坐標(biāo)系中有效定位點(diǎn)坐標(biāo)為（，，），則有效定位點(diǎn)在麥克風(fēng)陣列坐標(biāo)系中的坐標(biāo)（Xi，Yi，Zi）可由式（5）表示：

圖5 麥克風(fēng)陣列坐標(biāo)系與相機(jī)坐標(biāo)系關(guān)系圖Fig.5 Relationship between microphone array and camera coordinate system

式中：MR——旋轉(zhuǎn)矩陣，使得雙目相機(jī)坐標(biāo)系分別繞X'軸、Y'軸、Z'軸旋轉(zhuǎn)角度α，β，γ后，與麥克風(fēng)陣列坐標(biāo)系平行；（LX，LY，LZ）T——2 個(gè)坐標(biāo)系原點(diǎn)之間的平移向量；LX，LY，LZ——雙目相機(jī)坐標(biāo)系向x、y 和z 方向移動(dòng)距離，實(shí)現(xiàn)兩坐標(biāo)系重合。通過(guò)坐標(biāo)變換公式即可獲得在麥克風(fēng)陣列坐標(biāo)系中有效定位點(diǎn)區(qū)域的坐標(biāo)，實(shí)現(xiàn)麥克風(fēng)陣列與雙目相機(jī)位置關(guān)系的統(tǒng)一。

通過(guò)以上方法就可完成對(duì)車(chē)輛違規(guī)鳴笛的快速定位，其具體流程圖如圖6 所示。

圖6 鳴笛定位流程圖Fig.6 Localization flowchart of whistle monitoring

2 實(shí)驗(yàn)驗(yàn)證

2.1 實(shí)驗(yàn)設(shè)置

選擇2 輛電動(dòng)車(chē)作為實(shí)驗(yàn)對(duì)象，進(jìn)行車(chē)輛鳴笛監(jiān)測(cè)聲源定位實(shí)驗(yàn)。實(shí)驗(yàn)設(shè)備擺放如圖7 所示。實(shí)驗(yàn)對(duì)象為車(chē)輛1 和車(chē)輛2，用16 元麥克風(fēng)陣列和雙目相機(jī)進(jìn)行信號(hào)采集，2 個(gè)設(shè)備放置于一個(gè)平面，設(shè)備中心水平距離相差0.3 m，垂直距離相差0.1 m。麥克風(fēng)陣列安裝有MPA416 傳聲器，設(shè)置麥克風(fēng)的采樣率為12 800 Hz，采樣時(shí)長(zhǎng)為20 s。雙目相機(jī)為Intel RealSense D415，設(shè)置分辨率為640×360，拍攝幀率設(shè)置為30 fps。實(shí)驗(yàn)總共進(jìn)行3 次車(chē)輛鳴笛：（1）車(chē)輛1 鳴笛車(chē)輛2 不鳴笛；（2）車(chē)輛2鳴笛車(chē)輛1 不鳴笛；（3）車(chē)輛1 和車(chē)輛2 均鳴笛。

圖7 實(shí)驗(yàn)設(shè)備擺放位置圖Fig.7 Location map of experimental equipment

2.2 實(shí)驗(yàn)結(jié)果

麥克風(fēng)采集結(jié)果如圖8 所示。從圖8 可以看出，信號(hào)中1～2 s 時(shí)間段為車(chē)輛1 鳴笛；信號(hào)中2～4 s時(shí)間段為車(chē)輛2 鳴笛；信號(hào)中6～10 s 時(shí)間段為2輛車(chē)同時(shí)鳴笛區(qū)間。

圖8 麥克風(fēng)采集信號(hào)圖Fig.8 Image of signal collected by microphone

雙面相機(jī)采集成像圖如圖9 所示。從圖9 可以看出，車(chē)輛1 和車(chē)輛2 分別在距離雙目相機(jī)1.85 m和1.88 m 的位置。

圖9 雙目相機(jī)拍攝圖Fig.9 Image taken with binocular camera

根據(jù)方法步驟，選擇篩選條件函數(shù)T（0-180，30-254，45-254）對(duì)雙目相機(jī)采集的深度圖像進(jìn)行圖像分割，經(jīng)過(guò)分割后保留定位有效區(qū)域圖像如圖10 所示。

圖10 圖像分割后深度圖像Fig.10 Depth image after segmentation

通過(guò)圖像分割后的定位有效區(qū)域中僅保留車(chē)輛區(qū)域的掃描點(diǎn)，去除了定位干擾區(qū)域點(diǎn)。以像素點(diǎn)為參照，深度圖像分割前與分割后得到像素點(diǎn)個(gè)數(shù)分別為230 400 和41 622。定位有效區(qū)域所占整個(gè)掃描平面18.06%的位置。由此可知，經(jīng)過(guò)圖像分割后定位算法計(jì)算的掃描點(diǎn)會(huì)減少原計(jì)算量的82%，大大提高了鳴笛監(jiān)測(cè)定位的速度。

選擇第46 幀、第91 幀、第211 幀圖像進(jìn)行鳴笛監(jiān)測(cè)定位計(jì)算，3 張圖對(duì)應(yīng)信號(hào)點(diǎn)分別為1.500 01～1.533 30 s、3.000 1～3.033 3 s 和7.000 1～7.033 3 s 段。通過(guò)式（5）、式（6）的坐標(biāo)轉(zhuǎn)換將得到定位有效區(qū)間點(diǎn)位坐標(biāo)轉(zhuǎn)換至麥克風(fēng)陣列坐標(biāo)中。依照實(shí)驗(yàn)設(shè)備擺放位置，式中坐標(biāo)旋轉(zhuǎn)參數(shù)δ、ε和θ均為0°，坐標(biāo)移動(dòng)參數(shù)LX、LY和LZ分別為-0.3，-0.1，0 m。在不同畫(huà)面的新號(hào)段對(duì)定位區(qū)域點(diǎn)進(jìn)行波束形成計(jì)算，得到定位結(jié)果如圖11 所示。

圖11 鳴笛監(jiān)測(cè)定位圖Fig.11 Localization map of honk monitoring

從定位結(jié)果圖中可以看出，第1 段信號(hào)為車(chē)輛1 鳴笛，第2 段信號(hào)為車(chē)輛2 鳴笛，第3 段信號(hào)為車(chē)輛1 和車(chē)輛2 同時(shí)鳴笛，定位結(jié)果與實(shí)驗(yàn)設(shè)置相同。2 個(gè)車(chē)輛鳴笛定位時(shí)，雖能夠準(zhǔn)確定位鳴笛車(chē)輛，2 信號(hào)間會(huì)存在信號(hào)干涉，使得出現(xiàn)干擾旁瓣影響定位效果，鳴笛信號(hào)幅值較大的車(chē)輛2 能更好地被定位。

3 結(jié)論

針對(duì)現(xiàn)有基于麥克風(fēng)陣列的鳴笛車(chē)輛監(jiān)測(cè)方法存在計(jì)算效率低的現(xiàn)象，本文提出了一種結(jié)合雙目相機(jī)的車(chē)輛鳴笛監(jiān)測(cè)方法。首先通過(guò)雙目相機(jī)與麥克風(fēng)陣列同時(shí)采集聲光信息，選擇適當(dāng)拍攝畫(huà)面與其對(duì)應(yīng)的信號(hào)段，利用雙目相機(jī)采集深度圖像確定車(chē)輛測(cè)試距離，分割深度圖像獲取有效定位區(qū)域；利用坐標(biāo)轉(zhuǎn)換公式統(tǒng)一麥克風(fēng)陣列坐標(biāo)系與雙目相機(jī)坐標(biāo)系，最終對(duì)掃描點(diǎn)進(jìn)行波束形成計(jì)算進(jìn)行實(shí)現(xiàn)違規(guī)鳴笛聲定位。結(jié)果表明，通過(guò)深度圖像確定車(chē)輛與麥克風(fēng)陣列距離能夠提高鳴笛聲定位的精確度，通過(guò)深度圖像分割提高鳴笛聲源定位的效率。進(jìn)行戶外車(chē)輛鳴笛實(shí)驗(yàn)，通過(guò)圖像分割減少82%的鳴笛聲定位計(jì)算量，并能夠準(zhǔn)確定位鳴笛車(chē)輛。實(shí)驗(yàn)驗(yàn)證了所提方法的有效與實(shí)用性，并能廣泛推廣到交通噪聲監(jiān)測(cè)中應(yīng)用于更多場(chǎng)景。