基于多傳感器信息融合的移動(dòng)機(jī)器人障礙探測(cè)系統(tǒng)

摘 要:采用單目CCD攝像機(jī)獲取環(huán)境空間的圖像信息，融合來(lái)自超聲波測(cè)距傳感器系列的深度數(shù)據(jù)可完成對(duì)環(huán)境空間的快速理解。設(shè)計(jì)出基于多傳感器信息融合的移動(dòng)機(jī)器人障礙探測(cè)系統(tǒng)，分析了多傳感信息A/D數(shù)據(jù)的實(shí)時(shí)采集方法，采用多傳感器數(shù)據(jù)自適應(yīng)加權(quán)融合算法獲取最終測(cè)量結(jié)果。實(shí)驗(yàn)表明該算法具有線性無(wú)偏最小方差性，可獲取最優(yōu)的數(shù)據(jù)融合值。

關(guān)鍵詞:機(jī)器人視覺(jué)；多傳感器信息；障礙物檢測(cè)；數(shù)據(jù)融合

中圖分類號(hào)：TP242.6 文獻(xiàn)標(biāo)志碼：A

Obstacle Detecting System of Mobile Robot Based on Multi-sensor

Information Amalgamation

YU Ping，SHOU Bing

(Jiangxi Industry Polytechnic College， Nanchang 330095， China)

Abstract:Image information of environment space can be obtained by one-eye CCD vidicon， and rapid comprehension of environment space is implemented by amalgamating depth data from supersonic displacement measurement sensor. Mobile robot obstacle detecting system based on multi-sensor information amalgamation is designed， and real time A/D data collecting method of multi-sensor information is analyzed. Ultimate measurement results can be obtained by multi-sensor data auto-adjustable amalgamation arithmetic. It indicates that the arithmetic has the properties of no linear error and minimum convariance error which can optimize data amalgamation values.

Key words:robot vision;multi-sensor information;obstacle detecting;data amalgamation

自主導(dǎo)航對(duì)于移動(dòng)機(jī)器人在障礙空間運(yùn)動(dòng)具有十分重要的意義，而獲得機(jī)器人對(duì)環(huán)境空間的理解是移動(dòng)機(jī)器人實(shí)現(xiàn)自主導(dǎo)航的先決條件。傳統(tǒng)的感知環(huán)境的方法是使用超聲波、光電開(kāi)關(guān)實(shí)現(xiàn)移動(dòng)機(jī)器人的避障，這種方法在一定程度上能實(shí)現(xiàn)機(jī)器人的局部自主導(dǎo)航。隨著CCD（Charged Coupled Device）電荷耦合器件的出現(xiàn)，從圖像上獲取的環(huán)境空間信息數(shù)據(jù)由于其完整性越來(lái)越起著決定性的作用?；谌搜勰Ｐ偷碾p目視覺(jué)檢測(cè)技術(shù)是一種立體視覺(jué)檢測(cè)系統(tǒng)［1-2］，近年來(lái)被成功地用于工業(yè)檢測(cè)、物體識(shí)別、工件定位等諸多領(lǐng)域。但雙目視覺(jué)檢測(cè)技術(shù)需要對(duì)來(lái)自兩個(gè)CCD攝像機(jī)的兩幅圖像進(jìn)行匹配，以形成一幅完整的三維立體圖像。對(duì)于灰度圖像利用灰度相關(guān)取灰度相關(guān)最大位置實(shí)現(xiàn)匹配，但灰度相關(guān)匹配的計(jì)算量很大，并且匹配精度也難以達(dá)到理想的效果。如在作像素級(jí)灰度相關(guān)融合時(shí)，設(shè)數(shù)字化后待融合圖像尺寸為NN像素，采用較好融合效果的金字塔法需要的MAC（乘并累加）運(yùn)算總量達(dá)到1253N2，取N=480，設(shè)“實(shí)時(shí)”要求為每秒10幀，則MAC運(yùn)算總量達(dá)到100M，僅從圖像匹配校準(zhǔn)方面可見(jiàn)雙目CCD立體檢測(cè)技術(shù)難以滿足移動(dòng)機(jī)器人對(duì)環(huán)境空間的理解。

1 移動(dòng)機(jī)器人障礙探測(cè)系統(tǒng)結(jié)構(gòu)

基于小孔成像模型的單目CCD攝像系統(tǒng)如果能輔助某種手段獲得縱深數(shù)據(jù)，就可以實(shí)現(xiàn)信息從數(shù)字圖像坐標(biāo)向三維世界坐標(biāo)下的轉(zhuǎn)化［3-4］。本文給出了一個(gè)基于多傳感器（CCD攝像機(jī)、超聲波測(cè)距傳感器、熱釋電紅外、光電）信息的移動(dòng)機(jī)器人障礙探測(cè)系統(tǒng)，其結(jié)構(gòu)功能如圖1所示。

機(jī)器人障礙探測(cè)系統(tǒng)在理解環(huán)境空間過(guò)程中，超聲波測(cè)距傳感器系列不斷對(duì)移動(dòng)環(huán)境空間進(jìn)行掃描，當(dāng)檢測(cè)到障礙物時(shí)返回障礙物的距離信息，計(jì)算機(jī)根據(jù)獲得的距離數(shù)據(jù)判斷是否觸發(fā)熱釋電紅外傳感器檢測(cè)障礙物溫度以及從黑白CCD攝像機(jī)采樣環(huán)境空間圖像信息［5］。障礙物的距離信息、溫度信息經(jīng)HY-6070數(shù)據(jù)采集控制板實(shí)現(xiàn)A/D轉(zhuǎn)換，同圖像采集卡送來(lái)的數(shù)字圖像數(shù)據(jù)一并送計(jì)算機(jī)進(jìn)行融合處理。計(jì)算機(jī)對(duì)二維灰度圖像進(jìn)行濾噪平滑預(yù)處理，從限定的背景中分離出圖像目標(biāo)，獲取其輪廓及形心位置，在圖像坐標(biāo)下測(cè)量障礙物的尺寸。之后根據(jù)基于小孔成像模型標(biāo)定的攝像機(jī)參數(shù)矩陣，將圖像坐標(biāo)下障礙物信息轉(zhuǎn)換到世界坐標(biāo)下，從而使移動(dòng)機(jī)器人獲得對(duì)環(huán)境空間的理解，為機(jī)器人在障礙空間的自主導(dǎo)航提供可靠的信息數(shù)據(jù)（障礙物方位，大小，形狀，距離），指導(dǎo)移動(dòng)機(jī)器人進(jìn)行避障導(dǎo)航。

圖1 基于多傳感器的機(jī)器人障礙探測(cè)系統(tǒng)

Fig.1 Robot obstacle detecting system based on multi-sensor

2 傳感器信息數(shù)據(jù)采集

移動(dòng)機(jī)器人障礙探測(cè)系統(tǒng)需要采集多種傳感器（CCD攝像機(jī)圖像信息、超聲波測(cè)距信息、熱釋電測(cè)溫信息）信息［6］。CCD攝像機(jī)的圖像信息是通過(guò)VIDEO-PCI-XR圖像采集卡經(jīng)模數(shù)轉(zhuǎn)換后采集到開(kāi)辟的計(jì)算機(jī)內(nèi)存，這個(gè)過(guò)程可用隨VIDEO-PCI-XR采集卡提供的驅(qū)動(dòng)函數(shù)庫(kù)編程將數(shù)字圖像送往計(jì)算機(jī)內(nèi)存，不需計(jì)算機(jī)CPU的參與，節(jié)省了計(jì)算機(jī)資源。

多路超聲波測(cè)距傳感器的測(cè)距信息和熱釋電紅外傳感器的測(cè)溫信息經(jīng)由HY-6070通用數(shù)據(jù)采集控制卡采集入計(jì)算機(jī)，考慮到兩種傳感器響應(yīng)周期較長(zhǎng)，設(shè)定啟動(dòng)A/D轉(zhuǎn)換為定時(shí)觸發(fā)方式。采集的數(shù)據(jù)傳輸可選用軟件查詢方式，計(jì)算機(jī)CPU每隔一定的時(shí)間去查詢采集卡的狀態(tài)，當(dāng)查詢到采集卡的A/D轉(zhuǎn)換狀態(tài)完成位為1時(shí)，從設(shè)定的地址端口完成讀入多路數(shù)據(jù)信息。這種讀入多路傳感數(shù)據(jù)信息的函數(shù)相對(duì)來(lái)說(shuō)比較“笨重”，在用戶界面線程中執(zhí)行時(shí)很容易造成消息映射的遲滯，解決的辦法是創(chuàng)建一個(gè)輔助線程來(lái)完成這個(gè)比較“笨重”的工作過(guò)程，然后在用戶界面線程和輔助線程建立通信完成計(jì)算機(jī)對(duì)傳感數(shù)據(jù)信息的采集。在輔助線程

UINT GetADInfo_ThreadProc(LPVOID pParam)

中完成傳感數(shù)據(jù)的采集。在用戶界面線程的時(shí)鐘響應(yīng)函數(shù)中調(diào)用函數(shù)

Afx Begin Thread(GetADInfo_ThreadProc， GetSafeHwnd())

啟動(dòng)輔助線程，采用公有變量實(shí)現(xiàn)兩個(gè)線程的通信。

另一種數(shù)據(jù)傳輸更為有效的方法是中斷采集方式。Windows XP是一個(gè)運(yùn)行在最高級(jí)特權(quán)Ring0層的多線程操作系統(tǒng)，處理硬件響應(yīng)也是在Ring0層，而所有的應(yīng)用程序卻運(yùn)行在最低級(jí)特權(quán)Ring3層上，這樣就限制了應(yīng)用程序?qū)τ布憫?yīng)的操作。要實(shí)現(xiàn)對(duì)HY-6070數(shù)據(jù)采集卡的中斷操作，必須開(kāi)發(fā)相應(yīng)的運(yùn)行在Ring0層的中斷功能驅(qū)動(dòng)程序。應(yīng)用Video Software公司的VtoolsD驅(qū)動(dòng)開(kāi)發(fā)工具設(shè)計(jì)了Windows XP下管理中斷操作的AD6070.VXD，實(shí)現(xiàn)了HY-6070的中斷方式數(shù)據(jù)傳輸，節(jié)省了計(jì)算機(jī)CPU資源。在設(shè)計(jì)AD6070.VXD時(shí)，先從中斷管理類VHardwareInt派生AD6070HwInt，并調(diào)用AD6070HwInt類的構(gòu)造函數(shù)AD6070HwInt：VHardwareInt(AD6070_IRQ，0，0，0){}虛擬化中斷源，在中斷響應(yīng)函數(shù)AD6070HwInt::OnHardwareInt(VMHANDLE hVM)中實(shí)現(xiàn)對(duì)指定端口數(shù)據(jù)的采集。應(yīng)用程序?qū)D6070.VXD的通信先調(diào)用Create File()，獲得AD6070.VXD的設(shè)備句柄，然后調(diào)用Device Io Control()與AD6070.VXD通信，在AD6070.VXD中設(shè)置

Ad6070 Device::OnW32DeviceIoControl()

AD6070.VXD對(duì)應(yīng)用程序的通信采用Win32事件的方法，在應(yīng)用程序中首先要定義一個(gè)事件，接著加載kernel32.dll模塊到進(jìn)程內(nèi)存空間，調(diào)用函數(shù)Get Proc Address()從模塊中獲取未公開(kāi)函數(shù)Open VXD Handle()的入口地址，使用Open VXD Handle()將Ring3層的事件句柄轉(zhuǎn)換成Ring0層的事件句柄。在應(yīng)用程序中定義輔助線程DWORD WINAPI Get AD Result Thread()，在事件為有信號(hào)狀態(tài)時(shí)將AD6070.VXD采集的數(shù)據(jù)取到應(yīng)用程序，實(shí)時(shí)獲得超聲波測(cè)距信息及熱釋電紅外傳感器的測(cè)溫信息。

3 自適應(yīng)加權(quán)數(shù)據(jù)融合

本文所設(shè)計(jì)的機(jī)器人障礙探測(cè)系統(tǒng)中，數(shù)據(jù)融合應(yīng)用于兩個(gè)層次［7-8］。第一個(gè)層次是將CCD攝像機(jī)采樣的圖像信息與超聲波測(cè)距傳感器采樣的深度信息進(jìn)行融合，應(yīng)用小孔攝像機(jī)后投影模型及CCD攝像機(jī)標(biāo)定數(shù)據(jù)將圖像坐標(biāo)下的二維信息轉(zhuǎn)換到世界坐標(biāo)下的三維信息。在第一個(gè)層次的融合過(guò)程中，超聲波測(cè)距數(shù)據(jù)信息的精度影響著信息轉(zhuǎn)換的效果，這要求我們必須采取合適的方法提高超聲波測(cè)距傳感器的數(shù)據(jù)信息的精度。第二個(gè)層次的融合正是為了提高超聲波測(cè)距傳感器的精度，本文是采用一種自適應(yīng)加權(quán)融合估計(jì)算法來(lái)實(shí)現(xiàn)的，其原理模型如圖2所示。

圖2 自適應(yīng)加權(quán)融合模型

Fig.2Auto-adaptable amalgamation model

從含有觀測(cè)噪聲的測(cè)量數(shù)據(jù)中估計(jì)一個(gè)隨機(jī)量，這是在實(shí)際測(cè)量中經(jīng)常遇到的一個(gè)問(wèn)題。我們?cè)u(píng)價(jià)一個(gè)估計(jì)算法的好壞一般都以均方差作為評(píng)價(jià)指標(biāo)。自適應(yīng)加權(quán)融合估計(jì)算法具有線性無(wú)偏最小方差性。

n個(gè)傳感器的方差分別為σ21，σ22，…σ2n所要估計(jì)的真值為X，各傳感器的測(cè)量值為X₁，X₂，…， Xn，它們彼此相互獨(dú)立，且為X的無(wú)偏估計(jì)；各傳感器的加權(quán)因子分別為W1，W2，…Wn，則融合后的值和加權(quán)因子滿足以下兩式：

=∑np=1WPXP（1）

∑np=1WP=1（2）

當(dāng)總均方誤差為最小時(shí)其對(duì)應(yīng)的加權(quán)因子為

WP=1σ2p∑ni=11σ2i （p=1，2，…，n）（3）

此時(shí)對(duì)應(yīng)的最小均方誤差為

σ2min=1∑nP=11σ2P（4）

若估計(jì)真值為常量，則可根據(jù)各個(gè)傳感器歷史數(shù)據(jù)的均值來(lái)進(jìn)行估計(jì)。

此時(shí)的估計(jì)值為

=∑nP=1WPX-P(k)

此時(shí)所對(duì)應(yīng)的最小均方誤差

σ-2min=1∑nP=11σ2P=σ2mink（7）

圖3 自適應(yīng)加權(quán)融合結(jié)果1 Fig.3 Amalgamation result1 of auto-adjustable method

圖4 自適應(yīng)加權(quán)融合結(jié)果2Fig.4 Amalgamation result2 of auto-adjustable method

圖3和圖4顯示了兩種不同情況的融合結(jié)果，兩次測(cè)量采用傳感器數(shù)目分別為3種和4種，測(cè)量次數(shù)為4次和5次，兩次測(cè)量相對(duì)偏差為0.2%。自適應(yīng)加權(quán)融合估計(jì)算法具有線性無(wú)偏最小方差性，估計(jì)后的均方誤差不僅小于依靠單個(gè)傳感器估計(jì)的均方誤差，而且小于采用多傳感器均值作估計(jì)所得均方誤差，明顯提高了測(cè)量精度。

4 結(jié)論

針對(duì)移動(dòng)機(jī)器人避障的實(shí)際要求，考慮到雙目CCD視覺(jué)系統(tǒng)的圖像件匹配校準(zhǔn)計(jì)算量過(guò)大，本文給出了一個(gè)基于多傳感器信息的單目CCD攝像機(jī)障礙探測(cè)系統(tǒng)。然后就多傳感器信息在Windows應(yīng)用程序中的實(shí)時(shí)采集設(shè)計(jì)了輔助采集線程和支持Windows下硬件中斷操作的AD6070.VXD。在信息融合過(guò)程中設(shè)計(jì)了自適應(yīng)加權(quán)融合算法旨在提高單種傳感器的測(cè)量精度，實(shí)驗(yàn)表明該方法具有線性無(wú)偏最小方差性，滿足性能要求。

參考文獻(xiàn):

vision-dynamicof vision perception［A］.In Proceedings of Image Understanding Workshop［C］.MontereyCA， Mexico， 1998:365-384.

［3］Sorin Z. Improved median filter for impulse noise removal［J］.TELSIKS Serbia and Motenegra， Nis，2003， 10(1): 681-684.

［4］Tsap L V， Goldof D B， sarkar S. Nonrigid motion analysisbased on dynamic refinement of finite element models［J］.IEEE Transactions on pattern Analysis and MachineIntelligence， 2000， 22(5): 526-543.

［5］Murphy R R， Demp S. Shafer theory for sensor fusion in autonomous mobile robots［J］.IEEE Trans on Robot Automation， 1998， 14 (2):197-206.

［6］Diguez A R， Sanz R， Lpez J. Deliberative on line Local path planning for autonomous mobile robots［J］.Journal of Intelligent and Robotic Systems， 2003， 37 (1):1-19.

［7］Qiao F B， Yang R Q. Multi-sensor systems and informationprocessing of mobile robot in uncertain environments［J］.Journal of Southeast University (English Edition)， 2004， 20(3):341-345.

［8］李玉榕，郭智疆，蔣靜坪.多傳感器融合在移動(dòng)機(jī)器人運(yùn)動(dòng)控制中的應(yīng)［J］.儀器儀表學(xué)報(bào)，2002， 23 (1):106-110.

［9］張英.拱泥機(jī)器人的運(yùn)動(dòng)分類及控制［J］.船海工程，2007 (6):100-102.