倉(cāng)貨場(chǎng)景中的光流與超寬帶定位

吳 昊，郭鑫宇，李玉杰，吳子昂，楊 寧

（南開(kāi)大學(xué)濱海學(xué)院，天津 300270）

0 引言

為了滿足不斷增長(zhǎng)的國(guó)民貨運(yùn)需求，物流行業(yè)蓬勃發(fā)展，各大物流公司應(yīng)運(yùn)而生。倉(cāng)儲(chǔ)業(yè)務(wù)作為各物流公司的主要經(jīng)營(yíng)業(yè)務(wù)和重要盈利中心，其作業(yè)效率、作業(yè)能力和服務(wù)水平可以對(duì)企業(yè)產(chǎn)生直接影響，因此，對(duì)倉(cāng)儲(chǔ)作業(yè)的優(yōu)化改革迫在眉睫。在大型的高位貨架倉(cāng)庫(kù)中，選用體積小，使用方便，機(jī)動(dòng)性強(qiáng)的無(wú)人機(jī)代替人工進(jìn)行貨物檢視和盤(pán)點(diǎn)不失為一種好的選擇[1]。UWB是一種用于測(cè)距、定位和跟蹤的超帶寬通信的無(wú)線電技術(shù)，超寬帶無(wú)線信號(hào)具有傳輸速率髙、功耗低、抗干擾能力強(qiáng)、穿透性強(qiáng)、定位精度髙等優(yōu)點(diǎn)，是一種發(fā)展前景廣闊的室內(nèi)實(shí)時(shí)定位技術(shù)?；赨WB定位技術(shù)的無(wú)人機(jī)精準(zhǔn)定位系統(tǒng)結(jié)合光流輔助定位、二維碼識(shí)別等技術(shù)，就可以對(duì)貨架上存放的貨物進(jìn)行盤(pán)點(diǎn)[2]。借助無(wú)人機(jī)底部的智能攝像頭，采用光流算法計(jì)算兩幀的位移，實(shí)現(xiàn)對(duì)無(wú)人機(jī)的高精度定位。而對(duì)于二維碼識(shí)別技術(shù)，隨著移動(dòng)互聯(lián)網(wǎng)的迅速發(fā)展，二維碼應(yīng)用已經(jīng)滲透到了生活的各個(gè)角度，它具有信息量大，可靠性、保密性、防偽性強(qiáng)等優(yōu)點(diǎn)，無(wú)人機(jī)與之合作的倉(cāng)儲(chǔ)作業(yè)方案將倉(cāng)儲(chǔ)管理水平提高到一個(gè)全新的高度。

本項(xiàng)目擬開(kāi)發(fā)一個(gè)倉(cāng)貨場(chǎng)景中的光流和超寬帶定位系統(tǒng)。傳統(tǒng)無(wú)人機(jī)定位主要采用GPS方式，此種方法快速、廉價(jià)但準(zhǔn)確性較差且在室內(nèi)幾乎無(wú)法使用，與傳統(tǒng)的GPS定位系統(tǒng)不同，超寬帶（UWB）近場(chǎng)通信技術(shù)由于其抗干擾能力強(qiáng)、精準(zhǔn)度高，在一些特定環(huán)境下可以輔助乃至完全替代GPS定位。在大型的高位貨架倉(cāng)庫(kù)中，貨物檢視和盤(pán)點(diǎn)是一項(xiàng)費(fèi)時(shí)費(fèi)力的工作，且人工盤(pán)點(diǎn)的準(zhǔn)確性僅有89%左右，而無(wú)人機(jī)結(jié)合UWB、光流、二維碼識(shí)別等技術(shù)，就可以對(duì)貨架上存放的貨物信息進(jìn)行捕捉，從而實(shí)現(xiàn)貨物盤(pán)點(diǎn)。

1 系統(tǒng)總體結(jié)構(gòu)

系統(tǒng)采用超寬帶定位技術(shù)、光流定位技術(shù)、二維碼識(shí)別技術(shù)，實(shí)現(xiàn)無(wú)人機(jī)的精準(zhǔn)定位和貨物識(shí)別。融合超寬帶定位模塊和光流傳感器數(shù)據(jù)得到無(wú)人機(jī)的精準(zhǔn)坐標(biāo)，實(shí)現(xiàn)精準(zhǔn)定位。無(wú)人機(jī)達(dá)到指定坐標(biāo)后，機(jī)載相機(jī)掃描二維碼得到貨物信息，借助服務(wù)器作為上層應(yīng)用進(jìn)行數(shù)據(jù)存儲(chǔ)以及數(shù)據(jù)顯示，再以MySQL數(shù)據(jù)庫(kù)為數(shù)據(jù)存儲(chǔ)系統(tǒng)，即可將打包的信息傳輸至服務(wù)器的數(shù)據(jù)庫(kù)中。借助Fastadmin框架搭建監(jiān)測(cè)平臺(tái)，使數(shù)據(jù)實(shí)時(shí)顯示在Web頁(yè)面上，方便查詢。系統(tǒng)總體流程圖如圖1所示。

圖1 系統(tǒng)總體流程圖

所搭建系統(tǒng)實(shí)物圖如圖2所示。

圖2 場(chǎng)景搭建實(shí)物圖

2 系統(tǒng)硬件技術(shù)

系統(tǒng)硬件設(shè)計(jì)主要由PX4 Flow、UWB定位等模塊組成。

2.1 光流定位技術(shù)

光流是在無(wú)人機(jī)上光流定位，是測(cè)速算法，它借助無(wú)人機(jī)底部的一個(gè)攝像頭采集圖像數(shù)據(jù)，采用光流算法計(jì)算兩幀圖像位移，實(shí)現(xiàn)對(duì)無(wú)人機(jī)的定位，即利用光流測(cè)試再積分定位。在室內(nèi)沒(méi)有信號(hào)時(shí)，也可以實(shí)現(xiàn)對(duì)無(wú)人機(jī)高精度定位，實(shí)現(xiàn)更加平穩(wěn)的控制，同時(shí)具有良好的抗噪能力。它通過(guò)檢測(cè)圖像中光點(diǎn)和暗點(diǎn)的移動(dòng)，來(lái)判斷圖像中像素點(diǎn)相對(duì)于飛行器的移動(dòng)速度。所謂光流定位，其實(shí)就是利用光流測(cè)速再積分定位。

基于梯度的方法又稱為微分法，它利用時(shí)變圖像灰度的時(shí)空微分（即時(shí)空梯度函數(shù)）來(lái)計(jì)算像素的速度矢量。通過(guò)加權(quán)矩陣的控制對(duì)梯度進(jìn)行不同平滑處理。典型代表是Horn-Schunck光流計(jì)算方法。

圖3 光流計(jì)算流程圖

光流的計(jì)算歐拉方式

光流計(jì)算方式

在光流的計(jì)算方法中，很多方法基于如下的光流約束方程

式中，I是圖像上點(diǎn)(x,y)的灰度；(u,v)是該點(diǎn)的光流；Ix、Iy、It分別是灰度相對(duì)于x、y、z的偏導(dǎo)。

這就稱之為基于梯度的方法。

對(duì)于基于梯度法的光流定位，它的刷新速率快，短時(shí)精度高，并且易于實(shí)現(xiàn)。但基于梯度法的光流定位其本質(zhì)是依靠計(jì)算明暗像素點(diǎn)的偏移速度，其位置估計(jì)則是對(duì)偏移速度的積分，在累計(jì)誤差的影響下，依靠光流定點(diǎn)的無(wú)人機(jī)還會(huì)出現(xiàn)水平漂移。

2.2 TDOA與TWR定位算法以及UWB定位技術(shù)

2.2.1 飛行時(shí)間差——TDOA定位算法

TDOA是一種利用時(shí)間差進(jìn)行定位的方法，是一個(gè)穩(wěn)定可靠的基于網(wǎng)絡(luò)化的定位方式，是基于多站點(diǎn)的定位系統(tǒng)，對(duì)信號(hào)進(jìn)行定位必須有至少3個(gè)以上的檢測(cè)站進(jìn)行同時(shí)測(cè)量。通過(guò)測(cè)量信號(hào)源的距離，確定信號(hào)源的距離，然后利用信號(hào)源到各個(gè)監(jiān)測(cè)站的距離（以監(jiān)測(cè)站為中心，距離為半徑作圓），確定信號(hào)位置。但是絕對(duì)時(shí)間一般比較難測(cè)量，通過(guò)比較信號(hào)到達(dá)各個(gè)監(jiān)測(cè)站的絕對(duì)時(shí)間差，就能畫(huà)出以監(jiān)測(cè)站為焦點(diǎn)，距離差為長(zhǎng)軸的雙曲線，雙曲線的交點(diǎn)就是信號(hào)的位置。

TDOA值的獲?。豪靡苿?dòng)臺(tái)到達(dá)2個(gè)基站的時(shí)間TOA，取其差值。這時(shí)需要基站時(shí)間的嚴(yán)格同步，但是當(dāng)兩基站間信號(hào)傳輸特性相似時(shí)，可減少由多徑效應(yīng)帶來(lái)的誤差。

根據(jù)到達(dá)時(shí)間差獲得的TDOA方程為

算法示意圖：

圖4 TDOA算法示意圖

與其他定位技術(shù)相比，TDOA算法不存在相位模糊問(wèn)題，測(cè)向基線可不受控制，系統(tǒng)復(fù)雜度低，同時(shí)定位精度較高。但是在TDOA系統(tǒng)中，各個(gè)基站的時(shí)鐘必須嚴(yán)格同步。

2.2.2 雙向測(cè)距—— TWR定位算法

TWR是一種雙向測(cè)距算法。定位基站分為主基站和從基站，一個(gè)主基站對(duì)應(yīng)四個(gè)從基站，主基站主要負(fù)責(zé)和定位引擎進(jìn)行通信，需要的基站數(shù)量總體較多。基站通過(guò)無(wú)線電波在基站與標(biāo)簽之間進(jìn)行三次飛行（標(biāo)簽-基站-標(biāo)簽-基站），然后算出基站與標(biāo)簽之間的距離。

TWR算法大大縮短了標(biāo)簽的待機(jī)時(shí)間，并且它的定位精度高于TDOA。

2.2.3 UWB定位技術(shù)

UWB定位超寬帶LinkTrack S/P室內(nèi)測(cè)距模塊，是一個(gè)能通信的定位系統(tǒng)，具有高精度、高頻率、低延遲以及可靠性高等特點(diǎn)，集定位、導(dǎo)航、通信、授時(shí)于一體。通過(guò)室內(nèi)布置四個(gè)已知坐標(biāo)的定位基站，需要定位的定位標(biāo)簽按一定的頻率發(fā)射脈沖，不斷和幾個(gè)基站進(jìn)行測(cè)距，然后通過(guò)一定的精確算法定出標(biāo)簽的位置。

優(yōu)點(diǎn)：超寬帶定位依賴于基站定位，坐標(biāo)位置明確，不會(huì)出現(xiàn)累計(jì)誤差，而且穿透力強(qiáng)，功耗低。

缺點(diǎn)：由于超寬帶通信定位受非視距影響較大，即使有冗余基站補(bǔ)償和NLOS優(yōu)化算法，純粹依靠UWB模塊也很難實(shí)現(xiàn)高精度的定位。上層應(yīng)用端做平滑處理后會(huì)產(chǎn)生時(shí)間滯后，也會(huì)影響定位效果。

2.3 超寬帶定位與光流定位融合

面對(duì)單一傳感器定位的各種不足，人們已經(jīng)想出了將各種傳感器融合的方法。例如，常見(jiàn)將IMU和光流融合定位、IMU和UWB融合定位，這些辦法在實(shí)際應(yīng)用中已經(jīng)取得不錯(cuò)的效果。UWB和光流的優(yōu)缺點(diǎn)恰巧互補(bǔ)，下面主要討論如何使用一階互補(bǔ)濾波融合這兩種傳感器的數(shù)據(jù)實(shí)現(xiàn)無(wú)人機(jī)的高精度室內(nèi)定位。

問(wèn)題假設(shè)：我們已有兩路數(shù)據(jù)，光流可以獲取實(shí)時(shí)的對(duì)地速度，UWB能夠獲取位置信息，采樣間隔為T(mén)s。兩者只涉及高頻和低頻的噪聲，且有以下線性關(guān)系

即光流測(cè)量值等于光流真實(shí)值加上光流低頻噪聲，UWB測(cè)量值等于UWB真實(shí)值加上高頻噪聲。

于是我們讓兩個(gè)傳感器分別通過(guò)高通濾波器和低通濾波器求和得到理想姿態(tài)，即

程序中常用一個(gè)簡(jiǎn)化系數(shù)k代替濾波器的功能，則有算法如下

我們假設(shè)飛機(jī)在x,y軸方向均以一定速度移動(dòng)，每隔一段時(shí)間得到UWB、光流和融合后的定位坐標(biāo)值。

圖5 UWB、光流定位數(shù)據(jù)和濾波后數(shù)據(jù)對(duì)比圖

經(jīng)MATLAB仿真驗(yàn)證，能夠從圖中觀察到UWB的高頻噪聲和光流的累計(jì)誤差，單獨(dú)使用兩種傳感器進(jìn)行定位效果并不理想，濾波后的無(wú)人機(jī)的位置軌跡和無(wú)人機(jī)運(yùn)動(dòng)的理想軌跡相符合，融合后的定位效果對(duì)比單個(gè)傳感器定位效果有顯著提升。

3 無(wú)人機(jī)上層控制設(shè)計(jì)

3.1 PX4固件和MAVROS

PX4-Autopilot是國(guó)外知名的開(kāi)源無(wú)人機(jī)項(xiàng)目，其固件支持板載計(jì)算機(jī)和飛控通過(guò)MAVLINK通信，實(shí)現(xiàn)對(duì)無(wú)人機(jī)的狀態(tài)讀取和上層控制。MAVROS是ROS中支持MAVLINK通信的軟件包，開(kāi)發(fā)者能夠利用ROS工具和MAVROS軟件包，編寫(xiě)外部控制程序，向無(wú)人機(jī)發(fā)布控制指令。

激光定高模塊、光流模塊、UWB模塊通過(guò)TTL轉(zhuǎn)USB芯片接入板載計(jì)算機(jī)，板載計(jì)算將激光定高數(shù)據(jù)、光流和UWB濾波后的數(shù)據(jù)傳入“/mavros/vision_pose/pose”話題中，實(shí)現(xiàn)無(wú)人機(jī)的三維定位。修改無(wú)人機(jī)的飛行狀態(tài)，發(fā)布位置和速度期望，實(shí)現(xiàn)無(wú)人機(jī)的位置控制功能。

3.2 服務(wù)器端程序設(shè)計(jì)

圖6 定位數(shù)據(jù)顯示界面

無(wú)人機(jī)機(jī)頭搭載智能相機(jī)，opencv程序識(shí)別二維碼，每個(gè)貨物箱上的二維碼將以“貨物編號(hào)/貨物名稱/存放日期/描述”格式存儲(chǔ)信息。掃描到貨物信息之后，通過(guò)TCP發(fā)送到服務(wù)器端，貨物信息將被實(shí)時(shí)記錄下來(lái)并保存到服務(wù)器端的數(shù)據(jù)庫(kù)中，方便操作員可以從網(wǎng)頁(yè)中輕松的查找到入庫(kù)記錄。

4 結(jié)束語(yǔ)

本文設(shè)計(jì)了一個(gè)用于倉(cāng)貨場(chǎng)景的光流與超寬帶定位系統(tǒng)，該方案包括以下步驟：獲取倉(cāng)庫(kù)中貨物信息數(shù)據(jù)庫(kù)；獲取貨物信息數(shù)據(jù)庫(kù)中各個(gè)貨物對(duì)應(yīng)的物品信息和貨物分區(qū)信息，獲取每個(gè)貨物分區(qū)的分區(qū)巡視路徑規(guī)劃地圖；獲取檢視和盤(pán)點(diǎn)指令信息并解析，從而得到待檢視和盤(pán)點(diǎn)貨物的信息，使得無(wú)人機(jī)根據(jù)該分區(qū)巡視路徑規(guī)劃地圖進(jìn)行分區(qū)直飛巡檢，從而獲得實(shí)際檢視和盤(pán)點(diǎn)的貨物數(shù)據(jù)。更重要的是，無(wú)人機(jī)結(jié)合UWB、光流定位、二維碼識(shí)別等技術(shù)，就可以讀取大型的高位貨架倉(cāng)庫(kù)上存放貨物的數(shù)據(jù)，能夠?qū)Κ?dú)立的貨物進(jìn)行單獨(dú)檢視和分區(qū)盤(pán)點(diǎn)，以達(dá)到節(jié)省時(shí)間、人力物力資源。