射頻技術(shù)輔助的三維視覺識(shí)別系統(tǒng)

張 智，劉子瑜，邱靈龍，王楦燁，董 旭

(1.浙江工業(yè)大學(xué)之江學(xué)院信息工程學(xué)院，浙江 紹興 312030；2.浙江工業(yè)大學(xué)計(jì)算機(jī)學(xué)院，浙江 杭州 310023；3.浙江工業(yè)大學(xué)信息工程學(xué)院，浙江 杭州 310023)

近年來，視覺識(shí)別被廣泛應(yīng)用于視覺定位[1]、物品檢測[2]、生物鑒別[3]等。隨著智慧城市化、快遞貨運(yùn)行業(yè)等方向的高速發(fā)展，視覺識(shí)別應(yīng)用于機(jī)器人代替人工從事重復(fù)繁雜的工作非常普遍，且逐漸產(chǎn)生分揀機(jī)器人、自動(dòng)包裝機(jī)器人和視障輔助識(shí)別等多元化應(yīng)用。

隨著社會(huì)需求的增加，視覺識(shí)別的功能與性能也在逐步上升。利用視覺識(shí)別技術(shù)結(jié)合網(wǎng)絡(luò)化和信息化的模式實(shí)現(xiàn)自動(dòng)分揀成為安全監(jiān)控、產(chǎn)品檢查和自動(dòng)包裝等行業(yè)的主要研究和發(fā)展方向之一[4－6]。在對物體進(jìn)行精準(zhǔn)操作的應(yīng)用中，關(guān)注物體整體三維形狀是十分必要的。通過單目攝像頭只能做到二維目標(biāo)識(shí)別，部分研究中通過單目攝像頭完成的三維物體識(shí)別需要結(jié)合圖像處理算法獲取其他信息，實(shí)質(zhì)上識(shí)別的圖像還是二維的。視覺識(shí)別研究中通常需要多視角或多目攝像頭實(shí)現(xiàn)物體在三維空間上的目標(biāo)識(shí)別。如Wiles等[7]提出的從單個(gè)和多個(gè)視圖預(yù)測雕塑的3D表面學(xué)習(xí)方法中，使用2D剪影圖像仍然受圖像尺寸的限制，而多視圖預(yù)測需要合成多個(gè)視圖來估計(jì)三維。三維目標(biāo)識(shí)別一般具有兩個(gè)以上的攝像機(jī)[8－9]，隨著大量攝像頭的安裝，監(jiān)管者需要不斷關(guān)注視頻屏幕并從中提取信息，這對于人員來說在耐力和工作強(qiáng)度上都存在挑戰(zhàn)。此外，隨著監(jiān)控時(shí)間的增加，視頻錄像數(shù)據(jù)的不斷增長對存儲(chǔ)設(shè)備的性能提出了更高的要求。

射頻識(shí)別(Radio Frequency Identification，RFID)[10]通過射頻信號獲得有關(guān)數(shù)據(jù)，屬于無接觸式自動(dòng)識(shí)別技術(shù)，可有效縮短識(shí)別目標(biāo)對象的時(shí)長。通過射頻技術(shù)與視覺技術(shù)融合可以降低數(shù)據(jù)冗余[11]。但是當(dāng)前關(guān)于RFID與視頻結(jié)合的研究更傾向于利用RFID獲取位置信息或者利用相位值這種無線信號的物理層屬性來輔助視覺算法完成目標(biāo)的定位或追蹤任務(wù)[12－13]，沒有充分利用RFID標(biāo)簽所關(guān)聯(lián)的物體信息。

在對現(xiàn)有視覺識(shí)別技術(shù)進(jìn)行深入研究的基礎(chǔ)上，為了提高識(shí)別物體的速度和準(zhǔn)確率，本文提出了一種可以在不同場景下通用的射頻技術(shù)輔助的視覺識(shí)別系統(tǒng)，借助RFID自動(dòng)識(shí)別和動(dòng)態(tài)收集功能，將物體特征數(shù)據(jù)綁定于RFID標(biāo)簽作為先驗(yàn)信息存儲(chǔ)于數(shù)據(jù)庫，通過讀取物體特征信息可以輔助攝像頭識(shí)別物體，以三維立體坐標(biāo)形式復(fù)現(xiàn)物體所在平面的位姿。這樣可以對物體進(jìn)行綜合判斷，提高原始視頻識(shí)別系統(tǒng)的智能性，可以廣泛的應(yīng)用在未來的自動(dòng)分揀、視障輔助、機(jī)器輔助操縱等場景。本文主要的創(chuàng)新點(diǎn)包括:①提出了一種通用的多傳感器融合的方法，能夠通過采用射頻標(biāo)簽所關(guān)聯(lián)的先驗(yàn)信息輔助不同視覺識(shí)別算法。②以Canny[14]和Faster R-CNN[15]兩種算法為例，詳述了如何運(yùn)用本文方法使用標(biāo)簽關(guān)聯(lián)的物體信息作為先驗(yàn)信息輔助現(xiàn)有視覺算法完成單目三維識(shí)別，證明了本文方法的通用性。③對不同物體進(jìn)行大量實(shí)驗(yàn)，驗(yàn)證了本文方法的有效性，與使用三維攝像頭、多目攝像頭實(shí)現(xiàn)三維識(shí)別的視覺算法相比，通過RFID輔助單目攝像頭進(jìn)行物體識(shí)別可以降低復(fù)雜度，并提升處理速度，多傳感器的融合提高了識(shí)別的準(zhǔn)確度。

1 設(shè)計(jì)原理

本文系統(tǒng)通過RFID標(biāo)簽標(biāo)記物品特性，讀取物品的重量、尺寸和材質(zhì)等先驗(yàn)信息輔助攝像頭對物體的識(shí)別、距離的判斷等操作。如圖1所示為本文系統(tǒng)框圖，系統(tǒng)包含的模塊有:傳感器模塊、控制模塊、傳輸模塊、數(shù)據(jù)庫。其中傳感器模塊包含RFID單元(射頻模塊)和攝像頭(視頻模塊)，RFID單元由電子標(biāo)簽、天線和讀寫器組成；以電腦作為控制模塊；傳輸模塊采用RFID讀寫器和攝像頭上的有線網(wǎng)口通信。標(biāo)簽中的物品信息存儲(chǔ)于數(shù)據(jù)庫作為先驗(yàn)信息，方便識(shí)別物品時(shí)讀寫器讀取數(shù)據(jù)，減少計(jì)算機(jī)分析視頻識(shí)別物體的時(shí)間。

圖1 系統(tǒng)框圖

1.1 射頻識(shí)別原理

無接觸式自動(dòng)識(shí)別技術(shù)RFID是由RFID電子標(biāo)簽、讀寫器、天線三部分組成。無源超高頻RFID系統(tǒng)采用的是反向散射調(diào)制，如圖2所示，系統(tǒng)運(yùn)行時(shí)，讀寫器發(fā)射查詢信號，無源電子標(biāo)簽獲得查詢信號后，將其中部分信號整流為直流電，用于為電子標(biāo)簽中的電路提供能量，另一部分信號由電子標(biāo)簽反射并調(diào)制后，將數(shù)據(jù)反饋給讀寫器。讀寫器的作用是讀寫電子標(biāo)簽中的內(nèi)容，天線的作用是在電子標(biāo)簽和讀寫器間傳送射頻信號(能量和數(shù)據(jù))[11]。

圖2 反向散射調(diào)制

1.2 視覺識(shí)別算法介紹

視覺識(shí)別在物體檢測中的應(yīng)用是機(jī)器視覺的經(jīng)典研究方向之一，主要目的是得到圖像中物體的目標(biāo)框，以及給出物體的類別。不管是機(jī)器視覺中解決物體檢測的基礎(chǔ)方法邊緣檢測，還是更加成熟的深度學(xué)習(xí)目標(biāo)檢測算法，都無法做到單目攝像頭的三維目標(biāo)識(shí)別。

邊緣檢測在視覺識(shí)別中是十分重要的研究方向，經(jīng)典的邊緣檢測包括微分法、最優(yōu)法和擬合法。最常見的是微分法，一般被劃分為一階邊緣算法和二階邊緣算法，如常用的Sobel[16]算子屬于一階邊緣算法，Sobel具有較強(qiáng)的抗噪聲干擾能力，在灰度漸變或者噪聲強(qiáng)的場景中圖像處理效果不錯(cuò)，但是定位準(zhǔn)確度較低。Laplacian[17]和Canny[14]算子屬于比較有名的二階邊緣算法，Laplacian算子在噪聲干擾下容易丟失邊緣梯度信息，因此更為常用的是Canny算子。

在使用Canny算法進(jìn)行邊緣檢測任務(wù)之前，通常使用高斯函數(shù)對圖像進(jìn)行平滑處理，以降低高斯噪聲，并設(shè)定分辨率，使得圖像的強(qiáng)度變化能夠更快速被檢測到，這個(gè)過程非常有利于檢測到灰度變化最大的邊緣。通過選擇圖像梯度可以定位這些最大邊緣的區(qū)域，返回水平梯度值Gx和垂直梯度值Gy。然后計(jì)算歐幾里得距離，作為梯度大小G，如式(1)所示。圖像的邊緣往往存在被延伸的情況，只確定梯度值不能很好地確定邊緣，因此有必要確定邊緣方向θ，計(jì)算方法如式(2)所示。

但是，Canny算法也存在一些缺點(diǎn)。例如無法識(shí)別物體周圍的弱邊緣，或者，由于噪聲的存在，有可能識(shí)別出虛假的邊緣。此外，它無法識(shí)別出分支的邊緣和一些重要的細(xì)節(jié)。Canny的漏檢率低于Sobel，但誤檢率更高。

隨著深度學(xué)習(xí)的發(fā)展，物體檢測算法中會(huì)加入卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)框架對圖像進(jìn)行訓(xùn)練提升識(shí)別性能[18]?；谏疃葘W(xué)習(xí)的視頻識(shí)別過程中，首先要使用攝像頭傳感器采集視頻信息，通過嵌入深度學(xué)習(xí)算法識(shí)別、檢測視頻圖像。

普通的識(shí)別方法是對單幀圖像進(jìn)行深度學(xué)習(xí)表達(dá)，單個(gè)圖像粒度通過CNN網(wǎng)絡(luò)將得到一個(gè)輸出，CNN由輸入層、卷積層、歸一化層、池化層和全連接層組成。在靜態(tài)的識(shí)別過程中，需要提取圖像特征進(jìn)行學(xué)習(xí)。而在快速運(yùn)動(dòng)的視頻中，為了減輕背景對視頻識(shí)別算法性能的影響，需要加強(qiáng)時(shí)間域上的學(xué)習(xí)。因此，為了提高識(shí)別精度，在運(yùn)動(dòng)量較明顯的視頻識(shí)別過程中，CNN網(wǎng)絡(luò)可以通過在更深層進(jìn)行時(shí)間卷積，將同一層的參數(shù)傳遞給不同時(shí)間的同一層網(wǎng)絡(luò)。

R-CNN(Regions with CNN features)[19]系列的目標(biāo)檢測算法一般包含候選區(qū)域提取、卷積特征提取、訓(xùn)練分類器和邊界回歸。前人所提的R-CNN、SPP-Net[20]、Fast R-CNN[21]算法都對CNN在物體檢測上的應(yīng)用做出了重要貢獻(xiàn)，但是仍然存在特征重復(fù)提取、耗時(shí)過大的問題。

Faster R-CNN使用了區(qū)域生成網(wǎng)絡(luò)(Region Proposal Network，RPN)[15]，和之前的R-CNN系列算法有所區(qū)別的是在特征圖上進(jìn)行候選區(qū)域提取，而不是在原圖。Faster R-CNN使用預(yù)訓(xùn)練模型訓(xùn)練后可以得到卷積網(wǎng)絡(luò)層VGG－16[22]，輸入圖像至卷積層后能夠在第五個(gè)卷積block的第三個(gè)卷積層輸出最終的特征圖，然后使用RPN選擇候選區(qū)域。結(jié)合特征圖和候選區(qū)域的輸出結(jié)果，并執(zhí)行感興趣區(qū)域池化(Region of interest pooling，RoI pooling)之后在全連接層可以實(shí)現(xiàn)目標(biāo)的識(shí)別和定位。相比R-CNN和Fast R-CNN，F(xiàn)aster R-CNN在檢測精度和耗時(shí)方面都有所改進(jìn)，但對于每個(gè)目標(biāo)候選框的計(jì)算量還是比較大。

2 射頻輔助的三維視覺識(shí)別

本文提出的射頻輔助視覺識(shí)別方法是一種通用的三維識(shí)別輔助方法，適用于改進(jìn)任意物體視覺識(shí)別檢測算法。本文以Canny邊緣檢測算法和Faster R-CNN目標(biāo)檢測算法來證明新提出的射頻輔助視覺識(shí)別方法的通用性和有效性。

2.1 算法流程

射頻輔助視覺識(shí)別程序流程圖如圖3所示。

圖3 視頻識(shí)別原理流程圖

首先，啟動(dòng)攝像頭后，開啟視頻流，然后捕獲視頻的一幀，根據(jù)選擇的視覺識(shí)別算法對捕獲的圖像進(jìn)行數(shù)據(jù)預(yù)處理，隨后使用視覺識(shí)別算法能夠較好的對物體進(jìn)行標(biāo)定。若置信度過低則重新檢測。

在視覺識(shí)別過程中，由于相機(jī)拍攝畫面的畸變?nèi)菀自斐蓤D片桶形失真，因此本文采用相機(jī)標(biāo)定算法[23]對圖像進(jìn)行矯正處理。首先將世界坐標(biāo)轉(zhuǎn)化為相機(jī)坐標(biāo)，如式(3)所示，其中(Xw，Yw，Zw)表示某點(diǎn)的世界坐標(biāo)，(Xc，Yc，Zc)表示該點(diǎn)的相機(jī)坐標(biāo)，R為世界坐標(biāo)系分別繞X，Y，Z軸旋轉(zhuǎn)的旋轉(zhuǎn)矩陣之積。T表示偏移向量。

然后結(jié)合小孔成像原理和三角形相似性原理計(jì)算二維圖像坐標(biāo)，關(guān)系表達(dá)式如式(4)所示:

式中，f為圖像坐標(biāo)系原點(diǎn)與相機(jī)坐標(biāo)系原點(diǎn)之間的距離，(xg，yg)表示圖像坐標(biāo)。

最后，通過圖像坐標(biāo)計(jì)算像素坐標(biāo)，雖然圖像坐標(biāo)系和像素坐標(biāo)系都在成像的平面中，但是兩者一般情況下是不垂直的(如圖4所示)，轉(zhuǎn)換關(guān)系如式(5)所示，(u，v)表示像素坐標(biāo)，(u0，v0)為像素坐標(biāo)系原點(diǎn)在圖像坐標(biāo)系中的坐標(biāo)值，θ為像素坐標(biāo)系的夾角。

圖4 圖像坐標(biāo)轉(zhuǎn)像素坐標(biāo)示意圖

多目識(shí)別系統(tǒng)復(fù)雜度較高，而無論用何種單目識(shí)別方法得到的結(jié)果都是二維的，難以分析物體整體情況，因此本文引入RFID標(biāo)簽信息作為先驗(yàn)信息輔助識(shí)別物體。視覺識(shí)別獲得目標(biāo)框的同時(shí)，也將返回物體的長、寬和高等信息，將其兩兩相乘得到不同面的面積，再將目標(biāo)框面積與先驗(yàn)信息計(jì)算得出的面積進(jìn)行比較，設(shè)定誤差在某個(gè)區(qū)間內(nèi)為同一個(gè)面，此時(shí)先驗(yàn)信息中剩余的長(或者寬、高)則為實(shí)際的高，得知物體的高后可從目標(biāo)框的中心點(diǎn)坐標(biāo)映射出重心坐標(biāo)，然后以目標(biāo)框?yàn)轫斆婵梢詮?fù)現(xiàn)出三維物體。以圖5為例，加粗黑線框?yàn)闄z測到的目標(biāo)框，返回目標(biāo)框的頂點(diǎn)像素坐標(biāo)后，通過左上角頂點(diǎn)像素坐標(biāo)(x，y，z)計(jì)算其真實(shí)坐標(biāo)(X，Y，Z)，如式(6)所示，其中dx、dy、dz分別是指真實(shí)距離Dx、Dy、Dz對應(yīng)的像素距離。通過頂點(diǎn)真實(shí)坐標(biāo)可計(jì)算出目標(biāo)框中心點(diǎn)的真實(shí)坐標(biāo)。由俯視角度得到了目標(biāo)框的中心點(diǎn)坐標(biāo)，則以長方體為例，可映射出的重心坐標(biāo)為。

圖5 識(shí)別目標(biāo)框示意圖

本文以Canny邊緣檢測算法和Faster R-CNN目標(biāo)檢測算法為例來詳述如何使用本文方法對現(xiàn)有算法進(jìn)行改進(jìn)，對Canny和Faster R-CNN的改進(jìn)分別見2.2節(jié)和2.3節(jié)。

2.2 Canny的改進(jìn)算法

當(dāng)物體檢測過程中采用邊緣檢測算法時(shí)，為了盡可能減少噪聲對邊緣檢測結(jié)果的影響，采用高斯濾波對圖像進(jìn)行平滑及過濾噪聲處理。然后計(jì)算圖像中不同像素點(diǎn)的梯度強(qiáng)度和方向，圖像邊緣一般會(huì)指向各個(gè)方向，于是Canny算法使用四種算法來識(shí)別圖像中的水平、垂直和對角邊緣。在傳統(tǒng)的Canny邊緣檢測中，偽邊的存在會(huì)導(dǎo)致物體尺寸的確定出現(xiàn)誤差[14]，因此基于原始的算法，本文做了如下的改進(jìn)。

首先對圖像進(jìn)行平滑時(shí)，通過每個(gè)像素的水平梯度和垂直梯度的高斯核計(jì)算梯度的絕對值，并得到邊緣方向，分別如式(7)和式(8)所示。

本文改進(jìn)的Canny邊緣檢測方法中，為了消除邊緣檢測引起的虛假響應(yīng)，采用非最大值抑制，然后采用雙閾值檢測方法進(jìn)行標(biāo)定真實(shí)邊緣和潛在邊緣，實(shí)質(zhì)是結(jié)合了RFID標(biāo)簽中準(zhǔn)確的物體幾何信息和像素信息來確定濾波窗口的權(quán)重，像素值越接近幾何中心的像素，則權(quán)重越大，數(shù)學(xué)表達(dá)如式(9)所示。

式中，(ui，vj)為當(dāng)前點(diǎn)的像素坐標(biāo)，(uk，vl)為幾何中心點(diǎn)的真實(shí)坐標(biāo)，獲取物體幾何信息后由具體的幾何中心計(jì)算公式得到。f(ui，vj)和f(uk，vl)分別表示當(dāng)前點(diǎn)和幾何中心點(diǎn)的像素值。δd和δg分別表示空間距離標(biāo)準(zhǔn)差和灰度距離標(biāo)準(zhǔn)差。由上式可知，若像素值和附近目標(biāo)點(diǎn)的像素很接近或者差異很大時(shí)，難以達(dá)到去噪目的，因此需要縮小邊緣的搜索范圍，本文采取減小搜索范圍閾值進(jìn)行自適應(yīng)雙閾值，表達(dá)式如下:

最后，通過抑制孤立的弱邊緣來完成邊緣檢測。分級后的強(qiáng)邊與弱邊相關(guān)聯(lián)，通過保留局部極大值和抑制所有其他的非極大值點(diǎn)可以實(shí)現(xiàn)將模糊的邊緣轉(zhuǎn)換成銳利的邊緣。

2.3 Faster R-CNN的改進(jìn)算法

為了更全面對視覺識(shí)別方法進(jìn)行改進(jìn)，來展示此方法的通用性，本算法也提供了對目標(biāo)檢測算法的輔助識(shí)別，輸入的數(shù)據(jù)集標(biāo)定了RFID標(biāo)簽中準(zhǔn)確的物體幾何信息。由于對于分類較多的目標(biāo)檢測任務(wù)，ResNet[25]模型在精確度和運(yùn)行速度上都優(yōu)于VGG模型，因此本文采用的基礎(chǔ)網(wǎng)絡(luò)為ResNet－50，預(yù)訓(xùn)練模型選擇ImageNet，且在卷積層中運(yùn)用ImageNet中的批歸一化(Batch Normalization，BN)方法。訓(xùn)練迭代輪數(shù)為24，初始學(xué)習(xí)率設(shè)置為0.002 5，批大小為6，觀察到訓(xùn)練集損失發(fā)散時(shí)降低學(xué)習(xí)率。

本文為了增強(qiáng)識(shí)別精度，改進(jìn)的方法在原始的Faster R-CNN的RPN架構(gòu)上引入了特征金字塔(Feature Pyramid Network，F(xiàn)PN)[26]，在每次的卷積下采樣時(shí)都生成對應(yīng)的特征圖，然后通過自頂向下的上采樣方式將特征圖放大，同時(shí)語義也越強(qiáng)，這使得網(wǎng)絡(luò)更具魯棒性，提高了Faster R-CNN算法對多尺度的小目標(biāo)的檢測精度。將前后兩種特征圖進(jìn)行橫向特征融合，可得圖6中右邊的FPN特征圖組。

圖6 FPN結(jié)構(gòu)圖

RPN對特征圖輸出提議框之后，由Softmax模型確定生成的提議框中的候選目標(biāo)部分，RPN的損失函數(shù)如式(11)所示:

式中，Nc表示類別數(shù)目，Np表示候選區(qū)域中目標(biāo)的數(shù)量，i為候選目標(biāo)的編號，Pi表示候選目標(biāo)是真實(shí)目標(biāo)的概率，P′i表示預(yù)測正確性標(biāo)簽，獲取先驗(yàn)信息計(jì)算候選目標(biāo)的預(yù)測框與真實(shí)目標(biāo)框重合面積，當(dāng)此面積大于等于80%時(shí)，P′i＝1，當(dāng)重合面積小于30%時(shí)，P′i＝0。bi表示預(yù)測框的邊界參數(shù)坐標(biāo)，b′i代表P′i＝1時(shí)的目標(biāo)標(biāo)注框邊界坐標(biāo)向量。λ＝10，是損失函數(shù)在訓(xùn)練總損失函數(shù)中占比的平衡參數(shù)。

由于RoI Pooling會(huì)導(dǎo)致區(qū)域錯(cuò)誤匹配的問題，因此為了提高多層次目標(biāo)的檢測精度，本文在選擇候選區(qū)域之后增加RoI對齊[19]層，替換Faster R-CNN的RoI Pooling層。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境介紹

本文所提系統(tǒng)基于Python3.6和PaddlePaddle實(shí)現(xiàn)，算法采用邊緣檢測Canny算子和Faster R-CNN目標(biāo)檢測算法。PaddlePaddle用于訓(xùn)練Faster R-CNN模型并進(jìn)行數(shù)據(jù)增強(qiáng)以提高模型準(zhǔn)確度，模型使用時(shí)需要導(dǎo)入依賴庫paddlex。硬件配置為Intel i7－8700K 3.70GHz CPU和16GB內(nèi)存，Nvidia GeForce RTX 2080顯卡，Nvidia依賴為CUDA10.0、cuDNN7.5.1。射頻模塊讀寫器由INDY R2000芯片和雙CPU架構(gòu)設(shè)計(jì)組成。視頻模塊硬件包括海康威視攝像頭DS－2DC2204IW－DE3/W，該攝像頭可變焦，焦距范圍2.8 mm～12 mm，其使用的圖像傳感器能夠?qū)D像進(jìn)行精準(zhǔn)的顯示，且具有降噪功能，在對相鄰幀圖像進(jìn)行比較濾波后，能夠?qū)φ页龅脑肼朁c(diǎn)位置進(jìn)行增益控制，以弱化弱信號圖像的噪聲干擾；支持水平350°無死角監(jiān)控，通過網(wǎng)口傳輸視頻流，結(jié)合物體檢測可實(shí)現(xiàn)對物體坐標(biāo)的精準(zhǔn)定位。

本文基于兩種不同的算法進(jìn)行的對比實(shí)驗(yàn)過程分別包含雙目識(shí)別和單目RFID輔助識(shí)別兩種不同的識(shí)別方式。雙目識(shí)別采取如圖7所示的通過兩個(gè)攝像頭獲取物體三維信息，其中攝像頭1獲取單個(gè)截面目標(biāo)框，攝像頭2可獲取物體的高度；單目RFID輔助識(shí)別方式的測試演示圖如圖8所示，包括RFID讀寫器、RFID天線、帶有標(biāo)簽的物體和一個(gè)攝像頭。圖7中的攝像頭1與圖8中的攝像頭1位置一致，即攝像頭1在雙目、單目的情況下位置一致。

圖8 RFID輔助單目攝像頭識(shí)別演示圖

為體現(xiàn)本研究的可靠性及效果，本文以視野范圍左上角頂點(diǎn)處為原點(diǎn)建立三維坐標(biāo)系，對不同規(guī)格的物體進(jìn)行了不同方位、不同距離的測試，結(jié)果表現(xiàn)出物體越小識(shí)別誤差越大，因此最終選擇了較小規(guī)格的物體識(shí)別結(jié)果數(shù)據(jù)進(jìn)行分析，實(shí)物如圖9所示，包括長方體、立方體、直棱柱、平行六面體、球體和圓錐形狀的物體。

圖9 部分測試物體實(shí)物圖

3.2 性能評估

雙目識(shí)別需要靠視覺識(shí)別技術(shù)獲取物體的有效信息。而基于RFID技術(shù)的單目視頻識(shí)別輔助系統(tǒng)中，RFID標(biāo)簽存有物體實(shí)際的先驗(yàn)信息，通過真實(shí)的信息輔助攝像頭識(shí)別物體加快了識(shí)別速度、減少了估計(jì)誤差。

在定位準(zhǔn)確度方面，如圖10所示為邊緣檢測實(shí)驗(yàn)的中心距離偏差對比圖，圖11為Faster R-CNN目標(biāo)檢測實(shí)驗(yàn)的中心距離偏差對比圖。相同尺寸物體基于同樣的環(huán)境因素進(jìn)行測試，由于邊緣檢測比目標(biāo)檢測算法更易受環(huán)境因素的影響，因此定位誤差起伏較大。對比不同形狀的物體的檢測結(jié)果，本文通過RFID標(biāo)簽信息輔助單目邊緣檢測進(jìn)行三維視覺識(shí)別的方法誤差均比雙目邊緣檢測的誤差要小，總體平均降低定位誤差為25.60%。通過RFID標(biāo)簽信息輔助單目Faster R-CNN進(jìn)行三維視覺識(shí)別的方法誤差均比雙目Faster R-CNN三維識(shí)別方式的誤差更小，總體平均降低定位誤差為25.70%。

圖10 邊緣檢測誤差對比圖

圖11 目標(biāo)檢測誤差對比圖

在識(shí)別準(zhǔn)確度方面，邊緣檢測能標(biāo)識(shí)物體的邊緣，但得到的結(jié)果中目標(biāo)框會(huì)大于物體實(shí)際邊緣。目標(biāo)檢測能準(zhǔn)確識(shí)別出物體標(biāo)記好的標(biāo)簽，但不論是邊緣檢測或是目標(biāo)檢測算法都會(huì)由于環(huán)境因素的影響而使得目標(biāo)框不夠標(biāo)準(zhǔn)，導(dǎo)致返回物體的長、寬和高有一定的誤差，如圖12中實(shí)際俯視應(yīng)該是黃色的框，但是檢測返回的結(jié)果卻是紅色的框，這時(shí)通過RFID讀寫器讀取物體標(biāo)簽?zāi)艿玫綔?zhǔn)確的物體尺寸信息，使得檢測的計(jì)算結(jié)果更加準(zhǔn)確。本實(shí)驗(yàn)中，對于物體三維尺寸信息，邊緣檢測的平均識(shí)別誤差為9.02%，目標(biāo)檢測的平均識(shí)別誤差為9.25%，通過從數(shù)據(jù)庫中獲取讀寫器上傳的真實(shí)的物體信息，能去除三維尺寸的識(shí)別誤差，有助于未來應(yīng)用于各種機(jī)器，提高機(jī)器對物體的準(zhǔn)確操縱程度。

圖12 物體識(shí)別目標(biāo)框示意圖

在算法速度方面，運(yùn)行多目攝像頭進(jìn)行物體識(shí)別，產(chǎn)生的數(shù)據(jù)量更大，而且需要對多個(gè)攝像頭畫面進(jìn)行關(guān)聯(lián)分析，算法計(jì)算更耗時(shí)。單目RFID可以減少視角，利用單目識(shí)別出的二維圖形加上RFID標(biāo)簽關(guān)聯(lián)的物體尺寸等信息，可以識(shí)別出物體的三維位置，并且射頻讀取的速度很快，因此從原理上是能夠提高物體識(shí)別的速度的，而且實(shí)驗(yàn)也證實(shí)了單目RFID確實(shí)提升了識(shí)別速度，該方法的代價(jià)是在物體上需要貼上電子標(biāo)簽，將物體的信息與標(biāo)簽相關(guān)聯(lián)并存儲(chǔ)在數(shù)據(jù)庫中，這部分的工作需人工操作。如圖13所示的邊緣檢測識(shí)別速度對比圖中可看出在所有的測試中，雙目邊緣檢測所需的時(shí)間均高于基于RFID改進(jìn)的單目邊緣檢測算法，本文在速度上平均提升約32.82%。

圖13 邊緣檢測識(shí)別速度對比圖

如圖14所示為目標(biāo)檢測識(shí)別速度對比圖，由于Faster R-CNN計(jì)算量更大，加以調(diào)用了第三方paddlex依賴庫，在準(zhǔn)確度提升的同時(shí)會(huì)犧牲速率，因此基于RFID的單目Faster R-CNN在速度的提升上更加明顯，速度上提升約48.38%。本文以一個(gè)攝像頭代替兩個(gè)攝像頭實(shí)現(xiàn)三維識(shí)別，降低了算法復(fù)雜度，提高了識(shí)別速度。

圖14 目標(biāo)檢測識(shí)別速度對比圖

4 總結(jié)

本文提出了一種通用的射頻技術(shù)輔助的視覺識(shí)別系統(tǒng)，通過讀取RFID標(biāo)簽信息輔助單目視覺識(shí)別算法識(shí)別定位物體，并獲取數(shù)據(jù)庫中存儲(chǔ)的標(biāo)簽數(shù)據(jù)實(shí)現(xiàn)三維坐標(biāo)可視化復(fù)現(xiàn)，對今后自動(dòng)分揀、視障輔助、機(jī)器輔助操縱等不同場景的智能化發(fā)展具有極大的研究價(jià)值。實(shí)驗(yàn)數(shù)據(jù)證明，針對邊緣檢測算法的輔助識(shí)別，本文方法可提高25.60%的定位準(zhǔn)確度，降低9.02%的三維尺寸識(shí)別誤差，速度提升了32.82%；針對Faster R-CNN目標(biāo)檢測算法的輔助識(shí)別，本文方法可提高25.70%的定位準(zhǔn)確度、降低9.25%的三維尺寸識(shí)別誤差以及提升48.38%的識(shí)別速度。在本文系統(tǒng)的輔助之下，視覺識(shí)別效果能得到整體的提升，后續(xù)工作將繼續(xù)優(yōu)化識(shí)別的準(zhǔn)確度，使得本系統(tǒng)能夠復(fù)現(xiàn)不規(guī)則物體的三維圖像。