基于HoloLens2 的目標(biāo)檢測技術(shù)研究

曾笑

（四川大學(xué)視覺合成圖形圖像技術(shù)國防重點(diǎn)學(xué)科實(shí)驗(yàn)室，成都 610065）

0 引言

計(jì)算機(jī)視覺的任務(wù)是為了讓計(jì)算機(jī)能夠像人眼一樣理解圖像里的內(nèi)容，而目標(biāo)檢測一直是計(jì)算機(jī)視覺的熱門內(nèi)容。目標(biāo)檢測技術(shù)是通過算法判斷圖片中需要檢測的物體，同時(shí)在圖片中標(biāo)記出該物體的位置，用計(jì)算出的邊框?qū)⑵淙ζ饋?，并返回分類類別。傳統(tǒng)的目標(biāo)檢測技術(shù)是通過人工特征描述算子對(duì)圖像進(jìn)行描述后，再依據(jù)描述特征來對(duì)圖像進(jìn)行查找[1]。而近年來，隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺上的發(fā)展，利用卷積神經(jīng)網(wǎng)絡(luò)的相關(guān)知識(shí)在解決如目標(biāo)檢測任務(wù)上也開始普及了起來，在識(shí)別準(zhǔn)確率和魯棒性上都優(yōu)于傳統(tǒng)檢測算法。然而與目標(biāo)檢測相關(guān)的主流交互設(shè)備仍然是傳統(tǒng)的鍵盤、鼠標(biāo)和觸摸屏，這些設(shè)備在進(jìn)行目標(biāo)檢測與人機(jī)交互方面具有很大的局限性。

混合現(xiàn)實(shí)技術(shù)是一種將虛擬對(duì)象與真實(shí)世界巧妙融合的技術(shù)。虛擬對(duì)象與真實(shí)世界通過計(jì)算機(jī)的實(shí)時(shí)計(jì)算，可以實(shí)現(xiàn)無縫疊加，從而達(dá)到虛實(shí)融合的目的，給用戶帶來極強(qiáng)的真實(shí)感受。而混合現(xiàn)實(shí)技術(shù)的發(fā)展，可以將應(yīng)用場景應(yīng)用在教育、工業(yè)、醫(yī)療等行業(yè)。目前大多數(shù)的領(lǐng)域還停留在探索和發(fā)展的階段。

Microsoft HoloLens2 是微軟在2019 年發(fā)布的第二代混合現(xiàn)實(shí)眼鏡，其處理器使用了一塊Intel 32bit CPU和一個(gè)定制的高性能混合現(xiàn)實(shí)運(yùn)算單元HPU（Holo?graphic Processing Unit）。相比于其他AR 設(shè)備，Holo?Lens2 采用新的交互模式和三維注冊(cè)算法，不需要額外輔助定位的器件，就能夠計(jì)算虛擬對(duì)象與現(xiàn)實(shí)場景之間的空間位置關(guān)系，將物理世界與數(shù)字世界相融合，完全解放雙手，實(shí)現(xiàn)虛實(shí)疊加、人機(jī)交互等技術(shù)。通過全息影像的方式，將數(shù)字內(nèi)容展現(xiàn)出來，同時(shí)還可以通過注視、手勢、語音來與全息影像進(jìn)行交互。

通過將混合現(xiàn)實(shí)以及目標(biāo)檢測的相關(guān)技術(shù)進(jìn)行整合，能夠提供一種新的人機(jī)交互方式，為學(xué)習(xí)培訓(xùn)、可視化展示等行業(yè)所存在的問題提供了理論與技術(shù)上的支持，從而使得設(shè)計(jì)并開發(fā)出可交付的解決方案成為可能。

在本文工作中，我們開發(fā)了一個(gè)目標(biāo)檢測系統(tǒng)，通過通信的方式，能夠在用戶端使用Microsoft HoloLens2對(duì)目標(biāo)進(jìn)行檢測和識(shí)別，在服務(wù)器端通過YOLO 作為深度學(xué)習(xí)算法處理來自客戶端的數(shù)據(jù)?？蛻舳伺c服務(wù)端之間通過TCP/IP 進(jìn)行通信，服務(wù)器端可以處理需要進(jìn)行檢測的對(duì)象，并將處理過的數(shù)據(jù)傳回客戶端。本文主要分為以下幾個(gè)部分，第一節(jié)介紹了基于深度學(xué)習(xí)的目標(biāo)檢測算法，第二節(jié)介紹了我們?cè)O(shè)計(jì)的目標(biāo)檢測系統(tǒng)，具體描述了目標(biāo)檢測算法是如何在HoloLens2上進(jìn)行實(shí)現(xiàn)的。第三節(jié)對(duì)于我們的實(shí)驗(yàn)結(jié)果進(jìn)行分析與討論。最后第四節(jié)提出我們所做工作的總結(jié)以及對(duì)于未來的展望。

1 基于YOLO卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測

YOLO（You Only Look Once）是Redmon 提出的目標(biāo)檢測算法[2]，它基于一個(gè)單獨(dú)的end-to-end 網(wǎng)絡(luò)，將物體分類和位置識(shí)別全部統(tǒng)一到神經(jīng)網(wǎng)絡(luò)的一次檢測當(dāng)中。輸入圖像經(jīng)過網(wǎng)絡(luò)，便能得到圖像中所有物體的位置和其所屬類別及相應(yīng)的置信概率，使得檢測速度大幅提升。雖然YOLOv1 在當(dāng)時(shí)成功實(shí)現(xiàn)了實(shí)時(shí)的目標(biāo)檢測，但是圖像中包含多個(gè)重疊物體時(shí)還是會(huì)出現(xiàn)偏差，同時(shí)在復(fù)雜的環(huán)境中還易出現(xiàn)邊界框不準(zhǔn)的情況。

針對(duì)上述問題，在2017 年，Redmon 在YOLOv1 的基礎(chǔ)上提出YOLOv2 和YOLO9000[3]，能夠檢測超過9000 類物體。與YOLOv1 相比，它加入了Batch Nor?malization[4]，能夠提升模型收斂速度，降低模型的過擬合；同時(shí)能夠接受不同分辨率的輸入圖片，引入不同尺度特征融合，從而提高了訓(xùn)練速度和分類效果。

緊接著在2018 年，Redmon 提出了YOLOv3[5]。相比于YOLOv2，YOLOv3 具有以下幾個(gè)變化：調(diào)整了新的網(wǎng)絡(luò)結(jié)構(gòu)，使用了殘差模塊[6]的DarkNet-53 模型；采用FPN 結(jié)構(gòu)實(shí)現(xiàn)多尺度特征提取，實(shí)現(xiàn)目標(biāo)檢測；對(duì)象分類用Logistic 取代了Softmax。通過形成更深的網(wǎng)絡(luò)層次以及多尺度檢測，提升了mAP 及物體的檢測效果。在YOLOv3 中定義的損失函數(shù)由三個(gè)部分組成，具體公式如下所示：

其中，lbox代表bounding-box 帶來的loss；lobj是置信度帶來的loss，置信度代表該bounding-box 是否含有物體的概率；lcls則是類別帶來的loss。通過實(shí)驗(yàn)比較可以得知，在精確度相當(dāng)?shù)那闆r下，YOLOv3 的速度約是其他模型的3、4 倍，在準(zhǔn)確性和實(shí)時(shí)性上均滿足系統(tǒng)要求，因此本文采取YOLOv3 神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)對(duì)物體的檢測識(shí)別定位。

2 系統(tǒng)架構(gòu)設(shè)計(jì)

2.1 總體設(shè)計(jì)

這一部分我們將描述所設(shè)計(jì)的系統(tǒng)整體架構(gòu)，目的是為了使用目標(biāo)檢測算法來對(duì)圖像中的物體進(jìn)行識(shí)別檢測。我們主要采用了客戶端與服務(wù)器端進(jìn)行通信的方式來實(shí)現(xiàn)交互。我們使用Microsoft HoloLens2 作為圖像采集的輸入，使用具有NVIDIA GeForce GTX 1070 Ti 的圖形處理單元的電腦作為服務(wù)器端，該服務(wù)器端用于執(zhí)行目標(biāo)檢測算法。開發(fā)人員能將客戶端攝像頭所采集到的圖像幀傳輸?shù)椒?wù)器端，作為其算法輸入，算法執(zhí)行輸出該物體的分類類別，并通過通信返回到HoloLens2 作為輸出顯示。同時(shí)，我們導(dǎo)入微軟的Mixed Reality Toolkit 軟件開發(fā)包來控制凝視、手勢識(shí)別、虛實(shí)交互。整個(gè)混合現(xiàn)實(shí)和深度學(xué)習(xí)的總體設(shè)計(jì)如圖1 所示。

圖1 系統(tǒng)總體設(shè)計(jì)圖

2.2 客戶端

在客戶端創(chuàng)建階段，利用Unity 創(chuàng)建了項(xiàng)目，通過導(dǎo)入Mixed Reality Toolkit 組件在HoloLens2 上進(jìn)行構(gòu)建和部署獨(dú)立的應(yīng)用程序。在檢測過程中，應(yīng)用空間映射步驟，先用HoloLens2 的相機(jī)對(duì)物理環(huán)境進(jìn)行解析，用戶可以通過手勢指令或者語音識(shí)別指令動(dòng)態(tài)采集真實(shí)環(huán)境中的照片，并通過客戶端將其上傳到服務(wù)器端。在服務(wù)器端運(yùn)行后，快速返回檢測對(duì)象的信息、分類類別以及置信度，并通過網(wǎng)絡(luò)傳輸返回到客戶端。服務(wù)器端將識(shí)別到的2D 坐標(biāo)返回給HoloLens2，然后根據(jù)接收到的2D 數(shù)據(jù)在設(shè)備上計(jì)算物體的3D真實(shí)坐標(biāo)。最后通過生成全息圖像將以上分類信息投射到用戶眼睛，實(shí)時(shí)顯示虛擬場景，從而實(shí)現(xiàn)高效的目標(biāo)檢測和人機(jī)交互。

圖2 第二代HoloLens頭盔

2.3 服務(wù)器端

在服務(wù)器端，我們使用YOLO 算法來對(duì)環(huán)境中的對(duì)象進(jìn)行檢測和識(shí)別。當(dāng)作為客戶端的HoloLens2 攝像頭進(jìn)行拍照后，通過連接服務(wù)器IP 地址的形式，將得到的RGB 幀傳到服務(wù)器端，作為輸入。在得到接受幀后，服務(wù)器端啟用YOLO 神經(jīng)網(wǎng)絡(luò)對(duì)其進(jìn)行處理，從而得到所檢測到每個(gè)對(duì)象的分類、邊界框范圍以及框的顏色。完成對(duì)象檢測后，服務(wù)器將這些結(jié)果發(fā)送給客戶端，從而在頭盔上顯示檢測結(jié)果。

表1 服務(wù)器端開發(fā)工具

3 實(shí)驗(yàn)結(jié)果和討論

本文通過HoloLens2 實(shí)現(xiàn)目標(biāo)檢測和識(shí)別，取得了良好的檢測效果。為了更好地判斷檢測效果，在實(shí)驗(yàn)結(jié)果中，通過召回率（Recall）以及精確率（Precision）來判別檢測結(jié)果的好壞，其中，召回率表示返回的正樣本中預(yù)測正確的樣本數(shù)，占真正總的正樣本數(shù)的比例；精確率表示計(jì)算返回的正樣本中，預(yù)測正確的比例。同時(shí)再對(duì)比算法在測試集上的平均準(zhǔn)確率（AP）以及所有類別的平均準(zhǔn)確率（mAP）來判別算法的好壞。其中AP 需要通過召回率和準(zhǔn)確率兩個(gè)值來衡量檢測模型的精確度，它將用作評(píng)估模型檢測性能的直觀標(biāo)準(zhǔn)，同時(shí)也可以用來評(píng)估單個(gè)類別的準(zhǔn)確度。mAP 是所有AP 類別的平均值，值越高，代表在其所有類別中的模型檢測效果越好。整個(gè)計(jì)算過程如下：

（1）先按照置信度將n 個(gè)測試結(jié)果按從大到小的方式進(jìn)行排序；

（2）定義TP 數(shù)組表示正類預(yù)測為正的例子，F(xiàn)N 數(shù)組表示被預(yù)測為負(fù)值的正樣例，F(xiàn)P 數(shù)組表示預(yù)測為正的負(fù)樣例。

（3）召回率、精確率分別用下列公式得出：

（4）計(jì)算某類別的AP：

（5）計(jì)算所有類別的AP 均值，即mAP：

最終訓(xùn)練后得到的各類別的Recall 和Precision 的結(jié)果如表2 所示。

表2 各對(duì)象的召回率和精確率

4 結(jié)語

本文通過將最新的增強(qiáng)現(xiàn)實(shí)設(shè)備HoloLens2 和先進(jìn)的目標(biāo)檢測算法YOLOv3 結(jié)合起來，通過TCP/IP 連接在客戶端和服務(wù)器端建立了聯(lián)系，設(shè)計(jì)并實(shí)現(xiàn)了支持對(duì)象檢測、可視化人機(jī)交互的增強(qiáng)現(xiàn)實(shí)系統(tǒng)。通過實(shí)驗(yàn)結(jié)果表明，本文提出的方法在目標(biāo)檢測上具有高召回率和高精確率，在測試集上的準(zhǔn)確率和所有類別的平均準(zhǔn)確率都具有較好的表現(xiàn)。同時(shí)，利用第二代HoloLens 增強(qiáng)現(xiàn)實(shí)頭盔，擺脫了傳統(tǒng)的人機(jī)交互手段，可以解放雙手，支持多種交互手段，為提供可視化展示提供了理論和技術(shù)支持。但本文在設(shè)計(jì)實(shí)驗(yàn)時(shí)缺少對(duì)照實(shí)驗(yàn)，且對(duì)算法本身的改動(dòng)較少，在未來的工作中會(huì)繼續(xù)完善實(shí)驗(yàn)。