基于深度學(xué)習(xí)的多目標(biāo)識(shí)別在移動(dòng)智能體中的應(yīng)用?

陳浩 劉鎮(zhèn)

（江蘇科技大學(xué)計(jì)算機(jī)學(xué)院 鎮(zhèn)江 212000）

1 引言

在計(jì)算機(jī)視覺研究領(lǐng)域中多目標(biāo)識(shí)別技術(shù)一直是一個(gè)熱門研究方向。在現(xiàn)有的目標(biāo)檢測技術(shù)方面如人臉檢測、行人檢測等已經(jīng)有了非常成熟的應(yīng)用方案。傳統(tǒng)的基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測技術(shù)都會(huì)使用到滑動(dòng)窗口，例如R-CNN、Fast-RCNN、Faster-RCNN方法［1～3］。但這些方法難以滿足基于視頻的移動(dòng)智能體的多目標(biāo)實(shí)時(shí)檢測。由于滑動(dòng)窗口弱實(shí)時(shí)性的缺點(diǎn)，研究者又提出了基于感興趣區(qū)域（Region of Interesting）的區(qū)域提名算法［4］。并且由于CNN在困難的識(shí)別任務(wù)中表現(xiàn)出的卓越性能，因此常被應(yīng)用在檢測任務(wù)的FE和CV階段。雖然相比于滑動(dòng)窗口法，基于該方法的視頻實(shí)時(shí)檢測速度大幅度提升。但目前性能最好的Faster R-CNN算法的檢測速度也僅達(dá)到5f/s，仍然不能夠滿足移動(dòng)智能體的實(shí)時(shí)性需求。

直到 YOLO、SSD［5～7］的提出從另一個(gè)思維角度解決了候選區(qū)域選擇的問題，從此目標(biāo)檢測的精確度和速度進(jìn)入一個(gè)新的不同高度的研究領(lǐng)域。本文根據(jù)卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺領(lǐng)域的研究，對(duì)部署在輕量級(jí)移動(dòng)智能體上的YOLO網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化，在實(shí)施環(huán)境中對(duì)該優(yōu)化方法進(jìn)行真實(shí)測試，測驗(yàn)結(jié)果表明優(yōu)化后的YOLO網(wǎng)絡(luò)結(jié)構(gòu)在移動(dòng)智能體多目標(biāo)識(shí)別方面能夠提供較高的檢測準(zhǔn)確度且檢測計(jì)算速度保證了在輕量級(jí)移動(dòng)智能體端的實(shí)時(shí)性要求。

移動(dòng)智能體的目標(biāo)識(shí)別對(duì)準(zhǔn)確率和實(shí)時(shí)性都有較高要求。而現(xiàn)有檢測方法大多數(shù)都是基于圖片的目標(biāo)檢測，雖然能夠保證準(zhǔn)確率，但檢測速度達(dá)不到視頻檢測的需求。由于YOLO算法具有強(qiáng)實(shí)時(shí)性和高準(zhǔn)確率，因此運(yùn)YOLO算法能夠解決實(shí)時(shí)性問題［8］。

2 識(shí)別方法

基于YOLO網(wǎng)絡(luò)的檢測方法將候選框提取、特征提取、目標(biāo)分類、目標(biāo)定位統(tǒng)一于一個(gè)神經(jīng)網(wǎng)絡(luò)中。神經(jīng)網(wǎng)絡(luò)［9］直接從圖像中提取候選區(qū)域，通過整幅圖像特征來預(yù)測行人位置和概率。將行人檢測問題轉(zhuǎn)化為回歸問題，真正實(shí)現(xiàn)端到端的檢測。

本文中的多目標(biāo)識(shí)別主要是對(duì)移動(dòng)智能體運(yùn)動(dòng)過程中采集的實(shí)時(shí)視頻，首先進(jìn)行候選框提取，判斷其中是否包含障礙物，若有則給出目標(biāo)位置。實(shí)際上，大部分的初始候選框中并不包含障礙物，如果對(duì)每個(gè)初始候選框都直接預(yù)測目標(biāo)的概率，會(huì)大大增加網(wǎng)絡(luò)學(xué)習(xí)的難度。在本文的識(shí)別方法中，將多目標(biāo)識(shí)別分為3個(gè)過程，即初始候選框的提取、待測目標(biāo)檢測、目標(biāo)障礙物檢測與定位。在待測目標(biāo)檢測的過程中，將部分無障礙物體預(yù)測框的置信度置為0，以降低網(wǎng)絡(luò)學(xué)習(xí)的難度。

2.1 初始候選框的提取

將輸入的圖像劃分為N×N個(gè)單元格，每個(gè)單元格給定M個(gè)不同規(guī)格的初始候選框，預(yù)測候選框經(jīng)由卷積層網(wǎng)絡(luò)提取出來，每幅圖像候選框數(shù)量為N×N×M 。

2.2 待測目標(biāo)檢測

首先對(duì)候選框進(jìn)行目標(biāo)檢測，如式（1），預(yù)測每個(gè)候選框的中存在待判別目標(biāo)的置信度Conf(target)，將不存在目標(biāo)物的候選框置信度置為0。

P(target)表示是否有目標(biāo)物落入候選框?qū)?yīng)的單元格中。如式（2），若有目標(biāo)，則單元格對(duì)應(yīng)的候選框的目標(biāo)置信度為Conf(target)=；否則，認(rèn)定候選框中沒有目標(biāo)障礙物，即Conf(target)=0。

2.3 目標(biāo)障礙物檢測與定位

對(duì)存在目標(biāo)障礙物的候選框進(jìn)行目標(biāo)判別，設(shè)預(yù)測目標(biāo)物是某一類障礙物的條件概率為P(class|target)，則候選框中包含該類障礙物的置信度Conf 如式（4）：

對(duì)每個(gè)候選框預(yù)測其中包含該類障礙物的概率以及邊框的位置，則每個(gè)候選框的預(yù)測值如式（5）：

其中X、Y為預(yù)測框中心相對(duì)于單元格邊界的偏移，W、H為預(yù)測框?qū)捀呦鄬?duì)于整幅圖像之比。實(shí)際訓(xùn)練過程中，W和H的值使用圖像的寬度和高度進(jìn)行歸一化到［0，1］區(qū)間內(nèi)。對(duì)于輸入的每幅圖片，最終網(wǎng)絡(luò)輸出為向量如式（6）：

3 改進(jìn)網(wǎng)絡(luò)架構(gòu)

3.1 架構(gòu)改進(jìn)分析

由于考慮到實(shí)際移動(dòng)智能體的拍攝角度以及應(yīng)用場景，經(jīng)過分析與觀察，橫向的小目標(biāo)的精確識(shí)別至關(guān)重要，需要確保不能漏檢，否則會(huì)出現(xiàn)行動(dòng)判斷錯(cuò)誤的風(fēng)險(xiǎn)。在經(jīng)典的YOLO檢測方法中，圖像被分成S×S的等密度單元格。候選框在橫向和縱向上同等密度分布，對(duì)橫向小目標(biāo)進(jìn)行檢測時(shí)，漏檢率較高。實(shí)際上，在移動(dòng)過程中對(duì)障礙物的檢測一定要對(duì)橫向可能存在的障礙物進(jìn)行準(zhǔn)確檢測，而且具有橫向類別分布密度大，但縱向類別分布密度小的特征。

針對(duì)這一問題，本文網(wǎng)絡(luò)以YOLO網(wǎng)絡(luò)為原型，經(jīng)過改進(jìn)去掉全連接層，采用卷積層來預(yù)測目標(biāo)框的偏移和置信度。對(duì)特征圖中的每個(gè)位置預(yù)測這些偏移和置信度，以得到目標(biāo)的概率和位置。并且提出在網(wǎng)絡(luò)中增加一個(gè)Recombine層，重組特征圖，為提高對(duì)小目標(biāo)的檢測，融合多級(jí)特征圖，讓不同細(xì)粒度的特征參與目標(biāo)檢測。并在原有網(wǎng)絡(luò)架構(gòu)基礎(chǔ)上增加候選框在橫向的密度，同時(shí)也減少了縱向候選框密度，構(gòu)成改進(jìn)后的YOLO網(wǎng)絡(luò)（如圖1所示）。

圖1 改進(jìn)后的網(wǎng)絡(luò)架構(gòu)圖

3.2 最優(yōu)初始候選框

由于在訓(xùn)練網(wǎng)絡(luò)時(shí)，需要對(duì)初始候選框的初始規(guī)格及數(shù)量進(jìn)行預(yù)設(shè)。隨著迭代次數(shù)的不斷增加，網(wǎng)絡(luò)學(xué)習(xí)到目標(biāo)特征，預(yù)測框參數(shù)不斷調(diào)整，最終接近真實(shí)框。為加快訓(xùn)練收斂速度，提高目標(biāo)識(shí)別的位置精度，本文采用K-means算法進(jìn)行聚類［10～11］，得到與圖像中待測目標(biāo)邊界最相近的初始候選框參數(shù)。

定義box[i]表示聚類得到的預(yù)測框i的規(guī)格，Truth[j]表示樣本j中目標(biāo)物定位框規(guī)格，如式（7），其中，i為聚類的類別數(shù)，j為樣本集數(shù)量。規(guī)格在數(shù)值上表示為一組數(shù)值（預(yù)測框?qū)?圖像寬，預(yù)測框高/圖像高）：

K-means算法是很典型的基于距離的聚類算法，該方法采用歐式距離衡量兩點(diǎn)之間的距離。本文對(duì)候選框?qū)捀吲c單元格寬高之比進(jìn)行聚類。預(yù)測框和真實(shí)框的交并比是反映預(yù)測框與真實(shí)框差異的重要指標(biāo)，IOU值越大，表明兩者差異越小。聚類的目標(biāo)函數(shù)如式（8）：

3.3 網(wǎng)絡(luò)訓(xùn)練

網(wǎng)絡(luò)訓(xùn)練以神經(jīng)網(wǎng)絡(luò)框架 Keras［12～13］為基礎(chǔ)，以改進(jìn)后的YOLO網(wǎng)絡(luò)結(jié)構(gòu)為模型，訓(xùn)練多目標(biāo)識(shí)別深度學(xué)習(xí)模型。對(duì)于深度學(xué)習(xí)而言［14～17］，在訓(xùn)練過程中，為防止欠擬合，不僅僅需要大量的數(shù)據(jù)集做支撐，而且也需要保證數(shù)據(jù)集具有代表性，再經(jīng)過反復(fù)訓(xùn)練后求解出合理的網(wǎng)絡(luò)權(quán)重，再經(jīng)過測試集來驗(yàn)證訓(xùn)練模型的準(zhǔn)確度。本文根據(jù)實(shí)際平臺(tái)環(huán)境以Microsoft-COCO數(shù)據(jù)集作為訓(xùn)練和測試數(shù)據(jù)集。Microsoft-COCO是一個(gè)大型的、豐富的物體檢測數(shù)據(jù)集，該數(shù)據(jù)集包含330K圖像、80個(gè)對(duì)象類別、每幅圖像有5個(gè)標(biāo)簽、25萬個(gè)關(guān)鍵點(diǎn)。

4 系統(tǒng)節(jié)點(diǎn)交互機(jī)制

4.1 ROS機(jī)器人操作系統(tǒng)

ROS（機(jī)器人操作系統(tǒng)）是一種分布式處理框架［18～20］。這使可執(zhí)行文件能單獨(dú)設(shè)計(jì)，并且在運(yùn)行時(shí)松散耦合。這些過程可以封裝到數(shù)據(jù)包和堆棧中，以便于共享和分發(fā)。ROS還支持代碼庫的聯(lián)合系統(tǒng)。使得協(xié)作亦能被分發(fā)。這種從文件系統(tǒng)級(jí)別到社區(qū)一級(jí)的設(shè)計(jì)讓獨(dú)立地決定發(fā)展和實(shí)施工作成為可能。ROS的運(yùn)行架構(gòu)是一種使用ROS通信節(jié)點(diǎn)實(shí)現(xiàn)節(jié)點(diǎn)間P2P的松耦合的網(wǎng)絡(luò)連接的處理架構(gòu)，它執(zhí)行若干種類型的通訊，包括基于服務(wù)的同步RPC（遠(yuǎn)程過程調(diào)用）通訊、基于Topic的異步數(shù)據(jù)流通訊，還有參數(shù)服務(wù)器上的數(shù)據(jù)存儲(chǔ)。ROS的這種分布式的消息分發(fā)架構(gòu)很好地解決了本文中各個(gè)節(jié)點(diǎn)模塊之間數(shù)據(jù)交互的問題，不僅達(dá)到了模塊間的相互通信，而且可以認(rèn)為監(jiān)視各個(gè)節(jié)點(diǎn)的運(yùn)行狀態(tài)，可以輕松獲得各個(gè)節(jié)點(diǎn)發(fā)布的及時(shí)數(shù)據(jù)，安全性和可改進(jìn)性大大提高。

4.1.1 Topic機(jī)制模型

如圖2所示，節(jié)點(diǎn)與節(jié)點(diǎn)之間的連接是直接的，控制器僅僅提供了查詢信息，類似一個(gè)DNS服務(wù)器。Listener節(jié)點(diǎn)訂閱一個(gè)Topic將會(huì)要求建立一個(gè)與已發(fā)布的Talker節(jié)點(diǎn)的連接，并且將會(huì)在同意連接協(xié)議的基礎(chǔ)上建立該連接。

圖2 ROS消息發(fā)布與訂閱模型圖

Topic以一種發(fā)布/訂閱的方式傳遞，一個(gè)節(jié)點(diǎn)可以在一個(gè)給定的Topic中發(fā)布消息，一個(gè)節(jié)點(diǎn)針對(duì)某個(gè)Topic關(guān)注與訂閱特定類型的數(shù)據(jù)，可能同時(shí)有多個(gè)節(jié)點(diǎn)發(fā)布或者訂閱同一個(gè)Topic的消息，如圖3所示，用于實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)共享。

圖3 多節(jié)點(diǎn)Topic模型圖

4.1.2 Service機(jī)制模型

如圖4所示，基于Topic的發(fā)布/訂閱模型是很靈活的通訊模式，但是它廣播式的路徑規(guī)劃對(duì)于可以簡化節(jié)點(diǎn)設(shè)計(jì)的同步傳輸模式并不適合。在ROS中，還有一種Service通信模型，用一個(gè)字符串和一對(duì)嚴(yán)格規(guī)范的消息定義：一個(gè)用于請(qǐng)求，一個(gè)用于回應(yīng)。類似于web服務(wù)器。

圖4 ROS服務(wù)請(qǐng)求與相應(yīng)模型

4.2 系統(tǒng)節(jié)點(diǎn)交互設(shè)計(jì)

本文中整個(gè)移動(dòng)智能體的通信與數(shù)據(jù)交互系統(tǒng)采用ROS，如圖5所示，系統(tǒng)分為視頻采集模塊、預(yù)處理模塊、目標(biāo)識(shí)別與推理模塊、綜合分析與處理模塊、移動(dòng)控制模塊、數(shù)據(jù)監(jiān)測模塊。各個(gè)模塊中又分為小的節(jié)點(diǎn)，多節(jié)點(diǎn)之間需要共享的數(shù)據(jù)采用ROS-Topic機(jī)制進(jìn)行數(shù)據(jù)交互，而對(duì)于需要進(jìn)行點(diǎn)對(duì)點(diǎn)特殊數(shù)據(jù)交互的節(jié)點(diǎn)之間采用ROS-Service機(jī)制進(jìn)行數(shù)據(jù)交互。

圖5 系統(tǒng)模塊節(jié)點(diǎn)交互圖

視頻采集模塊：通過移動(dòng)智能體端搭載的攝像頭進(jìn)行移動(dòng)過程中的實(shí)時(shí)視頻采集，由于對(duì)視頻清晰度要求不高，而且為了保證多目標(biāo)識(shí)別的實(shí)時(shí)性要求，適當(dāng)對(duì)分辨率進(jìn)行了調(diào)整，滿足后續(xù)處理要求。

孩子的個(gè)性不同，所處的年齡階段不同，對(duì)父母的需求不同，良好親子關(guān)系的格式也會(huì)有所不同。良好的親子關(guān)系表現(xiàn)為依戀不依賴，理性不冷漠。父母需要很好地回應(yīng)并引導(dǎo)孩子，使親子之間和而不同，保持一種有彈性的融洽關(guān)系。

預(yù)處理模塊：該模塊主要對(duì)采集來的視頻幀進(jìn)行處理，主要為了滿足目標(biāo)識(shí)別與推理模塊對(duì)圖像輸入尺寸的要求。

目標(biāo)識(shí)別與推理模塊：本文中優(yōu)化后的YOLO網(wǎng)絡(luò)模型，通過大量數(shù)據(jù)集的訓(xùn)練，具備識(shí)別多種目標(biāo)障礙物的能力，準(zhǔn)確度與識(shí)別速度經(jīng)過測試均達(dá)到移動(dòng)端的實(shí)時(shí)識(shí)別需求。通過與預(yù)處理的視頻幀輸入訓(xùn)練好的網(wǎng)絡(luò)后，對(duì)目標(biāo)進(jìn)行識(shí)別標(biāo)注，將視頻數(shù)據(jù)、目標(biāo)類別、目標(biāo)位置等信息以Topic發(fā)布者方式共享數(shù)據(jù)。

綜合分析與處理模塊：首先，該模塊以Topic訂閱者的方式獲取目標(biāo)類別與位置信息，經(jīng)過路徑算法實(shí)時(shí)計(jì)算分析，以Topic服務(wù)者方式給出移動(dòng)智能體的運(yùn)動(dòng)建議數(shù)據(jù)，數(shù)據(jù)包含角速度、線速度、傳感器數(shù)據(jù)等。

移動(dòng)控制模塊：通過ROS請(qǐng)求綜合分析與處理模塊，以角速度、線速度、傳感器數(shù)據(jù)等變量獲取對(duì)應(yīng)服務(wù)數(shù)據(jù)，將數(shù)據(jù)信息轉(zhuǎn)換為移動(dòng)控制平臺(tái)個(gè)傳感器的執(zhí)行數(shù)據(jù)，并且由傳感器獲取的現(xiàn)場數(shù)據(jù)以及運(yùn)行數(shù)據(jù)通過Topic發(fā)布，供數(shù)據(jù)監(jiān)視模塊訂閱。

數(shù)據(jù)監(jiān)測模塊：該模塊主要在遠(yuǎn)程對(duì)視頻及數(shù)據(jù)進(jìn)行監(jiān)控，該模塊可以獲取所有節(jié)點(diǎn)的數(shù)據(jù)，對(duì)整個(gè)系統(tǒng)進(jìn)行數(shù)據(jù)記錄與分析，對(duì)系統(tǒng)性能檢測以及改進(jìn)有重要意義，也可以通過發(fā)布Topic命令直接對(duì)其他模塊節(jié)點(diǎn)進(jìn)行控制。

5 實(shí)驗(yàn)結(jié)果及分析

5.1 最優(yōu)初始候選框數(shù)量驗(yàn)證

為了選取最優(yōu)的初始候選框數(shù)量，驗(yàn)證其對(duì)多目標(biāo)識(shí)別深度學(xué)習(xí)模型的影響，以Microsoft-COCO數(shù)據(jù)集作為訓(xùn)練和測試數(shù)據(jù)，用改進(jìn)后的網(wǎng)絡(luò)訓(xùn)練深度學(xué)習(xí)模型。以Precision-Recall曲線作為最終評(píng)估指標(biāo)，得到最優(yōu)初始候選框數(shù)量。

確保每次實(shí)驗(yàn)因素只有初始候選框的數(shù)量不同，每組實(shí)驗(yàn)均采用改進(jìn)后的YOLO網(wǎng)絡(luò)訓(xùn)練識(shí)別器，訓(xùn)練測試數(shù)據(jù)均采用Microsoft-COCO數(shù)據(jù)集。

聚類類別數(shù)量B分別設(shè)置為4、5、6、7四種規(guī)格。

圖6 候選框數(shù)量Precision-Recall曲線圖

測試結(jié)果如圖所示，以類別平均準(zhǔn)確率作為縱坐標(biāo)，以查全率做為橫坐標(biāo)。評(píng)估每組實(shí)驗(yàn)的有效性。由圖6結(jié)果可以看出在Microsoft-COCO數(shù)據(jù)集的基礎(chǔ)上初始候選框B=5時(shí)，訓(xùn)練得到的識(shí)別器的識(shí)別效果最好。

5.2 改進(jìn)后網(wǎng)絡(luò)效果驗(yàn)證

圖7 改進(jìn)后的YOLO網(wǎng)絡(luò)對(duì)比

本文中對(duì)YOLO網(wǎng)絡(luò)進(jìn)行改進(jìn)，增加了橫向候選框密度，為驗(yàn)證其有效性，以Microsoft-COCO數(shù)據(jù)集為實(shí)驗(yàn)數(shù)據(jù)，對(duì)修改前后的網(wǎng)絡(luò)結(jié)構(gòu)所訓(xùn)練出來的識(shí)別模型進(jìn)行分析比較。由圖7得出，改進(jìn)后的網(wǎng)絡(luò)在相同數(shù)據(jù)集條件下訓(xùn)練出的識(shí)別器表現(xiàn)出相對(duì)較好的效果。

5.3 實(shí)驗(yàn)結(jié)果

5.3.1 實(shí)驗(yàn)平臺(tái)

硬件平臺(tái)：

Intel（R）Core（TM）CPU 3.4GHz

NVIDIA Tesla k40c GPU計(jì)算卡

NVIDIA Jetson TX1 GPU開發(fā)平臺(tái)

Arduino Mega2560主控開發(fā)板

軟件環(huán)境：

Ubuntu 14.04

CUDA 8.0

OpenCV

TensorFlow

5.3.2 實(shí)際效果

由圖8看出，在測試和實(shí)際應(yīng)用中均實(shí)現(xiàn)了穩(wěn)定的多目標(biāo)識(shí)別功能，對(duì)于小目標(biāo)識(shí)別也有良好的效果。但由于移動(dòng)端GPU性能的問題，導(dǎo)致處理視頻幀率偏低，經(jīng)過分析，將視頻采集模塊的攝像頭分辨率調(diào)低至480*320，并將整個(gè)網(wǎng)絡(luò)的輸入圖像大小調(diào)節(jié)為320*320，同樣的對(duì)于320*320的輸入圖像尺寸進(jìn)行針對(duì)訓(xùn)練，最終基本滿足實(shí)時(shí)性要求。

圖8 測試及實(shí)際效果圖

6 結(jié)語

本文結(jié)合實(shí)際應(yīng)用中存在的問題，分析移動(dòng)智能體在多目標(biāo)識(shí)別方面的需求，對(duì)YOLO網(wǎng)絡(luò)模型進(jìn)行改進(jìn)，以確保提高橫向小目標(biāo)的識(shí)別率，避免因?yàn)樾∧繕?biāo)的漏檢造成后續(xù)流程的錯(cuò)誤。并且針對(duì)開發(fā)平臺(tái)上識(shí)別器的效率進(jìn)行優(yōu)化，經(jīng)過實(shí)驗(yàn)分析，改進(jìn)后的整體系統(tǒng)基本達(dá)到識(shí)別的實(shí)時(shí)性和精確性要求。