一種基于視頻流的傳送帶連包異常監(jiān)測(cè)方法

劉治國(guó)，郝 超，陳 樂(lè)，勵(lì)坤宇

(寧夏銀方智能科技有限公司，寧夏 750000)

0 引言

食品飲料行業(yè)相比其他行業(yè)在貨物供應(yīng)上具有單日訂單量大，產(chǎn)品種類(lèi)多等特點(diǎn)。因此一套高效率的分揀系統(tǒng)對(duì)于保障貨運(yùn)物流具有非常重要的意義。尤其在大型倉(cāng)庫(kù)中，由于產(chǎn)品種類(lèi)多，貨物依類(lèi)別放置，占用面積大等特點(diǎn)，使用基于傳送帶的貨物分揀系統(tǒng)能夠顯著提高分揀效率。

然而，當(dāng)貨物在傳送帶上運(yùn)動(dòng)分揀過(guò)程中，由于箱體的體積、重量、形狀、包裝材質(zhì)的不同，都會(huì)導(dǎo)致頻繁發(fā)生貨物連包、碰撞情況。不僅會(huì)引起產(chǎn)品包裝破損，而且會(huì)極大地影響貨物分揀效率，甚至導(dǎo)致貨物分揀錯(cuò)誤發(fā)生，導(dǎo)致效率和正確性降低。

傳統(tǒng)傳送帶依賴(lài)大量傳感器完成連包檢測(cè)。但是這種檢測(cè)方式過(guò)程復(fù)雜、可靠性低，并存在大量誤檢測(cè)的情況。伴隨著GPU和大數(shù)據(jù)技術(shù)的發(fā)展，深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域[1-2]有著飛速發(fā)展，在物體分類(lèi)、識(shí)別領(lǐng)域已經(jīng)超過(guò)了人類(lèi)水平，目標(biāo)檢測(cè)和跟蹤作為計(jì)算機(jī)視覺(jué)領(lǐng)域的一大分支，與傳統(tǒng)使用特征檢測(cè)和匹配進(jìn)行定位算法相比，具有檢測(cè)精度高，速度快等優(yōu)點(diǎn)。為此，本文采用基于視頻流數(shù)據(jù)處理的方法，對(duì)貨物的距離、狀態(tài)進(jìn)行的實(shí)時(shí)監(jiān)控，實(shí)現(xiàn)連包情況出現(xiàn)時(shí)的預(yù)警，避免碰撞發(fā)生。

作為圖像理解和計(jì)算機(jī)視覺(jué)的基石，目標(biāo)檢測(cè)是解決分割、場(chǎng)景理解、目標(biāo)追蹤、圖像描述、事件檢測(cè)和活動(dòng)識(shí)別等更復(fù)雜更高層次的視覺(jué)任務(wù)的基礎(chǔ)。

近十年來(lái)，由于算法和GPU的極大發(fā)展，深度學(xué)習(xí)方法逐漸取代傳統(tǒng)的特征檢測(cè)方法成為計(jì)算機(jī)視覺(jué)的主要研究方向，并取得了極大的成就，就目標(biāo)檢測(cè)發(fā)展而言，主要集中在兩個(gè)方向：Two-stage算法如SPP-Net（空間金字塔池化網(wǎng)絡(luò)）[12]、FPN（特征金字塔網(wǎng)絡(luò)）[11]和R-CNN系列[15]；One-stage算法如YOLO[7-9]、SSD[14]和RetinaNet[13]等。兩者的主要區(qū)別在于：Two-stage算法需先生成預(yù)選框，然后進(jìn)行細(xì)粒度的物體檢測(cè)；而One-stage算法會(huì)直接在網(wǎng)絡(luò)中提取特征來(lái)預(yù)測(cè)物體分類(lèi)和位置，因此速度更快，適用于實(shí)時(shí)目標(biāo)檢測(cè)，但性能上相對(duì)較弱。

Multiple Object Tracking(MOT)多目標(biāo)檢測(cè)在計(jì)算機(jī)視覺(jué)領(lǐng)域具有舉足輕重的位置。尤其是在行人追蹤檢測(cè)領(lǐng)域具有非常重大的實(shí)際應(yīng)用價(jià)值。隨著近年來(lái)深度學(xué)習(xí)的發(fā)展，tracking-by-detection這種追蹤檢測(cè)方式越來(lái)越占主流位置，SORT（Simple Online And Realtime Tracking）在目標(biāo)檢測(cè)基礎(chǔ)上使用卡爾曼濾波算法在目標(biāo)追蹤過(guò)程中考慮到幀之間的物體相對(duì)位置，進(jìn)行IOU的計(jì)算，減少了目標(biāo)ID的實(shí)際切換次數(shù)。但是當(dāng)物體有遮擋或傳送帶速度發(fā)生變化時(shí)候，目標(biāo)容易丟失。Deep SORT方法在SORT基礎(chǔ)上考慮到了目標(biāo)表面特征，使用特征作為卡爾曼濾波位置估計(jì)的一種額外補(bǔ)充，減少了目標(biāo)丟失和切換ID的次數(shù)，在實(shí)際使用中更具實(shí)際意義。

YOLO是一種基于深度神經(jīng)網(wǎng)絡(luò)的對(duì)象識(shí)別和定位的One-stage算法,其最大的特點(diǎn)是運(yùn)行速度很快,可以用于實(shí)時(shí)系統(tǒng)，因此在目標(biāo)檢測(cè)領(lǐng)域得以廣泛應(yīng)用。Bochkovskiy A等人使用YOLOV4[3]在AP50指標(biāo)上達(dá)到64.2，精確度和檢測(cè)速度比YOLOV3算法[7-9]分別提升了10%和12%。

本文使用深度學(xué)習(xí)的方法對(duì)生產(chǎn)線(xiàn)實(shí)時(shí)處理，解決傳送帶上箱包的自動(dòng)檢測(cè)與跟蹤問(wèn)題。在采用YOLOv4作為目標(biāo)檢測(cè)器的基礎(chǔ)上，考慮Deep SORT作為SORT算法的改進(jìn)版，在保證較高跟蹤速率的同時(shí)有效地減少了45%的無(wú)效ID切換次數(shù)[4]，因此將其作為目標(biāo)跟蹤算法，實(shí)現(xiàn)視頻流中多目標(biāo)的檢測(cè)與跟蹤,并利用單應(yīng)性變換進(jìn)行視角變換，實(shí)現(xiàn)箱包距離檢測(cè)。檢測(cè)預(yù)警原理圖如圖1所示。

圖1 連包檢測(cè)預(yù)警流程圖

1 目標(biāo)檢測(cè)

如圖2所示，YOLOV4目標(biāo)檢測(cè)框架包括Input，Backbone，Neck，Prediction Head四個(gè)部分。

圖2 YOLOv4的主體框架

在Input部分，主要是Image，Patches作為輸入；在Backbone部分，首先利用CSPDarknet53對(duì)視頻中的逐幀圖像進(jìn)行特征層提取，CSPDarknet53由一系列堆疊的殘差網(wǎng)絡(luò)結(jié)構(gòu)組成，這種堆疊能夠增加相當(dāng)?shù)纳疃忍岣邷?zhǔn)確率；在Neck部分，YOLOv4使用了SPP和PAN作為特征金字塔結(jié)構(gòu)，SPP結(jié)構(gòu)利用不同尺度的最大池化進(jìn)行處理以分離最重要的出上下文特征，PAN結(jié)構(gòu)縮短特征信息在低層與高層之間的傳播以實(shí)現(xiàn)多通道特征融合；在Head部分，對(duì)提取的多個(gè)特征層進(jìn)行目標(biāo)檢測(cè)，通過(guò)解碼的方式得到邊界框的位置、置信度和類(lèi)別預(yù)測(cè)。

2 自動(dòng)跟蹤算法

對(duì)通過(guò)目標(biāo)檢測(cè)出的箱包，采用Deep Sort作為自動(dòng)跟蹤算法[5-6]。Deep SORT中，使用CNN網(wǎng)絡(luò)在大規(guī)模箱包數(shù)據(jù)集進(jìn)行訓(xùn)練并提取特征，增加網(wǎng)絡(luò)對(duì)丟失和遮擋的魯棒性，并有利于運(yùn)過(guò)過(guò)程中的箱包特征關(guān)聯(lián)。

作為Deep Sort的輸入，使用八維空間狀態(tài)變量表征目標(biāo)在某個(gè)時(shí)刻的狀態(tài)?；跔顟B(tài)參數(shù)，采用包含勻速模型和線(xiàn)性觀測(cè)模型的Kalman濾波器實(shí)現(xiàn)目標(biāo)軌跡的預(yù)測(cè)與更新。為了得到預(yù)測(cè)Kalman狀態(tài)和新實(shí)際測(cè)量值之間的關(guān)聯(lián)，將目標(biāo)運(yùn)動(dòng)和外觀信息相結(jié)合，利用相似性指標(biāo)度量。

對(duì)于不確定性較低的目標(biāo)運(yùn)動(dòng)，使用以下的馬氏距離度量：

為了彌補(bǔ)相機(jī)運(yùn)動(dòng)引起大量馬氏距離的無(wú)法匹配問(wèn)題，引入最小余弦距離度量外觀信息：

在構(gòu)建關(guān)聯(lián)問(wèn)題時(shí)，引入一個(gè)權(quán)重λ作為鏈接兩個(gè)相似性度量的紐帶：

距離度量對(duì)于短期預(yù)測(cè)和匹配效果很好，而外觀信息對(duì)于長(zhǎng)時(shí)間丟失的軌跡而言，匹配度度量的比較有效。在這里，由于攝像機(jī)固定，取λ=1；否則，當(dāng)存在大量的相機(jī)運(yùn)動(dòng)時(shí)，λ=0。

該算法還提出了一種級(jí)聯(lián)匹配的策略來(lái)提高匹配精度，主要由于當(dāng)一個(gè)目標(biāo)被遮擋很長(zhǎng)時(shí)間，Kalman濾波[10]的不確定性就會(huì)大大增加，并會(huì)導(dǎo)致連續(xù)預(yù)測(cè)的概率彌散，假設(shè)本來(lái)協(xié)方差矩陣是一個(gè)正態(tài)分布，那么連續(xù)的預(yù)測(cè)不更新就會(huì)導(dǎo)致這個(gè)正態(tài)分布的方差越來(lái)越大，那么離均值歐氏距離遠(yuǎn)的點(diǎn)可能和之前分布中離得較近的點(diǎn)獲得同樣的馬氏距離值。這可以緩解因?yàn)楸碛^突變或者部分遮擋導(dǎo)致的較大變化但也有可能導(dǎo)致一些新產(chǎn)生的軌跡被連接到了一些舊的軌跡上。在進(jìn)行自動(dòng)跟蹤前，需要進(jìn)行深度外觀描述。使用CNN在大規(guī)模重識(shí)別數(shù)據(jù)集上學(xué)習(xí)目標(biāo)鑒別網(wǎng)絡(luò)，這對(duì)于區(qū)分不同的目標(biāo)至關(guān)重要。因此，Deep Sort能夠減少大量的無(wú)效ID交換數(shù)量，有效地提高了跟蹤性能。

3 鏡頭的畸變校準(zhǔn)

假定存在三維空間坐標(biāo)(xi,yi,zi)到二維圖像坐標(biāo)(ui,vi)的映射關(guān)系，構(gòu)建映射函數(shù)g:，該映射表示為投影過(guò)程(ui,vi)=g(xi,yi,zi)。但是，如果忽略真實(shí)世界場(chǎng)景在z方向上的空間范圍，并假設(shè)在圖像上看到的每個(gè)點(diǎn)都屬于z=0平面，則對(duì)應(yīng)的映射關(guān)系為：

其中H=(hij)∈代表可逆的單應(yīng)性矩陣。為了獲得真實(shí)世界坐標(biāo)(xi,yi)和像素坐標(biāo)(ui,vi)的對(duì)應(yīng)關(guān)系，重寫(xiě)上述等式后轉(zhuǎn)化成以下形式：

由此，單應(yīng)性矩陣H的未知數(shù)可以通過(guò)求解以下線(xiàn)性方程組得到：

在這種情況下，單應(yīng)性向量h屬于矩陣(AT·A)的核：

其中A是2N×9的矩陣。由于單應(yīng)性矩陣H具有齊次性，因此只有8個(gè)自由度只需要4對(duì)特征匹配點(diǎn)(ui,vi)(xi,yi)即可求得唯一解。計(jì)算(AT·A)的特征值和特征向量，與最小特征值相關(guān)的單位特征向量即為單應(yīng)性向量h。通過(guò)這種方式，得到單應(yīng)性矩陣H中的9個(gè)系數(shù)hij，可以實(shí)現(xiàn)像素坐標(biāo)(ui,vi)到真實(shí)世界坐標(biāo)(xi,yi)的映射變換。

4 測(cè)試與驗(yàn)證

4.1 實(shí)驗(yàn)背景

如圖3所示是分別截取安裝在大型傳送帶倉(cāng)庫(kù)的分別位于右下角（左圖）和左下角（右圖）的攝像頭的2段視頻內(nèi)容。攝像頭分辨率為1280×720，幀率為60幀，視頻時(shí)長(zhǎng)分別為360s和216s。從視頻截圖內(nèi)容可以非常清楚看到箱子在傳送帶上的運(yùn)動(dòng)過(guò)程和分揀情況。

圖3 分揀傳送帶

4.2 模型訓(xùn)練

4.2.1 訓(xùn)練數(shù)據(jù)的標(biāo)注

分別對(duì)采集的2段視頻進(jìn)行采樣，采樣幀間隔設(shè)置為10，分別獲取累計(jì)588張和500張樣本圖片。

分別對(duì)采樣的圖片進(jìn)行標(biāo)注，由于傳送帶遠(yuǎn)端距攝像頭較遠(yuǎn)，CNN網(wǎng)絡(luò)不能提取到有效的圖片特征向量，因此只對(duì)攝像頭近端一側(cè)進(jìn)行標(biāo)注。標(biāo)注結(jié)果如圖4所示。

圖4 訓(xùn)練數(shù)據(jù)標(biāo)注

圖5 學(xué)習(xí)率下降曲線(xiàn)

圖6 損失下降曲線(xiàn)

最終得到對(duì)應(yīng)的訓(xùn)練數(shù)據(jù)圖片（ImageJPEG）和訓(xùn)練數(shù)據(jù)標(biāo)簽文件（Annotations）。

4.2.2 YoloV4模型的訓(xùn)練

對(duì)標(biāo)注好的圖片和對(duì)應(yīng)的聲明文件分別送入到Y(jié)OLOV4的模型框架中進(jìn)行訓(xùn)練。使用2張GTX 1080Ti顯卡對(duì)模型進(jìn)行訓(xùn)練，初始學(xué)習(xí)了設(shè)置為1e-3，訓(xùn)練過(guò)程中通過(guò)余弦模擬退火算法自動(dòng)調(diào)整學(xué)習(xí)率，其中模型預(yù)熱Epoch占總Epoch的20%。使用典型的Yolo系列頭部損失函數(shù)并使用Adam算法對(duì)整個(gè)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行優(yōu)化。

MAP是目標(biāo)檢測(cè)中衡量識(shí)別精度的重要指標(biāo)，用來(lái)綜合指示檢測(cè)過(guò)程中的精確度、召回率。整個(gè)試驗(yàn)環(huán)境下，由于類(lèi)別單一，MAP與在開(kāi)放數(shù)據(jù)集如ImageNet、Coco測(cè)試得到的MAP不具有明顯對(duì)比性，達(dá)到91%。這也反應(yīng)出模型在測(cè)試視頻數(shù)據(jù)集效果良好，為后續(xù)目標(biāo)追蹤提供了較好基礎(chǔ)。

4.2.3 箱體特征模型訓(xùn)練

度量學(xué)習(xí)是學(xué)習(xí)目標(biāo)相似度的一種非常重要的手段，一般使用歐式距離或余弦相似度來(lái)衡量CNN網(wǎng)絡(luò)提取的圖片特征。在有監(jiān)督學(xué)習(xí)方向，Triple Loss作為經(jīng)典的度量學(xué)習(xí)損失函數(shù)目標(biāo)，需要在特征域拉近相同或相似箱體的距離，并且拉遠(yuǎn)不同箱體的距離。在訓(xùn)練過(guò)程中，需要選取相似箱體的一對(duì)圖片，其中一張圖片設(shè)置為Anchor樣本，另外選取一張圖片作為positive樣本，并另外選取一張其他類(lèi)別的圖片作為negative樣本，實(shí)際上這種數(shù)據(jù)選取方式難以使模型快速收斂，需要花費(fèi)大量時(shí)間來(lái)訓(xùn)練，并難以達(dá)到理想效果。因此需要使用難樣本數(shù)據(jù)挖掘方式首先進(jìn)行樣本挖掘，再使用Triple loss進(jìn)行模型訓(xùn)練，使得模型收斂，通常在設(shè)置合理閾值的方式下，最終并不以最終的損失函數(shù)結(jié)果來(lái)判斷模型是否好壞，而是以樣本挖掘程度或是否能夠再挖掘難樣本來(lái)評(píng)判模型是否合理可用。

4.3 測(cè)試結(jié)果

使用訓(xùn)練好的模型，對(duì)視頻進(jìn)行檢測(cè)。效果如圖7所示。

圖7 檢測(cè)與跟蹤效果

4.3.1 鏡頭畸變校準(zhǔn)

為了得到單應(yīng)性矩陣H，因此分別對(duì)兩組圖片中的4對(duì)特征點(diǎn)進(jìn)行標(biāo)志，以對(duì)應(yīng)到真實(shí)世界坐標(biāo)系。4對(duì)特征點(diǎn)的標(biāo)記如下所示：

上述對(duì)應(yīng)坐標(biāo)點(diǎn)的位置分別被標(biāo)注在下圖中，如圖8所示，經(jīng)過(guò)單應(yīng)性變化的圖片如圖9所示。

圖8 選取的4對(duì)特征點(diǎn)

圖9 鏡頭畸變校準(zhǔn)后的效果圖

4.3.2 連包異常監(jiān)測(cè)及預(yù)警

將兩個(gè)箱子中心點(diǎn)距離小于50cm作為判別閾值，當(dāng)兩個(gè)箱子距離小于閾值時(shí)出現(xiàn)紅線(xiàn)并標(biāo)注出預(yù)警距離，檢測(cè)效果如圖10所示。

圖10 連包異常監(jiān)測(cè)及預(yù)警效果圖

從圖9中可以看出所以在和數(shù)據(jù)集標(biāo)注區(qū)域相同的箱子100%被正常檢測(cè)出，追蹤過(guò)程中，無(wú)效ID切換率被控制在1%內(nèi)。實(shí)際運(yùn)行過(guò)程中，傳送帶時(shí)間每天運(yùn)行時(shí)間達(dá)到9小時(shí),由于連包現(xiàn)象導(dǎo)致分揀錯(cuò)誤，并伴隨大量傳送帶臨時(shí)暫停，使用Tensorflow sharp部署訓(xùn)練好的模型進(jìn)行追蹤預(yù)警后，并通過(guò)預(yù)警信息反饋至傳送帶控制系統(tǒng)，使得每天分揀時(shí)間降至8小時(shí)，有效提高工作效率。

5 結(jié)語(yǔ)

本研究從視頻流的監(jiān)測(cè)數(shù)據(jù)出發(fā)，利用先進(jìn)的計(jì)算機(jī)視覺(jué)技術(shù)，實(shí)現(xiàn)多目標(biāo)的自動(dòng)識(shí)別及跟蹤、異常監(jiān)測(cè)及預(yù)警。技術(shù)路線(xiàn)充分考慮了傳送帶上運(yùn)輸?shù)南浒卣?，不僅有效進(jìn)行識(shí)別與跟蹤，而且在其基礎(chǔ)上能夠保證實(shí)時(shí)性要求，充分體現(xiàn)了基于視頻流的多目標(biāo)識(shí)別跟蹤及異常監(jiān)測(cè)系統(tǒng)研究的創(chuàng)新性。

該研究的創(chuàng)新點(diǎn)主要集中于以下兩個(gè)方面：

1）無(wú)需使用傳統(tǒng)的雷達(dá)探測(cè)或紅外探測(cè)，只需要使用攝像頭和監(jiān)測(cè)視頻，即可利用計(jì)算機(jī)視覺(jué)技術(shù)實(shí)現(xiàn)傳送帶上箱包的異常預(yù)警任務(wù)；

2）提供了一種識(shí)別連包異常情況的新思路，舊思路往往采用直接訓(xùn)練識(shí)別出多箱包相連的情形，但這種情況下難以分辨綁在一起的多個(gè)箱包，因此新思路采用計(jì)算兩兩箱包之間距離的方法，當(dāng)距離低于閾值時(shí)進(jìn)行預(yù)警。

該研究的技術(shù)難點(diǎn)主要集中于以下三個(gè)方面：

1）鏡頭安裝位置較低，會(huì)導(dǎo)致監(jiān)測(cè)過(guò)程中出現(xiàn)遮擋的箱體無(wú)法有效被跟蹤，當(dāng)出現(xiàn)無(wú)效跟蹤時(shí)可能出現(xiàn)錯(cuò)誤的異常報(bào)警，同時(shí)鏡頭畸變校準(zhǔn)后也會(huì)產(chǎn)生一定的誤差；

2）訓(xùn)練數(shù)據(jù)的樣本量不夠，由于人工標(biāo)注非常耗時(shí)耗力，因此每次訓(xùn)練只選用了五百多張圖片作為訓(xùn)練數(shù)據(jù)。盡管測(cè)試效果已經(jīng)很不錯(cuò)，但如果能夠增大樣本量到3000-5000張，可能會(huì)使效果有進(jìn)一步提升；

3）模型權(quán)重相對(duì)較大（訓(xùn)練出的模型權(quán)重為246MB），包含6000多個(gè)參數(shù)，相比于百兆以下的輕量級(jí)權(quán)重顯得有些大，如果能夠收集更多的訓(xùn)練數(shù)據(jù)，可以采用YOLOv4-tiny輕量級(jí)模型進(jìn)行訓(xùn)練，權(quán)重文件僅有25MB，包含600多個(gè)參數(shù)。