基于歷史幀路徑搜索的紅棗動態(tài)圖像采集

吳俊杭 曾窕俊 馬本學(xué) 汪傳建 羅秀芝 王文霞

摘要：圖像采集是實現(xiàn)紅棗品質(zhì)分級和檢測的關(guān)鍵前提。針對基于靜態(tài)圖像的采集方式不能全面反映外觀品質(zhì)、實時性差和基于傳輸式圖像采集方式的機(jī)械、電路設(shè)計復(fù)雜且適用性不足的缺點，提出一種基于歷史幀最小路徑搜索，實現(xiàn)對視頻中紅棗目標(biāo)進(jìn)行跟蹤、標(biāo)定，建立紅棗動態(tài)樣本集的方法。首先利用RGB（red，green，blue）顏色空間轉(zhuǎn)換HSV（hue saturation value）空間圖像的明度（V）分量，基于V分量建立掩膜對RGB圖像執(zhí)行掩膜去背景。同時，針對視頻圖像中獲得的二值圖像，建立坐標(biāo)系，獲得每幀圖像基于輪廓外接最小正矩形的特征向量，將當(dāng)前幀和前一幀中的特征向量基于最小路徑搜索的方法，加入約束條件，實現(xiàn)對視頻中每個紅棗目標(biāo)的跟蹤和標(biāo)定，最后基于正矩形參數(shù)的感興趣區(qū)域（region of interest，簡稱ROI），實現(xiàn)動態(tài)樣本建立。利用此算法，對拍攝的視頻圖像的檢測表明建立的動態(tài)樣本集能更全面地反映紅棗外觀品質(zhì)。該算法簡單、有效，特別在實現(xiàn)基于深度神經(jīng)網(wǎng)絡(luò)的紅棗在線檢測中具有較大的應(yīng)用潛力。

關(guān)鍵詞：機(jī)器視覺;紅棗檢測;路徑搜索;跟蹤標(biāo)定;動態(tài)樣本

中圖分類號： TP391.41? 文獻(xiàn)標(biāo)志碼： A? 文章編號：1002-1302（2019）10-0219-05

新疆紅棗具有極高的營養(yǎng)及藥用價值，又被稱為“黃金壽棗”，受到了越來越多的消費者青睞，社會需求量也在不斷加大，大大地激發(fā)了自治區(qū)規(guī)?；l(fā)展、產(chǎn)業(yè)化經(jīng)營棗樹的積極性[1]。但同時，霉?fàn)€、蟲害等缺陷嚴(yán)重影響了紅棗的品質(zhì)和價值，必須進(jìn)行濾除。機(jī)器視覺具有效率高、精度高、檢測信息豐富、非接觸等優(yōu)點，在農(nóng)產(chǎn)品缺陷檢測和品質(zhì)分級領(lǐng)域獲得了廣泛應(yīng)用[2]。

目前，國內(nèi)外基于機(jī)器視覺的水果分選已經(jīng)較為成熟，但對紅棗的研究還相對較少。Wang等采用了可見光和近紅外光譜對棗內(nèi)部進(jìn)行了無損檢測，并實現(xiàn)棗的無損評價[3-5]。張萌等基于紅棗近紅外圖像，提出一種亮度快速較正算法，實現(xiàn)紅棗表面缺陷分割[6]。李功燕等針對紅棗表面飽滿度不同的情況，利用不同的梯度算子作為對比，采用歸一化梯度直方圖作為紅棗表面紋理特征實現(xiàn)對干癟紅棗的識別，更進(jìn)一步實現(xiàn)對紅棗品質(zhì)的評價[7]。

其中，圖像采集作為機(jī)器視覺實現(xiàn)對紅棗品質(zhì)分級和缺陷檢測的前提，直接影響著分級和檢測的效果和速率。目前，進(jìn)行圖像采集的方法主要分為2種，前者創(chuàng)建1個密閉試驗箱，通過調(diào)節(jié)密閉環(huán)境內(nèi)的光強(qiáng)，為圖像采集創(chuàng)造出理想環(huán)境[8-12];相較于前者，后者采用基于傳輸線的方式實現(xiàn)對目標(biāo)的圖像采集。李江波等一方面采用雙排錐子式滾子組合來輸送和翻轉(zhuǎn)水果，另一方面通過傳感器實現(xiàn)對水果實現(xiàn)定位[13]。趙娟等在傳送帶上安裝滾子，將水果放置在滾子上，并在檢測區(qū)域面向傳送帶傾斜60°方向的位置兩側(cè)各安裝1面平面鏡，通過鏡面反射，實現(xiàn)更大面積的樣本信息采集[14]。當(dāng)水果在傳送帶上隨滾子旋轉(zhuǎn)而向前傳送，同時通過安裝有對射式傳感器的位置時，觸發(fā)信號控制相機(jī)開始采集圖片。

上述關(guān)于圖像采集的方式存在以下局限性：（1）基于靜態(tài)圖像的試驗樣本建立不能全面地反映實驗對象外部品質(zhì)，且實時性較差，不能適應(yīng)實際生產(chǎn)要求;（2）基于傳送式的圖像采集方式，需要較為復(fù)雜的機(jī)械和電路設(shè)計，同時針對不同的對象，需要及時對設(shè)備進(jìn)行更換或調(diào)節(jié)，因此生產(chǎn)條件和生產(chǎn)成本相對較高。與此同時，隨著深度學(xué)習(xí)越來越受到重視[15]，其中深度卷積神經(jīng)網(wǎng)絡(luò)模型得到不斷優(yōu)化，使得計算機(jī)能夠從原始輸入圖像中挖掘越來越抽象的分布式特征，滿足更深層次的特征提取，實現(xiàn)對樣本的分類。深度卷積神經(jīng)網(wǎng)絡(luò)降低了對輸入圖像的像素大小、光照、噪聲的要求，具有良好的泛化性，因此，本研究以新疆紅棗為研究對象，研究實現(xiàn)視頻中紅棗目標(biāo)的跟蹤標(biāo)定，完成紅棗動態(tài)圖像采集，為進(jìn)行基于深度卷積神經(jīng)網(wǎng)絡(luò)的在線紅棗自動分級和缺陷檢測提供理論依據(jù)和技術(shù)支持。

1 視頻圖像獲取

本研究采用的計算機(jī)視覺視頻圖像采集系統(tǒng)如圖1所示，該裝置包括了在線傳輸單元和視頻圖像采集單元。其中，圖像采集單元主要由CV-M7+CL型彩色CCD攝像機(jī)、亮度可控的排狀LED光源、光電傳感器、Matrox Solios圖像采集卡和計算機(jī)組成。在線傳輸單元由傳送皮帶和基于PLC控制系統(tǒng)的可調(diào)速傳送裝置組成。同時試驗時為了避免外界光源的干擾，整個試驗在封閉的黑色罩里進(jìn)行。開啟光源并調(diào)節(jié)皮帶傳送速率，約3 min后，光源和傳送速率趨于穩(wěn)定，利用Matrox MIL9.0軟件實現(xiàn)對靜態(tài)圖像和動態(tài)視頻的采集，同時為滿足后續(xù)試驗要求，對采集到的圖像和視頻進(jìn)行轉(zhuǎn)碼和處理。

2 圖像處理

2.1 圖像預(yù)處理

圖像預(yù)處理的目標(biāo)是去除背景和噪聲，掩膜具有去除背景和噪聲的同時不丟失紅棗表面信息的優(yōu)點。本研究采用掩膜法去除背景。因此，如何構(gòu)建完整的圖像掩膜是利用掩膜法去背景的關(guān)鍵。圖2為本次基于掩膜圖像映射的紅棗前景圖像提取算法流程。

試驗使用白色磨砂傳送皮帶作為背景，磨砂皮帶具有不“反光”的特性，能有效消除反射光造成的影響。本次試驗對象為干制新疆紅棗，圖3-a為試驗中拍攝的1張靜態(tài)紅棗圖像。通過觀察其紅色（R）、綠色（G）、藍(lán)色（B）、灰度（Gray）等各分量圖像中紅棗和背景的對比，發(fā)現(xiàn)基于HSV顏色空間的明度（V）分量，和背景差別較大，因此試驗嘗試提取紅棗的明度分量構(gòu)建二值掩膜。RGB顏色模型與V分量的轉(zhuǎn)換關(guān)系為

根據(jù)式（1）所得，V分量圖像數(shù)據(jù)類型為double型，為后續(xù)試驗方便，將圖像轉(zhuǎn)換為uint8數(shù)據(jù)類型。本研究采取中值濾波法對所得的V分量圖像進(jìn)行去噪處理，中值濾波法不僅克服了線性濾波器造成圖像細(xì)節(jié)模糊失真的不足，而且還有實現(xiàn)抑制噪聲的同時不使邊緣模糊的優(yōu)點。圖3-b是經(jīng)過中值濾波后得到的V分量圖像，可以看出，基于V分量圖像設(shè)置1個簡單的閾值可以構(gòu)建二值掩膜。根據(jù)圖3-e中的V分量直方圖，選取二值化閾值β為120，得到二值圖像，然后再進(jìn)行形態(tài)開運算去除孤立噪點，圖3-c是獲得的二值掩膜圖像。

最后進(jìn)行如下運算獲得去背景之后的紅棗圖像。

2.2 基于歷史幀最小距離搜索判別的目標(biāo)跟蹤標(biāo)定

實現(xiàn)基于視頻的紅棗動態(tài)樣本建立，關(guān)鍵一步就是能夠?qū)σ曨l中每個紅棗進(jìn)行跟蹤，完成標(biāo)定，建立基于單個紅棗的樣本集合。因此，本研究提出一種基于歷史幀最小距離判別的目標(biāo)跟蹤標(biāo)定算法，算法能夠?qū)σ曨l中的每個紅棗樣本進(jìn)行標(biāo)定。

算法包括2個部分：生成二值圖像中紅棗前景外接正矩形特征向量和基于歷史幀最小距離的搜索判別。

2.2.1 生成二值圖像外接矩形框特征向量 要實現(xiàn)對每個紅棗的跟蹤和標(biāo)定，就需要對每一幀圖像建立1個特征向量

F，其中向量中包含每個紅棗的特征向量f。流程如圖4所示，生成基于紅棗二值輪廓外接矩形特征向量。

由圖4可知，當(dāng)?shù)趇幀圖像輸入時，經(jīng)過圖像預(yù)處理步驟得到二值圖像Ibw，然后對二值圖像中每個紅棗前景進(jìn)行基于輪廓的外接矩形提取。如圖5-b所示，對圖像中每個紅棗前景加上矩形框，由于每個紅棗的大小和位置都不一樣，即所得的矩形框參數(shù)也不一樣。為了提取每個矩形框的特征信息，因此建立了圖5-c所示的二維直角坐標(biāo)系，規(guī)定圖像左上角頂點為坐標(biāo)原點（0，0），水平方向為X軸方向，豎直方向為Y軸方向，2個水平或者豎直方向相鄰的像素點之間的距離為1。同時針對每個矩形框提取以下參數(shù)：矩形框左上角頂點（x，y）、水平方向長度w和豎直方向長度h，構(gòu)成1個關(guān)于矩形框的4維向量：

紅棗動態(tài)樣本集合本質(zhì)是對圖像中每個紅棗目標(biāo)進(jìn)行跟蹤標(biāo)定并進(jìn)行ROI，其中矩形框的位置和大小是進(jìn)行ROI的參數(shù)。由圖5-b可知，存在4個矩形框（A′、B′、C′、D′），同時對比圖5-a中的原始輸入圖像，發(fā)現(xiàn)矩形框D′包含的紅棗沒有完全進(jìn)入圖像中，因此須要加入約束條件θ對矩形框進(jìn)行選擇，實現(xiàn)只有滿足要求的完整紅棗才能進(jìn)行ROI。約束條件θ如下：

式中：image.cols和image.rows分別表示輸入圖像的列數(shù)和行數(shù)，由于坐標(biāo)系規(guī)定第1行和第1列為0，因此須要進(jìn)行減1。圖5-d為經(jīng)過約束條件θ作用后的二值圖像，其中上述存在的矩形框D′被有效濾除，從而得到新的關(guān)于這幀圖像的外接矩形框特征向量Fi。

2.2.2 基于歷史幀最小距離的搜索判別 圖6為基于歷史幀最小距離搜索判別實現(xiàn)目標(biāo)跟蹤和標(biāo)定的算法流程圖，其中圖6-a為算法實現(xiàn)的示意圖，圖6-b為算法計算的流程圖。圖6-b中算法的核心就是計算當(dāng)前幀外接矩形特征向量fi中代表矩形框位置的左上角坐標(biāo)點（x，y）和前一幀中每個矩形的左上角坐標(biāo)之間的距離，建立基于當(dāng)前幀中矩形框i與前一幀中所有矩形框的距離集合Di：

然后，選取其中最小距離Dmin=D（i，p），于是將式中表示最小距離的前一幀中矩形框p上的標(biāo)簽賦給當(dāng)前幀中的矩形框i，從而使得視頻中每個紅棗的標(biāo)簽?zāi)軌螂S著視頻流進(jìn)行傳遞，實現(xiàn)對紅棗目標(biāo)的跟蹤和標(biāo)定。然而，對于視頻中初始出現(xiàn)的完整紅棗個體，在搜索前一幀目標(biāo)矩形時，一定會存在1個距離最小目標(biāo)矩形與之對應(yīng)，顯然，初始出現(xiàn)的紅棗個體不能繼承這個目標(biāo)矩形的標(biāo)簽，否則將會引起混亂。因此，須要添加1個約束條件γ。

當(dāng)D（i，p）為Di集合中最小的元素，且小于給定閾值T時，表明當(dāng)前幀中特征向量fi代表的紅棗目標(biāo)和前一幀特征向量fp為同一紅棗，則這個紅棗目標(biāo)上的標(biāo)簽可以進(jìn)行傳遞。當(dāng)D（i，p）不滿足條件γ時，則表明當(dāng)前幀出現(xiàn)的紅棗目標(biāo)為視頻中新出現(xiàn)目標(biāo)，則需要對其賦予新的標(biāo)簽。同時，將獲得的掩膜圖像，利用預(yù)處理中的掩膜法去除背景獲得紅棗目標(biāo)前景，選取合適的時間間隔Th對前景圖像進(jìn)行基于紅棗外接矩形的ROI，獲得視頻流中的紅棗目標(biāo)個體，最后根據(jù)標(biāo)簽一致性原則，建立每個紅棗個體的樣本集合，從而實現(xiàn)紅棗動態(tài)圖像采集，滿足更全面地分析紅棗外部品質(zhì)的要求。

3 試驗與分析

試驗研究對象為新疆紅棗，樣本于2017年12月選購并完成視頻、圖像拍攝。算法由Visual studio 2017和OpenCV 3.2編程實現(xiàn)，經(jīng)過系統(tǒng)調(diào)試，符合試驗設(shè)計要求。為了能夠更好地進(jìn)行基于標(biāo)簽一致性原則建立樣本集合，算法采用基于計數(shù)的標(biāo)簽方式，同時結(jié)合圖像分辨率，設(shè)置約束條件y中的閾值T為20。經(jīng)過試驗，能夠?qū)崿F(xiàn)對視頻中紅棗目標(biāo)的跟蹤和標(biāo)定，圖7-a、圖7-b和圖7-c分別表示實現(xiàn)跟蹤標(biāo)定后的原始、掩膜和前景圖像，其中圖像上每個完整的紅棗個體用最小正矩形框框出，顯示的數(shù)字“02”、“03”、“04”分別表示對應(yīng)紅棗的標(biāo)簽，即每個紅棗目標(biāo)的動態(tài)樣本集名稱。同時設(shè)置時間間隔Th為12，即每隔12幀對圖像中的紅棗進(jìn)行1次ROI，圖7-d為視頻中“03”號紅棗經(jīng)過歸一化后的動態(tài)圖像樣本，可以看出，較靜態(tài)紅棗圖像，構(gòu)成的動態(tài)樣本集能更多地反映紅棗外觀品質(zhì)，從而更好地滿足紅棗外觀品質(zhì)檢

測和分級。試驗中發(fā)現(xiàn)，由于有些紅棗目標(biāo)位置比較接近，所以存在ROI出來的紅棗樣本存在其他紅棗部分的現(xiàn)象，因此試驗在進(jìn)行基于矩形框參數(shù)的ROI時，采用尋找框內(nèi)最大連通域的方法，去除其他紅棗的干擾。試驗結(jié)果表明，該方法能有效濾除其他紅棗的干擾，滿足對單一目標(biāo)提取的要求。同時經(jīng)過測試平均每幀圖像處理時間為15 ms，具有較好的實時性。

4 結(jié)論

本研究介紹了一種基于歷史幀最小路徑搜索判定的算法，作為一種圖像預(yù)處理方法，可以實現(xiàn)對視頻中的紅棗目標(biāo)進(jìn)行跟蹤、標(biāo)定，滿足目標(biāo)基于視頻的動態(tài)圖像樣本采集，較以往基于靜態(tài)圖片的樣本建立，能更好地反映待測物體的外觀品質(zhì)。同時，可以根據(jù)生產(chǎn)能力和對象隨時進(jìn)行調(diào)整，可用于不同對象，靈活性、適用性更廣，且算法避免了復(fù)雜的機(jī)械設(shè)計，降低了對設(shè)備的要求，節(jié)約了生產(chǎn)成本，對后續(xù)檢測和分級有著重要的意義，有著很好的市場前景。下一步工作將繼續(xù)對算法進(jìn)行優(yōu)化和完善，有些紅棗形狀為長條狀，下一步將研究實現(xiàn)紅棗的自適應(yīng)旋轉(zhuǎn)矯正，使得每個紅棗的朝向一致，降低試驗樣本因為朝向不同帶來的復(fù)雜性。針對現(xiàn)在通用的固定閾值二值化方法，容易受外界環(huán)境的干擾，對后續(xù)進(jìn)行的分類和品質(zhì)檢測等帶來影響，下一步將研究針對每個紅棗目標(biāo)，能夠?qū)崿F(xiàn)自適應(yīng)閾值調(diào)整，滿足對樣本更高精度的前景提取。同時，將經(jīng)過尺度歸一化之后的動態(tài)樣本集和深度神經(jīng)網(wǎng)絡(luò)結(jié)合，通過構(gòu)建訓(xùn)練樣本和網(wǎng)絡(luò)模型對參數(shù)進(jìn)行訓(xùn)練，從而實現(xiàn)滿足基于視頻的在線樣本獲取和檢測。

參考文獻(xiàn)：

[1]李志剛，姚婷婷. 新疆紅棗產(chǎn)業(yè)供應(yīng)鏈管理[J]. 江蘇農(nóng)業(yè)科學(xué)，2017，45（4）：288-292.

[2]應(yīng)義斌，饒秀勤，趙 勻，等. 機(jī)器視覺技術(shù)在農(nóng)產(chǎn)品品質(zhì)自動識別中的應(yīng)用（Ⅰ）[J]. 農(nóng)業(yè)工程學(xué)報，2000，16（1）：103-108.

[3]Wang J，Nakano K，Ohashi S. Nondestructive detection of internal insect infestation in jujubes using visible and near-infrared spectroscopy[J]. Postharvest Biology & Technology，2010，59（3）：272-279.

[4]Wang J，Nakano K，Ohashi S. Nondestructive evaluation of jujube quality by visible and near-infrared spectroscopy[J]. LWT - Food Science and Technology，2011，44（4）：1119-1125.

[5]孫世鵬，彭 俊，李 瑞，等. 基于近紅外高光譜圖像的冬棗損傷早期檢測[J]. 食品科學(xué)，2017，38（2）：301-305.

[6]張 萌，許 敏. 紅棗表面缺陷快速檢測方法研究[J]. 江蘇農(nóng)業(yè)科學(xué)，2015，43（7）：331-334.

[7]李功燕，任亦立，馬麗艷. 基于梯度分布不均勻性的干癟紅棗識別[J]. 農(nóng)業(yè)機(jī)械學(xué)報，2016，47（11）：213-218.

[8]李江波，饒秀勤，應(yīng)義斌，等. 基于掩模及邊緣灰度補(bǔ)償算法的臍橙背景及表面缺陷分割[J]. 農(nóng)業(yè)工程學(xué)報，2009，25（12）：133-137.

[9]李江波，饒秀勤，應(yīng)義斌. 水果表面亮度不均校正及單閾值缺陷提取研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報，2011，42（8）：159-163.

[10]展 慧，李小昱，王 為，等. 基于機(jī)器視覺的板栗分級檢測方法[J]. 農(nóng)業(yè)工程學(xué)報，2010，26（4）：327-331.

[11]李小昱，陶海龍，高海龍，等. 馬鈴薯缺陷透射和反射機(jī)器視覺檢測方法分析[J]. 農(nóng)業(yè)機(jī)械學(xué)報，2014，45（5）：191-196.

[12]王樹文，張長利，房俊龍. 基于計算機(jī)視覺的番茄損傷自動檢測與分類研究[J]. 農(nóng)業(yè)工程學(xué)報，2005，21（8）：98-101.

[13]李江波，饒秀勤，應(yīng)義斌. 基于照度-反射模型的臍橙表面缺陷檢測[J]. 農(nóng)業(yè)工程學(xué)報，2011，27（7）：338-342.

[14]趙 娟，彭彥昆，Dhakal S，等. 基于機(jī)器視覺的蘋果外觀缺陷在線檢測[J]. 農(nóng)業(yè)機(jī)械學(xué)報，2013，44（增刊1）：260-263.

[15]周飛燕，金林鵬，董 軍. 卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 計算機(jī)學(xué)報，2017，40（6）：1229-1251.