基于DSP系統(tǒng)的芒果品質檢測平臺構建

潘俊洋PAN Jun-yang 項輝宇 - 薛 真

(北京工商大學材料與機械工程學院，北京 100048)

芒果的品質主要由其大小、成熟度、腐壞程度決定，而且成熟的芒果更易腐爛，并極易造成周圍芒果的共同腐爛。近年來，隨著人工智能的不斷發(fā)展，視覺檢測技術使芒果的無損檢測得以實現。劉靜等[1]通過面積獲取，利用線性回歸分析確定測量值和真實值之間的相關性，以此進行芒果表面缺陷的分級。李甦等[2]通過大量統(tǒng)計水果表面顏色的分布規(guī)律提出了“數量—程度”“大小—評價測光值”2種空間模型來實現缺陷檢測和分級?？抵玖恋萚3]利用微處理器結合可見光/近紅外漫反射原理進行數據的處理和分析，以此來對蘋果是否受損進行識別和分類。趙杰文等[4]利用高光譜圖像技術，提取547 nm波長下的圖像，并通過不均勻二次差分和圖像處理技術檢測蘋果表面損傷，正確率達到88.57%。但上述方法對試驗環(huán)境和設備要求較高，速度不夠高，不利于實際生產流水線上的檢測。黨宏社等[5]提出了運用ARM嵌入式技術對芒果進行檢測和分級，但仍未能脫離對現有QT/ Embedded軟件平臺的依賴，并且只能做到對尺寸的檢測分級。本試驗基于DSP開發(fā)板構建檢測平臺，對芒果品質進行視覺的檢測，同時將味覺傳感器與視覺檢測相結合，為芒果及類似的水果檢測提供一種較好的方法。

1 檢測平臺基本架構

1.1 主要硬件構成

1.1.1 DSP6437開發(fā)板 與PC產品相比，DSP系統(tǒng)集成度更高，速度更快，功耗更小。其強大的數學運算能力使得實時圖像處理得以更好實現?；谶_芬奇三代的架構的DM6437，專門適用于對數字視頻、圖像采樣處理、視覺分析等應用進行剪裁和優(yōu)化。并且美國TI公司的DSP支持匯編語言、ANSI的標準C語言，應用范圍更廣。

1.1.2 傳送帶 將芒果放在傳送帶上進行運輸，模擬生產輸送中的流水線作業(yè)。為了觸發(fā)CCD相機進行一幀圖像的獲取，選用M12激光傳感器，當芒果傳送到傳感器處，觸發(fā)程序進行圖像捕捉、處理。

1.1.3 氣味檢測傳感器 本試驗選擇的QS-01傳感器是一種新型的二氧化錫半導體氣體傳感器，不僅響應時間短，而且對腐爛所產生的硫化氫等異味氣體有著很高的靈敏度。傳感器采用塑料作為外殼，可以在極低的功耗下獲得極好的感應特性，和51單片機的ADC模塊結合使用，檢測準確。

1. DSP6437開發(fā)板 2. 傳送帶 3. 顯示屏 4. M12激光傳感器 5. CCD 6. 51單片機 7. QS-01氣味傳感器

圖1 試驗檢測平臺

Figure 1 Experimental platform

1.2 檢測方法及流程

本試驗搭建的檢測平臺，將OpenCV圖像處理算法移植于DSP中，并與DSP快速的數據處理速度相結合。通過CCD采集圖像信號，經過解碼器TVP5150轉換成格式為YUV422的8-bit數字信號，調用VLIB庫函數將其轉換為常用的RGB格式，存儲在片外存儲空間DDR2中。篩選獲取包含芒果的矩形連通區(qū)域，將感興趣區(qū)域灰度化，以其均值判斷成熟度。為了極大保護圖像細節(jié)優(yōu)化后續(xù)處理，采用超限領域平均法進行平滑濾波。運用二值化進行圖像分割，二階微分拉普拉斯算法計算芒果邊緣，通過直方圖統(tǒng)計腐爛區(qū)域大小，并將氣味傳感器綜合檢測判斷腐爛與否，相較于單一的視覺檢測更為準確。試驗流程見圖2。

2 關鍵技術及實現

基于DSP6437搭建芒果品質檢測平臺，關鍵技術包括EMCV移植、視頻圖像處理及平臺算法優(yōu)化。

2.1 EMCV移植

DM6437目前只支持美國TI公司提供的VLIB和IMGLIB視頻圖像處理算法庫，但這2個庫僅提供了很少量的基本圖像算法，遠不能支持一個完整全面的應用算法開發(fā)，并且在使用過程中有很多的限制。OpenCV擁有豐富的圖像處理算法，由一系列的C和C++編寫而成，并提供了多種其它語言形式(Python、Ruby)的函數接口，包含了機器視覺和視頻圖像處理領域的許多通用和高級算法。其移植性較強，目前已有很多移植到ARM和DSP平臺的成功先例[6]，選用OpenCV視覺庫進行DSP環(huán)境移植方便可行。OpenCV總共有五大模塊，有些是不需要進行移植的(例如Highgui圖像界面模塊)，本次試驗主要對OpenCV1進行了DSP的移植，移植了CV(核心算法)和Cxcore(數據結構支持)2個模塊(見圖3)，在DSP中以EMCV的形式呈現。

2.2 視頻采集及成熟程度判定

由于YUV與RGB視頻信號相比，在傳輸過程中只需要占用極少的頻寬，所以多用于優(yōu)化的彩色視頻信號的傳輸。DSP中通過CCD捕捉到的圖像通常都通過YUV信號進行傳輸，通過VPFE對CCD的各項參數進行設定，調用vpfe_init獲取一幀圖像數據的首地址，調用VLIB_convertUYVYint_to_RGBp1(Uint8*)進行YUV與RGB的轉換[7]，便于圖像運用算法進行處理。

2.2.1 圖像灰度化 圖像灰度化就是將原彩色圖像上的三原色R、G、B的亮度值按式(1)進行運算，依次將算出的灰度值賦給新圖像相對應的像素位置處[8]?；叶葓D像矩陣元素的取值范圍通常為[0，255]。通過多次對比發(fā)現：熟透芒果的灰度值高于未成熟的。為了保證計算的實時性，通過VLIB中的VLIB_create Connected Componentslist函數進行連通區(qū)域查找，通過VLIB_getCCFeatures遍歷每個連通區(qū)域，并獲取每個連通區(qū)域的長、寬、高等屬性，以此對連通區(qū)域進行篩選，除去極小的干擾區(qū)域，得出包含芒果的矩形區(qū)域的位置，利用循環(huán)語句遍歷區(qū)域圖像灰度值，求出灰度均值，以此來判斷其成熟程度。

(1)

式中：

H——遍歷點灰度值，像素；

R——遍歷點紅色像素值，像素；

G——遍歷點綠色像素值，像素；

B——遍歷點藍色像素值，像素。

2.2.2 超限鄰域平均法平滑除噪 由于試驗環(huán)境及硬件設備的影響，采集到的圖像不可避免地會有噪聲的存在，噪聲會將一個簡單閾值處理的問題變得難以解決。所以為了避免干擾，一般會在圖像預處理時對圖像進行平滑濾波。

本試驗采取了超限領域平均法[9]對圖像進行了濾波操作，其原理是：當某個像素點處的灰度值減去其領域灰度均值大于某個設定的閾值時，才會執(zhí)行均值濾波操作。相比于最常用的均值濾波方法，該算法不僅能有效地消除圖像噪聲，而且保護了較小灰度差下的圖像細節(jié)(見圖3)。超限鄰域平均法的表達見式(2)。

(2)

式中：

f(i,j)——原圖像中的灰度值，像素；

fa(i,j)——原圖像中鄰域的灰度平均值，像素；

T——分割閾值，像素；

g(i,j)——變換后的圖像灰度值，像素。

2.2.3 二值化及拉普拉斯算法計算大小分級 二值化是圖像處理的基本算法，常用于圖像分割，將目標物體與背景區(qū)分開來[10]。對于受外界干擾較小的圖像，根據直方圖尋找波谷，以波谷值作為閾值對圖像進行二值化分割。

拉普拉斯求邊緣是一種二階微分算法，具有旋轉不變性，較之常用的一階邊緣算法(梯度算法、sobel算法等)更為準確[11-12]。二維函數f(x,y)的拉普拉斯運算可以定義為：

(3)

式中：

Δ2f——該點處灰度函數二階微分值；

f(x,y)——x，y像素坐標處的灰度值函數，像素。

定義2個數組，將檢測到的邊緣點放入2個數組中。以圖像中心作為旋轉中心，旋轉的角度為α，設置α[0,90]變化的循環(huán)，通過比較得出包含芒果的最小矩形的面積，以此判別芒果的大小，進行分級。

2.2.4 灰度直方圖統(tǒng)計檢測腐爛區(qū)域 灰度直方圖是關于灰度值的函數，是圖像檢測處理中最常用的方法之一[13]。在一個連續(xù)的灰度圖像中，通常將灰度值為D的所有輪廓線所包含的面積記為A(D)，則灰度直方圖可以定義為：

(4)

式中：

H(D)——灰度值為D的像素點個數；

D——灰度值，像素；

A(D)——灰度值為D的所有輪廓線包含的面積，像素。

對于離散函數ΔD=1，則上式可以簡化為H(D)=A(D)-A(D+1) ，所以，對于任意數字圖像，面積函數A(D)就是大于或等于D的像素點的個數。

根據多次檢測試驗，統(tǒng)計分析灰度直方圖中3個波峰分別代表的含義(背景、腐爛區(qū)域和未腐爛區(qū)域)，根據統(tǒng)計結果，區(qū)分背景、腐爛區(qū)域和未腐爛區(qū)域，分別計算出3個范圍內的像素點的數目，以此判斷出芒果是否已經腐爛及腐爛區(qū)域的面積大小。

2.3 平臺優(yōu)化

2.3.1 C代碼優(yōu)化 由于DSP6437的內部寄存器是32位的，通過內核8個執(zhí)行單元進行數據處理時，DSP編譯規(guī)則規(guī)定了long型數據為40位，使用long型數據會更多地占用執(zhí)行單元，延長程序運算時間。DSP處理short*short類型的數據運算時只需要一個指令周期，而執(zhí)行int*int運算時需要5個指令周期。因此，進行定義數據時盡量使用short類型，可以極大地減少內存消耗和程序運行時間。

在進行邊緣檢測后，對圖片進行旋轉時，根據實際需求，只需對拉布拉斯求邊緣后的邊緣點的坐標進行旋轉，這樣極大地減少了程序循環(huán)計算次數及運行時間。以100×100的目標物為例，旋轉圖片一次的計算量為10 000，而只對邊緣坐標進行旋轉的計算量僅為400，極大地改善了程序的運行。

2.3.2 存儲空間優(yōu)化 存儲空間的優(yōu)化主要通過.tcf文件中的存儲器管理模塊來實現[14]。因為C編譯器中堆的大小默認值為1 KB，而通常獲取一幀圖像進行算法運算時所需要的動態(tài)內存>>1 KB，并且DM6437的片內存儲資源有限，因此需要從DM6437的片外存儲空間SRAM和 DDR2中分配出一部分空間作為堆，進行圖像數據的存儲和運算，而將一些全局性的結果變量及數值存儲到片內存儲中擁有80 KB空間的L1D中。通過手動劃分內存可以極大地節(jié)省代碼運行時間。動態(tài)內存使用malloc()進行空間分配，使用完后立刻調用free()進行釋放，置空指針，防止內存溢出。

2.3.3 并行處理 DM6437采用了美國TI公司第三代超長指令集結構(VelociTI3)，內置TMS320C64x+DSP內核，能夠同時進行8個8位或4個16位的并行MAC運算，而且能實時處理8路CIF或3路D1格式的編碼算法。CCS是DSP的集成開發(fā)環(huán)境，能夠實現實時、多任務的開發(fā)。合理地將程序進行分模塊的編寫，并且分配好優(yōu)先等級，通過.tcf文件合理的配置分配任務管理器，將可并行處理[15]的程序模塊鏈接入管理器中，極大調用了DSP的高速內核運算功能，節(jié)省了程序運行時間。

2.3.4 圖像處理庫的使用 在DSP開發(fā)中，為了節(jié)省開發(fā)時間和難度，TI將一些成熟的算法封裝為模塊，供開發(fā)者使用。如果能充分利用這些算法支持庫，對于加快DSP開發(fā)進程與提高代碼質量、穩(wěn)定性有非常大的幫助。在圖像處理領域，TI公司給用戶提供了VLIB、IMGLIB、IQMATH等圖像處理庫[16]，本檢測平臺主要運用到的是VLIB和IMGLIB。本試驗將VLIB庫添加到了工程文件并多次調用其算法，包括YUV轉RGB、灰度化、連通區(qū)域的查找篩選等，并使用了IMGLIB庫的圖像格式轉換、圖像濾波以及編碼解碼壓縮等函數功能，極大縮短了程序運行的時間。

2.3.5 程序固化燒制 算法的DSP實現、DSP程序的移植、優(yōu)化和程序測試工作完成之后，需要將可執(zhí)行代碼固化[17]到DSP設備中，使程序能夠在脫離PC機的情況下通電自行啟動。DM6437 提供3種引導模式：ROM 引導、仿真引導和主機引導，最常用的是ROM 引導方式，即通過片上 BootLoader 引導程序啟動。而SEED公司的DM6437開發(fā)板程序的燒寫，只需要將程序.out文件通過相應的項目程序復制寫入到FLASH首地址的內存即可，每次啟動時程序通過二級引導程序就可燒寫至執(zhí)行程序首地址內存段。

2.4 檢測試驗

搭建好試驗平臺，將芒果放在傳送帶上，開啟傳送帶和采集視頻圖像。采集到的原始圖像經連通區(qū)域篩選后的圖像見圖4。

2.4.1 芒果圖像灰度化 經過灰度化處理，見圖5。

2.4.2 超限鄰域平均法平滑去噪 超限鄰域平均法平滑去噪后的圖像見圖6。

2.4.3 芒果大小分級 根據圖像二值化及拉普拉斯算法的計算結果，設置α[0，90]變化的循環(huán)，通過比較得出包含芒果的最小矩形的面積，以此判別芒果的大小，進行分級。芒果面積及分級結果見表1。

2.4.4 判斷芒果是否腐爛 通過多次檢測發(fā)現，芒果腐爛部位的灰度值與未腐爛區(qū)域有明顯的差異。由圖7可知：灰度直方圖有3個波峰，依次為背景、腐爛區(qū)域和未腐爛區(qū)域。通過直方圖可以計算出這一范圍內(灰度值為40～65)的像素點的數目，以此判斷出芒果是否已經腐爛，并可得出腐爛區(qū)域的面積大小。

2.4.5 氣味覺傳感器的綜合判定 本試驗在視覺檢測的基礎上，結合空氣質量傳感器QS-01對芒果腐爛與否進行了綜合的判斷。該傳感器能將特殊氣體(腐爛氣體、農藥殘留氣體)的含量轉變?yōu)殡娮璐笮〉淖兓瑢⑤敵龅碾妷鹤兓ㄟ^51單片機的A/D轉換模塊轉換并顯示在數碼管上。通過多次試驗，檢測到腐爛的芒果經過傳感器時輸出的電壓值都高于90 mV。該方法比單方面的視覺檢測的判斷更為準確。

3 結論

基于DSP6437開發(fā)板構建了芒果品質檢測平臺，將視覺檢測和味覺傳感器結合起來判斷芒果的品質，包括用輸出LED燈亮、暗模擬實際生產線運作，對芒果的大小、成熟程度以及是否腐爛進行分級分類。相較傳統(tǒng)的單方面的視覺檢測準確度更高。DSP視覺檢測的運用，極大提高了檢測速度，可滿足實際生產需求，并且體積小，運行穩(wěn)定，更適應實際檢測環(huán)境。由于試驗條件的影響未能對芒果進行全面的圖像采集，腐爛區(qū)域可能出現于檢測背面，造成誤檢。在實

際的生產中需要對滾動的芒果進行實時連續(xù)的圖像采集，保證實現全方位的檢測，提高檢測準確率。針對此不足之處，下一步的研究需要針對芒果全部區(qū)域進行檢測，由綜合試驗結果判斷芒果品質。

[1] 劉靜, 黃勇平, 章程輝. 視覺系統(tǒng)開發(fā)模塊在芒果果面缺陷檢測中的應用[J]. 食品與機械, 2009, 25(2): 82-85.

[2] 李甦, 譚永龍, 楊美英. 芒果分級與表面缺陷檢測研究[J]. 計算機工程與設計, 2008(15): 3 954-3 957.

[3] 康志亮, 陳韻羽, 王思, 等. 便攜式受損芒果檢測裝置的設計[J]. 農機化研究, 2010(12): 52-56.

[4] 趙杰文, 劉劍華, 陳全勝, 等. 利用高光譜圖像技術檢測水果輕微損傷[J]. 農業(yè)機械學報, 2008(1): 106-109.

[5] 黨宏社, 宋晉國, 郭琴. 基于ARM的嵌入式芒果大小檢測與分級系統(tǒng)的實現[J]. 四川農業(yè)大學學報, 2011(1): 89-93.

[6] 朱明, 陸小鋒, 陸亨立, 等. AdaBoost人臉檢測算法在DSP上的移植與優(yōu)化[J]. 計算機工程與應用, 2014(20): 197-201, 232.

[7] 呂穎. DSP圖像數據的可視化[J]. 福建電腦, 2011(3): 153-155.

[8] 肖劍雄峰. 局部對比度增強的彩色圖像灰度化參數化算法研究[D]. 溫州: 溫州大學, 2016: 9-16.

[9] 姜小磊, 姚鴻勛, 趙思成. 一種極值約束的邊緣保持圖像平滑算法[J]. 計算機科學, 2014(10): 101-105, 127.

[10] 張琪. 結合邊緣檢測的圖像二值化算法[D]. 長春: 吉林大學, 2011: 24-30.

[11] 張建光, 李永霞. 基于拉普拉斯邊緣檢測算子的圖像分割[J]. 福建電腦, 2011(7): 99, 101.

[12] 周林妹. 數字圖像邊緣檢測算法及其在農產品加工中的應用[J]. 食品與機械, 2009, 25(3): 139-142, 153.

[13] 趙源萌, 王嶺雪, 金偉其, 等. 基于區(qū)域直方圖統(tǒng)計的灰度圖像色彩傳遞方法[J]. 北京理工大學學報, 2012(3): 322-326.

[14] 范曄. 基于DM6437的車牌識別系統(tǒng)的設計與實現[D]. 西安: 西安電子科技大學, 2012: 61-62.

[15] 楊方. 基于TMS320C6678的多核DSP并行處理應用技術研究[D]. 北京: 北京理工大學, 2014: 47-50.

[16] 劉德方, 鄧明, 陳海燕, 等. 基于DM6437和VLIB的Canny邊緣檢測[J]. 安徽建筑工業(yè)學院學報: 自然科學版, 2013(2): 72-75.

[17] 黃震, 劉亞斌. TMS320C6000系列DSP程序固化的研究[J]. 電子設計工程, 2016(12): 26-28, 32.