基于FLIR ONE的番茄機械損傷檢測

徐義鑫， 王建春*， 彭 凱， 張雪飛， 杜彥芳

(1.天津市農(nóng)業(yè)科學院 信息研究所，天津 300192； 2.河北工業(yè)大學 機械工程學院，天津 300130)

番茄是世界上重要的蔬菜作物之一，在各國的蔬菜栽培中均占有很大比例[1]。番茄果實營養(yǎng)豐富，富含多種維生素、碳水化合物、礦物鹽及有機酸等，其用途廣泛，可生食、炒食，加工制成番茄醬、番茄汁或整果罐頭等[2]。番茄果實采后呼吸作用旺盛，常溫下很快軟化，極易受到機械損傷和病原菌侵染而腐爛變質(zhì)，使果實失去商品性，從而限制果實的流通[3]，影響經(jīng)濟效益。因此，番茄機械損傷的檢測具有重要意義。

傳統(tǒng)的果蔬機械損傷檢測往往依靠人工用肉眼判別，結(jié)果易受人的主觀因素影響，且存在精度低、視覺易疲勞、速度慢等問題[4]。隨著計算機圖像處理技術(shù)的不斷進步，通過果實的可見光成像對其進行表面缺陷檢測的技術(shù)逐漸發(fā)展起來。王樹文等[5]對番茄圖像進行處理，綜合運用計算機視覺、BP人工神經(jīng)網(wǎng)絡(luò)技術(shù)實現(xiàn)番茄損傷的自動檢測與分類。丁竹青等[6]基于LabVIEW軟件，采用IMAQ Vision的視覺處理函數(shù)對番茄圖像進行處理，進而檢測出霉斑缺陷部分。相比人工檢測，基于圖像處理技術(shù)的方法有較大優(yōu)勢，但此類方法在檢測番茄等顏色較深的果實表面機械損傷時，對圖像的細節(jié)要求較高，通常只能識別較明顯的損傷。

果蔬機械損傷發(fā)生后，其熱特性發(fā)生變化，在一定條件下，會增大果實正常與損傷部分的溫度差異。這一特性為熱成像檢測果蔬機械損傷[7-10]提供了條件。LINDEN等[11]采用熱成像技術(shù)，利用1℃冷卻90 min、70℃烘箱加熱1～2 min、微波加熱7～15 s等3種不同熱激勵方式對番茄機械損傷的檢測效果表明，微波加熱15 s后可有效區(qū)分出番茄細微機械損傷，但微波會對番茄造成一定破壞。劉娟娟[12]提出了一種基于紅外和可見光圖像融合的水果無損檢測方法，融合圖像很好地保留了蘋果缺陷在紅外圖像中所體現(xiàn)的特征，且有效地消除了可見光圖像表面色彩對于缺陷識別的影響。周建民等[13]利用主動熱成像技術(shù)檢測紅富士蘋果早期機械損傷，并對環(huán)境因素對檢測影響程度進行了定性分析。通過熱成像技術(shù)將果實溫度差異用不同顏色顯示出來，可以直觀地發(fā)現(xiàn)果實缺陷，較好地解決可見光圖像中不明顯損傷難識別的問題。但上述方法通常需要使用配套計算機，且所用熱成像儀一般價格較為昂貴，不適合推廣；另一方面，熱成像在損傷的定量檢測方面尚待更多研究[14]。

FLIR ONE是一款應用于智能手機的熱成像攝像頭，因其價格相對便宜，使用方便，逐漸受到重視。目前在醫(yī)學領(lǐng)域應用較多[15-17]，主要用于傷員傷情檢測；在果蔬檢測方面處于起步階段，如NAIK[18]等將FLIR ONE用于芒果分級。該方法基于Android手機，將FLIR ONE用于番茄果實機械損傷檢測，通過對番茄熱成像的處理與番茄表面溫度矩陣的計算，獲得番茄表面機械損傷參數(shù)。

1 檢測原理與方法

1.1 檢測原理

所有溫度在絕對零度以上的物體，都會不停地發(fā)出熱紅外線。熱成像技術(shù)就是通過接收目標物各部位發(fā)射出的紅外線，經(jīng)過紅外信息轉(zhuǎn)換與處理技術(shù)，最終以圖像形式顯示目標物各個部位發(fā)射的紅外線強度[19]，即把溫度矩陣轉(zhuǎn)換成可視圖像。番茄機械損傷發(fā)生后，熱量在果實中的吸收和傳播發(fā)生變化，引起熱特性參數(shù)發(fā)生變化，從而導致正常和損傷部分之間產(chǎn)生一定的溫度差異[14]。利用安裝于手機的FLIR ONE獲取番茄熱成像，可識別出可見光成像下不易發(fā)現(xiàn)的番茄機械損傷，通過開發(fā)的APP對番茄溫度矩陣進行計算得到機械損傷缺陷參數(shù)。

1.2 檢測方法

1.2.1 檢測流程 檢測方法主要流程如圖1所示。首先，用FLIR ONE拍照獲取番茄熱成像，同時獲取溫度數(shù)組；其次，對熱成像進行圖像處理，并標記出損傷部分；最后，基于圖像處理結(jié)果對溫度數(shù)組進行計算，得到損傷參數(shù)。

圖1 番茄熱成像檢測流程

Fig.1 The Process of thermal imaging detection of tomoto

1.2.2 獲取番茄熱成像及溫度數(shù)組 通過2個100 W的紅外燈主動熱激勵，番茄損傷與正常部分溫差增大，進而便于檢測。整個熱激勵裝置如圖2所示，2個紅外燈成90°擺放，距離番茄20 cm，加熱150 s后停止。在停止后60 s內(nèi)拍照，調(diào)色板選擇鐵紅色的熱成像效果最好。由于FLIR ONE無調(diào)焦功能，因此拍照距離需根據(jù)番茄實際大小進行調(diào)整，使番茄盡可能充滿圖像以便獲得更多細節(jié)。拍照功能基于FLIR ONE 官方SDK進行編程，拍照后獲得熱成像和包括每個像素點溫度的數(shù)組。

圖2 用于獲取番茄熱成像及溫度數(shù)組的熱激勵裝置

Fig.2 The excitation-device of obtain thermal imaging and temperature arrays of tomoto

1.2.3 圖像處理及損傷計算 算法流程主要包括對熱成像的圖像處理與基于溫度數(shù)組進行損傷參數(shù)計算兩部分，其中白色框表示圖像處理步驟，黑色框表示損傷計算步驟(圖3)。

圖3 圖像處理及損傷計算的算法流程

Fig.3 The Process of image and damage calculation

1) 圖像處理。圖像處理的目的一是找出損傷部位，二是為計算損傷參數(shù)做準備。圖像處理算法主要基于OpenCV4Android 3.4.3，保證了處理的實時性，主要包括預處理、求輪廓與找損傷3個步驟。

預處理:預處理是為了將番茄從圖像中分割出來，先將圖像灰度化，然后進行中值濾波消除噪聲。由于在熱成像中熱激勵后的番茄與背景有明顯差異，用OTSU法對圖像二值化即可將番茄分離。

求輪廓:對預處理后的圖像進行Canny邊緣檢測，利用邊緣檢測結(jié)果求出番茄輪廓，進而求出番茄正外接矩形作為ROI。

找損傷:首先，通過番茄輪廓與正外接矩形得到番茄部分點的灰度數(shù)組tomatoArray，獲取番茄部分點的灰度偽碼：

//初始化番茄灰度數(shù)組

tomatoArray [];

//遍歷正外接矩形tomatoRect中每一個點

for each Point(x,y) in tomatoRect

//點在番茄輪廓contourPoints內(nèi)部

if(pointPolygonTest(contourPoints,Point(x,y),false) > 0)

{

//將該點灰度值加入到tomatoArray中

tomatoArray.add(grayMat.get(y,x)[0]);

//累加番茄每一點的溫度

Tsumtomato+= thermalPixels[y*width+x];

}

end for

此方法只遍歷ROI的數(shù)據(jù)，避免了遍歷整個圖像，減少了計算量。其次，對圖像進行二值化分離損傷。在通過試驗比較若干種二值化算法后，發(fā)現(xiàn)Reny熵法[20]效果最好。利用tomatoArray計算番茄部分灰度直方圖，以此為輸入通過Reny熵法進行二值化。最后，依次進行中值濾波去除噪聲、Canny邊緣檢測，最終求出所有輪廓。方法：設(shè)原番茄輪廓面積為St，周長為Pt，對求出的輪廓做進一步篩選，主要剔除4種輪廓。一是面積接近的St輪廓，由于熱成像中番茄邊緣顏色可能相對較暗，在Reny熵法二值化時邊緣部分會被視為背景，進而會產(chǎn)生面積稍小于St的番茄輪廓；二是周長接近或大于Pt的輪廓，這種輪廓為與面積接近St的輪廓的類似，但未將番茄包圍，而是形成一個條形輪廓，因此周長較大，如圖4中②所示；三是原番茄輪廓因二值化被分割成的若干條形輪廓；四是面積過小的輪廓，這種輪廓通常為噪聲，如圖4中④所指。剔除后得到番茄機械損傷輪廓，并在原熱成像中作出標記，完成圖像處理。

2) 損傷計算。計算番茄部分溫度數(shù)據(jù)：在獲取tomatoArray的同時，累加得到番茄所有點的溫度和Tsumtomato(表1)。計算損傷參數(shù)：累加每個損傷輪廓包含點的個數(shù)得到損傷部分點的總數(shù)Cdamage，同時累加每個損傷點的溫度得到損傷部分的溫度Tsumdamage。設(shè)Ctomato為番茄部分包含點的總數(shù)，則損傷參數(shù)的計算公式分別為損傷占比(Pdamage)、損傷部分平均溫度(Tdamage)、正常部分平均溫度(Tsound)和正常部分與損傷部分平均溫度差(Tdiff)。

圖4 番茄損傷輪廓待篩選結(jié)果

Fig.4 The awaiting screening results of injury contour of tomoto

Tdiff=Tsound-Tdamage

整個算法最后得到一幅標記出番茄及其損傷的圖像及4個損傷參數(shù)(圖5)。

圖5 番茄損傷熱成像處理效果及損傷參數(shù)

Fig.5 Damage thermal imaging treatment effect and parameter of tomoto

2 方法驗證

2.1 針刺損傷

針刺損傷試驗用于檢測番茄是否有機械損傷。用直徑0.8 mm的針在櫻桃番茄表面刺1個3 mm深的孔，靜置1 h并擦干流出的汁液，對50個果實進行機械損傷檢測。所用手機為Android 6.0.1系統(tǒng)的CAT S60，內(nèi)置的FLIR ONE熱成像分辨率為80×60像素、視覺分辨率為640×480像素。對櫻桃番茄的拍照距離為10 cm，處理一幅圖像的時間為4 s左右。測定結(jié)果表明，50個果實中檢測到損傷數(shù)量為45個，正常數(shù)量為5個，損傷果實的識別正確率為90%。由于針刺孔較小及噪聲干擾，致使部分損傷未在熱成像中呈現(xiàn)，因此出現(xiàn)了將損傷果實識別為正常果實的情況。

2.2 劃傷

劃傷試驗用于檢測損傷部位溫度數(shù)據(jù)。在番茄表面用直徑0.8 mm的針劃一道2 mm深、1～2 cm長的劃痕，靜置1 h并擦干流出的汁液，對10個果實進行損傷檢測，主要測定溫度數(shù)據(jù)。所用手機為Android 9.0系統(tǒng)的Google Pixel 2，F(xiàn)LIR ONE 型號為Pro，熱成像分辨率為160×120像素，視覺分辨率為1 440×1 080像素。對番茄的拍照距離為20 cm，每幅圖像的處理時間為2 s左右。在獲取熱成像的同時(熱激勵后60 s內(nèi))對番茄溫度進行測量，正常部分實際溫度值通過測量其中5個點的溫度并計算平均值得到，損傷部分實際溫度值通過測量劃傷的2個端點及中點共3個點的溫度并計算平均值得到。測量工具為Extech IR400紅外測溫儀，選擇該測溫儀基于兩點原因：番茄的發(fā)射率為0.90～0.95[21]，而該測溫儀的發(fā)射率為0.95，二者匹配；該測溫儀可以快速、準確的獲取溫度，滿足在60 s內(nèi)獲取多個點溫度的要求。

由表1可知，番茄正常部分與損傷部分的溫度差在0.42～1.08℃，平均溫差0.78℃，略高于IR400所測得的溫度差(0.45℃)，對損傷部分的區(qū)分性更好。另外，測得溫度與IR400所測結(jié)果誤差均在±5%以內(nèi)，較為準確。

表1 番茄劃傷檢測的正常與損傷部位溫度

3 小結(jié)

研究提出了一種基于FILR ONE熱成像攝像頭、用Android手機進行番茄機械損傷檢測的方法。方法適用于不同型號的FLIR ONE及支持FLIR ONE的Android手機，在番茄機械損傷檢測方面準確性較高，圖像處理耗時滿足實時性要求。測定方法成本低，操作簡便，易于在農(nóng)業(yè)科技工作者與農(nóng)戶中推廣。方法不僅可用于番茄機械損傷定性檢測，也可對溫度進行定量檢測。隨著進一步的研究，未來可嘗試推廣到其他果蔬的機械損傷檢測上。