融合電子鼻和視覺技術(shù)的雞肉新鮮度檢測(cè)裝置研究

李玉花 史翰卿 熊赟葳 余思懿 王晨陽 鄒修國

(南京農(nóng)業(yè)大學(xué)人工智能學(xué)院，南京 210031)

0 引言

雞胸肉在生產(chǎn)與運(yùn)輸過程中，由于溫度、酶和微生物等因素的影響，新鮮度會(huì)隨著時(shí)間的推移不斷降低，產(chǎn)生不良風(fēng)味甚至腐敗變質(zhì)。食用不新鮮或腐敗變質(zhì)肉會(huì)損害身體健康[1]，因此肉類的品質(zhì)評(píng)價(jià)、等級(jí)標(biāo)注及新鮮度評(píng)級(jí)檢測(cè)對(duì)于保障食品安全具有重要意義。

早期雞肉新鮮度檢測(cè)方法主要分為兩類：感官評(píng)測(cè)法或者利用理化和微生物分析方法測(cè)定pH值以及總揮發(fā)性堿性氮(TVB-N)、三甲胺(TMA)和生物胺含量等[2]。前者受主觀意識(shí)和經(jīng)驗(yàn)知識(shí)影響大，后者操作繁瑣、速度慢、具有破壞性。隨著檢測(cè)儀器技術(shù)的發(fā)展，目前已有許多快速無損檢測(cè)技術(shù)出現(xiàn)，如計(jì)算機(jī)視覺、高光譜成像、計(jì)算機(jī)斷層掃描(CT)和掃描磁共振成像(MRI)等。但計(jì)算機(jī)視覺方法易受光影變化影響，CT和MRI技術(shù)成本高且耗時(shí)長[3]，高光譜成像技術(shù)多局限于實(shí)驗(yàn)室研究[4]。顯然，設(shè)計(jì)多源感知信息融合裝置更具優(yōu)勢(shì)，可緩解單一檢測(cè)技術(shù)存在的缺陷。

電子鼻技術(shù)基于氣體傳感器陣列，模擬嗅覺系統(tǒng)，捕捉特征香氣，通過氣體濃度判斷新鮮度等級(jí)，具有成本低、操作簡單和精度高等優(yōu)點(diǎn)[5]，一些學(xué)者進(jìn)行了相關(guān)研究[6-8]。但現(xiàn)階段的電子鼻裝置仍存在體積龐大、價(jià)格昂貴和采集時(shí)間較長等問題[9]。視覺技術(shù)依據(jù)樣本顏色、形狀、大小和表面紋理等信息進(jìn)行新鮮度檢測(cè)[10]。目前已有許多算法[11-13]被提出，取得了較好的效果。

然而單項(xiàng)檢測(cè)技術(shù)存在一定的局限性，單模態(tài)數(shù)據(jù)不能準(zhǔn)確全面客觀地評(píng)估肉類的新鮮度[14]。電子鼻技術(shù)可檢測(cè)芳香族化合物，但忽略了雞肉的表面特征，且耗時(shí)較長。而視覺技術(shù)可提供肉類表面物理化學(xué)信息，卻缺少對(duì)氣味的描述，且易受光源影響。融合電子鼻和視覺技術(shù)將獲得更為全面多元的多模態(tài)數(shù)據(jù)，從而提高結(jié)果的準(zhǔn)確性和可靠性。本文設(shè)計(jì)一種基于視覺和電子鼻數(shù)據(jù)融合的雞肉新鮮度檢測(cè)裝置，使用電子鼻傳感器陣列采集雞肉散發(fā)的氣體濃度，同時(shí)通過視覺系統(tǒng)獲取雞肉圖像信息，并使用計(jì)算流體力學(xué)(Computational fluid dynamics, CFD)[15]對(duì)裝置結(jié)構(gòu)可行性進(jìn)行仿真試驗(yàn)。

1 檢測(cè)裝置設(shè)計(jì)

1.1 裝置整體結(jié)構(gòu)及工作原理

裝置融合了電子鼻系統(tǒng)和視覺系統(tǒng)，其整體結(jié)構(gòu)如圖1所示，能同時(shí)采集氣體和視覺數(shù)據(jù)，并實(shí)時(shí)傳輸至上位機(jī)進(jìn)行分析得出雞肉新鮮度等級(jí)。

圖1 裝置整體結(jié)構(gòu)框圖

裝置為上、中、下3層結(jié)構(gòu)，上層放置上位機(jī)Jetson Nano接收數(shù)據(jù)，Jetson Nano為小型、低功率軟硬一體開發(fā)板，支持定制圖像分類與物體檢測(cè)等模型的離線并行計(jì)算。中層為暗箱結(jié)構(gòu)，內(nèi)置攝像機(jī)、光源以及樣本室。下層為電子鼻系統(tǒng)，包括氣體傳輸模塊、檢測(cè)陣列以及NUCLEO-H7A3ZI控制板。裝置內(nèi)置可充電鋰電池和可移動(dòng)電源供電，便于替換與攜帶。裝置外圍尺寸(長×寬×高)為35 cm×30 cm×76 cm，整體結(jié)構(gòu)如圖2所示。

圖2 裝置三維結(jié)構(gòu)示意圖

1.2 硬件系統(tǒng)設(shè)計(jì)

1.2.1樣本室

設(shè)計(jì)了半封閉抽屜式樣本室，尺寸26.0 cm×13.5 cm×11.2 cm，結(jié)構(gòu)如圖3所示。頂部材質(zhì)為透明度91%的高透玻璃，以便箱體頂部相機(jī)可拍攝到清晰的雞肉圖像；其余部分采用黑色SLA(Stereolithography)樹脂3D打印，減少光影對(duì)成像的影響。進(jìn)、出氣口采用棱臺(tái)型結(jié)構(gòu)便于氣體流動(dòng)，出氣口通過軟管連接氣泵泵吸雞肉散發(fā)的氣體。

圖3 樣本室結(jié)構(gòu)圖

1.2.2電子鼻系統(tǒng)

電子鼻系統(tǒng)用來檢測(cè)不同新鮮度等級(jí)雞肉產(chǎn)生的氣體濃度，其整體框架和三維結(jié)構(gòu)如圖4、5所示。主體采用SLA樹脂3D打印，長度32.4 cm，前圓柱直徑8.0 cm，后腔體直徑15.0 cm。外形為高度對(duì)稱圓管型，以增強(qiáng)氣體流動(dòng)性，左側(cè)為出氣口，右側(cè)為進(jìn)氣口，柱體內(nèi)置有氣流量為15 L/min的ES-3910型氣泵吸取雞肉產(chǎn)生的氣體，通過軟管和樣本室相連接。軟管中有雙通道裝置，通過閥門控制分別連接新鮮空氣或樣本室。傳感器陣列為電子鼻的核心，其為高度對(duì)稱的環(huán)形結(jié)構(gòu)，嵌有5個(gè)半導(dǎo)體傳感器，具體傳感器型號(hào)如表1[16]所示。半導(dǎo)體傳感器利用材料表面吸附及脫附氣體分子引起半導(dǎo)體電導(dǎo)率的變化來檢測(cè)氣體[17]，檢測(cè)精度受氣體分子流動(dòng)穩(wěn)定程度影響，因此在左側(cè)腔體內(nèi)置有穩(wěn)流板，以穩(wěn)定氣流流速。傳感器陣列由NUCLEO-H7A3ZI控制，將電壓數(shù)據(jù)通過ADC轉(zhuǎn)換，利用藍(lán)牙傳輸至上位機(jī)[18]。

圖4 電子鼻框架圖

圖5 電子鼻三維結(jié)構(gòu)圖

表1 傳感器列表

1.2.3視覺系統(tǒng)

視覺系統(tǒng)在裝置第2層暗箱內(nèi)，結(jié)構(gòu)如圖6所示。箱體內(nèi)壁貼有黑色不透明的攝影布，以減少復(fù)雜背景的干擾。暗箱正面為門結(jié)構(gòu)，可以通過把手便捷打開進(jìn)行暗箱內(nèi)部操作，關(guān)閉時(shí)內(nèi)部形成封閉式整體，基本隔絕外界光源影響。選用12 W環(huán)形LED光源(外徑26 cm，內(nèi)徑20 cm)安裝于箱體頂部，使樣本表面光照均勻。暗箱頂部置有600萬像素海康威視MV-CA060-10GC型攝像機(jī)，鏡頭采用MVL-HF1628M-6MP型工廠自動(dòng)化鏡頭，并安裝與該鏡頭相適配的CPL偏振鏡以減少反射光對(duì)成像的影響。相機(jī)屬性設(shè)置為感光度640，曝光時(shí)間1/25 s，光圈F1.6。鏡頭底部和樣品之間的距離設(shè)定為40 cm，圖7為鏡頭焦距選擇圖。測(cè)試表明，在22.11 mm焦距下選擇40 cm物距可獲得清晰的圖像。內(nèi)置有5 V鋰電池為攝像機(jī)供電。

圖6 暗箱結(jié)構(gòu)圖

圖7 鏡頭焦距選擇示意圖

1.3 軟件設(shè)計(jì)

1.3.1傳感器數(shù)據(jù)傳輸

傳感器陣列傳輸模擬數(shù)據(jù)至NUCLEO-H7A3ZI控制板，通過ADC轉(zhuǎn)換為5個(gè)16位二進(jìn)制數(shù)據(jù)，該數(shù)據(jù)轉(zhuǎn)換電壓公式為

(1)

式中V——?dú)怏w濃度電壓，V

D——二進(jìn)制轉(zhuǎn)化成的十進(jìn)制數(shù)據(jù)

r——分辨率

1.3.2采集分級(jí)交互界面

上位機(jī)配有交互設(shè)計(jì)界面，如圖8所示。上方左側(cè)窗口顯示拍攝圖像畫面以及選擇的待測(cè)圖像，右側(cè)窗口為感興趣區(qū)域(Region of interest，ROI)提取窗口，可顯示待測(cè)圖像提取的ROI，同時(shí)可進(jìn)行濾波等預(yù)處理操作并顯示結(jié)果。下方左側(cè)窗口實(shí)時(shí)顯示氣體數(shù)據(jù)和曲線，中間窗口顯示對(duì)應(yīng)擬合曲線數(shù)據(jù)以及擬合原始曲線。圖像和氣體均可選擇提取不同特征值進(jìn)行單獨(dú)預(yù)測(cè)或融合預(yù)測(cè)，預(yù)測(cè)模型采用支持向量機(jī)分類器，最終結(jié)果于右下方顯示。

圖8 交互設(shè)計(jì)界面

2 裝置試驗(yàn)

2.1 樣本室CFD仿真試驗(yàn)

2.1.1網(wǎng)絡(luò)劃分

為驗(yàn)證氣體流動(dòng)可行性，根據(jù)三維建模結(jié)構(gòu)對(duì)樣本室中氣體流通區(qū)域進(jìn)行CFD仿真[19]。在ANSYS Fluent仿真軟件中進(jìn)行建模和網(wǎng)絡(luò)劃分，并進(jìn)行網(wǎng)絡(luò)獨(dú)立性驗(yàn)證，最終確定邊界層調(diào)節(jié)設(shè)置是以氣室部分為邊界，最后網(wǎng)格數(shù)為216 582[20]。檢查質(zhì)量總體大于0.3，滿足計(jì)算要求。

2.1.2模型構(gòu)建以及邊界條件設(shè)置

采用Fluent軟件進(jìn)行數(shù)值求解，選擇k-ε湍流模型[21]，壓力離散方式為Standard，壓力速度耦合迭代采用SIMPLE算法，迭代次數(shù)為800。

設(shè)置入口風(fēng)速為20 m/s，在Fluent軟件中進(jìn)行數(shù)值模擬計(jì)算，最終邊界條件設(shè)置如表2所示。

表2 邊界條件設(shè)置

2.2 雞肉檢測(cè)試驗(yàn)

2.2.1試驗(yàn)材料

試驗(yàn)開始時(shí)間為2022年1月12日，在溫度26℃、相對(duì)濕度30%、空氣質(zhì)量良好的實(shí)驗(yàn)室環(huán)境內(nèi)進(jìn)行，電子鼻廢氣出氣口通往室外。雞肉樣本為市場(chǎng)采購的40份新鮮冷凍雞胸肉，切成100份平整、尺寸為10.0 cm×5.0 cm的雞胸肉片，放置于尺寸為17.0 cm×11.0 cm×7.0 cm的樣本盒中。放入2℃冷藏室內(nèi)冷藏[22-23]，存儲(chǔ)圖如圖9所示。放置1、4、7 d(對(duì)應(yīng)新鮮度等級(jí)分別為1、2、3)后進(jìn)行數(shù)據(jù)采集，每次采集時(shí)間為200 min，其中每個(gè)樣本氣體采集頻率為每秒單個(gè)傳感器采集5組數(shù)據(jù)，采集時(shí)間為20 s，共100組數(shù)據(jù)。數(shù)據(jù)傳輸至上位機(jī)并進(jìn)行分析及新鮮度檢測(cè)。

圖9 冷藏室雞胸肉存儲(chǔ)圖(部分)

2.2.2數(shù)據(jù)采集

(1)氣體數(shù)據(jù)采集

先打開傳感器預(yù)熱20 min，保證傳感器進(jìn)入正常工作狀態(tài)。同時(shí)打開氣泵抽取新鮮空氣凈化腔體殘留氣體，等待顯示器顯示傳感器數(shù)值穩(wěn)定后，記錄穩(wěn)定數(shù)值。從冷藏室取出放置于樣本盒中的待測(cè)樣本，打開盒蓋將樣本盒置于樣本室內(nèi)，關(guān)閉抽屜，控制閥門使得氣泵泵吸樣本室內(nèi)氣體，觀察顯示數(shù)值，20 s后將樣本取出，控制閥門抽取新鮮空氣約40 s至傳感器數(shù)值穩(wěn)定至初始值附近再取出下一份樣本進(jìn)行試驗(yàn)。

(2)圖像數(shù)據(jù)采集

打開內(nèi)置光源和攝像機(jī)，調(diào)整攝像機(jī)參數(shù)至畫面高亮且清晰度高，將樣本放置于攝像機(jī)正下方，在獲取氣體數(shù)據(jù)的同時(shí)控制上位機(jī)拍攝雞肉圖像。

2.3 分類預(yù)測(cè)

2.3.1數(shù)據(jù)預(yù)處理

將采集到的氣體數(shù)據(jù)進(jìn)行預(yù)處理獲得擬合曲線。單次檢測(cè)得到的氣體數(shù)據(jù)(電壓)如表3所示(以第3新鮮度等級(jí)雞肉樣本為例)，氣體數(shù)據(jù)擬合曲線如圖10所示。

圖10 氣體數(shù)據(jù)擬合曲線

表3 氣體數(shù)據(jù)

對(duì)雞肉圖像進(jìn)行γ矯正后提取ROI圖像存儲(chǔ)至計(jì)算機(jī)。雞胸肉圖像以及提取的ROI圖像如 圖11 所示。

圖11 雞胸肉拍攝圖像和ROI圖像

2.3.2數(shù)據(jù)降維

提取圖像顏色特征6個(gè)(RGB和HSI)，紋理特征24個(gè)(從0°、45°、90°和135°分別提取對(duì)比度、逆差距、熵、自相關(guān)、矩陣平方和角二階矩)，共得到30維特征。5個(gè)氣體傳感器，各提取4個(gè)特征(最大響應(yīng)值、峰值面積、最大一階導(dǎo)數(shù)和最大二階導(dǎo)數(shù))，共得到20維特征。將圖像和氣味數(shù)據(jù)提供的特征進(jìn)行級(jí)聯(lián)，構(gòu)成50維的特征向量。由于氣體傳感器之間往往具有交叉敏感性，僅在變量層面上分析會(huì)忽略變量之間的潛在聯(lián)系。因此運(yùn)用PCA(主成分分析)方法[24]進(jìn)行特征降維，將原始數(shù)據(jù)變換為一組各維度線性無關(guān)的數(shù)據(jù)[25]。本文算法中PCA特征向量提取方法步驟如下：

設(shè)數(shù)據(jù)集為m個(gè)d維數(shù)據(jù)

X={x1,x2,…,xm}

(1)計(jì)算樣本均值的公式為

(2)

(2)計(jì)算樣本協(xié)方差矩陣公式為

(3)

(3)對(duì)協(xié)方差矩陣進(jìn)行特征值分解，選取S的前t個(gè)最大特征值對(duì)應(yīng)的特征向量構(gòu)成新的特征矩陣U。

2.3.3新鮮度分級(jí)模型

經(jīng)典分類算法有K近鄰(K-nearest neighbor，KNN)、樸素貝葉斯(Naive Bayes model，NBM)、隨機(jī)森林(Random forests，RF)以及支持向量機(jī)(Support vector machine，SVM)[26]等。KNN算法的基本原理是如果一個(gè)樣本在特征空間中的k個(gè)最近鄰樣本的大多數(shù)屬于某一個(gè)類別，則該樣本也屬于這個(gè)類別[27]。樸素貝葉斯算法以貝葉斯定理為基礎(chǔ)并假設(shè)特征條件之間相互獨(dú)立。隨機(jī)森林算法采用Bagging的集成學(xué)習(xí)思想，在決策樹的訓(xùn)練過程中采用隨機(jī)特征選擇。SVM[28]是在統(tǒng)計(jì)學(xué)及最優(yōu)化的基礎(chǔ)上構(gòu)建學(xué)習(xí)機(jī)和實(shí)現(xiàn)分類，它的基本思想是在特征空間找最佳的分類超平面。SVM 主要用來研究兩分類問題，對(duì)于多分類問題，目前常用的構(gòu)造方法有一對(duì)一方法和一對(duì)多方法，其中一對(duì)多方法是最早也是目前應(yīng)用最廣泛的方法[29]。本文采用以上幾種分類器進(jìn)行對(duì)比試驗(yàn)。

3 試驗(yàn)結(jié)果與分析

3.1 CFD仿真結(jié)果

對(duì)樣本室抽氣狀態(tài)進(jìn)行模擬計(jì)算，選取樣本室中心水平方向Y=0.02 m截面，可反映空氣通過雞肉樣本流動(dòng)狀況，選取樣本室中心豎直方向Z=0.02 m截面，能夠反映水平氣流整體流動(dòng)狀況。在CFD-Post中對(duì)結(jié)果進(jìn)行后處理，得到吸氣狀態(tài)下速度云圖和速度矢量圖，如圖12所示。

圖12 吸氣狀態(tài)下不同截面氣流速度場(chǎng)模擬結(jié)果

泵氣狀態(tài)下，左側(cè)連接新鮮空氣，右側(cè)連接氣泵，做到較為充分地傳輸雞胸肉散發(fā)的氣體至電子鼻中進(jìn)行檢測(cè)。由圖12a、12b可以看出，由于放置了雞肉樣本導(dǎo)致空氣流通面積變小，通過雞胸肉部位的空氣流速變慢，且與底座之間存在間隙，間隙處幾乎無氣流，氣流速度降至15 m/s，對(duì)于氣體流通影響較小，氣體出口處區(qū)域流速相對(duì)穩(wěn)定，分布相對(duì)均勻。由圖12c可以看出，在入口和出口處氣體流速達(dá)到20 m/s較高水平，且氣流相對(duì)穩(wěn)定。

將氣流場(chǎng)仿真結(jié)果轉(zhuǎn)換成輸出流線圖，氣體流通區(qū)域內(nèi)的氣流運(yùn)行情況如圖13所示?？梢钥闯鲈跉怏w入口和出口同一高度的氣體流動(dòng)相對(duì)平穩(wěn)且速度達(dá)到20 m/s，整體流動(dòng)狀態(tài)清晰，氨氣傳感器附近的氣流運(yùn)行方向一致，便于精準(zhǔn)檢測(cè)氣體濃度。

圖13 Y=0.02 m截面氣體流線圖

3.2 電子鼻循環(huán)系統(tǒng)測(cè)試結(jié)果

電子鼻內(nèi)部設(shè)計(jì)了循環(huán)系統(tǒng)便于控制樣本采集的時(shí)間分配，在每次采集完單個(gè)雞肉樣本氣體數(shù)據(jù)后，抽取新鮮空氣清洗內(nèi)部殘留氣體直至顯示數(shù)據(jù)接近于初始值且趨于穩(wěn)定，則可以開始下一份樣本的檢測(cè)。測(cè)試選取30份樣本，將每份樣本放置于樣本室中，采集氣體數(shù)據(jù)20 s，單個(gè)傳感器每秒采集2組數(shù)據(jù)，取出樣本后抽取新鮮空氣約40 s，數(shù)據(jù)穩(wěn)定在初始值附近時(shí)可測(cè)試下一份樣本。循環(huán)系統(tǒng)測(cè)試樣本氣體數(shù)據(jù)擬合曲線如圖14所示。

圖14 循環(huán)系統(tǒng)試驗(yàn)氣體擬合曲線

3.3 有無高透玻璃結(jié)果對(duì)比

樣本室頂部為高透玻璃，便于拍攝圖像且可減少光線反射影響。透過高透玻璃拍攝的雞肉樣本圖像存在一定的顏色偏差，通過γ矯正后與去掉高透玻璃拍攝的圖像相差較小(圖15給出了兩者的對(duì)比，左側(cè)為未校正拍攝圖像，右側(cè)為矯正過后圖像)，分類結(jié)果偏差約為0.01%，在誤差范圍內(nèi)。

圖15 無高透玻璃(左)和透過高透玻璃(右)拍攝的圖像

3.4 新鮮度分級(jí)預(yù)測(cè)結(jié)果

采用4種分類器對(duì)PCA降維后數(shù)據(jù)進(jìn)行建模分析，100份樣本3個(gè)新鮮度等級(jí)，共獲取300份樣本數(shù)據(jù)，采用5折交叉驗(yàn)證。對(duì)樣本平滑處理后剔除異常樣本，實(shí)際建模使用樣本數(shù)為238個(gè)，驗(yàn)證樣本數(shù)為59個(gè)。試驗(yàn)結(jié)果表明，SVM分類器預(yù)測(cè)準(zhǔn)確率最高，為98.7%，而NBM、KNN和RF算法的準(zhǔn)確率分別為98.3%、94.3%和93.6%。圖16給出了SVM算法的分類結(jié)果混淆矩陣圖，其中1、2、3分別表示3個(gè)新鮮度等級(jí)，TPR和FNR分別是真正率和假正率。該試驗(yàn)證實(shí)裝置具有可行性。

圖16 SVM分類結(jié)果混淆矩陣圖

綜上最終裝置實(shí)物圖如圖17所示，上層為上位機(jī)Jetson Nano及LCD顯示器，中層為視覺檢測(cè)暗箱，下層放置電子鼻系統(tǒng)，可同時(shí)進(jìn)行視覺與氣體檢測(cè)，整體裝置造價(jià)成本低、檢測(cè)準(zhǔn)確度高且便于攜帶。

圖17 裝置實(shí)物圖

4 結(jié)論

(1)設(shè)計(jì)了一套電子鼻和視覺技術(shù)融合的一體化檢測(cè)裝置，包含樣本室結(jié)構(gòu)、硬件設(shè)計(jì)和軟件設(shè)計(jì)，該裝置能夠同時(shí)檢測(cè)氣體濃度以及獲取圖像數(shù)據(jù)并實(shí)時(shí)顯示波動(dòng)曲線及原始圖像。

(2)使用CFD技術(shù)對(duì)吸氣狀態(tài)下的樣本室內(nèi)部氣體流動(dòng)進(jìn)行模擬，通過速度云圖、速度矢量圖以及氣體流線圖證明了樣本室內(nèi)部可以獲得相對(duì)較大速率以及穩(wěn)定的氣體流。

(3)基于該裝置進(jìn)行試驗(yàn)，提取圖像及氣體濃度信息特征，進(jìn)行PCA降維后利用SVM建立新鮮度分級(jí)模型，準(zhǔn)確率最高可達(dá)98.7%，證明裝置具有可行性。