基于聲振信號經驗模態(tài)分解的香梨黑心病早期無損檢測

李 賀，趙 康，查志華，吳 杰,2,3,*

（1.石河子大學機械電氣工程學院，新疆 石河子 832003；2.農業(yè)農村部西北農業(yè)裝備重點實驗室，新疆 石河子 832003；3.綠洲特色經濟作物生產機械化教育部工程研究中心，新疆 石河子 832003）

庫爾勒香梨是新疆特色大宗果品，其冷庫氣調保鮮貯藏期可達8 個月，具有較長銷售期。在貯藏期間由于低溫、低O2和高CO2的環(huán)境，CO2在梨組織中尤其是在果核中有很高的擴散速率，致使果核含有低濃度的O2和高濃度的CO2，這使香梨極易發(fā)生黑心現(xiàn)象[1-4]。當香梨黑心組織未超出心室區(qū)域時[5]，是亞健康香梨，仍在消費者心理接受閾限，不影響回購率，若能準確判別，將有助于商家采取合適的銷售策略提高商品率；否則會發(fā)展嚴重至果肉組織，甚至侵染其他健康果，給商家造成較大經濟損失。因此，有必要開展香梨黑心病的無損檢測研究，對維護香梨品牌聲譽、保持商品等級和提高商品率都有重要意義。

在水果內部病害無損檢測方面，已有學者采用X-射線成像法[6-7]、近紅外光譜法[8-9]、核磁共振成像法[10-11]和聲振法[5,12]等，大多著眼于病害有無的二分類判別，這些方法能識別早期或輕度病害果，但多與中重度病害果混為一類，降低商品價值。Van De Looverbosch等[13]針對啤梨內部空洞和褐變兩種缺陷，按照“健康”、“有缺陷可銷售”、“不可銷售”三分類進行判別，對健康果和有缺陷不可銷售果的識別率分別高達97%和96%，但對有缺陷可銷售果的識別率卻很低，只有65%，這意味著對亞健康果實現(xiàn)準確判別極具挑戰(zhàn)性。

本課題組長期開展聲振法對梨果內部病害無損檢測，通過提取聲振信號的時域和頻域統(tǒng)計特征參數(shù)構建判別模型，對中度褐變香梨分類準確率有93.9%，但對輕度褐變香梨分類準確率較低為86.4%[14]。信號的統(tǒng)計特征參數(shù)反映的是信號整體特征信息，但忽略了信號的局部特征所潛藏信息，無法充分凸顯信號的波動性、周期性和趨勢性[15]，對模型判別能力造成影響。

經驗模態(tài)分解（empirical mode decomposition，EMD）可將信號從高頻到低頻分解為一系列子信號，即包含不同時間尺度特征成分的本征模態(tài)分量，具有更加良好的信號局部化特性，但其分解信號過程中存在的端點效應、模態(tài)混疊會影響分解結果的精確度[16]。目前，常用極值法[17]、鏡像法[18]、改進斜率法[19]、三次樣條插值法[20]對信號進行延拓以抑制信號分解端點效應。當前，EMD方法也得到不斷改進，最新研究提出的改進均勻相位經驗模態(tài)分解（improved uniform phase EMD，IUPEMD）[21]和互補自適應噪聲完備集合經驗模態(tài)分解（complementary complete ensemble EMD with adaptive noise，CCEEMDAN）[22]，都能對信號分解模態(tài)混疊進行有效抑制。目前還鮮有研究利用信號分解凸顯信號潛藏信息識別果實內部病害。因此，本研究對香梨聲振信號進行EMD，采用不同方法抑制信號分解過程中的端點效應和模態(tài)混疊，以確定最優(yōu)香梨聲振信號分解分量并作為卷積神經網絡的輸入數(shù)據(jù)，構建香梨內部黑心判別模型，實現(xiàn)對亞健康香梨較高精度的檢測，為聲振法的在線檢測系統(tǒng)研發(fā)提供基礎。

1 材料與方法

1.1 材料

香梨試樣于2021年9月10日采自新疆庫爾勒市沙依東園藝場香梨園（86.174°E，41.725°N），挑選無病蟲害、無機械損傷的香梨，立即貯藏于-2～0 ℃、相對濕度為85%～95%的果品保鮮庫中。表1為香梨試樣的基本物性參數(shù)。

表1 香梨試樣的物性參數(shù)Table 1 Material properties of pear samples

1.2 儀器與設備

CA配氣系統(tǒng) 新疆宏昇特種氣體有限公司；GASTiger2000型泵吸式便攜氣體檢測儀 深圳市萬安迪科技有限公司；振動測試分析與報告軟件系統(tǒng)SO Analyzer 4.1、VibPilot振動控制與動態(tài)信號采集分析儀德國m＋p國際公司；HA-405型電壓放大器 中國臺灣品致公司；EOS 750D數(shù)碼相機 佳能（中國）有限公司。

1.3 方法

1.3.1 香梨黑心試樣制備

保鮮庫中取出的香梨置于室溫（20 ℃）24 h后逐一編號，參考Suchanek等[10]對梨果黑心病試樣氣調制備方法，用廣口玻璃瓶作為氣調密閉容器，采用CA配氣系統(tǒng)將瓶中O2、CO2的體積分數(shù)設定為1%＜O2＜2%和8%＜CO2＜12%，其余為N2填充，環(huán)境溫度保持在（4±1）℃。通過泵吸式便攜氣體檢測儀，每隔12 h對瓶內O2和CO2的體積分數(shù)進行測量校正，使O2、CO2的體積分數(shù)始終控制在設定范圍內。

1.3.2 香梨聲振響應信號采集

香梨聲振信號的獲取采用本課題組研究所報道的裝置[23]，如圖1a所示，裝置使用了2 個相同的壓電換能器，1 個作為驅動器，1 個作為傳感器。進行聲振信號采集時，將香梨試樣水平置于帶有軟質聚乙烯泡沫的支撐臺上，由于在香梨赤道部不同測點獲得的聲振響應信號有很好的重復性，故香梨激勵感測時的測點無需特殊定位[24]，但因壓電材料的線性特性，樣品測點與壓電換能器之間的接觸區(qū)域應位于壓電換能器懸臂梁的中部[25]。參考Zhang Hui等[24]錄制峰值電壓為2.5 V、時間歷程為0.16 s的半正弦脈沖信號VE作為激勵信號，經電壓放大器將VE信號線性放大為80 V脈沖激勵信號VA[26]。放大的激勵信號傳遞到激勵端驅動器上，對香梨試樣赤道部進行激勵，位于赤道部對應端的壓電梁式傳感器采集響應信號VR，隨后由振動控制與動態(tài)信號采集分析儀對信號進行抗混濾波、截斷、采樣、A/D模數(shù)轉換、數(shù)字低通濾波后，傳遞給SO Analyzer 4.1軟件處理，獲得如圖1b所示的香梨聲振時域信號。為兼顧香梨信號采集的范圍和信號處理精度，信號采樣頻率設置為51200 Hz，采集時間為0.16 s，頻率分辨率設置為6.25 Hz，測試觸發(fā)條件設置為激勵信號VA上升沿觸發(fā)方式，觸發(fā)電壓水平為0.05 V。預先采集量設置為5%，以確保完整的信號采集。

圖1 香梨聲振信號采集系統(tǒng)與獲得的時域信號Fig.1 Vibro-acoustic signal acquisition system and acquired time domain signals of pear fruit

1.3.3 香梨組織黑心程度的測定

參考文獻[14]的方法，將香梨聲振信號采集完成后沿赤道部橫向切開，用數(shù)碼相機，對其橫截面拍照，通過Matlab 2019b提取所拍橫截面彩色圖像中的RGB三通道分量，對B通道圖像采用迭代閾值分割算法計算香梨赤道部橫截面面積[27]，通過8連通區(qū)域標記算法計算B通道圖像中香梨組織黑心區(qū)域面積，將香梨組織黑心區(qū)域面積占赤道部橫截面面積的百分比定義為香梨組織的黑心程度。

1.3.4 香梨聲振信號EMD的改進

EMD本質是根據(jù)數(shù)據(jù)的時間尺度特征將信號分解成有限個本征模態(tài)函數(shù)（intrinsic mode functions，IMF）分量和一個殘余分量[28]，如式（1）所示。

式中：ci（t）為x（t）的第i個IMF分量；rn（t）為x（t）分解后的殘余分量。

首先對香梨聲振信號EMD分解的端點效應進行抑制，然后在此基礎上對模態(tài)混疊進行抑制，具體流程如圖2所示。

圖2 抑制香梨聲振信號EMD端點效應及模態(tài)混疊的流程圖Fig.2 Flow diagram for suppressing vibro-acoustic signal EMD end effect and mode mixing of empirical mode decomposition of pear fruits

1.3.41 香梨聲振信號EMD端點效應的抑制方法

分別采用極值法、鏡像法、三次樣條法、改進斜率法對香梨聲振信號進行端點延拓以抑制端點效應[17-20]，使EMD計算包絡線時盡可能包含信號全部信息：極值法以端點的一個特征波為依據(jù)將信號端點處的極大值和極小值復制平移2 次作為延拓點；鏡像法是對端點的極值進行鏡像對稱延拓出新的極值點；改進斜率法以相鄰極值點斜率相同為原理對信號端點進行延拓；三次樣條法將極值點的二階導數(shù)引入計算信號延拓端點。

1.3.42 香梨聲振信號EMD模態(tài)混疊的抑制方法

采用IUPEMD和CCEEMDAN抑制香梨聲振信號EMD模態(tài)混疊。IUPEMD向原信號中添加自適應確定幅值的正弦波生成新信號并進行信號分解，分解過程如下：

式中：IMFi為信號第i個分量；M為添加的正弦波個數(shù)；Ei（·）代表第i階IMF分量；ni（t）為向原信號中加入的正弦波；ri（t）為信號減去第i個分量的殘余信號；i=1,2,…,M。

CCEEMDAN在分解每一個階段自適應加入正負成對的白噪聲分量序列，對信號進行完備分解，過程如下：

式中：M為添加白噪聲的個數(shù)；（-1）qmi（t）為原信號加入的白噪聲，i=1,2,…,M/2，q=1,2，代表白噪聲是正或負。

1.3.5 香梨信號EMD端點效應和模態(tài)混疊的評價指標

1.3.51 端點效應的評價指標

采用正交指數(shù)IO作為評價抑制香梨聲振信號EMD端點效應的指標，IMF分量間的IO值越小，信號分解精度越高，端點效應抑制效果越好。

式中：IMFj（t）和IMFk（t）分別為信號分解出的第j和第k個分量；n為信號分解的分量個數(shù)；X（t）為信號序列；T為信號長度。

1.3.52 模態(tài)混疊的評價指標

采用如式（5）所示的能量差異θ作為抑制香梨聲振信號EMD模態(tài)混疊的性能評價指標，各IMF分量之和與原信號的θ值越小，分量中殘存白噪聲或正弦波越少，模態(tài)混疊被抑制的效果越好。

式（5）中RMSi和RMSo為信號分解后的各分量和原始信號的均方根有效值，計算公式如下：

1.3.6 亞健康香梨判別模型的構建方法

1.3.61 基于空間金字塔池化（spatial pyramid pooling，SPP）的卷積神經網絡（convolutional neural networks，CNN）模型

香梨聲振信號的隨機性導致信號分解的分量個數(shù)不相同，這使得輸入模型的數(shù)據(jù)大小不一致，由于CNN要求固定輸入數(shù)據(jù)的大小[29]，為此引入SPP[30]，從多個層次提取輸入信號的特征并將其融合轉化為6×32大小的特征向量。

搭建的CNN-SPP共9 層，如圖3所示，包括3 層卷積層、2 層最大池化層和空間金字塔池化層。以香梨聲振時域信號分解后的分量作為輸入，分類模型采用Relu激活函數(shù)和Softmax分類器，損失函數(shù)采用交叉熵損失函數(shù)，模型優(yōu)化選擇隨機梯度下降算法。采用基于Keras深度學習框架，TensorFlow為后臺構建CNN-SPP，集成開發(fā)環(huán)境為Geany 1.34，編程語言為Python 3.8.6，計算機參數(shù)為Windows1064位系統(tǒng)，搭載Intel(R) Core(TM) i7-10750H CPU@2.60 GHz處理器，NVIDIA GeForce GTX 1650，16 G顯存。

圖3 CNN-SPP模型Fig.3 Convolutional neural network based on spatial pyramid pooling

1.3.62 模型性能評價指標

采用總體分類準確率（Accuracy，Acc）、調和均值（F1）、Kappa系數(shù)（k）、Matthews相關系數(shù)（Matthews correlation coefficient，MCC）作為指標評價模型性能，其計算如下：

式中：C表示類別數(shù)，C=3為健康果、亞健康果和病害果3 個分類；ni為第i類樣本數(shù)量，i=1,2,3；nii為第i類預測正確的樣本數(shù)量；Pi為第i類的查準率，即“本類正確分類的數(shù)量/所有分類為本類的數(shù)量”；Ri為第i類的召回率，即“本類正確分類的數(shù)量/所有本類的數(shù)量”；mi為預測為第i類的樣本數(shù)量；n為樣本總數(shù)。

2 結果與分析

2.1 亞健康香梨黑心程度閾限測定結果

將香梨黑心組織未超出其心室區(qū)域的樣本定義為亞健康果，經統(tǒng)計得到亞健康果黑心程度均值為（19.72±1.15）%。出于謹慎考慮，將亞健康香梨黑心程度的閾限進行更為嚴格的限定，故將下限值18%作為亞健康香梨的黑心程度（圖4a），以充分滿足商品價值接受底線。當香梨黑心程度超過18%時（圖4b），大多病變都已入侵到果肉，被視為病害果，已不能被消費者心理接受，若銷售會影響商品聲譽和消費者回購率，失去商品價值。因此，根據(jù)黑心程度S將香梨分為3 類，即：健康香梨S=0%、亞健康香梨0%＜S≤18%、病害香梨S＞18%。亞健康香梨和病害香梨的黑心嚴重程度分布如圖4c所示，亞健康香梨的病害程度區(qū)間為10.8%～17.9%，平均值為15.8%，病害香梨的病害程度區(qū)間為18.2%～29.5%，平均值為20.6%，可見這兩類果的黑心程度差別并不大，尤其是亞健康香梨箱體圖黑心程度處于上半部分的試樣和病害香梨箱體圖黑心程度處于下半部分的試樣，病害程度高度接近，這使得采用香梨聲振信號判別亞健康香梨更具有挑戰(zhàn)性。

圖4 香梨黑心程度示例Fig.4 Photographs of pears with different degrees of core browning

2.2 各方法抑制香梨聲振信號EMD端點效應和模態(tài)混疊的性能比較

2.2.1 端點效應抑制效果對比分析

圖5所示為香梨聲振信號原始包絡線和4 種方法對信號延拓后的包絡線，可以看出，信號左上和右下端點處原始包絡包含信號全部信息，不存在端點效應，但信號右上和左下的端點處原始包絡不充分，存在明顯的端點效應，這一端點效應逐漸向信號內部傳遞使信號分解精度降低。

圖5 不同端點延拓方法抑制端點效應的延拓結果Fig.5 Extension results of end effect suppression with different end extending methods

在信號右上端點處，4 種延拓方法的包絡線都包含了信號全部信息，但從各包絡線反映信號變化趨勢來看，三次樣條法最優(yōu)，改進斜率法、極值法次之，鏡像法最次。在左下端點處，三次樣條法包絡未能包含信號全部信息，抑制端點效應的效果最差，最優(yōu)為改進斜率法，其次為極值法和鏡像法。

為了確定最優(yōu)抑制端點效應的方法，通過分量間的正交指數(shù)進一步比較各延拓方法。圖6為未延拓和端點延拓后信號分量間的正交指數(shù)，可看出經端點延拓的信號分量的正交指數(shù)值都遠小于未延拓時的值，說明各端點延拓方法都對香梨聲振信號EMD端點效應有明顯抑制效果，有效提高了信號分解精度。在各端點延拓方法中，由于三次樣條法在左端點延拓丟失信號部分信息，盡管在右端點處延拓效果最好，但未取得較低的正交指數(shù)值，與極值法和鏡像法的結果接近，均在0.24左右。相比于這3 種方法，改進斜率法在信號左下端點抑制端點效應最優(yōu)，在右上端點抑制端點效應較優(yōu)，信號分量正交指數(shù)最低，僅為0.147，表明該方法對香梨聲振信號EMD端點效應具有良好的綜合抑制能力，有最好的抑制效果。

圖6 不同端點延拓方法抑制端點效應的評價指標Fig.6 Indicators for evaluation of end effect suppression with different end extension methods

2.2.2 模態(tài)混疊抑制效果對比分析

在改進斜率法抑制香梨聲振信號分解端點效應的基礎上，進一步抑制香梨聲振信號EMD模態(tài)混疊。圖7為CCEEMDAN和IUPEMD分解的分量和分量頻譜，IUPEMD分解后的IMF7～IMF12分量和CCEEMDAN分解后的IMF4～IMF9分量的頻率都很低且幅值高，包含信號大部分能量，為原始信號的主頻段。

對于IUPEMD分解的各分量，IMF7分量中含有多個頻率信息，仍存在模態(tài)混疊；IMF8分量主頻率為50 Hz，低于后一分量IMF9的56.25 Hz主頻率，存在分解錯誤；此外，IUPEMD法未分解出主頻率為12.5 Hz的分量，分解不完備。與該法相比，CCEEMDAN法分解的IMF4～IMF9分量主頻率從高頻到低頻依次獲得，但不盡理想的是，IMF6和IMF7兩分量中包含相同的頻率（18.75 H z），這導致25 Hz的頻率成分未分解。

采用分量之和與原信號能量差異值對這2 種分解法進行進一步比較，結果如圖8所示。與改進前EMD分量的評價結果相比，2 種改進方法都能大幅降低信號分解分量的能量差異值，證明向原信號中無論加入白噪聲還是正弦波，都有效抑制了模態(tài)混疊。向原信號加入白噪聲的CCEEMDAN法分解后的分量之和與原信號的能量差異最小，只有0.112，更能表征原信號的特征信息，從上述分析可知，由于該改進方法對信號分解更為完備，凸顯了信號局部特征信息，最大程度消除分量中的殘余噪聲。

圖8 2 種EMD改進方法對端點效應抑制之后模態(tài)混疊抑制的評價指標Fig.8 Indexes for evaluation of two improved EMD methods for suppressing mode mixing after end effect suppression

采用CCEEMDAN分別對健康、亞健康和病害香梨聲振信號進行分解，其分量頻譜如圖9所示，可觀察到3 類香梨原始聲振信號都包含18.75、12.5 Hz和6.25 Hz的低頻成分，在對香梨聲振信號進行整體分析時，這些頻率成分的信息可能會遮蔽信號中在高頻可以區(qū)別不同類別香梨的差異信息，導致難以對香梨進行準確判別。CCEEMDAN將信號分解為一系列具有單一頻率成分的數(shù)據(jù)序列，凸顯了不同類別香梨聲振信號的差異信息，從而提升健康、亞健康和病害香梨的判別準確性。

圖9 健康、亞健康和病害香梨聲振信號CCEEMDAN分解的分量頻譜Fig.9 Component spectra of CCEEMDAN decomposition of vibro-acoustic signals from healthy,sub-healthy,and diseased pears

2.3 亞健康香梨檢測模型的構建

用于構建分類模型的數(shù)據(jù)集：健康香梨350 個，亞健康香梨362 個，病害香梨317 個。在模型構建過程中，80%的數(shù)據(jù)作為訓練集，剩下的20%用于測試集，具體樣本數(shù)量見表2。

表2 構建CNN判別模型時用于訓練和測試的香梨樣本數(shù)量Table 2 Numbers of pear samples used for training and testing the CNN models

對香梨聲振信號EMD分解抑制端點效應和模態(tài)混疊前后的數(shù)據(jù)分別構建EMD-CNN-SPP和CCEEMDANCNN-SPP分類模型，以驗證EMD改進前后的性能。如圖10所示，學習率為0.01時，兩個模型的學習速率太大，代價函數(shù)振蕩，導致無法擬合。當學習率為0.0001時，兩個模型的訓練準確率提升緩慢，模型的學習能力不足，出現(xiàn)欠擬合。當學習率為0.001時，CCEEMDANCNN-SPP模型訓練準確率在訓練120 次時穩(wěn)定達到100%，EMD-CNN-SPP模型訓練精度在訓練90 次時趨于穩(wěn)定達到99.02%。僅從訓練結果看，EMD-CNN-SPP判別模型訓練次數(shù)較少但相對應的訓練精度較低，而CCEEMDAN-CNN-SPP模型訓練精度較高但訓練次數(shù)較多，相應需要的訓練時間較長。

圖10 不同學習率下CNN-SPP模型訓練準確率的變化Fig.10 Changes in training accuracy of CNN-SPP model under different learning rates

2.4 亞健康香梨檢測模型的分類性能評價

為了驗證所構建模型的分類性能，采用測試集樣本作為驗證樣本，對EMD-CNN-SPP模型和CCEEMDANCNN-SPP模型的分類性能進行比較分析。結果如表3所示，兩模型的Kappa系數(shù)均處于81%～100%區(qū)間內，說明所取得的分類結果都與實際結果幾乎一致，具有高可信度。兩模型的MCC和F1值均在90%左右，不僅表明模型分類結果與實際結果都具有較高相關性，而且對分類的查全能力和查準能力都有很好兼顧。

表3 模型評價指標計算結果Table 3 Calculation results of model evaluation indexes

與EMD-CNN-SPP模型相比，EMD改進所構建CCEEMDAN-CNN-SPP模型的總體分類精度提高了4.39%，可達93.66%。EMD-CNN-SPP模型對亞健康香梨分類準確率為84.72%，而CEEMDAN-CNN-SPP對亞健康香梨分類準確率提高至94.44%，能夠更有力幫助商家及時銷售亞健康香梨，減小果品損失。在三分類任務中，對病害香梨的誤判容忍度極低，而CCEEMDANCNN-SPP模型對病害香梨判別也表現(xiàn)出較優(yōu)越的能力，其誤判率為6.35%，要比EMD-CNN-SPP模型的誤判率低1.59%。此外，CCEEMDAN-CNN-SPP模型將健康香梨錯誤分類為病害香梨的數(shù)量相對較少，這對大宗水果香梨而言，會最大程度保持商品率?？傮w而言，CCEEMDAN-CNN-SPP模型對香梨黑心有更優(yōu)的分類識別性能，更適合亞健康香梨的檢測。

與Van De Looverbosch等[13]采用X射線法對梨內部病害進行三分類檢測結果相比，本研究對亞健康果檢測率遠高于其對亞健康果的65%的分類準確率。Zhang Hui等[14]基于聲振時域和頻域的統(tǒng)計特征參數(shù)對香梨內部早期褐變進行判別，對輕度褐變香梨分類準確率僅為86.4%，而本研究通過改進EMD提高信號分解精度，獲取了更多與內部病害特征相關的信號局部特征信息，使亞健康香梨的分類精度大幅提高至94.44%，表現(xiàn)出對香梨輕度黑心較強的檢測能力。

3 結論

采用改進斜率法和CCEEMDAN方法，先后對香梨聲振信號EMD存在的端點效應和模態(tài)混疊進行抑制，所獲得的信號分量正交指數(shù)為0.147，能量差異值為0.112，取得了最優(yōu)的抑制效果。以改進前后的香梨聲振信號模態(tài)分解分量分別作為數(shù)據(jù)輸入，采用CNN-SPP構建亞健康分類模型，以改進信號輸入構建的CCEEMDAN-CNNSPP模型的F1值為93.66%，Kappa系數(shù)為90.47%，MCC為90.50%，總體分類準確率達93.66%，均高于以未改進信號為輸入構建的EMD-CNN-SPP模型，具有更好的分類性能。此外，CCEEMDAN-CNN-SPP模型對亞健康香梨判別準確率達94.44%，對病害果誤判率為6.35%，也都優(yōu)于EMD-CNN-SPP模型。本研究不僅有效提升了聲振法對香梨早期輕度黑心病檢測能力，也為其他梨果內部亞健康狀態(tài)檢測提供重要參考，同時可為今后梨果內部早期輕度病害在線檢測系統(tǒng)的研發(fā)奠定基礎。