基于機器視覺的雙孢蘑菇品質(zhì)在線分級系統(tǒng)

姜鳳利，王譽諾，李金翰，楊 鑫，岳凡偉

（沈陽農(nóng)業(yè)大學信息與電氣工程學院，沈陽110161）

雙孢蘑菇（Agari cus b ispor us），又名白蘑菇或紐扣蘑菇，是世界上栽培、產(chǎn)量及消費最多的食用菌之一[1]。2019年我國雙孢蘑菇工廠化產(chǎn)量為24.63萬t，工廠化有效產(chǎn)能為610t·d-1。然而雙孢蘑菇工廠化生產(chǎn)中仍然采用人工分級，巨大的勞動量、分揀規(guī)格不統(tǒng)一、效率低下以及不斷攀升的人工成本等問題，嚴重制約雙孢蘑菇產(chǎn)后深加工發(fā)展速度和程度[2]。隨著機器視覺技術的發(fā)展，農(nóng)產(chǎn)品品質(zhì)無損檢測獲得了廣泛研究[3-10]，同時其在食用菌品質(zhì)檢測的應用上也得到了快速發(fā)展[11-14]。李江波等[15]采用計算機視覺技術識別不同缺陷程度的香菇，整體識別率為96.5%。CHEN等[16]基于機器視覺設計了干燥香菇大小、顏色以及破損在線分級系統(tǒng)，對250個香菇進行分級，準確率達到97.6%。王風云等[2]設計了基于機器視覺技術的雙孢蘑菇精選在線分級系統(tǒng)，采用分水嶺、Canny算子、閉運算等圖像處理方法對雙孢蘑菇的大小進行了分級，基于開發(fā)的分級系統(tǒng)樣機與人工分級進行了對比試驗，平均準確率97.42%，相比人工分級準確率提高6.84%。但上述文獻的分級系統(tǒng)以及算法只針對蘑菇的單面進行品質(zhì)檢測，雙孢蘑菇菌蓋的完好并不能完全表征蘑菇的品質(zhì)，如何實現(xiàn)雙孢蘑菇全表面信息檢測分級是配套機械裝置的難點。

新鮮的雙孢蘑菇含水量高、組織細嫩，采摘后通常切根處理，保留1～2cm的柄部，這樣菌蓋和菇柄側(cè)占蘑菇全表面的90%以上，因此檢測雙孢蘑菇的正反兩面品質(zhì)即可，但是雙孢蘑菇菇體呈圓形或近圓形，形態(tài)圓整，對雙孢蘑菇翻面提出了挑戰(zhàn)。針對雙孢蘑菇結(jié)構與外形特點，本研究利用機器視覺技術設計新鮮雙孢蘑菇品質(zhì)檢測與分類裝置，通過翻面機構進行蘑菇翻面，檢測蘑菇正反兩面圖像，通過對圖像實時處理，利用閾值分割、分水嶺算法、SURF算法等圖像處理技術獲得雙孢蘑菇菌蓋面積、殘缺情況、褐變程度3種特征參數(shù)值，參考國家雙孢蘑菇分級標準實現(xiàn)雙孢蘑菇品質(zhì)的在線分級。

1 硬件系統(tǒng)設計

1.1 總體結(jié)構設計

本研究設計的雙孢蘑菇在線分級系統(tǒng)主要由上料機構、傳送機構、圖像采集系統(tǒng)、翻面機構、控制系統(tǒng)和分級執(zhí)行機構6部分組成。其中，上料機構包括蘑菇倉、蘑菇轉(zhuǎn)盤。傳送機構包括傳送帶、驅(qū)動裝置。圖像采集系統(tǒng)包括2個暗箱、2個攝像頭（分辨率3264×2448）、嵌入式模塊（樹莓派）、LED光源。控制系統(tǒng)由三菱PLC、三菱觸摸屏、繼電器和5個光電傳感器組成。分級執(zhí)行機構包括2個完全相同的分揀爪。為了盡可能多的獲取雙孢蘑菇的表面信息，系統(tǒng)中包含2個攝像頭分別獲取雙孢蘑菇的正反兩面圖像，覆蓋雙孢蘑菇90%以上的表面信息，攝像頭與傳送帶上蘑菇的距離為150mm，暗箱內(nèi)部安裝LED環(huán)形光源。整機尺寸為2000mm×500mm×1390mm，結(jié)構如圖1。

圖1 分級系統(tǒng)結(jié)構示意圖Figure 1 Structure diagram for sorting system

1.2 翻面機構

由于雙孢蘑菇菇體的大小差異、形狀不規(guī)則性，實現(xiàn)翻面尤其困難。本研究設計的翻面機構由兩個反作用力彈簧機構、兩個鐵片和1個傳感器組成。兩鐵片近似組成三角形，其頂角部分最大開口為15cm，最小開口為2cm（圖2）。圖3為翻面機構的側(cè)視圖，傳感器與鐵片頂端在側(cè)面成30°的夾角，蘑菇在傳送帶上向前運行，進入兩鐵片組成的三角形后，由于蘑菇直徑大于三角形的最小開口寬度，被鐵片夾住不再向前運行，傳送帶繼續(xù)向前運行，蘑菇受到的合力向斜上方，蘑菇受力后會豎立起來，使得傳感器檢測到蘑菇，啟動鐵片打開，實現(xiàn)翻面，蘑菇進入下一個暗箱。

圖2 翻面機構結(jié)構示意圖Figure 2 Schematic diagram of turning mechanism structure

圖3 翻面機構側(cè)視圖Figure 3 Side view of turning mechanism

1.3 蘑菇倉

蘑菇倉如圖4。蘑菇倉中的撥桿將蘑菇逐個通過圓孔送到蘑菇轉(zhuǎn)盤中，使蘑菇有序均勻的進入傳送帶。

圖4 蘑菇倉Figure 4 Mushroom bin

1.4 蘑菇轉(zhuǎn)盤

蘑菇轉(zhuǎn)盤如圖5。蘑菇轉(zhuǎn)盤由7個方盒（固定部分）和6個帶有開口的圓鐵片（旋轉(zhuǎn)部分）組成。其中每個方盒都是三面開口，一面相連，組成鋸齒狀。6個帶有開口的圓鐵片插入到鋸齒方盒中，且相鄰兩個鐵片開口相差180°。當蘑菇落入第一方盒后鐵片旋轉(zhuǎn)，鐵片開口旋轉(zhuǎn)至方盒開口處，使得第一方盒中的蘑菇落入第二方盒中，后續(xù)動作同上。此機構使原本無序的蘑菇有序地落到傳送帶上，為設備后續(xù)處理工序提供便利，同時一次處理的蘑菇數(shù)量為6個，提高了設備工作效率。

圖5 蘑菇轉(zhuǎn)盤Figure 5 Mushroom turntable

1.5 分級執(zhí)行機構

分級執(zhí)行機構是由2個完全相同的分揀爪組成（圖6）。分揀爪是由3個固定在三棱柱上的鐵片組成，每個分揀爪由電機帶動，并通過電機的正反轉(zhuǎn)實現(xiàn)2個等級的分揀，電機固定在與橫梁夾角60°的位置上，每個爪的頂端與所在三棱柱面夾角為120°。分揀爪每次接收到上位機的信號后旋轉(zhuǎn)120°，在旋轉(zhuǎn)到60°時底面與傳送帶上的蘑菇接觸，之后60°轉(zhuǎn)動過程中，將蘑菇從傳送帶上推落，完成分級。與傳統(tǒng)的氣泵推離不同，此裝置沒有所謂的回程，在蘑菇較為集中的情況下不會對蘑菇分揀造成影響，避免漏檢。

圖6 分級機構Figure 6 Grading claw

1.6 控制原理

雙孢蘑菇自動分級系統(tǒng)工作原理如圖7。當傳送帶上的傳感器檢測到有雙孢蘑菇時，傳送帶運動，使雙孢蘑菇運行至A暗箱，并啟動A攝像頭對雙孢蘑菇的一面進行圖像采集；然后將雙孢蘑菇送入翻面機構進行翻面，當雙孢蘑菇到達B暗箱，啟動B攝像頭對雙孢蘑菇的另一面進行圖像采集，采集完成后，傳送帶將蘑菇送入分揀區(qū)，根據(jù)上位機圖像處理算法結(jié)果，分揀爪將蘑菇送入對應的分級筐，完成分揀過程。如果上位機判斷蘑菇是D級，則順著傳送帶送入D級分級筐。

圖7 系統(tǒng)工作流程圖Figure 7 System workflow diagram

2 機器視覺分類檢測算法

系統(tǒng)根據(jù)雙孢蘑菇的大小、殘缺以及褐變等相應的特征參數(shù)，將其分為A、B、C、D共4個等級。

2.1 感興趣區(qū)域提取

系統(tǒng)獲取到的圖像包括傳送帶及其邊緣部分，為準確獲取雙孢蘑菇的特征參數(shù)，需要對原始圖像進行感興趣區(qū)域提取，從而將雙孢蘑菇的圖像從整幅圖像中分離出來，去除干擾，得到感興趣區(qū)域圖像，作為后續(xù)的圖像處理使用。第1步對攝像頭拍到的圖8a左側(cè)截取158個像素，右側(cè)截取150個像素，去除傳送帶側(cè)邊鋁材，得到圖8b；第2步對圖8b中的圖像采用OpenCV中的庫函數(shù)findContours和boundingRect計算出蘑菇的最小外接矩形的左上點位置（x，y）和矩形的寬度w和高度h，然后對這個矩形向外延伸50個像素點，得到矩形的位置，長：x-50～x+w+50，寬：y-50～y+h+50，根據(jù)矩形的位置截取得到圖8c。

圖8 感興趣區(qū)域提取Figure 8 Region of interest extraction

2.2 分水嶺分割算法

本研究對雙孢蘑菇正反兩面分別進行圖像輪廓提取，具體過程如圖9。將原始圖像a轉(zhuǎn)化為灰度圖像b，采用OSTU閾值分割算法，得到二值化圖像c，為消除小型黑洞以及裂縫，通過形態(tài)學變換去除噪聲數(shù)據(jù)得到圖像d，對形態(tài)學變換得到的圖像進行膨脹操作，得到擴張后含背景的圖像e，通過距離變換確定前景圖像f，背景和前景相減確定前景和背景重合的不確定區(qū)域。提取圖像輪廓，得到標記markers。根據(jù)不確定區(qū)域在markers中經(jīng)過分水嶺變化最終得到原始圖像的邊界h。

2.1 研究對象剖宮產(chǎn)產(chǎn)后出血的發(fā)生情況調(diào)查 626例>35歲孕婦剖宮產(chǎn)術后發(fā)生產(chǎn)后出血共132例，產(chǎn)后出血發(fā)生率為21.09%，另有494例未發(fā)生產(chǎn)后出血，占比為78.91%。

圖9 雙孢蘑菇分水嶺變換Figure 9 Watershed transformation of agaricus bisporus

2.3 菌蓋面積計算

根據(jù)雙孢蘑菇行業(yè)標準NY/T1790-2009[17]，選用雙孢蘑菇直徑作為大小分級的特征參數(shù)，分為“大、中、小”3級（直徑＞45mm為1級，25mm≤直徑≤45mm為2級，直徑＜25mm為3級），本研究在此基礎上將10mm≤直徑＜25mm定義為3級，直徑＜10mm定義為4級。本研究通過圖像分辨率計算其面積，從而獲得蘑菇的直徑。裝置選用的攝像頭分辨率為96，根據(jù)2.2節(jié)獲取的前景圖像（圖9g），計算前景圖像的像素個數(shù)m，則蘑菇的面積為：m*25.4/96 mm2。分別計算蘑菇的正面和反面的面積，由于蘑菇柄部可能使蘑菇出現(xiàn)側(cè)放現(xiàn)象，導致正面面積減小，因此取二者最大值作為蘑菇的面積。

2.4 殘缺檢查

SURF（speeded-up robust features）[18]算法是基于SIFT(scale-invariant feature transform)算法的改進算法，由BAY于2008年在歐洲計算機視覺國際會議上提出，該算法不依賴于像素值且受遮擋、角度等拍攝效果影響較小，具有計算速度快、穩(wěn)定性高的特點，常用于邊角檢測[19]。SURF算法主要包括兩個部分：特征點的提取、特征點的描述。

2.4.1 特征點提取 首先需要構建Hessian矩陣。圖像I中任意一個像素點X=(x,y)的Hessian矩陣H(X,σ)為：

式中：σ為尺度；Lxx(X,σ)、Lxy(X,σ)、Lyy(X,σ)分別為高斯濾波后圖像I在各個方向上的二階導數(shù)。

為找到圖像的特征點，需要對原圖進行變換，將積分圖像與方框濾波器的卷積近似表示為Dxx,Dxy,Dyy,則得到Hessian行列式近似計算為：

式中：λ為權重系數(shù)，用來平衡使用方框濾波器近似帶來的誤差。

將所有經(jīng)過Hessian矩陣處理后的像素點與尺度空間中的點進行非極大值比較，找出圖像的興趣點。然后在尺度空間和圖像空間中進行線性插值運算獲得最后穩(wěn)定的特征點。

圖11 圖像殘缺判斷Figure 11 Image incomplete determination

2.5 褐變篩選

Lab格式圖像中L值能夠較好地反映蘑菇的亮度[20]，從而反映蘑菇褐變程度，因此將攝像頭獲取的RGB格式圖像轉(zhuǎn)化為Lab格式圖像。L的數(shù)值變化范圍從0～100，L=0為黑色，L=100為白色，L值大表示偏白，L值小表示偏黑；L值在86及以上為品質(zhì)好的蘑菇，L值在80～85之間為較好的蘑菇，L值在70～79之間為較差蘑菇，L值低于69的蘑菇則沒有食用價值[10]，分別對應1,2,3,4共4個等級。對菌蓋的每個像素點進行遍歷，獲得每個像素點的L值。由于暗箱中光線等原因，實際獲得的蘑菇菌蓋圖像中L值達不到實際值，根據(jù)上述4個等級L值范圍確定每個實際等級的下限值。

式中：LSimax、LSimin分別為等級i（i=1，2，3，4）對應范圍的L最大值和最小值；LRimax為照相機獲取的菌蓋圖像中像素的L最大值；LRi為等級i對應范圍的下限值。

通過式（3）可以獲得新的4個等級對應的區(qū)間范圍。統(tǒng)計L值在獲得的這個區(qū)間的像素個數(shù)，根據(jù)分水嶺算法得到的菌蓋像素個數(shù)，計算出區(qū)間中對應的像素個數(shù)占菌蓋像素總數(shù)的比率為R1,R2,R3,R4，經(jīng)過大量試驗確定，R1≥0.65為1級，0.58≤R2＜0.65為2級，0.53≤R3＜0.58為3級，R4＜0.53為4級，褐變處理過程如圖12。

圖12 褐變篩選Figure 12 Browning selection

2.6 蘑菇等級確定

系統(tǒng)根據(jù)雙孢蘑菇行業(yè)標準，將大小、殘缺、褐變3種特征參數(shù)作為蘑菇等級檢測標準，分類方法遵守最差原則進行判斷。全部分類情況如表1。

表1 雙孢蘑菇等級劃分Table 1 Agaricus bus por us classification

3 多客戶端數(shù)據(jù)可視化

系統(tǒng)可以通過本地顯示屏、手機移動端、Web端對蘑菇分級結(jié)果進行實時顯示。觸摸屏示意圖如圖13。觸摸屏主要包括管理員測試界面、分級數(shù)據(jù)界面，實現(xiàn)分級系統(tǒng)的各個部分的控制以及分級結(jié)果的實時顯示。

圖13 觸摸屏界面示意圖Figure 13 Schematic diagram of touch screen interface

微信小程序和Web界面示意圖如圖14和圖15，主要包括首頁界面，全部蘑菇數(shù)據(jù)界面以及單個蘑菇數(shù)據(jù)界面，均能實現(xiàn)蘑菇特征參數(shù)及分級結(jié)果的實時顯示，用戶可通過任意方式進行數(shù)據(jù)查詢。

圖14 手機移動端界面示意圖Figure 14 Schematic diagram of the mobile phone interface

圖15 Web端界面示意圖Figure 15 Schematic diagram of the Web interface

4 試驗結(jié)果與分析

為驗證雙孢蘑菇自動分級系統(tǒng)的可靠性以及所提分級方法的有效性，對樣機進行試驗。從食用菌基地采摘新鮮雙孢蘑菇200個，采后直接運至實驗室，使用樣機進行測試并與人工分級結(jié)果進行對比，人工判別使用游標卡尺測量雙孢蘑菇的菌蓋直徑作為大小參數(shù)，褐變、殘缺特征參數(shù)找行業(yè)相關專家通過肉眼觀察蘑菇外觀進行判別。試驗結(jié)果如表2。由表2可知，使用雙孢蘑菇自動分級系統(tǒng)平均正確率約為96.45%，其中，檢測錯誤主要是因為殘缺和褐變出現(xiàn)在蘑菇的柄部或者側(cè)面，攝像頭無法拍到的部分。在傳送速度為0.32m·s-1時，對200個蘑菇樣品單個蘑菇正反面圖像處理時間平均為0.4s，自動分級系統(tǒng)平均分級速度可達72個·min-1，試驗結(jié)果表明本研究提出的分級方法對雙孢蘑菇大小、褐變、殘缺檢測有效。

表2 雙孢菇分級試驗結(jié)果Table 2 Result of A garicus b is porus grading

5 討論與結(jié)論

隨著智能控制和機器視覺技術的迅速發(fā)展，在農(nóng)產(chǎn)品分級方面逐漸實現(xiàn)機器代替人工作業(yè)，尤其是食用菌產(chǎn)業(yè)，隨著工廠化生產(chǎn)的實現(xiàn)，食用菌自動精選分級需求迫切。近年來，國內(nèi)外學者做了大量的關于香菇的分級方法研究，并研究設計了一些智能分級系統(tǒng)。對于雙孢蘑菇分級，研究相對較少，王風云等[2]基于蘑菇大小參數(shù)，設計了基于機器視覺技術的雙孢蘑菇精選在線分級系統(tǒng)，平均準確率97.42%，但是該系統(tǒng)僅考慮蘑菇大小參數(shù)，未考慮蘑菇的顏色、缺陷，此外蘑菇的反面部分對蘑菇的品質(zhì)影響也不可忽視，如果出現(xiàn)開傘情況蘑菇品質(zhì)將大打折扣。因此，本研究開發(fā)設計一套新鮮雙孢蘑菇在線分級裝置，可實現(xiàn)蘑菇正反面大小、褐變和殘缺程度無損檢測。

針對雙孢蘑菇工廠化生產(chǎn)中自動分級的需求，本研究設計了包括上料機構、傳送機構、翻面機構、圖像采集系統(tǒng)、控制系統(tǒng)和分級執(zhí)行機構的雙孢蘑菇自動分級系統(tǒng)。系統(tǒng)采用蘑菇轉(zhuǎn)盤將蘑菇倉中的蘑菇逐個有序地送入傳送帶，通過翻面機構實現(xiàn)雙孢蘑菇的正反兩面圖像獲取，能夠覆蓋蘑菇90%以上表面信息；分級執(zhí)行機構由3個末端位置互差120°的分級爪構成，提升雙孢蘑菇在分級流水線中分級效率。圖像處理方面，提出采用OSTU圖像分割、分水嶺算法以及SURF算法分別對雙孢蘑菇的大小、褐變、殘缺程度等的品質(zhì)檢測與分類。其中分水嶺算法能夠更加準確有效地標出原始圖像的輪廓；SURF算法將菌蓋碰傷以及菌柄的裂縫都能準確檢測出來，通過3個特征參數(shù)在蘑菇正反面的統(tǒng)計信息判定蘑菇等級。并開發(fā)了多種客戶端軟件，包括本地顯示屏、手機移動端、Web端對蘑菇分級結(jié)果進行實時顯示，并通過樣機進行了試驗驗證，試驗結(jié)果表明該檢測分類裝置具有較高的準確率。