基于機器視覺的大曲質(zhì)量檢測系統(tǒng)研究

張芯豪黃丹平,2田建平,2黃 丹

(1. 四川理工學院機械工程學院, 四川 自貢 643000； 2. 過程裝備與控制工程四川省高校重點實驗室，四川 自貢 643000； 3. 四川理工學院生物工程學院，四川 自貢 643000)

“曲乃酒之骨”，大曲質(zhì)量直接影響白酒質(zhì)量?，F(xiàn)場要求曲胚幾何參數(shù)標準長為(300±3) mm，寬為(200±3) mm，厚為(100±3) mm，標準曲坯應四角整齊、表面光滑、松緊一致、無缺邊掉角、富有彈性。曲坯主要顏色為米黃色，其斷面存在乳白色菌絲、紅曲霉及其它污染霉菌[1]。目前大部分酒企仍依靠人工經(jīng)驗判斷大曲質(zhì)量，無量化指標，易受主觀影響，判斷結(jié)果不標準。同時大曲發(fā)酵時環(huán)境惡劣，高溫度、高濕度、曲蟲等因素導致酒企難以使用人工方法來完成該工作。因此釀酒行業(yè)迫切需要一種智能化曲房系統(tǒng)，對大曲生產(chǎn)過程進行智能化改造，從大曲的制作到大曲的發(fā)酵、出庫等環(huán)節(jié)實現(xiàn)全面智能化生產(chǎn)，得到品質(zhì)一致的高質(zhì)量大曲。為實現(xiàn)智能化生產(chǎn)，檢測大曲質(zhì)量是最重要的一環(huán)，管理控制數(shù)據(jù)來源的選擇也十分重要[2-4]。

影響大曲質(zhì)量的因素有光滑度、水分、酸度、糖化力、液化力、穿衣、氣味、菌絲、顏色等，可歸納為感官指標、理化指標和微生物指標。敖宗華等[5]研究了大曲感官指標、理化指標以及微生物指標，通過這些指標量化了大曲質(zhì)量的判斷標準。炊偉強等[6]研究了瀘州老窖普級大曲和優(yōu)級大曲各種指標的差別，進一步發(fā)現(xiàn)各指標與大曲質(zhì)量關系。何宏魁等[7]將古井貢酒優(yōu)級大曲和普級大曲進行比較分析，研究大曲感官特征與其內(nèi)在微生物、理化指標間的關系。目前針對機器視覺技術領域的大曲質(zhì)量自動在線檢測技術研究，中國未見相關報道。

為解決白酒固態(tài)發(fā)酵自動化程度低和人工成本高的問題，同時為實現(xiàn)智能化曲房生產(chǎn)提供大曲質(zhì)量數(shù)據(jù)來源，本研究通過機器視覺技術獲取大曲視覺信息，動態(tài)閾值方法分割圖像，測量大曲幾何參數(shù)，通過Lab顏色空間提取大曲霉菌含量，通過CNN卷積神經(jīng)網(wǎng)絡檢測大曲裂縫信息，建立視覺信息與大曲質(zhì)量的對應關系表，綜合判斷大曲質(zhì)量。

1 系統(tǒng)結(jié)構與工作原理

針對影響大曲質(zhì)量的感官特征，研究其感官特征與視覺信息的對應關系，基于機器視覺、智能制造、運動控制等技術，研發(fā)一套大曲質(zhì)量檢測系統(tǒng)。如圖1所示，大曲質(zhì)量檢測系統(tǒng)主要由面陣工業(yè)相機、環(huán)形LED光源、光電傳感器、上位機、剔除機構、傳輸機構組成[8]。

1. 上位機 2. 傳輸機構 3. 大曲 4. 光電傳感器 5. 環(huán)形LED光源 6. 面陣工業(yè)相機 7. 剔除機構

圖1 大曲質(zhì)量檢測系統(tǒng)結(jié)構圖

Figure 1 The structural diagram of Daqu quality inspection system

在機器視覺系統(tǒng)中工業(yè)相機、光源及打光方式的選擇會直接影響視覺信息的提取效果，本系統(tǒng)工業(yè)相機選用德國Balser彩色面陣相機，型號為acA 1300-30gc，其分辨率為1 294×964 pixel，幀率為30 FPS。系統(tǒng)光源選用白色LED環(huán)形光源，其工作原理見圖2。本系統(tǒng)中環(huán)形光源α為30°，可以有效消除大曲周圍陰影，提高幾何參數(shù)測量精度，同時可提高視覺信息中孔洞、裂縫、穿衣等細節(jié)信息[9]。該光源與面陣工業(yè)相機同軸安裝，保證光源能均勻照射工業(yè)相機正下方的大曲。

該大曲質(zhì)量檢測系統(tǒng)工作原理：

(1) 傳輸機構2帶動大曲3移動至光電傳感器4正下方位置。

(2) 光電傳感器4檢測大曲3位置信息并傳輸給上位機1，該信息反饋至工業(yè)相機6作為工業(yè)相機6的觸發(fā)信號。

α. 光源照射角度

(3) 工業(yè)相機6接收到觸發(fā)信號，采集視覺信息并上傳到上位機1中等待處理。

(4) 上位機1內(nèi)軟件對視覺信息進行處理，根據(jù)檢測結(jié)果發(fā)送剔除信號給剔除機構7。

(5) 大曲3移動到剔除機構7區(qū)域，剔除機構7根據(jù)剔除信號剔除對應工位的不合格大曲3。

2 大曲質(zhì)量檢測算法

圖3為系統(tǒng)軟件流程圖，主要針對大曲幾何參數(shù)、顏色、裂縫3種特征進行檢測。尺寸檢測包含均值濾波、動態(tài)閾值分割、形態(tài)學處理等步驟；顏色檢測首先將原圖從RGB顏色空間轉(zhuǎn)換到XYZ顏色空間，再由XYZ顏色空間轉(zhuǎn)換到Lab顏色空間，最后通過特定閾值從不同通道中提取到特征目標；裂縫檢測將原圖灰度化后，裁剪ROI區(qū)域并分割為多張小圖片，通過提前訓練好的CNN神經(jīng)網(wǎng)絡判斷該大曲是否存在裂縫。

圖3 大曲質(zhì)量檢測流程圖

2.1 大曲幾何參數(shù)檢測

在實際采集大曲視覺信息過程中，由于光照、電流、機械運動等原因，視覺信息中會生成脈沖噪聲、散粒噪聲和高斯噪聲。同時現(xiàn)場陽光、工人走動、發(fā)酵房暗室等因素可能造成照度不均勻，導致所采集視覺信息中有陰影，各處對比度不同，從而影響大曲幾何參數(shù)的檢測。因此本研究采用動態(tài)閾值分割法對大曲圖像進行處理，首先對圖像進行均值濾波，均值濾波的基本原理是把數(shù)字圖像或數(shù)字序列中一點的值用該點部分鄰域中各點值的均值代替，從而削弱噪聲影響[10]。圖4和圖5所示為一張大曲圖濾波前和濾波后的直方圖。

式(1)中η為動態(tài)閾值法的閾值范圍，表示原圖g與均值濾波后的圖f在同一閾值下像素點個數(shù)之差，本研究中設為20。

(1)

圖4 原圖直方圖

圖5 濾波后直方圖

式中:

λ——灰度值，范圍為0～255；

gR——均值濾波前R通道圖；

gG——均值濾波前G通道圖；

gB——均值濾波前B通道圖；

fR——均值濾波后R通道圖；

fG——均值濾波后G通道圖；

fB——均值濾波后B通道圖；

η——閾值差。

(2)

再將0～255所有灰度值條件下的二值圖相加，如式(3)所示。

(3)

實際采集時大曲周圍可能存在曲渣，同時大曲外圍可能存在突出的谷殼或麥稈。因此對分割后的二值圖像I去除小面積連通域，再通過開運算(先腐蝕后膨脹)去掉毛刺，最后求出連通域最小外接矩形，尋找該矩形邊緣，將邊緣像素長度乘以物像比例，得到實際長度。

R=As/Ar，

(4)

式中：

R——連通域矩形度，表示一個連通域接近矩形的程度，越接近1越像矩形；

As——連通域面積，像素點個數(shù)；

Ar——連通域最小外接矩形面積，像素點個數(shù)。

曲胚俯視圖應十分接近矩形，因此若R<0.95，即判斷大曲不完整[11]。

2.2 大曲顏色檢測

本系統(tǒng)中顏色識別主要針對大曲斷面的乳白色菌絲、紅曲霉及可能存在的其它顏色污染菌霉。工業(yè)相機采集到的大曲圖像是RGB彩色圖，由于天氣、光源衰減、光照角度等原因可能導致采集到的大曲圖像質(zhì)量不一，同時總結(jié)現(xiàn)場檢測人員的判斷經(jīng)驗，采用一種基于人對顏色感覺的Lab色彩空間進行顏色檢測。

Lab色彩空間有顏色均勻性的優(yōu)點，但與XYZ色彩空間不同，未包含人類能夠感覺到的所有顏色，所以要先將RGB色彩空間轉(zhuǎn)換為XYZ色彩空間，見式(5)[12]。

(5)

再由XYZ色彩空間轉(zhuǎn)換為Lab色彩空間，見式(6)。

(6)

經(jīng)過試驗，本系統(tǒng)最終識別乳白色菌絲和紅曲霉的方法[13]：

(7)

(8)

如式(7)所示在L通道以閾值206分割圖像為二值圖，可以有效提出乳白色菌絲部分。同理如式(8)在b通道以閾值167分割圖像為二值圖，提取紅曲霉。最后計算乳白色菌絲與斷面面積百分比N1，紅曲霉與斷面面積百分比N2。

2.3 裂縫檢測

大曲表面裂縫形態(tài)多樣，裂開部分內(nèi)部與表面結(jié)構、顏色一致，因此難以通過顏色識別、閾值分割、紋理分析等方法實現(xiàn)對大曲表面裂縫的檢測。根據(jù)裂縫檢測特點本研究選用一種基于人工監(jiān)督的卷積神經(jīng)網(wǎng)絡(CNN)進行裂縫檢測，經(jīng)過試驗可以達到要求。

CNN提取特征主要依靠交替的卷積層和降采樣層來完成，然后通過BP算法來調(diào)整網(wǎng)絡結(jié)構，最后多次迭代訓練直到網(wǎng)絡達到收斂狀態(tài)來提高網(wǎng)絡的泛化性能。從本質(zhì)上來看，CNN是一種輸入到輸出的映射，通過大量學習所有訓練樣本輸入與其對應輸出的映射關系來判斷測試樣本類型，因此輸入與輸出沒有確定的數(shù)學表達式。卷積神經(jīng)網(wǎng)絡在圖像處理領域應用廣泛，具有兩大特征[14]：

(1) 相鄰兩層神經(jīng)元之間的連接方式采用的是局部連接而不是全連接。

(2) 在同一特征圖中，神經(jīng)元(激活單元)的權值是共享的。通過局部連接和權值共享2種方式，CNN在很大程度上減少權值數(shù)量，降低網(wǎng)絡復雜度，起到一定的正則化作用。

CNN識別準確率需要調(diào)節(jié)學習率、學習批大小、卷積核數(shù)和訓練次數(shù)等，通過多次調(diào)整來確定參數(shù)[15]。在開始訓練前，程序?qū)⑤斎雸D像進行規(guī)整，否則圖像過大會導致訓練系數(shù)過多而無法收斂。同時將所有的權值設置為較小的不同隨機數(shù)值來保證訓練網(wǎng)絡可以正常地學習。學習率是運行SGD(隨機梯度下降法)算法重要參數(shù)，值設置過大算法可能無法優(yōu)化，過小會使得算法優(yōu)化速度太慢且陷入局部最優(yōu)。學習批大小需要能整除訓練樣本數(shù)量，否則會使部分樣本不參與訓練。訓練次數(shù)需要通過對同一個樣本進行訓練，通過觀察得到測試誤差最小時對應的訓練次數(shù)。

本研究算法中1張大曲圖片分割出10張小圖片作為裂縫樣本進行檢測，每一張大小為300像素×300像素，剩余部分有背景影響，根據(jù)樣本圖片含有裂縫的張數(shù)判斷大曲整體圖片是否含有裂縫。

2.4 綜合判斷

經(jīng)過研究，本系統(tǒng)中視覺信息與大曲質(zhì)量對應關系見表1。

表1 大曲質(zhì)量等級指標?

?X表示1張完整大曲圖片分割出的10張裂縫樣本圖片中判斷為含有裂縫的圖片張數(shù)；R為矩形度，表示大曲面積與其最小外接矩形面積的比；N1表示乳白色菌絲面積占斷面面積的百分比；N2表示紅曲霉面積占斷面面積的百分比。

3 試驗結(jié)果及分析

3.1 幾何參數(shù)檢測結(jié)果

現(xiàn)場采用半自動化壓曲機制作大曲，因此在測量時大曲尺寸只可能比標準值小。圖6為幾何參數(shù)測量示意圖。

圖6(a)中大曲已發(fā)酵完閉2個月，因此其內(nèi)部水分散失，尺寸縮小，同時其背景光照不均，有明顯亮斑。圖6(d)中顯示大曲幾何參數(shù)，其中長為292.04 mm，寬為170.1 mm，矩形度R為0.953 259，符合實際數(shù)據(jù)，可實現(xiàn)預期功能，用于測量大曲幾何參數(shù)。

3.2 顏色檢測結(jié)果

圖7為大曲斷面圖，含有紅曲霉和乳白色菌絲。紅曲霉為污染霉，該大曲紅曲霉與斷面面積百分比為4.54%。乳白色菌絲表示微生物發(fā)酵成熟，該大曲乳白色菌絲與斷面面積百分比為50.50%。

圖6 幾何參數(shù)測量示意圖

圖7 顏色檢測示意圖

3.3 裂縫檢測結(jié)果

圖8為部分裂縫樣本圖，采用CNN卷積神經(jīng)網(wǎng)絡檢測大曲表面是否存在裂縫。本研究使用4 800個有裂縫樣本和5 600個無裂縫樣本進行訓練，使用1 000個樣本進行測試，其中有裂縫樣本300個，無裂縫圖700個。

本方法中有3個重要參數(shù)：學習批大小，表示一次參數(shù)更新運算所需的樣本數(shù)量；學習率，表示參數(shù)到達最優(yōu)值過程的速度快慢；學習次數(shù)，表示訓練過程中數(shù)據(jù)迭代次數(shù)。將學習批大小設置為4，為尋找最佳學習率和學習次數(shù)，進行試驗。由表2可知，學習次數(shù)為10時，最佳學習率為0.10。

圖8 裂縫樣本組合圖

學習率有裂縫樣本正確率/%無裂縫樣本正確率/%總體樣本正確率/%0.0139.093.877.40.0588.793.391.90.1092.096.395.00.1588.789.489.20.2058.788.786.70.5039.079.067.0

? 學習次數(shù)為10。

由表3可知，學習率為0.10時，最佳學習次數(shù)最低為30。針對本算法中裂縫樣本特征，得到本研究最佳參數(shù)：學習批大小4，學習率0.10，學習次數(shù)30，該條件下大曲表面裂縫的識別正確率可達99.0%。

表3 學習次數(shù)對樣本正確率的影響?

? 學習率為0.10。

4 結(jié)論

本試驗研究了大曲質(zhì)量檢測系統(tǒng)通過動態(tài)閾值分割法、Lab顏色空間、CNN卷積神經(jīng)網(wǎng)絡等機器視覺技術處理采集到的大曲視覺信息，綜合判斷大曲質(zhì)量信息。通過實驗驗證，本研究具有實時性好、非接觸、易實現(xiàn)制曲工藝自動化等優(yōu)點，對大曲幾何參數(shù)檢測精度可達到±1 mm，對紅曲霉和乳白色菌絲可精準提取其數(shù)量，試驗內(nèi)裂縫樣本識別正確率可達到99.0%，均滿足現(xiàn)場制曲工藝要求，可實現(xiàn)對大曲質(zhì)量檢測并提高大曲質(zhì)量檢測的客觀性和準確度。

本試驗尚未研究大曲視覺信息和理化特性的聯(lián)系，不能得到更全面的大曲參數(shù)，因此，后續(xù)將展開對此類問題的相關研究，以便實現(xiàn)制曲工藝的全面自動化。

[1] 瀘州老窖集團有限責任公司. 瀘型酒技藝大全[M]. 北京: 中國輕工業(yè)出版社, 2011: 82-85.

[2] 沈怡方. 白酒生產(chǎn)技術全書[M]. 北京: 中國輕工業(yè)出版社, 1998: 54-57.

[3] 李安軍, 何宏魁. “基于物聯(lián)網(wǎng)技術的數(shù)字化曲房綜合管控系統(tǒng)”在濃香型白酒生產(chǎn)過程中的應用[J]. 釀酒科技, 2014(2): 63-64, 67.

[4] 敖宗華, 陜小虎, 沈才洪, 等. 國內(nèi)主要大曲相關標準及研究進展[J]. 釀酒科技, 2010(2): 104-108.

[5] 肖冬光, 趙樹欣, 陳葉福, 等. 白酒生產(chǎn)技術[M]. 2版. 北京: 化學工業(yè)出版社, 2013: 70-74.

[6] 何宏魁, 李蘭, 湯有宏, 等. 古井貢酒大曲感官評價與其微生物、理化指標的關系研究[J]. 釀酒, 2017, 44(1): 58-63.

[7] 炊偉強, 敖宗華, 張春林, 等. 瀘州老窖大曲感官特征與微生物、理化指標和生化性能的關聯(lián)研究[J]. 食品與生物技術學報, 2011, 30(5): 761-766.

[8] 黃丹平, 廖世鵬, 于少東, 等. 基于機器視覺瓦楞紙板自動計數(shù)系統(tǒng)研究[J]. 機械工程學報, 2017, 53(10): 79-86.

[9] 郭康, 黃丹平, 王磊, 等. 基于機器視覺的曲面字符缺陷檢測系統(tǒng)研究[J]. 現(xiàn)代制造工程, 2016(12): 122-127.

[10] 黃河, 李慶武, 范習健. 采用局部動態(tài)閾值的圖像分割算法[J]. 光電子技術, 2011, 31(1): 10-13.

[11] RAFAEL C G, RICHARD E W, STEVEN L E. 數(shù)字圖像處理[M]. 阮秋琦, 阮宇智, 譯. 3版. 北京: 電子工業(yè)出版社, 2011: 487-490.

[12] 田原嫄, 黃合成, 譚慶昌, 等. 基于機器視覺的零件尺寸測量[J]. 激光與光電子學進展, 2010, 47(1): 82-90.

[13] 劉瓊, 史諾. 基于Lab和YUV顏色空間的農(nóng)田圖像分割方法[J]. 國外電子測量技術, 2015, 34(4): 39-41.

[14] 喬麗. 基于CNN的工件缺陷檢測方法研究及系統(tǒng)設計[D]. 武漢: 華中師范大學, 2016: 1-16.

[15] 盧宏濤, 張秦川. 深度卷積神經(jīng)網(wǎng)絡在計算機視覺中的應用研究綜述[J]. 數(shù)據(jù)采集與處理, 2016, 31(1): 1-17.