釀酒高粱不完善粒檢測(cè)儀檢測(cè)模型的研究與檢驗(yàn)

李小紅，褚毅宏，毛育志，尹冠軍，聶 葉，焦 富?

（1. 貴州茅臺(tái)酒股份有限公司，貴州 仁懷 564500；2. 邇言（上海）科技有限公司，上海 200000）

高粱是我國(guó)的主要雜糧作物之一，也是釀造白酒的最佳原料[1]。高粱籽粒質(zhì)量的優(yōu)劣直接關(guān)系著釀造白酒的品質(zhì)。高粱的質(zhì)量指標(biāo)主要有容重、不完善粒、雜質(zhì)、水分等[2]。目前在高粱質(zhì)量參數(shù)不完善粒的檢測(cè)識(shí)別中基本采用人工檢測(cè)方法[3-4]，該方法存在重復(fù)性差、檢測(cè)速度慢、主觀因素強(qiáng)和耗時(shí)費(fèi)力等缺點(diǎn)。不能滿足高粱不完善?？焖贉?zhǔn)確檢測(cè)的需求。儀器法代替人工感官檢測(cè)是糧食檢測(cè)行業(yè)發(fā)展的重點(diǎn)、難點(diǎn)和必然趨勢(shì)。

目前在糧食的不完善粒檢測(cè)方面自動(dòng)識(shí)別方法有基于圖像特征的機(jī)器視覺(jué)技術(shù)[5-6]、基于高光譜的成像技術(shù)[7-8]、基于聲學(xué)原理的檢測(cè)技術(shù)[9]、近紅外光譜[10]等檢測(cè)方法。但基本應(yīng)用于小麥、玉米、稻谷等糧食作物[5,11-12]，而高粱不完善粒的自動(dòng)識(shí)別技術(shù)相關(guān)文獻(xiàn)報(bào)道極少。本文采用視覺(jué)成像系統(tǒng)收集各種類型高粱粒的成像，利用梯度圖求取高粱的所在區(qū)域的掩膜圖像，基于深度卷積神經(jīng)網(wǎng)絡(luò)識(shí)別技術(shù)建立了高粱不完善粒（生霉、蟲(chóng)蝕、發(fā)芽、破碎等不完善粒）的識(shí)別模型，該方法解決了高粱籽粒小帶來(lái)的成像識(shí)別問(wèn)題，同時(shí)滿足了高粱中不完善粒的快速準(zhǔn)確無(wú)損檢測(cè)，為白酒釀造企業(yè)原料質(zhì)量監(jiān)控提供了技術(shù)參考。

1 圖像采集技術(shù)

1.1 材料

高粱樣本若干；高粱完善粒與不完善粒的挑選由質(zhì)檢員人工檢測(cè)，分別選出完善粒、霉變粒、蟲(chóng)蝕粒、發(fā)芽粒、破損粒等樣本各100 g。

1.2 儀器與設(shè)備介紹

目前市場(chǎng)上的儀器采圖采用單面或者雙面拍照。這樣的采圖方式往往會(huì)漏拍部分含缺陷的籽粒，或者是缺陷拍出來(lái)表現(xiàn)的不夠完整；另外籽粒之間的堆疊也可能造成預(yù)處理分割時(shí)籽粒的不完整，基于這些考慮，本文采用了邇言（上海）科技有限公司的一種可以逐粒下料的4個(gè)面拍照采樣的糧食不完善率檢測(cè)儀。

設(shè)備采用360°分布的四個(gè)攝像頭對(duì)高粱顆粒逐粒拍照，攝像頭采用的是工業(yè)相機(jī)，光源采用面光源呈360°均勻分布于攝像頭中間。高粱顆粒經(jīng)振動(dòng)器逐粒呈自由落體方式落入圖像采集區(qū)域進(jìn)行采集拍照。

設(shè)備整個(gè)硬件系統(tǒng)由放料模塊、振動(dòng)下料模塊、控制模塊組件、圖像采集模塊、樣品收集模塊、稱重模塊組成。軟件部分包括人機(jī)交互界面接口、串口通信模塊、自動(dòng)識(shí)別模塊、數(shù)據(jù)管理模塊等組成。串口通信模塊主要實(shí)現(xiàn)軟件上位機(jī)與控制部分板卡進(jìn)行通信控制；圖像采集模塊以顆粒觸發(fā)光電傳感器的方式來(lái)觸發(fā)式的拍照采集；自動(dòng)識(shí)別模塊將圖像采集模塊獲取的圖片進(jìn)行識(shí)別；數(shù)據(jù)管理模塊對(duì)識(shí)別的結(jié)果進(jìn)行存儲(chǔ)和展示。大致的系統(tǒng)流程圖如圖1所示。

圖1 設(shè)備系統(tǒng)流程圖Fig.1 Equipment system flow chart

1.3 圖像預(yù)處理

1.3.1 圖像采集

分別采集高粱中的完善粒、霉變粒、蟲(chóng)蝕粒、發(fā)芽粒、破碎粒、擦皮粒等類型的樣品，分類進(jìn)樣，通過(guò)視覺(jué)成像系統(tǒng)，逐粒檢測(cè)，360°圖像采集，實(shí)時(shí)采集各種不完善粒樣品信息，每粒高粱得到 4張圖像，收集各種類型的樣品照片共約168 543張。

1.3.2 目標(biāo)圖像獲取

由于圖像采集系統(tǒng)采用的是工業(yè)相機(jī)，處于工業(yè)相機(jī)景深范圍外的大部分背景為黑色背景，這為圖片中高粱所在區(qū)域的提取提供了很大的方便，考慮到圖片背景等原因，本文采用梯度圖求取糧食所在區(qū)域的掩膜圖像。通過(guò)掩膜圖像對(duì)高粱圖像進(jìn)行目標(biāo)框的識(shí)別，利用目標(biāo)框截取高粱圖像，然后通過(guò)填充（padding）和放縮（resize）的方法得到300*300像素的高粱圖片。

2 識(shí)別方法的研究

圖像識(shí)別是指利用計(jì)算機(jī)對(duì)圖像進(jìn)行處理、分析和理解。圖像識(shí)別的主要流程分為四個(gè)步驟：圖像采集、圖像預(yù)處理、特征提取、圖像識(shí)別。圖像識(shí)別是以圖像的主要特征為基礎(chǔ)來(lái)進(jìn)行識(shí)別，每個(gè)圖像都有它的特征，如字母A有個(gè)尖，P有個(gè)圈、而Y的中心有個(gè)銳角等。計(jì)算機(jī)視覺(jué)從傳統(tǒng)的低級(jí)特征提取到深度學(xué)習(xí)提取特征經(jīng)歷了幾十年的發(fā)展?；谟?jì)算機(jī)視覺(jué)的發(fā)展歷程，本文分別從單一特征識(shí)別、基于機(jī)器學(xué)習(xí)多特征融合的圖像識(shí)別、基于深度學(xué)習(xí)的圖像識(shí)別、基于細(xì)粒度分類的圖像識(shí)別對(duì)高粱不完善粒的識(shí)別進(jìn)行了研究。

2.1 單一特征識(shí)別

圖像最底層的特征包括顏色特征、形狀特征、紋理特征等，這些在所分析的對(duì)象不復(fù)雜的時(shí)候就可以滿足圖像識(shí)別的要求。比如高粱的破損，直觀上可以用長(zhǎng)、寬、長(zhǎng)寬比或白色像素面積去做篩選，但是針對(duì)糧食這種生物特征波動(dòng)較大的對(duì)象，僅僅用這些基礎(chǔ)的特征去判斷破損還遠(yuǎn)遠(yuǎn)不夠。從高粱的實(shí)物來(lái)觀察，有很多體型較小的高粱顆粒的長(zhǎng)寬比特征與破損顆粒的長(zhǎng)寬比特征有差異，然而從所采樣的圖片中任取完善粒 100粒，破損粒100粒，對(duì)它們做長(zhǎng)寬比的統(tǒng)計(jì)，統(tǒng)計(jì)如圖2所示。完善粒與破損粒的長(zhǎng)寬比分布有很大的重疊，所以長(zhǎng)寬比很難識(shí)別出完善與破損。同理，從紅纓子高粱的顆粒來(lái)看，也有很多長(zhǎng)的比較白的高粱，僅用白色像素去做破損的判斷也欠妥，另外反光的影響也會(huì)導(dǎo)致顏色分析出現(xiàn)偏差。

圖2 長(zhǎng)寬比分布Fig.2 Distribution of aspect ratio

2.2 基于機(jī)器學(xué)習(xí)多特征融合圖像識(shí)別

從上一節(jié)的示例中可以看出，單一的特征識(shí)別存在大量誤判的問(wèn)題，不適用于這類應(yīng)用場(chǎng)景。破損顆粒綜合了長(zhǎng)、寬、長(zhǎng)寬比、白色像素這些特征，甚至還表現(xiàn)出了邊緣的非凸性。通過(guò)分析高粱的不完善粒特征可以知道，高粱不完善粒的識(shí)別屬于多特征融合圖像識(shí)別的范疇?？梢越柚诟吡坏男螒B(tài)特征、顏色特征和紋理等特征對(duì)不完善粒情況進(jìn)行綜合評(píng)價(jià)。本方法借助于以上三類特征進(jìn)行主成分分析，通過(guò)特征參數(shù)的優(yōu)選，最后建立 SVM 模型，實(shí)現(xiàn)對(duì)高粱不完善粒的分類[16]。該方法的訓(xùn)練精度和測(cè)試精度見(jiàn)表1所示，由表中數(shù)據(jù)可以看出該方法的識(shí)別精度不高。

表1 算法訓(xùn)練與驗(yàn)證精度Table 1 Algorithm training and validation accuracy

2.3 基于深度學(xué)習(xí)的圖像識(shí)別

從 2.2節(jié)中可以看出，基于機(jī)器學(xué)習(xí)的多特征融合圖像識(shí)別技術(shù)相比于2.1節(jié)中的單一特征技術(shù)在圖像識(shí)別上能實(shí)現(xiàn)一定程度的高粱不完善粒分類。但是精度比較低。

基于深度學(xué)習(xí)的圖像識(shí)別技術(shù)雖然也是融合了圖像的多個(gè)特征進(jìn)行識(shí)別，但是不同于基于機(jī)器學(xué)習(xí)的多特征融合技術(shù)需要人工提取圖像的特征，深度學(xué)習(xí)則通過(guò)不斷的學(xué)習(xí)擬合自動(dòng)的去學(xué)習(xí)圖像的特征。卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一類包含卷積計(jì)算并且含有深層次結(jié)構(gòu)的深度學(xué)習(xí)網(wǎng)絡(luò)[13]，在圖像分類和分割、目標(biāo)檢測(cè)等方面的應(yīng)用中表現(xiàn)出色[14]。CNN網(wǎng)絡(luò)模型主要包含卷積層、池化層、全連接層，其中常用的圖像分類卷積神經(jīng)網(wǎng)絡(luò)模型有 Alexnet、VGGnet、inception net、Resnet、SeNet等。

高粱不完善粒的識(shí)別需要識(shí)別出高粱中的完善粒和不完善粒類別，這本質(zhì)上屬于圖像分類的課題。但是高粱不完善粒的識(shí)別融合了粗粒度和細(xì)粒度分類的問(wèn)題，同時(shí)還存在多標(biāo)簽的問(wèn)題（即某一粒高粱可能同時(shí)具備幾種不完善類別的標(biāo)簽）。為了簡(jiǎn)化建模的方法，本方法選用前文提到的常見(jiàn)的圖像分類卷積神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)高粱進(jìn)行識(shí)別，為減少計(jì)算成本，本方法采用基于SeNet框架的Se-Resnet50[17]網(wǎng)絡(luò)進(jìn)行識(shí)別研究。該方法的訓(xùn)練精度和測(cè)試精度見(jiàn)表1所示，由表中數(shù)據(jù)可知該方法有比較高的識(shí)別精度。

2.4 基于細(xì)粒度分類的圖像識(shí)別

為滿足更精細(xì)化的圖像類別預(yù)測(cè)需求，模型不能只停留在宏觀尺度上進(jìn)行粗略類別劃分，而是要進(jìn)入更加微觀的尺度“洞察秋毫”。而這種微觀尺度的分類任務(wù)稱之為細(xì)粒度圖像分類。細(xì)粒度圖像分類是近年來(lái)CV領(lǐng)域的一個(gè)熱門研究方向。細(xì)粒度圖像的類別劃分更加細(xì)化，類別之間差異更加細(xì)微，只能借助于微小的局部差異才能對(duì)不同類別進(jìn)行區(qū)分。近些年來(lái)針對(duì)細(xì)粒度分類問(wèn)題，涌現(xiàn)出很多優(yōu)秀的網(wǎng)絡(luò)，比如MG-CNN、Bilinear-CNN、ST-CNN、RA-CNN，WS-DAN，TASN等。本文采用TASN[18]網(wǎng)絡(luò)來(lái)做預(yù)測(cè)分析。該方法的訓(xùn)練精度和測(cè)試精度見(jiàn)表1所示，由表中數(shù)據(jù)可知該方法較之前提到的方法精度都達(dá)到了最優(yōu)。

3 結(jié)果與分析

由 2.1節(jié)的分析可以看出基于單一特征的圖像識(shí)別技術(shù)沒(méi)有很明顯的識(shí)別特征，后續(xù)將不再做該方法的驗(yàn)證。

3.1 圖像處理

按照人工不完善粒檢測(cè)標(biāo)準(zhǔn)，分別采集高粱中的完善粒、霉變粒、蟲(chóng)蝕粒、發(fā)芽粒、破碎粒等類型的樣品，分類進(jìn)樣采集圖片。如圖3所示為高粱不完善粒、完善粒和雜質(zhì)樣圖示例。

圖3 不完善粒、完善粒和雜質(zhì)示例Fig.3 Example of imperfect granules,perfect granules and impurities

由經(jīng)驗(yàn)豐富的檢驗(yàn)人員人工挑選各種類型的樣品照片共約168 543張，其中完善粒96 836張、擦皮粒4 183張、破損粒63 921張、蟲(chóng)蝕粒252張、生霉粒521張、生芽粒2 280張，雜質(zhì)550張。

3.2 實(shí)驗(yàn)結(jié)果對(duì)比

從收集的圖片數(shù)量可看出，這是典型的長(zhǎng)尾分布。訓(xùn)練時(shí)用到一些常見(jiàn)的數(shù)據(jù)增強(qiáng)方法和均衡數(shù)據(jù)策略來(lái)訓(xùn)練和調(diào)整參數(shù)。

3.2.1 驗(yàn)證集精度

將所收集到的數(shù)據(jù)按 4∶1劃分訓(xùn)練集和驗(yàn)證集，分別對(duì)章節(jié)2中提到的SVM、Se-Resnet50、TASN做訓(xùn)練分析。三種算法訓(xùn)練和驗(yàn)證的結(jié)果見(jiàn)表1。

3.2.2 準(zhǔn)確性驗(yàn)證

為了驗(yàn)證算法在線實(shí)時(shí)檢測(cè)的準(zhǔn)確性，在儀器中采集一個(gè)樣本的圖片后，分別用這些算法進(jìn)行識(shí)別，結(jié)合數(shù)據(jù)庫(kù)中存儲(chǔ)的像素面積來(lái)折算儀器的不完善率。

具體實(shí)驗(yàn)步驟如下：

1. 實(shí)驗(yàn)選取了 12組實(shí)驗(yàn)高粱樣品，根據(jù)GB/T 5494—2019《糧油檢驗(yàn) 糧食、油料的雜質(zhì)、不完善粒檢驗(yàn)》，每組樣品凈重為 50 g，測(cè)試前18目過(guò)篩，篩除細(xì)小的碎粒和粉塵。

2. 利用本文所述儀器進(jìn)行圖像采集拍照，得到每一粒高粱的4個(gè)方向的高清圖片。

3. 利用章節(jié)2中所述算法，計(jì)算不完善粒比率。

4. 利用儀器中數(shù)據(jù)庫(kù)存儲(chǔ)的每一粒的像素面積信息校準(zhǔn)折算高粱各項(xiàng)的不完善率。

5. 人工檢測(cè)樣品計(jì)算不完善率。

6. 比較不完善率的差異，見(jiàn)表2。

表2 算法實(shí)驗(yàn)數(shù)據(jù)表Table 2 Algorithm experiment data table %

根據(jù)GB/T 5494—2019《糧油檢驗(yàn) 糧食、油料的雜質(zhì)、不完善粒檢驗(yàn)》中不完善率的檢驗(yàn)方法，儀器基于自帶的自動(dòng)分揀系統(tǒng)稱重計(jì)算高粱不完善率。從表中看出深度學(xué)習(xí)的檢測(cè)結(jié)果跟人工的值比較接近，與人工的平均誤差在 0.48%，滿足高粱不完善率檢測(cè)的偏差要求。

3.2.3 重復(fù)性驗(yàn)證

從模型驗(yàn)證精度和跟人工對(duì)比的人機(jī)差精度，最終選擇TASN網(wǎng)絡(luò)部署到設(shè)備上，部署采用Tensorrt加速的技術(shù)，最終儀器檢測(cè)時(shí)間控制在了5分鐘以內(nèi)。為了驗(yàn)證整機(jī)的重復(fù)性，根據(jù)LS/T 6402—2017《糧油檢驗(yàn) 設(shè)備和方法標(biāo)準(zhǔn)適用性驗(yàn)證及結(jié)果評(píng)價(jià)一般原則》對(duì)37份樣品進(jìn)行n=6次重復(fù)檢測(cè)，該模型檢測(cè)的不完善率相對(duì)標(biāo)準(zhǔn)偏差（RSD%）為 0.0%～1%，平均 0.46%，重復(fù)性小于0.5%。

4 結(jié)論

本研究從釀酒企業(yè)的需求出發(fā)，以高粱不完善粒檢測(cè)作為課題，選用了邇言（上海）科技有限公司的一款基于逐粒 360°拍照采圖的糧食不完善率檢測(cè)儀。在圖像識(shí)別上，分別采用單一特征、機(jī)器學(xué)習(xí)、粗粒度圖像分類、細(xì)粒度圖像分類的技術(shù)進(jìn)行了研究，開(kāi)發(fā)了基于視覺(jué)成像系統(tǒng)與深度卷積神經(jīng)網(wǎng)絡(luò)模型的高粱不完善率快速檢測(cè)儀。該儀器能夠?qū)Ω吡徊煌晟屏＃棺兞！⑾x(chóng)蝕粒、發(fā)芽粒、破損粒、擦皮粒）進(jìn)行快速的無(wú)損識(shí)別，相比于傳統(tǒng)人工檢測(cè)方法極大地提高了高粱不完善粒的檢測(cè)效率。另外，該方法同樣適用于其他糧食的檢測(cè)，為其他糧種檢測(cè)儀器的開(kāi)發(fā)提供方法和參考。