基于BP的食品外觀品質(zhì)檢測(cè)可視化系統(tǒng)研究

吳秀君

(烏魯木齊職業(yè)大學(xué),新疆 烏魯木齊 830001)

隨著計(jì)算機(jī)技術(shù)的發(fā)展,機(jī)器學(xué)習(xí)的應(yīng)用越來越廣泛[1]。利用計(jì)算機(jī)代替人眼去識(shí)別加工大米外觀品質(zhì),是對(duì)過去傳統(tǒng)方法的改進(jìn),對(duì)于促進(jìn)我國(guó)大米品質(zhì)檢測(cè)技術(shù)的發(fā)展具有深刻的意義。目前,針對(duì)加工大米外觀品質(zhì)的篩選積累了很多經(jīng)驗(yàn),如李心悅等[2]介紹了糧食加工中常用的幾種機(jī)器視覺檢測(cè)方式,為加工大米外觀的篩選提供了參考;陳昊然等[3]則提出通過圖像識(shí)別技術(shù)對(duì)加工大米中的堊白粒進(jìn)行識(shí)別。以上研究為大米加工提供了參考。但本研究認(rèn)為,大米加工要識(shí)別多種加工大米,如堊白粒、黃米粒等。對(duì)此,為拓展智能技術(shù)在大米加工中的應(yīng)用,提出一種基于BP神經(jīng)網(wǎng)絡(luò)的大米可視化識(shí)別方法,并對(duì)該方案的可行性進(jìn)行驗(yàn)證。

1 大米外觀品質(zhì)檢測(cè)可視化系統(tǒng)整體框架

本系統(tǒng)總體劃分為采集和執(zhí)行裝置兩部分。前者負(fù)責(zé)采集圖像信息,涉及攝像頭、光源等;后者為自動(dòng)控制系統(tǒng)、升降以及旋轉(zhuǎn)、識(shí)別算法等。系統(tǒng)的結(jié)構(gòu)如圖1所示[4-5]。

1.檢測(cè)室;2.光源;3.托盤;4.絲杠螺母;5.步進(jìn)電機(jī);6.CCD攝像頭;7.攝像頭支架;8.數(shù)據(jù)線;9.計(jì)算機(jī)圖1 圖像采集裝置

2 硬件系統(tǒng)

2.1 采集裝置

檢測(cè)室實(shí)際為升降運(yùn)動(dòng)裝置,用于大米外觀檢測(cè)時(shí)高度的調(diào)整。其中,在檢測(cè)臺(tái)中放置樣品,然后將攝像頭置于樣品頂部,用于完成加工大米圖像的采集。另外,為形成漫反射的效果,需要將檢測(cè)室內(nèi)部涂刷成白色[6-7]。在檢測(cè)過程中,將右側(cè)的取樣窗關(guān)閉,然后打開光源,由此降低光照對(duì)圖像的不利影響,保證圖像質(zhì)量。

2.2 光源

機(jī)器視覺系統(tǒng)對(duì)光源要求高,因此必須選擇適宜的光源,確保圖像采集所需亮度及均勻性的要求。目前市場(chǎng)中出現(xiàn)了多種類型的光源,包括LED燈以及熒光燈等。這些光源在光源特性以及價(jià)格等方面存在一定差異,其中LED燈的穩(wěn)定性高,使用年限長(zhǎng),成本較低。因此采用圣格爾LED燈[8-9]。

2.3 圖像采集設(shè)備

基于專業(yè)化的圖像采集設(shè)備采集大米圖像,主要涉及到圖像采集卡以及攝像機(jī)。其中,采用日立HV-D20標(biāo)清3CCD攝像機(jī),其重量和體積均較小,易于部署和應(yīng)用,滿足了圖像采集的要求;圖像采集卡則采用加拿大Matrox公司的Metero-II/Multi-channel采集卡。

3 識(shí)別算法設(shè)計(jì)

通常情況下主要通過人眼觀察方式檢測(cè)大米的品質(zhì),這種傳統(tǒng)的方式不僅效率較低,而且可靠性不高,導(dǎo)致在大米中混入一些質(zhì)量不高的米粒,影響到消費(fèi)者的權(quán)益。因此基于圖像處理的檢測(cè)技術(shù),提升了大米品質(zhì)鑒定的準(zhǔn)確性[10]。

3.1 大米圖像預(yù)處理

3.1.1灰度化處理

由于采集到的圖像為RGB圖像,因此采用加權(quán)平均值計(jì)算RGB圖像的灰度值,得到如圖2的結(jié)果。根據(jù)圖2可知,在灰度化處理后,米粒更為清晰,便于描述大米的形態(tài)和數(shù)量。

圖2 灰度化處理

3.1.2圖像噪聲處理

受干擾因素的影響,采集到的大米圖像中含有一定的噪聲,這對(duì)于后續(xù)圖像處理會(huì)帶來不利的影響。因此采用中值濾波、均值濾波法等對(duì)圖像進(jìn)行處理[11-12]。

(1)中值濾波方法。將某點(diǎn)鄰域內(nèi)各個(gè)點(diǎn)的灰度值中位數(shù)作為該點(diǎn)的像素值。具體過程見圖3。

圖3 中值濾波過程

(2)最大值濾波法。以某點(diǎn)鄰域中的像素最大值作為該點(diǎn)的像素值。

(3)均值濾波法。以某點(diǎn)鄰域像素的均值作為該點(diǎn)像素值,其過程如圖4所示。

圖4 均值濾波模板

分別采用上述3種方法對(duì)圖2灰度化后的圖像進(jìn)行處理,得到的效果如圖5(a)～(c)所示。

圖5 圖像濾波

根據(jù)圖4可知,采用中值濾波方法處理之后,不僅有效壓制了噪聲,而且米粒清晰完整;而采用其他兩種方法處理之后仍然存在較多的噪聲,米粒不夠清晰,增大了米粒檢測(cè)的難度。因此該部分最終選用了中值濾波方法。

3.1.3背景分割

大米圖像主要?jiǎng)澐譃槊琢^(qū)域和背景區(qū)域兩部分。而要區(qū)分這兩種區(qū)域,一般通過背景分割技術(shù)對(duì)二者進(jìn)行有效地分離,具體思路是通過大律法計(jì)算最優(yōu)閾值,從而達(dá)到預(yù)期分割效果。具體計(jì)算公式為[13]:

式中,Z代表大米區(qū)域。當(dāng)f(x,y)的值分別為0、1時(shí),分別表示背景區(qū)域、大米區(qū)域,二者對(duì)應(yīng)的顏色為黑色、白色。

通過這種方法,得到背景區(qū)域和大米區(qū)域的分割效果如圖6所示。

圖6 背景分割

3.1.4圖像標(biāo)記算法

為更好地提取米粒特征參數(shù),采用八鄰域標(biāo)記算法對(duì)圖像中的各個(gè)像素點(diǎn)進(jìn)行遍歷,由此可以標(biāo)記整個(gè)連續(xù)區(qū)域。通過該算法處理后的效果如圖7所示。

3.2 大米外觀品質(zhì)識(shí)別模型構(gòu)建

3.2.1構(gòu)造特征數(shù)據(jù)庫(kù)

首先選擇4種品質(zhì)的大米類型(完善粒、堊白粒、黃米粒、碎米粒),各個(gè)類型的粒數(shù)均為800,然后通過5個(gè)不同的角度采集各個(gè)米粒的圖像4 000張,最后得到總數(shù)為16 000張的不同米粒圖像。在特征數(shù)據(jù)庫(kù)構(gòu)建方面采用大米長(zhǎng)寬比、面積等特征,并輸入到BP網(wǎng)絡(luò)中。部分大米樣本信息如表1所示。

表1 部分樣本特征參數(shù)信息

結(jié)合表1結(jié)果可知,不同品質(zhì)的大米在特征參數(shù)上存在一定的差異性,如在長(zhǎng)度方面,完善粒、黃米粒以及堊白?？傮w處于6.2～6.5 mm的范圍,但是碎米粒長(zhǎng)度明顯更低,總體處于5 mm以下;在面積方面,碎米?；镜陀?0 mm2,其他3種品質(zhì)的大米大多高于11 mm2;在長(zhǎng)寬比上,碎米粒基本低于2,其他3種總體保持在2.6上下;在寬度上,4種品質(zhì)的大米不存在明顯的區(qū)別,均處于2.3～2.5 mm范圍內(nèi);在色調(diào)均值上,黃米?？傮w處于[60,100]之間,而其他3種在分布區(qū)間上有一定的交疊現(xiàn)象。除了上述信息之外,在堊白度上,堊白粒占比高于12%,而其他三種基本低于12%。

將整個(gè)數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集以及測(cè)試集,3者比例為7∶2∶1。

3.2.2BP神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

BP網(wǎng)絡(luò)過程主要涉及網(wǎng)絡(luò)層數(shù)、神經(jīng)元數(shù)目等,具體的設(shè)計(jì)如下:

(1)網(wǎng)絡(luò)層數(shù)

基于MATLAB工具構(gòu)建BP網(wǎng)絡(luò),總體劃分為輸入層、隱含層以及輸出層3部分,均為單層結(jié)構(gòu)。

(2)神經(jīng)元數(shù)目

針對(duì)各個(gè)層次的神經(jīng)元數(shù)目進(jìn)行設(shè)置,對(duì)于輸入層、輸出層分別為6、4,前者對(duì)應(yīng)著長(zhǎng)寬比以及面積等6個(gè)特征參數(shù);后者對(duì)應(yīng)著4種品質(zhì)的大米。

隱含層神經(jīng)元設(shè)置的基本原則是:保證在滿足精度要求的基礎(chǔ)上盡量設(shè)置較少的數(shù)目,一般通過經(jīng)驗(yàn)方法進(jìn)行確定,其公式如下所示:

式中,k代表隱含層神經(jīng)元的數(shù)目;p、q分別是輸入層、輸出層的神經(jīng)元數(shù)目,此處分別取值為6、4;d為2,由此可以得到k為6。

根據(jù)以上設(shè)計(jì),得到網(wǎng)絡(luò)的基本結(jié)構(gòu)如圖8所示。

圖8 本研究的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

(3)超參數(shù)

學(xué)習(xí)率代表各次反向傳播修正權(quán)重的幅度,必須對(duì)該參數(shù)進(jìn)行合理地設(shè)置,當(dāng)過大或者過小時(shí)均會(huì)產(chǎn)生不利的影響,當(dāng)過高時(shí)容易出現(xiàn)過擬合;當(dāng)過低時(shí),則增大了訓(xùn)練的時(shí)間,難以滿足效率的要求?？紤]到上述要求,采用了動(dòng)態(tài)設(shè)置學(xué)習(xí)率的方法,在迭代初期設(shè)置較大的值,后期設(shè)置較小的值;迭代數(shù)為1 000,網(wǎng)絡(luò)誤差為0.005;隱含層、輸出層的激活函數(shù)分別是Sigmoid函數(shù)、線性函數(shù)。

綜合以上設(shè)計(jì),可以得出BP神經(jīng)網(wǎng)絡(luò)的大米外觀識(shí)別流程,具體如圖9所示。

4 試驗(yàn)驗(yàn)證

4.1 大米外觀識(shí)別結(jié)果

采用MATLAB 2014a構(gòu)建BP網(wǎng)絡(luò),并應(yīng)用到大米品質(zhì)檢測(cè)中。利用上述訓(xùn)練的BP模型,然后以測(cè)試集中的圖像進(jìn)行測(cè)試,得到結(jié)果如表2所示。

表2 大米品質(zhì)測(cè)試結(jié)果

表2中,標(biāo)簽1～4對(duì)應(yīng)著4種品質(zhì)類型,依次是完善粒、堊白粒、黃米粒、碎米粒。結(jié)合得到的結(jié)果可知,對(duì)于各個(gè)品質(zhì)類型的檢測(cè)效果是不同的,相對(duì)于其他兩種類型,對(duì)于黃米粒、堊白粒的檢測(cè)精度明顯更高。針對(duì)該現(xiàn)象進(jìn)行分析,發(fā)現(xiàn)主要與采用了堊白度以及色調(diào)均值有關(guān),此類信息極易受到外部環(huán)境條件的影響,因此對(duì)于識(shí)別結(jié)果的準(zhǔn)確性必然會(huì)產(chǎn)生一定的影響。結(jié)果顯示,相對(duì)于傳統(tǒng)的人工觀察方法,采用BP網(wǎng)絡(luò)達(dá)到了較高的識(shí)別準(zhǔn)確率(91.8%),而且降低了主觀因素的影響,適合于應(yīng)用到大米品質(zhì)檢測(cè)中。

4.2 軟件測(cè)試

基于以上的硬軟件和算法,搭建系統(tǒng),并對(duì)系統(tǒng)進(jìn)行運(yùn)行。

4.2.1實(shí)驗(yàn)條件

實(shí)驗(yàn)配置如表3所示。

表3 系統(tǒng)硬件

4.2.2程序開發(fā)

在程序開發(fā)方面利用Android Studio 3.4工具,包括設(shè)計(jì)界面以及代碼編寫等工作。

(a)人機(jī)交互界面的設(shè)計(jì)

Android Studio 3.4工具針對(duì)交互界面開發(fā)提供了多樣化的工具,可以直接通過ImageView、RadioButton等控件高效完成相關(guān)軟件界面的設(shè)計(jì),支持對(duì)文本顏色以及大小等進(jìn)行靈活地設(shè)置。CheckBox表示復(fù)選框控件,可用于實(shí)現(xiàn)多選功能;RadioButton、RadioGroup控件組合應(yīng)用可實(shí)現(xiàn)單選功能。

(b)網(wǎng)絡(luò)模型文件格式的轉(zhuǎn)化

這里主要涉及到了model.ckpt、events.out、checkpoint等文件,其中model.ckpt用于存儲(chǔ)網(wǎng)絡(luò)權(quán)重;checkpoint用于保存訓(xùn)練中的參數(shù)信息。

在程序開發(fā)完成之后即可進(jìn)行測(cè)試,將編譯完成的軟件安裝在Redmi 6 pro手機(jī)中,然后在手機(jī)中開始進(jìn)行測(cè)試,檢測(cè)軟件是否可以實(shí)現(xiàn)對(duì)大米品質(zhì)的檢測(cè)。具體的操作流程如下所示:

(a)首先需要采集大米圖像,該部分主要通過攝像頭對(duì)米粒進(jìn)行拍照;或者是直接利用手機(jī)中存儲(chǔ)的大米圖像;

(b)接著通過手機(jī)中的模型開始進(jìn)行檢測(cè);

(c)最后將檢測(cè)的結(jié)果呈現(xiàn)在界面中,可用于對(duì)大米的品質(zhì)進(jìn)行判斷,生成最終檢測(cè)的結(jié)果。

4.2.3識(shí)別結(jié)果

按照流程對(duì)各種品質(zhì)的大米進(jìn)行檢測(cè),得到表4的結(jié)果。

表4 測(cè)試結(jié)果對(duì)比

結(jié)合得到的結(jié)果可知,在2～3 s時(shí)間中即可完成對(duì)大米品質(zhì)的檢測(cè),效率和精度均較高。采用計(jì)算機(jī)和手機(jī)端進(jìn)行檢測(cè),對(duì)比二者檢測(cè)結(jié)果的差異性。對(duì)于各個(gè)品質(zhì)類型的大米分別輸入80張圖像,最終檢測(cè)的結(jié)果如表4所示。

根據(jù)上述結(jié)果可知,計(jì)算機(jī)、手機(jī)端的識(shí)別準(zhǔn)確率是不同的,二者分別是86.9%、85%,盡管有一定的差距,但是仍然處于合理范圍內(nèi),由此驗(yàn)證了該檢測(cè)方法的有效性。

4.3 實(shí)際應(yīng)用檢測(cè)

為進(jìn)一步驗(yàn)證上述方法的可行性,選擇市面上的大米進(jìn)行檢測(cè),從而得到圖10的可視化結(jié)果。

圖10 手機(jī)端檢測(cè)的可視化結(jié)果

5 結(jié)語

通過以上的研究看出,利用硬件+算法搭建的方式,實(shí)現(xiàn)了對(duì)加工大米的可視化檢測(cè),由此大大提高了加工大米外觀品質(zhì)辨別的效率,也為大米的加工提供了更多智能化手段。而通過實(shí)際測(cè)試結(jié)果也表明,本研究對(duì)不同類型大米的識(shí)別正確率均超過90%,且識(shí)別時(shí)間在2～3 s。由此說明本研究提出的方法可行。