基于深度學(xué)習(xí)的智能果蔬秤研究與設(shè)計(jì)

許成浩 李葦杭

摘 ?要：隨著社會的飛速發(fā)展，在城市智能化的潮流下，各種無人售貨機(jī)、無人收銀系統(tǒng)應(yīng)運(yùn)而生。該文提出了一種基于深度學(xué)習(xí)的智能果蔬秤，其主體結(jié)構(gòu)包括視覺檢測系統(tǒng)和系統(tǒng)硬件結(jié)構(gòu)。其工作原理是：以STM32F103RCT6作為主控單元，搭建一個(gè)基于視覺的果蔬稱重平臺秤。通過傳統(tǒng)的視覺識別以及基于深度學(xué)習(xí)的果蔬圖像識別在線檢測水果種類，并在之后調(diào)用數(shù)據(jù)庫中果蔬單價(jià)，在上位機(jī)上顯示出水果實(shí)際價(jià)格，顧客即可通過掃描液晶屏上的二維碼，完成支付。該系統(tǒng)打破了傳統(tǒng)智能秤識別上的局限性，能夠直接通過攝像頭獲取的圖像進(jìn)行商品分類和價(jià)格計(jì)算。同時(shí)，作品提出了網(wǎng)絡(luò)通信模塊的構(gòu)建，顧客能夠直接掃描二維碼付款，省去了收銀的人力消耗。

關(guān)鍵詞：圖像識別 ?稱重傳感 ?深度學(xué)習(xí) ?智能秤識別支付系統(tǒng)

中圖分類號：TH715 ? 文獻(xiàn)標(biāo)識碼：A ? ? ? ? ? ? ? ? ? ? ? ? 文章編號：1672-3791（2019）05（c）-0011-02

早在20世紀(jì)70年代，國外就開始將機(jī)器視覺技術(shù)應(yīng)用于農(nóng)產(chǎn)品的品質(zhì)檢測分級和品種分類識別中，截至現(xiàn)在，其計(jì)算機(jī)視覺技術(shù)已經(jīng)廣泛應(yīng)用于農(nóng)產(chǎn)品的各個(gè)領(lǐng)域。跟國外研究進(jìn)展相比，我國關(guān)于計(jì)算機(jī)視覺在農(nóng)產(chǎn)品領(lǐng)域的應(yīng)用研究開展較晚，但是近年來已經(jīng)取得了一些進(jìn)步。從國內(nèi)外研究人員的現(xiàn)有研究成果來看，對于計(jì)算機(jī)視覺技術(shù)在農(nóng)產(chǎn)品領(lǐng)域的研究應(yīng)用，大多數(shù)集中在農(nóng)產(chǎn)品的檢測分級以及針對單個(gè)果蔬的分類識別上面，對于任意多個(gè)數(shù)量的果蔬識別研究比較少。

近年來，深度卷積網(wǎng)絡(luò)在計(jì)算機(jī)視覺方面的良好性能越發(fā)凸顯。同樣是基于模式識別的圖像研究，基于卷積神經(jīng)網(wǎng)絡(luò)的果蔬識別可以預(yù)見到可行性。作為果蔬商品化的一個(gè)重要環(huán)節(jié)，我國果蔬識別分類主要依靠人工完成，分類精度不穩(wěn)定。目前，傳統(tǒng)的超市通過掃描條形碼識別商品的價(jià)格。但這種方式存在一定的弊端：因?yàn)閷?shí)際生活中，給每個(gè)農(nóng)產(chǎn)品都貼上二維碼等標(biāo)簽來進(jìn)行售賣顯然是不可行的。由此可見，果蔬智能秤的研發(fā)勢在必行。

1 ?系統(tǒng)整體設(shè)計(jì)

整個(gè)智能果蔬秤由桁架、稱重系統(tǒng)和攝像頭3個(gè)部分組成，外接網(wǎng)絡(luò)，以實(shí)現(xiàn)果蔬的在線檢測、智能識別稱重以及付款功能。系統(tǒng)結(jié)構(gòu)圖如圖1所示。

2 ?系統(tǒng)上下位機(jī)設(shè)計(jì)

2.1 圖像模塊設(shè)計(jì)

為了方便系統(tǒng)管理員實(shí)時(shí)監(jiān)控，上位機(jī)采集圖像需采用云網(wǎng)絡(luò)方式進(jìn)行發(fā)送。為了便于果蔬識別，裝載的攝像頭需要有一個(gè)較大的視角。因此，該系統(tǒng)選擇羅技C270/i的網(wǎng)絡(luò)攝像頭，最高提供78°的視角，滿足設(shè)計(jì)需求，并采用OpenCV-Python進(jìn)行圖像處理。

2.2 硬件結(jié)構(gòu)設(shè)計(jì)

AD轉(zhuǎn)換傳感器采用HX711，該芯片集成了包括穩(wěn)壓電源、片內(nèi)時(shí)鐘振蕩器等其他同類型芯片所需要的外圍電路，具有集成度高、響應(yīng)速度快、抗干擾性強(qiáng)等優(yōu)點(diǎn)。

稱重傳感部分采用半導(dǎo)體壓電阻抗擴(kuò)散壓力傳感器，在薄片表面形成半導(dǎo)體變形壓力，通過外力（壓力）使薄片變形而產(chǎn)生壓電阻抗效果，從而使阻抗的變化轉(zhuǎn)換成電信號。

光學(xué)傳感部分采用CMOS圖像傳感器，當(dāng)外界光照射像素陣列，發(fā)生光電效應(yīng)，在像素單元內(nèi)產(chǎn)生相應(yīng)的電荷，再經(jīng)過A/D轉(zhuǎn)換成數(shù)字圖像信號輸出。

2.3 程序設(shè)計(jì)

下位機(jī)程序基于Keil4.7 for ARM平臺編寫，作品通過主控芯片控制傳感器采集數(shù)據(jù)，再通過串口將采集數(shù)據(jù)傳至上位機(jī)。

2.4 圖像識別與處理設(shè)計(jì)

對于果蔬識別而言，目前最有效的處理方法是在圖像預(yù)處理階段進(jìn)行顏色空間轉(zhuǎn)換，從BGR空間轉(zhuǎn)到HSV顏色空間。然后從中分離出H（色調(diào)）分量，進(jìn)行顏色判別。相較于傳統(tǒng)的機(jī)器視覺方法，深度卷積神經(jīng)網(wǎng)絡(luò)在大數(shù)據(jù)的訓(xùn)練下，從大量數(shù)據(jù)中識別出有用特征，再采用深度學(xué)習(xí)技術(shù)，通過大量樣本訓(xùn)練，利用分類器去檢測目標(biāo)。

經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)包括卷積神經(jīng)層、ReLU層、Pooling層和規(guī)范化層。卷積神經(jīng)網(wǎng)絡(luò)沿用了普通的神經(jīng)元網(wǎng)絡(luò)，即多層感知器的結(jié)構(gòu)，是一個(gè)前饋網(wǎng)絡(luò)。以應(yīng)用于圖像領(lǐng)域的CNN為例（如圖2所示），CNN的模型與BP神經(jīng)網(wǎng)絡(luò)的模型類似，都選用前向傳播計(jì)算輸出值，反向傳播調(diào)整權(quán)重和偏置的方法;但它們兩者之間的最大差異是 CNN中相鄰兩層的神經(jīng)元之間采用部分連接的方式，而不是BP神經(jīng)網(wǎng)絡(luò)中采用的全連接方式。

該文采用的圖像采集設(shè)備是分辨率為640×580的數(shù)碼相機(jī)，此次選取了10種水果，在不同光照條件下從多個(gè)不同角度對水果進(jìn)行圖像采集。從計(jì)算角度考慮，我們將所有圖像分別縮放到64×64和32×32兩種尺寸，并將RGB圖像進(jìn)行灰度化處理轉(zhuǎn)換成灰度圖像。經(jīng)過預(yù)處理得到水果圖像樣本并在每類水果中隨機(jī)選取500張圖像建立訓(xùn)練數(shù)據(jù)集，剩下100張圖片作為測試數(shù)據(jù)集。訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集之間沒有重疊。

2.5 界面設(shè)計(jì)

上位機(jī)界面設(shè)計(jì)如圖3所示。

3 ?結(jié)語

該文對基于深度學(xué)習(xí)的智能果蔬秤進(jìn)行研究與設(shè)計(jì)能夠?qū)崿F(xiàn)果蔬的智能識別和品質(zhì)分類。區(qū)別于傳統(tǒng)智能秤和現(xiàn)存的通過掃描條形碼來識別的智能秤，僅通過圖像處理就可以實(shí)現(xiàn)準(zhǔn)確的分類，更加簡便，易于使用。同時(shí)采用網(wǎng)絡(luò)攝像頭可以實(shí)時(shí)傳輸圖像，有利于市場的實(shí)時(shí)監(jiān)管。作品設(shè)計(jì)了掃碼支付模塊，無需人工收款，實(shí)現(xiàn)了稱重支付的一體化服務(wù)。作品建立了深度學(xué)習(xí)的數(shù)據(jù)集，在3種不同光照條件下從多個(gè)角度對果蔬圖像進(jìn)行采集，可以識別不同光照、不同角度的果蔬，提高識別準(zhǔn)確性和適應(yīng)能力。

參考文獻(xiàn)

[1] 葛紀(jì)帥，趙春江，黃文倩，等.基于智能稱重水果分級生產(chǎn)線設(shè)計(jì)[J].農(nóng)機(jī)化研究，2012（1）：126-130.

[2] 朱明，田爽，周峰，等.基于圖像處理的果蔬溯源秤系統(tǒng)設(shè)計(jì)與開發(fā)[J].電子器件，2016，39（2）：488-494.

[3] 蘇軍雄，見雪婷，劉瑋，等.基于可變卷積神經(jīng)網(wǎng)絡(luò)的手勢識別方法[J].計(jì)算機(jī)與現(xiàn)代化，2018（4）：63-67.

[4] 王振，高茂庭.基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識別算法設(shè)計(jì)與實(shí)現(xiàn)[J].現(xiàn)代計(jì)算機(jī)：專業(yè)版，2015（20）：61-66.

[5] 高瑞軍，黃永勝，虞玲，等.一種應(yīng)用于溯源秤的計(jì)算機(jī)視覺果蔬識別算法[J].信息化研究，2013，39（6）：15-18.