智能水果識(shí)別稱(chēng)重系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

楊江波 孟小艷 熊加起 柯義新 唐輝林

摘要：近年來(lái)，計(jì)算機(jī)視覺(jué)技術(shù)不斷發(fā)展，引起了人工智能的一股熱潮。為了適應(yīng)現(xiàn)代化市場(chǎng)發(fā)展的需求，減少人工成本，提高工作效率，文章設(shè)計(jì)利用人工智能中的圖像識(shí)別技術(shù)，輔助攝像頭、重力傳感器、顯示屏、語(yǔ)音播報(bào)等設(shè)備構(gòu)成的智能電子秤，實(shí)現(xiàn)了對(duì)水果種類(lèi)的識(shí)別、自動(dòng)稱(chēng)重計(jì)價(jià)、語(yǔ)音播報(bào)和顯示，解決了傳統(tǒng)水果電子秤稱(chēng)重、支付方式的不足，減輕了人力讓生活更智能?；跇?shù)莓派的智能電子秤由于低成本、易部署的特點(diǎn)，可以廣泛用于生活領(lǐng)域。

關(guān)鍵詞：樹(shù)莓派；圖像識(shí)別；稱(chēng)重傳感器

中圖分類(lèi)號(hào)：TP391.41 ?文獻(xiàn)標(biāo)志碼：A

0 引言

基于樹(shù)莓派的智能水果識(shí)別系統(tǒng)在商場(chǎng)領(lǐng)域的發(fā)展已經(jīng)比較成熟，但在小超市等水果銷(xiāo)售中還有很大的發(fā)展空間。其開(kāi)發(fā)成本隨著嵌入式開(kāi)發(fā)技術(shù)、人工智能技術(shù)以及物聯(lián)網(wǎng)技術(shù)的成熟也在不斷下降，使得智能水果識(shí)別計(jì)價(jià)器在小超市等水果銷(xiāo)售中的應(yīng)用成為一種趨勢(shì)［1］。隨著計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展，作為計(jì)算機(jī)視覺(jué)領(lǐng)域分支的圖像識(shí)別技術(shù)也在不斷提高［2］。智能水果識(shí)別可以減少大中小企業(yè)的人工成本，避免工作人員長(zhǎng)期勞作造成的失誤，極大地提高了工作效率。

圖像識(shí)別技術(shù)的快速發(fā)展，也為智能電子秤的設(shè)計(jì)提供了更加智能化的發(fā)展方向。在不需要人為干預(yù)的情況下，自動(dòng)對(duì)圖像進(jìn)行識(shí)別、提取等操作，并對(duì)提取的目標(biāo)利用人工智能算法進(jìn)行分析，當(dāng)滿(mǎn)足條件時(shí)進(jìn)行計(jì)價(jià)［3］。當(dāng)前，該方向的研究有很多，程望斌等［4］以嵌入式單片機(jī)STC89C52為主控制器，設(shè)計(jì)一款可實(shí)現(xiàn)物品價(jià)格的設(shè)定、物體重量的測(cè)量和自動(dòng)計(jì)價(jià)等多功能智能電子秤。何靜等［5］研究了基于單片機(jī)STM32F103C8T6控制的電子秤系統(tǒng)。楊霈［6］通過(guò)對(duì)水果圖像進(jìn)行相應(yīng)的處理和Matlab GUI設(shè)計(jì)及一個(gè)水果識(shí)別系統(tǒng)界面結(jié)合，實(shí)現(xiàn)了對(duì)水果分類(lèi)。劉朝輝等［7］利用深度學(xué)習(xí)理論以及調(diào)用機(jī)器學(xué)習(xí)開(kāi)源軟件庫(kù)TensorFlow來(lái)實(shí)現(xiàn)水果識(shí)別。這也為本次設(shè)計(jì)提供了理論依據(jù)。

本設(shè)計(jì)設(shè)計(jì)的是一個(gè)基于圖像識(shí)別技術(shù)的智能電子秤，是一個(gè)集果蔬識(shí)別、質(zhì)量檢測(cè)、后臺(tái)計(jì)價(jià)技術(shù)于一體的稱(chēng)重體系。本文選擇樹(shù)莓派作為嵌入式開(kāi)發(fā)核心，研究圖像識(shí)別技術(shù)在嵌入式系統(tǒng)中的應(yīng)用，具有一定的理論意義。

1 總體設(shè)計(jì)闡述

為了滿(mǎn)足水果銷(xiāo)售商以及消費(fèi)者的需求，考慮價(jià)格和實(shí)用性等諸多因素之后，本設(shè)計(jì)將以樹(shù)莓派為核心處理器、以圖像識(shí)別技術(shù)為支撐，輔以USB攝像頭、稱(chēng)重傳感器、語(yǔ)音播報(bào)等設(shè)備。整體設(shè)計(jì)首先由重力感應(yīng)器檢測(cè)是否有重物放入，當(dāng)有重物放入時(shí)，觸發(fā)拍照功能進(jìn)行拍照。根據(jù)拍的靜態(tài)的圖片進(jìn)行特征的檢測(cè)識(shí)別。根據(jù)檢測(cè)出的水果種類(lèi)對(duì)應(yīng)出的相應(yīng)單價(jià)與檢測(cè)出的重量進(jìn)行處理，得出最終的價(jià)格，最終顯示出水果類(lèi)別、單價(jià)、重量、總價(jià)，并進(jìn)行語(yǔ)音播報(bào)?？傮w設(shè)計(jì)流程如圖1所示。

2 硬件設(shè)計(jì)

本次設(shè)計(jì)用到的硬件設(shè)備有基于樹(shù)莓派3代B+型開(kāi)發(fā)板的核心控制模塊、稱(chēng)重模塊以及圖片采集模塊。通過(guò)樹(shù)莓派接收稱(chēng)重傳感器傳來(lái)的水果重量的電信號(hào)，并對(duì)攝像頭所拍照片進(jìn)行水果種類(lèi)的識(shí)別。如果是某一種水果，就其合成相應(yīng)的文本，并調(diào)用百度AI語(yǔ)音合成，再通過(guò)調(diào)用Python中的Tkinter庫(kù)進(jìn)行相關(guān)信息的顯示，并進(jìn)行語(yǔ)音播報(bào)。

2.1 核心控制模塊

本次設(shè)計(jì)中使用的樹(shù)莓派版本是樹(shù)莓派3代B+型開(kāi)發(fā)板。由BCM2837B0型號(hào)CPU構(gòu)建的樹(shù)莓派3B+版本是升級(jí)后的3B版本博通處理器。更新后的版本優(yōu)化了樹(shù)莓派的性能和散熱器，使其擁有的時(shí)鐘頻率更好、芯片溫度更精準(zhǔn)。相較于3B版本，樹(shù)莓派3B+版本的處理器從1.2 GHz提升至1.4 GHz，不僅支持5 GHz WiFi頻段、藍(lán)牙版本Bluetooth 4.2、千兆以太網(wǎng)卡，還可以外接PoE供電（須配合獨(dú)立的擴(kuò)展板）的支持，使其性能更優(yōu)，提升了lPXE網(wǎng)絡(luò)穩(wěn)定性和USB吞吐容量，增強(qiáng)了整體熱管理能力（散熱）。樹(shù)莓派3B+版本中雙頻無(wú)線網(wǎng)卡和藍(lán)牙采用了Cypress CYW43455“combo”芯片使其在2.4 GHz和5 GHz的頻帶有更加優(yōu)異的表現(xiàn)，提高了200 MHz的峰值CPU時(shí)鐘頻率，有線和無(wú)線網(wǎng)絡(luò)的吞吐量也提高了3倍左右，保持高性能的時(shí)間更長(zhǎng)。

2.2 稱(chēng)重模塊

本次設(shè)計(jì)因考慮經(jīng)費(fèi)等相關(guān)問(wèn)題，所使用的稱(chēng)重傳感器型號(hào)是HX711。此稱(chēng)重傳感器可以將質(zhì)量信號(hào)轉(zhuǎn)變?yōu)榭蓽y(cè)量的電信號(hào)輸出，在眾多傳感器中銷(xiāo)量較好。HX711支持24位A/D轉(zhuǎn)換是專(zhuān)業(yè)的高精度A/D芯片。該芯片集成了其他同類(lèi)型芯片所需要的外圍電路，如穩(wěn)壓電源、內(nèi)時(shí)鐘振蕩器等，使其與同類(lèi)型其他芯片相比，具有集成度高、響應(yīng)速度快、抗干擾性強(qiáng)等優(yōu)點(diǎn)，不僅降低了電子秤的成本，還提升了電子秤的性能和可靠性。該傳感器內(nèi)部含有2個(gè)應(yīng)變片，應(yīng)變片內(nèi)有2個(gè)壓力電阻，共4個(gè)。由這4個(gè)壓力電阻組成的全橋式電路，可以有效提高測(cè)量精度。本次設(shè)計(jì)通過(guò)HX711稱(chēng)重傳感器稱(chēng)出水果的重量，將數(shù)據(jù)傳至樹(shù)莓派，并觸發(fā)USB攝像頭進(jìn)行拍照。

2.3 圖片采集模塊

本次設(shè)計(jì)使用的新型數(shù)據(jù)傳輸接口的USB數(shù)字?jǐn)z像頭進(jìn)行圖片的采集。該攝像頭的USB接口傳輸速度遠(yuǎn)遠(yuǎn)高于串口、并口的速度，減少了圖片采集的時(shí)間。在實(shí)際應(yīng)用中，也會(huì)相應(yīng)地減少稱(chēng)重和顧客等待的時(shí)間，有效提高交易效率。

3 軟件設(shè)計(jì)

為了實(shí)現(xiàn)圖像識(shí)別、語(yǔ)音播報(bào)及顯示屏顯示的功能，本研究重點(diǎn)進(jìn)行了軟件設(shè)計(jì)。首先，要準(zhǔn)確判斷出所拍攝照片是哪一種水果；其次，根據(jù)所識(shí)別的水果種類(lèi)判斷出該水果單價(jià)；最后，根據(jù)稱(chēng)重傳感器所稱(chēng)重量和單價(jià)通過(guò)代碼計(jì)算出總價(jià)，再進(jìn)行語(yǔ)音播報(bào)。

3.1 圖像識(shí)別模塊設(shè)計(jì)

本次設(shè)計(jì)使用百度AI進(jìn)行水果種類(lèi)的識(shí)別。百度AI可以識(shí)別近千種水果，通過(guò)調(diào)用百度AI，讀取相關(guān)圖片文件，對(duì)文件中所示水果進(jìn)行識(shí)別。當(dāng)重量穩(wěn)定時(shí)，程序輸出c進(jìn)行下一步，調(diào)用系統(tǒng)命令，進(jìn)行拍照，并保存圖片，命名為2.jpg，然后調(diào)用百度AI識(shí)別。拍照識(shí)別代碼如下：

if（int（a）==zldata）：

???print（"c"）

os.system（"fswebcam /dev/video0 2.jpg"）

request_url = "https：//aip.baidubce.com/rest/2.0/image-classify/v1/classify/ingredient"

# 二進(jìn)制方式打開(kāi)圖片文件

f = open（'2.jpg'， 'rb'）

??????????????img = base64.b64encode（f.read（））

params = {"image"： img}

access_token = '24.bb0be23e3998761531b109c0c015280c.2592000.1683091769.282335-27596940'

request_url = request_url + "？access_token=" + access_token

headers = {'content-type'： 'application/x-www-form-urlencoded'}

response = requests.post（request_url， data=params， headers=headers）

if response：

a = response.json（）

x = a［'result'］［0］［'name'］

print（x）

3.2 顯示與語(yǔ)音播報(bào)模塊設(shè)計(jì)

本次實(shí)驗(yàn)采用網(wǎng)頁(yè)照片進(jìn)行識(shí)別，用攝像頭對(duì)準(zhǔn)電腦上的實(shí)物圖片，對(duì)其進(jìn)行識(shí)別，且所稱(chēng)重量不是水果真實(shí)重量。本設(shè)計(jì)通過(guò)將重量信息與所拍攝照片識(shí)別結(jié)果結(jié)合，根據(jù)對(duì)應(yīng)水果的單價(jià)和重量，算出總價(jià)，將其合成相應(yīng)的文本，再通過(guò)調(diào)用百度AI語(yǔ)音合成，最后通過(guò)調(diào)用Python中的Tkinter庫(kù)進(jìn)行相關(guān)信息的顯示，并進(jìn)行語(yǔ)音播報(bào)。模塊中設(shè)置了種類(lèi)、重量、單價(jià)、總價(jià)和單位，以及它們的字體格式和大小，并顯示。顯示代碼如下：

root = tk.Tk（）

root.geometry（'300x300+100+100'）? # 設(shè)置窗口大小

root.title（'智能電子稱(chēng)'）? # 標(biāo)題

l1 = tk.Label（root， text='種類(lèi)'， bg='white'， font=（'Arial'， 12）， width=8， height=2）

l5 = tk.Label（root， text=zonglei， bg='white'， font=（'Arial'， 12）， width=8， height=2）

l2 = tk.Label（root， text='重量'， bg='white'， font=（'Arial'， 12）， width=8， height=2）

l6 = tk.Label（root， text=zldata/1000， bg='white'， font=（'Arial'， 12）， width=8， height=2）

l3 = tk.Label（root， text='單價(jià)'， bg='white'， font=（'Arial'， 12）， width=8， height=2）

l7 = tk.Label（root， text=danjia， bg='white'， font=（'Arial'， 12）， width=8， height=2）

l4 = tk.Label（root， text='總價(jià)'， bg='white'， font=（'Arial'， 12）， width=8， height=2）

l8 = tk.Label（root， text=zongjia， bg='white'， font=（'Arial'， 12）， width=8， height=2）

l9 = tk.Label（root， text='千克'， bg='white'， font=（'Arial'， 12）， width=8， height=2）

l10 = tk.Label（root， text='元/千克'， bg='white'， font=（'Arial'， 12）， width=8， height=2）

l11 = tk.Label（root， text='元'， bg='white'， font=（'Arial'， 12）， width=8， height=2）

l1.place（x=0， y=0）

l5.place（x=100， y=0）

l2.place（x=0， y=50）

l6.place（x=100， y=50）

l3.place（x=0， y=100）

l7.place（x=100， y=100）

l4.place（x=0， y=150）

l8.place（x=100， y=150）

l9.place（x=200， y=50）

l10.place（x=200， y=100）

l11.place（x=200， y=150）

root.after（5000， root.destroy）? # 參數(shù)是ms

root.mainloop（）? # 顯示整個(gè)窗口

root.quit（）

設(shè)置語(yǔ)音播報(bào)的相關(guān)內(nèi)容以及生成相應(yīng)的語(yǔ)音文件名。

合成加播代碼如下：

text = '當(dāng)前水果為'+zonglei+"當(dāng)前重量為"+str（zldata/1000）+"千克"+"單價(jià)為"+str（danjia）+"元每千克"+"總價(jià)為"+str（zongjia）+"元"? # 需要合成的語(yǔ)音

result = client.synthesis（text， 'zh'， 2， {'vol'： 1， }）

file_name = 'yy.mp3'

if not isinstance（result， dict）：

with open（file_name， 'wb'） as f：

f.write（result）

mixer.init（）

mixer.music.load（'yy.mp3'）

mixer.music.play（）

time.sleep（10）

mixer.music.stop（）

4 測(cè)試及結(jié)果

本次測(cè)試，分別用攝像頭對(duì)準(zhǔn)對(duì)蘋(píng)果、橘子和香蕉的照片進(jìn)行識(shí)別。分別對(duì)應(yīng)蘋(píng)果、橘子、香蕉的識(shí)別結(jié)果，并顯示出各自的重量、單價(jià)和總價(jià)，如圖2—4所示。智能電子秤上所顯示的結(jié)果如圖5所示。

5 結(jié)語(yǔ)

本次設(shè)計(jì)實(shí)現(xiàn)了稱(chēng)重器的基本功能，也可在此基礎(chǔ)上，通過(guò)機(jī)器學(xué)習(xí)等方式進(jìn)行水果種類(lèi)的識(shí)別與研究，對(duì)其進(jìn)行相應(yīng)的改進(jìn)，達(dá)到更好的識(shí)別效果。電子秤在人們的日常生活中隨處可見(jiàn)，它的實(shí)際應(yīng)用很廣泛。本次設(shè)計(jì)是以水果識(shí)別為主，也可將其拓展至其他領(lǐng)域。

參考文獻(xiàn)

［1］薛帥.基于人體目標(biāo)檢測(cè)的家用智能監(jiān)控系統(tǒng)［D］.西安：西安科技大學(xué)，2018.

［2］李彪.基于雙目立體視覺(jué)三維重建技術(shù)研究［D］.西安：西安科技大學(xué)，2018.

［3］王秀偉.銀行自助營(yíng)業(yè)廳智能應(yīng)用解決方案［J］.中國(guó)公共安全，2017（5）：137-138.

［4］程望斌，劉碩卿，王曾盛，等.多功能電子秤的優(yōu)化設(shè)計(jì)與實(shí)現(xiàn)［J］.湖南理工學(xué)院學(xué)報(bào)，2019（3）：23-25.

［5］何靜，艾利，金闖.智能稱(chēng)重系統(tǒng)的優(yōu)化設(shè)計(jì)及應(yīng)用［J］.衡器，2021（7）：15-17，25.

［6］楊霈.基于matlab GUI的水果識(shí)別系統(tǒng)［J］.電子制作，2021（12）：38-39.

［7］劉朝輝，王維高.基于TensorFlow的水果識(shí)別系統(tǒng)設(shè)計(jì)［J］.電腦知識(shí)與技術(shù)，2021（3）：190-191，203.

（編輯 姚 鑫）

Design and implementation of intelligent fruit recognition weighing system

Yang? Jiangbo， Meng? Xiaoyan*， Xiong? Jiaqi， Ke Yixin， Tang? Huilin

（School of Computer and Information Engineering， Xinjiang Agricultural University， Urumqi 830052， China）

Abstract：? In recent years， the continuous development of computer vision technology has caused an upsurge of artificial intelligence. In order to meet the needs of modern market development， reduce labor costs and improve work efficiency， this design uses the image recognition technology in artificial intelligence， intelligent electronic scales composed of auxiliary cameras， gravity sensors， display screens， voice broadcast and other equipment to realize the recognition of fruit types， automatic weighing and pricing， voice broadcast and display， and solve the shortcomings of traditional fruit electronic scales in weighing and payment methods， It can reduce manpower and make life more intelligent. The smart electronic scale based on Raspberry Pi can be widely used in the life field due to its low cost and easy deployment.

Key words： Raspberry Pi; image identification; weighing sensor