基于Tensorflow Lite 的中草藥嵌入式識(shí)別器

陳治成，孫浩杰，譚展鴻

（佛山科學(xué)技術(shù)學(xué)院，廣東佛山，528231）

0 引言

中草藥的使用可以追溯到幾千年前，是我們中華民族的寶貴財(cái)富。在現(xiàn)代醫(yī)學(xué)發(fā)展的今天，草藥依然發(fā)揮著不可替代的作用。據(jù)《中華本草》記載，共有8980 種中藥，還有其他少數(shù)民族用藥，最新統(tǒng)計(jì)是12800 余種[1]，專業(yè)醫(yī)藥人員利用自身豐富經(jīng)驗(yàn)，觀察草藥的外部形態(tài)特征進(jìn)行種類識(shí)別，但這種方法難以被普通人掌握。所以探索出一條對(duì)中草藥的種類分類識(shí)別以及用途科普的可靠、快速、便捷的途徑，對(duì)中草藥的研究發(fā)展以及推動(dòng)中醫(yī)的推廣發(fā)展規(guī)劃有著重要意義。

通過開發(fā)中草藥種類智能識(shí)別的嵌入式圖像分類器，可以很大程度地解決以上問題。通過儀器設(shè)備，可以讓零經(jīng)驗(yàn)的人都可以識(shí)別出中草藥的種類，可以快速獲得該中草藥的基本信息和藥用價(jià)值，降低中草藥識(shí)別門檻，并且可以減少時(shí)間成本、節(jié)約人力資源和縮短人才培養(yǎng)周期。

1 總體設(shè)計(jì)方案

本設(shè)備硬件設(shè)計(jì)主要由主控模塊、圖像識(shí)別模塊、顯示模塊三大板塊組成?；谶吘壷悄苡?jì)算芯片Kendryte K210 進(jìn)行電路設(shè)計(jì)與系統(tǒng)開發(fā)。主控模塊采用K210 芯片作為主控芯片，控制其他模塊的設(shè)備的運(yùn)行。其中圖像模塊是利用攝像頭模塊和K210 芯片其內(nèi)部集成的神經(jīng)網(wǎng)絡(luò)處理器，由機(jī)器視覺算法進(jìn)行圖像處理。

軟件程序系統(tǒng)是設(shè)備驅(qū)動(dòng)的核心。在本設(shè)計(jì)中圖像識(shí)別是中草藥智能識(shí)別的核心模塊，是整個(gè)系統(tǒng)的大腦。其中深度學(xué)習(xí)框架是識(shí)別器設(shè)計(jì)的基礎(chǔ)，YOLO 算法是本文深度學(xué)習(xí)的核心算法，模型的預(yù)測將影響中草藥識(shí)別的準(zhǔn)確率。將系統(tǒng)部署到硬件設(shè)備上，即可實(shí)現(xiàn)識(shí)別器的設(shè)計(jì)。整體設(shè)計(jì)框圖如圖1 所示。

圖1 中草藥識(shí)別器整體框圖

2 硬件模塊設(shè)計(jì)

主控模塊的核心為Sipeed M1 芯片加上電源與串口電路。圖像識(shí)別模塊的核心為K210 芯片和攝像頭采集電路。顯示模塊的核心為LCD 顯示電路，相關(guān)電路設(shè)計(jì)具體如下。

■2.1 主芯片Sipeed M1 設(shè)計(jì)

主芯片Sipeed M1 搭載了高性能的AI 處理器K210。K210 芯片是基于RISC-V 開源指令集架構(gòu)設(shè)計(jì)的一款64 位雙核處理器，主頻高達(dá)400MHz，擁有強(qiáng)大的性能和低功耗表現(xiàn)。同時(shí)，K210 芯片支持多種神經(jīng)網(wǎng)絡(luò)算法，包括本設(shè)計(jì)所使用的Tensorflow。除此之外，Sipeed M1 還融合了多個(gè)硬件加速模塊，如FPU、FFT、DMA、SPI 等，以及多個(gè)標(biāo)準(zhǔn)接口，如UART、SPI、I2C、GPIO 等，方便我們進(jìn)行使用和開發(fā)。

■2.2 電源與串口模塊

電源部分選擇現(xiàn)在最常用的Type-C 接口。Type-C 接口多種多樣，為滿足供電及下載的需要，本設(shè)計(jì)采用了16Pin 的Type-C 接口。通過查看規(guī)格書，設(shè)計(jì)VBUS 口通過一個(gè)F1 保險(xiǎn)絲后接5V 電源。CC1、CC2 作為配置端，用Rd=5.1k 下拉電阻接地。另外，用一個(gè)被電阻串聯(lián)的LED 燈作為接通電源的指示燈。

串口是諸多數(shù)據(jù)傳輸方式中較為簡單的一種方式，常被用于嵌入式設(shè)備中，為保證整體電路的輕量化，串口是不二之選。通過串口芯片把上位機(jī)的USB 口映射為串口使用，方便燒錄程序進(jìn)行調(diào)試。

串口芯片我們選擇CH340 系列中的CH340C 芯片，該芯片內(nèi)置晶振，并且采用SOP16 封裝，體積小，適合小型化、便攜化應(yīng)用場景。為了方便下載燒錄程序，還需要加上BOOT 和RST 的功能按鍵，用于加載BOOT 和復(fù)位。

■2.3 攝像頭模塊

實(shí)時(shí)采集圖像是實(shí)現(xiàn)圖像處理的關(guān)鍵之一，本設(shè)計(jì)采用CMOS 數(shù)字圖像傳感器，型號(hào)為OV2640。其使用總線協(xié)議SCCB，通過幀同步信號(hào)和PCLK 上升沿觸發(fā)依次讀取像素。由于OV2640 所需電壓種類有1.2V、1.8V 和2.8V 三種，其中僅1.8V 可通過M1 芯片進(jìn)行輸出，所以另外需要兩個(gè)降壓芯片XC6206-1V2 和XC6206-2V8 來產(chǎn)生OV2640 所需的電壓。將OV2640攝像頭模塊先集成出來到另一塊電路板上，通過杜邦線與主板相連。

■2.4 LCD 顯示屏模塊

在圖像顯示方面，采用的是TFT-LCD，全稱為薄膜晶體管液晶顯示器（Thin-Film Transistor Liquid Crystal Display），是用薄膜晶體管（TFT）作為電子開關(guān)，控制液晶分子的方向并使其顯示圖像的一種顯示技術(shù)。本文使用的是一款以ILI9341 芯片作為主控芯片的TFT-LCD 顯示屏，通過CS（片選）、RST（復(fù)位）、RS（顯示數(shù)據(jù)/指令數(shù)據(jù)）、WR（讀寫）、LEDB（背光）等控制引腳來控制LCD 的顯示，并接上8 位數(shù)據(jù)線實(shí)現(xiàn)圖像數(shù)據(jù)的傳輸。由于該顯示屏使用的是軟排線，所以在電路板上需要使用FPC 連接器進(jìn)行連接。

■2.5 PCB 的繪制

本設(shè)計(jì)采用雙層板結(jié)構(gòu)，頂層和底層均進(jìn)行GND 敷銅，增大地線面積，提高板子抗干擾能力。電阻電容等封裝選用是0805 貼片封裝。對(duì)于VCC 等電流線采用15mil 線寬，其余信號(hào)線采用10mil 線寬，全部接線完成后加上淚滴，使得導(dǎo)線與焊盤間接觸面積增大。電路板如圖2 所示。

圖2 硬件電路板預(yù)覽

3 軟件系統(tǒng)設(shè)計(jì)

軟件系統(tǒng)設(shè)計(jì)主要包括深度學(xué)習(xí)框架的搭建，制作數(shù)據(jù)集進(jìn)行模型訓(xùn)練，集成環(huán)境開發(fā)，并將模型和程序搭載到中草藥識(shí)別器的硬件設(shè)備上。

■3.1 深度學(xué)習(xí)框架的搭建和算法的設(shè)計(jì)

TensorFlow Lite 是基于TensorFlow 框架的輕量級(jí)版本，它專注于在小型設(shè)備上進(jìn)行高效的機(jī)器學(xué)習(xí)預(yù)測。為此，TensorFlow Lite提供了更加輕量級(jí)的模型結(jié)構(gòu)和推理引擎，并且提供了專門的優(yōu)化策略和工具[3]。例如權(quán)重量化、捆綁運(yùn)行時(shí)等，能夠大幅減小模型大小和提升預(yù)測速度。支持在嵌入式設(shè)備上部署，可以方便地進(jìn)行開發(fā)和部署。因此，選擇TensorFlow Lite 部署深度學(xué)習(xí)模型，能夠很好地在微小型嵌入式設(shè)備實(shí)現(xiàn)機(jī)器視覺功能。

YOLO（You Only Look Once）是一種基于針對(duì)目標(biāo)檢測任務(wù)設(shè)計(jì)的CNN 進(jìn)行特征提取的物體檢測算法[2]，其主要特點(diǎn)是采用了多個(gè)卷積層和池化層，同時(shí)在較深的網(wǎng)絡(luò)層次上增加了跳躍連接，使用端到端的訓(xùn)練方式，使得更高層次的特征能夠更好地融合和傳遞到后續(xù)的目標(biāo)檢測網(wǎng)絡(luò)中，使得模型更加緊湊輕量化、檢測速度更優(yōu)，能夠在實(shí)際應(yīng)用中實(shí)現(xiàn)實(shí)時(shí)的目標(biāo)檢測。

YOLO 網(wǎng)絡(luò)的預(yù)測流程設(shè)計(jì)如下：

（1）輸入圖像歸一化：將輸入的圖像歸一化處理，使其像素值在0～1 之間。

（2）特征提?。簩w一化后的圖像送入深度卷積神經(jīng)網(wǎng)絡(luò)中，在網(wǎng)絡(luò)的底層提取出圖像的特征。

（3）特征處理：通過多層卷積、池化層和全連接層，將特征圖像轉(zhuǎn)化成固定大小的網(wǎng)格，每個(gè)網(wǎng)格負(fù)責(zé)預(yù)測一個(gè)或多個(gè)物體。

（4）對(duì)每個(gè)網(wǎng)格進(jìn)行預(yù)測：對(duì)于每個(gè)網(wǎng)格，使用多個(gè)先驗(yàn)框（anchor boxes）預(yù)測該網(wǎng)格內(nèi)可能存在的物體。每個(gè)框包含物體的邊界框位置（x、y、w、h）、物體類別以及該物體存在的概率得分。

（5）置信度篩選：對(duì)于每個(gè)預(yù)測框，計(jì)算其置信度得分，該得分基于框的能力、屬性和定位精度等綜合考慮，得分越高表示該框內(nèi)可能存在物體的概率越大。

（6）非極大值抑制：將重疊度較高的框進(jìn)行篩選，保留得分最高的框，并且刪除和其他框重疊度較高的低置信度框。

（7）輸出預(yù)測結(jié)果：輸出預(yù)測結(jié)果，通常為預(yù)測出物體的概率、物體類別、邊框坐標(biāo)和置信度，以及通過非極大值抑制之后保留的最優(yōu)邊框。

YOLO 網(wǎng)絡(luò)的預(yù)測流程[4]如圖3 所示。

圖3 YOLO 網(wǎng)絡(luò)預(yù)測流程

總的來說，YOLO 算法引入了anchor boxes 及卷積特征層，能夠檢測更多尺度的物體，并且能夠處理傾斜物體的檢測。同時(shí)，通過對(duì)特征圖像的處理和增加卷積層，使得YOLO 在檢測速度和準(zhǔn)確性方面都有所提升。

■3.2 模型訓(xùn)練

中草藥目標(biāo)檢測的驗(yàn)證模型訓(xùn)練流程如下：

第一步：數(shù)據(jù)集準(zhǔn)備。需要將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測試集，并進(jìn)行類別標(biāo)注、圖像預(yù)處理等操作。為保證訓(xùn)練模型的準(zhǔn)確性，必須有足夠的數(shù)據(jù)集樣本，每類圖片不少于800 張，采用labelimg 對(duì)圖像進(jìn)行對(duì)數(shù)據(jù)集進(jìn)行類別標(biāo)注。圖像的類別標(biāo)注如圖4 所示。

圖4 labelimg 對(duì)圖像的類別標(biāo)注

第二步：模型的訓(xùn)練。根據(jù)數(shù)據(jù)集和驗(yàn)證集，在Anaconda 中搭建Tensorflow 深度學(xué)習(xí)框架，采用YOLO算法模型并進(jìn)行優(yōu)化調(diào)參對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練。

第三步：模型的評(píng)估與調(diào)優(yōu)。模型訓(xùn)練完成后，需要將其在驗(yàn)證集和測試集上進(jìn)行評(píng)估。通過計(jì)算平均精度（mAP）等指標(biāo)，評(píng)估模型的性能和準(zhǔn)確性。為了獲得更高的泛化能力，需要對(duì)模型進(jìn)行適當(dāng)?shù)恼齽t化和優(yōu)化算法，對(duì)模型進(jìn)行優(yōu)化，重復(fù)調(diào)整和訓(xùn)練過程，直至滿足預(yù)期的檢測效果。將訓(xùn)練最優(yōu)模型通過Tensorflow Lite 轉(zhuǎn)化為tfl 格式。搭載到中草藥識(shí)別嵌入式設(shè)備上。

■3.3 集成環(huán)境的開發(fā)

MaixPy IDE 是一個(gè)集成開發(fā)環(huán)境，可以使用MicroPython 編寫嵌入式系統(tǒng)，用于開發(fā)以K210芯片為基礎(chǔ)的硬件設(shè)備。通過編寫程序?qū)崿F(xiàn)各個(gè)功能模塊的功能，驅(qū)動(dòng)硬件的運(yùn)行來實(shí)現(xiàn)識(shí)別器的系統(tǒng)開發(fā)。

4 調(diào)試與性能實(shí)驗(yàn)結(jié)果

訓(xùn)練指標(biāo)是檢測訓(xùn)練模型性能優(yōu)劣的重要參考指標(biāo)，主要有損失值、平均準(zhǔn)確度、預(yù)測正確率。觀察模型訓(xùn)練生成的訓(xùn)練指標(biāo)曲線，損失值指損失函數(shù)計(jì)算后所得的值，再下降說明模型訓(xùn)練仍然可以收斂。平均精準(zhǔn)度代表在訓(xùn)練集上的正確率，再上升說明模型正在訓(xùn)練集上收斂。預(yù)測正確率代表在驗(yàn)證集上的預(yù)測結(jié)果正確率，用來作為判斷模型訓(xùn)練效果的依據(jù)，實(shí)際應(yīng)用效果則取決于驗(yàn)證集和實(shí)際場景的差距。訓(xùn)練曲線指標(biāo)如圖5 所示。

圖5 訓(xùn)練指標(biāo)曲線

整體硬件實(shí)物圖如圖6 所示。

圖6 整體硬件電路

對(duì)中草藥進(jìn)行分類檢測測試并且在LCD 屏幕打印其置信度如圖7 所示。

圖7 目標(biāo)識(shí)別檢測

5 結(jié)論

實(shí)驗(yàn)結(jié)果表明，本文設(shè)計(jì)的中草藥識(shí)別器能夠很好地實(shí)現(xiàn)預(yù)想功能，能夠達(dá)到比較高的識(shí)別精度，硬件設(shè)計(jì)簡約高效，代碼編寫清晰明了。

盡管本文設(shè)計(jì)的識(shí)別器已經(jīng)取得了一定的成果，但是我們?nèi)匀幻媾R著很多挑戰(zhàn)和問題，這些問題需要我們在未來的研究和應(yīng)用中不斷探索和解決，以實(shí)現(xiàn)更好地服務(wù)中藥材行業(yè)和消費(fèi)者的目標(biāo)。