基于專屬0-1模型的茶葉驗真方法

朱晨鵬，彭宏京*，肖慶華，施浩杰，吳廣

基于專屬0-1模型的茶葉驗真方法

朱晨鵬1，彭宏京1*，肖慶華1，施浩杰1，吳廣2

1. 南京工業(yè)大學計算機科學與技術(shù)學院，江蘇 南京 211800；2. 新立訊科技股份有限公司，江蘇 南京 210012

針對傳統(tǒng)濾波方法在茶葉特征選擇上都存在一定的盲目性，以及茶葉類別數(shù)不確定等問題，提出為每一類茶葉都配備一個專屬0-1分類器的驗真方法。其中正樣本是目標茶葉本身，標簽為1，負樣本是其余茶葉類型，標簽為0，訓練過程中迫使模型自動提取出最適合于區(qū)分目標茶葉的隱式特征進行驗真或驗假，同時使用孿生網(wǎng)絡(luò)對負樣本進行篩選，緩解了正負樣本不平衡的問題。試驗結(jié)果表明，該方法很好的適應(yīng)了茶葉類別數(shù)不確定因素的干擾，具有較強的魯棒特性，是一種有效可行的方法。

0-1模型；茶葉驗真；孿生網(wǎng)絡(luò)；隱式特征

目前，市面上的茶葉真假難辨，為維護消費者權(quán)益，研發(fā)一種高效的茶葉驗真方法顯得尤為重要。茶葉的驗證是包含兩幅圖像的問題，一幅圖像為目標茶葉本身，另一幅圖像為待驗證茶葉，如何有效的提取目標茶葉特征并與待驗證圖片進行校驗成為了驗真的關(guān)鍵。

傳統(tǒng)的驗證方法[1-5]提取圖像顯式特征進行特征匹配，但對于茶葉品種的多樣化缺乏很好的魯棒性，可能某種特征只適用于區(qū)分某種特定的茶葉，難以區(qū)分同一茶樹品種、嫩度和制茶工藝下不同茶季的茶葉。多特征組合也僅適用于某個特定的茶葉庫，難以適應(yīng)將來新品種茶葉的產(chǎn)生。近年來基于深度卷積神經(jīng)網(wǎng)絡(luò)的特征提取方法受到廣泛關(guān)注，在茶葉鑒別上，余洪[6]提取茶葉圖像的12個顏色特征和22個紋理特征，最后使用主成分分析法提取特征參數(shù)的主成分數(shù)，采用PCA-GA-BP神經(jīng)網(wǎng)絡(luò)進行分類識別，對碧螺春、婺源綠茶的識別準確率分別達92.5%和85%。

每一種茶葉都有它本身的特性，本文針對不同茶葉微調(diào)訓練出一個專屬于它自身的0-1模型，該模型利用神經(jīng)網(wǎng)絡(luò)自動提取出最適合于區(qū)分目標茶葉的隱式特征進行驗真或驗假。相比于之前傳統(tǒng)手工提取特征的方法更加高效，相比于全分類模型，其準確率分布更加平穩(wěn)。

1 材料與方法

1.1 目標茶葉樣本的獲取

本文所用的茶葉樣本均由新立訊科技股份有限公司與貴州省遵義茶葉交易所聯(lián)合提供，研究中采用的茶葉類型如表1所示。

1.2 模型與驗證方法

茶葉的驗真包含兩幅圖像，一幅圖像為目標茶葉本身，另一幅圖像為待驗證茶葉。按照傳統(tǒng)的特征匹配方法，本文先提取了各類茶葉的尺度不變性特征（Scale- invariant feature transform，SIFT）和方向梯度直方圖（Histogram of oriented gradient，HOG）特征兩種顯式特征進行茶葉的驗真，具體的驗真準確率如表2所示。

表1 茶葉樣本信息

由表2可以看出，使用兩種顯式特征進行驗真時準確率都較低且分布不平衡，最高為70%，最低僅為7%。造成這種現(xiàn)象的原因一方面是茶葉分布沒有固定的形態(tài)，不存在可以進行特征比對的基準圖片，在與待驗證圖片集進行特征匹配時，隨機的一張茶葉圖片所提取的顯式特征并不具有代表性；另一方面是手工提取特征存在一定的盲目性，某一種特征可能只適用于區(qū)分某類特定的茶葉，難以提取出能夠?qū)⑺胁枞~都區(qū)分出來的顯式特征。

考慮到每一類茶葉都有它自身的特性，本研究提出一種基于專屬0-1模型的茶葉驗真方法。該方法大致可以分為兩個階段：數(shù)據(jù)集的篩選階段和模型訓練測試階段，整體的茶葉驗證流程圖如圖1所示。

1.2.1 建立茶葉數(shù)據(jù)庫

本研究選取湄潭翠芽、碧螺春、雨花茶以及遵義紅構(gòu)成整體的茶葉數(shù)據(jù)庫。同時，每一種茶葉類型都具有不同的子類，共24類。例如湄潭翠芽作為綠茶代表茶之一，有一芽一葉型、單芽型和全葉型等。

具體的采樣方法是在室內(nèi)自然光照的條件下，將茶葉平鋪在白紙上，盡量不要露出白底，使用一臺固定的采樣設(shè)備，本研究使用的是小米8手機的后置攝像頭，在固定高度的前提下進行拍照，具體的采樣示例如圖2所示。采樣結(jié)束后，由于圖片的尺寸較大（3?024×4?032），如果直接將其等比例縮放至299×299作為模型的輸入，則會造成很大程度的失真。因此，本研究在原圖的基礎(chǔ)上對其進行切割的操作，具體做法是先對原圖進行不同比率的縮放，以模擬在不同高度下拍照導致的茶葉大小以及數(shù)量的變化。另外，選擇了3種比率進行縮放，分別是30%、37.5%和50%。然后使用最大內(nèi)接矩框選出每張圖片的茶葉部分，最后進行滑動框的切割，滑動框尺寸與模型輸入相同（299×299）。3種不同比率縮放后進行滑動框切割的效果如圖3所示。

表2 兩種顯式特征的驗真準確率

圖1 基于0-1模型的茶葉驗真流程圖

1.2.2 數(shù)據(jù)處理與增強

為了使模型具有更強的泛化性，本研究對切割后的茶葉圖片進行了數(shù)據(jù)增強[7]，以模擬測試集中使用不同手機在各種采樣環(huán)境下茶葉所呈現(xiàn)的形態(tài)。增強的方面主要包括亮度調(diào)節(jié)、圖像銳化以及高斯模糊等。亮度的調(diào)節(jié)是將圖片轉(zhuǎn)換到HSV空間中，在原圖基礎(chǔ)上隨機增大或減小0~20%的亮度。同時為了突出茶葉的邊緣細節(jié)，采取了銳化操作，使用的拉普拉斯濾波器為﹛[0, -1, 0]，[-1, 5, -1]，[0, -1, 0]﹜。最后為了模擬出不同分辨率設(shè)備的采樣效果，隨機抽取了一些切割后的圖片，對其施加高斯模糊。高斯濾波器的尺寸取3~21的隨機奇數(shù)，標準差越大，模糊效果越明顯。數(shù)據(jù)增強的效果如圖4所示。

1.2.3 孿生網(wǎng)絡(luò)篩選負樣本

對于任意一種茶葉，其專屬驗真模型的正樣本是它本身，負樣本是其余茶葉，但如果對其余每類茶葉都選取固定的樣本數(shù)量作為負樣本，那么隨著茶葉類別的增加，必然會造成正負樣本不平衡的情況。為了緩解這個問題，本文提出在訓練專屬模型前先使用孿生網(wǎng)絡(luò)將其余茶葉按照與目標茶葉降維向量的歐式距離進行升序排列，距離越小則相似度越高。對于相似度比較高的茶葉類型，模型需要更多地樣本才能將它們和目標茶葉區(qū)分開，因此在升序排列完成后，前1/2類茶葉的負樣本取多，后1/2類茶葉取少。孿生網(wǎng)絡(luò)[8-10]主要用于衡量兩個輸入的相似程度，網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖2 茶葉采樣示例

圖3 縮放后進行滑動框切割后的圖片

圖4 數(shù)據(jù)增強效果圖

共享的網(wǎng)絡(luò)層將兩個通道的輸入映射到新的空間，形成輸入在新空間中的特征表示，最后通過Loss的計算，評價兩個輸入的相似度。本文使用VGG16[11]作為孿生網(wǎng)絡(luò)的基準模型（Shared layers）進行訓練。使用倒數(shù)第二層（4?096個神經(jīng)元），即分類層前一層的輸出值作為最后的降維向量。在訓練之前，使用ImageNet預(yù)訓練好的VGG16模型來初始化權(quán)重和偏置，能夠有效的促進模型的收斂。損失函數(shù)設(shè)置為：

1.2.4 專屬0-1驗真模型

在圖像識別中，因Inception V3[12]模型小、運行速度快、可遷移性高而被廣泛使用，因此在為目標茶葉篩選好負樣本后，采用遷移學習[13]的方式對Inception V3進行微調(diào)得出目標茶葉的專屬0-1驗真模型，其中正樣本是目標茶葉本身，標簽為1，負樣本是其余茶葉類型，標簽為0。如圖6所示，首先使用ImageNet中預(yù)訓練好的模型初始化所有參數(shù)，由于微調(diào)只訓練全連接層的參數(shù)，所以每張圖片經(jīng)過最后一層池化層pool_3后得到的特征向量都被保存在Bottleneck文件中，最后在訓練時只需讀取該文件中存儲的數(shù)據(jù)作為輸入就可以調(diào)整全連接層參數(shù)。損失函數(shù)設(shè)置為二元交叉熵損失函數(shù)：

其中是末端神經(jīng)元的實際輸出值，是logits的期望輸出值，當輸入圖片是目標茶葉時，為1，否則為0。

測試階段使用的測試集是由多個不同型號的手機按照1.2.1章節(jié)的采樣方法得到，在驗證目標茶葉的真假時，首先調(diào)出該目標茶葉的專屬0-1驗真模型，然后將待驗證的茶葉圖片經(jīng)過滑動框切割后逐個輸入模型，最后目標茶葉驗真準確率的計算公式為：True圖片個數(shù)/切割圖片總數(shù)。

選取了一款明后采摘的雨花茶和西湖龍井作為新加入茶，并測試模型對這兩款新茶的驗證準確率。

圖5 孿生網(wǎng)絡(luò)結(jié)構(gòu)圖

圖6 微調(diào)示意圖

2 結(jié)果與分析

為了驗證本研究中茶葉驗真方法的優(yōu)越性，我們進行了兩組對比試驗和一組針對負樣本篩選階段的消融試驗，對比試驗分別與神經(jīng)網(wǎng)絡(luò)中的圖像匹配方法和基于Inception V3的全分類模型進行比較，兩組對比試驗的驗真準確率如表3所示。

2.1 網(wǎng)絡(luò)圖像匹配

孿生網(wǎng)絡(luò)作為神經(jīng)網(wǎng)絡(luò)中經(jīng)典的圖像匹配方法，最初被用于人臉和手寫簽名的驗證，它可以用來衡量兩張輸入圖片的相似度，兩者降維向量之間的歐式距離越小，則相似度越高。當利用它來驗證現(xiàn)有茶葉是否為目標茶葉時，只需要比較現(xiàn)有茶葉圖片與數(shù)據(jù)庫中各類茶葉圖片的距離大小，如果與目標茶葉的距離最小，則代表與其相似度最高，待驗證茶葉為真，否則為假。本節(jié)訓練一個以VGG16為共享層，并使用Image_Net初始化參數(shù)的孿生網(wǎng)絡(luò)，批次大小設(shè)為16，學習率為1e-5，總共迭代的步數(shù)為5?000步，收斂效果見圖7。

如表3所示，孿生網(wǎng)絡(luò)的平均驗證準確率為66.8%，它對于類與類之間差異很大的茶葉分類的驗真準確率很高，例如雨花茶和碧螺春。但是對于同一茶樹品種、嫩度和制茶工藝下，不同生產(chǎn)季節(jié)原料的茶葉驗真（3號和4號）效果不太理想。

圖7 孿生網(wǎng)絡(luò)收斂圖

2.2 全分類模型

如果將茶葉驗真看作是一個全分類問題，測試時只需要將待驗證茶葉圖片放入分類器，如果分類正確則為真，否則為假。為了使試驗具有可比性，本研究使用Inception V3網(wǎng)絡(luò)結(jié)構(gòu)進行微調(diào)。參與訓練全分類網(wǎng)絡(luò)模型的茶葉數(shù)據(jù)集共包含了4個類別的茶葉，分別是湄潭翠芽、雨花茶、碧螺春和遵義紅。各類別茶葉再進行細分總共有24個小類，因此在訓練模型時，總類別數(shù)為24，批次大小為100，使用梯度下降法進行訓練，學習率為0.01迭代7?500步。

從圖8可以看出，全分類模型的訓練以及驗證準確率都在70%~75%之間，最終使用測試集對模型進行測試，測試集由多個不同型號的手機按照1.2.1章節(jié)的采樣方法得到，大約5?100張圖片，平均驗證準確率為71.2%。

表3 茶葉驗證準確率對比

圖8 模型訓練結(jié)果

2.3 專屬0-1模型

以湄潭翠芽3號為目標茶葉，為其訓練一個專屬的0-1驗真模型，觀察其相較于之前兩種驗真方法，驗證準確率是否提高。

目標茶葉本身作為正樣本集，經(jīng)過數(shù)據(jù)增強后約有8?000張圖片，標簽設(shè)置為1。然后將正樣本圖片作為1，其余類別的茶葉圖片作為2，輸入1.2.3章節(jié)中訓練好的孿生網(wǎng)絡(luò)模型，按照與目標茶葉降維向量的歐式距離對其余茶葉類進行升序排列，距離越小則與目標茶葉相似度越高。前10類茶葉分別是1、2、4、5、10、11、23、24、8號和9號茶葉，每類隨機選取700張圖片。后13類茶葉每類僅選取20張圖片，共同組合作為負樣本集，標簽為0。

該試驗部分使用Inception V3的網(wǎng)絡(luò)結(jié)構(gòu)進行微調(diào)，批次大小為100，使用梯度下降法進行學習，學習率設(shè)為0.01迭代10?000步。驗真和驗假的測試準確率如表4所示。專屬于3號茶葉的0-1分類器平均驗證準確率（包括驗真和驗假）為93.2%，相較前兩種方法都有很大提高。此外，對于與目標茶葉很不相似的茶葉類型，0-1模型對它們的驗假準確率仍然很高?？梢?，對于相似度較高的茶葉類型，模型往往需要更多樣本學習才能加以區(qū)分，而對于很不相似的茶葉類型僅需要少量學習樣本。

本研究還進行了第一階段的消融試驗，用于證明孿生網(wǎng)絡(luò)篩選負樣本的有效性。試驗以3號茶葉為目標茶葉，將其余23類茶葉每類均取300張圖片作為負樣本集進行訓練，得到專屬于3號茶葉的0-1驗真模型。測試準確率如表5所示。當每類茶葉都選取固定樣本數(shù)量作為負樣本集時，平均驗假準確率有所降低，由93.3%降到了79.1%?？赡苁菫榱吮３终摌颖镜钠胶庑?，可供模型學習的相似茶葉類型樣本數(shù)隨之減少，由每類700張減少到每類300張，最終導致了驗假準確率的降低。因此，使用孿生網(wǎng)絡(luò)篩選負樣本，可以在保證驗證準確率不降低的前提下，減少不必要的負樣本數(shù)量，從而有效的緩解了數(shù)據(jù)集不平衡的問題。

表4 采用3號茶樣的驗證模型準確率

表5 消融試驗對比

2.4 模型對新茶的泛化性

現(xiàn)實生活中茶葉類型數(shù)不確定，同一種茶葉在不同茶季采摘都會呈現(xiàn)出不一樣的形態(tài)。因此，為了評估模型對新茶的泛化性強弱，選取了清明節(jié)后采摘的雨花茶和西湖龍井作為新加入茶，并測試模型對這兩款新茶的驗證準確率。

對孿生網(wǎng)絡(luò)模型和0-1模型的新茶泛化性進行了比較，孿生網(wǎng)絡(luò)模型對這兩款未知茶葉的匹配準確率分別為39%和78%。0-1模型對這兩款未知茶葉的平均驗假準確率分別為95%和98%。可見新茶葉的加入并不會對之前訓練好的專屬0-1模型造成影響，依然可以適應(yīng)茶葉數(shù)量不確定因素的干擾，進行準確判別。另外，雖然孿生網(wǎng)絡(luò)在人臉驗證上表現(xiàn)出了很好的泛化性，但是在茶葉驗真上，孿生網(wǎng)絡(luò)的泛化性并不穩(wěn)定，例如對于新加入的雨花茶，它的匹配準確率并不高。

3 討論

陸江峰等[14]通過提取茶葉形狀復(fù)雜性和圓形度等17種外觀形狀特征，并以其中6項參數(shù)作為BP神經(jīng)網(wǎng)絡(luò)的輸入，達到了80%的鑒別準確率。然而對于形狀相似的茶葉，需要另外選取其他特征進行輔助鑒別。本文基于Inception_v3為每一類茶葉配備一個專屬的0-1驗真模型，可以自動提取出最有利于區(qū)分目標茶葉的特征進行驗真，有效的避免了傳統(tǒng)方法依賴手工提取茶葉特征的問題。從試驗結(jié)果和分析可以看出，不論在驗真還是驗假方面，都達到了90%以上的驗證準確率。近年來使用紅外光譜進行茶葉驗證的方法[15]雖然可以達到較高的準確率，但受儀器種類、品牌、分析條件和樣品前處理方法等因素影響，實現(xiàn)標準化較難。本文模型的輸入為茶葉原始圖像并且是端到端的訓練，較光譜圖方法在自動化程度上有了大幅提升。

與傳統(tǒng)的特征匹配相比，本研究提出的基于專屬0-1模型的茶葉驗真方法具有以下兩個優(yōu)點，第一，為每一類茶葉都配備了一個驗真模型，因此每一類茶葉用于驗真的隱式特征均不相同，而且只有0-1（真假）兩個分類，迫使模型在訓練過程中自動提取出最有利于區(qū)分目標茶葉的一種隱式特征進行驗真和驗假，提高了茶葉驗真的準確率。第二，模型與模型之間各自獨立，互不干擾，新加入的茶葉模型并不會對其他模型產(chǎn)生任何影響，適應(yīng)了未來茶葉類別數(shù)不確定因素的干擾。

本研究提出的基于專屬0-1模型的茶葉驗真方法可以對茶葉庫中任意一類茶葉進行較高準確率的驗真，但如果某一類茶葉與目標茶葉很相似時，則會導致在驗假過程中產(chǎn)生誤判的情況，例如茶葉庫中的1號和3號，1號茶葉的驗假準確率只有63%。因此，下一步的研究方向是結(jié)合其他模型或特征來進行投票，采用投票機制多方面的判斷目標茶葉的真假。

[1] Lee J A, Yow K C. Optimizing image matches via a verification model [J]. International Journal of Intelligent Systems, 2010, 25(11): 1103-1120.

[2] Fischler M A, Bolles R C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography [J]. Communications of the ACM, 1981, 24(6): 381-395.

[3] Prasetyo H, Wiranto W, Winarno W. Image-based vehicle verification using steerable gaussian filter [J]. Journal of Telecommunication, Electronic and Computer Engineering, 2018, 10(2/3/4): 65-69.

[4] Zhang D, Oreifej O, Shah M. Face verification using boosted cross-image features [J]. Computer Science, 2013. https://arxiv.org/pdf/1309.7434v1.pdf.

[5] Wang F, Xiang X, Cheng J, et al. NormFace: L2Hypersphere embedding for face verification [C]//ACM Conference on MultiMedia. 2017: 1041-1049

[6] 余洪. 基于計算機視覺技術(shù)的茶葉品質(zhì)分級研究[D]. 南昌: 江西農(nóng)業(yè)大學, 2017. Yu Hong. Research on classification of tea quality based on computer vison technology [D]. Nanchang: Jiangxi Agricultural University, 2017.

[7] Wang J, Perez L. The effectiveness of data augmentation in image classification using deep learning [J]. Computer Science, 2017.https://arxiv.org/pdf/1712.04621v1.pdf.

[8] Sumit C, Raia H, Yann L C. Learning a similarity metric discriminatively, with application to face verification [C]//Proceedings of the 2005 IEEE Conference on Computer Vision and Pattern Recognition, 2005: 202-209.

[9] Melekhov I, Kannala J, Rahtu E. Siamese network features for image matching [C]//International Conference on Pattern Recognition, 2016: 378-383.

[10] Gregory K, Richard Z, Ruslan S. Siamese neural networks for one-shot image recognition [C]//International Conference on Machine Learning, 2015: 37-44.

[11] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition [J]. Computer Science, 2014. https://arxiv.org/pdf/1409.1556v1.pdf.

[12] Szegedy C, Vanhoucke V, Ioffe S, et al. Rethinking the inception architecture for computer vision [J]. Computer Science, 2015. https://arxiv.org/pdf/1512.00567v1.pdf.

[13] Pan S J, Qiang Y. A survey on transfer learning [J]. IEEE Transactions on Knowledge & Data Engineering, 2010, 22(10): 1345-1359.

[14] 陸江峰,單春芳.基于數(shù)字圖像的茶葉形狀特征提取及不同茶葉鑒別研究[J]. 茶葉科學, 2010, 30(6): 453-457.Lu J F, Shan C F. Shape extraction and varietial discrimination of tea based on digital image [J].Journal of Tea Science, 2010, 30(6): 453-457.

[15] 劉英, 吳曙光. 指紋圖譜技術(shù)在茶葉研究上的應(yīng)用[J]. 茶葉科學, 2013, 33(1): 13-20. Liu Y, Wu S G. Application of fingerprint technique in tea research [J]. Journal of Tea Science, 2013, 33(1):13-20.

Tea Authenticity Verification Method Based on Exclusive Binary Classifier

ZHU Chenpeng1, PENG Hongjing1*, XIAO Qinghua1, SHI Haojie1, WU Guang2

1. School of Computer Science and Technology, Nanjing University of Technology, Nanjing 211800, China;2. Newlixon Tech. Co., Ltd , Nanjing 210012, China

Owing to blindness in the selection of tea features in traditional filteringmethods and the uncertainty of tea categories, a verification method was proposed to equip each type of tea with a exclusive 0-1 classifier. The positive sample is the target tea itself, the label is 1. The negative sample is the remaining tea type, and the label is 0. During the training process, the model is forced to automatically extract the implicit features that are most suitable for distinguishing the target tea for true and false. This method uses the Siamese network to screen the negative samples, which alleviates the problem of imbalance between positive and negative samples. The experimental results show that this method is well adapted to the disturbance of uncertainty of tea categories and has strong robustness. It is an effective and feasible method.

binary classifier, tea verification, siamese network, feature extraction

TS272；Q946.84+1；

A

1000-369X(2021)02-228-09

2020-01-08

2020-05-14

國家重點研發(fā)計劃（2018YFC0808500）

朱晨鵬，男，碩士研究生，主要從事計算機視覺方面的研究。*通信作者：penghongjing@163.com

（責任編輯：趙鋒）