基于BIGRU的番茄病蟲害問答系統(tǒng)問句分類研究

趙 明 董翠翠 董喬雪 陳 瑛

(中國農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院， 北京 100083)

0 引言

隨著人工智能技術(shù)的迅猛發(fā)展，智能問答系統(tǒng)因能為人們提供準確的答案和智能化、個性化的信息服務(wù)而得到廣泛研究。番茄是一種常見的日常蔬菜作物，有著廣泛的市場需求。但是，番茄病蟲害卻是影響番茄品質(zhì)和產(chǎn)量的重要原因。因此，在農(nóng)業(yè)生產(chǎn)中需要能夠快速準確地獲取番茄病蟲害信息的智能服務(wù)和搜索技術(shù)，以實現(xiàn)番茄病蟲害的有效防治和及時治理。番茄病蟲害智能問答系統(tǒng)的構(gòu)建和應(yīng)用是實現(xiàn)這一目標的基礎(chǔ)，同時也是人工智能和智慧農(nóng)業(yè)[1]發(fā)展的必然要求。

問答系統(tǒng)一般包括用戶問句分類[2]、問句語義理解[3]和答案抽取[4]3個主要部分。問句分類作為問答系統(tǒng)的關(guān)鍵模塊，對系統(tǒng)檢索效率具有決定性作用。

目前，國內(nèi)外對問答系統(tǒng)中問句分類的研究十分關(guān)注。大多問句分類方法是基于規(guī)則[5]和統(tǒng)計學(xué)習(xí)的方法，較少利用問句語義信息。

針對番茄病蟲害問答系統(tǒng)的特點，問句分類分為病害和蟲害兩大類，本文利用KNN[6-7]、BIGRU[8]和CNN[9]神經(jīng)網(wǎng)絡(luò)方法分別進行番茄病蟲害問句分類實驗，以選取效果最優(yōu)的分類模型作為問答系統(tǒng)最終采用的問句分類方法。

1 材料與方法原理

1.1 獲取語料

通過Scrapy[10]爬蟲框架，抓取番茄病蟲害的各種百度百科、互動百科、中文維基百科和農(nóng)業(yè)種植類網(wǎng)站等關(guān)于番茄病蟲害信息的中文文本語料。參考《中國蔬菜栽培學(xué)》書中番茄部分的信息，對網(wǎng)絡(luò)爬取的語料進行校正和完善。

1.1.1語料預(yù)處理

中文分詞是中文問句信息處理的基礎(chǔ)與關(guān)鍵。本研究采用條件隨機場(Conditional random fields, CRF)[11]分詞系統(tǒng)進行中文分詞。CRF代表了新一代的機器學(xué)習(xí)分詞技術(shù)，其基本思路是對漢字進行標注即由字構(gòu)詞，不僅考慮了文字詞語出現(xiàn)的頻率信息，同時考慮上下文語境，具備較好的學(xué)習(xí)能力，因此其對歧義詞和未登錄詞的識別都具有良好的效果。條件隨機場并不在每一個節(jié)點進行歸一化，而是所有特征進行全局歸一化，因此可以求得全局的最優(yōu)值[12]。

番茄病蟲害語料復(fù)雜多樣，有許多農(nóng)業(yè)專用術(shù)語和術(shù)語別名。綜合考慮番茄病蟲害語料的特點，結(jié)合問句分類的需求，本文構(gòu)建了一個專門的番茄語料同義詞庫，可以進行番茄領(lǐng)域病蟲害關(guān)鍵詞的擴展。幾種典型的番茄專業(yè)名詞和對應(yīng)的別名信息如表1所示。

表1 典型番茄別名信息Tab.1 Typical tomato alias information

1.1.2問句向量化

自然語言處理任務(wù)一般為文本的分布式表示，如矩陣或向量。對問句分類來說，先對用戶問句進行分詞、去除停用詞。由word2vec[13]訓(xùn)練得到問句中每個詞的詞向量，將詞向量對應(yīng)相加并作平均處理，得到用戶問句的空間向量表示。這些向量含有詞本身的語法、語義信息。

本研究使用word2vec中的Skip- Gram[14]模型，詞向量維度設(shè)置為100。以問句“番茄早疫病的原因?”為例，進行分詞，然后去除停用詞“的”，得到問句為“番茄 早疫病 原因”，經(jīng)word2vec訓(xùn)練得到問句中各個詞的詞向量，例如“番茄”的詞向量表示如圖1所示。

圖1 問句詞向量示例Fig.1 Examples of question word vectors

1.2 KNN問句分類

KNN算法又稱為K最近鄰分類(K-nearest neighbor classification)算法。該方法的思路是：如果一個樣本在特征空間中的k個最相似即特征空間中最鄰近的樣本中的大多數(shù)屬于某一個類別，則該樣本也屬于這個類別[15]。KNN 算法中，所選擇的鄰近樣本都是已經(jīng)正確分類的對象。該方法在分類決策上只依據(jù)最鄰近的一個或者幾個樣本的類別來決定待分類樣本所屬的類別。

KNN算法的優(yōu)點是應(yīng)用簡單，易于理解，易于實現(xiàn)，無需估計算法參數(shù)，無需訓(xùn)練，可以快速進行問句分類。算法復(fù)雜度低，容易實現(xiàn)。

KNN通過測量不同問句之間的距離進行分類。算法具體步驟如下：

(1)文本預(yù)處理。番茄病害問句標簽設(shè)置為0，番茄蟲害問句標簽設(shè)置為1。

(2)利用word2vec算法表示所有訓(xùn)練問句語料的空間向量和待分類問句的空間向量。

(3)遍歷計算待分類問句與訓(xùn)練語料中各個問句的余弦距離。

向量A與向量B之間余弦距離計算公式為

(1)

余弦距離越大，說明問句屬于同一類的可能性越大。

(4)對所有余弦距離排序，選出余弦距離最大的k個問句，此處k=6,k值是多次試驗選出的最佳取值。

(5)分別統(tǒng)計此k個問句中0和1標簽個數(shù)。哪個類別標簽個數(shù)最多，待分類問句即為哪個類別。

1.3 BIGRU問句分類

GRU[16]模型是LSTM[17]模型的簡化版，GRU使用“門”結(jié)構(gòu)與LSTM的不同，將LSTM中的輸入門和遺忘門合并成了更新門，它只包含2個門結(jié)構(gòu)，重置門和更新門。并且線性自更新不用建立在額外的記憶狀態(tài)上，而是直接線性累積建立在隱藏狀態(tài)上，并依靠門結(jié)構(gòu)來調(diào)控。重置門決定先前的信息如何結(jié)合當前的輸入，更新門決定保留多少先前的信息。GRU的“門”結(jié)構(gòu)如圖2所示。

圖2 GRU門結(jié)構(gòu)Fig.2 GRU gate architecture

圖2中x是輸入數(shù)據(jù)，h為GRU單元的輸出,r是重置門，z是更新門，r和z共同控制了如何從之前的隱藏狀態(tài)(ht-1)計算獲得新的隱藏狀態(tài)(ht)。

更新門同時控制當前輸入數(shù)據(jù)xt和先前記憶信息ht-1，輸出一個在0到1之間的數(shù)值zt,計算公式為

zt=σ(Wz[ht-1,xt]+bz)

(2)

zt決定要以多大程度將ht-1向下一個狀態(tài)傳遞，0代表完全舍棄，1代表完全保留,由式(2)可得。式中σ為sigmoid函數(shù)，Wz為更新門權(quán)重，bz為偏置。

此外，共情的因素也發(fā)生一定作用。轉(zhuǎn)移性羞恥的特點是羞恥的行為主體與情緒的體驗主體不一致，母親是羞恥事件的當事人，但自我是實際的羞恥體驗者。如果自我需要獲得與母親相似的羞恥體驗，親子間的共情將是必要的橋梁。共情研究發(fā)現(xiàn)，共情主體與對象之間的關(guān)系是共情發(fā)生的重要影響因素(顏志強，蘇金龍，蘇彥捷，2017)。母親與子女之間具有天然的血緣關(guān)系，并且在重要的價值觀上一致。因此，當羞恥體驗發(fā)生后，對親社會行為的影響呈現(xiàn)一致性。

rt=σ(Wr[ht-1,xt]+br)

(3)

(4)

當前時刻的輸出為ht,即

(5)

BIGRU模型的基本單元由一個前向傳播的GRU單元和一個后向傳播的GRU單元組合而成。本研究利用基于word2vec得到的問句詞向量訓(xùn)練集來訓(xùn)練2層的BIGRU模型，采用2個BIGRU層和全連接softmax層，對測試問句進行分類。采用2層的模型，可以增加模型的參數(shù)，提高模型的學(xué)習(xí)能力。其中，每層的隱藏狀態(tài)有2個信息流向，1傳輸給下一時刻，2要作為當前時刻下一層的輸入。圖3為2層的BIGRU模型。

圖3 2層的BIGRU模型Fig.3 Two layers BIGRU model

BIGRU模型能夠在輸入和輸出序列之間的映射過程中充分利用問句過去和未來的相關(guān)信息，其顯著的優(yōu)點是問句分類精度高，對詞向量的依賴性小，復(fù)雜度低，響應(yīng)時間比較快。

1.4 CNN模型問句分類

本研究采用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural networks,CNN)模型從語義層面識別用戶問題意圖，對用戶問句進行分類。自然語言處理任務(wù)在利用卷積神經(jīng)網(wǎng)絡(luò)時輸入的不是像素點，一般為文本的分布式表示，如矩陣或者向量。對于番茄問句來說，先對句子進行分詞，而表示句子的矩陣中的每一行代表句子中的一個詞，即每行表示的是一個詞的向量?？梢岳脀ord2vec學(xué)習(xí)到這些詞的空間向量，這些向量含有詞本身的語法、語義信息。利用100維的詞向量表示一句含有8個詞的句子時，則會得到一個8×100維的矩陣，將此矩陣作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，相當于一幅圖像的像素矩陣輸入。

本文所用卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，利用該網(wǎng)絡(luò)模型將用戶所提出的問題分類，本研究分為兩類，即番茄病害問題和番茄蟲害問題。采用的卷積神經(jīng)網(wǎng)絡(luò)模型包括5層：輸入層、卷積層、下采樣層、隱含層、輸出層。首先利用word2vec將句子表示為具有語法和語義信息的向量矩陣，作為卷積神經(jīng)網(wǎng)絡(luò)的初始輸入[18]，為了盡可能提取問句特征，本文設(shè)定兩種卷積核，卷積層濾波器采用2種大小不同的滑動窗口4×100和5×100，每種窗口有128個卷積核，一共有256個。在圖像處理領(lǐng)域，濾波器與圖像的局部區(qū)域進行感知，而處理自然語言時濾波器覆蓋句子中的幾行，所以濾波器和輸入的向量矩陣寬度相等，即濾波器的寬度也是100。

圖4 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Structure of convolutional neural network

f(x)=max(0,x)

(6)

采用max-pooling找到特征圖中最大的影響因素作為該局部的特征。下采樣層有減少模型參數(shù)數(shù)量和減小模型訓(xùn)練參數(shù)的復(fù)雜度的作用。經(jīng)過max-pooling操作提取的局部特征輸入下一層隱藏層，最后經(jīng)過softmax全連接層，進行分類。文本要進行的二分類問題，則輸出層僅有一個神經(jīng)元。利用softmax函數(shù)計算每個類別的概率公式為

(7)

CNN神經(jīng)網(wǎng)絡(luò)的優(yōu)點是共享卷積核，對高維數(shù)據(jù)處理無壓力，無需手動選取特征。訓(xùn)練好權(quán)重，即得特征，分類效果好，但是CNN網(wǎng)絡(luò)需要調(diào)節(jié)參數(shù)，對處理大樣本的數(shù)據(jù)分類效果較好。

2 問句分類實驗

2.1 問句分類實驗設(shè)計

本研究爬取收集番茄問句同時進行問句擴展，將番茄病害問句標注標簽為0，番茄蟲害問句標簽標注為1，一共得到有2 000條樣本。利用梯度下降算法[19]訓(xùn)練優(yōu)化雙向GRU模型和卷積神經(jīng)網(wǎng)絡(luò)模型，本文采用mini-batch梯度下降算法[20]，每次選擇n個小批量樣本參與訓(xùn)練，n小于總的訓(xùn)練集樣本數(shù)量，進行n次迭代，每次只使用一個樣本，最終對n次迭代得到的梯度加權(quán)平均再求和，作為本次mini-bath的下降度。mini-batch梯度下降法一方面保證盡可能得到最優(yōu)解，另一方面能夠加快收斂速度。

本研究采用的batch大小為50。為了防止神經(jīng)網(wǎng)絡(luò)模型在訓(xùn)練過程中出現(xiàn)過擬合現(xiàn)象，本文定dropout參數(shù)[21]大小為0.5。為了增強模型的魯棒性，使2種神經(jīng)網(wǎng)絡(luò)模型從語料中學(xué)習(xí)更多的信息，學(xué)習(xí)更準確的網(wǎng)絡(luò)參數(shù)，并避免陷入局部最小值，本研究采用交叉驗證[22]的方法，將數(shù)據(jù)集隨機分成10份，其中9份作為訓(xùn)練集，另外1份作為測試集。

實驗中利用word2vec表示句子中詞的向量，而句子被表示為包含多個向量的矩陣，作為神經(jīng)網(wǎng)絡(luò)模型的初始輸入，詞向量在模型訓(xùn)練過程中不斷學(xué)習(xí)更新。神經(jīng)網(wǎng)絡(luò)模型連接一個softmax全連接層，將該問句分為番茄病害類或者番茄蟲害類。

采用準確率、召回率以及F1值[23]作為問句分類算法模型的測評指標。準確率和召回率經(jīng)常用來度量信息搜索效率和統(tǒng)計學(xué)分類效果。此處問句分類準確率是指被正確分為某一類的樣本數(shù)與全部被分為該類別的樣本數(shù)量之比；召回率是指被正確分為某一類的樣本數(shù)量與樣本中全部屬于該類別的數(shù)量之比。準確率與召回率在0和1之間，其值越接近1，表示準確率或者召回率越大。

準確率和召回率在某些情況下是矛盾的，當要求準確率非常高時，系統(tǒng)的召回率可能就會降低，當要求召回率非常高時，準確率有可能會降低，則需要一個綜合評測指標，常用的方法是F1值。F1值是準確率和召回率的調(diào)和平均值，其公式為

(8)

式中P——準確率R——召回率

2.2 問句分類實驗結(jié)果及分析

番茄病蟲害問答系統(tǒng)問句分類采用word2vec表示句子向量，并利用KNN算法、BIGRU模型和卷積神經(jīng)網(wǎng)絡(luò)模型進行分類，其分類結(jié)果如表2所示。

表2 基于不同分類算法的問句分類結(jié)果Tab.2 Question classification results based on differentclassification algorithms %

由表2可知，BIGRU模型在番茄病害類和番茄蟲害類的分類準確率、召回率都比基于CNN神經(jīng)網(wǎng)絡(luò)和基于KNN算法的結(jié)果高幾個百分點。從綜合評價指標來講，在番茄病害類方面，采用BIGRU神經(jīng)網(wǎng)絡(luò)模型進行問句分類，其F1為91.82%，比利用CNN神經(jīng)網(wǎng)絡(luò)高2.25個百分點，比KNN算法高5.22個百分點；在番茄蟲害類，采用BIGRU神經(jīng)網(wǎng)絡(luò)模型進行問句分類，其F1為92.48%，比利用CNN神經(jīng)網(wǎng)絡(luò)模型高2.57個百分點，比利用KNN高5.57個百分點。

基于BIGRU模型的問句分類效果最優(yōu)，CNN模型居中，KNN算法結(jié)果稍差。相對于KNN算法模型，BIGRU模型和CNN神經(jīng)網(wǎng)絡(luò)不需要手動提取特征，自動學(xué)習(xí)復(fù)雜特征的能力強大，并且效率較高。BIGRU模型的優(yōu)勢在于，從左到右推進模型做一次GRU,然后從右向左推進模型做一次GRU, 充分利用了句子分詞后的前后位置信息。而且，BIRRU模型結(jié)構(gòu)簡單，模型訓(xùn)練參數(shù)較少，模型訓(xùn)練速度快，符合問答系統(tǒng)對響應(yīng)時間的要求。

應(yīng)用BIGRU模型進行番茄病蟲害問句分類，正確預(yù)測的幾種典型問句及對應(yīng)的分類標簽和結(jié)果如表3所示，其中標簽0代表番茄病害，標簽1代表番茄蟲害。

表3 番茄問句分類舉例Tab.3 Examples of tomato question classification

其次，是針對番茄智能問答系統(tǒng)問句分類效果最優(yōu)的BIGRU神經(jīng)網(wǎng)絡(luò)模型，對影響問句分類的數(shù)據(jù)樣本大小也進行了測試，將數(shù)據(jù)樣本分別設(shè)置為500、1 000、1 500再進行測試，測試結(jié)果如表4所示。

表4 不同數(shù)據(jù)集的BIGRU模型Tab.4 BIGRU model with different datasets

由表4可得，訓(xùn)練數(shù)據(jù)的大小對模型的效果有較大影響，番茄智能問答系統(tǒng)作為一個實用性系統(tǒng)，對準確率有較高的系統(tǒng)需求。而問句分類作為其關(guān)鍵環(huán)節(jié)，在對選定的模型進行訓(xùn)練時，要求訓(xùn)練數(shù)據(jù)盡可能的覆蓋全面，從而可以提高整個系統(tǒng)的準確率。

最后，繪制了不同數(shù)據(jù)集下3種模型的F1實驗結(jié)果，如圖5所示。

圖5 不同數(shù)據(jù)集測試結(jié)果Fig.5 Test results for different datasets

由圖5可得，當數(shù)據(jù)集較小時，KNN算法模型的效果比其他2種神經(jīng)網(wǎng)絡(luò)模型的F1高，隨著數(shù)據(jù)集的增大，BIGRU模型和CNN模型的F1明顯升高。神經(jīng)網(wǎng)絡(luò)模型參數(shù)的迭代學(xué)習(xí)需要較大數(shù)據(jù)集的支持，神經(jīng)網(wǎng)絡(luò)不需要手動提取特征，自動學(xué)習(xí)復(fù)雜特征的能力強大，并且效率較高。驗證了BIGRU模型作為番茄病蟲害智能問答系統(tǒng)問句分類模型的有效性。

3 結(jié)論

(1)針對番茄智能問答系統(tǒng)的特點，利用word2vec表示用戶問句向量，有效地提取用戶問句中語義信息，構(gòu)建了基于BIGRU神經(jīng)網(wǎng)絡(luò)的番茄智能問答系統(tǒng)問句分類模型，有利于提高問答系統(tǒng)準確度，且此模型響應(yīng)時間最快，符合問答系統(tǒng)對響應(yīng)時間的要求。

(2)對比了CNN神經(jīng)網(wǎng)絡(luò)和KNN算法，結(jié)果表明BIGRU模型的準確率、召回率、F1優(yōu)于其他兩種問句分類算法。

(3)利用不同大小數(shù)據(jù)集對3種模型進行測試，結(jié)果表明隨著數(shù)據(jù)集增大，BIGRU神經(jīng)網(wǎng)絡(luò)模型F1明顯上升。番茄病蟲害問答系統(tǒng)問句分類的效果不僅取決于問句分類算法的選擇，模型訓(xùn)練數(shù)據(jù)集的大小也有較大影響。

1 李道亮,楊昊.農(nóng)業(yè)物聯(lián)網(wǎng)技術(shù)研究進展與發(fā)展趨勢分析[J/OL].農(nóng)業(yè)機械學(xué)報,2018,49(1):1-20.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20180101&journal_id=jcsam. DOI:10.6041/j.issn.1000-1298.2018.01.001.

LI Daoliang, YANG Hao. State-of-the-art review for internet of things in agriculture[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(1):1-20. (in Chinese)

2 郭海紅, 李姣, 代濤. 中文健康問句分類與語料構(gòu)建[J]. 情報工程, 2016, 2(6):39-49.

GUO Haihong, LI Jiao, DAI Tao. Classification of Chinese health question and construction of corpus[J]. Technology Intelligence Engineering, 2016, 2(6):39-49.(in Chinese)

3 范士喜, 韓喜雙, 相洋,等. 基于HM- SVMs的問句語義分析模型[J]. 計算機應(yīng)用與軟件, 2016, 33(5):84-86.

FAN Shixi, HAN Xishuang, XIANG Yang, et al. A question semantic analysis model based on HM- SVMs[J]. Computer Applications and Software, 2016, 33(5):84-86.(in Chinese)

4 AHMED W, ANTO B. Answer extraction techniquefor question answering systems[J]. International Journal of Innovative Research in Computer and Communication Engineering,2016, 4(11):20352-20357.

5 TIAN W D, GAO Y Y, ZU Yongliang. Question classification based on self-learning rules and modified bayes[J]. Application Research of Computers, 2010, 27(8):2869-2871.

6 ZHANG S, LI X, ZONG M, et al. Learning k for kNN classification[J]. ACM Transactions on Intelligent Systems & Technology, 2017, 8(3):43-1-43-19.

7 魏芳芳, 段青玲, 肖曉琰,等. 基于支持向量機的中文農(nóng)業(yè)文本分類技術(shù)研究[J/OL]. 農(nóng)業(yè)機械學(xué)報, 2015,46(增刊):174-179. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=2015S029&journal_id=jcsam. DOI:10.6041/j.issn.1000-1298.2015.S0.029.

WEI Fangfang, DUAN Qingling, XIAO Xiaoyan, et al. Classification technique of Chinese agricultural text information based on SVM[J/OL]. Transations of the Chinese Society for Agricultural Machinery, 2015, 46(Supp.):174-179.(in Chinese)

8 JABREEL M, MORENO A. Target-dependent sentiment analysis of tweets using a bi-directional gated recurrent unit[C]∥International Conference on Web Information Systems and Technologies, 2017.

9 高震宇, 王安, 劉勇,等. 基于卷積神經(jīng)網(wǎng)絡(luò)的鮮茶葉智能分選系統(tǒng)研究[J/OL]. 農(nóng)業(yè)機械學(xué)報, 2017, 48(7):53-58.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20170707&journal_id=jcsam.DOI:10.6041/j.issn.1000-1298.2017.07.007.

GAO Zhenyu,WANG An,LIU Yong, et al.Intelligent fresh-tea-leaves sorting system research based on convolution neural network[J/OL].Transactions of the Chinese Society for Agricultural Machinery,2017,48(7):53-58.(in Chinese)

10 WANG J, GUO Y. Scrapy-based crawling and user-behavior characteristics analysis on taobao[C]∥International Conference on Cyber-Enabled Distributed Computing and Knowledge Discovery. IEEE Computer Society, 2012:44-52.

11 方艷, 周國棟. 基于層疊CRF模型的詞結(jié)構(gòu)分析[J]. 中文信息學(xué)報, 2015, 29(4):1-7.

FANG Yan, ZHOU Guodong. Analysis of word structure based on cascaded CRF model[J]. Journal of Chinese Information Processing, 2015, 29(4):1-7.(in Chinese)

12 陳飛, 劉奕群, 魏超,等. 基于條件隨機場方法的開放領(lǐng)域新詞發(fā)現(xiàn)[J]. 軟件學(xué)報, 2013, 24(5):1051-1060.

CHEN Fei, LIU Yiqun, WEI Chao, et al. New word discovery in open domain based on conditional random field method[J]. Journal of Software, 2013, 24 (5):1051-1060.(in Chinese)

13 GOLDBERG Y, LEVY O. word2vec explained: deriving Mikolov et al. ’s negative-sampling word-embedding method[J/OL]. Eprint ArXiv, 2014.ArXiv: 1402.3722.

14 KILLIAN J, MORCHID M, DUFOUR R, et al. A log-linear weighting approach in the word2vec space for spoken language understanding[C]∥Spoken Language Technology Workshop. IEEE, 2017:356-361.

15 劉雨康, 張正陽, 陳琳琳,等. 基于KNN算法的改進的一對多SVM多分類器[J]. 計算機工程與應(yīng)用, 2015, 51(24):126-131.

LIU Yukang, ZHANG Zhengyang, CHEN Linlin, et al. Improved one to many SVM multi classifiers based on KNN algorithm[J]. Computer Engineering and Application,2015, 51(24):126-131.(in Chinese)

16 TANG Y, HUANG Y, WU Z, et al. Question detection from acoustic features using recurrent neural network with gated recurrent unit[C]∥IEEE International Conference on Acoustics, Speech and Signal Processing. IEEE, 2016:6125-6129.

17 WEN T H, GASIC M, MRKSIC N, et al. Semantically conditioned LSTM-based natural language generation for spoken dialogue systems[J]. Computer Science, 2015:1-13.

18 GORDEEV D. Detecting state of aggression in sentences using CNN[M]. Speech and Computer, Springer International Publishing, 2016.

19 毛勇華, 桂小林, 李前,等. 深度學(xué)習(xí)應(yīng)用技術(shù)研究[J]. 計算機應(yīng)用研究, 2016, 33(11):3201-3205.

MAO Yonghua, GUI Xiaolin, LI Qian, et al. Deep learning application technology[J].Application Research of Computers, 2016, 33(11):3201-3205.(in Chinese)

20 ARAB A, ALFI A. An adaptive gradient descent-based local search in memetic algorithm applied to optimal controller design[J]. Information Sciences, 2015, 299:117-142.

21 SRIVASTAVA N, HINTON G, KRIZHEVSKY A, et al. Dropout: a simple way to prevent neural networks from overfitting[J]. Journal of Machine Learning Research, 2014, 15(1):1929-1958.

22 邊耐政, 李碩, 陳楚才. 加權(quán)交叉驗證神經(jīng)網(wǎng)絡(luò)在水質(zhì)預(yù)測中的應(yīng)用[J]. 計算機工程與應(yīng)用, 2015, 51(21):255-258.

BIAN Naizheng, LI Shuo, CHEN Chucai. Application of weighted cross validation neural network in water quality prediction[J]. Computer Engineering and Applications, 2015, 51(21):255-258.(in Chinese)

23 POWERS D M W. Evaluation: from precision, recall and f-factor to ROC, informedness, markedness & correlation[J]. Journal of Machine Learning Technologies, 2011, 2:2229-3981.