• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于Bi-LSTM的質(zhì)量控制圖模式識(shí)別

    2019-10-08 08:34:58伍常亮朱波萬(wàn)育微趙晟然
    軟件 2019年7期
    關(guān)鍵詞:并行計(jì)算深度學(xué)習(xí)

    伍常亮 朱波 萬(wàn)育微 趙晟然

    摘? 要: 為提高制造過(guò)程質(zhì)量智能控制的控制效果,提出了一種基于雙向長(zhǎng)短時(shí)間記憶網(wǎng)絡(luò)(Bidirectional LSTM,Bi-LSTM)的控制圖失控模式識(shí)別方法。文中分析了其分類(lèi)的基本原理,構(gòu)建了控制圖模式識(shí)別模型,并通過(guò)蒙特卡洛仿真方法生成仿真數(shù)據(jù)集,進(jìn)行仿真實(shí)驗(yàn)驗(yàn)證。仿真實(shí)驗(yàn)結(jié)果表明,Bi-LSTM用于控制圖模式識(shí)別,準(zhǔn)確率相對(duì)多層感知機(jī)(MLP)、貝葉斯分類(lèi)器有了顯著提升,相比支持向量機(jī)(SVM)具有效率上的明顯優(yōu)勢(shì),且在大樣本下識(shí)別準(zhǔn)確率更高。

    關(guān)鍵詞: 控制圖模式識(shí)別;深度學(xué)習(xí);雙向長(zhǎng)短時(shí)間記憶網(wǎng)絡(luò);并行計(jì)算;蒙特卡洛仿真

    中圖分類(lèi)號(hào): TP391.4? ? 文獻(xiàn)標(biāo)識(shí)碼: A? ? DOI:10.3969/j.issn.1003-6970.2019.07.016

    【Abstract】: In order to improve the control effect of intelligent control of manufacturing process, a method of recognition for out-of-control patterns in control chart based on Bidirectional LSTM (Bi-LSTM) is proposed in this paper. The basic principle of LSTM for classification is analyzed first. Followed by that, the pattern recognition model of control charts is constructed and a simulation data set is generated by the Monte Carlo simulation method for training and testing. The simulation experiments results show that the recognition accuracy of Bi-LSTM on control chart patterns is significantly superior than those of multi-layer perceptron (MLP) and bayesian classifier. In comparison with support vector machine (SVM), it also shows obvious advantages in efficiency and gets higher recognition accuracy under the case of large samples.

    【Key words】: Control chart pattern recognition; Deep learning; Bi-LSTM; Parallel computing; Monte Carlo simulation

    0? 引言

    控制圖作為統(tǒng)計(jì)過(guò)程控制(SPC)的核心工具,基于統(tǒng)計(jì)學(xué)的中心極限定理和假設(shè)檢驗(yàn)原理,檢測(cè)產(chǎn)品生產(chǎn)過(guò)程是否穩(wěn)定,區(qū)分過(guò)程受可歸咎變異因素與不可歸咎變異因素影響[1]。傳統(tǒng)控制圖對(duì)于超出控制限的異常較容易檢測(cè),而對(duì)于控制限內(nèi)的異常模式難以識(shí)別,通常需要通過(guò)人工進(jìn)行判斷,易受到人的經(jīng)驗(yàn)水平的影響。智能制造的興起對(duì)制造過(guò)程質(zhì)量控制提出了智能化的要求,將機(jī)器學(xué)習(xí)技術(shù)引入到過(guò)程質(zhì)量監(jiān)控中,通過(guò)機(jī)器學(xué)習(xí)模型對(duì)控制圖進(jìn)行模式識(shí)別成為實(shí)現(xiàn)過(guò)程質(zhì)量智能化監(jiān)控的有效手段[2]。

    機(jī)器學(xué)習(xí)算法在控制圖模式識(shí)別領(lǐng)域的應(yīng)用研究早在上世紀(jì)80年代就開(kāi)始受到重視,至今已取得了一定成果,如:(Guh和Hsieh,1999)[3-4]利用BP神經(jīng)網(wǎng)絡(luò)對(duì)控制圖異常模式的識(shí)別進(jìn)行了研究,表明BP神經(jīng)網(wǎng)絡(luò)對(duì)于該領(lǐng)域的繼續(xù)深入研究具有一定研究?jī)r(jià)值,但BP神經(jīng)網(wǎng)絡(luò)的缺點(diǎn)在于參數(shù)難以調(diào)節(jié),訓(xùn)練易陷入局部極小,識(shí)別率不高。接著,又有其他學(xué)者將概率神經(jīng)網(wǎng)絡(luò)(PNN)、支持向量機(jī)(SVM)、Adaboost等其他傳統(tǒng)機(jī)器學(xué)習(xí)算法應(yīng)用于該領(lǐng)域,表明了這些算法比BP神經(jīng)網(wǎng)絡(luò)更具有精度、效率或魯棒性上的優(yōu)勢(shì)[5-7]。近些年來(lái),也有部分者針對(duì)這些經(jīng)典機(jī)器學(xué)習(xí)算法的不足,提出了改進(jìn)算法,如:利用可調(diào)節(jié)激活函數(shù)參數(shù)和動(dòng)態(tài)閾值的方法、自適應(yīng)粒子群(AMPSO)、遺傳算法 (GA)等對(duì)BP神經(jīng)網(wǎng)絡(luò)、SVM的參數(shù)選擇進(jìn)行優(yōu)化,仿真實(shí)驗(yàn)表明這些優(yōu)化后的算法在識(shí)別率或魯棒性上有所提升[8-10]。還有些學(xué)者在控制圖模式? 的特征工程上做了研究,如:利用時(shí)域特征、形狀特征、小波分解方法等,對(duì)控制圖模式進(jìn)行特征提取、特征融合的工作,表明了抽取和選擇特征的重要性[11-12]。

    這些研究表明了控制圖模式識(shí)別領(lǐng)域目前存在的三大難點(diǎn):一是算法設(shè)計(jì),眾多傳統(tǒng)機(jī)器學(xué)習(xí)算法中,只有少數(shù)算法對(duì)控制圖模式識(shí)別有較好的效果;二是特征選擇,傳統(tǒng)機(jī)器學(xué)習(xí)算法一般都需要對(duì)原始數(shù)據(jù)進(jìn)行特征提取、特征融合之后才能取得更好的效果,對(duì)于特征選擇的依賴性較高;三是這些傳統(tǒng)機(jī)器學(xué)習(xí)算法一般在大樣本情況下訓(xùn)練耗時(shí)太高(如SVM),難以適應(yīng)現(xiàn)代化快速生產(chǎn)的節(jié)拍。

    近年來(lái),深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)一個(gè)新的分支快速崛起,在計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、自然語(yǔ)言處理等領(lǐng)域已經(jīng)取得了相當(dāng)可觀的成績(jī)。與傳統(tǒng)機(jī)器學(xué)習(xí)算法相比,深度學(xué)習(xí)使用更多的樣本數(shù)據(jù)可以更好地?cái)U(kuò)展,且不需要特征工程,這為控制圖模式識(shí)別領(lǐng)域開(kāi)辟了新的途徑。雙向長(zhǎng)短時(shí)間記憶網(wǎng)絡(luò)(Bi-LSTM)作為一種深度學(xué)習(xí)方法,善于處理序列的前后關(guān)系,因而常用于處理自然語(yǔ)言中的上下文信息[13-15]??刂茍D異常模式通常由人、機(jī)、料、法、環(huán)、測(cè)的異常所引起,產(chǎn)品生產(chǎn)過(guò)程中質(zhì)量特性一般隨時(shí)間呈規(guī)律變化,從產(chǎn)品的質(zhì)量特性前后波動(dòng)數(shù)據(jù)來(lái)分析,往往能分析出數(shù)據(jù)流的異常形態(tài),從而找出根本的異常原因。鑒于Bi-LSTM算法善于處理序列前后關(guān)系的特性以及控制圖模式數(shù)據(jù)流存在前后關(guān)系的特性,本文提出使用Bi-LSTM來(lái)進(jìn)行控制圖模式識(shí)別,利用蒙特卡洛模擬方法仿真得到控制圖八種基本模式的數(shù)據(jù)(其中包括受控模式和其他七種異常模式),利用tensorflow搭建Bi-LSTM網(wǎng)絡(luò)結(jié)構(gòu),并使用GPU并行加速訓(xùn)練,在識(shí)別精度和識(shí)別效率上取得了較好的效果。

    1? 控制圖模式識(shí)別原理

    在工序中,由于受到人、機(jī)、料、法、環(huán)、測(cè)等多種因素的影響,產(chǎn)品生產(chǎn)過(guò)程質(zhì)量特性數(shù)據(jù)流往往存在著波動(dòng),按照這些波動(dòng)數(shù)據(jù)流的分布特點(diǎn),美國(guó)西部電氣公司將其分為八種模式,即:受控模式(natural)、向上階躍(upward shift)、向下階躍(downward shift)、趨勢(shì)向上(upward trend)、趨勢(shì)向下(downward trend)、周期模式(cycle)、系統(tǒng)性模式(systematic)、混合模式(mixture),八種基本模式的分布特點(diǎn)如圖1所示。

    在控制圖模式識(shí)別的實(shí)際應(yīng)用中,一般采用移動(dòng)窗口的方法進(jìn)行異常監(jiān)控,每生產(chǎn)出一個(gè)新的產(chǎn)品,便將窗口往后移動(dòng)一次,將新的數(shù)據(jù)加入到識(shí)別窗口,若在某時(shí)刻點(diǎn)窗口檢測(cè)出異常,則發(fā)出異常警報(bào),并輸出具體異常模式,移動(dòng)窗口法及仿真樣本示意圖如圖2所示。

    在基于機(jī)器學(xué)習(xí)方法的控制圖模式識(shí)別領(lǐng)域中,一般將如圖2所示窗口內(nèi)的數(shù)據(jù)流作為機(jī)器學(xué)習(xí)的樣本。移動(dòng)窗口長(zhǎng)度的選擇一般基于經(jīng)驗(yàn)選取,一般來(lái)說(shuō),移動(dòng)窗口長(zhǎng)度小,則能更快檢測(cè)出異常,但模式判別準(zhǔn)確性低;移動(dòng)窗口長(zhǎng)度大,則模式判別準(zhǔn)確性更高,但檢測(cè)出異常的效率低。

    2? Bi-LSTM原理及控制圖模式識(shí)別模型構(gòu)建

    2.1? LSTM原理

    長(zhǎng)短時(shí)間記憶網(wǎng)絡(luò)(LSTM)是一種深度學(xué)習(xí)模型,由循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)演化而來(lái),相對(duì)于RNN,它可以捕捉到較長(zhǎng)距離的依賴關(guān)系。在結(jié)構(gòu)上,與標(biāo)準(zhǔn)RNN不同的是,LSTM在細(xì)胞(cell)上增加了門(mén)(gates)的結(jié)構(gòu),可以讓信息選擇性的通過(guò)[16],實(shí)際上可以理解為是一種特征選擇及更新機(jī)制。標(biāo)準(zhǔn)LSTM的結(jié)構(gòu)如圖3所示。

    2.2? 基于Bi-LSTM的控制圖模式識(shí)別模型

    2.2.1? 模型結(jié)構(gòu)及構(gòu)建步驟

    Bi-LSTM由前向LSTM和后向LSTM組合而成,相比單向LSTM更能學(xué)習(xí)到序列前后的關(guān)系,因此,本文建立基于Bi-LSTM的深度學(xué)習(xí)網(wǎng)絡(luò)模型,模型結(jié)構(gòu)如圖4所示。

    模型構(gòu)建步驟如下:

    (1)通過(guò)蒙特卡洛仿真原理生成符合控制圖模式數(shù)據(jù)分布的樣本,基于前人經(jīng)驗(yàn)和本文預(yù)研實(shí)驗(yàn)結(jié)果,此處仿真樣本窗口長(zhǎng)度取32。八種控制圖模式的仿真方程具體表示為[17]:

    其中, 為產(chǎn)品第 時(shí)刻質(zhì)量特性值; 為受控條件下統(tǒng)計(jì)量均值; 為 時(shí)刻由偶然因素引發(fā)的隨機(jī)干擾,一般是服從 分布的高斯白噪聲序列; 為 時(shí)刻的異常干擾值。

    1)對(duì)于受控模式: =0。

    2)對(duì)于階躍模式: ,其中,階躍發(fā)生前 ,階躍發(fā)生后 ; 為階躍幅度。

    3)對(duì)于趨勢(shì)模式: ,其中, 為傾斜度,當(dāng)趨勢(shì)模式發(fā)生前, 為0。

    4)對(duì)于周期模式: ,其中, 為波動(dòng)幅值; 為波動(dòng)周期長(zhǎng)度。

    5)對(duì)于系統(tǒng)性模式: ,其中, 為震蕩幅度,反映了偏離均值上下的程度。

    6)對(duì)于混合模式: ,其中, 為 之間的隨機(jī)數(shù); 為振幅;若 ,則 ,否則 。

    (2)對(duì)生成的數(shù)據(jù)樣本進(jìn)行標(biāo)準(zhǔn)化處理。該步驟有兩大意義:一,實(shí)際生產(chǎn)過(guò)程中產(chǎn)品質(zhì)量特性由產(chǎn)品本身而定,標(biāo)準(zhǔn)化可使模型更具普適性;二,標(biāo)準(zhǔn)化處理由于能消除由量綱不同所產(chǎn)生的影響,進(jìn)行標(biāo)準(zhǔn)化處理有助于模型學(xué)習(xí)到真正的特征,從而提模型的識(shí)別性能。此處,對(duì)生成的樣本數(shù)據(jù)集采用z-score 標(biāo)準(zhǔn)化,具體方式為:

    (3)將標(biāo)準(zhǔn)化后的樣本數(shù)據(jù)輸入到前向LSTM和后向LSTM,利用其獨(dú)特的網(wǎng)絡(luò)結(jié)構(gòu)來(lái)抽取特征進(jìn)而深化學(xué)習(xí),該步驟是Bi-LSTM模型訓(xùn)練的核心步驟;

    (4)對(duì)樣本進(jìn)行標(biāo)簽化處理。此處采用(one-hot encoding)離散型特征編碼方式,使得八種控制圖模式每一種類(lèi)型樣本都只擁有一種“激活態(tài)”,讓模型更具有非線性學(xué)習(xí)能力。對(duì)每種模式采取的編碼方式具體如表1所示。

    (5)利用 將將Bi-LSTM網(wǎng)絡(luò)結(jié)構(gòu)的輸出概率歸一化到 之間,再利用交叉熵函數(shù)作為損失函數(shù),衡量實(shí)際輸出與樣本標(biāo)簽值之間的距離,輔助Bi-LSTM模型的迭代學(xué)習(xí)。具體策略表示為:

    3? 仿真實(shí)驗(yàn)驗(yàn)證

    3.1? 仿真數(shù)據(jù)集生成

    此處,利用蒙特卡洛仿真原理共生成? ?個(gè)樣本,每種類(lèi)型樣本依照其數(shù)據(jù)波動(dòng)特性,采用不同的參數(shù)設(shè)置,以滿足實(shí)際產(chǎn)品生產(chǎn)過(guò)程中異常模式的多樣化特點(diǎn),具體參數(shù)設(shè)置如表2所示。

    其中,對(duì)于周期模式、系統(tǒng)性模式以及混合模式,幅度變化參數(shù)取值范圍設(shè)在 區(qū)間,突變點(diǎn)取 ,是為了將更多異常特征信息體現(xiàn)在休哈特控制圖控制限內(nèi),有針對(duì)地解決休哈特控制圖控制限內(nèi)的異常模式難以識(shí)別的現(xiàn)狀特點(diǎn)。對(duì)于階躍模式和趨勢(shì)模式,由于其本身就容易超出休哈特控制圖控制限,因此,設(shè)立不同的突變時(shí)刻點(diǎn),既可滿足這種實(shí)際狀況,又可利用控制限內(nèi)的異常特征,在超出界限前便捕捉到異常信號(hào),從而更快識(shí)別出異常模式,以滿足過(guò)程質(zhì)量控制的實(shí)際需求。

    3.2? 模型訓(xùn)練

    本仿真實(shí)驗(yàn)所采用的實(shí)驗(yàn)設(shè)備相關(guān)硬件為Nvidia GeForce GTX 1050 Ti的GPU以及NVIDIA CUDA 8.0驅(qū)動(dòng),采用tensorflow1.0-gpu開(kāi)源機(jī)器學(xué)習(xí)框架,仿真平臺(tái)為python3.6。

    基于前人經(jīng)驗(yàn)及預(yù)研實(shí)驗(yàn),此處學(xué)習(xí)率(learning rate)取0.0008,批量大?。╞atch size)取2048進(jìn)行批量訓(xùn)練,前向及后向LSTM cell個(gè)數(shù)各取512個(gè)。隨機(jī)打亂樣本,取標(biāo)準(zhǔn)化后總樣本的70%作為訓(xùn)練集,10%作為驗(yàn)證集,迭代次數(shù)設(shè)為1000次。

    為了防止過(guò)擬合,本文仿真采取早停策略(early stopping),具體策略為:

    其中,GL為早停閾值,本實(shí)驗(yàn)取GL>1時(shí)提前結(jié)束訓(xùn)練; 為第 次迭代的驗(yàn)證誤差; 為迭代過(guò)程中最小的驗(yàn)證誤差;

    采用早停法的好處在于:1)防止過(guò)擬合;2)節(jié)省訓(xùn)練時(shí)間;

    本仿真實(shí)驗(yàn)?zāi)P陀?xùn)練及早停情況如圖5所示。

    由圖5可知,隨著迭代訓(xùn)練次數(shù)增加,訓(xùn)練誤差和驗(yàn)證誤差趨于收斂,兩條曲線基本吻合,說(shuō)明訓(xùn)練過(guò)程沒(méi)有出現(xiàn)欠擬合。且在早停策略的作用下,在第521次提前結(jié)束訓(xùn)練,避免了過(guò)擬合情況的發(fā)生。

    3.3? 模型泛化性能測(cè)試實(shí)驗(yàn)

    取標(biāo)準(zhǔn)化后總樣本的20%作為測(cè)試集,對(duì)訓(xùn)練的模型進(jìn)行測(cè)試,平均識(shí)別率達(dá)到了98.35%,對(duì)于八種模式的具體識(shí)別情況如圖6所示。此外,在相同訓(xùn)練集與相同測(cè)試集的前提下,將Bi-LSTM與SVM、MLP、高斯貝葉斯分類(lèi)器進(jìn)行比較,不同算法對(duì)八種控制圖模式的識(shí)別情況如表3所示。

    從圖6可見(jiàn),對(duì)于Bi-LSTM模型,混合模式與受控模式較容易誤判,趨勢(shì)向上易誤判為向上階躍、趨勢(shì)向下易誤判向下階躍。

    從表3可見(jiàn),Bi-LSTM算法對(duì)控制圖模式識(shí)別的識(shí)別率和SVM相差無(wú)幾,對(duì)八種模式的平均識(shí)別率達(dá)到了98.35%,相比MLP和高斯貝葉斯分類(lèi)器識(shí)別率更高。

    3.4? Bi-LSTM與SVM性能比較實(shí)驗(yàn)

    基于Bi-LSTM與SVM對(duì)控制圖識(shí)別的識(shí)別率相近,本文分別在總樣本為720、7200、72000、288000的水平對(duì)兩種算法在識(shí)別率、訓(xùn)練時(shí)間、測(cè)試時(shí)間上做了比較,其中訓(xùn)練樣本占80%,測(cè)試樣本占20%。十次仿真實(shí)驗(yàn)平均結(jié)果如圖7所示。

    由圖7可見(jiàn),在識(shí)別精度上,兩種算法都隨樣本量增加而增加,當(dāng)總樣本量為72000時(shí),Bi-LSTM識(shí)別率達(dá)到SVM的水平,當(dāng)總樣本量為288000時(shí),Bi-LSTM識(shí)別率已經(jīng)超過(guò)SVM的水平,且從趨勢(shì)上來(lái)看,當(dāng)樣本量更大時(shí),Bi-LSTM算法在識(shí)別精度上將更優(yōu)于SVM(受于實(shí)驗(yàn)設(shè)備計(jì)算能力的限制,本文沒(méi)有取更大樣本量進(jìn)行仿真實(shí)驗(yàn))。在訓(xùn)練時(shí)間和測(cè)試時(shí)間上,SVM算法隨樣本量增加而顯著增加,而B(niǎo)i-LSTM算法的訓(xùn)練時(shí)間和測(cè)試時(shí)間隨? 樣本量增加雖然有所增加,但相對(duì)SVM顯然效率? 更高。

    4? 結(jié)論

    本文基于長(zhǎng)短時(shí)間記憶網(wǎng)絡(luò)(Bi-LSTM)在處理序列前后關(guān)系特征上獨(dú)特的優(yōu)勢(shì),提出將Bi-LSTM用于控制圖模式識(shí)別。通過(guò)仿真實(shí)驗(yàn)表明,該方法在樣本量足夠時(shí),相比SVM、MLP、高斯貝葉斯分類(lèi)器這些傳統(tǒng)機(jī)器學(xué)習(xí)方法,能夠取得不弱于甚至更好的識(shí)別效果。其次,由于深度學(xué)習(xí)并行加速計(jì)算的普及,該方法在模型訓(xùn)練和應(yīng)用上,效率都比SVM算法更高,更能適應(yīng)未來(lái)大數(shù)據(jù)環(huán)境下快速生產(chǎn)的需求。再者,該方法對(duì)人工特征提取的依賴性較傳統(tǒng)機(jī)器學(xué)習(xí)算法更低,可以自動(dòng)抽取和學(xué)習(xí)特征,使用更加方便。隨著工業(yè)物聯(lián)網(wǎng)的普及和計(jì)算機(jī)處理性能的飛速進(jìn)步,大數(shù)據(jù)的優(yōu)勢(shì)得以體現(xiàn),如何充分發(fā)揮大數(shù)據(jù)的優(yōu)勢(shì)成為熱點(diǎn)和難點(diǎn),本文提出將Bi-LSTM算法用于控制圖模式識(shí)別,給該領(lǐng)域未來(lái)的繼續(xù)深入研究提供了新的可行途徑。如何更好地將深度學(xué)習(xí)與研究產(chǎn)品質(zhì)量過(guò)程在線智能監(jiān)測(cè)與控制有機(jī)結(jié)合是下一步的研究方向。

    參考文獻(xiàn)

    [1] Sauter R M. Introduction to Statistical Quality Control (2nd ed.)[M]. John Wiley & Sons, 1991.

    [2] Shewhart M. Interpreting statistical process control (SPC) charts using machine learning and expert system techniques [C]//Aerospace & Electronics Conference. IEEE Xplore, 1992.

    [3] Guh R S, Hsieh Y C. A neural network based model for abnormal pattern recognition of control charts[M]. Pergamon Press, Inc. 1999.

    [4] Guh R S, Zorriassatine F, Tannock J D T, et al. On-line control chart pattern detection and discrimination—a neural network approach[J]. Artificial Intelligence in Engineering, 1999, 13(4): 413-425.

    [5] Cheng Z, Ma Y Z. A Research about Pattern Recognition of Control Chart Using Probability Neural Network[C]// Isecs International Colloquium on Computing, Communication, Control, & Management. IEEE, 2008.

    [6] 趙方方, 何楨. 基于SVM的控制圖模式識(shí)別方法研究[J]. 組合機(jī)床與自動(dòng)化加工技術(shù), 2009(8): 1-4.

    [7] 張江霞. 基于Adaboost算法的控制圖模式識(shí)別應(yīng)用研究[D]. 南京理工大學(xué), 2013.

    [8] Xiang-Gan Z, Chang-An L, Wen-Tao F. The System of Control Chart Pattern Recognition Based on Improved BP Neural Network[J]. Modular Machine Tool & Automatic Manufacturing Technique, 2011.

    [9] 張敏, 程文明, ZhangMin, et al. 基于自適應(yīng)粒子群算法和支持向量機(jī)的控制圖模式識(shí)別[J]. 工業(yè)工程, 2012, 15(5): 125-129.

    [10] 李太福, 胡勝, 魏正元, et al. 基于遺傳優(yōu)化的PCA-SVM控制圖模式識(shí)別[J]. 計(jì)算機(jī)應(yīng)用研究, 2012, 29(12): 4538-4541.

    [11] Yu-Bo Z, Xiao-Nan L. Recognition Method of SPC Control Chart Pattern Based on ISFS and ELM[J]. Journal of Qingdao University of Science & Technology, 2015.

    [12] 劉玉敏, 趙哲耘. 基于特征選擇與SVM的質(zhì)量異常模式識(shí)別[J]. 統(tǒng)計(jì)與決策, 2018(10).

    [13] W?llmer, Martin, Eyben F, Keshet J, et al. Robust Discriminative Keyword Spotting for Emotionally Colored Spontaneous Speech using Bidirectional LSTM Networks[C]// IEEE International Conference on Acoustics. IEEE, 2009.

    [14] W?Llmer M, Eyben F, Graves A, et al. Bidirectional LSTM Networks for Context-Sensitive Keyword Detection in a Cognitive Virtual Agent Framework[J]. Cognitive Computation, 2010, 2(3): 180-190.

    [15] Graves A, Jaitly N, Mohamed A R. Hybrid speech recognition with Deep Bidirectional LSTM[C]// Automatic Speech Recognition & Understanding. IEEE, 2014.

    [16] Gers F A. Learning to forget: continual prediction with LSTM.[J]. Neural Computation, 2000, 12(10): 2451-2471.

    [17] Guh R S. Real-time pattern recognition in statistical process control: a hybrid neural network/decision tree-based approach[J]. Proceedings of the Institution of Mechanical Engineers, Part B: Journal of Engineering Manufacture, 2005, 219(3): 283-298.

    猜你喜歡
    并行計(jì)算深度學(xué)習(xí)
    基于自適應(yīng)線程束的GPU并行粒子群優(yōu)化算法
    有體驗(yàn)的學(xué)習(xí)才是有意義的學(xué)習(xí)
    電子商務(wù)中基于深度學(xué)習(xí)的虛假交易識(shí)別研究
    MOOC與翻轉(zhuǎn)課堂融合的深度學(xué)習(xí)場(chǎng)域建構(gòu)
    大數(shù)據(jù)技術(shù)在反恐怖主義中的應(yīng)用展望
    云計(jì)算中MapReduce分布式并行處理框架的研究與搭建
    矩陣向量相乘的并行算法分析
    深度學(xué)習(xí)算法應(yīng)用于巖石圖像處理的可行性研究
    基于深度卷積網(wǎng)絡(luò)的人臉年齡分析算法與實(shí)現(xiàn)
    軟件工程(2016年8期)2016-10-25 15:47:34
    并行硬件簡(jiǎn)介
    xxxwww97欧美| 美女高潮喷水抽搐中文字幕| 精品一区二区三区视频在线观看免费| 亚洲中文日韩欧美视频| 日本在线视频免费播放| av片东京热男人的天堂| 午夜福利视频1000在线观看| 精品免费久久久久久久清纯| 噜噜噜噜噜久久久久久91| 久久久精品欧美日韩精品| 女生性感内裤真人,穿戴方法视频| 97超视频在线观看视频| 每晚都被弄得嗷嗷叫到高潮| 高潮久久久久久久久久久不卡| 日韩欧美在线二视频| 午夜久久久久精精品| 成人18禁在线播放| 精品一区二区三区视频在线 | 18+在线观看网站| 久久精品亚洲精品国产色婷小说| 夜夜看夜夜爽夜夜摸| av欧美777| 我要搜黄色片| 欧美成人免费av一区二区三区| 99热精品在线国产| 一进一出抽搐gif免费好疼| 国产91精品成人一区二区三区| 91久久精品国产一区二区成人 | 三级国产精品欧美在线观看| 日本精品一区二区三区蜜桃| tocl精华| 国产伦精品一区二区三区四那| 久久精品91蜜桃| 色综合亚洲欧美另类图片| 岛国在线免费视频观看| 国产精品久久久久久久久免 | 一级毛片高清免费大全| 老熟妇乱子伦视频在线观看| 久久国产乱子伦精品免费另类| 18禁黄网站禁片免费观看直播| 久久久精品欧美日韩精品| 51国产日韩欧美| 国产探花在线观看一区二区| 精品电影一区二区在线| 久久精品影院6| 亚洲五月婷婷丁香| 日韩大尺度精品在线看网址| 成人av一区二区三区在线看| 哪里可以看免费的av片| 无人区码免费观看不卡| 一个人看视频在线观看www免费 | 夜夜躁狠狠躁天天躁| 麻豆成人av在线观看| 国产精品香港三级国产av潘金莲| 亚洲欧美日韩卡通动漫| 日本在线视频免费播放| 亚洲一区二区三区色噜噜| 亚洲,欧美精品.| 性色avwww在线观看| 久久伊人香网站| 欧美精品啪啪一区二区三区| 男女做爰动态图高潮gif福利片| 日韩av在线大香蕉| 91麻豆av在线| 老司机深夜福利视频在线观看| av中文乱码字幕在线| 国产精品日韩av在线免费观看| 欧美日韩一级在线毛片| 人人妻人人看人人澡| 悠悠久久av| 国产成人福利小说| 国产视频内射| 色老头精品视频在线观看| eeuss影院久久| 亚洲aⅴ乱码一区二区在线播放| 亚洲第一欧美日韩一区二区三区| 精品福利观看| 欧美黄色片欧美黄色片| 一本一本综合久久| 欧美一级a爱片免费观看看| 国产99白浆流出| 国产精品一区二区三区四区久久| 中文字幕精品亚洲无线码一区| 亚洲天堂国产精品一区在线| 可以在线观看毛片的网站| 欧美日韩福利视频一区二区| av片东京热男人的天堂| 欧美另类亚洲清纯唯美| 中文字幕av在线有码专区| 成人特级黄色片久久久久久久| 亚洲乱码一区二区免费版| 88av欧美| 18禁美女被吸乳视频| 一本一本综合久久| 校园春色视频在线观看| 一本综合久久免费| 在线观看av片永久免费下载| 精品电影一区二区在线| 精品久久久久久,| 国产成年人精品一区二区| 日本免费a在线| 欧美黑人欧美精品刺激| 国产精品av视频在线免费观看| 变态另类丝袜制服| 欧美激情在线99| 亚洲成av人片免费观看| 一卡2卡三卡四卡精品乱码亚洲| 少妇高潮的动态图| АⅤ资源中文在线天堂| 国产麻豆成人av免费视频| 人人妻人人看人人澡| 亚洲欧美日韩无卡精品| 亚洲aⅴ乱码一区二区在线播放| 国产单亲对白刺激| 欧美三级亚洲精品| or卡值多少钱| 日本在线视频免费播放| 91久久精品电影网| 中文字幕熟女人妻在线| 一卡2卡三卡四卡精品乱码亚洲| 小说图片视频综合网站| 国产精品三级大全| 女人被狂操c到高潮| 成人高潮视频无遮挡免费网站| 黄色女人牲交| 女警被强在线播放| 在线十欧美十亚洲十日本专区| 久久久成人免费电影| 性色avwww在线观看| 国产精品电影一区二区三区| 亚洲精品日韩av片在线观看 | 丁香六月欧美| 亚洲片人在线观看| 18禁黄网站禁片午夜丰满| 成人永久免费在线观看视频| 久久婷婷人人爽人人干人人爱| 桃红色精品国产亚洲av| 91在线观看av| 国产私拍福利视频在线观看| 在线看三级毛片| 亚洲最大成人中文| 床上黄色一级片| 久久久久性生活片| 少妇高潮的动态图| 美女高潮喷水抽搐中文字幕| 成人鲁丝片一二三区免费| 婷婷精品国产亚洲av| 在线免费观看的www视频| 别揉我奶头~嗯~啊~动态视频| 免费av观看视频| 欧美在线黄色| 99riav亚洲国产免费| 啦啦啦韩国在线观看视频| 欧美+亚洲+日韩+国产| av在线天堂中文字幕| 一卡2卡三卡四卡精品乱码亚洲| 欧美三级亚洲精品| 两个人视频免费观看高清| 99久久成人亚洲精品观看| 色哟哟哟哟哟哟| 国产精品自产拍在线观看55亚洲| 中文在线观看免费www的网站| 亚洲成人久久性| 黄色视频,在线免费观看| 成人亚洲精品av一区二区| 亚洲中文字幕日韩| 国产精品女同一区二区软件 | 在线观看日韩欧美| 亚洲精品一卡2卡三卡4卡5卡| 国产欧美日韩精品亚洲av| 熟女人妻精品中文字幕| 少妇熟女aⅴ在线视频| 欧美午夜高清在线| 色视频www国产| 婷婷亚洲欧美| 综合色av麻豆| 最近最新中文字幕大全电影3| 在线观看av片永久免费下载| 在线观看午夜福利视频| 丁香六月欧美| 国产精品久久久人人做人人爽| 欧美成狂野欧美在线观看| 99久久99久久久精品蜜桃| av国产免费在线观看| 日韩av在线大香蕉| 在线国产一区二区在线| 亚洲美女视频黄频| 99久久精品国产亚洲精品| 在线十欧美十亚洲十日本专区| 五月玫瑰六月丁香| 亚洲男人的天堂狠狠| 亚洲电影在线观看av| 一个人免费在线观看的高清视频| 婷婷丁香在线五月| 成人av一区二区三区在线看| 欧美成人一区二区免费高清观看| netflix在线观看网站| 黄色女人牲交| 中出人妻视频一区二区| 日韩人妻高清精品专区| 最近最新中文字幕大全免费视频| 国产成人av激情在线播放| 国产爱豆传媒在线观看| 老鸭窝网址在线观看| 日日夜夜操网爽| 五月伊人婷婷丁香| 黄色片一级片一级黄色片| 国产黄片美女视频| 国产一区二区亚洲精品在线观看| 色尼玛亚洲综合影院| 亚洲专区中文字幕在线| 亚洲精品久久国产高清桃花| 天堂av国产一区二区熟女人妻| 日韩 欧美 亚洲 中文字幕| 日韩亚洲欧美综合| 免费无遮挡裸体视频| 欧美一区二区国产精品久久精品| av黄色大香蕉| 18禁黄网站禁片免费观看直播| 99在线视频只有这里精品首页| 日韩国内少妇激情av| 深夜精品福利| 色av中文字幕| 国产乱人视频| 日韩亚洲欧美综合| 两个人视频免费观看高清| 午夜激情福利司机影院| 日本黄色视频三级网站网址| 亚洲aⅴ乱码一区二区在线播放| 日日摸夜夜添夜夜添小说| 亚洲片人在线观看| 成人鲁丝片一二三区免费| 国内精品美女久久久久久| 性色av乱码一区二区三区2| 精品久久久久久久久久免费视频| 欧美av亚洲av综合av国产av| 国产成人aa在线观看| 婷婷精品国产亚洲av| 99精品欧美一区二区三区四区| 亚洲欧美激情综合另类| 亚洲成人久久性| 99久久无色码亚洲精品果冻| 欧美绝顶高潮抽搐喷水| 乱人视频在线观看| 精品久久久久久久人妻蜜臀av| 久久这里只有精品中国| 色综合欧美亚洲国产小说| 丁香欧美五月| 热99re8久久精品国产| av天堂中文字幕网| 国产伦人伦偷精品视频| 欧美高清成人免费视频www| 国产不卡一卡二| 十八禁人妻一区二区| 免费观看精品视频网站| 又爽又黄无遮挡网站| a在线观看视频网站| 中文字幕高清在线视频| 亚洲国产精品999在线| 99国产精品一区二区蜜桃av| 九色国产91popny在线| 好男人电影高清在线观看| 久久久久久大精品| 禁无遮挡网站| 精品一区二区三区av网在线观看| 一区二区三区高清视频在线| 日韩欧美免费精品| 中出人妻视频一区二区| 国产精品亚洲一级av第二区| 男女做爰动态图高潮gif福利片| 亚洲av免费高清在线观看| av专区在线播放| 91久久精品电影网| 久久久久久久精品吃奶| 亚洲在线自拍视频| 每晚都被弄得嗷嗷叫到高潮| 99国产综合亚洲精品| 老司机福利观看| 国产精品98久久久久久宅男小说| 99热只有精品国产| 狂野欧美白嫩少妇大欣赏| 在线国产一区二区在线| 精华霜和精华液先用哪个| 18禁美女被吸乳视频| 在线播放国产精品三级| 亚洲国产精品合色在线| 啪啪无遮挡十八禁网站| 亚洲精品在线美女| 听说在线观看完整版免费高清| 啪啪无遮挡十八禁网站| 中出人妻视频一区二区| 色哟哟哟哟哟哟| 久久久精品欧美日韩精品| 特大巨黑吊av在线直播| 在线天堂最新版资源| 88av欧美| 一本一本综合久久| 搡老熟女国产l中国老女人| 午夜影院日韩av| 亚洲欧美一区二区三区黑人| 97超级碰碰碰精品色视频在线观看| 国产精品亚洲美女久久久| eeuss影院久久| 免费观看的影片在线观看| 成人一区二区视频在线观看| 亚洲成人精品中文字幕电影| 91久久精品国产一区二区成人 | 首页视频小说图片口味搜索| 亚洲国产精品合色在线| 欧美在线黄色| 亚洲精华国产精华精| 一本精品99久久精品77| 两个人的视频大全免费| 18禁在线播放成人免费| 日本在线视频免费播放| 大型黄色视频在线免费观看| 女人十人毛片免费观看3o分钟| 久久国产精品人妻蜜桃| 日本五十路高清| 久99久视频精品免费| 欧美日韩综合久久久久久 | 日韩欧美国产一区二区入口| 国产美女午夜福利| ponron亚洲| 久久性视频一级片| 久久精品91蜜桃| 在线观看午夜福利视频| 黄色成人免费大全| 观看美女的网站| 在线国产一区二区在线| 黄片小视频在线播放| 校园春色视频在线观看| av欧美777| 最新在线观看一区二区三区| 日韩成人在线观看一区二区三区| 成人鲁丝片一二三区免费| 女人高潮潮喷娇喘18禁视频| 首页视频小说图片口味搜索| 亚洲成人中文字幕在线播放| www国产在线视频色| 久久人人精品亚洲av| 午夜激情欧美在线| 女人高潮潮喷娇喘18禁视频| 很黄的视频免费| 老熟妇仑乱视频hdxx| 亚洲av免费高清在线观看| 欧美三级亚洲精品| 禁无遮挡网站| 99久久久亚洲精品蜜臀av| 亚洲成av人片免费观看| 悠悠久久av| 亚洲av免费高清在线观看| 欧美三级亚洲精品| 一本一本综合久久| 国产爱豆传媒在线观看| 免费在线观看亚洲国产| 最好的美女福利视频网| 性欧美人与动物交配| 精品久久久久久,| 成人鲁丝片一二三区免费| 亚洲一区二区三区色噜噜| 成人无遮挡网站| 国产精品1区2区在线观看.| 天天躁日日操中文字幕| 婷婷精品国产亚洲av| 亚洲精品影视一区二区三区av| 一个人看的www免费观看视频| 女人十人毛片免费观看3o分钟| 久久久久国产精品人妻aⅴ院| 中文字幕熟女人妻在线| 一个人看视频在线观看www免费 | 亚洲中文字幕日韩| 麻豆国产av国片精品| 国产99白浆流出| 真人一进一出gif抽搐免费| 亚洲av二区三区四区| 久久天躁狠狠躁夜夜2o2o| 亚洲av二区三区四区| 中国美女看黄片| 一级黄色大片毛片| 国产精华一区二区三区| 久久久久久人人人人人| 午夜激情欧美在线| 在线视频色国产色| 国产成人啪精品午夜网站| 久久亚洲精品不卡| 首页视频小说图片口味搜索| 在线观看一区二区三区| 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | 一二三四社区在线视频社区8| 免费在线观看日本一区| 亚洲熟妇中文字幕五十中出| 小蜜桃在线观看免费完整版高清| 日韩欧美免费精品| 99久久九九国产精品国产免费| 欧美黑人巨大hd| 黄色成人免费大全| 黄片大片在线免费观看| 久久久久久九九精品二区国产| 免费观看的影片在线观看| 午夜福利在线观看免费完整高清在 | 天堂√8在线中文| 国产色婷婷99| 少妇的逼好多水| 国产精品永久免费网站| av天堂在线播放| 日韩亚洲欧美综合| 欧美另类亚洲清纯唯美| 国产高清三级在线| 欧美av亚洲av综合av国产av| 乱人视频在线观看| 高潮久久久久久久久久久不卡| 男女做爰动态图高潮gif福利片| 中文字幕精品亚洲无线码一区| 久久精品91蜜桃| 久久久久九九精品影院| 亚洲色图av天堂| 香蕉丝袜av| 国产激情欧美一区二区| 亚洲av成人av| 精品久久久久久久久久免费视频| 男人舔女人下体高潮全视频| 午夜免费激情av| 亚洲欧美日韩东京热| 欧美日韩中文字幕国产精品一区二区三区| 色综合欧美亚洲国产小说| 国产老妇女一区| 欧美在线一区亚洲| 国产伦精品一区二区三区四那| 午夜福利18| 毛片女人毛片| 亚洲av二区三区四区| 欧美日韩乱码在线| 啦啦啦观看免费观看视频高清| 少妇丰满av| 国内精品久久久久久久电影| 老汉色∧v一级毛片| 嫁个100分男人电影在线观看| h日本视频在线播放| 99国产综合亚洲精品| 看片在线看免费视频| 午夜免费观看网址| 欧美乱妇无乱码| 久久精品国产亚洲av涩爱 | 少妇的丰满在线观看| 日本免费一区二区三区高清不卡| 日韩欧美精品免费久久 | 亚洲av二区三区四区| av视频在线观看入口| 在线a可以看的网站| 欧美乱妇无乱码| 国产精品久久久久久亚洲av鲁大| 成人亚洲精品av一区二区| 国产私拍福利视频在线观看| 午夜老司机福利剧场| 亚洲av二区三区四区| 欧美成狂野欧美在线观看| 亚洲精品亚洲一区二区| 一卡2卡三卡四卡精品乱码亚洲| 国产真人三级小视频在线观看| av黄色大香蕉| 欧美日韩中文字幕国产精品一区二区三区| 亚洲欧美日韩东京热| 国产成人影院久久av| 12—13女人毛片做爰片一| e午夜精品久久久久久久| 国内揄拍国产精品人妻在线| 看免费av毛片| 香蕉丝袜av| 亚洲专区国产一区二区| 99精品久久久久人妻精品| 女人高潮潮喷娇喘18禁视频| 国内久久婷婷六月综合欲色啪| 国产高清视频在线观看网站| 国产伦在线观看视频一区| 久久天躁狠狠躁夜夜2o2o| 国产高潮美女av| 免费看日本二区| 宅男免费午夜| 国内精品久久久久精免费| 欧美性猛交╳xxx乱大交人| 亚洲av二区三区四区| 精品欧美国产一区二区三| 日韩欧美国产一区二区入口| 国产精品 欧美亚洲| 99在线人妻在线中文字幕| 特级一级黄色大片| 国产精品久久视频播放| 国产三级中文精品| 在线看三级毛片| 久久亚洲精品不卡| 国产伦精品一区二区三区四那| 69人妻影院| 国产极品精品免费视频能看的| 国产日本99.免费观看| 国产不卡一卡二| 国内精品久久久久精免费| 亚洲av一区综合| 中文亚洲av片在线观看爽| 亚洲人成伊人成综合网2020| 国产蜜桃级精品一区二区三区| 天堂av国产一区二区熟女人妻| 欧美成人性av电影在线观看| 精品不卡国产一区二区三区| 午夜精品久久久久久毛片777| 国产三级在线视频| 国产在视频线在精品| 国产亚洲欧美在线一区二区| 激情在线观看视频在线高清| 国产淫片久久久久久久久 | 日韩欧美三级三区| 国产亚洲精品av在线| 午夜福利在线观看吧| 嫩草影视91久久| 欧美极品一区二区三区四区| 长腿黑丝高跟| 天天一区二区日本电影三级| 亚洲欧美日韩高清专用| 国产真人三级小视频在线观看| 久久久精品大字幕| 狠狠狠狠99中文字幕| 三级国产精品欧美在线观看| 亚洲欧美精品综合久久99| 一二三四社区在线视频社区8| 久久精品国产亚洲av涩爱 | 久久久色成人| 精华霜和精华液先用哪个| 国内精品久久久久精免费| 51午夜福利影视在线观看| 久久精品91蜜桃| 国产单亲对白刺激| 免费电影在线观看免费观看| 欧美+日韩+精品| 午夜免费激情av| 亚洲成人精品中文字幕电影| 午夜精品一区二区三区免费看| 制服丝袜大香蕉在线| 日韩中文字幕欧美一区二区| 又爽又黄无遮挡网站| 国产精品一区二区三区四区久久| 天天一区二区日本电影三级| 午夜精品久久久久久毛片777| 色噜噜av男人的天堂激情| 脱女人内裤的视频| 欧美激情在线99| 午夜福利高清视频| 亚洲国产精品久久男人天堂| 欧美性猛交黑人性爽| 国产精品99久久99久久久不卡| 女警被强在线播放| 免费av毛片视频| 香蕉久久夜色| 亚洲欧美日韩高清专用| 国产精品香港三级国产av潘金莲| 欧美一级a爱片免费观看看| 日日干狠狠操夜夜爽| 12—13女人毛片做爰片一| 亚洲男人的天堂狠狠| 午夜福利免费观看在线| 免费无遮挡裸体视频| 美女 人体艺术 gogo| 久久这里只有精品中国| 国产亚洲精品av在线| 欧美成人一区二区免费高清观看| 免费看a级黄色片| 精品久久久久久久久久免费视频| 两个人视频免费观看高清| 国内少妇人妻偷人精品xxx网站| 欧美另类亚洲清纯唯美| 国产黄a三级三级三级人| 黄色日韩在线| 久久久久性生活片| 91麻豆精品激情在线观看国产| 欧美乱码精品一区二区三区| 一本一本综合久久| 精品国产三级普通话版| 在线播放无遮挡| 久久午夜亚洲精品久久| 一区福利在线观看| 午夜免费男女啪啪视频观看 | 久久欧美精品欧美久久欧美| 国产aⅴ精品一区二区三区波| 精品免费久久久久久久清纯| 日本免费一区二区三区高清不卡| av黄色大香蕉| 69人妻影院| 成人国产一区最新在线观看| 久久久久精品国产欧美久久久| 日韩欧美免费精品| 欧美一区二区精品小视频在线| 国产高清videossex| 天美传媒精品一区二区| 在线观看av片永久免费下载| 制服人妻中文乱码| 男女之事视频高清在线观看| 精品电影一区二区在线| 国产综合懂色| 女人十人毛片免费观看3o分钟| 久久欧美精品欧美久久欧美| 99热这里只有是精品50| 成人午夜高清在线视频| 久久精品人妻少妇| 最新美女视频免费是黄的| 亚洲av熟女| 午夜福利在线在线| 精品久久久久久久久久免费视频| 免费搜索国产男女视频| 最好的美女福利视频网| 日日夜夜操网爽| 俺也久久电影网| 亚洲精品成人久久久久久| 少妇的逼水好多| 午夜福利视频1000在线观看| av欧美777| 又黄又粗又硬又大视频|