基于部分連接神經(jīng)網(wǎng)絡(luò)的序列數(shù)據(jù)分類算法研究

張素莉

摘 要： 研究梳理了序列數(shù)據(jù)的定義，并且分析了5種類型的序列數(shù)據(jù)，結(jié)合局部連接神經(jīng)網(wǎng)絡(luò)的特點(diǎn)，研究了基于局部連接神經(jīng)網(wǎng)絡(luò)的序列數(shù)據(jù)的分類算法。使用該算法進(jìn)行計(jì)算，學(xué)習(xí)與收斂速度較快，對(duì)于自適應(yīng)建模與控制十分適用，利用方形基函數(shù)進(jìn)行計(jì)算，在網(wǎng)絡(luò)輸出過程中注意只能利用方形函數(shù)來逼近光滑函數(shù)。由于序列數(shù)據(jù)分類運(yùn)算在數(shù)據(jù)挖掘中存在巨大的優(yōu)勢，因此對(duì)序列數(shù)據(jù)算法的研究具有很高的理論與應(yīng)用價(jià)值。

關(guān)鍵詞： 部分連接神經(jīng)網(wǎng)絡(luò)； 序列數(shù)據(jù)； 分類算法； 方形基函數(shù)

中圖分類號(hào)： TN915?34 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2016）09?0111?03

Abstract： The definition of sequence data is studied. The 5 kinds sequence data is analyzed. In combination with the cha?racteristics of the partially connected neural network， the classification algorithm of the sequence data based on partially connected neural network is studied. The algorithm used to calculation has fast learning and convergence rate， and is especially suitable for adaptive modeling and control. When the square primary function is used to calculate， the square function can be only used to approach the smooth function in network output process. The sequence data classification operation has great advantage in data mining， so the research of the sequence data classification algorithm has the high theory and application value.

Keywords： partially connected neural network； sequence data； classification algorithm； square primary function

0 引 言

計(jì)算機(jī)科學(xué)技術(shù)的發(fā)展，豐富和發(fā)展了數(shù)的概念，見圖1。數(shù)據(jù)類型在數(shù)據(jù)結(jié)構(gòu)中的定義是一個(gè)值的集合以及定義在這個(gè)值集上的一組操作。序列數(shù)據(jù)就是其中一種非常重要的數(shù)據(jù)類型，它應(yīng)用的領(lǐng)域也十分廣泛，如計(jì)算機(jī)科學(xué)文本中的單詞（word）序列、互聯(lián)網(wǎng)技術(shù)中網(wǎng)頁日志中的用戶訪問事件（Access Event）序列以及在生物科學(xué)中的DNA序列和蛋白質(zhì)序列等。通過對(duì)序列數(shù)據(jù)進(jìn)行分類運(yùn)算，可以發(fā)現(xiàn)大量無規(guī)律數(shù)據(jù)的內(nèi)在結(jié)構(gòu)，從而獲得關(guān)于這些數(shù)據(jù)深層次的內(nèi)涵知識(shí)，例如，大型電商平臺(tái)每日都產(chǎn)生大量的交易數(shù)據(jù)，對(duì)這些數(shù)據(jù)中的交易序列數(shù)據(jù)進(jìn)行分類運(yùn)算，就可以對(duì)平臺(tái)購物的用戶進(jìn)行細(xì)分，進(jìn)而根據(jù)不同類型的用戶制作有針對(duì)性的市場廣告，并且點(diǎn)對(duì)點(diǎn)的推送，這樣就會(huì)大大提高廣告投放的效率；在生物學(xué)領(lǐng)域，對(duì)生物體蛋白質(zhì)序列進(jìn)行分類運(yùn)算，就能夠找出各個(gè)簇中序列共享的子結(jié)構(gòu)，進(jìn)而可以推測共有的生物學(xué)功能。序列數(shù)據(jù)通常由兩個(gè)部分組成，這兩個(gè)部分是值元素和對(duì)應(yīng)的序關(guān)系，這兩個(gè)部分缺一不可，正是由于序列數(shù)據(jù)具有非數(shù)值類型、高維且長度不一以及特有的序關(guān)系等特征，使得對(duì)其進(jìn)行分類運(yùn)算成為一個(gè)研究難點(diǎn)。

1 序列數(shù)據(jù)的基本概念

序列數(shù)據(jù)的分類運(yùn)算具有如此重要的作用，首先要清楚序列數(shù)據(jù)的概念。序列數(shù)據(jù)最主要的特點(diǎn)就是具有序關(guān)系信息，這一信息通過元素的空間位置或時(shí)間先后來體現(xiàn)。序列數(shù)據(jù)的概念是序列數(shù)據(jù)分類運(yùn)算的基礎(chǔ)，因此需要著重討論。

1.1 序列數(shù)據(jù)的定義

1.2 序列數(shù)據(jù)的類型

根據(jù)數(shù)據(jù)產(chǎn)生的領(lǐng)域不同，序列數(shù)據(jù)包含五種類型：

（1） 文本型序列數(shù)據(jù)，日常使用的電子郵件，天天瀏覽的網(wǎng)頁新聞以及各種文字類的信息等，這些海量的各種語言的文本就是一類序列數(shù)據(jù)，它們都是單詞序列的集合；

（2） 生物序列數(shù)據(jù)，目前最基本的兩種生物序列數(shù)據(jù)就是細(xì)胞中的DNA（RNA）和蛋白質(zhì)。DNA是由核苷酸排列組成的，蛋白質(zhì)是由氨基酸排列組成的，因此DNA和蛋白質(zhì)都可以看作是很長的“單詞”，生物序列中有一定生物學(xué)功能的序列片段就相當(dāng)于一個(gè)個(gè)“字母”，可以用來表征“單詞”；

（3） 事件序列數(shù)據(jù)，我們平時(shí)看電視或者聽廣播，這些視頻流和音頻流就是事件序列，此序列所隱含的序信息是時(shí)間序，且各序列元素值是某時(shí)刻所發(fā)生事件的描述信息；

（4） 時(shí)間序列數(shù)據(jù)，其在銀行金融和天氣預(yù)測等與人們?nèi)粘Ｉ钕⑾⑾嚓P(guān)的地方中廣泛存在，該類型序列數(shù)據(jù)的序信息也是時(shí)間序，但是與事件序列不同，時(shí)間序列數(shù)據(jù)的各個(gè)元素一般是數(shù)值類型，這樣就可以進(jìn)行各種運(yùn)算和變換，產(chǎn)生的數(shù)據(jù)價(jià)值會(huì)更大；

（5） 數(shù)據(jù)流序列數(shù)據(jù)，是指高速到達(dá)的數(shù)據(jù)和信息，由于其傳遞的速度極快，因此需要處理的速度也很快，一般對(duì)到達(dá)數(shù)據(jù)處理時(shí)只是掃描一遍，并且沒有機(jī)會(huì)和時(shí)間把數(shù)據(jù)保存在本地，但同時(shí)，在處理的過程中要保持序信息在數(shù)據(jù)流中。

1.3 序列數(shù)據(jù)分類的應(yīng)用

（1） 廣告精準(zhǔn)投放。如今網(wǎng)購在年輕人中已經(jīng)十分普遍，一些大型的網(wǎng)購平臺(tái)，如天貓、京東等，每日都會(huì)產(chǎn)生大量的交易數(shù)據(jù)，平臺(tái)可以在后臺(tái)對(duì)這些數(shù)據(jù)中的交易序列數(shù)據(jù)進(jìn)行分類運(yùn)算，對(duì)平臺(tái)購物的用戶進(jìn)行細(xì)分，進(jìn)而根據(jù)不同類型的用戶制作有針對(duì)性的市場廣告，并且點(diǎn)對(duì)點(diǎn)的推送，這樣就會(huì)大大提高廣告投放的效率，提高網(wǎng)購的平臺(tái)銷量，增加收益；

（2） 推測生物學(xué)功能。在生物學(xué)領(lǐng)域，生物細(xì)胞中的DNA（RNA）和蛋白質(zhì)，DNA是由核苷酸排列組成的，蛋白質(zhì)是由氨基酸排列組成的，因此DNA和蛋白質(zhì)都可以看作序列數(shù)據(jù)，對(duì)生物體蛋白質(zhì)序列進(jìn)行分類運(yùn)算，就能夠找出各個(gè)簇中序列共享的子結(jié)構(gòu)，進(jìn)而可以推測共有的生物學(xué)功能，對(duì)生物多樣性的保護(hù)可以做出很大的貢獻(xiàn)。

2 部分連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及性能

20世紀(jì)80年代以來，神經(jīng)網(wǎng)絡(luò)的發(fā)展取得了很大的進(jìn)步，這給數(shù)據(jù)發(fā)掘帶來了巨大的利益，在理論上形成了一大批可以實(shí)際應(yīng)用的模型和算法，并把它應(yīng)用在一些自動(dòng)控制系統(tǒng)、指揮系統(tǒng)中?，F(xiàn)階段，神經(jīng)網(wǎng)絡(luò)可分為部分連接神經(jīng)網(wǎng)絡(luò)與全連接神經(jīng)網(wǎng)絡(luò)兩大類，但是在使用部分連接網(wǎng)絡(luò)時(shí)，對(duì)于每組輸出/輸入數(shù)據(jù)只能列出少數(shù)甚至是一個(gè)權(quán)值進(jìn)行調(diào)整。目前，神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)模式識(shí)別與分類、非線性建模的分析、方案數(shù)據(jù)的優(yōu)化、知識(shí)的聯(lián)想記憶以及非線性建模的自動(dòng)化控制設(shè)計(jì)等方面有著突出的貢獻(xiàn)。

2.1 部分連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn)

圖2是一個(gè)3層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖，[q]組[r]維輸入向量[Xl=x1，x2，x3，…，xr，l=1，2，…，q，]數(shù)據(jù)首先通過輸入層，隨后進(jìn)入含有[m]個(gè)節(jié)點(diǎn)的隱含層內(nèi)，經(jīng)過預(yù)先設(shè)定的特定基函數(shù)的運(yùn)算后，形成隱含層的數(shù)據(jù)輸出，隨后與訓(xùn)練數(shù)據(jù)后的權(quán)值相乘，最終得到網(wǎng)絡(luò)值數(shù)[s]維。

通過函數(shù)式（1）可以看出，在部分神經(jīng)網(wǎng)絡(luò)中，隱含層內(nèi)的所有節(jié)點(diǎn)對(duì)輸出層內(nèi)相對(duì)應(yīng)的節(jié)點(diǎn)都有影響，但是通過合理的預(yù)設(shè)對(duì)基函數(shù)進(jìn)行選擇，或者通過設(shè)置部分連接神經(jīng)網(wǎng)絡(luò)的主要結(jié)構(gòu)參數(shù)獲得不同的網(wǎng)絡(luò)連接形式，假設(shè)施加一個(gè)輸入值，可以使[αj（xi）]中不是零的元素達(dá)到極少數(shù)，也就是說絕大部分的元素都是零。因此，在實(shí)際的運(yùn)算過程中，對(duì)任何的初始輸入值，在輸出過程中通常只會(huì)對(duì)隱含層內(nèi)部分非零節(jié)點(diǎn)的輸出采用加權(quán)求和的方式獲得數(shù)值，因此屬于局部神經(jīng)網(wǎng)絡(luò)的局部連接。

2.2 基于部分連接神經(jīng)網(wǎng)絡(luò)的序列數(shù)據(jù)分類算法

在對(duì)部分連接神經(jīng)網(wǎng)絡(luò)進(jìn)行設(shè)定時(shí)，在輸入層到隱含層的間隙處設(shè)定一個(gè)類似于查表結(jié)構(gòu)的特定映射，其對(duì)應(yīng)關(guān)系要根據(jù)具體網(wǎng)絡(luò)設(shè)計(jì)情況進(jìn)行預(yù)定。通過這樣的設(shè)計(jì)能使上部輸入層中的輸入矢量根據(jù)序列串?dāng)?shù)據(jù)之間的空間距離或時(shí)間長短來進(jìn)行計(jì)算，最終產(chǎn)生影響，實(shí)現(xiàn)將映射輸入到隱含層當(dāng)中。隱含層是一個(gè)類似“黑箱”的計(jì)算處理器，是由一族攝化感知器組成，這些感知器用于對(duì)數(shù)據(jù)的分類和分析，可以感知序列數(shù)據(jù)在時(shí)間距離和空間距離上的相似度，因此在輸入層中每輸入一個(gè)矢量值都會(huì)計(jì)算出一個(gè)閾值與之匹配，也可以理解為與隱含層中的[C]個(gè)感應(yīng)器相互對(duì)應(yīng)，這個(gè)[C]也叫做感知野，感知野是算法的一個(gè)重要參數(shù)。輸入的每一個(gè)矢量值只會(huì)對(duì)隱含層當(dāng)中的[C]個(gè)感應(yīng)器造成影響，并且使它的輸出值為1，其他感應(yīng)器的輸出值數(shù)是0，因此在設(shè)計(jì)時(shí)只需要考慮與[C]個(gè)感知器相對(duì)應(yīng)的權(quán)值進(jìn)行預(yù)設(shè)。

在網(wǎng)絡(luò)調(diào)試過程中，設(shè)計(jì)者只需考慮對(duì)輸出層的局部連接權(quán)值進(jìn)行調(diào)整。與其他計(jì)算方法相比，利用這樣的運(yùn)算方式進(jìn)行計(jì)算，學(xué)習(xí)收斂速度較快，在自適應(yīng)建模與控制中很實(shí)用，除此之外，本算法選擇較為簡單的方形基函數(shù)進(jìn)行函數(shù)預(yù)設(shè)，在網(wǎng)絡(luò)輸出過程中只能利用方形函數(shù)來逼近光滑函數(shù)，雖然局限性較強(qiáng)，但是精確度很高，在計(jì)算過程中如果設(shè)計(jì)者想要提高分辨率，可以利用增大[C]值的方式計(jì)算。

2.3 算法訓(xùn)練結(jié)果分析

本文提出的基于部分連接的神經(jīng)網(wǎng)絡(luò)序列數(shù)據(jù)分類算法，在對(duì)序列數(shù)據(jù)進(jìn)行分類計(jì)算時(shí)存在兩點(diǎn)優(yōu)勢：一是速度快，二是結(jié)果精確度高。為了驗(yàn)證算法的可靠性，設(shè)計(jì)了算法的訓(xùn)練。通過利用樣本數(shù)據(jù)，進(jìn)行分析，對(duì)上面兩個(gè)標(biāo)準(zhǔn)進(jìn)行衡量。

訓(xùn)練分為監(jiān)督式和無監(jiān)督式兩種，監(jiān)督式就是在訓(xùn)練的過程中有人員的隨時(shí)調(diào)整，無監(jiān)督式就是完全自動(dòng)的訓(xùn)練。從對(duì)樣本數(shù)據(jù)訓(xùn)練的過程中可見，這兩種方式的訓(xùn)練模式，對(duì)序列數(shù)據(jù)的訓(xùn)練結(jié)果都是相近的，在不同的時(shí)刻，兩種模式都會(huì)出現(xiàn)網(wǎng)絡(luò)在對(duì)序列數(shù)據(jù)分析快速的響應(yīng)結(jié)果，有部分的耗時(shí)極大值，在監(jiān)督式的訓(xùn)練情況下，通過對(duì)數(shù)據(jù)反復(fù)多次地反復(fù)輸入，使得算法對(duì)樣本十分熟悉，這樣一來，使用該算法進(jìn)行計(jì)算，可以快速而穩(wěn)定的達(dá)到要求。

若進(jìn)行無監(jiān)督訓(xùn)練，在對(duì)應(yīng)較大文本的序列數(shù)據(jù)時(shí)，對(duì)于新的數(shù)據(jù)分類運(yùn)用將會(huì)采用對(duì)某種已經(jīng)產(chǎn)生結(jié)果的典型矢量進(jìn)行修改來實(shí)現(xiàn)，這樣就會(huì)自動(dòng)對(duì)已有的分析結(jié)果進(jìn)行修正，修正的結(jié)果不會(huì)對(duì)舊的結(jié)果加以記錄學(xué)習(xí)，分類的結(jié)果一直是最新有效的。

3 結(jié) 語

本文研究梳理了序列數(shù)據(jù)的定義，并且分析了5種類型的序列數(shù)據(jù)，結(jié)合局部連接神經(jīng)網(wǎng)絡(luò)的特點(diǎn)，研究了基于局部連接神經(jīng)網(wǎng)絡(luò)的序列數(shù)據(jù)的分類算法，通過以上分析，不難看出利用本算法進(jìn)行計(jì)算，學(xué)習(xí)與收斂速度較快，若將其運(yùn)用到自適應(yīng)建模與控制當(dāng)中，利用方形基函數(shù)進(jìn)行處理，其網(wǎng)絡(luò)輸出也只能用方形函數(shù)來逼近光滑函數(shù)，雖具有一定的局限性，但是準(zhǔn)確度高。由于序列數(shù)據(jù)分類運(yùn)算在數(shù)據(jù)挖掘中存在巨大的優(yōu)勢，因此對(duì)序列數(shù)據(jù)算法的研究具有很高的理論與應(yīng)用價(jià)值。

參考文獻(xiàn)

[1] 朱揚(yáng)勇，熊赟.DNA序列數(shù)據(jù)挖掘技術(shù)[J].軟件學(xué)報(bào)，2007，18（11）：2766?2781.

[2] 朱揚(yáng)勇，戴東波，熊赟.序列數(shù)據(jù)相似性查詢技術(shù)研究綜述[J].計(jì)算機(jī)研究與發(fā)展，2010（2）：264?276.

[3] 叢爽，鄭毅松.幾種局部連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及性能的分析與比較[J].計(jì)算機(jī)工程，2003，29（22）：11?13.

[4] 程起才，王士同.基于模糊系統(tǒng)的新型CMAC神經(jīng)網(wǎng)絡(luò)及學(xué)習(xí)算法[J].江南大學(xué)學(xué)報(bào)（自然科學(xué)版），2005，4（1）：27?32.

[5] 劉曉軍，閻朝鼎.一種新型的CMAC神經(jīng)網(wǎng)絡(luò)[J].中國科技信息，2005（14）：45.

[6] 王明玥，高渠，陳婷婷.基于神經(jīng)網(wǎng)絡(luò)的DNA序列分析[J].通訊世界，2015（13）：55?56.

[7] 戴東波，湯春蕾，熊赟.基于整體和局部相似性的序列聚類算法[J].軟件學(xué)報(bào)，2010，21（4）：702?717.

[8] 韓忠明，陳妮，樂嘉錦，等.面向熱點(diǎn)話題時(shí)間序列的有效聚類算法研究[J].計(jì)算機(jī)學(xué)報(bào)，2012，35（11）：2337?2347.

[9] 于世英，袁雪梅，盧海濤，等.基于序列聚類的相似代碼檢測算法[J].智能系統(tǒng)學(xué)報(bào)，2013（1）：52?57.

[10] 劉曉平，季浩，沈冠町.非線性系統(tǒng)規(guī)律的動(dòng)態(tài)可視化方法[J].系統(tǒng)仿真學(xué)報(bào)，2012，24（6）：1287?1292.