基于RBF-BP神經(jīng)網(wǎng)絡融合的醫(yī)學數(shù)據(jù)分類研究

金丹丹， 聞輝

( 1.莆田學院 護理學院,福建 莆田 351100;2.莆田學院 信息工程學院,福建 莆田 351100 )

0 引言

目前，神經(jīng)網(wǎng)絡已經(jīng)被廣泛應用于醫(yī)學診斷過程中，其中反向傳播(BP)神經(jīng)網(wǎng)絡和徑向基函數(shù)(RBF)神經(jīng)網(wǎng)絡是醫(yī)學診斷過程中最為常用的兩種網(wǎng)絡模型.BP神經(jīng)網(wǎng)絡的隱節(jié)點核函數(shù)一般采用統(tǒng)一的sigmoid核對輸入樣本進行映射，該方法雖然具有良好的泛化性能，但存在收斂速度慢和容易陷入局部最小的缺點.目前優(yōu)化BP神經(jīng)網(wǎng)絡的方法主要有基于全局優(yōu)化的初始化權(quán)值[1]、自適應調(diào)整學習速率[2]、增加動量項[3]、修正誤差代價函數(shù)[4]以及動態(tài)調(diào)整網(wǎng)絡結(jié)構(gòu)[5]等,這些方法雖然在一定程度上改善了BP神經(jīng)網(wǎng)絡的不足，但對于較復雜的非線性問題其效果仍十分有限.RBF網(wǎng)絡隱節(jié)點核函數(shù)一般采用高斯核對輸入樣本進行映射，具有良好的局部響應特性.RBF網(wǎng)絡的優(yōu)化過程主要包括隱層核參數(shù)的優(yōu)化以及線性輸出權(quán)值的優(yōu)化,其實現(xiàn)過程可以分為兩個階段：一是先將原始樣本通過隱層高斯核的映射，以此改善樣本的可分性；二是通過優(yōu)化線性超平面來完成模式分類.目前優(yōu)化RBF神經(jīng)網(wǎng)絡典型的方法有k-均值聚類[6]、模糊c均值聚類[7-8]、敏感度分析[9]、勢函數(shù)優(yōu)化[10]等，但這些方法在優(yōu)化復雜的非線性問題時，往往會加大RBF網(wǎng)絡線性輸出權(quán)值優(yōu)化的負擔，進而影響網(wǎng)絡的性能.為此，本文針對醫(yī)學診斷數(shù)據(jù)集的特點(樣本量少、特征復雜)，提出了一種將RBF神經(jīng)網(wǎng)絡與BP神經(jīng)網(wǎng)絡相融合的HRBF-BP算法,并利用UCI機器學習數(shù)據(jù)庫[11]中的3個基準醫(yī)學診斷數(shù)據(jù)集(Heart Disease、Diabetes、Breast Cancer)驗證了本文算法的有效性.

1 HRBF-BP網(wǎng)絡模型的構(gòu)建

HRBF-BP模型的構(gòu)建原理為：首先將原始樣本輸入到RBF隱層中不同參數(shù)下高斯核函數(shù)的映射中，以此提取原始樣本在不同空間區(qū)域中的局部特征，從而形成新的特征向量；然后利用RBF隱層所級聯(lián)的BP網(wǎng)絡來完成特征空間中樣本的有效分類.相對于BP網(wǎng)絡，HRBF-BP改善了輸入樣本的可分性，因此可以加快網(wǎng)絡的權(quán)值收斂速度，減少陷入局部最小的風險；相對于RBF網(wǎng)絡，HRBF-BP將原有連接RBF網(wǎng)絡隱層與輸出層的線性權(quán)值連接更改為非線性的BP網(wǎng)絡，因此其對復雜問題具有更強的適應能力.因此，HRBF-BP可以將RBF網(wǎng)絡隱節(jié)點處的局部非線性映射能力與BP網(wǎng)絡的全局非線性分類能力有效地結(jié)合起來，從而有效改善單一結(jié)構(gòu)RBF神經(jīng)網(wǎng)絡及BP神經(jīng)網(wǎng)絡的不足.

圖1 HRBF-BP網(wǎng)絡模型圖

圖1為本文所構(gòu)建的HRBF-BP神經(jīng)網(wǎng)絡模型.該模型由輸入層、RBF隱藏層、BP隱藏層以及輸出層4個部分組成，其中RBF隱藏層由一組不同參數(shù)的高斯核函數(shù)組成.設RBF隱藏層中高斯核的個數(shù)為K，當輸入的樣本為x時，通過隱藏層的高斯核的映射可表示為：

j=1,2,…,K.

(1)

gj(x)=2·φj(x)-1.

(2)

在HRBF-BP網(wǎng)絡中，BP隱藏層由RBF隱層到RBF輸出層之間的各層節(jié)點組成.由于BP隱藏層的sigmoid函數(shù)為雙曲正切函數(shù)，因此第l個BP隱藏層中的節(jié)點j的輸出信號可表示為:

(3)

其中a和b為常數(shù).

2 HRBF-BP網(wǎng)絡算法的實現(xiàn)

圖2 HRBF-BP網(wǎng)絡學習算法

HRBF-BP網(wǎng)絡算法的實現(xiàn)分為兩個階段：一是優(yōu)化RBF網(wǎng)絡隱節(jié)點處各高斯核的參數(shù)，二是優(yōu)化BP網(wǎng)絡中各層的權(quán)值.圖2為HRBF-BP網(wǎng)絡算法的具體實現(xiàn)過程.圖2中，BP網(wǎng)絡的整體均方誤差的計算公式為：

其中dj為HRBF-BP網(wǎng)絡的目標輸出，oj為網(wǎng)絡的實際輸出，c為輸出節(jié)點的個數(shù).

BP網(wǎng)絡的反向計算即為局域梯度的更新過程，可表示為：

BP網(wǎng)絡中第l層權(quán)值的更新過程為

其中m為迭代步長，η為學習率.

3 實驗與分析

為了驗證本文算法的性能，利用UCI機器學習數(shù)據(jù)庫中的3個不同的醫(yī)學數(shù)據(jù)(見表1)對本文算法、SGBP算法、KMRBF算法、PFRBF算法的性能進行實驗對比.實驗中：各數(shù)據(jù)樣本全部歸一化到[-1,1]；RBF隱藏層中的核個數(shù)根據(jù)樣本空間的分布進行調(diào)整(手動)；分別設定BP隱層的層數(shù)為1層和2層，隱藏層節(jié)點的個數(shù)設置為2～9，網(wǎng)絡學習率η采用模擬退火算法進行迭代調(diào)整，sigmoid核參數(shù)取a=1.716，b=0.667.實驗運行環(huán)境為Intel(R) Core(TM) i5-7500，3.4 GHZ CPU，8 G RAM，MATLAB 2013，每個實驗重復10次.

表1 不同分類數(shù)據(jù)集的信息

表1中，HD數(shù)據(jù)集用于診斷303個患者是否患有心臟病.Diabetes數(shù)據(jù)集用于診斷患者是否患有糖尿病，BC數(shù)據(jù)集用于診斷患者是否患有乳腺癌.

3.1 基準醫(yī)學分類數(shù)據(jù)集下不同算法的性能對比

在基準醫(yī)學數(shù)據(jù)集下，本文算法與其他算法的性能對比結(jié)果見表2—表4.由表2—表4可以看出：本文算法在學習過程中雖然比KMRBF和PFRBF算法略增加了一些訓練時間，但其訓練精度和測試精度均優(yōu)于其他算法，這表明本文算法對訓練樣本空間具有更好的學習效果.另外，由表2—表4還可以看出，在本文算法中2個BP隱藏層數(shù)所需的訓練時間明顯少于1個BP隱藏層數(shù)所需的訓練時間，且訓練精度和測試精度也得到進一步提高.

表2 HD醫(yī)學數(shù)據(jù)集下不同算法的性能

表3 Diabetes醫(yī)學數(shù)據(jù)集下不同算法的性能

表4 BC醫(yī)學數(shù)據(jù)集下不同算法的性能

3.2 參數(shù)分析

圖3 RBF隱藏層節(jié)點個數(shù)變化時HRBF-BP與KMRBF算法的分類性能

以Diabetes醫(yī)學數(shù)據(jù)集為例進行參數(shù)分析.首先固定BP隱藏層層數(shù)和BP隱層節(jié)點個數(shù)，然后通過調(diào)節(jié)RBF隱層節(jié)點個數(shù)來對比HRBF-BP網(wǎng)絡和KMRBF算法的性能，結(jié)果如圖3所示.由圖3可以看出，當RBF隱層節(jié)點個數(shù)為16～30，RBF隱層節(jié)點個數(shù)為14～30時，其所對應的KMRBF算法和HRBF-BP算法的網(wǎng)絡分類精度雖均可維持在一個穩(wěn)定的精度范圍內(nèi)，但HRBF-BP的網(wǎng)絡分類精度顯著優(yōu)于KMRBF算法.該結(jié)果進一步表明,HRBF-BP網(wǎng)絡比KMRBF算法具有更好的學習能力.

在Diabetes醫(yī)學數(shù)據(jù)集中，不同的RBF隱層節(jié)點個數(shù)、BP隱藏層層數(shù)以及BP隱層節(jié)點個數(shù)對HRBF-BP算法性能的影響見表5.由表5可以看出，HRBF-BP算法的訓練精度和測試精度相對較為穩(wěn)定，且均優(yōu)于KMRBF算法.這表明，HRBF-BP算法能夠有效降低對參數(shù)(RBF隱層節(jié)點個數(shù)、BP隱藏層層數(shù)以及BP隱層節(jié)點個數(shù))選擇的依賴.

表5 不同參數(shù)下HRBF-BP算法的性能

4 結(jié)論

研究表明，本文提出的HRBF-BP算法可將RBF網(wǎng)絡穩(wěn)定性好與BP網(wǎng)絡泛化能力強的優(yōu)點融合在一起，且其訓練精度和分類精度均優(yōu)于SGBP、KMRBF、PFRBF算法；因此，本文算法可有效改善單一RBF網(wǎng)絡及BP網(wǎng)絡的分類性能和提高網(wǎng)絡學習的性能.在研究中，本文的訓練樣本采用的是批學習方式，未能考慮序列樣本的學習方式，因此在今后的研究中我們將引入基于序列樣本的HRBF-BP算法，以完善本文算法.