基于高斯徑向基函數(shù)網(wǎng)絡(luò)的潛在剖面建模方法

黎鳴

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065)

1 潛在剖面分析

近年來，潛在變量建模（潛在結(jié)構(gòu)分析，Latent Vari?able Modeling，Latent Structural Analysis）越來越受到醫(yī)學(xué)生物、社會(huì)心理等學(xué)科的重視，其原因在于，一方面，它能通過潛在變量的概念來表示外顯變量（因變量）所蘊(yùn)含的抽象且無法直接觀察的內(nèi)部關(guān)系，另一方面，傳統(tǒng)的顯變量分析方法的有效性正逐漸受到數(shù)據(jù)復(fù)雜性的影響，研究者搜集到的數(shù)據(jù)越來越底層、復(fù)雜、交錯(cuò)、實(shí)時(shí)，這些數(shù)據(jù)的潛在關(guān)系很難再通過簡(jiǎn)單的轉(zhuǎn)換方法得到。而潛在剖面分析（LPA）作為一種對(duì)內(nèi)部因素間交互進(jìn)行建模的方法，其有效性在醫(yī)學(xué)生物、社會(huì)心理等學(xué)科領(lǐng)域已經(jīng)得到大量的證實(shí)。LPA是一種以人為中心的潛在變量建模方法，其基本假設(shè)在于因變量間存在有意義的、共同的模式（Pattern），而這種假設(shè)與類型學(xué)（Typology）等多個(gè)研究領(lǐng)域所用的假設(shè)相仿[1]。由于其假設(shè)也包含了因變量間存在的結(jié)構(gòu)化關(guān)系，因此，LPA也被作為一種結(jié)構(gòu)化（Structural）的建模方法。

按照外顯變量與潛在變量的數(shù)據(jù)類型（連續(xù)或離散），潛在結(jié)構(gòu)分析可以分為四類，即：外顯離散且潛在離散的潛在類別分析（Latent Class Analysis），外顯連續(xù)但潛在離散的潛在剖面分析（Latent Profile Analysis），外顯離散但潛在連續(xù)的潛在特質(zhì)分析（Latent Trait Analysis），以及外顯連續(xù)且潛在連續(xù)的因素分析（Fac?tor Analysis）[2]?？梢哉f，潛在結(jié)構(gòu)分析是傳統(tǒng)因素分析的發(fā)展與擴(kuò)展，與傳統(tǒng)因素分析一同建立了一個(gè)完整的潛在分析方法框架。

潛在類別分析（LCA）與潛在剖面分析（LPA）都是基于貝葉斯統(tǒng)計(jì)理論的一種，LCA為無參估計(jì)，LPA為有參估計(jì)，都采用了“屬性條件獨(dú)立性假設(shè)”（Attribute Conditional Independence Assumption），即對(duì)已知的顯變量，假設(shè)所有屬性相互獨(dú)立。對(duì)于一個(gè)具有M個(gè)屬性、K個(gè)潛變量的LCA的模型，其貝葉斯判別公式如公式

由于LPA與LCA的區(qū)別主要在外顯變量是否連續(xù)這一點(diǎn)上，因此，當(dāng)外顯變量為連續(xù)的時(shí)候，貝葉斯決策假設(shè)外顯變量服從于多個(gè)同構(gòu)的潛在分布，通常假設(shè)該分布為正態(tài)分布。因此，屬于潛在類別k并且具有顯變量模式x的聯(lián)合概率密度函數(shù)p可以表示成公式（2）的形式[3-4]：

其中，p是服從均值μ、協(xié)方差陣為Σ的正態(tài)分布的概率密度函數(shù)，各個(gè)潛在分布通常假設(shè)均值為0，協(xié)方差可以相同也可以不相同。ηk為潛在類別概率（La?tent Class Probability），即為前文所述的先驗(yàn)概率；這時(shí)候的被稱為類條件概率密度（Class-Condi?tional Probability Density）。不同于LCA的無參估計(jì)過程，LPA通常采用基于期望最大化（EM）的最大似然法（MLE）估計(jì)假設(shè)分布的參數(shù)，由于LPA通常僅需要得到估計(jì)的分布參數(shù)，因此，在LPA應(yīng)用領(lǐng)域又通常將該模型稱為貝葉斯回歸模型或貝葉斯聚類模型[5]。由于在現(xiàn)實(shí)問題中，屬性條件獨(dú)立性假設(shè)通常很難成立，通過對(duì)屬性條件獨(dú)立性假設(shè)進(jìn)行放寬，由此可以得到一類稱為“半樸素貝葉斯分類器”（Semi-Na?ve Bayes Clas?sifier）的學(xué)習(xí)方法，該類方法可以建模顯變量屬性間的關(guān)系。也可以通過建立貝葉斯網(wǎng)絡(luò)（信念網(wǎng)，Bayesian Network，Belief Network），借助有向無環(huán)圖來刻畫屬性間的關(guān)系[6]。

LPA基于貝葉斯分類器的原理，同樣獲得了很好的顯變量分類（聚類）能力。雖然LPA解決了從顯變量（因變量）到潛變量的轉(zhuǎn)化過程，但是，大部分研究仍然希望得到的是自變量與顯變量之間的關(guān)系。為此，通常做法是直接使用現(xiàn)有的分類方法建立自變量與潛變量之間的分類模型，藉由潛變量模型得到顯變量結(jié)果。這種兩段式的訓(xùn)練方式，找到的都是局部最優(yōu)的模型，而不是自變量（特征）與顯變量之間關(guān)系的最優(yōu)模型，因此，通常由此推斷的自變量與顯變量之間的解釋度（擬合優(yōu)度）都很低，現(xiàn)有文獻(xiàn)都規(guī)避自變量與顯變量之間的關(guān)系，而提出以“人”（潛變量）為中心的判別方式，忽視了模型的最終應(yīng)用目的。

2 徑向基函數(shù)網(wǎng)絡(luò)

徑向基函數(shù)（RBF）網(wǎng)絡(luò)（Radial Basis Function Net?work）是一種以徑向基函數(shù)為隱藏層神經(jīng)元節(jié)點(diǎn)的前饋神經(jīng)網(wǎng)絡(luò)，是一種連接主義的模型。神經(jīng)網(wǎng)絡(luò)的有效性在神經(jīng)科學(xué)領(lǐng)域和計(jì)算機(jī)領(lǐng)域均得到了大量的證明，它由具有適應(yīng)性的簡(jiǎn)單單元組成廣泛并聯(lián)的網(wǎng)絡(luò)，是對(duì)生物神經(jīng)系統(tǒng)的模擬，而前饋神經(jīng)網(wǎng)絡(luò)（層間全連，層內(nèi)不連）是最基本的一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[6]。RBF網(wǎng)絡(luò)是一種非線性局部逼近網(wǎng)絡(luò)，能逼近任意的非線性函數(shù)，具有良好的泛化能力，同時(shí)，仍具有較好的解釋性。其網(wǎng)絡(luò)結(jié)構(gòu)通常圖1所示：

圖1 RBF網(wǎng)絡(luò)結(jié)構(gòu)

其中x為輸入向量，xi為第i個(gè)屬性（特征），x所在的神經(jīng)元節(jié)點(diǎn)為輸入層；φ為高斯徑向基函數(shù)，其公式可以定義為公式Eq.3的形式，φ所在的神經(jīng)元節(jié)點(diǎn)為隱藏層，φj為第j個(gè)神經(jīng)元的高斯徑向基函數(shù)；Σ為求和函數(shù)，Σ所在的神經(jīng)元節(jié)點(diǎn)為輸出層；y為網(wǎng)絡(luò)的輸出。

RBF網(wǎng)絡(luò)可以理解為：輸入層是網(wǎng)絡(luò)與外界環(huán)境的連接，隱藏層是輸入空間到隱藏空間之間的變換，輸出層是網(wǎng)絡(luò)的響應(yīng)。高斯函數(shù)φ在統(tǒng)計(jì)學(xué)文獻(xiàn)中廣泛的解釋為核（Kernel），因此RBF網(wǎng)絡(luò)是一種類似于核回歸的核方法（模型）[7]。該網(wǎng)絡(luò)的訓(xùn)練方式通常采用兩段訓(xùn)練（2-Stage Training）的方式：第一階段，使用非監(jiān)督（Unsupervised）學(xué)習(xí)的訓(xùn)練方式尋找高斯徑向基的中心樣本，第二階段，使用監(jiān)督（Supervised）學(xué)習(xí)的訓(xùn)練方式訓(xùn)練網(wǎng)絡(luò)參數(shù)。

RBF網(wǎng)路與LPA方法具有極高的相似性，從LPA的方向解釋，x即為自變量（特征），φ為潛變量的概率密度函數(shù)，y為顯變量，將Σ替換為采樣函數(shù)，則該網(wǎng)絡(luò)即為RBF-LPA網(wǎng)絡(luò)。其訓(xùn)練方式也采用兩段訓(xùn)練的方式，第一階段，使用LPA樸素貝葉斯回歸的方法，確定高斯徑向基的概率參數(shù)，第二階段，使用傳統(tǒng)的BP方法訓(xùn)練整個(gè)網(wǎng)路的參數(shù)。

3 結(jié)語(yǔ)

本文給出了一種基于RBF的LPA方法，該方法綜合考慮了如何將LPA直接用于全局建模。雖然該思想結(jié)合了LPA易解釋，RBF效果好的優(yōu)點(diǎn)，但是，后續(xù)需要更多實(shí)際的應(yīng)用來證明該方法的有效性，以及從定義上給予更嚴(yán)格的證明。

參考文獻(xiàn)：

[1]Ferguson S,Hull D.Personality Profiles:Using Latent Profile Analysis to Model Personality Typologies[J].Personality&Individual Differences,2018,122:177-183.

[2]邱皓政.潛在類別模型的原理與技術(shù)[M].北京大學(xué)出版社,2008.

[3]RichardO.Duda,PeterE.Hart,DavidG.Stork.模式分類[M].機(jī)械工業(yè)出版社,2003.

[4]孫即祥.現(xiàn)代模式識(shí)別[M].國(guó)防科技大學(xué)出版社,2002.

[5]趙麗,李麗霞,周舒冬,等.潛在剖面分析和系統(tǒng)聚類法比較的模擬研究[J].廣東藥學(xué)院學(xué)報(bào),2013,29(2):206-209.

[6]周志華.機(jī)器學(xué)習(xí)[M].清華大學(xué)出版社,2016.

[7]SimonHaykin,海金,Haykin.神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)[M].機(jī)械工業(yè)出版社,2009.