基于隨機(jī)特征映射的四層多核學(xué)習(xí)方法

楊 悅，王士同

（江南大學(xué)人工智能與計(jì)算機(jī)學(xué)院，江蘇無(wú)錫 214122）

0 引言

核方法（kernel methods）［1-3］是以支持向量機(jī)（Support Vector Machine，SVM）［4-6］為典型代表的一類(lèi)機(jī)器學(xué)習(xí)算法，因引入核函數(shù)解決非線(xiàn)性問(wèn)題而得名。對(duì)于原始輸入空間中混疊、線(xiàn)性不可分的數(shù)據(jù)，首先采用某個(gè)非線(xiàn)性函數(shù)將其映射到高維甚至無(wú)窮維的特征空間，然后在此特征空間中應(yīng)用模式分析方法，如分類(lèi)、聚類(lèi)、回歸、降維等。在網(wǎng)絡(luò)模型給定核函數(shù)后，數(shù)據(jù)在特征空間中的分布結(jié)構(gòu)隨即確定。這意味著，核方法的性能好壞很大程度上取決于所選用的核函數(shù)的性能。不同類(lèi)型或同類(lèi)型但參數(shù)取值不同的核函數(shù)，都會(huì)造成不同的網(wǎng)絡(luò)性能。

近幾年Huang 等［7］提出的極限學(xué)習(xí)機(jī)（Extreme Learning Machine，ELM）和Chen 等［8］提出的寬度學(xué)習(xí)（Broad Learning System，BLS）算法都是基于單個(gè)特征空間的單核神經(jīng)網(wǎng)絡(luò)，算法核心思想在于隨機(jī)選取網(wǎng)絡(luò)的輸入權(quán)值和偏置，在訓(xùn)練過(guò)程中保持不變，僅需要優(yōu)化隱層神經(jīng)元個(gè)數(shù)。網(wǎng)絡(luò)的輸出權(quán)值則是通過(guò)求解Moore-Penrose 廣義逆運(yùn)算得到。相較于其他傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，這種訓(xùn)練方法具有實(shí)現(xiàn)簡(jiǎn)單、學(xué)習(xí)速度極快和人為干預(yù)較少等顯著優(yōu)勢(shì)。為了保持網(wǎng)絡(luò)在訓(xùn)練速度上的優(yōu)勢(shì)，并且優(yōu)化算法的結(jié)構(gòu)，文獻(xiàn)［9］中提出了基于隨機(jī)映射特征的四層神經(jīng)網(wǎng)絡(luò)（Four-layer Neural Network based on Randomly Feature Mapping，F(xiàn)RMFNN）模型。首先把原始輸入特征通過(guò)特定的隨機(jī)映射算法轉(zhuǎn)化為隨機(jī)映射特征存儲(chǔ)于第一層隱藏層節(jié)點(diǎn)中，再經(jīng)過(guò)激活函數(shù)對(duì)隨機(jī)映射特征進(jìn)行非線(xiàn)性轉(zhuǎn)化，生成第二層隱藏節(jié)點(diǎn)，最后將第二層隱藏層通過(guò)輸出權(quán)重連接到輸出層。由于第一層和第二層隱藏層的權(quán)重是根據(jù)任意連續(xù)采樣分布概率隨機(jī)生成的，不需要訓(xùn)練更新，且輸出層的權(quán)重可以用嶺回歸算法［10］快速求解，從而避免了傳統(tǒng)反向傳播神經(jīng)網(wǎng)絡(luò)耗時(shí)的訓(xùn)練過(guò)程。盡管上述的方法模型在眾多的應(yīng)用領(lǐng)域有效并且實(shí)用，但這些方法都是基于單個(gè)特征空間的單核方法。由于在不同的應(yīng)用場(chǎng)合，不同核函數(shù)的性能表現(xiàn)差別很大，所以核方法的性能優(yōu)劣很大程度上取決于所選用的核函數(shù)及其參數(shù)，而核函數(shù)的構(gòu)造或選擇至今沒(méi)有完善的理論依據(jù)。此外，當(dāng)樣本數(shù)據(jù)含有異構(gòu)信息、樣本規(guī)模很大、多維數(shù)據(jù)不規(guī)則或數(shù)據(jù)在高維特征空間分布不平坦的情況［11-14］下，采用單個(gè)簡(jiǎn)單核函數(shù)進(jìn)行映射的方式對(duì)所有樣本進(jìn)行處理的效果并不理想。針對(duì)這些問(wèn)題，近年來(lái)，出現(xiàn)了大量關(guān)于核組合方法的研究，即多核學(xué)習(xí)方法［15］。多核學(xué)習(xí)的目標(biāo)就是將多個(gè)子核（或稱(chēng)為基核）通過(guò)線(xiàn)性組合或非線(xiàn)性組合的學(xué)習(xí)方法得到一個(gè)多核矩陣，其實(shí)質(zhì)就是學(xué)習(xí)多個(gè)核函數(shù)的最優(yōu)凸組合［16］，得到這些特征所形成的單一核的權(quán)系數(shù)，從而組合成一個(gè)多核函數(shù)。對(duì)于多核學(xué)習(xí)的優(yōu)化問(wèn)題，許多學(xué)者做了研究。文獻(xiàn)［17］中針對(duì)多核學(xué)習(xí)算法時(shí)間復(fù)雜度隨內(nèi)核數(shù)量增加而大幅增長(zhǎng)的問(wèn)題，提出了一種可拓展的多核學(xué)習(xí)算法：easyMKL（easy Multiple Kernel Learning），可以高效處理成千上萬(wàn)甚至更多的核函數(shù)；文獻(xiàn)［18］中提出一種名為SimpleMKL 的算法，通過(guò)加權(quán)L2正則化公式解決了多核學(xué)習(xí)算法需要大量迭代才能收斂的問(wèn)題，并在權(quán)重上附加了約束項(xiàng)以得到稀疏核組合；文獻(xiàn)［19］中提出的GMKL（more Generality Multiple Kernel Learning）在保證現(xiàn)有大規(guī)模數(shù)據(jù)集優(yōu)化算法的效率的同時(shí)，將現(xiàn)有的多核學(xué)習(xí)算法公式進(jìn)行拓展來(lái)學(xué)習(xí)受一般正則化約束的一般核組合；文獻(xiàn)［20］在回歸和核嶺回歸算法的基礎(chǔ)上研究了基于基本核的多項(xiàng)式的優(yōu)化問(wèn)題，提出了一種非線(xiàn)性多核學(xué)習(xí)算法（Non-Linear Multiple Kernel Learning，NLMKL），用一種更簡(jiǎn)單的極小值問(wèn)題來(lái)簡(jiǎn)化優(yōu)化過(guò)程中的極大極小值問(wèn)題，并給出了一種基于投影的梯度下降算法來(lái)解決該優(yōu)化問(wèn)題；文獻(xiàn)［21］基于group-Lasso 和多核學(xué)習(xí)間的等價(jià)關(guān)系，提出了GLMKL（Group Lasso Multiple Kernel Learning）算法，制定了用于優(yōu)化核矩陣權(quán)重的封閉形式解決方案以提高多核學(xué)習(xí)的效率，并且該方法可以推廣到Lp（p≥1）范數(shù)的多核學(xué)習(xí)的情況。

文獻(xiàn)［9］中提出的FRMFNN 模型雖然具有很好的泛化能力，但是存在隱藏層節(jié)點(diǎn)規(guī)模較大的問(wèn)題。針對(duì)這個(gè)問(wèn)題，本文提出一種基于隨機(jī)特征映射的四層多核學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)（Four-layer Multiple Kernel Neural Network based on Randomly Feature Mapping，MK-FRMFNN），對(duì)原始的數(shù)據(jù)特征根據(jù)任意連續(xù)采樣分布概率進(jìn)行不同的隨機(jī)映射，生成隨機(jī)映射特征，并使用嵌入式選擇的方式對(duì)特征進(jìn)行稀疏化處理，再通過(guò)不同的核函數(shù)對(duì)這些隨機(jī)映射特征的稀疏化特征進(jìn)行非線(xiàn)性隨機(jī)映射，最后把不同的基本核矩陣通過(guò)線(xiàn)性組合的方式連接到輸出層，通過(guò)嶺回歸算法計(jì)算出網(wǎng)絡(luò)的輸出權(quán)重。通過(guò)多核組合學(xué)習(xí)的方式，在保證網(wǎng)絡(luò)泛化性能的同時(shí)，可以大大降低網(wǎng)絡(luò)的隱藏層節(jié)點(diǎn)規(guī)模。而對(duì)于樣本規(guī)模較大的數(shù)據(jù)集，傳統(tǒng)的多核算法在核映射過(guò)程中會(huì)造成嚴(yán)重的“維數(shù)災(zāi)難”問(wèn)題。與傳統(tǒng)的多核學(xué)習(xí)不同，MK-FRMFNN 模型通過(guò)隨機(jī)核映射的方式，調(diào)節(jié)隨機(jī)權(quán)重矩陣的維度來(lái)控制核空間的維度，有效解決了大樣本數(shù)據(jù)集的維數(shù)災(zāi)難問(wèn)題。本文具體描述了隨機(jī)映射特征的核組合學(xué)習(xí)算法及其相關(guān)概念；對(duì)網(wǎng)絡(luò)進(jìn)行正則化處理，并給出了兩種不同的核組合方式：基于局部特征的核組合和基于全部特征的核組合；最后，在多個(gè)分類(lèi)數(shù)據(jù)集上的實(shí)驗(yàn)表明，MK-FRMFNN 多核模型有效降低了網(wǎng)絡(luò)隱藏層的節(jié)點(diǎn)規(guī)模，并且具有良好的分類(lèi)能力及泛化性能。

1 相關(guān)工作

1.1 核方法

核方法的使用可以有效提高支持向量機(jī)一類(lèi)的算法對(duì)于線(xiàn)性不可分?jǐn)?shù)據(jù)的處理能力。下面以經(jīng)典的支持向量機(jī)為例闡述核函數(shù)的推導(dǎo)過(guò)程。設(shè)原始樣本向量為x，通過(guò)一個(gè)映射函數(shù)Φ(x)映射到高維特征空間，則SVM 的目標(biāo)函數(shù)形式轉(zhuǎn)換為：

引入拉格朗日乘子后得到的對(duì)偶問(wèn)題為：

由于樣本映射到高維特征空間后，樣本維度可能是無(wú)窮的，故ΦT(xi)Φ(xj)的直接計(jì)算較為困難，此處可假設(shè)有函數(shù)κ(·，·)使κ(xi，xj)=ΦT(xi)Φ(xj)，則對(duì)式（2）求解后可得到對(duì)未知樣本的判別函數(shù)：

其中：κ(·)被稱(chēng)為核函數(shù)，若知道映射函數(shù)Φ(x)的具體形式，就可以直接計(jì)算出ΦT(xi)Φ(xj)，由此就可以得到具體的核函數(shù)κ(·，·)。但在現(xiàn)實(shí)應(yīng)用中通常無(wú)法知道Φ(x)的具體形式，但幸運(yùn)的是，適合的核函數(shù)的存在使得在不知道ΦT(xi)和Φ(xj)的具體形式下，也可求得核函數(shù)的值。

1.2 多核學(xué)習(xí)方法

多核學(xué)習(xí)方法是在訓(xùn)練過(guò)程中訓(xùn)練多個(gè)基本核函數(shù)，然后對(duì)這些不同的核函數(shù)及其參數(shù)進(jìn)行組合，以獲得最優(yōu)的核組合，結(jié)合多種核函數(shù)的優(yōu)點(diǎn)，進(jìn)行更優(yōu)的特征映射。

按照合成核構(gòu)造方法的不同，多核學(xué)習(xí)方法可以分為以下三種類(lèi)型［16］。

1）合成核方法。

由于不同核函數(shù)具有不同的特性，將多個(gè)核函數(shù)組合可得到具有不同核函數(shù)特性的組合核，稱(chēng)為合成核方法。設(shè)有M個(gè)基本核函數(shù)，可以通過(guò)以下幾種方法生成合成核矩陣或合成核函數(shù)：

①直接求組合核函數(shù)：

②加權(quán)求組合核函數(shù)：

其中μi為核權(quán)重系數(shù)。

③加權(quán)多項(xiàng)式擴(kuò)展核：

由Mercer 理論可知，通過(guò)以上方法生成的組合核函數(shù)仍滿(mǎn)足Mercer 條件。

2）多尺度核方法。

由于不同尺度的核具有不同的特性，多尺度核方法的思想為將多個(gè)不同尺度的核進(jìn)行融合。經(jīng)過(guò)多年發(fā)展，多尺度理論得到了完善，多尺度核方法具有良好的理論基礎(chǔ)。多尺度核方法需要找到一組具有多尺度表示能力的核函數(shù)，例如高斯核函數(shù)就是一種具有代表性的多尺度核函數(shù)，設(shè)核函數(shù)數(shù)量為M，其多尺度化形式為：

其中：核帶寬取不同值，例如σi=2iσ。結(jié)合高斯核函數(shù)的性質(zhì)可知：當(dāng)σi取較小值時(shí)，可以更好地處理數(shù)據(jù)集局部特征；當(dāng)σi取較大值時(shí)，可以得到更好的泛化性能。

通過(guò)大尺度核與小尺度核的結(jié)合，可以得到更加適合特定數(shù)據(jù)集的合成核函數(shù)，然而此類(lèi)方法求解過(guò)程的時(shí)間復(fù)雜度較高，且作為SVM 的核函數(shù)時(shí)，支持向量數(shù)量增加較多。

3）無(wú)限核方法。

在處理一些大數(shù)據(jù)集時(shí)，使用一定數(shù)量的核函數(shù)生成合成核的性能并不能完備地表示數(shù)據(jù)中包含的物理信息，此時(shí)將有限個(gè)核函數(shù)擴(kuò)展到無(wú)限核的方法成為一個(gè)重要的研究方向。

無(wú)限核方法的構(gòu)造方法是尋找到多個(gè)基本核函數(shù)集合中能使凸正則化函數(shù)最小化的核，其中基本核集合內(nèi)可以存在無(wú)限個(gè)連續(xù)參數(shù)化的核函數(shù)，此類(lèi)問(wèn)題在求解時(shí)可以使用凸函數(shù)差分優(yōu)化理論或半無(wú)限規(guī)劃來(lái)解決。

1.3 基于隨機(jī)特征映射的四層神經(jīng)網(wǎng)絡(luò)

基于隨機(jī)特征映射的四層神經(jīng)網(wǎng)絡(luò)（FRMFNN）模型是如圖1 所示的一個(gè)四層網(wǎng)絡(luò)。

圖1 基于隨機(jī)特征映射的四層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Four-layer neural network framework based on randomly feature mapping

設(shè)訓(xùn)練樣本數(shù)為N，特征數(shù)為d，類(lèi)別數(shù)為c，則訓(xùn)練集為{(X，T)|X∈RN×d，T∈RN×c}，其中X=[x1，x2，…，xd]為輸 入矩陣，T=[t1，t2，…，tc]為對(duì)應(yīng)的輸出矩陣。原始輸入數(shù)據(jù)X經(jīng)過(guò)隨機(jī)映射后組成n組隨機(jī)特征，這n組隨機(jī)映射特征組成第一層隱藏層，其中的特征映射函數(shù)為ζi(i=1，2，…，n)，記原始輸入數(shù)據(jù)矩陣為X=[x1，x2，…，xd]∈RN×d，于是第一層隱藏層中第i組映射特征為1，2，…，n，其中和是隨機(jī)生成的權(quán)重和偏置矩陣，用于連接輸入層到第一層隱藏層中第i組特征節(jié)點(diǎn)。

定義

表示第一層隱藏層中N個(gè)訓(xùn)練樣本的n組映射特征節(jié)點(diǎn)集合，然后把Hf傳輸?shù)降诙€(gè)隱藏層。

然后，定義第二個(gè)隱藏層中第j組隱藏節(jié)點(diǎn)的輸出為，j=1，2，…，m，其中g(shù)j(·)是一個(gè)非線(xiàn)性核函數(shù)，如sigmoid 等。和是隨機(jī)生成的連接第一個(gè)隱藏層與第二個(gè)隱藏層第j組隱藏節(jié)點(diǎn)的權(quán)重和偏置矩陣。另外，第二個(gè)隱藏層的輸出定義為：

在建立模型時(shí)，每一組映射的函數(shù)ζi(·)和gj(·)可以選擇不同的函數(shù)。為了不失一般性，在下文中ζi(·)和gj(·)的下標(biāo)i和j將被省略。于是，基于隨機(jī)映射的四層神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型被表示為：

其中：T=[t1，t2，…，tN]T表示訓(xùn)練樣本期望的輸出矩陣，β是連接第二個(gè)隱藏層連接與輸出層的權(quán)重矩陣。在給出訓(xùn)練樣本并且隱藏層神經(jīng)元參數(shù)根據(jù)任意連續(xù)采樣分布概率隨機(jī)生成之后，隱層輸出矩陣Hf和He就是已知的，并且保持不變。則求解式（8）中的β就可以轉(zhuǎn)化為求解線(xiàn)性系統(tǒng)方程He β=T的最小范數(shù)最小二乘解，則：

其中He+表示第二個(gè)隱藏層輸出矩陣He的Moore-Penrose 廣義逆。

1.4 特征選擇及稀疏化

由于FRMFNN 模型的特征是隨機(jī)選擇的，即通過(guò)高斯分布、均勻分布等隨機(jī)分布函數(shù)生成網(wǎng)絡(luò)的初始權(quán)重矩陣wf對(duì)數(shù)據(jù)的原始特征進(jìn)行隨機(jī)映射，生成隨機(jī)映射特征。為了克服這些特征的隨機(jī)性，并獲得輸入特征的稀疏化表達(dá)，在第一次隨機(jī)映射時(shí)，利用嵌入式特征選擇的方式，應(yīng)用線(xiàn)性逆問(wèn)題對(duì)隨機(jī)生成的初始權(quán)重矩陣wf進(jìn)行微調(diào)，以平方誤差作為損失函數(shù)，則優(yōu)化目標(biāo)為：

當(dāng)樣本特征很多，而樣本數(shù)相對(duì)較少時(shí)，式（10）很容易陷入過(guò)擬合，為了緩解過(guò)擬合問(wèn)題，在式（10）中引入L1正則化項(xiàng)，則有：

其中：是稀疏自動(dòng)編碼器的解，Hf為初始給定線(xiàn)性方程的期望輸出，即Hf=Xwf。L1范數(shù)和L2范數(shù)正則化都有助于降低過(guò)擬合風(fēng)險(xiǎn)，但L1范數(shù)比L2范數(shù)更易于獲得“稀疏”解，即求得的wf會(huì)有更少的非零分量，可在降低過(guò)擬合風(fēng)險(xiǎn)的同時(shí)實(shí)現(xiàn)對(duì)特征的稀疏編碼。

上述問(wèn)題被定義為lasso［22］，它是一個(gè)關(guān)于wf的凸函數(shù)，此問(wèn)題可使用交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）［23-24］求解：

首先，式（11）中的問(wèn)題可以等價(jià)為下列一般性問(wèn)題：

上述優(yōu)化問(wèn)題可以通過(guò)下列迭代步驟解決：

其中ρ＞0，S是軟閾值運(yùn)算符，定義為：

原始特征經(jīng)過(guò)稀疏處理，降低了特征表示的復(fù)雜度，減少了系數(shù)參數(shù)，可以充分挖掘數(shù)據(jù)中的有用信息，去掉數(shù)據(jù)信息的冗余部分，達(dá)到最大化利用數(shù)據(jù)的目的，并且提高模型訓(xùn)練速度。

1.5 基于隨機(jī)特征映射四層的核方法

1.3 節(jié)介紹了基于隨機(jī)特征映射的四層神經(jīng)網(wǎng)絡(luò)及其相關(guān)算法。該算法對(duì)原始特征X=[x1，x2，…，xd]∈RN×d作了兩次隨機(jī)映射，生成兩層隱藏層：hf=ζ(Xwf+bf)及he=g(Hfwe+be)，其中ζ為第一層特征映射函數(shù)，g（·）為非線(xiàn)性激活函數(shù)，最后把映射特征連接到輸出層，再計(jì)算出輸出權(quán)重。在計(jì)算第一層隱藏層時(shí)，通過(guò)嵌入式特征選擇的方式，對(duì)隨機(jī)特征進(jìn)行稀疏化處理。受到支持向量機(jī)（SVM）的相關(guān)核技巧理論的啟發(fā)，在上述的基于隨機(jī)特征映射的四層神經(jīng)網(wǎng)絡(luò)（FRMFNN）中，可以引入核函數(shù)代替特征與權(quán)重的內(nèi)積構(gòu)建一種基于隨機(jī)特征映射的核學(xué)習(xí)方法。

把原始特征x經(jīng)過(guò)映射函數(shù)Φ(x)從低維空間轉(zhuǎn)化到高維空間上，理論上計(jì)算復(fù)雜度會(huì)變高很多，但是通過(guò)引入核函數(shù)可以巧妙地化解這個(gè)問(wèn)題。

例如，將樣本點(diǎn)(x1，x2)從二維空間轉(zhuǎn)化到三維空間(z1，z2，z3)，令：

設(shè)Φ為映射函數(shù)，則：

從式（17）可以看出，核函數(shù)可以將原始特征空間上的點(diǎn)內(nèi)積經(jīng)過(guò)某個(gè)特定的映射轉(zhuǎn)化為高維空間上的點(diǎn)內(nèi)積，而不用對(duì)高維空間上的點(diǎn)進(jìn)行具體運(yùn)算，不僅沒(méi)有增加計(jì)算復(fù)雜度，還可以得到特性更好的高維特征。

然而在動(dòng)物世界中，有一些動(dòng)物可是天生的長(zhǎng)鼻子，與說(shuō)謊毫無(wú)關(guān)系。比如，大象擁有世界上最長(zhǎng)的鼻子，可以卷起食物，可以吸水洗澡，還可以抵御敵人，用處可大了！那么，除了大象，動(dòng)物界還有誰(shuí)也有“長(zhǎng)鼻子”呢？

通過(guò)在基于隨機(jī)特征映射的四層神經(jīng)網(wǎng)絡(luò)中引入核函數(shù)，可以得到原始特征更好的高維投影。設(shè)隨機(jī)特征映射層的輸出為H，隨機(jī)核映射權(quán)重矩陣為we，基于隨機(jī)特征映射的核方法的架構(gòu)如圖2 所示。通過(guò)對(duì)隨機(jī)映射特征矩陣H進(jìn)行隨機(jī)核映射，生成核映射層，再連接到輸出層。

圖2 基于隨機(jī)特征映射四層核方法的架構(gòu)Fig.2 four-layer kernel method framework based on randomly feature mapping

2 基于隨機(jī)映射特征的多核組合學(xué)習(xí)算法

2.1 核函數(shù)的選擇

設(shè)一個(gè)訓(xùn)練數(shù)據(jù)集D有N個(gè)樣本集合為{{(x1，t1)，(x2，t2)，…，(xN，tN)}∈X×T|X∈RN×d，T∈RN×c}，可以通過(guò)一個(gè)非線(xiàn)性映射：

把輸入數(shù)據(jù)映射到一個(gè)新的特征空間Γ={Φ(x)|x∈X}，其中Γ∈Rd。設(shè)κ：XTX→R 是一個(gè)連續(xù)對(duì)稱(chēng)函數(shù)，由Mercer 理論［25］可知，κ能作為核函數(shù)使用當(dāng)且僅當(dāng)這個(gè)對(duì)稱(chēng)函數(shù)所對(duì)應(yīng)的核矩陣K是半正定的。則一定存在一個(gè)特征空間Γ和一個(gè)映射Φ：X→Γ，使得：

針對(duì)不同的應(yīng)用，可以設(shè)計(jì)不同的核函數(shù)。常用的核函數(shù)主要有線(xiàn)性核、多項(xiàng)式核、徑向基核、Sigmoid 核等：

1）線(xiàn)性核：

2）多項(xiàng)式核：

κ；m≥1 為多項(xiàng)式的次數(shù)

κ；δ＞0是RBF核的帶寬

4）拉普拉斯核：

5）Sigmoid核：

κtanh為雙曲正切函數(shù)，β＞0，θ＜0。

2.2 基本核矩陣的生成

MK-FRMFNN 中的基本核矩陣計(jì)算方式與傳統(tǒng)的核映射方法有所不同。不再簡(jiǎn)單地對(duì)所輸入的樣本數(shù)據(jù)直接進(jìn)行核映射，而是在映射過(guò)程中加入一個(gè)隨機(jī)權(quán)重矩陣，將經(jīng)過(guò)一次隨機(jī)映射并稀疏化之后的特征矩陣與隨機(jī)權(quán)重矩陣做核映射。下面以高斯核函數(shù)為例進(jìn)行具體說(shuō)明。高斯核函數(shù)形式為：

設(shè)MK-FRMFNN 中第一層稀疏化的隨機(jī)映射層的輸出為Hf，維度為N×n，連接基本核矩陣的隨機(jī)權(quán)重矩陣為we，維度為l×n，使用高斯核對(duì)Hf做隨機(jī)核映射，則經(jīng)過(guò)核映射生成的核矩陣為：

其中：hfi(i=1，2，…，N)為Hf的n維行向量，wej(j=1，2，…，l)為w e的n維行向量，Hf和w e兩者通過(guò)式（21）所示做隨機(jī)核映射之后生成的核矩陣k為N×l維實(shí)矩陣。核函數(shù)選取其他函數(shù)時(shí)也如上述過(guò)程一樣求解對(duì)應(yīng)的基本核矩陣。通過(guò)控制隨機(jī)權(quán)重矩陣w e的維度l，即可控制基本核矩陣的維度，在進(jìn)行大規(guī)模、大維度樣本的學(xué)習(xí)時(shí)，也可以把核空間的維度控制在可控范圍。

2.3 基于隨機(jī)映射特征的核組合學(xué)習(xí)框架

基于隨機(jī)映射特征的核組合學(xué)習(xí)框架如圖3 所示。首先使用多個(gè)預(yù)定義的基本核函數(shù)對(duì)原始數(shù)據(jù)的隨機(jī)映射特征做再次映射生成多個(gè)基本核矩陣；然后通過(guò)線(xiàn)性組合的方式合成核矩陣，再使用合成核矩陣訓(xùn)練得到分類(lèi)器或回歸函數(shù)的最終輸出權(quán)重β，最后計(jì)算得出網(wǎng)絡(luò)的分類(lèi)或預(yù)測(cè)結(jié)果。當(dāng)選擇具體的核函數(shù)時(shí)，若不清楚使用哪個(gè)核函數(shù)的效果好，則可以先選擇高斯核函數(shù)進(jìn)行嘗試。

圖3 基于隨機(jī)映射特征的核組合學(xué)習(xí)框架Fig.3 Multiple kernel learning framework based on randomly feature mapping

多核學(xué)習(xí)就是將不同特性的核函數(shù)進(jìn)行組合，以期望能獲得多類(lèi)核函數(shù)的優(yōu)點(diǎn)，得到更優(yōu)的映射性能。組合的方法多種多樣，包括線(xiàn)性組合的合成方法、多核擴(kuò)展的合成方法等。本文主要使用了線(xiàn)性組合的方法中平均求和核的方式，即：

其中：m為基本核矩陣的個(gè)數(shù)，即K為各個(gè)基本核的平均值。與傳統(tǒng)的核函數(shù)不同，本文所提出的基于隨機(jī)映射特征的多核學(xué)習(xí)方法在生成每個(gè)基本核矩陣過(guò)程中，引入一個(gè)隨機(jī)權(quán)重矩陣，把對(duì)隨機(jī)映射特征的核映射過(guò)程轉(zhuǎn)化為隨機(jī)特征核映射，也就是把隨機(jī)映射特征經(jīng)過(guò)再次的隨機(jī)核映射投影到核空間，即使核矩陣中的z取值為隨機(jī)生成的權(quán)重矩陣we，使得隨機(jī)映射特征H經(jīng)過(guò)we的再次隨機(jī)核映射生成基本核矩陣，即，這樣可以通過(guò)控制生成的隨機(jī)權(quán)重矩陣的維數(shù)來(lái)控制核矩陣的維度，并且通過(guò)結(jié)合不同的隨機(jī)權(quán)重，可以集合多類(lèi)隨機(jī)分布函數(shù)的特性，從而取得更好的映射特征。

2.4 兩種多核組合方式及其算法流程

本文中提供兩種不同的核映射方式進(jìn)行多核學(xué)習(xí)：1）每個(gè)基本核選取隨機(jī)映射特征中的部分特征進(jìn)行核映射，再進(jìn)行核組合；2）每個(gè)基本核取數(shù)據(jù)的全部隨機(jī)映射特征進(jìn)行核映射，然后進(jìn)行核組合。兩種基于隨機(jī)映射特征的多核組合學(xué)習(xí)算法步驟如下：

算法1 MK-FRMFNN 基本算法。

輸入：訓(xùn)練數(shù)據(jù)集D，基本核矩陣的參數(shù)，正則化參數(shù)λ；

輸出：最終連接權(quán)重β。

步驟1 計(jì)算第一層隱層輸出H

步驟1.1 隨機(jī)生成特征映射權(quán)重wf和偏置bf

步驟1.2 通過(guò)式（14）利用稀疏編碼器求出wf的稀疏解，并得到稀疏的映射特征H=ζ(Xwf+bf)

步驟2 生成基本核矩陣：

每個(gè)核矩陣取全部隨機(jī)映射特征H做核映射，即Ki=

或把H隨機(jī)分成m份，每個(gè)核矩陣取部分特征做核映射，即Ki=

步驟3 合成核矩陣K=

步驟4 計(jì)算輸出層連接權(quán)重β=K+T

MK-FRMFNN 算法的時(shí)間復(fù)雜度主要包括四個(gè)部分，分別對(duì)應(yīng)上述算法過(guò)程中的四個(gè)步驟。步驟1 中計(jì)算隨機(jī)映射特征節(jié)點(diǎn)集合的時(shí)間復(fù)雜度為O(iter·Ndn)，其中iter為稀疏自動(dòng)編碼器的迭代次數(shù)，N為輸入訓(xùn)練樣本數(shù)，d為輸入樣本的特征維數(shù)，n為隨機(jī)映射特征的特征維數(shù)。步驟2 中生成每個(gè)基本核矩陣的過(guò)程主要是N×n和li×n的兩個(gè)矩陣按照式（21）的方式做核映射，計(jì)算的時(shí)間復(fù)雜度為O(Nnli)，則生成m個(gè)基本核矩陣的時(shí)間復(fù)雜度為，其中l(wèi)i，i=1，2，…，m為每個(gè)基本核矩陣的維數(shù)。在步驟3 中，生成合成核矩陣采用矩陣求和再求平均的方式，每個(gè)基本核矩陣的大小為N×li，在算法中設(shè)li大小相同，記為l，則有m個(gè)N×l維基本核矩陣相加，因此生成合成核矩陣的時(shí)間復(fù)雜度為O(mNl)。在步驟4 中，計(jì)算偽逆時(shí)，當(dāng)L≤N，即合成核矩陣維數(shù)小于訓(xùn)練樣本個(gè)數(shù)，此時(shí)時(shí)間復(fù)雜度為O(L2N)；而當(dāng)訓(xùn)練樣本數(shù)小于隱層節(jié)點(diǎn)個(gè)數(shù)，即L＞N時(shí)，偽逆計(jì)算的時(shí)間復(fù)雜度為O(N2L)；計(jì)算輸出權(quán)重的時(shí)間復(fù)雜度為O(LNc)，其中，L為合成核矩陣的維數(shù)，L=，c為目標(biāo)類(lèi)別數(shù)。

綜上所述，F(xiàn)RMFNN 基本算法的時(shí)間復(fù)雜度為：

步驟2 中兩種核映射方式在時(shí)間復(fù)雜度上沒(méi)有區(qū)別，在映射方式上也相同，只在特征空間的選擇上存在差異。前者隨機(jī)性較大于后者，但是特征規(guī)模上小于后者；后者在每個(gè)核映射中包含的特征信息比較完整，但可能造成過(guò)多的數(shù)據(jù)冗余。兩種映射方式在進(jìn)行核組合之后的核矩陣所包含的特征信息都是完整的，所以在最后的輸出結(jié)果上沒(méi)有太大差異，在數(shù)據(jù)特征規(guī)模較小時(shí)可以選取第二種方式，在數(shù)據(jù)特征規(guī)模較大時(shí)，第一種方式較為適用。

2.5 網(wǎng)絡(luò)權(quán)重的正則化訓(xùn)練

給定N個(gè)訓(xùn)練樣本{X，T}，特征域X∈RN×d，目標(biāo)域T∈RN×c，設(shè)MK-FRMFNN 網(wǎng)絡(luò)第一層隱藏層具有n個(gè)隱藏層神經(jīng)元，其特征映射函數(shù)為ζ(·)，則經(jīng)過(guò)第一次隨機(jī)映射及稀疏化之后的特征矩陣為H=ζ(Xwi+bi)，i=1，2，…，n，其中wi和bi是隨機(jī)權(quán)重和偏置，根據(jù)任意連續(xù)采樣分布概率隨機(jī)生成。對(duì)隨機(jī)映射特征H進(jìn)行不同的核映射生成多個(gè)基本核矩陣Ki，i=1，2，…，m，然后將這些基本核矩陣組合成核矩陣K，則網(wǎng)絡(luò)的數(shù)學(xué)模型可表示為：

其中β是連接合成核矩陣與輸出層的權(quán)重矩陣，可通過(guò)K的偽逆的嶺回歸近似算法計(jì)算得出，即：

其中K+表示合成核矩陣K的Moore-Penrose 廣義逆。

上述偽逆快速學(xué)習(xí)算法是對(duì)線(xiàn)性方程組的最小二乘估計(jì)，是一個(gè)基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原理的學(xué)習(xí)過(guò)程，其優(yōu)化目標(biāo)是在訓(xùn)練誤差最小的情況下獲得輸出權(quán)值，即

式（25）訓(xùn)練出的模型容易產(chǎn)生過(guò)擬合現(xiàn)象，為了緩解過(guò)擬合問(wèn)題，可對(duì)式（25）引入正則化項(xiàng)。在正則化方法中，將一項(xiàng)L2懲罰項(xiàng)加入到損失函數(shù)中，這成為了L2正則化，它也被稱(chēng)為嶺回歸（Ridge regression），由此下列優(yōu)化問(wèn)題成為求解偽逆的另一種方法：

其中：σ1＞0，σ2＞0，υ，u是典型的規(guī)范正則化為正則化項(xiàng)。通過(guò)取σ1=σ2=u=υ=2，將上述優(yōu)化問(wèn)題轉(zhuǎn)化為L(zhǎng)2范數(shù)規(guī)范正則化，C是對(duì)β的加權(quán)平方和的進(jìn)一步約束，該解決方案與嶺回歸理論等價(jià)——通過(guò)在KTK或KKT的對(duì)角線(xiàn)上加上一個(gè)整數(shù)來(lái)近似Moore-Penrose 廣義逆。

設(shè)需要被最小化的目標(biāo)函數(shù)如下：

對(duì)β進(jìn)行微分可以得到：

讓梯度為0，可以得到：

易得：

因?yàn)镃＞0，矩陣CI是正定的，又因?yàn)榫仃嘖TK是半正定的，因此矩陣CI+KTK是正定的。由于CI的出現(xiàn)，使得CI+KTK是非奇異矩陣，所以CI+KTK可逆。又β=K+T，因此，有

于是可得

其中：當(dāng)L≤N時(shí)，即合成核矩陣特征維數(shù)L小于訓(xùn)練樣本個(gè)數(shù)，此時(shí)I為L(zhǎng)×L維單位矩陣；而當(dāng)訓(xùn)練樣本數(shù)小于合成核矩陣特征維數(shù)，即L＞N時(shí)，利用Woodbury 公式可以等價(jià)地求出β^，此時(shí)I為N×N維單位矩陣，顯然這種情況下計(jì)算N×N維逆矩陣要比計(jì)算L×L維逆矩陣高效得多。這樣，就可以快速地求出網(wǎng)絡(luò)的輸出權(quán)重。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境及實(shí)驗(yàn)數(shù)據(jù)

為了檢驗(yàn)基于隨機(jī)映射特征的多核組合模型的分類(lèi)性能，本節(jié)在多個(gè)UCI 分類(lèi)數(shù)據(jù)集［26］上進(jìn)行了實(shí)驗(yàn)，分別為：Letter、Robot（Robot Navigation）、Ecoli、ACT（ACTivity recognition）、Adult、Australian、Eye state、Magic、Car，包含了大樣本數(shù)據(jù)集和小樣本數(shù)據(jù)集、多分類(lèi)和二分類(lèi)數(shù)據(jù)集、低維數(shù)據(jù)集和高維數(shù)據(jù)集。對(duì)于每個(gè)數(shù)據(jù)集，隨機(jī)選取70%作為訓(xùn)練樣本，剩余的30%作為測(cè)試樣本，并且對(duì)類(lèi)別數(shù)作onehot 編碼。所有實(shí)驗(yàn)進(jìn)行之前對(duì)原始數(shù)據(jù)進(jìn)行線(xiàn)性歸一化處理，即：

數(shù)據(jù)集的信息在表1 中列出。

表1 數(shù)據(jù)集的詳細(xì)信息Tab.1 Details of datasets

為了檢測(cè)MK-FRMFNN 多核學(xué)習(xí)算法的效果，對(duì)于所有數(shù)據(jù)集，選取FRMFNN、BLS 模型算法進(jìn)行比較。為保證實(shí)驗(yàn)結(jié)果的真實(shí)準(zhǔn)確，每個(gè)數(shù)據(jù)集對(duì)應(yīng)的分類(lèi)實(shí)驗(yàn)都進(jìn)行了10 次實(shí)驗(yàn)，然后計(jì)算其平均值和標(biāo)準(zhǔn)差作為最終結(jié)果。對(duì)于分類(lèi)問(wèn)題，本文采用常用的準(zhǔn)確率（accuracy）作為衡量指標(biāo)。本文所有實(shí)驗(yàn)均在同一環(huán)境下完成，采用在Windows 10 環(huán)境下搭建系統(tǒng)，計(jì)算機(jī)處理器配置為Intel CoreTM i5-10210U CPU 1.60 GHz，內(nèi)存16 GB，主算法在Python 3.7 中完成。

3.2 實(shí)驗(yàn)參數(shù)設(shè)置

在實(shí)驗(yàn)中，BLS 模型和FRMFNN 單核模型的嶺回歸的正則化參數(shù)C根據(jù)先驗(yàn)經(jīng)驗(yàn)通過(guò)網(wǎng)格搜索從{2-24，2-23，…，23}中確定。為了提高效率，采用分組映射的方式對(duì)原始特征進(jìn)行隨機(jī)映射，所以實(shí)驗(yàn)過(guò)程中存在三個(gè)參數(shù)：第一層隱藏層的隨機(jī)映射特征個(gè)數(shù)Nf和映射組個(gè)數(shù)Nm，第二層隱藏層節(jié)點(diǎn)維數(shù)Ne。通過(guò)網(wǎng)格搜索分別從［1，20］，［1，20］，［1，13 000］范圍內(nèi)搜索，第一次隨機(jī)特征映射時(shí)所進(jìn)行的稀疏化處理過(guò)程中的參數(shù)λ為0.01，迭代次數(shù)設(shè)置為50。MKFRMFNN 模型的參數(shù)參考其單核模型對(duì)應(yīng)的同一數(shù)據(jù)集參數(shù)，隨機(jī)映射特征個(gè)數(shù)Nf和映射組個(gè)數(shù)Nm在單核FRMFNN對(duì)應(yīng)參數(shù)附近±2 范圍內(nèi)搜索，基本核矩陣維數(shù)在對(duì)應(yīng)的單核FRMFNN 模型的[ 0.8×Ne/m，1.2×Ne/m]范圍內(nèi)進(jìn)行網(wǎng)格搜索，m為基本核矩陣個(gè)數(shù)。

由于MK-FRMFNN 的參數(shù)比較多，加上正則化參數(shù)的尋優(yōu)范圍較大，為了讓網(wǎng)格尋優(yōu)減少參數(shù)范圍，本文先對(duì)正則化參數(shù)C做一系列實(shí)驗(yàn)，確定正則化參數(shù)的范圍。首先選擇Ecoli、Australian、Car 三個(gè)數(shù)據(jù)集設(shè)置正則化參數(shù)為{2-24，2-23，…，2-10}分別進(jìn)行實(shí)驗(yàn)，Ecoli 數(shù)據(jù)集的其他參數(shù)［Nf×Nm，Ne，σ1，σ2］設(shè)置為［2×2，41，10-2，10-1］，Australian 數(shù)據(jù)集的參數(shù)為［6×3，28，10，102］，Car 數(shù)據(jù)集的參數(shù)為［5×2，390，1，102］。實(shí)驗(yàn)結(jié)果在表2 中顯示。

由表2 可以看出，當(dāng)正則化參數(shù)C接近于0 時(shí)，正則化參數(shù)的變化對(duì)實(shí)驗(yàn)結(jié)果的影響不大，且網(wǎng)絡(luò)性能較好；當(dāng)正則化參數(shù)不斷增大時(shí)，預(yù)測(cè)精度呈現(xiàn)下降的趨勢(shì)，所以后續(xù)實(shí)驗(yàn)中的正則化參數(shù)皆設(shè)置為2-24，不再參與網(wǎng)格尋優(yōu)。

表2 在不同正則化參數(shù)下的實(shí)驗(yàn)結(jié)果 單位：%Table 2 Experimental results with different regularization parameters unit：%

在MK-FRMFNN 實(shí)驗(yàn)中設(shè)置兩種基本核函數(shù)，分別是一個(gè)Sigmoid 核函數(shù)=tanh(xTz+b)，其中b=-0.1；兩個(gè)高斯核函數(shù)，帶 寬σ從{10-2，10-1，…，102}中通過(guò)網(wǎng)格尋優(yōu)選取。在生成初始權(quán)重時(shí)可以選擇任意的隨機(jī)分布，如高斯分布、均勻分布等。在實(shí)驗(yàn)中，由于對(duì)初始特征毫無(wú)了解，而對(duì)于初始特征的隨機(jī)選擇應(yīng)該是不具有偏向性的，所以實(shí)驗(yàn)中初始隨機(jī)權(quán)重wf、偏置bf抽取自［-1，1］的標(biāo)準(zhǔn)均勻分布。在核映射的過(guò)程中，對(duì)于每一個(gè)基本核本文都選擇不同的隨機(jī)分布函數(shù)來(lái)生成基本核矩陣，這樣可以集合多類(lèi)隨機(jī)映射函數(shù)的優(yōu)點(diǎn)，獲得更優(yōu)的映射特征組合。Sigmoid 核和第一個(gè)高斯核的隨機(jī)權(quán)重矩陣抽取自服從N（0，1）的標(biāo)準(zhǔn)正態(tài)分布，第二個(gè)高斯核函數(shù)的隨機(jī)權(quán)重矩陣抽取自服從［-1，1］的標(biāo)準(zhǔn)均勻分布。各個(gè)模型的參數(shù)設(shè)置詳見(jiàn)表3。

表3 BLS、FRMFNN和MK-FRMFNN模型的參數(shù)設(shè)置Tab.3 Parameter settings of BLS，F(xiàn)RMFNN and MK-FRMFNN models

在實(shí)驗(yàn)過(guò)程中，嘗試與現(xiàn)有較為先進(jìn)的其他多核模型作對(duì)比，而由于數(shù)據(jù)集樣本規(guī)模較大，在現(xiàn)有多核算法模型中進(jìn)行核化處理后，所生成的核矩陣維數(shù)過(guò)大會(huì)造成嚴(yán)重的“維數(shù)災(zāi)難”。這種由于樣本規(guī)模大而造成的高維空間維數(shù)災(zāi)難問(wèn)題，通過(guò)特征降維也無(wú)法得到很好的解決。對(duì)于大樣本數(shù)據(jù)集，GLMKL、NLMKL、simpleMKL 以及新近的easyMKL等多核算法在普通計(jì)算機(jī)上運(yùn)算非常耗時(shí)，需要很多天來(lái)完成一次運(yùn)算，且常面臨著計(jì)算機(jī)內(nèi)存不足的風(fēng)險(xiǎn)，是非常不現(xiàn)實(shí)的。故本文在實(shí)驗(yàn)中舍棄了在大樣本數(shù)據(jù)集上與此類(lèi)算法的對(duì)比，選取了Ecoli、Australian、Car 三個(gè)小樣本數(shù)據(jù)集與simpleMKL、easyMKL、GLMKL 及NLMKL 四種多核算法進(jìn)行對(duì)比實(shí)驗(yàn)，對(duì)比算法的實(shí)驗(yàn)中設(shè)置兩種基本核函數(shù)，分別是：一個(gè)多項(xiàng)式核函數(shù)=(xTz+b)2，其中b=1，5 個(gè)核帶寬分別為σ={10-2，10-1，…，102}的高斯核函數(shù)=。其中的參數(shù)選用對(duì)應(yīng)參考文獻(xiàn)中推薦的參數(shù)，采用網(wǎng)格尋優(yōu)法在推薦值附近進(jìn)行尋優(yōu)，正則化參數(shù)C的尋優(yōu)范圍為{2-5，2-4，…，25}，另外easyMKL 的參數(shù)λ的尋優(yōu)范圍為{0.1，0.2，…，1}，GMKL 和NLMKL 均取默認(rèn)的L1 范數(shù)。所有多核學(xué)習(xí)對(duì)比算法的收斂閾值都設(shè)為0.01，最大迭代次數(shù)設(shè)置為50。Australian 和Car 數(shù)據(jù)集都是二分類(lèi)問(wèn)題，直接進(jìn)行分類(lèi)不用做特殊處理，而對(duì)于Ecoli 數(shù)據(jù)集的多分類(lèi)問(wèn)題，采用廣泛使用的“一對(duì)一”（One vs One，OvO）策略將多分類(lèi)任務(wù)分解為多個(gè)二分類(lèi)任務(wù)進(jìn)行實(shí)驗(yàn)。

3.3 實(shí)驗(yàn)結(jié)果及分析

在本節(jié)中，對(duì)比了BLS 模型、FRMFNN 模型和MKFRMFNN 模型在多個(gè)UCI 數(shù)據(jù)集上的分類(lèi)精度，實(shí)驗(yàn)結(jié)果在表4 中顯示。

表4 BLS，F(xiàn)RMFNN和MK-FRMFNN模型在用于分類(lèi)的數(shù)據(jù)集上的準(zhǔn)確率比較 單位：%Table 4 Accuracy comparison of BLS，F(xiàn)RMFNN and MK-FRMFNN models on datasets for classification unit：%

然后選取了Ecoli、Australian、Car 三個(gè)數(shù)據(jù)集與上文中所述的多個(gè)主流多核算法進(jìn)行了精度和時(shí)間上的對(duì)比，實(shí)驗(yàn)結(jié)果及參數(shù)設(shè)置在表5 中列出。

表5 三個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)參數(shù)及結(jié)果Tab.5 Experimental parameters and results on three datasets

結(jié)合表3、4 的實(shí)驗(yàn)數(shù)據(jù)可以看出，對(duì)于各個(gè)數(shù)據(jù)集，MK-FRMFNN 算法隱藏層節(jié)點(diǎn)規(guī)模皆遠(yuǎn)遠(yuǎn)小于BLS 和FRMFNN 單核模型的隱藏層節(jié)點(diǎn)規(guī)模，但是都能達(dá)到與單核模型相當(dāng)?shù)姆诸?lèi)性能，在A(yíng)ustralian、Car 等數(shù)據(jù)集上達(dá)到更高的性能?？梢钥闯?，當(dāng)MK-FRMFNN 模型的核矩陣維數(shù)Ne與單核FRMFNN 模型的分類(lèi)性能達(dá)到一致時(shí)，多模型隱藏層節(jié)點(diǎn)數(shù)規(guī)模只需要單核模型的1/3 左右，有效說(shuō)明了通過(guò)多核學(xué)習(xí)的方式可以有效降低FRFMNN 模型的隱藏節(jié)點(diǎn)規(guī)模，并且能夠保持良好的分類(lèi)性能，體現(xiàn)了MK-FRMFNN 模型的有效性。

由表5 中的實(shí)驗(yàn)數(shù)據(jù)可以看出，對(duì)于三個(gè)數(shù)據(jù)集，MK-FRMFNN 算法相比其他多核算法都有較為優(yōu)異的性能，可見(jiàn)所提算法能夠利用多種不同的隨機(jī)分布函數(shù)有效對(duì)數(shù)據(jù)集中的信息進(jìn)行挖掘，再結(jié)合多種核函數(shù)對(duì)特征進(jìn)行高維映射，能夠有效利用各種核函數(shù)的優(yōu)勢(shì)，獲得良好的分類(lèi)性能，體現(xiàn)了MK-FRMFNN 算法的優(yōu)勢(shì)。

4 結(jié)語(yǔ)

針對(duì)單特征空間的單核模型存在的核函數(shù)選擇在很多場(chǎng)景下無(wú)法滿(mǎn)足應(yīng)用需求的問(wèn)題，本文提出了一種基于隨機(jī)映射特征的多核組合學(xué)習(xí)方法。該方法通過(guò)原始輸入特征進(jìn)行隨機(jī)映射生成隨機(jī)映射特征，再通過(guò)多個(gè)基本核映射投影到核空間，利用在核映射過(guò)程中引入隨機(jī)權(quán)重的方式，對(duì)隨機(jī)映射特征做隨機(jī)核映射，這樣在集合多類(lèi)分布函數(shù)特征的同時(shí)，可以控制核空間的大小，得到更滿(mǎn)足需求的映射特征。最后，把各個(gè)基本核矩陣組成合成核矩陣，再通過(guò)輸出權(quán)重連接到輸出層。將所提方法應(yīng)用于常見(jiàn)的分類(lèi)數(shù)據(jù)集中做了大量實(shí)驗(yàn)，與BLS 算法、FRMFNN 單核模型算法進(jìn)行比較，并與多個(gè)主流多核算法進(jìn)行了對(duì)比實(shí)驗(yàn)，在訓(xùn)練精度上體現(xiàn)出了MK-FRMFNN 的有效性。由于算法中參數(shù)過(guò)多，選取最優(yōu)的核組合系數(shù)存在一定難度，下一步我們將對(duì)隨機(jī)映射神經(jīng)網(wǎng)絡(luò)多核模型的核組合方式進(jìn)行更加深入的研究，對(duì)其核組合方式提出更優(yōu)的解決方案。