優(yōu)化多核SVM的蛋白質(zhì)二級(jí)結(jié)構(gòu)預(yù)測(cè)

劉斌 溫雪巖

摘? 要： 蛋白質(zhì)序列的不同特征提取方式對(duì)蛋白質(zhì)結(jié)構(gòu)分類有很大的影響。為更好地表達(dá)蛋白質(zhì)結(jié)構(gòu)信息，基于特征融合思想構(gòu)建特征向量，并使用一種基于多核支持向量機(jī)的方法，以多個(gè)核函數(shù)的線性加權(quán)代替?zhèn)鹘y(tǒng)的單一核函數(shù)，在對(duì)多類特征進(jìn)行整合后構(gòu)造SimpleMKL分類模型;利用梯度下降法迭代求解核函數(shù)的權(quán)值系數(shù)，并校準(zhǔn)核函數(shù)參數(shù)和不同特征表達(dá)的融合效果。實(shí)驗(yàn)結(jié)果表明，該方法提高了蛋白質(zhì)二級(jí)結(jié)構(gòu)分類精度，在分類精度方面有明顯優(yōu)勢(shì)，有助于準(zhǔn)確預(yù)測(cè)蛋白質(zhì)的二級(jí)結(jié)構(gòu)。

關(guān)鍵詞： 蛋白質(zhì); 二級(jí)結(jié)構(gòu)預(yù)測(cè); 多核支持向量機(jī); 特征提取; 特征融合; 線性加權(quán)

中圖分類號(hào)： TN911?34? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A? ? ? ? ? ? ? ? ? ? ? 文章編號(hào)： 1004?373X（2020）08?0139?04

Protein secondary structure prediction based on optimized multi?kernel SVM

LIU Bin， WEN Xueyan

（College of Electronic Information and Artificial Intelligence， Shaanxi University of Science and Technology， Xian 710021， China）

Abstract： The different feature extraction methods of protein sequence have great influence on protein structure classification. For better expression of protein structure information， the feature vectors are constructed based on feature fusion idea， and the traditional single kernel function is replaced by the linear weighting of multiple kernel functions by means of the method based on multi?kernel SVM （support vector machine）; the SimpleMKL classification model is constructed after integrating the multi?class features， the weight coefficient of kernel function is solved iteratively by means of the gradient descent method， and the fusion effects of kernel function parameters and different feature expressions are calibrated. The experimental results show that the proposed method improves the classification accuracy of protein secondary structure， and has obvious advantages in classification accuracy， which is helpful to accurately predict the secondary structure of protein.

Keywords： protein; secondary structure prediction; multi?kernel support vector machine; feature extraction; feature fusion; linear weighting

通過(guò)模式識(shí)別和機(jī)器學(xué)習(xí)方法來(lái)獲得蛋白質(zhì)的結(jié)構(gòu)信息是生物信息學(xué)的基本任務(wù)。SVM已被廣泛用于蛋白質(zhì)二級(jí)結(jié)構(gòu)的預(yù)測(cè)[1]，為擴(kuò)展SVM分類器性能，有研究利用多層SVM方法增強(qiáng)了單個(gè)SVM方案的預(yù)測(cè)[1]。有研究基于改進(jìn)模糊支持向量機(jī)的預(yù)測(cè)蛋白質(zhì)二級(jí)結(jié)構(gòu)的新方法[2]，通過(guò)將位置特定信息和非位置特定信息與更好的核函數(shù)相結(jié)合，改進(jìn)了基于SVM的預(yù)測(cè)[3]。該研究中提出的SVM?PHGS規(guī)范SVM核函數(shù)的參數(shù)，動(dòng)態(tài)校準(zhǔn)了不同核函數(shù)的融合結(jié)果，提高了分類精度，通過(guò)多次調(diào)整權(quán)重來(lái)求解最優(yōu)核參數(shù)，其中核權(quán)重是線性加權(quán)的。但當(dāng)數(shù)據(jù)維度過(guò)高時(shí)，已有文獻(xiàn)研究成果的SVM求解速度會(huì)受到嚴(yán)重影響。

針對(duì)上述問(wèn)題，本文使用一種自適應(yīng)的L2范數(shù)正則化方法來(lái)考慮多核學(xué)習(xí)問(wèn)題，即SimpleMKL算法，該算法將核矩陣定義為多個(gè)內(nèi)核的線性組合，可以解決多特征分類問(wèn)題[4]。和其余多核學(xué)習(xí)算法比較不同之處在于，SimpleMKL以多個(gè)核函數(shù)的線性加權(quán)代替?zhèn)鹘y(tǒng)的單一核函數(shù)，通過(guò)加權(quán)L2范數(shù)正則化公式解決多核學(xué)習(xí)問(wèn)題，并對(duì)權(quán)重進(jìn)行額外約束，以鼓勵(lì)稀疏內(nèi)核組合，利用梯度下降法不停迭代求解核函數(shù)的權(quán)值系數(shù)，最終達(dá)到提高算法的收斂速度與分類精度的目的。有效地探索來(lái)自多個(gè)非線性特征空間的補(bǔ)充信息對(duì)多特征融合的蛋白質(zhì)序列分類具有較好的適用性。

本文通過(guò)對(duì)比多類別蛋白質(zhì)特征向量，嘗試不同參數(shù)的核函數(shù)的線性加權(quán)組合，并整合多類特征向量后構(gòu)造SimpleMKL分類模型。使用SimpleMKL分類模型實(shí)現(xiàn)蛋白質(zhì)結(jié)構(gòu)類型的分類判定，并通過(guò)實(shí)驗(yàn)證明該模型具有較好的分類精度。

1? 蛋白質(zhì)序列的特征提取

氨基酸是蛋白質(zhì)的基本組成單元，構(gòu)成蛋白質(zhì)的氨基酸主要有20種（A，C，D，E，F(xiàn)，G，H，I，K，L，M，N，P，Q，R，S，T，V，W和Y ）。蛋白質(zhì)二級(jí)結(jié)構(gòu)預(yù)測(cè)是指將一個(gè)由 20 種氨基酸組成的序列映射為相應(yīng)的結(jié)構(gòu)標(biāo)簽序列。氨基酸序列一般是以字符串的形式存儲(chǔ)在各大生物數(shù)據(jù)庫(kù)中，其表示形式為：[P=R1R2…Ri…RN，Ri∈{A1，A2，…，A20}]，[Ri]表示蛋白質(zhì)的第i個(gè)氨基酸殘基，蛋白質(zhì)序列對(duì)應(yīng)的目標(biāo)二級(jí)結(jié)構(gòu)可由[Y=y1y2…yi…yN，yi∈{H，E，C}]表示，其中[yi]是處于第i個(gè)位置的氨基酸殘基的二級(jí)結(jié)構(gòu)類型。

常用的特征表示方法包括位置特異性評(píng)分矩陣（Position?Specific Scoring Matrices，PSSM）、氨基酸組成特征（Amino Acid Composition，AAC）和理化性質(zhì)特征（Physicochemical Property，PP）。位置特異性評(píng)分矩陣蘊(yùn)含進(jìn)化信息，蛋白質(zhì)編碼特征考慮了蛋白質(zhì)序列的組成信息，使用氨基酸的理化特性來(lái)構(gòu)建特征表達(dá)模型，可以把蛋白質(zhì)序列中氨基酸的位置信息和不同距離氨基酸間的相互作用包含進(jìn)去，蛋白質(zhì)的結(jié)構(gòu)信息能夠更好地反映出來(lái)。PSSM特征在以往的研究中已用于蛋白質(zhì)結(jié)構(gòu)和性質(zhì)預(yù)測(cè)，并獲得了較好的預(yù)測(cè)效果[5?6]。特征向量構(gòu)造方法具體如下：

位置特異性評(píng)分矩陣（PSSM）：運(yùn)行PSI?BLAST 程序處理序列數(shù)據(jù)來(lái)生成PSSM，參數(shù)配置為0.001的E值閾值和3次迭代以搜索UniRef90。該矩陣包含重要的進(jìn)化信息，具有20×L個(gè)元素（20列和L行），其中L是目標(biāo)序列的長(zhǎng)度，序列中每個(gè)氨基酸對(duì)應(yīng)一個(gè)20維的向量。矩陣的第（i，j）位置上的數(shù)值表示蛋白質(zhì)序列的第i個(gè)位置上的氨基酸在進(jìn)化過(guò)程中突變?yōu)榘被醞的可能性得分。

氨基酸理化性質(zhì)特征常用于蛋白結(jié)構(gòu)和性能預(yù)測(cè)。氨基酸的8種理化特性包括溶解性、酸堿性質(zhì)、親水疏水性、側(cè)鏈質(zhì)量等。序列中每個(gè)氨基酸對(duì)應(yīng)一個(gè)8維的向量。構(gòu)成蛋白質(zhì)多肽鏈的基本氨基酸類型有20種，由于蛋白質(zhì)序列中可能存在一些未知的氨基酸，在此使用21個(gè)元素的獨(dú)熱編碼來(lái)指示序列中某一位置的氨基酸類型。文中，將來(lái)自不同源的特征連接成單個(gè)特征向量。訓(xùn)練數(shù)據(jù)被歸一化為具有零均值和單位方差的數(shù)據(jù)，1個(gè)氨基酸殘基由49維特征（20維PSSM、8維物理特性和21維蛋白質(zhì)編碼信息）表示，對(duì)應(yīng)的標(biāo)簽是三種結(jié)構(gòu)標(biāo)簽，如表1所示。

為了表示目標(biāo)氨基酸附近其他氨基酸的特征信息，選擇指定單位長(zhǎng)度的滑動(dòng)窗口來(lái)提取特征。文獻(xiàn)[7]分析了輸入特征滑動(dòng)窗口大小對(duì)預(yù)測(cè)精度的影響，基于蛋白質(zhì)一級(jí)序列，本文選用13個(gè)單位的滑動(dòng)窗口，以每個(gè)目標(biāo)氨基酸為中心，通過(guò)在序列上滑動(dòng)提取窗口范圍內(nèi)的所有氨基酸的以上3種特征。對(duì)蛋白質(zhì)序列兩端超出序列范圍的窗口位置，其特征向量用零向量代替，即一個(gè)氨基酸殘基由637維特征（13×（20PSSM+8PP+21AAC））表示?；诖朔N特征融合方法構(gòu)建的特征表達(dá)模型不僅可以包含蛋白質(zhì)序列的組成信息，還可以表現(xiàn)出氨基酸的位置信息和相互作用，極大地豐富了特征表達(dá)模型中包含的蛋白質(zhì)序列信息。

2? 多核SVM分類模型

支持向量機(jī)（SVM）可以通過(guò)內(nèi)核嵌入將輸入數(shù)據(jù)映射到非線性內(nèi)核空間來(lái)建模非線性數(shù)據(jù)分布，利用非線性映射使數(shù)據(jù)線性可分，因此核函數(shù)是關(guān)鍵。對(duì)于蛋白質(zhì)二級(jí)結(jié)構(gòu)預(yù)測(cè)問(wèn)題，有研究表明：不同的核函數(shù)可以顯著改變預(yù)測(cè)結(jié)果，單個(gè)內(nèi)核預(yù)測(cè)二級(jí)結(jié)構(gòu)準(zhǔn)確度較低[3]。設(shè)計(jì)一種融合多個(gè)內(nèi)核空間的方法可以提高PSSP的準(zhǔn)確性。然而，用于特定任務(wù)的內(nèi)核的最合適的類型和參數(shù)通常是未知的，并且通過(guò)窮舉搜索來(lái)選擇最佳內(nèi)核通常是耗時(shí)的，并且有時(shí)導(dǎo)致過(guò)度擬合。多核學(xué)習(xí)（MKL）通過(guò)加權(quán)線性組合學(xué)習(xí)最優(yōu)核，引入了預(yù)定義的候選內(nèi)核，并對(duì)它們的組合內(nèi)核進(jìn)行訓(xùn)練，來(lái)學(xué)習(xí)分類器最佳模型參數(shù)。

[xi]表示蛋白質(zhì)序列第i個(gè)位置的特征向量時(shí)，用 [（x1，…，xi，…，xL）]表示長(zhǎng)度為L(zhǎng)的蛋白質(zhì)序列，將輸入數(shù)據(jù)映射到非線性內(nèi)核空間后，訓(xùn)練模型以尋找最優(yōu)核組合。多核學(xué)習(xí)中的合成核可以表示為多個(gè)核函數(shù)的加權(quán)和，如下：

式中：[dm]≥ 0;[m=1Mdm=1];M為核的個(gè)數(shù)。決策函數(shù)可以表述為：

式中：[α*i]為要學(xué)習(xí)的系數(shù)拉格朗日乘子;[b*]為分離超平面的偏差項(xiàng);[Kmx，xi] 為第m個(gè)核矩陣;[d*m ] 為第m個(gè)核矩陣的權(quán)重。多核學(xué)習(xí)的原始目標(biāo)函數(shù)為：

式中：w 是分離超平面的法線;b是偏差項(xiàng);[ξi]是松弛變量的向量;C是誤分類懲罰系數(shù)。SimpleMKL算法選擇迭代方法確定權(quán)系數(shù)，求解采用梯度下降法。在式（4）的基礎(chǔ)上，SimpleMKL 中的約束優(yōu)化問(wèn)題為：

通過(guò)簡(jiǎn)單地推導(dǎo)式（5）中給出的關(guān)于[dm]的對(duì)偶函數(shù)，得：

d可通過(guò)梯度下降來(lái)更新，更新方案如下：

式中：[Dt]是梯度下降方向的向量;[rt]為步長(zhǎng)?？梢酝ㄟ^(guò)求解該優(yōu)化問(wèn)題來(lái)得到多核分類器模型參數(shù)最優(yōu)權(quán)重d，該方法用核權(quán)重的求解與選擇來(lái)解決核矩陣的表示問(wèn)題。

SimpleMKL二分類算法可以描述為：

1） 核權(quán)重[dlm]初始化：[dlm=1/M]，其中M為內(nèi)核個(gè)數(shù)。

2） 每一次迭代時(shí)利用組合內(nèi)核來(lái)計(jì)算目標(biāo)函數(shù)[Jd]。

3） 計(jì)算[Jd]對(duì)d的偏導(dǎo)、梯度、梯度方向[Dt]和最優(yōu)步長(zhǎng)[rt]。

4） 由式（7）更新d，再用新的d更新核矩陣、梯度、梯度方向[Dt]、最優(yōu)步長(zhǎng)[rt]。

5） 如果不滿足迭代終止條件，則返回到步驟2），并重復(fù)步驟2）～步驟4）;如果滿足迭代終止條件，則結(jié)束計(jì)算。

用SimpleMKL解決多分類問(wèn)題時(shí)，通過(guò)組合多個(gè)二分類器解決。目標(biāo)函數(shù)可由每個(gè)二分類器目標(biāo)函數(shù)求和得到，即：

式中：[Jkd]是第k個(gè)二分類器的目標(biāo)函數(shù)值;K表示多個(gè)二分類器的集合。考慮到蛋白質(zhì)序列分類模型的泛化推廣能力，本文選用“一對(duì)多”方式構(gòu)造多分類器。

在多核框架下，將樣本在特征空間中的表示問(wèn)題轉(zhuǎn)化為基本核與權(quán)系數(shù)的選擇問(wèn)題。多核學(xué)習(xí)的目標(biāo)是通過(guò)最優(yōu)化方法來(lái)求取合成核的參數(shù)，為了獲得最佳分類精度，多核學(xué)習(xí)通過(guò)求解單個(gè)聯(lián)合優(yōu)化問(wèn)題來(lái)學(xué)習(xí)核組合的權(quán)重和分類器的參數(shù)。

3? 實(shí)? 驗(yàn)

3.1? 實(shí)驗(yàn)數(shù)據(jù)

蛋白質(zhì)二級(jí)結(jié)構(gòu)預(yù)測(cè)為典型的多分類問(wèn)題，基于其序列特征來(lái)判定序列樣本的類別。在此使用公開(kāi)可用的基準(zhǔn)數(shù)據(jù)集RS126和CASP9來(lái)訓(xùn)練和測(cè)試模型，數(shù)據(jù)集中每個(gè)樣本都包含蛋白質(zhì)序列和結(jié)構(gòu)標(biāo)簽序列。RS126數(shù)據(jù)集具有126個(gè)蛋白質(zhì)序列，包含26 846個(gè)殘基，CASP9數(shù)據(jù)集包含總共24 395個(gè)氨基酸殘基。模型訓(xùn)練過(guò)程中，使用5折交叉驗(yàn)證法，將最好的訓(xùn)練結(jié)果進(jìn)行比較。一輪交叉驗(yàn)證過(guò)程完成后，樣本被隨機(jī)分為5個(gè)子集，輪流以其中4 個(gè)子集的集合作為訓(xùn)練集，最后一個(gè)子集作為測(cè)試集。

3.2? 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)所用主機(jī)操作系統(tǒng)為WIN7旗艦版64位，CPU型號(hào)為Intel? Xeon? Silver 4116 CPU，主頻為2.10 GHz，內(nèi)存為128 GB。

3.3? 參數(shù)設(shè)置

SVM候選內(nèi)核采用3種常見(jiàn)核函數(shù)，包括徑向基核、多項(xiàng)式核和Sigmoid核。綜合考慮計(jì)算機(jī)性能和數(shù)據(jù)規(guī)模，使用13個(gè)不同類型和不同參數(shù)的核函數(shù)構(gòu)成多核。其中包括線性核、2到3維的多項(xiàng)式核和σ屬于[0.5，1，2，5，7，10，12，15，17，20]的高斯核。在多核SVM一對(duì)多的分類方法中，對(duì)于正則化參數(shù)C，在區(qū)間[0.01，100]上通過(guò)普通網(wǎng)格搜索算法來(lái)優(yōu)化參數(shù)，得到的最佳參數(shù)值為C=0.67。然后使用這13個(gè)基核將輸入向量映射到一個(gè)新的特征空間。本文實(shí)驗(yàn)分別對(duì)比多類組合內(nèi)核的分類精度。通過(guò)K?means聚類來(lái)加速支持向量機(jī)訓(xùn)練，SimpleMKL算法的求解由SVM?KM程序來(lái)實(shí)現(xiàn)。

3.4? 評(píng)價(jià)指標(biāo)

本文使用蛋白質(zhì)結(jié)構(gòu)分類預(yù)測(cè)領(lǐng)域的度量來(lái)評(píng)估每個(gè)蛋白質(zhì)二級(jí)結(jié)構(gòu)分類器的性能，即整體準(zhǔn)確率和三態(tài)準(zhǔn)確率[1]。

3.5? 實(shí)驗(yàn)結(jié)果分析

多次迭代得到一個(gè)基于最佳核權(quán)重的組合核分類器，并選擇每類核函數(shù)中最高的核權(quán)重作為最終參數(shù)值。表2中權(quán)系數(shù)一欄列出三類核函數(shù)的最高核權(quán)重參數(shù)，參與訓(xùn)練的其他大多是核函數(shù)的權(quán)重為零，也體現(xiàn)出SimpleMKL算法鼓勵(lì)稀疏內(nèi)核組合。模型訓(xùn)練結(jié)束后，核矩陣參數(shù)顯示多個(gè)核矩陣加權(quán)組合的多核矩陣中只有少量核權(quán)重參與學(xué)習(xí)。為檢驗(yàn)提出的多核核函數(shù)方法在蛋白質(zhì)結(jié)構(gòu)分類中的效果，將不同核函數(shù)組合的多核分類結(jié)果進(jìn)行比較，結(jié)果如表3所示。

所有輸入向量進(jìn)行多核融合訓(xùn)練，不同核函數(shù)的組合內(nèi)核分類性能相差較大，訓(xùn)練不同的候選內(nèi)核改善了分類結(jié)果并補(bǔ)償誤差。由實(shí)驗(yàn)結(jié)果可看出，通過(guò)融合多個(gè)不同核矩陣可以明顯提升SVM分類器的性能。各類擴(kuò)展SVM算法分類性能比較如表4所示。

從表4中可以看出，基本核分類器用多核學(xué)習(xí)方法加以優(yōu)化可改進(jìn)其分類效果。針對(duì)蛋白質(zhì)二級(jí)結(jié)構(gòu)分類，多個(gè)基礎(chǔ)核適當(dāng)線性組合，每個(gè)核與特定輸入變量相關(guān)聯(lián)，生成的內(nèi)核是不同輸入內(nèi)核的加權(quán)組合，來(lái)自不同內(nèi)核的補(bǔ)充信息被集成以獲得更好的準(zhǔn)確性。

實(shí)驗(yàn)結(jié)果證明，相對(duì)單核預(yù)測(cè)，多核方法在與其他擴(kuò)展SVM算法相比，在分類精度方面有明顯優(yōu)勢(shì)，多特征組合的分類效果比單一特征的分類效果更好。正確融合互補(bǔ)的特征信息并使用多核學(xué)習(xí)方法能明顯提升SVM的性能。

4? 結(jié)? 語(yǔ)

本文提出了基于多核學(xué)習(xí)和特征融合的蛋白質(zhì)二級(jí)結(jié)構(gòu)分類方法，將多核學(xué)習(xí)方法SimpleMKL應(yīng)用于蛋白質(zhì)二級(jí)結(jié)構(gòu)，并擴(kuò)展了蛋白質(zhì)二級(jí)結(jié)構(gòu)預(yù)測(cè)的輸入特征，在PSSM特征提取的基礎(chǔ)上，通過(guò)氨基酸組成和理化特性編碼反映出氨基酸之間的長(zhǎng)程作用。通過(guò)訓(xùn)練多核分類器模型，證明了不同內(nèi)核的融合使得內(nèi)核分類效果彼此互補(bǔ)，從而提高結(jié)果的準(zhǔn)確性。本文的蛋白質(zhì)二級(jí)結(jié)構(gòu)分類方法與其他擴(kuò)展SVM算法具有相近的分類精度，也可用于分析蛋白質(zhì)序列特征信息與二級(jí)結(jié)構(gòu)類型之間的關(guān)聯(lián)作用。但多核模型訓(xùn)練過(guò)程中調(diào)整內(nèi)核參數(shù)所涉及的計(jì)算成本較大，值得進(jìn)一步研究蛋白質(zhì)序列復(fù)雜特征的簡(jiǎn)化。

參考文獻(xiàn)

[1] QIAN Jiang， XIN Jin， SHIN?JYE Lee， et al. Protein secondary structure prediction： A survey of the state of the art [J]. Journal of molecular graphics and modeling， 2017（76）： 379?402.

[2] XIE S X， LI Z， HU H L. Protein secondary structure prediction based on the fuzzy support vector machine with the hyperplane optimization [J]. Gene， 2018， 642： 74?83.

[3] ZANGOOEI M H， JALILI S. PSSP with dynamic weighted kernel fusion based on SVM?PHGS [J]. Knowledge?based systems， 2012， 27： 424?442.

[4] LI Z F， TONG X. Modeling and parameter optimization for vibrating screens based on AFSA?SimpleMKL [J]. Chinese journal of engineering design， 2016（2）： 12.

[5] 郭延哺，李維華，王兵益，等.基于卷積長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的蛋白質(zhì)二級(jí)結(jié)構(gòu)預(yù)測(cè)[J].模式識(shí)別與人工智能，2018，31（6）：562?568.

[6] 李強(qiáng)，鄭宇杰.基于多視角特征融合與隨機(jī)森林的蛋白質(zhì)結(jié)晶預(yù)測(cè)[J].現(xiàn)代電子技術(shù)，2015，38（8）：50?53.

[7] BOUZIANE H， MESSABIH B， CHOUARFIA A. Effect of simple ensemble methods on protein secondary structure prediction [J]. Soft computing， 2015， 19（6）： 1663?1678.

[8] KOUNTOURIS P， AGATHOCLEOUS M， PROMPONAS V J， et al. A comparative study on filtering protein secondary structure prediction [J]. IEEE/ACM transactions on computational biology & bioinformatics， 2012， 9（3）： 731?739.

[9] YUAN Mingshun， YANG Zijiang， HUANG Guangzao， et al. A novel feature selection method to predict protein structural class， computational [J]. Biology and chemistry， 2018（76）： 118?129.

[10] 李紅麗，許春香，馬耀鋒.基于多核學(xué)習(xí)SVM的圖像分類識(shí)別算法[J].現(xiàn)代電子技術(shù)，2018，41（6）：50?52.