基于特征相關(guān)性選擇的二硫鍵預(yù)測(cè)算法?

劉 坤

（南京理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 南京 210094）

基于特征相關(guān)性選擇的二硫鍵預(yù)測(cè)算法?

劉 坤

（南京理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 南京 210094）

二硫鍵是維持蛋白質(zhì)結(jié)構(gòu)與功能穩(wěn)定的重要生物特征，先前關(guān)于二硫鍵模式的預(yù)測(cè)通常為將相關(guān)特征進(jìn)行特征選擇并代入機(jī)器學(xué)習(xí)模型，其缺陷在于沒有考慮不同特征之間的關(guān)聯(lián)性，該文根據(jù)傳統(tǒng)的預(yù)測(cè)方法，在使用費(fèi)舍得分進(jìn)行特征選擇的基礎(chǔ)上，計(jì)算特征子空間中各特征的相關(guān)度，剔除線性相關(guān)度高的特征，利用支持向量回歸對(duì)處理后的數(shù)據(jù)進(jìn)行四重交叉驗(yàn)證，以取得更加理想的效果。

生物信息學(xué)；二硫鍵；支持向量回歸；相關(guān)系數(shù)；特征選擇

1 引言

蛋白質(zhì)（protein）作為生命現(xiàn)象的物質(zhì)基礎(chǔ)之一，是生命活動(dòng)過程中的重要的物質(zhì)承擔(dān)者，在生物體的生命過程中具有重要的作用。相比基因組學(xué)，蛋白質(zhì)組學(xué)對(duì)于生命現(xiàn)象解釋更加直接、更加準(zhǔn)確，近些年得到了快速發(fā)展，并得到了國內(nèi)外學(xué)者廣泛重視。隨著20世紀(jì)90年代“人類基因組計(jì)劃”（Human Genome Project，HGP）工作的展開，以及后續(xù)公布的人類基因組圖譜和基本完成測(cè)序工作，已知蛋白質(zhì)序列的數(shù)量呈爆炸性增長，標(biāo)志著人類已經(jīng)跨入到后基因組時(shí)代。

作為蛋白質(zhì)重要的結(jié)構(gòu)特征，二硫鍵是由兩個(gè)在相同或不同的蛋白質(zhì)鏈上的半胱氨酸上形成的共價(jià)交聯(lián)，與蛋白質(zhì)的折疊息息相關(guān)，可以維持蛋白質(zhì)結(jié)構(gòu)穩(wěn)定［1］。目前為止，對(duì)二硫鍵的預(yù)測(cè)總體分為三類［2］：1）對(duì)二硫鍵的成鍵狀態(tài)預(yù)測(cè)；2）基于先驗(yàn)知識(shí)對(duì)二硫鍵關(guān)聯(lián)模式的預(yù)測(cè)；3）對(duì)二硫鍵成鍵狀態(tài)與關(guān)聯(lián)模式共同預(yù)測(cè)。本文主要的研究方向?yàn)轭A(yù)測(cè)二硫鍵的關(guān)聯(lián)模式。

截至目前，二硫鍵預(yù)測(cè)工作已取得很大進(jìn)展，預(yù)測(cè)算法有DISULFIND，Pair-wise SVM，GASVM，SS_SVR與FS_SVR等［3］。近期，對(duì)二硫鍵的預(yù)測(cè)主要基于機(jī)器學(xué)習(xí)的方法，首先提取原始特征，包括PSSM，PSS，DOC，CM，PTBCR等，然后對(duì)特征篩選，從大量特征中提取顯著特征，并利用合適的分類器（主要有支持向量回歸［4］與隨機(jī)森林［5］）進(jìn)行預(yù)測(cè)與分類，得出重要的信息。

本文主要基于先驗(yàn)知識(shí)，對(duì)二硫鍵關(guān)聯(lián)模式進(jìn)行預(yù)測(cè)，預(yù)測(cè)同一條蛋白質(zhì)鏈上形成的二硫鍵，從蛋白質(zhì)序列出發(fā)，進(jìn)行特征選擇后，對(duì)保留的特征子空間進(jìn)行相關(guān)度計(jì)算，保留兩兩相關(guān)度低的特征，通過支持向量回歸進(jìn)行分類，進(jìn)行四重交叉驗(yàn)證，得到理想的實(shí)驗(yàn)數(shù)據(jù)。

2 實(shí)驗(yàn)概述

2.1 數(shù)據(jù)集

為進(jìn)行實(shí)驗(yàn)，需要交叉驗(yàn)證數(shù)據(jù)集，為驗(yàn)證新算法的有效性，需使用與先前實(shí)驗(yàn)相同的數(shù)據(jù)集，本文所使用的數(shù)據(jù)集為SP39［6］，該數(shù)據(jù)集來源于UniProtKB/Swiss-Prot，UniProtKB/Swiss-Prot是高質(zhì)量的、手工注釋的、非冗余的數(shù)據(jù)集，SP39包含446條蛋白質(zhì)序列，其中含有2，3，4，5個(gè)蛋白質(zhì)鏈內(nèi)二硫鍵數(shù)目的蛋白質(zhì)序列數(shù)目依次為156，146，99，45。所有的蛋白質(zhì)序列二硫鍵數(shù)目均不超過5個(gè)。

2.2 特征提取

2.2.1 位置特異得分矩陣（PSSM）

蛋白質(zhì)進(jìn)化信息是從蛋白質(zhì)序列中獲PSSM矩陣，廣泛應(yīng)用于其他領(lǐng)域，例如蛋白質(zhì)功能預(yù)測(cè)與跨膜結(jié)構(gòu)預(yù)測(cè)等，需要使用 PSI-BLAST［7］，滑動(dòng)窗口大小選取為13，需要將兩個(gè)可能成鍵的半胱氨酸組合為樣本的PSSM特征。因此，PSSM的特征維數(shù)為520。

2.2.2 二級(jí)結(jié)構(gòu)特征（PSS）

先前許多實(shí)驗(yàn)已經(jīng)證明，蛋白質(zhì)二級(jí)結(jié)構(gòu)不僅對(duì)預(yù)測(cè)二硫鍵有重要意義，還應(yīng)用于許多其他領(lǐng)域，例如綁定位點(diǎn)預(yù)測(cè)等。原始二級(jí)結(jié)構(gòu)分為三類：螺旋（H）、折疊（S）以及無規(guī)則卷曲（C）。為獲取二級(jí)結(jié)構(gòu)特征，可以將蛋白質(zhì)數(shù)據(jù)上傳到相關(guān)服務(wù)器計(jì)算，也可以使用PSIPRED［8］。所獲得的數(shù)據(jù)每個(gè)氨基酸殘基形成三種原始二級(jí)結(jié)構(gòu)的概率，其具有的特征維數(shù)為78。

2.2.3 半胱氨酸預(yù)測(cè)距離特征（PDBCR）

當(dāng)前技術(shù)條件下，無法精確預(yù)測(cè)蛋白質(zhì)三維結(jié)構(gòu)。通過Modeller［9］等3D結(jié)構(gòu)預(yù)測(cè)軟件，將蛋白質(zhì)序列與模板序列比對(duì)，利用同源建模算法預(yù)測(cè)出三維結(jié)構(gòu)，獲得每個(gè)氨基酸殘基的三維空間位置，進(jìn)而計(jì)算半胱氨酸之間的歐氏距離。通常情況下，兩個(gè)半胱氨酸歐式距離越小，其構(gòu)成二硫鍵的概率越高。

2.2.4 關(guān)聯(lián)突變特征（CM）

兩個(gè)半胱氨酸如果能夠形成二硫鍵，那么這兩個(gè)半胱氨酸之間能夠發(fā)生強(qiáng)烈反應(yīng)，它們之間相互依存，這種特性可以追溯到蛋白質(zhì)進(jìn)化信息?；谝陨戏治觯琑ubinstein與Fiser提出了通過關(guān)聯(lián)突變分析預(yù)測(cè)二硫鍵的形成，在他們提出的算法中，采用了相同標(biāo)準(zhǔn)，將所有的半胱氨酸對(duì)編碼為區(qū)間［0，1］的實(shí)數(shù)，詳細(xì)的算法參見相關(guān)文章［10］。

2.2.5 半胱氨酸序列距離特征（DOC）

半胱氨酸序列距離由Tsaietal首次提出，DOC通過以下公式對(duì)每個(gè)參與構(gòu)鍵的半胱氨酸編碼：

其中，i和 j分別為半胱氨酸在蛋白質(zhì)序列上的位置。

DOC特征需要標(biāo)準(zhǔn)化，其中的標(biāo)準(zhǔn)化方法有DOCL，DOCmax，Doclog，分別利用蛋白質(zhì)鏈長度，數(shù)據(jù)集最大蛋白質(zhì)鏈長度以及對(duì)數(shù)對(duì)特征進(jìn)行標(biāo)準(zhǔn)化，經(jīng)過測(cè)試，Doclog為最有效的方法，因此本文將采用Doclog進(jìn)行歸一化處理，具體算法如下

其中，i和 j分別為半胱氨酸在蛋白質(zhì)序列上的位置。

綜上所述，將采用的局部特征組合為特征向量后，所形成的維數(shù)為603，高維數(shù)據(jù)不僅帶來計(jì)算上的不便，也有許多冗余信息，需要進(jìn)行特征選擇。

2.3 費(fèi)舍得分

特征選擇已被廣泛應(yīng)用于生物信息學(xué)，其目的是從原始特征空間中選取有區(qū)分性的特征，進(jìn)而提高預(yù)測(cè)的準(zhǔn)確性。常用的特征選擇方法有方差得分，拉普拉斯得分，費(fèi)舍得分，通過實(shí)驗(yàn)證明，費(fèi)舍得分效果最好。

費(fèi)舍得分算法是監(jiān)督學(xué)習(xí)的算法，廣泛應(yīng)用于分類問題中。利用類標(biāo)，找到對(duì)分類有重要作用的特征。當(dāng)類內(nèi)距離相對(duì)較小而類間距離相對(duì)較大時(shí)，這種算法顯著性水平較高［2］，假設(shè)具有C類，費(fèi)舍得分計(jì)算如下

其中Ni為第i類樣本數(shù)目，為第i類樣本的m維特-征平均值，(σmi)2為第i類樣本的m維特征方差，為樣本所有數(shù)據(jù)m維特征的均值。

2.4 相關(guān)性選擇

線性相關(guān)指矢量空間中一個(gè)矢量可被其他矢量表示。當(dāng)線性相關(guān)在矢量中存在時(shí)，其中至少一個(gè)矢量可以被其他矢量所代表，該矢量所含有的信息屬于冗余信息，相關(guān)性選擇便是剔除這些冗余信息［11］。為了得到不同特征之間的相關(guān)性，需要計(jì)算兩兩特征的線性相關(guān)系數(shù)，形成相關(guān)系數(shù)矩陣，該矩陣對(duì)角線元素均為1（任何特征與自身相關(guān)系數(shù)均為1），對(duì)該矩陣所有元素取絕對(duì)值，基于以下結(jié)論，可以進(jìn)行相關(guān)性選擇：

1）相關(guān)系數(shù)絕對(duì)值越大，兩特征相關(guān)性越高；

2）某一特征相關(guān)系數(shù)較大值的數(shù)目越多，該特征所含信息越冗余；

計(jì)算線性相關(guān)系數(shù)，具體的計(jì)算過程如以下所示：

其中，Rm，n為兩個(gè)特征的相關(guān)系數(shù)絕對(duì)值，計(jì)算結(jié)果存儲(chǔ)到相關(guān)系數(shù)矩陣中。

通過相關(guān)性計(jì)算，可以獲得K×K（K為特征數(shù)目）的相關(guān)性矩陣，對(duì)于所獲得的矩陣，采用如下方式進(jìn)行處理：

1）指定需要?jiǎng)h除的特征數(shù)目N；

2）尋找兩兩之間相關(guān)性最高的兩個(gè)特征；

3）對(duì)于1）選擇的兩個(gè)特征，尋找這兩個(gè)特征相關(guān)系數(shù)的次高值，二者之間的最大值所代表的特征為最終選擇的特征。

4）刪除2）中選擇的特征，此時(shí)特征數(shù)目為K=K-1，判斷是否 K=N，是則停止，否則重復(fù)2）。

利用最終形成的數(shù)據(jù)進(jìn)行訓(xùn)練與測(cè)試。

2.5 分類器選擇

在機(jī)器學(xué)習(xí)領(lǐng)域，提出過許多經(jīng)典模型，例如貝葉斯回歸分析、隱馬爾科夫模型、支持向量回歸以及隨機(jī)森林等。其中本文采用了支持向量回歸。

支持向量機(jī)主要用于分類，是Cortes和Vapnik于1995年首先提出的，它在解決小樣本、非線性及高維模式識(shí)別中表現(xiàn)出許多特有的優(yōu)勢(shì)，并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問題中。支持向量機(jī)方法是建立在統(tǒng)計(jì)學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理基礎(chǔ)上的，根據(jù)有限的樣本信息在模型的復(fù)雜性（即對(duì)特定訓(xùn)練樣本的學(xué)習(xí)精度）和學(xué)習(xí)能力（即無錯(cuò)誤地識(shí)別任意樣本的能力）之間尋求最佳折衷，以期獲得最好的推廣能力。

支持向量回歸是一種基于支持向量機(jī)的回歸模型，它得到的不是具體的分類，而是具體的值。與SVM訓(xùn)練高維樣本相同，SVR需要選擇合適的核函數(shù)，本文選擇的是徑向基函數(shù)，采用LIBSVM進(jìn)行支持向量回歸，對(duì)交叉驗(yàn)證需要的最優(yōu)參數(shù)，需要使用LIBSVM的網(wǎng)格搜索算法獲得。

2.6 評(píng)價(jià)標(biāo)準(zhǔn)

為描述模型的預(yù)測(cè)效果，我們采用了與前人相同的兩個(gè)指標(biāo)：Qp和Qc其中，Qp為預(yù)測(cè)正確的二硫鍵占二硫鍵總數(shù)目的百分比，表示為

其中，Nc為預(yù)測(cè)正確的二硫鍵數(shù)目，Tc為樣本中的二硫鍵總數(shù)目。

另一個(gè)指標(biāo)Qp是完全正確預(yù)測(cè)所有二硫鍵的蛋白質(zhì)數(shù)目所占蛋白質(zhì)樣本總數(shù)目的百分比，只有該蛋白質(zhì)的所有二硫鍵均被正確預(yù)測(cè)時(shí)，該蛋白質(zhì)才被認(rèn)為正確預(yù)測(cè)，Qp的計(jì)算方法如下

其中，Np為正確預(yù)測(cè)的蛋白質(zhì)數(shù)目，Tp為樣本蛋白質(zhì)總數(shù)目。

2.7 工作流程

預(yù)測(cè)二硫鍵的工作流程如圖1所示，整個(gè)預(yù)測(cè)過程如下所示：

1）從蛋白質(zhì)序列中獲取含有PSSM，PSS，CM，DOC，PDBCR特征的特征向量；2）對(duì)特征向量通過費(fèi)舍得分進(jìn)行特征選擇；3）對(duì)特征選擇后的特征子空間進(jìn)行線性得分計(jì)算；

4）利用隨機(jī)森林回歸模型與支持向量回歸對(duì)處理后的數(shù)據(jù)進(jìn)行四重交叉驗(yàn)證；

5）預(yù)測(cè)關(guān)聯(lián)模式，其中令P為所有的關(guān)聯(lián)模式數(shù)目，第i種模式的得分計(jì)算方法如下

其中，B為半胱氨酸配對(duì)的數(shù)目，ppcpj為第 j對(duì)半胱氨酸對(duì)的構(gòu)鍵概率。

最終，對(duì)i個(gè)模式，選取最大的值，該值代表的模式即為所求的最終結(jié)果：

以圖1為例，對(duì)于二硫鍵數(shù)目為2的蛋白質(zhì)，共有6組不同的半胱氨酸對(duì)形成3種不同模式，由于C1與C2，C3與C4的概率和為所有模式最大值，因此預(yù)測(cè)的半胱氨酸模式為(C1_C2，C3_C4)。

圖1 實(shí)驗(yàn)流程圖

3 實(shí)驗(yàn)結(jié)果

3.1 對(duì)特征進(jìn)行相關(guān)性選擇可以有效提高預(yù)測(cè)精確度

該部分研究特征選擇與相關(guān)度選擇對(duì)預(yù)測(cè)結(jié)果的影響，對(duì)選用的SP39數(shù)據(jù)，對(duì)每重?cái)?shù)據(jù)計(jì)算特征費(fèi)舍得分然后取均值并排名，選取費(fèi)舍得分較高的特征作為特征子空間進(jìn)行相關(guān)性選擇，特征選擇數(shù)目從100取至500，特征選擇與相關(guān)性選擇每次實(shí)驗(yàn)區(qū)間均取為50，對(duì)每次處理后的數(shù)據(jù)均進(jìn)行4重交叉驗(yàn)證，然后對(duì)剩余特征再次進(jìn)行相關(guān)性選擇，重復(fù)進(jìn)行，直到剩余特征達(dá)到50，記錄每次實(shí)驗(yàn)數(shù)據(jù)。

表1和表2分別為通過采用4重交叉驗(yàn)證進(jìn)行預(yù)測(cè)時(shí)，通過特征選擇與線性選擇不同的維數(shù)后所Qc與Qp預(yù)測(cè)結(jié)果。

表1 Qc預(yù)測(cè)結(jié)果

在表1和表2中，第一列的特征數(shù)目為通過費(fèi)舍得分保留的特征數(shù)目，第一行的特征數(shù)目為通過相關(guān)性選擇刪除的特征數(shù)目，由于相關(guān)性選擇在特征選擇之后進(jìn)行，因此只有特征選擇的數(shù)目大于相關(guān)性選擇刪除特征的數(shù)目時(shí)才可以進(jìn)行實(shí)驗(yàn)。

表2 Qp預(yù)測(cè)結(jié)果

通過表1和表2可知，特征選擇與相關(guān)性選擇能夠提高預(yù)測(cè)的效果。在首先特征選擇維數(shù)為450，然后刪除相關(guān)度排名前200的特征，最終剩余250維特征時(shí)，兩項(xiàng)指標(biāo)均取得最大值，分別為0.831與0.794，在特征選擇過程中，并非選擇數(shù)目越高結(jié)果越優(yōu)，在特征數(shù)目超過450時(shí)，無論是Qp還是Qc值均下降，而相關(guān)度剔除的特征到達(dá)一定量時(shí)預(yù)測(cè)效果達(dá)到最佳，超過該數(shù)值，有效信息不足，預(yù)測(cè)結(jié)果同樣變差。

3.2 與其他結(jié)果比果

表3為本文算法與先前實(shí)驗(yàn)結(jié)果對(duì)比，通過與前人實(shí)驗(yàn)比較，本文結(jié)果在Qp上整體提高3.4%，在Qc上整體提高3.1%，在鏈內(nèi)二硫鍵數(shù)目為2，3，4的情況下，實(shí)驗(yàn)整體提高較為明顯，而二硫鍵數(shù)目為5的情況下效果反而變差，因此，本文的提出的通過提取蛋白質(zhì)特征，進(jìn)行費(fèi)舍得分選擇以及相關(guān)性選擇，最終利用SVR進(jìn)行交叉驗(yàn)證的算法，對(duì)預(yù)測(cè)二硫鍵模式是有效的。

表3 多種算法比較

4 結(jié)語

本文之所以能夠得到更加準(zhǔn)確的預(yù)測(cè)結(jié)果，主要得益于：

1）3D預(yù)測(cè)功能的改進(jìn)，能夠得到更準(zhǔn)確的半胱氨酸3D結(jié)構(gòu)特征；

2）Swiss-Prot（www.ebi.ac.uk/swissprot）不斷更新數(shù)據(jù)集，所獲取的蛋白質(zhì)進(jìn)化信息更加完善，PSI-BLAST搜索的結(jié)果更加精確；

3）將特征進(jìn)行相關(guān)性計(jì)算，使特征更具區(qū)性分性，模型訓(xùn)練速度更快，預(yù)測(cè)精度更高。

本文所提出的相關(guān)性選擇算法，不僅僅可應(yīng)用于生物信息學(xué)，可廣泛應(yīng)用于其他分類問題。

未來的工作包括以下幾個(gè)方向：

1）尋找新的特征提高預(yù)測(cè)的準(zhǔn)確性；

2）通過提出更優(yōu)的算法預(yù)測(cè)鏈內(nèi)二硫鍵數(shù)目更多（超過5個(gè)）的二硫鍵模式；

3）除鏈內(nèi)二硫鍵外，利用機(jī)器學(xué)習(xí)的方法，對(duì)鏈間二硫鍵進(jìn)行預(yù)測(cè)。

［1］Inaba K，Murakami S，Suzuki M，et al.Crystal structure of the DsbB-DsbA complex reveals a mechanism of disulfide bond generation［J］.Cell，2006，127（4）：789-801.

［2］Zhu L，Yang J，Song J N，et al.Improving the accuracy of predicting disulfide connectivity by feature selection［J］.Journal of computational chemistry，2010，31（7）：1478-1485.

［3］Tsai C-H，Chen B-J，Chan C-H，et al.Improving disulfide connectivity prediction with sequential distance between oxidized cysteines［J］.Bioinformatics，2005，21（24）：4416-4419.

［4］孫德山.支持向量機(jī)分類與回歸方法研究［J］.中南大學(xué)學(xué)報(bào)，2004，35（6）：13-15.SUN Deshan.Research on Support Vector Machine Classification and Regression Method［J］.Journal of Central South Oniversity，2004，35（6）：13-15.

［5］李欣海.隨機(jī)森林模型在分類與回歸分析中的應(yīng)用［J］.應(yīng)用昆蟲學(xué)報(bào)，2013，50（4）：1190-1197.LI Xinhai.Application of Random Forest Model in Classification and Regression Analysis［J］.Chinese Journal of Applied Entomology，2013，50（4）：1190-1197.

［6］Fariselli P，Casadio R.Prediction of disulfide connectivity in proteins［J］.Bioinformatics，2001，17（10）：957-964.［7］Sch?ffer A A，Aravind L，Madden T L，et al.Improving the accuracy of PSI-BLAST protein database searches with composition-based statistics and other refinements［J］.Nucleic acids research，2001，29（14）：2994-3005.

［8］Jones D T.Protein secondary structure prediction based on position-specific scoring matrices［J］.Journal of molecular biology，1999，292（2）：195-202.

［9］Webb B，Sali A.Comparative protein structure modeling using Modeller［J］.Current protocols in bioinformatics，2014，32（5）：1-6.

［10］Rubinstein R，F(xiàn)iser A.Predicting disulfide bond connectivity in proteins by correlated mutations analysis［J］.Bioinformatics，2008，24（4）：498-504.

［11］張遠(yuǎn)達(dá).線性代數(shù)原理［M］.上海：上海教育出版社，1980.216-235.ZHANG Yuanda.Linear Algebra Principles［M］.Shanghai：Shanghai Education Press，1980.216-235.

Predicting Disulfide Connectivity Based on Correlation Coefficients Selection

LIU Kun
（School of Computer Science and Engineering，Nanjing University of Science and Technology，Nanjing 210094）

Disulfide connectivity is one of significant protein structural characteristic.Previous prediction methods usually used support vector regression，which didn't consider the correlation between different features.According to traditional prediction methods，based on fisher score，this paper calculated correlation coefficient of each pair of features after feature selection，then deleted the features with high correlation coefficient.Based on the rest features，support vector regression was used to train model and test.4-fold validation was used on our benchmark dataset to gain a hopeful result comparing with previous results.

bioinformatics，disulfide bond，support vector regression，correlation coefficient，feature selection

TP311

10.3969/j.issn.1672-9722.2017.11.003

Class Number TP311

2017年5月8日，

2017年6月23日

國家自然科學(xué)基金項(xiàng)目（編號(hào)：61373062，61371040）資助。

劉坤，男，碩士，研究方向：模式識(shí)別。