基于BERT和CNN的基因剪接位點(diǎn)識(shí)別

左敏，王虹，顏文婧，張青川*

基于BERT和CNN的基因剪接位點(diǎn)識(shí)別

左敏1，2，王虹1，2，顏文婧1，2，張青川1，2*

（1.北京工商大學(xué) 農(nóng)產(chǎn)品質(zhì)量安全追溯技術(shù)及應(yīng)用國(guó)家工程研究中心，北京 100048； 2.北京工商大學(xué) 電商與物流學(xué)院，北京 100048）（ ? 通信作者電子郵箱zqc1982@126.com）

隨著高通量測(cè)序技術(shù)的發(fā)展，海量的基因組序列數(shù)據(jù)為了解基因組的結(jié)構(gòu)提供了數(shù)據(jù)基礎(chǔ)。剪接位點(diǎn)識(shí)別是基因組學(xué)研究的重要環(huán)節(jié)，在基因發(fā)現(xiàn)和確定基因結(jié)構(gòu)方面發(fā)揮著重要作用，且有利于理解基因性狀的表達(dá)。針對(duì)現(xiàn)有模型對(duì)脫氧核糖核酸（DNA）序列高維特征提取能力不足的問(wèn)題，構(gòu)建了由BERT（Bidirectional Encoder Representations from Transformer）和平行的卷積神經(jīng)網(wǎng)絡(luò)（CNN）組合而成的剪接位點(diǎn)預(yù)測(cè)模型——BERT-splice。首先，采用BERT預(yù)訓(xùn)練方法訓(xùn)練DNA語(yǔ)言模型，從而提取DNA序列的上下文動(dòng)態(tài)關(guān)聯(lián)特征，并且使用高維矩陣映射DNA序列特征；其次，采用人類參考基因組序列hg19數(shù)據(jù)，使用DNA語(yǔ)言模型將該數(shù)據(jù)映射為高維矩陣后作為平行CNN分類器的輸入進(jìn)行再訓(xùn)練；最后，在上述基礎(chǔ)上構(gòu)建了剪接位點(diǎn)預(yù)測(cè)模型。實(shí)驗(yàn)結(jié)果表明，BERT-splice模型在DNA剪接位點(diǎn)供體集上的預(yù)測(cè)準(zhǔn)確率為96.55%，在受體集上的準(zhǔn)確率為95.80%，相較于BERT與循環(huán)卷積神經(jīng)網(wǎng)絡(luò)（RCNN）構(gòu)建的預(yù)測(cè)模型BERT-RCNN分別提高了1.55%和1.72%；同時(shí)，在5條完整的人類基因序列上測(cè)試得到的所提模型的供體/受體剪接位點(diǎn)平均假陽(yáng)性率（FPR）為4.74%。以上驗(yàn)證了BERT-splice模型用于基因剪接位點(diǎn)預(yù)測(cè)的有效性。

剪接位點(diǎn)識(shí)別；BERT；卷積神經(jīng)網(wǎng)絡(luò)；深度學(xué)習(xí)；脫氧核糖核酸

0 引言

近年，高通量測(cè)序技術(shù)產(chǎn)生了海量的基因組序列，在增加生物序列數(shù)量的同時(shí)，擴(kuò)大了對(duì)自動(dòng)化序列分析計(jì)算技術(shù)的需求，給基因結(jié)構(gòu)注釋領(lǐng)域的研究帶來(lái)了機(jī)遇和挑戰(zhàn)［1］。剪接位點(diǎn)識(shí)別是基因結(jié)構(gòu)注釋研究領(lǐng)域的重要方向。在真核生物中，一個(gè)基因由多個(gè)外顯子和內(nèi)含子組成，外顯子與內(nèi)含子的邊界稱為剪接位點(diǎn)，基因剪接是基因表達(dá)中的重要過(guò)程，可以影響蛋白質(zhì)翻譯的結(jié)果和人體生命活動(dòng)。因此，正確識(shí)別剪接位點(diǎn)可以更好地了解基因表達(dá)過(guò)程，在生物醫(yī)學(xué)研究中發(fā)揮重要作用。

一個(gè)脫氧核糖核酸（DeoxyriboNucleic Acid， DNA）分子可以看作是由A、C、G和T這4個(gè)字組成的序列，分別代表腺嘌呤、胞嘧啶、鳥嘌呤和胸腺嘧啶這4種堿基。剪接位點(diǎn)的結(jié)構(gòu)規(guī)則遵從“GT-AG”規(guī)則，即外顯子到內(nèi)含子的邊界稱為供體剪接位點(diǎn)，通常表現(xiàn)為一個(gè)保守的二核苷酸——鳥嘌呤和胸腺嘧啶（Guanine and Thymine， GT）；內(nèi)含子到外顯子的邊界稱為受體剪接位點(diǎn)，通常表現(xiàn)為一個(gè)保守的二核苷酸——腺嘌呤和鳥嘌呤（Adenine and Guanine， AG），如圖1所示。

圖1　剪接位點(diǎn)示意圖

傳統(tǒng)的生物檢測(cè)方法檢測(cè)DNA剪接位點(diǎn)的成本高、耗時(shí)長(zhǎng)，而機(jī)器學(xué)習(xí)方法識(shí)別剪接位點(diǎn)是一種更經(jīng)濟(jì)、有效的解決方案。一條DNA序列包含大量GT/AG，因此供體/受體剪接位點(diǎn)的識(shí)別通常被轉(zhuǎn)化為兩個(gè)不同的二元分類問(wèn)題，即區(qū)分一條DNA序列是否包含真剪接位點(diǎn)。近年，在DNA結(jié)構(gòu)注釋研究領(lǐng)域廣泛使用的機(jī)器學(xué)習(xí)方法包括支持向量機(jī)（Support Vector Machine， SVM）［2-4］、馬爾可夫模型（Markov Model， MM）［5-6］、隨機(jī)森林（Random Forest， RF）［7-8］、貝葉斯網(wǎng)絡(luò)（Bayesian Network， BN）［9］和條件隨機(jī)場(chǎng)（Conditional Random Field， CRF）［10］等，均取得了良好效果。最近，相關(guān)領(lǐng)域引入了深度學(xué)習(xí)方法可以基于大量數(shù)據(jù)集的訓(xùn)練自動(dòng)提取最相關(guān)的特征，解決了機(jī)器學(xué)習(xí)方法需要手動(dòng)定義特征集、捕捉DNA序列高維特征難的缺點(diǎn)，呈現(xiàn)很強(qiáng)的端到端預(yù)測(cè)能力［11］。大多數(shù)深度學(xué)習(xí)方法基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN），如DSSP（Deep Splice Site Prediction system）［12］、SpliceRover［13］、SpliceFinder［14］、SpliceAI［15］、Spliceator［16］和Deep Splicer［17］，預(yù)測(cè)剪接位點(diǎn)；其他一些工具［18］專注于DNA的序列特征，采用基于循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network， RNN）模型，如長(zhǎng)短期記憶（Long Short-Term Memory， LSTM）和門控循環(huán)單位（Gated Recurrent Unit， GRU），捕捉狀態(tài)之間的依賴性。雖然這些工具在剪接位點(diǎn)預(yù)測(cè)取得良好的效果，但是CNN提取局部特征的能力受濾波器大小的限制，通常無(wú)法捕獲上下文中的語(yǔ)義依賴關(guān)系。RNN模型（如LSTM、GRU）雖然具有學(xué)習(xí)長(zhǎng)期依賴的能力，但當(dāng)輸入序列較長(zhǎng)時(shí)，由于對(duì)過(guò)去所有的狀態(tài)順序處理，且壓縮上下文信息，存在梯度消失和效率低的問(wèn)題。因此需要一種既能夠提取局部特征，又能夠全面考慮所有上下文信息的方法，從而更好地模擬DNA序列。

此外，深度學(xué)習(xí)方法依賴于相關(guān)研究問(wèn)題的高質(zhì)量數(shù)據(jù)集，在剪接位點(diǎn)的預(yù)測(cè)研究中，大多采用HS3D數(shù)據(jù)集［19］。該數(shù)據(jù)集的剪接位點(diǎn)位于中間，樣本長(zhǎng)度為140核苷酸（nucleotide， nt），后續(xù)研究［20-22］大都沿用了該數(shù)據(jù)集。近期，研究人員探究了剪接位點(diǎn)預(yù)測(cè)任務(wù)所使用數(shù)據(jù)集的最佳輸入長(zhǎng)度，如SpliceFinder測(cè)試了40～400 nt的序列長(zhǎng)度，發(fā)現(xiàn)在擴(kuò)大負(fù)樣本集前，長(zhǎng)度對(duì)準(zhǔn)確率的影響較小，擴(kuò)大負(fù)樣本集后，更長(zhǎng)的序列有助于模型保持良好的性能，研究任務(wù)最終選擇400 nt作為較優(yōu)輸入長(zhǎng)度。Spliceator測(cè)試了從20～600 nt長(zhǎng)度的數(shù)據(jù)集，發(fā)現(xiàn)序列長(zhǎng)度增加至200 nt后，預(yù)測(cè)精度較高。Deep Splicer將神經(jīng)網(wǎng)絡(luò)的輸入長(zhǎng)度分別設(shè)置為261、401、1 001和2 001，發(fā)現(xiàn)401 nt和1 001 nt作為輸入訓(xùn)練的模型比其他模型假陽(yáng)性更少，但考慮到精度和計(jì)算成本，最終認(rèn)為401 nt長(zhǎng)度可以在計(jì)算成本和準(zhǔn)確率中取得平衡。

基于上述討論，本文設(shè)計(jì)了由BERT（Bidirectional Encoder Representations from Transformer）和平行CNN組合而成的剪接位點(diǎn)預(yù)測(cè)模型——BERT-splice；同時(shí)，基于模型的學(xué)習(xí)機(jī)制觀測(cè)，為剪接位點(diǎn)預(yù)測(cè)任務(wù)的最優(yōu)輸入序列長(zhǎng)度提供指導(dǎo)。通過(guò)集合DNA序列特性與深度學(xué)習(xí)技術(shù)，解決了DNA序列特征的表示和提取問(wèn)題，實(shí)現(xiàn)了對(duì)供體/受體剪接位點(diǎn)的準(zhǔn)確預(yù)測(cè)。

1 BERT?splice模型

基于DNA序列、蛋白質(zhì)序列等生物序列與文本信息的相似之處，一些研究人員在DNA注釋研究領(lǐng)域引入自然語(yǔ)言處理技術(shù)，以文本的形式從生物數(shù)據(jù)中學(xué)習(xí)有用的特征，并取得了較好的效果［23-25］。BERT-splice模型是一種基于預(yù)訓(xùn)練DNA語(yǔ)言模型編碼的混合模型架構(gòu)。首先，使用BERT層通過(guò)查詢字向量表將DNA序列中的每個(gè)核苷酸轉(zhuǎn)換為一維向量，作為模型輸入；其次，提取BERT層中最后一層Transformer的輸出作為CNN層的輸入；最后，將剪接位點(diǎn)的檢測(cè)問(wèn)題轉(zhuǎn)換為二分類問(wèn)題。分類由全連接層（Fully Connected layer， FC）實(shí)施，該層將BERT字向量和多個(gè)平行CNN提取的特征映射為輸出。使用Sigmoid函數(shù)輸出預(yù)測(cè)概率，以確定是否是剪接位點(diǎn)。BERT-splice模型的框架見圖2。

圖2　BERT-splice模型框架

1.1　DNA預(yù)訓(xùn)練模型

本文使用BERT預(yù)訓(xùn)練提取DNA序列的高維“語(yǔ)義”特征，BERT通過(guò)自我監(jiān)督的方式使用未標(biāo)記數(shù)據(jù)學(xué)習(xí)DNA的基本“語(yǔ)法”和“語(yǔ)義”，并促進(jìn)下游任務(wù)的繼續(xù)訓(xùn)練。BERT由12個(gè)相同的Transformer編碼塊串接，每個(gè)Transformer編碼塊由一個(gè)多頭自注意機(jī)制和一個(gè)全連接的前饋神經(jīng)網(wǎng)絡(luò)構(gòu)成，如圖3所示。

注意力函數(shù)Attention可以描述為值向量的加權(quán)和，其中分配給每個(gè)值向量的權(quán)重通過(guò)查詢向量與相應(yīng)鍵向量的相似性函數(shù)計(jì)算，計(jì)算公式如式（1）所示：

其中M為K的維度。

多頭注意機(jī)制執(zhí)行不同的可學(xué)習(xí)線性投影，將、和集合平行地轉(zhuǎn)換為個(gè)子空間。獨(dú)立注意力輸出被連接并再次投射到集合的同一個(gè)維度，從而產(chǎn)生多頭注意值：

自注意力層的輸出在進(jìn)入前饋神經(jīng)網(wǎng)絡(luò)之前會(huì)經(jīng)過(guò)殘差連接與歸一化層，歸一化之后的文本向量送入前饋神經(jīng)網(wǎng)絡(luò)，它主要包含一個(gè)線性變換和一個(gè)采用ReLU（Rectified Linear Unit）激活函數(shù)的非線性變換兩層結(jié)構(gòu)，如式（4）所示：

其中：為前饋神經(jīng)網(wǎng)絡(luò)的輸入；1、2為權(quán)重向量；1、2為偏置。

1.2　剪接位點(diǎn)預(yù)測(cè)模型

本文構(gòu)建了一個(gè)基于預(yù)訓(xùn)練BERT模型所形成的DNA語(yǔ)義模型，結(jié)合多個(gè)平行CNN的分類器識(shí)別剪接位點(diǎn)，如圖4所示。

圖4　平行CNN結(jié)構(gòu)

由于DNA序列中有意義的片段（motif）沒有明確的長(zhǎng)度，因此采用多尺度的特征有助于模型學(xué)習(xí)。本文使用不同濾波尺度的平行CNN結(jié)構(gòu)，提取DNA序列中的特征，再拼接多尺度特征，實(shí)現(xiàn)基于多尺度特征的有效識(shí)別。首先序列輸入基于BERT預(yù)訓(xùn)練的DNA語(yǔ)言模型，獲得合理的初始值作為CNN的輸入，使得繼續(xù)訓(xùn)練的CNN分類器可以在樣本數(shù)有限的情況下快速收斂，同時(shí)微調(diào)BERT模型。BERT的結(jié)構(gòu)與DNA預(yù)訓(xùn)練模型相同（見1.1節(jié)），多個(gè)平行的CNN包括輸入層、卷積層、池化層、ReLU層和全連接層。本文設(shè)置了6個(gè)平行的多尺度卷積層，每層有256個(gè)濾波器，卷積層的維度分別設(shè)置為3、4、5、9、10和11。

1.3　損失函數(shù)

本文使用二值交叉熵（Binary Cross Entropy）計(jì)算預(yù)測(cè)結(jié)果x和真實(shí)結(jié)果y的損失。計(jì)算公式如下：

2 實(shí)驗(yàn)過(guò)程

2.1　實(shí)驗(yàn)數(shù)據(jù)集

本文實(shí)驗(yàn)使用了獨(dú)立構(gòu)建的數(shù)據(jù)集。參考基因組hg19數(shù)據(jù)集（FASTA文件）和相應(yīng)序列的注釋（BED文件）（從UCSC下載），最終構(gòu)造了用于訓(xùn)練DNA語(yǔ)言模型的數(shù)據(jù)集1和用于訓(xùn)練剪接位點(diǎn)預(yù)測(cè)模型的數(shù)據(jù)集2。

數(shù)據(jù)集1將hg19數(shù)據(jù)集隨機(jī)切分為512 nt的長(zhǎng)度，最終生成164萬(wàn)條序列用于預(yù)訓(xùn)練DNA語(yǔ)言模型。

數(shù)據(jù)集2由兩個(gè)子集組成，分別是供體數(shù)據(jù)集（Donor Splice Sites， DSS）、受體數(shù)據(jù)集（Acceptor Splice Sites， ASS）。由于剪接位點(diǎn)相鄰的核苷酸在剪接機(jī)制中發(fā)揮著重要作用，為了減少因序列長(zhǎng)度導(dǎo)致剪接位點(diǎn)附近外顯子/內(nèi)含子信息的缺失，在構(gòu)造數(shù)據(jù)集時(shí)將剪接位點(diǎn)周圍外顯子/內(nèi)含子相同長(zhǎng)度的基因片段包含在內(nèi)，即保證剪接位點(diǎn)上下游序列長(zhǎng)度相等。本文以剪接位點(diǎn)二核苷酸為中心截取特定長(zhǎng)度的基因片段，去除非標(biāo)準(zhǔn)剪接位點(diǎn)，刪除重疊樣本，作為正樣本數(shù)據(jù)集。正樣本序列的構(gòu)建將剪接位點(diǎn)位于序列中間位置，并保持內(nèi)含子與外顯子序列長(zhǎng)度均等。正樣本數(shù)據(jù)集最終包含供體剪接位點(diǎn)數(shù)為74 192，受體剪接位點(diǎn)數(shù)為80 704。負(fù)樣本選取基因區(qū)域與正樣本集非重疊部分，隨機(jī)截取與正樣本相同的長(zhǎng)度，保證二核苷酸GT/AG與供體/受體剪接位點(diǎn)位于相同的位置，負(fù)樣本數(shù)與正樣本數(shù)相等。最終將數(shù)據(jù)集按8∶1∶1劃分為訓(xùn)練集、驗(yàn)證集和獨(dú)立測(cè)試集，如表1所示。為了研究不同輸入長(zhǎng)度對(duì)模型的影響，本文通過(guò)改變截取外顯子/內(nèi)含子長(zhǎng)度25～200 nt作為輸入，即模型輸入長(zhǎng)度為50～400 nt，如圖5所示。

表1　數(shù)據(jù)集2的統(tǒng)計(jì)信息

圖5　選擇不同長(zhǎng)度的DNA序列

2.2　BERT預(yù)訓(xùn)練

本文將每一個(gè)核苷酸看作一個(gè)字，將數(shù)據(jù)集1按照單個(gè)堿基進(jìn)行分詞，作為預(yù)訓(xùn)練DNA語(yǔ)言模型的輸入。

本文采用掩碼語(yǔ)言模型（Masked Language Model， MLM）方法，該模型簡(jiǎn)單隨機(jī)地將一部分輸入替換為掩碼標(biāo)記，通過(guò)預(yù)測(cè)這些掩碼標(biāo)記實(shí)現(xiàn)訓(xùn)練策略（如圖6所示）。本文將語(yǔ)料庫(kù)中15%的區(qū)域隨機(jī)替換為掩碼令牌，其中這些掩碼令牌中，只有80%被真正替換為掩碼標(biāo)記，10%未被替換，為了防止預(yù)測(cè)中先驗(yàn)信息的泄漏將剩余10%替換為隨機(jī)信息。

圖6　采用MLM方法訓(xùn)練BERT

2.3　超參數(shù)設(shè)置

本文的實(shí)驗(yàn)環(huán)境如下：操作系統(tǒng)為Windows10、64 bit，處理器為Intel Core i7-1165G7 CPU，顯卡為NVIDIA GeForce RTX3060，顯存為12 GB。編程環(huán)境為Python3.9，PyTorch1.9.1。模型參數(shù)設(shè)置如表2所示。

表2　模型參數(shù)設(shè)置

在模型訓(xùn)練過(guò)程中還使用了“提前停止（Early Stopping）”技巧，即當(dāng)驗(yàn)證集上的損失不再下降時(shí)及時(shí)停止訓(xùn)練，以此避免過(guò)擬合、不收斂等，并提高模型訓(xùn)練效率。

2.4　評(píng)價(jià)指標(biāo)

本文利用準(zhǔn)確率（accuracy）、敏感性 （Sensitivity， Sn） 、特異性 （Specificity， Sp）、假陽(yáng)性率（False Positive Rate， FPR）、Matthew相關(guān)系數(shù)（Matthews Correlation Coefficient， MCC）、ROC（Receiver Operating Characteristic）曲線下面積（Area Under Curve， AUC）和Top-準(zhǔn)確率（Top-acc）評(píng)估模型性能。計(jì)算公式如下：

其中：真陽(yáng)性表示正確預(yù)測(cè)剪接位點(diǎn)的數(shù)量；真陰性表示正確預(yù)測(cè)非剪接位點(diǎn)的數(shù)量；假陽(yáng)性表示將非剪接位點(diǎn)預(yù)測(cè)為剪接位點(diǎn)的數(shù)量；假陰性表示將剪接位點(diǎn)預(yù)測(cè)為非剪接位點(diǎn)的數(shù)量。

MCC考慮、、和檢查二元分類的質(zhì)量，+1表示完美預(yù)測(cè)，0表示平均隨機(jī)預(yù)測(cè)，-1表示逆預(yù)測(cè)。

ROC曲線表示真陽(yáng)性率（True Positive Rate， TPR）與假陽(yáng)性率的關(guān)系。它描述了真陽(yáng)性和假陽(yáng)性之間的相對(duì)權(quán)衡，可以在整個(gè)類分布范圍內(nèi)比較分類器的性能。AUC計(jì)算ROC下的區(qū)域。如果AUC接近0.5，則性能接近隨機(jī)；如果AUC接近1，則性能接近完美。

因?yàn)镈NA序列中的大多數(shù)位置不是剪接位點(diǎn)，所以也評(píng)估了Top-準(zhǔn)確率：假設(shè)在基因組序列中，有個(gè)位置是供體或受體位點(diǎn)，在使用BERT-splice預(yù)測(cè)基因中每個(gè)二核苷酸GT/AG的類別后，降序排列它的預(yù)測(cè)概率，從預(yù)測(cè)概率的有序列表中選擇前個(gè)核苷酸位置，這個(gè)核苷酸中正確分類的核苷酸的比例被稱為Top-準(zhǔn)確率。本文計(jì)算了Top-50%準(zhǔn)確率，即計(jì)算二核苷酸列表中前50%二核苷酸內(nèi)正確分類的比例。

3 實(shí)驗(yàn)與結(jié)果分析

3.1　測(cè)試不同長(zhǎng)度的輸入

為了選擇最適合訓(xùn)練的區(qū)域，本文使用50～400 nt長(zhǎng)度的序列作為模型的輸入，如表3所示。在獨(dú)立測(cè)試集上，對(duì)于供體位點(diǎn)，所有長(zhǎng)度的平均準(zhǔn)確率為96.40%。當(dāng)長(zhǎng)度為300 nt時(shí)，準(zhǔn)確率最高為96.88%。對(duì)于受體剪接位點(diǎn)，相較于供體剪接位點(diǎn)平均準(zhǔn)確率有所下降，為95.24%。當(dāng)序列長(zhǎng)度為300 nt時(shí)，準(zhǔn)確率為95.80%。由此得出，更長(zhǎng)的序列有助于模型保持良好的性能。因此在接下的實(shí)驗(yàn)中，本文使用300 nt的序列長(zhǎng)度預(yù)測(cè)供體和受體位點(diǎn)。

表3　不同輸入長(zhǎng)度的序列在獨(dú)立測(cè)試集上的準(zhǔn)確率和AUC

3.2　不同特征提取模型的性能比較

本文使用BERT模型、Word2Vec［26］和fastText［27］生成序列特征嵌入信息。為了對(duì)性能進(jìn)行公平的比較，將預(yù)先訓(xùn)練好的特征嵌入模型與相同結(jié)構(gòu)的平行CNN進(jìn)行連接。特征嵌入模型的預(yù)訓(xùn)練均使用數(shù)據(jù)集1，剪接位點(diǎn)預(yù)測(cè)任務(wù)使用數(shù)據(jù)集2，在獨(dú)立測(cè)試集上性能評(píng)估的結(jié)果如表4所示。

如表4所示，基于BERT特征嵌入的預(yù)測(cè)器獲得了最好的性能，表明BERT生成的嵌入信息可以提供最有效的DNA理解，有利于促進(jìn)下游分類器獲得更好的效果。

表4　不同模型在獨(dú)立測(cè)試集上的性能比較

3.3　不同分類模型的性能比較

為了評(píng)估BERT-splice的預(yù)測(cè)性能，本文選取了不同的分類器替換平行CNN作為對(duì)比基線算法，包括BERT、BERT與雙向長(zhǎng)短期記憶（Bi-directional Long Short-Term Memory， BiLSTM）網(wǎng)絡(luò)結(jié)合的BERT-BiLSTM［28］、BERT與循環(huán)卷積神經(jīng)網(wǎng)絡(luò)（Recurrent Convolutional Neural Network， RCNN）結(jié)合的BERT-RCNN［29］。

不同模型在數(shù)據(jù)集2獨(dú)立測(cè)試集上的預(yù)測(cè)結(jié)果如表5所示。可以看出，本文提出的BERT-splice無(wú)論在供體剪接位點(diǎn)還是受體剪接位點(diǎn)上的測(cè)試結(jié)果均為最優(yōu)，在DNA剪接位點(diǎn)供體集上的預(yù)測(cè)準(zhǔn)確率為96.55%，在受體集上的準(zhǔn)確率為95.80%，相較于BERT-RCNN分別提高了1.55%和1.72%。BERT-splice模型的分類效果優(yōu)于對(duì)比模型。結(jié)果充分說(shuō)明，BERT-splice能夠?qū)NA序列特征進(jìn)行更高效的利用，能夠提升預(yù)測(cè)效果。

3.4　人類基因序列測(cè)試

本節(jié)通過(guò)預(yù)測(cè)人類基因序列上的剪接位點(diǎn)進(jìn)一步驗(yàn)證模型的泛化性能，所采用的驗(yàn)證基因，沒有在模型訓(xùn)練和繼續(xù)訓(xùn)練過(guò)程中使用，所選擇基因序列上供體/受體剪接位點(diǎn)數(shù)不少于4個(gè)。由于基因序列含有大量的GT/AG二核苷酸位點(diǎn)，對(duì)于測(cè)試的每一條基因，正負(fù)樣本數(shù)高度不平衡（如表6所示）。通過(guò)以GT/AG為中心的滑動(dòng)窗口，選取300 nt長(zhǎng)度的序列作為模型輸入，預(yù)測(cè)每一個(gè)GT/AG位點(diǎn)，判斷滑動(dòng)窗口中心的二核苷酸是供體或是其他通用核苷酸/受體，或是其他通用核苷酸。一旦預(yù)測(cè)了每個(gè)序列，則利用預(yù)測(cè)概率將供體和受體的預(yù)測(cè)位點(diǎn)按降序排列。評(píng)估Top-50%準(zhǔn)確率、模型預(yù)測(cè)的假陽(yáng)性，實(shí)驗(yàn)結(jié)果如表6所示?？梢钥闯觯w和受體剪接位點(diǎn)平均Top-50%準(zhǔn)確率為95.37%，平均假陽(yáng)性率為4.74%?？傮w上，BERT-splice適用于預(yù)測(cè)基因序列剪接位點(diǎn)預(yù)測(cè)。

表5　本文模型與常用的分類模型在獨(dú)立測(cè)試集上的性能比較

表6　基于BERT-splice模型的人類基因預(yù)測(cè)結(jié)果

4 結(jié)語(yǔ)

剪接位點(diǎn)的識(shí)別在真核生物基因結(jié)構(gòu)預(yù)測(cè)中至關(guān)重要，本文提出了一種剪接位點(diǎn)預(yù)測(cè)模型BERT-splice。BERT-splice模型使用BERT的預(yù)訓(xùn)練對(duì)DNA序列進(jìn)行高維特征體系表示，實(shí)現(xiàn)對(duì)人類基因組序列上下文動(dòng)態(tài)關(guān)聯(lián)特征的有效嵌入；同時(shí)，集成多個(gè)平行CNN，進(jìn)一步提取局部相關(guān)特征，實(shí)現(xiàn)了對(duì)DNA剪接位點(diǎn)的準(zhǔn)確識(shí)別；最后，基于深度學(xué)習(xí)的決策機(jī)制，為剪接位點(diǎn)預(yù)測(cè)任務(wù)的最優(yōu)輸入長(zhǎng)度提供指導(dǎo)。實(shí)驗(yàn)結(jié)果表明，基于預(yù)訓(xùn)練語(yǔ)言模型的BERT-splice提取的向量表示在應(yīng)用上效果優(yōu)于Word2Vec和fastText的特征向量；同時(shí)，與其他分類模型（BERT-BiLSTM和BERT-RCNN）相比，多個(gè)平行的CNN在處理剪接位點(diǎn)識(shí)別的任務(wù)上性能最優(yōu)。本文基于多種序列的長(zhǎng)度測(cè)試，認(rèn)為長(zhǎng)度為300 nt的序列可以涵蓋所需決策信息，在準(zhǔn)確率和計(jì)算成本消耗上達(dá)到一定平衡。最后，本文預(yù)測(cè)了完整的基因序列，取得了良好的效果。在剪接位點(diǎn)預(yù)測(cè)模型成功構(gòu)建的基礎(chǔ)上，下一步工作將涉及將該模型應(yīng)用于其他物種和其他生物元件的識(shí)別。這是為了擴(kuò)大模型的適用范圍，提供準(zhǔn)確的預(yù)測(cè)和識(shí)別工具，為相關(guān)研究提供更全面的支持。

[1] WAINBERG M， MERICO D， DELONG A， et al. Deep learning in biomedicine［J］. Nature Biotechnology， 2018， 36（9）： 829-838.

[2] DEGROEVE S， SAEYS Y， DE BAETS B， et al. SpliceMachine： predicting splice sites from high-dimensional local context representations［J］. Bioinformatics， 2005， 21（8）：1332-1338.

[3] SONNENBURG S O R， SCHWEIKERT G， PHILIPS P， et al. Accurate splice site prediction using support vector machines［J］. BMC Bioinformatics， 2007， 8（S10）： No.S7.

[4] MAJI S， GARG D. Hybrid approach using SVM and MM2 in splice site junction identification［J］. Current Bioinformatics， 2014， 9（1）： 76-85.

[5] PASHAEI E， YILMAZ A， OZEN M， et al. A novel method for splice sites prediction using sequence component and hidden Markov model［C］// Proceedings of the 38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Piscataway： IEEE， 2016： 3076-3079.

[6] ZHANG Q， PENG Q， ZHANG Q， et al. Splice sites prediction of Human genome using length-variable Markov model and feature selection［J］. Expert Systems with Applications， 2010， 37（4）： 2771-2782.

[7] PASHAEI E， OZEN M， AYDIN N. Splice site identification in human genome using random forest［J］. Health and Technology， 2017， 7（1）： 141-152.

[8] MEHER P K， SAHU T K， RAO A R. Prediction of donor splice sites using random forest with a new sequence encoding approach［J］. BioData Mining， 2016， 9： No.4.

[9] CHEN T M， LU C C， LI W H. Prediction of splice sites with dependency graphs and their expanded bayesian networks［J］. Bioinformatics， 2005， 21（4）： 471-482.

[10] SUN S， DONG Z， ZHAO J. Conditional random fields for multiview sequential data modeling［J］. IEEE Transactions on Neural Networks and Learning Systems， 2022， 33（3）： 1242-1253.

[11] LeCUN Y， BENGIO Y， HINTON G. Deep learning［J］. Nature， 2015， 521（7553）： 436-444.

[12] NAITO T. Human splice-site prediction with deep neural networks［J］. Journal of Computational Biology， 2018， 25（8）： 954-961.

[13] ZUALLAERT J， GODIN F， KIM M， et al. SpliceRover： interpretable convolutional neural networks for improved splice site prediction［J］. Bioinformatics， 2018， 34（24）： 4180-4188.

[14] WANG R， WANG Z， WANG J， et al. SpliceFinder： ab initio prediction of splice sites using convolutional neural network［J］. BMC Bioinformatics， 2019， 20（S23）： No.652.

[15] JAGANATHAN K， PANAGIOTOPOULOU S K， McRAE J F， et al. Predicting splicing from primary sequence with deep learning［J］. Cell， 2019， 176（3）： 535-548.e24.

[16] SCALZITTI N， KRESS A， ORHAND R， et al. Spliceator： multi-species splice site prediction using convolutional neural networks［J］. BMC Bioinformatics， 2021， 22： No.561.

[17] FERNANDEZ-CASTILLO E， BARBOSA-SANTILLáN L I， FALCON-MORALES L， et al. Deep Splicer： a CNN model for splice site prediction in genetic sequences［J］. Genes， 2022， 13（5）： No.907.

[18] CANATALAY P J， UCAN O N. A bidirectional LSTM-RNN and GRU method to exon prediction using splice-site mapping［J］. Applied Sciences， 2022， 12（9）： No.4390.

[19] POLLASTRO P， RAMPONE S. HS3D， a dataset of Homo Sapiens Splice regions， and its extraction procedure from a major public database［J］. International Journal of Modern Physics C， 2002， 13（8）： 1105-1117.

[20] TAYARA H， TAHIR M， CHONG K T. iSS-CNN： identifying splicing sites using convolution neural network［J］. Chemometrics and Intelligent Laboratory Systems， 2019， 188： 63-69.

[21] DASARI C M， BHUKYA R. InterSSPP： investigating patterns through interpretable deep neural networks for accurate splice signal prediction［J］. Chemometrics and Intelligent Laboratory Systems， 2020， 206： No.104144.

[22] DU X， YAO Y， DIAO Y， et al. DeepSS： exploring splice site motif through convolutional neural network directly from DNA sequence［J］. IEEE Access， 2018， 6： 32958-32978.

[23] DO D T， LE T Q T， LE N Q K. Using deep neural networks and biological subwords to detect protein S-sulfenylation sites［J］. Briefings in Bioinformatics， 2021， 22（3）： No.bbaa128.

[24] HAMID M N， FRIEDBERG I. Identifying antimicrobial peptides using word embedding with deep recurrent neural networks［J］. Bioinformatics， 2019， 35（12）： 2009-2016.

[25] 張海豐，曾誠(chéng)，潘列，等. 結(jié)合BERT和特征投影網(wǎng)絡(luò)的新聞主題文本分類方法［J］. 計(jì)算機(jī)應(yīng)用， 2022， 42（4）： 1116-1124.（ZHANG H F， ZENG C， PAN L， et al. News topic text classification method based on BERT and feature projection network［J］. Journal of Computer Applications， 2022， 42（4）： 1116-1124.）

[26] ASGARI E， MOFRAD M R K. Continuous distributed representation of biological sequences for deep proteomics and genomics［J］. PLoS ONE， 2015， 10（11）： No.e0141287.

[27] JOULIN A， GRAVE E， BOJANOWSKI P， et al. Bag of tricks for efficient text classification［C］// Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics： Volume 2， Short Papers. Stroudsburg， PA： ACL， 2017： 427-431.

[28] GRAVES A， JAITLY N， MOHAMED A R. Hybrid speech recognition with deep bidirectional LSTM［C］// Proceedings of the 2013 IEEE Workshop on Automatic Speech Recognition and Understanding. Piscataway： IEEE， 2013： 273-278.

[29] LAI S， XU L， LIU K， et al. Recurrent convolutional neural networks for text classification［C］// Proceedings of the 29th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2015： 2267-2273.

Gene splice site identification based on BERT and CNN

ZUO Min1，2， WANG Hong1，2， YAN Wenjing1，2， ZHANG Qingchuan1，2*

（1?，，100048，；2?，，100048，）

With the development of high-throughput sequencing technology， massive genome sequence data provide a data basis to understand the structure of genome. As an essential part of genomics research， splice site identification plays a vital role in gene discovery and determination of gene structure， and is of great importance for understanding the expression of gene traits. To address the problem that existing models cannot extract high-dimensional features of DNA （DeoxyriboNucleic Acid） sequences sufficiently， a splice site prediction model consisted of BERT （Bidirectional Encoder Representations from Transformers） and parallel Convolutional Neural Network （CNN） was constructed， namely BERT-splice. Firstly， the DNA language model was trained by BERT pre-training method to extract the contextual dynamic association features of DNA sequences and map DNA sequence features with a high-dimensional matrix. Then， the DNA language model was used to map the human reference genome sequence hg19 data into a high-dimensional matrix， and the result was adopted as input of parallel CNN classifier for retraining. Finally， a splice site prediction model was constructed on the basis of the above. Experimental results show that the prediction accuracy of BERT-splice model is 96.55% on the donor set of DNA splice sites and 95.80% on the acceptor set， which improved by 1.55% and 1.72% respectively， compared to that of the BERT and Recurrent Convolutional Neural Network （RCNN） constructed prediction model BERT-RCNN. Meanwhile， the average False Positive Rate （FPR） of donor/acceptor splice sites tested on five complete human gene sequences is 4.74%. The above verifies that the effectiveness of BERT-splice model for gene splice site prediction.

splice site identification; Bidirectional Encoder Representations from Transformers (BERT); Convolutional Neural Network (CNN); deep learning; DeoxyriboNucleic Acid (DNA)

This work is partially supported by National Natural Science Foundation of China （61873027）.

ZUO Min，born in 1973， Ph. D.， professor. His research interests include food big data， deep learning.

WANG Hong， born in 1997， M. S. candidate. Her research interests include natural language processing.

YAN Wenjing， born in 1985， Ph. D.， lecturer. Her research interests include intelligent processing of biological information， deep learning， image recognition.

ZHANG Qingchuan， born in 1982， Ph. D.， associate professor. His research interests include natural language processing， deep learning， information extraction.

1001-9081（2023）10-3309-06

10.11772/j.issn.1001-9081.2022091447

2022?09?29；

2022?12?22；

國(guó)家自然科學(xué)基金項(xiàng)目資助項(xiàng)目（61873027）。

左敏（1973—），男，安徽銅陵人，教授，博士，主要研究方向：食品大數(shù)據(jù)、深度學(xué)習(xí)； 王虹（1997—），女，山西大同人，碩士研究生，主要研究方向：自然語(yǔ)言處理； 顏文婧（1985—），女，安徽淮南人，講師，博士，主要研究方向：生物信息智能處理、深度學(xué)習(xí)、圖像識(shí)別； 張青川（1982—），男，河北石家莊人，副教授，博士，主要研究方向：自然語(yǔ)言處理、深度學(xué)習(xí)、信息抽取。

TP399

A

2023?01?03。