改進(jìn)的語(yǔ)言模型和循環(huán)神經(jīng)網(wǎng)絡(luò)優(yōu)化新藥設(shè)計(jì)

陳 相

（武漢科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，武漢 430070）

0 引言

作為一個(gè)全球性的學(xué)術(shù)和商業(yè)過(guò)程，藥物發(fā)現(xiàn)是藥物設(shè)計(jì)過(guò)程的第一步。然而，大規(guī)模探索新的化學(xué)空間在支持藥物發(fā)現(xiàn)方面一直是一項(xiàng)艱巨的任務(wù)和挑戰(zhàn)。在過(guò)去的幾十年里，機(jī)器學(xué)習(xí)越來(lái)越多地被用于制造有意義的分子［1-2］。通過(guò)從零開(kāi)始生成分子，從頭開(kāi)始藥物設(shè)計(jì)可以更好地表達(dá)整個(gè)化學(xué)空間，包括深度強(qiáng)化學(xué)習(xí)（deep reinforcement learning，DRL）在內(nèi)的機(jī)器學(xué)習(xí)已成功用于從頭開(kāi)始藥物設(shè)計(jì)方法的開(kāi)發(fā)［3-4］，從而達(dá)到小化學(xué)空間搜索范圍的目的，使研究人員能夠?qū)Ｗ⒂诟信d趣的領(lǐng)域。

1 優(yōu)化模型的整體框架

1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）的結(jié)構(gòu)可以很好地利用序列與時(shí)序之間的關(guān)系以及數(shù)據(jù)中的語(yǔ)義信息，是處理序列特性數(shù)據(jù)的有效方法。因此，在分子信息學(xué)領(lǐng)域，RNN成功地解決了機(jī)器學(xué)習(xí)任務(wù)，被廣泛應(yīng)用于計(jì)算分子生成。在最近的一系列實(shí)驗(yàn)中［5-7］，基于簡(jiǎn)化分子輸入行輸入系統(tǒng)（simplified molecular input line entry systems,SMILES）的具有長(zhǎng)短期記憶（long short-term memory，LSTM）細(xì)胞的RNN在捕獲蛋白質(zhì)分子的結(jié)構(gòu)和功能以及產(chǎn)生預(yù)測(cè)類似性質(zhì)的分子方面取得了很好的結(jié)果。使用SMILES 將大量已知的活性化合物編碼為SMILES 字符串序列。LSTM 模型基于自然語(yǔ)言處理，使用SMILES 字符序列（“標(biāo)記”）作為輸入，根據(jù)給定的一系列先前字符和概率估計(jì)學(xué)習(xí)預(yù)測(cè)下一個(gè)SMILES 字符。實(shí)驗(yàn)表明，該方法在生成高質(zhì)量的新分子方面是非常有效的。

1.2 自然語(yǔ)言處理

在使用自然語(yǔ)言處理方法的過(guò)程中，主要工作是表征學(xué)習(xí)［8］，自然語(yǔ)言處理中最常用的符號(hào)化方法之一是詞向量［9］。最早的詞向量采用獨(dú)熱編碼，將詞轉(zhuǎn)化為一個(gè)很長(zhǎng)的稀疏向量。向量的維度等于詞匯表的大小，向量中只有一個(gè)維度為1，其他維度均為0。這種編碼方法簡(jiǎn)潔，但一個(gè)重要的缺陷是忽略了文本中單詞的順序，編碼中所有的單詞向量都是相互正交的，沒(méi)有體現(xiàn)單詞之間的相似關(guān)系。受分布式假設(shè)（即相似環(huán)境中的單詞通常具有相似的含義）的啟發(fā)，Word2Vec 模型［10］采用分布式表示有效地解決了獨(dú)熱編碼問(wèn)題，其思路是通過(guò)訓(xùn)練將原本由獨(dú)熱編碼的每個(gè)單詞映射成更短的單詞向量，這樣就可以輕松地分析單詞之間的關(guān)系，使NLP 問(wèn)題更容易解決。圖1 展示了本實(shí)驗(yàn)?zāi)Ｐ偷暮?jiǎn)單流程，Word2Vec 語(yǔ)言模型作為預(yù)訓(xùn)練模型，用于訓(xùn)練由SMILES 編碼的文本詞匯表的表示向量。并將它們整合到循環(huán)神經(jīng)網(wǎng)絡(luò)中，以訓(xùn)練和產(chǎn)生新的分子。

圖1 實(shí)驗(yàn)?zāi)Ｐ土鞒?/p>

知識(shí)蒸餾的過(guò)程是將一個(gè)大型、表現(xiàn)良好的模型（教師模型）的知識(shí)轉(zhuǎn)移給一個(gè)較小的模型（學(xué)生模型），可以看作是模型壓縮的一種形式，其中學(xué)生模型被訓(xùn)練成模仿教師模型的行為［11-13］。通過(guò)利用教師模型預(yù)測(cè)中編碼的豐富知識(shí)，學(xué)生模型可以從其優(yōu)越的性能中受益，同時(shí)保持緊湊的大小，允許學(xué)生模型更好地泛化。

在本研究中，為了提高蛋白質(zhì)表達(dá)能力，將SMILES 編碼的氨基酸序列劃分為單詞（k-gram），輸入到Word2Vec 模型中，得到單詞的分布式表示向量。實(shí)驗(yàn)結(jié)果表明，通過(guò)對(duì)Word2Vec 模型和LSTM 模型進(jìn)行優(yōu)化和調(diào)整，改進(jìn)后的模型能夠更好地從蛋白質(zhì)特征空間中學(xué)習(xí)特征，與傳統(tǒng)模型相比取得了優(yōu)異的性能，生成的有效分子百分比比傳統(tǒng)模型提高了15 個(gè)百分點(diǎn)，分子質(zhì)量相比于傳統(tǒng)模型大大提高，并且在微調(diào)訓(xùn)練模型時(shí)，我們通過(guò)知識(shí)蒸餾利用少量數(shù)據(jù)實(shí)現(xiàn)大模型到小模型的知識(shí)遷移，結(jié)果表明，小模型可以很好地學(xué)習(xí)到大模型的能力，達(dá)到較好的效果。

2 方法

2.1 數(shù)據(jù)預(yù)處理

我們從開(kāi)源的CHEMBL 數(shù)據(jù)集中組裝一個(gè)分子的訓(xùn)練數(shù)據(jù)集，并用SMILES 編碼表示分子，通過(guò)對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理去除重復(fù)的化學(xué)信息，并過(guò)濾我們采用的化學(xué)空間之外的分子，最終得到近500000 個(gè)分子的數(shù)據(jù)集。為便于RNN 模型訓(xùn)練，我們用‘G’（GO）和‘ ’（換行）作為每個(gè)SMILES 分子開(kāi)始和結(jié)束的標(biāo)記符，所有分子長(zhǎng)度在35～75 個(gè)字符之間，最終產(chǎn)生一個(gè)共53個(gè)獨(dú)特字符的詞匯表W。

2.2 預(yù)訓(xùn)練模型

Word2Vec 是一種廣泛應(yīng)用于自然語(yǔ)言處理的語(yǔ)言模型，一種以大型本文數(shù)據(jù)作為輸入，從大量文本中以無(wú)監(jiān)督方式學(xué)習(xí)語(yǔ)義知識(shí)的模型。對(duì)詞匯表中的任意一個(gè)單詞w，可以生成一個(gè)固定長(zhǎng)度的實(shí)值向量V(w)，所有的詞向量可看作空間中的一個(gè)點(diǎn)，它們之間的語(yǔ)義相似度可以通過(guò)點(diǎn)之間的“距離”來(lái)判斷。我們希望模型訓(xùn)練的結(jié)果能夠讓相似語(yǔ)義的單詞具有相似的表征向量，近年來(lái)，這種表示能夠在藥物設(shè)計(jì)等問(wèn)題上帶來(lái)很好的結(jié)果，例如藥物-靶標(biāo)相互作用預(yù)測(cè)特征表示SPVec［14］、從上下文感知中學(xué)習(xí)分子表示Mol2Context-vec［15］。訓(xùn)練Word2Vec 的常用方法有連續(xù)詞袋（Continuous Bag-of-Words，CBOW）模型和跳躍圖模型（Skip-Gram）［16］。圖2 使用谷歌的開(kāi)源嵌入投影儀工具將詞匯表W 的詞向量映射到三維空間，并輸出與字符距離最近的十個(gè)字符。

圖2 詞向量的空間分布

我們將經(jīng)過(guò)預(yù)處理的分子數(shù)據(jù)集作為無(wú)監(jiān)督訓(xùn)練語(yǔ)料，由于標(biāo)準(zhǔn)的SMILES 具有唯一性，每個(gè)SMILES 編碼能夠?qū)?yīng)唯一一個(gè)化學(xué)結(jié)構(gòu)，如圖3 所示。因此將每一條SMILES 字符串作為“句子”，將其劃分成一系列的單詞（k-grams）。結(jié)合RNN 模型訓(xùn)練數(shù)據(jù)的特征，經(jīng)過(guò)實(shí)驗(yàn)對(duì)比，最后可以得到當(dāng)k為1 時(shí)，可以最大程度地保證氨基酸分子的化學(xué)特征。

圖3 分子示例及其SMILES表示

我們使用負(fù)采樣優(yōu)化方法的Skip-Grams模型來(lái)訓(xùn)練Word2Vec 模型，它的算法在于給定中心詞的情況下，預(yù)測(cè)它的上下文單詞，相比于CBOW 模型單詞之間有更多的訓(xùn)練機(jī)會(huì)［17］。經(jīng)典的Skip-Gram 模型由輸入層、投影層、輸出層三部分組成。如圖4 所示，輸入層以(w,Postive(w),Negtive(w))作為一個(gè)樣本輸入，其中w是選定的中心詞，Postive（w）由中心詞w前后C個(gè)詞組成，C是模型上下文窗口大小。Negtive（w）是w的K個(gè)負(fù)例，它是以單詞出現(xiàn)的頻率為權(quán)重通過(guò)負(fù)采樣的方式隨機(jī)生成的，正例與負(fù)例統(tǒng)稱為背景詞。我們將Skip-Gram 模型的超參數(shù)設(shè)置為上下文窗口C=5，負(fù)采樣比例a= 10 (K=a*C)，嵌入矩陣維度D= 100，樣本每次以B= 128 大小的批次輸入網(wǎng)絡(luò)。將中心詞w的獨(dú)熱向量乘以權(quán)矩陣W1，得到中心詞w向量表達(dá)式U。

圖4 Skip-Gram 模型

同樣，將中心詞w選取的背景詞的獨(dú)熱向量乘以權(quán)矩陣W2，得到背景詞樣本V的向量表達(dá)式。

接下來(lái)，輸出Y表示從中心詞w預(yù)測(cè)每個(gè)背景詞的概率，其值范圍為（-1,1）。

在這個(gè)模型中，隱層不使用任何激活函數(shù)，但在輸出層我們改變傳統(tǒng)的sigmoid 函數(shù)，使用tanh 激活函數(shù)將輸出向量的所有值映射到（-1, 1），同時(shí)定義一個(gè)向量label 作為標(biāo)簽，其中正例為1，負(fù)例為-1。則有：

針對(duì)單個(gè)輸出，p(wj|w)表示模型輸出為wj的概率，模型的損失函數(shù)對(duì)于所有的正例和負(fù)例的輸出值，輸出正確的概率P為：

這里是yj對(duì)應(yīng)向量label 中的標(biāo)簽，最大化輸出單詞概率P，即最小化損失函數(shù)L：

可以使用隨機(jī)梯度下降技術(shù)來(lái)最小化損失函數(shù)。經(jīng)過(guò)100 次迭代訓(xùn)練后，我們將訓(xùn)練得到的詞嵌入矩陣放入LSTM 模型中作為輸入分子的初始化權(quán)重。

2.3 LSTM模型

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）可以對(duì)輸入的序列數(shù)據(jù)建模，給定時(shí)間步長(zhǎng)為t的序列X=x1x2x3…xt和對(duì)應(yīng)的輸出序列Y=y1y2y3…yt，模型訓(xùn)練過(guò)程由一個(gè)字符預(yù)測(cè)下一個(gè)字符，因此定義yi=xi+1。任一時(shí)間步長(zhǎng)的xi，RNN 通過(guò)一系列的門(mén)返回輸出概率，并將隱藏狀態(tài)hi傳遞給下一個(gè)單元。由此可見(jiàn)由前i個(gè)時(shí)間步長(zhǎng)的序列共同決定。

LSTM 是為了解決因序列較長(zhǎng)而導(dǎo)致訓(xùn)練過(guò)程中產(chǎn)生的梯度消失和梯度爆炸問(wèn)題而提出的一種特殊RNN 模型，引入門(mén)控的選擇性機(jī)制，如圖5 所示，每個(gè)LSTM 單元都有稱為遺忘門(mén)、輸入門(mén)、輸出門(mén)的神經(jīng)網(wǎng)絡(luò)層，能夠有選擇性地遺忘和保留訓(xùn)練中的信息。

圖5 LSTM的內(nèi)部機(jī)制和相關(guān)參數(shù)

如圖6 所示，本文模型由三個(gè)LSTM 層組成，每個(gè)層的隱藏狀態(tài)向量為512，并使用dropout 進(jìn)行正則化。LSTM 層前面是一層嵌入層，其權(quán)重是在Word2Vec 模型中訓(xùn)練得到的詞嵌入矩陣，后面是一層密集輸出層和一個(gè)Softmax激活函數(shù)的神經(jīng)元。模型以75 為時(shí)間步長(zhǎng)，128批次輸入，序列經(jīng)過(guò)嵌入層獲取詞向量后進(jìn)入LSTM 單元。前向傳播過(guò)程中，我們將一個(gè)序列最后時(shí)間步長(zhǎng)的單元格狀態(tài)和隱藏狀態(tài)直接作為下一序列的初始化單元格和隱藏狀態(tài)，每128 批次的序列只初始化一次LSTM的隱藏狀態(tài)，后面的序列可以使用前面序列訓(xùn)練過(guò)程中保存下來(lái)的信息。應(yīng)用密集層以產(chǎn)生輸出logits，然后通過(guò)Softmax 層將其轉(zhuǎn)換為概率。利用交叉熵?fù)p失函數(shù)和Adam優(yōu)化算法進(jìn)行性能優(yōu)化。

圖6 LSTM模型訓(xùn)練流程

2.4 分子評(píng)估與模型微調(diào)

藥物設(shè)計(jì)過(guò)程中我們需要對(duì)生成的分子特性［18］進(jìn)行評(píng)估，確定滿足我們特性需求的藥物分子，以便進(jìn)行下一步的研究。本實(shí)驗(yàn)在分子評(píng)估過(guò)程中借鑒Yasonik［5］進(jìn)行優(yōu)化后的三法則（RO3），即辛醇-水分配系數(shù)logP≤3、分子量≤480 g/mol、≤3 個(gè)氫鍵供體、≤3 個(gè)氫鍵受體、≤3 個(gè)可旋轉(zhuǎn)鍵，使用化學(xué)信息學(xué)庫(kù)RDKit實(shí)現(xiàn)分子評(píng)估，并使用Fonseca 和Fleming 的非支配排序算法來(lái)比較模型根據(jù)RO3 的標(biāo)準(zhǔn)生成的分子。對(duì)LSTM 網(wǎng)絡(luò)進(jìn)行訓(xùn)練生成有效的SMILES 字符串后，我們需要再選定一個(gè)較小的數(shù)據(jù)集進(jìn)一步訓(xùn)練模型來(lái)對(duì)模型進(jìn)行微調(diào)，使模型調(diào)整為能夠生成與有效分子集具有更高相似性的SMILES 字符串，這一過(guò)程實(shí)際上使用遷移學(xué)習(xí)方法，能夠用較少的數(shù)據(jù)集優(yōu)選分子特定屬性。實(shí)驗(yàn)中，我們將基于優(yōu)化后的RO3 的五個(gè)約束的非支配排序算法選擇在生成的有效分子中最好的一半作為新的數(shù)據(jù)集對(duì)模型進(jìn)行微調(diào)，選定的分子被輸入LSTM 模型，再次訓(xùn)練并生成新的有效分子。每一次微調(diào)后都會(huì)對(duì)新生成的有效分子進(jìn)行評(píng)估并再選取最好的一半做下一次微調(diào)。最后，我們用大模型作為教師模型，指導(dǎo)只有一層LSTM 的學(xué)生模型訓(xùn)練生成有小分子，可以看到在少量數(shù)據(jù)訓(xùn)練后，學(xué)生模型在生成獨(dú)特且新穎的有效分子方面有很好的效果。

3 實(shí)驗(yàn)結(jié)果分析

將50 萬(wàn)個(gè)分子的數(shù)據(jù)集輸入模型進(jìn)行訓(xùn)練，從訓(xùn)練后的LSTM 網(wǎng)絡(luò)中生成100 萬(wàn)個(gè)SMILES 字符，在迭代微調(diào)之前，模型共產(chǎn)生了21294個(gè)分子。我們將最終實(shí)驗(yàn)結(jié)果與Yasonik［5］中的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練生成的分子比較。結(jié)果表明，相比于傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)模式，使用優(yōu)化后的Word2Vec 模型與LSTM 模型結(jié)合可以有效提高藥物分子生成的能力。如圖7 所示。我們用RDKIT 評(píng)估分子的有效性和相關(guān)特征，能夠從三個(gè)方面證明其高效性：①有效分子百分比提高，從傳統(tǒng)模型中采樣的100 萬(wàn)個(gè)SMILES 字符，生成的19722 個(gè)分子中，77%是有效的，本實(shí)驗(yàn)改進(jìn)模型后，有效分子百分比提高至92%；②獨(dú)特且新穎的有效分子數(shù)提高，傳統(tǒng)模型產(chǎn)生的有效分子過(guò)濾無(wú)效和重復(fù)的分子后留下了9415 個(gè)獨(dú)特、新穎和有效的分子，本實(shí)驗(yàn)?zāi)Ｐ妥罱K獨(dú)特、新穎和有效的分子達(dá)到了12850 個(gè)；③訓(xùn)練效率提高，由于詞向量能將序列編碼為更緊湊的向量，降低內(nèi)存的占用，模型訓(xùn)練的時(shí)間大大減少，本實(shí)驗(yàn)?zāi)Ｐ陀?xùn)練的總時(shí)間不到傳統(tǒng)模型的三分之一。

圖7 實(shí)驗(yàn)?zāi)Ｐ拖啾扔趥鹘y(tǒng)模型的高效性

為了進(jìn)一步比較實(shí)驗(yàn)?zāi)Ｐ团c傳統(tǒng)模型之間的差異，我們對(duì)生成的藥物分子做更詳細(xì)的評(píng)估，為此，我們從50 萬(wàn)個(gè)分子的數(shù)據(jù)集中截取5萬(wàn)個(gè)分子，同時(shí)輸入實(shí)驗(yàn)的優(yōu)化模型和傳統(tǒng)模型中訓(xùn)練，并對(duì)模型進(jìn)行迭代微調(diào)，每次訓(xùn)練結(jié)束后都從模型中采樣100 萬(wàn)個(gè)SMILES 字符，對(duì)生成的分子進(jìn)行評(píng)估。

我們對(duì)模型進(jìn)行了迭代微調(diào)，從圖8 可以發(fā)現(xiàn)模型在第三次迭代時(shí)，改進(jìn)后的模型能夠以85%左右的穩(wěn)定效率生成分子，新穎獨(dú)特的有效分子數(shù)量從5600 個(gè)增加到11700 個(gè)，與傳統(tǒng)模型相比，效果明顯提高。

圖8 模型迭代結(jié)果

根據(jù)RO3 評(píng)價(jià)標(biāo)準(zhǔn)，從兩種模型生成的有效分子中選出最優(yōu)的5000 個(gè)分子，再次通過(guò)PCA進(jìn)行分子性質(zhì)可視化，如圖9和圖10所示。

圖9 改良模型的分子更多滿足RO3的評(píng)估標(biāo)準(zhǔn)

圖10 傳統(tǒng)模型和改良模型的屬性分布

隨后，我們從生成的有效分子中精選出8000 條獨(dú)特且新穎的有效分子，用改進(jìn)的模型作為教師模型，訓(xùn)練具有一層LSTM 的學(xué)生模型生成有效分子，學(xué)生模型可以接近三層LSTM 模型的能力，并在生成獨(dú)立且新穎的有效分子上超越了三層LSTM 模型，達(dá)到模型壓縮的效果。在實(shí)驗(yàn)中，我們將傳統(tǒng)模型中的sigmoid 函數(shù)替換為tanh 函數(shù)作為輸出層的激活函數(shù)，并對(duì)參數(shù)進(jìn)行了優(yōu)化，調(diào)整了損失函數(shù)和模型反向傳播。從圖11 的結(jié)果可以看出，這種改進(jìn)對(duì)模型的優(yōu)化起到了很大的作用。

圖11 sigmoid函數(shù)的傳統(tǒng)模型和tanh函數(shù)改進(jìn)模型對(duì)比

基于RO3 評(píng)估分子，我們也用PCA 可視化兩個(gè)模型生成的分子中最優(yōu)的5000 個(gè)分子的屬性，如圖12 和圖13，并分別可視化5 個(gè)屬性。可以看出使用tanh 函數(shù)的模型生成的分子有更高的質(zhì)量。

圖12 tanh激活函數(shù)模型的分子更多滿足RO3評(píng)估標(biāo)準(zhǔn)

圖13 sigmoid和tanh激活函數(shù)模型分子的屬性分布（續(xù)）

圖13 sigmoid和tanh激活函數(shù)模型分子的屬性分布

4 結(jié)語(yǔ)

本文將詞向量模型與循環(huán)神經(jīng)網(wǎng)絡(luò)相結(jié)合，將蛋白質(zhì)分子中隱含的特征緊密聯(lián)系在一起，Word2Vec 嵌入矩陣可視化很好地說(shuō)明了具有相似特性的SMILES 字符向量緊密地位于向量空間中。通過(guò)對(duì)Word2Vec 和LSTM 模型反復(fù)優(yōu)化，包括模型權(quán)重、超參數(shù)、輸入序列、損失函數(shù)等結(jié)構(gòu)進(jìn)行多次調(diào)整和比較，最終分析一組最佳的組合能夠使模型在藥物生成實(shí)驗(yàn)中達(dá)到最高效的水平。

最初，LSTM 模型使用獨(dú)熱編碼方法處理輸入序列，把SMILES 字符轉(zhuǎn)化成一個(gè)很長(zhǎng)的稀疏向量，與獨(dú)熱編碼方法相比，Word2Vec 模型通過(guò)訓(xùn)練語(yǔ)言模型將輸入序列編碼為更緊湊的數(shù)字向量，既有更佳的表達(dá)能力，又能減小內(nèi)存的使用。實(shí)驗(yàn)最終證明這一事實(shí)，將Word2Vec作為預(yù)訓(xùn)練模型為L(zhǎng)STM 模型的訓(xùn)練數(shù)據(jù)集做第一步訓(xùn)練，使得LSTM 模型在訓(xùn)練時(shí)間和生成分子有效性方面都有大幅度的優(yōu)化，并通過(guò)知識(shí)蒸餾可以對(duì)模型進(jìn)行壓縮，而不損失模型的效果。

總而言之，我們認(rèn)為類似Word2Vec 的自然語(yǔ)言處理方法和知識(shí)蒸餾技術(shù)在新藥物設(shè)計(jì)上有相當(dāng)廣泛的運(yùn)用空間，在降低與藥物開(kāi)發(fā)相關(guān)的成本和時(shí)間上存在巨大的潛力。如今自然語(yǔ)言處理方法正得到迅速的發(fā)展，更多優(yōu)于Word2Vec 的語(yǔ)言模型蘊(yùn)含極大的能力，將其運(yùn)用到從頭藥物設(shè)計(jì)的道路中，或許能使探索自動(dòng)化藥物發(fā)現(xiàn)的前景更加可觀。