AI輔助微觀藝術(shù)呈現(xiàn)及序列音樂(lè)創(chuàng)作

孫 洋 張 輝

一、基于AI深度學(xué)習(xí)的蛋白質(zhì)視聽(tīng)同體化微觀藝術(shù)的呈現(xiàn)方法及序列音樂(lè)創(chuàng)作

（一）基于AI技術(shù)創(chuàng)設(shè)蛋白質(zhì)微觀藝術(shù)的創(chuàng)新方法

我們?cè)谇捌谖恼轮?，針?duì)蛋白質(zhì)結(jié)構(gòu)生物多樣性的基礎(chǔ)特征，建立了蛋白質(zhì)結(jié)構(gòu)與圖像的聯(lián)接關(guān)系，其中涉及設(shè)計(jì)深度學(xué)習(xí)模型、建立模型訓(xùn)練數(shù)據(jù)庫(kù)、驗(yàn)證數(shù)據(jù)庫(kù)、設(shè)計(jì)及研發(fā)相關(guān)算法和軟件系統(tǒng)。根據(jù)蛋白質(zhì)的序列特征，對(duì)數(shù)據(jù)進(jìn)行合理標(biāo)注，形成蛋白質(zhì)序列與微觀藝術(shù)的基本關(guān)系，實(shí)現(xiàn)蛋白質(zhì)與藝術(shù)創(chuàng)作、圖像融合的跨領(lǐng)域合并。以蛋白質(zhì)編碼為基本數(shù)據(jù)輸入，并增加模型訓(xùn)練過(guò)程控制參數(shù)，以控制整個(gè)模型的訓(xùn)練過(guò)程，減小無(wú)序搜索范圍并控制訓(xùn)練結(jié)果。利用目標(biāo)分布的增值差衡量蛋白質(zhì)編碼與圖像編碼的差異，逐步實(shí)現(xiàn)圖像編碼與蛋白質(zhì)編碼形式、意義的統(tǒng)一，并生成數(shù)據(jù)分類標(biāo)簽。其蛋白質(zhì)微觀藝術(shù)的創(chuàng)新點(diǎn)為：采用目前比較新的熱門技術(shù)生成式對(duì)抗網(wǎng)絡(luò)為基礎(chǔ)，開(kāi)發(fā)實(shí)現(xiàn)蛋白質(zhì)與音樂(lè)作品間跨界融合的模型和算法；依據(jù)多樣的氨基酸頻譜及多種分析方法，得到了氨基酸頻譜和特定圖像頻譜，研究了氨基酸振動(dòng)頻譜與圖像頻譜之間的映射關(guān)系并建立映射模型，設(shè)計(jì)可行的圖像變換濾波器；面向廣義應(yīng)用問(wèn)題，設(shè)計(jì)多模態(tài)可變自動(dòng)編碼機(jī)作為整個(gè)模型的輸入與輸出，實(shí)現(xiàn)處理異構(gòu)數(shù)據(jù)的多樣性的深度模型；通過(guò)生命科學(xué)到音樂(lè)、人工智能的跨界融合，可形成新的交叉學(xué)科，促進(jìn)對(duì)生命奧秘的探索并加深對(duì)音樂(lè)的理解和感知。

（二）基于AI技術(shù)繪制蛋白質(zhì)二維譜的基本方法

在生命科學(xué)領(lǐng)域，AI技術(shù)開(kāi)啟無(wú)法替代的數(shù)據(jù)分析地位，蛋白質(zhì)作為生命體的重要組成，具有序列的多樣性和功能結(jié)構(gòu)的復(fù)雜性。進(jìn)行蛋白質(zhì)表征的方式主要由蛋白質(zhì)的氨基酸序列以及空間構(gòu)象等，是否可通過(guò)其他形式進(jìn)行蛋白質(zhì)的表征并提升蛋白質(zhì)的可視化效果，正成為人們研究的熱點(diǎn)。本文提供一種基于AI技術(shù)繪制毒株蛋白質(zhì)二維譜的方法，將毒株蛋白質(zhì)以二維譜的形式進(jìn)行表征，在增加蛋白質(zhì)可視化效果的同時(shí)，還將不同的毒株蛋白質(zhì)與不同的音樂(lè)對(duì)應(yīng)，并從視覺(jué)和聽(tīng)覺(jué)兩個(gè)方面輔助蛋白質(zhì)的分析研究。其技術(shù)流程如圖1所示：

圖1 基于AI技術(shù)繪制蛋白質(zhì)二維譜流程圖

通常蛋白質(zhì)的基本組成元素是二十種氨基酸，音樂(lè)的基本組成單位是七個(gè)音階，二者雖然基本元素?cái)?shù)量不同，但仍可以通過(guò)映射方法進(jìn)行基本元素之間的匹配。蛋白質(zhì)在二十種氨基酸按照不同排列組合形成一級(jí)結(jié)構(gòu)的基礎(chǔ)上，還可以通過(guò)共價(jià)鍵、非共價(jià)鍵構(gòu)建多種空間構(gòu)象，形成形狀、功能多變的生物大分子。而音樂(lè)在不同音階排列組合的基礎(chǔ)上，可形成基本旋律曲調(diào)，再融入節(jié)奏、和聲、力度、調(diào)式、曲式、織體以及音色的綜合調(diào)節(jié)，即形成具有不同特色的風(fēng)格和旋律，給人以不同的感官體驗(yàn)。其中蛋白質(zhì)樣本的一級(jí)結(jié)構(gòu)、二級(jí)結(jié)構(gòu)、音樂(lè)風(fēng)格約束以及蛋白質(zhì)序列約束等均可作為輸入數(shù)據(jù)，見(jiàn)圖2。

圖2 基于生成式對(duì)抗網(wǎng)絡(luò)構(gòu)建的蛋白質(zhì)生成二維譜模型

本模型在生成式對(duì)抗模型基礎(chǔ)上，以蛋白質(zhì)生成二維譜及特定風(fēng)格音樂(lè)為研究對(duì)象，設(shè)計(jì)蛋白質(zhì)到音樂(lè)的生成模型，包括：二維譜生成器G1、音樂(lè)生成判別器D1、音樂(lè)風(fēng)格判別器D2、蛋白質(zhì)逆生成器F1以及蛋白質(zhì)判別器D3，輸入蛋白質(zhì)一級(jí)、二級(jí)結(jié)構(gòu)X1，音樂(lè)風(fēng)格約束C以及蛋白質(zhì)序列約束L，即可生成二維譜，輸出音樂(lè)作品，其流程如圖3所示。

圖3 生成二維譜及輸出音樂(lè)作品流程圖

而對(duì)于上述蛋白質(zhì)生成二維譜模型的訓(xùn)練過(guò)程如圖4所示：

圖4 蛋白質(zhì)生成二維譜模型的訓(xùn)練過(guò)程

以NC045512 nucleocapsid phosphoprotein 序列片段為例做二維呈現(xiàn)分析，整段音樂(lè)由五個(gè)聲部構(gòu)成，其中一個(gè)聲部為打擊樂(lè)音色，五個(gè)聲部以相同的節(jié)奏節(jié)拍、不同音色、不同的旋律進(jìn)行方向形成非重復(fù)的旋律進(jìn)行。在四個(gè)具有音高的旋律聲部中，呈現(xiàn)出兩種不同的結(jié)合關(guān)系：重復(fù)關(guān)系與鏡像倒影關(guān)系。其中紅色旋律聲部與藍(lán)色旋律聲部以八度的變化重復(fù)開(kāi)始，其后一直保持八度距離的重復(fù)，兩小節(jié)后藍(lán)色聲部向下方進(jìn)行，形成十五度音程關(guān)系的重復(fù)，并于第七小節(jié)恢復(fù)八度重復(fù)關(guān)系。另一對(duì)旋律為黃色聲部與黑色聲部，這兩個(gè)聲部呈現(xiàn)出非嚴(yán)格的鏡像關(guān)系，兩個(gè)旋律均以相似的橫向音程關(guān)系形成反向的倒影進(jìn)行。打擊樂(lè)聲部運(yùn)用了三種音色，伴隨相同的節(jié)奏節(jié)拍形成色彩性的結(jié)合。

圖5 NC045512 nucleocapsid phosphoprotein片段二維呈現(xiàn)

二、AI輔助下蛋白質(zhì)微觀藝術(shù)作品勾勒

微觀藝術(shù)作品呈現(xiàn)研究的重點(diǎn)在于建立蛋白質(zhì)空間構(gòu)象結(jié)構(gòu)圖的基礎(chǔ)上，將其模塊化處理并建立起整體鑒賞與模塊賞析之間的關(guān)系。通過(guò)前面建立的基于AI深度學(xué)習(xí)的蛋白質(zhì)印象藝術(shù)（基于GAN的圖像轉(zhuǎn)換和生成）的網(wǎng)絡(luò)結(jié)構(gòu)和基于AI深度學(xué)習(xí)的蛋白質(zhì)全景畫(huà)（基于GAN的圖像合成）的網(wǎng)絡(luò)結(jié)構(gòu)，進(jìn)行了蛋白質(zhì)繪畫(huà)的創(chuàng)設(shè)，藝術(shù)化地呈現(xiàn)了蛋白質(zhì)的復(fù)雜結(jié)構(gòu)。如下圖片即是采用這些高技術(shù)手段并加之創(chuàng)作者的藝術(shù)創(chuàng)作靈感而成的，它們被由色彩單調(diào)到色彩豐富、由孤立蛋白質(zhì)到復(fù)合并注入人文情感的蛋白質(zhì)群，形成了蛋白質(zhì)繪畫(huà)作品集，其多樣性呈現(xiàn)打開(kāi)了微觀藝術(shù)的一扇窗口。

圖6 中軸對(duì)稱式-小鼠肝穹核蛋白復(fù)合體_4v60_k(1)

圖7 不對(duì)稱式-人體免疫T細(xì)胞蛋白_3w3L_d

圖8 環(huán)對(duì)稱式-生物分子伴侶蛋白_1aon_f

微觀藝術(shù)的人文情感化處理：大腸桿菌伴侶蛋白通過(guò)消耗ATP來(lái)協(xié)助蛋白質(zhì)折疊。它們作為多亞基蛋白質(zhì)組件存在，包括背靠背堆疊的亞單元環(huán)（Chaperonins assist protein folding with the consumption of ATP.They exist as multi-subunit protein assemblies comprising rings of subunits stacked back to back.In Escherichia coli）。

圖9-1 中軸不對(duì)稱蛋白的不同著色處理

圖9-2 中軸不對(duì)稱蛋白的不同著色處理

圖9-3 中軸不對(duì)稱蛋白的不同著色處理

圖9-4 中軸不對(duì)稱蛋白的不同著色處理

生命本身的精彩遠(yuǎn)遠(yuǎn)超過(guò)人們的想象。在探索科學(xué)奧秘的同時(shí)，生命大分子蛋白質(zhì)正以另外一種方式展現(xiàn)其無(wú)限的魅力。生命科學(xué)與藝術(shù)的交叉融合可以成為大科學(xué)體系的一部分。在生物信息學(xué)研究中，蛋白質(zhì)繪畫(huà)是重要的技術(shù)手段。喬治·梅森大學(xué)(George Mason University)的研究人員發(fā)現(xiàn)了兩種蛋白質(zhì)的確切位置，這些蛋白質(zhì)負(fù)責(zé)將癌細(xì)胞隱藏在免疫系統(tǒng)之外。與現(xiàn)有的靜脈內(nèi)治療劑相比，該發(fā)現(xiàn)提供了開(kāi)發(fā)新的癌癥免疫治療藥物的新穎方法，該藥物可以丸劑形式給藥。這項(xiàng)發(fā)現(xiàn)是由美國(guó)國(guó)家癌癥研究所創(chuàng)新基金資助的內(nèi)部研發(fā)的蛋白質(zhì)繪畫(huà)技術(shù)得以實(shí)現(xiàn)的。這項(xiàng)令人印象深刻的技術(shù)（IMAT，分子分析技術(shù)程序）具有改變藥物發(fā)現(xiàn)過(guò)程的潛力。

三、AI輔助下蛋白質(zhì)視聽(tīng)同體化微觀藝術(shù)創(chuàng)作展示

不同藝術(shù)形式對(duì)生命大分子的表達(dá)也將帶來(lái)不同的感受，從視覺(jué)到聽(tīng)覺(jué)再到科學(xué)的理性分析，能夠更加全面、立體地體會(huì)生命的意義。利用結(jié)構(gòu)映射的神經(jīng)網(wǎng)絡(luò)提取模式建立新的藝術(shù)表達(dá)方法，既為生命科學(xué)掃平大眾心里的認(rèn)知障礙，也為藝術(shù)創(chuàng)作提供源源不斷的靈感和素材。這一過(guò)程可為藝術(shù)作品的創(chuàng)作、甄別、修繕帶來(lái)新的視角，為生命科學(xué)的大眾化傳播打開(kāi)新的途徑。

下面是在AI輔助下所創(chuàng)設(shè)的由蛋白質(zhì)繪畫(huà)和蛋白質(zhì)序列音樂(lè)所構(gòu)成的視聽(tīng)同體化微觀藝術(shù)作品，以展示科學(xué)研究的全新技術(shù)手段以及生命信息的藝術(shù)呈現(xiàn)。圖10-1是內(nèi)嵌式微型紅外感應(yīng)播放器照片，這種紐扣式的微型播放器可后置在圖10-2—圖10-5蛋白質(zhì)繪畫(huà)相框的某處，對(duì)靠近的人體紅外線反應(yīng)靈敏，具有集系統(tǒng)監(jiān)測(cè)與控制應(yīng)用于一體的功能。當(dāng)觀賞蛋白質(zhì)繪畫(huà)作品的人靠近某一作品時(shí)，即可聽(tīng)到微弱的、對(duì)應(yīng)該作品的蛋白質(zhì)音樂(lè)。

圖10-5

圖10-1 內(nèi)嵌式微型紅外感應(yīng)播放器

圖10-2

圖10-3

圖10-4

四、結(jié)語(yǔ)

復(fù)雜多變是現(xiàn)代社會(huì)的結(jié)構(gòu)和發(fā)展的表現(xiàn)特征，與問(wèn)題產(chǎn)生的多種根源密切關(guān)聯(lián)，問(wèn)題的經(jīng)驗(yàn)式解決辦法不斷失效，變革傳統(tǒng)思維范式和框架成為突破口。嘗試將藝術(shù)融入科學(xué)、技術(shù)、工程時(shí)，各種學(xué)科、專業(yè)、行業(yè)之間的壁壘將被打破，創(chuàng)新思想和創(chuàng)造能力得以開(kāi)發(fā)和拓展。在大環(huán)境影響和時(shí)代發(fā)展需求下，藝術(shù)和科學(xué)的結(jié)合已成為必然的趨勢(shì)。比如對(duì)蛋白質(zhì)序列、結(jié)構(gòu)與音樂(lè)在表現(xiàn)形式上的特點(diǎn)，基于AI技術(shù)實(shí)現(xiàn)了由蛋白質(zhì)結(jié)構(gòu)生成二維樂(lè)譜的方法，從而建立起蛋白質(zhì)序列與音樂(lè)的一一對(duì)應(yīng)關(guān)系，以輔助蛋白質(zhì)的分析研究。該方法將蛋白質(zhì)以二維譜的方式進(jìn)行表達(dá)后，在進(jìn)行蛋白質(zhì)的研究時(shí)，既可通過(guò)二維譜從視覺(jué)上直觀看到不同蛋白質(zhì)的區(qū)別之處，也可將二維譜演奏成音樂(lè)，從聽(tīng)覺(jué)上感知不同蛋白質(zhì)帶來(lái)的聽(tīng)覺(jué)感受，為蛋白質(zhì)的研究提供了全新的方式方法。