華裔科學(xué)家用AI 花式解碼腦信號

●張靜

在馬斯克的Neuralink（腦機(jī)接口技術(shù)公司）爆紅之前，腦機(jī)接口已經(jīng)被研究了四五十年，在用腦神經(jīng)設(shè)備讀取大腦信息方面，霍金曾嘗試走在技術(shù)發(fā)展的尖端。

為了幫助霍金這樣喪失語言和行動能力的人表達(dá)自己，科學(xué)家們曾嘗試?yán)酶鞣N殘存的運(yùn)動能力，從幾根手指到臉頰肌肉，從舌頭活動能力到口型表達(dá)。發(fā)展至今，研究人員想直接從大腦中提取信號，并將之轉(zhuǎn)述為文字或者操縱其他設(shè)備儀器。

Joseph G. Makin、David A. Moses 和華裔科學(xué)家Edward Chang 近日在《自然·神經(jīng)科學(xué)》雜志上發(fā)表了一項腦機(jī)接口最新研究，他們發(fā)現(xiàn)了一種能夠以較高準(zhǔn)確率解碼神經(jīng)活動，并將其翻譯為句子的機(jī)器翻譯算法。

Edward Chang 有自己的實(shí)驗(yàn)室Chang Lab，該實(shí)驗(yàn)室位于美國加州大學(xué)舊金山分校，是一個專注于研究語言及語言障礙者的活動機(jī)制的實(shí)驗(yàn)室。去年4 月，Edward Chang 等人還在《自然》雜志發(fā)表了開發(fā)出一種可以將腦活動轉(zhuǎn)化為語音的解碼器。這套人類語音合成系統(tǒng)，通過解碼與人類下頜、喉頭、嘴唇和舌頭動作相關(guān)的腦信號，并合成出受試者想要表達(dá)的語音。

“10 年前，科學(xué)家首次從人類大腦信號中解碼出語音，但是解碼的精度和速度遠(yuǎn)低于自然語速?！闭撐淖髡叻Q。而其AI 解碼系統(tǒng)的最低平均錯誤率只有3%，優(yōu)于人工抄寫5% 的錯誤率。約瑟夫·馬金對媒體說：“我們還沒有達(dá)到這個程度，但是我們認(rèn)為這可能是語音假肢的基礎(chǔ)?！?/p>

這是如何實(shí)現(xiàn)的呢？

語言是一種極為復(fù)雜的過程，在適當(dāng)?shù)臅r候選擇適當(dāng)?shù)脑~匯，組成適當(dāng)?shù)木渥硬⑦M(jìn)行調(diào)整修改，最終發(fā)出適當(dāng)?shù)穆曇?。目前，直接從腦電波解碼語言的系統(tǒng)只能解碼單音節(jié)，或在志愿者連續(xù)念出近100 個單詞的情況下解碼40% 的單詞。

從大腦中提取信號是實(shí)現(xiàn)腦波控制的基礎(chǔ)

為了訓(xùn)練他們的AI 以提高精確度和效率，3 位研究人員“聆聽”了4 名志愿者的神經(jīng)活動。所謂“聆聽”，即在4 名癲癇患者腦中植入腦電極。研究人員向四名患者提供了50 個句子，讓他們大聲朗讀至少3 遍，研究人員錄了音頻并收集了神經(jīng)數(shù)據(jù)。志愿者朗讀的句子諸如此類：“那些音樂家的和聲棒極了。”“她穿著暖和的羊毛工作服?！薄澳切┬⊥低盗?0 件珠寶。”“廚房里一片混亂?！?/p>

為了提高腦機(jī)接口直接解碼語言的精度，研究人員利用了機(jī)器翻譯任務(wù)與從神經(jīng)活動解碼語音的相似性。也就是說，和機(jī)器翻譯類似，解碼語言也是從一種語言到另一種語言的算法翻譯，兩種任務(wù)實(shí)際上映射到同一種輸出，即與一個句子對應(yīng)的單詞序列。只不過，機(jī)器翻譯的輸入內(nèi)容是文本，而解碼語言的輸入內(nèi)容是神經(jīng)信號。

在剔除語音數(shù)據(jù)中的噪音之后，這些收集到的數(shù)據(jù)被添加到循環(huán)神經(jīng)網(wǎng)絡(luò)中，算法的任務(wù)就是分析收集到的神經(jīng)數(shù)據(jù)，將規(guī)律性的神經(jīng)特征表現(xiàn)出來，并最終具備對數(shù)據(jù)生成時所說的內(nèi)容進(jìn)行預(yù)測的能力。經(jīng)過深度學(xué)習(xí)，研究人員的算法很快學(xué)會了預(yù)測與神經(jīng)數(shù)據(jù)相關(guān)的單詞。部分句子的預(yù)測的誤差很小，但也有一些預(yù)測極不準(zhǔn)確。

研究人員表示，用已在一名志愿者身上訓(xùn)練過的算法去做訓(xùn)練，會更具有優(yōu)勢，也就是說，隨著訓(xùn)練時間的增長和反復(fù)重復(fù)，AI 的訓(xùn)練會變得更容易和精準(zhǔn)。但是，還需要開展進(jìn)一步的研究來更加完整地調(diào)查這個系統(tǒng)的功能，將解碼范圍擴(kuò)展到研究所限語言之外。

清華大學(xué)醫(yī)學(xué)院神經(jīng)工程實(shí)驗(yàn)室洪波教授表示，這項研究的難點(diǎn)在于兩個方面：首先是采用了高密度微電極陣列，間距4 毫米，多達(dá)256 個電極，覆蓋大腦皮層表面的關(guān)鍵腦區(qū)，獲取了足夠的神經(jīng)信息用于解碼。這種電極在國內(nèi)尚沒有可用于臨床的產(chǎn)品；另外，研究中深度循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，除了采用時間軸上的卷積操作提高特征提取能力，還把語音頻譜特征也作為訓(xùn)練目標(biāo)，大大降低了對神經(jīng)數(shù)據(jù)量的需求。

通過直接記錄神經(jīng)控制信號來合成語音或文字，是實(shí)現(xiàn)自然語言高通信速率的最直觀手段。這一技術(shù)可能將用于癱瘓患者、高位截癱患者和漸凍人等，也有助于為診斷和治療其他嚴(yán)重疾病提供解決方案。雖然還存在長效電極和解碼效率的問題有待解決，但正如洪波所言，以深度學(xué)習(xí)為代表的人工智能技術(shù)發(fā)展，為腦機(jī)接口打開一條應(yīng)對該挑戰(zhàn)的新路徑。

Edward Chang 博士是加州大學(xué)舊金山分校的神經(jīng)外科醫(yī)生，專門治療頑固性癲癇、三叉神經(jīng)痛和腦瘤。他的科學(xué)研究專注于人類語音、運(yùn)動和認(rèn)知的大腦機(jī)制。他共同領(lǐng)導(dǎo)了加州大學(xué)伯克利分校和UCSF 的神經(jīng)工程與假肢中心，該中心匯集了工程、神經(jīng)科學(xué)、神經(jīng)病學(xué)和神經(jīng)外科領(lǐng)域的專家，共同開發(fā)最先進(jìn)的生物醫(yī)學(xué)設(shè)備，以恢復(fù)神經(jīng)障礙患者的功能。（摘自美《深科技》）