華裔科學家用AI花式解碼腦信號

張靜

在馬斯克的Neuralink（腦機接口技術公司）爆紅之前，腦機接口已經(jīng)被研究了四五十年，在用腦神經(jīng)設備讀取大腦信息方面，霍金曾嘗試走在技術發(fā)展的尖端。

Edward? Chang本人

為了幫助霍金這樣喪失語言和行動能力的人表達自己，科學家們曾嘗試利用各種殘存的運動能力，從幾根手指到臉頰肌肉，從舌頭活動能力到口型表達。發(fā)展至今，研究人員想直接從大腦中提取信號，并將之轉(zhuǎn)述為文字或者操縱其他設備儀器。

JosephG.Mak/n、David A.Moses和華裔科學家Edward? Chang近日在《自然·神經(jīng)科學》雜志上發(fā)表了一項腦機接口最新研究，他們發(fā)現(xiàn)了一種能夠以較高準確率解碼神經(jīng)活動，并將其翻譯為句子的機器翻譯算法。

EdwardChang有自己的實驗室Chang Lab，該實驗室位于美國加州大學1日金山分校，是一個專注于研究語言及語言障礙者的活動機制的實驗室。去年4月，Edward C.hang等人還在《自然》雜志發(fā)表了開發(fā)出一種可以將腦活動轉(zhuǎn)化為語音的解碼器。這套人類語音合成系統(tǒng)，通過解碼與人類下頜、喉頭、嘴唇和舌頭動作相關的腦信號，并合成出受試者想要表達的語音。

“10年前，科學家首次從人類大腦信號中解碼出語音，但是解碼的精度和速度遠低于自然語速?！闭撐淖髡叻Q。而其AI解碼系統(tǒng)的最低平均錯誤率只有3%，優(yōu)于人工抄寫5%的錯誤率。約瑟夫，馬金對媒體說：“我們還沒有達到這個程度，但是我們認為這可能是語音假肢的基礎?！?h3>這是如何實現(xiàn)的呢？

語言是一種極為復雜的過程，在適當?shù)臅r候選擇適當?shù)脑~匯，組成適當?shù)木渥硬⑦M行調(diào)整修改，最終發(fā)出適當?shù)穆曇?。目前，直接從腦電波解碼語言的系統(tǒng)只能解碼單音節(jié)，或在志愿者連續(xù)念出近100個單詞的情況下解碼40%的單詞。

為了訓練他們的AI以提高精確度和效率，3位研究人員“聆聽”了4名志愿者的神經(jīng)活動。所謂“聆聽”，即在4名癲癇患者腦中植入腦電極。研究人員向四名患者提供了50個句子，讓他們大聲朗讀至少3遍，研究人員錄了音頻并收集了神經(jīng)數(shù)據(jù)。

?從大腦中提取信號是實現(xiàn)腦波控制的基礎

志愿者朗讀的句子諸如此類：

“那些音樂家的和聲棒極了?！?/p>

“她穿著暖和的羊毛工作服?！?/p>

“那些小偷偷了30件珠寶?！?/p>

“廚房里一片混亂。”

為了提高腦機接口直接解碼語言的精度，研究人員利用了機器翻譯任務與從神經(jīng)活動解碼語音的相似性。也就是說，和機器翻譯類似，解碼語言也是從一種語言到另一種語言的算法翻譯，兩種任務實際上映射到同一種輸出，即與一個句子對應的單詞序列。只不過，機器翻譯的輸入內(nèi)容是文本，而解碼語言的輸入內(nèi)容是神經(jīng)信號。

在剔除語音數(shù)據(jù)中的噪音之后，這些收集到的數(shù)據(jù)被添加到循環(huán)神經(jīng)網(wǎng)絡中，算法的任務就是分析收集到的神經(jīng)數(shù)據(jù)，將規(guī)律性的神經(jīng)特征表現(xiàn)出來，并最終具備對數(shù)據(jù)生成時所說的內(nèi)容進行預測的能力。經(jīng)過深度學習，研究人員的算法很快學會了預測與神經(jīng)數(shù)據(jù)相關的單詞。部分句子的預測的誤差很小，但也有一些預測極不準確。

研究人員表示，用已在一名志愿者身上訓練過的算法去做訓練，會更具有優(yōu)勢，也就是說，隨著訓練時間的增長和反復重復，AI的訓練會變得更容易和精準。但是，還需要開展進一步的研究來更加完整地調(diào)查這個系統(tǒng)的功能，將解碼范圍擴展到研究所限語言之外。

清華大學醫(yī)學院神經(jīng)工程實驗室洪波教授表示，這項研究的難點在于兩個方面：首先是采用了高密度微電極陣列，間距4毫米，多達256個電極，覆蓋大腦皮層表面的關鍵腦區(qū)，獲取了足夠的神經(jīng)信息用于解碼。這種電極在國內(nèi)尚沒有可用于臨床的產(chǎn)品;另外，研究中深度循環(huán)神經(jīng)網(wǎng)絡的訓練，除了采用時間軸上的卷積操作提高特征提取能力，還把語音頻譜特征也作為訓練目標，大大降低了對神經(jīng)數(shù)據(jù)量的需求。

通過直接記錄神經(jīng)控制信號來合成語音或文字，是實現(xiàn)自然語言高通信速率的最直觀手段。這一技術可能將用于癱瘓患者、高位截癱患者和漸凍人等，也有助于為診斷和治療其他嚴重疾病提供解決方案。雖然還存在長效電極和解碼效率的問題有待解決，但正如洪波所言，以深度學習為代表的人工智能技術發(fā)展，為腦機接口打開一條應對該挑戰(zhàn)的新路徑。

EdwardChang博士是加州大學舊金山分校的神經(jīng)外科醫(yī)生，專門治療頑固性癲癇、三叉神經(jīng)痛和腦瘤。他的科學研究專注于人類語音、運動和認知的大腦機制。他共同領導了加州大學伯克利分校和UC.SF的神經(jīng)工程與假肢中心，該中心匯集了工程、神經(jīng)科學、神經(jīng)病學和神經(jīng)外科領域的專家，共同開發(fā)最先進的生物醫(yī)學設備，以恢復神經(jīng)障礙患者的功能。（摘自美《深科技》）（編輯/萊西）