諾貝爾物理學(xué)獎(jiǎng)：兩位跨界“玩家”，探索機(jī)器學(xué)習(xí)

當(dāng)?shù)貢r(shí)間10月8日，2024年諾貝爾物理學(xué)獎(jiǎng)公布，來自美國普林斯頓大學(xué)教授約翰·霍普菲爾德（John·J·Hopfield）和加拿大倫多大學(xué)教授杰弗里·辛頓（Geoffrey·E·Hinton）榮獲該獎(jiǎng)項(xiàng)。

諾貝爾獎(jiǎng)委員會(huì)描述他們獲獎(jiǎng)的理由是，“以表彰他們利用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行機(jī)器學(xué)習(xí)的奠基性發(fā)現(xiàn)和發(fā)明”。人工神經(jīng)網(wǎng)絡(luò)是指一種模仿生物神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和功能，并套用到數(shù)學(xué)模型或計(jì)算模型中。而機(jī)器學(xué)習(xí)包括了對大量數(shù)據(jù)的分類和分析。

此次摘得科學(xué)界桂冠的兩位研究人員，有一個(gè)共同點(diǎn)——玩跨界。

他們成功將物理學(xué)上的觀念應(yīng)用在神經(jīng)科學(xué)、遺傳學(xué)等許多重要生物學(xué)問題上，使用物理學(xué)工具構(gòu)建了有助于為當(dāng)今強(qiáng)大的機(jī)器學(xué)習(xí)奠定基礎(chǔ)的方法。以他們的研究成果為加速器，基于人工神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)目前正在徹底改變科學(xué)、工程和日常生活，對人類世界影響深遠(yuǎn)。

霍普菲爾德：尋找“那個(gè)值得解決的問題”

91歲的約翰·霍普菲爾德，于1933年在美國芝加哥出生，是家里的第六個(gè)孩子。由于雙親都是物理學(xué)家，約翰·霍普菲爾德從小對物理學(xué)的認(rèn)識便與眾不同。他曾對媒體回憶道，“我從小就習(xí)慣把所有東西拆解開，觀察它們?nèi)绾芜\(yùn)作。電視機(jī)、收音機(jī)，甚至我的自行車與模型飛機(jī)，都被我拆解過；那些被拆開的東西，如果沒辦法靠自己組裝回去，父親最后還會(huì)細(xì)心地把它們組裝回原本的樣子?！?/p>

在霍普菲爾德的人生旅途中，并沒有停留在物理世界，他還不斷地向外尋找“那個(gè)值得解決的問題”，先后跨足分子生物學(xué)，以及當(dāng)時(shí)新興的神經(jīng)科學(xué)及人工智能（AI）研究，并在各個(gè)領(lǐng)域都有不容忽視的發(fā)現(xiàn)或研究成果，例如他對血紅蛋白的別構(gòu)調(diào)控、tRNA參與蛋白質(zhì)合成的校正機(jī)制等的研究

在1982年，霍普菲爾德提出了Hopfield神經(jīng)網(wǎng)絡(luò)（Hopfield neural network），這是一種結(jié)合存儲(chǔ)系統(tǒng)和二元系統(tǒng)的神經(jīng)網(wǎng)絡(luò)，它保證了向局部極小的收斂，但收斂到錯(cuò)誤的局部極小值（local minimum），而非全局極?。╣lobal minimum）的情況也可能發(fā)生。

Hopfield神經(jīng)網(wǎng)絡(luò)也提供了模擬人類記憶的模型。它是一種遞歸神經(jīng)網(wǎng)絡(luò)，從輸出到輸入均有反饋連接，每一個(gè)神經(jīng)元跟所有其他神經(jīng)元相互連接，又稱為全互聯(lián)網(wǎng)絡(luò)。如其輸出端會(huì)反饋到其輸入端，在輸入的激勵(lì)下，其輸出會(huì)產(chǎn)生不斷的狀態(tài)變化，這個(gè)反饋過程會(huì)一直反復(fù)進(jìn)行。假如Hopfield神經(jīng)網(wǎng)絡(luò)是一個(gè)收斂的穩(wěn)定網(wǎng)絡(luò)，則這個(gè)反饋與迭代的計(jì)算過程所產(chǎn)生的變化越來越小，一旦達(dá)到了穩(wěn)定的平衡狀態(tài)，Hopfield網(wǎng)絡(luò)就會(huì)輸出一個(gè)穩(wěn)定的恒值。

可以說，Hopfield神經(jīng)網(wǎng)絡(luò)不但為生物的聯(lián)想式記憶（associative memory）提供了簡單的數(shù)學(xué)模型，也為當(dāng)時(shí)幾近被廢棄的人工神經(jīng)網(wǎng)絡(luò)，重新燃起一絲希望，它在人工智能之機(jī)器學(xué)習(xí)、聯(lián)想記憶、模式識別、優(yōu)化計(jì)算、VLSI和光學(xué)設(shè)備的并行實(shí)現(xiàn)等方面有著廣泛應(yīng)用。

霍普菲爾德曾在貝爾實(shí)驗(yàn)室工作過。35年來，他一直與貝爾實(shí)驗(yàn)室保持著密切聯(lián)系。貝爾實(shí)驗(yàn)室在1987年成功在Hopfield神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上研制出了神經(jīng)網(wǎng)絡(luò)芯片。

身為一位物理學(xué)家，卻成功跨界分子生物學(xué)、神經(jīng)科學(xué)與電腦科學(xué)的霍普菲爾德，一生獲獎(jiǎng)無數(shù)，2019年他摘得了物理及技術(shù)領(lǐng)域桂冠——富蘭克林獎(jiǎng)。

辛頓：從木匠到神經(jīng)網(wǎng)絡(luò)

與霍普菲爾德一同登上諾貝爾獎(jiǎng)高臺的杰弗里·辛頓，是在英國出生的加拿大計(jì)算機(jī)學(xué)家和心理學(xué)家，為多倫多大學(xué)教授。

辛頓是反向傳播算法和對比散度算法的發(fā)明人之一，也是深度學(xué)習(xí)的積極推動(dòng)者，被譽(yù)為“深度學(xué)習(xí)教父”。辛頓2018年因在深度學(xué)習(xí)方面的貢獻(xiàn)被授予了數(shù)學(xué)領(lǐng)域的最高獎(jiǎng)項(xiàng)——圖靈獎(jiǎng)。

和霍普菲爾德一樣，辛頓也曾輾轉(zhuǎn)多個(gè)領(lǐng)域，尋找自己的科學(xué)圣地。從1967年到1970年，辛頓在英國劍橋大學(xué)學(xué)習(xí)實(shí)驗(yàn)心理學(xué)，但其間，他因?qū)虒W(xué)內(nèi)容的不滿轉(zhuǎn)而學(xué)習(xí)心理學(xué)和哲學(xué)，然而，他對這些學(xué)科也失去了興趣。最終，辛頓雖然還是以實(shí)驗(yàn)心理學(xué)學(xué)位完成了學(xué)業(yè)，但也因失望離開了劍橋大學(xué)，成為一名木匠。

即便是在做木工活時(shí)，辛頓還是在堅(jiān)持思考人類大腦的運(yùn)作原理。

其實(shí)，所謂的人工智能，通常就是指使用人工神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)。這項(xiàng)技術(shù)最初就是受到大腦結(jié)構(gòu)的啟發(fā)。

辛頓重歸大學(xué)，就是作為博士生在愛丁堡大學(xué)投入到人工神經(jīng)網(wǎng)絡(luò)研究。這門學(xué)科在當(dāng)時(shí)并不受歡迎，甚至他的導(dǎo)師也總想說服他放棄這一研究。而他堅(jiān)信，神經(jīng)系統(tǒng)對于解釋和復(fù)制智能是充分和必要的。

在1978年，辛頓終于堅(jiān)持研究備受冷落的神經(jīng)網(wǎng)絡(luò)而獲得了博士學(xué)位。在人工神經(jīng)網(wǎng)絡(luò)中，大腦的神經(jīng)元由具有不同值的節(jié)點(diǎn)表示。這些節(jié)點(diǎn)通過連接相互影響，這些連接可以比作觸突，并且可以變強(qiáng)或變?nèi)?。網(wǎng)絡(luò)經(jīng)過訓(xùn)練，例如通過在同時(shí)具有高值的節(jié)點(diǎn)之間發(fā)展更強(qiáng)的連接。

辛頓以Hopfield網(wǎng)絡(luò)作為基礎(chǔ)，1985年與一位科學(xué)家合作開發(fā)出一種不同的方法——玻爾茲曼機(jī)器，這是隨機(jī)神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)的一種，以學(xué)習(xí)識別給定類型數(shù)據(jù)中的特征元素。玻爾茲曼機(jī)器可用于對圖像進(jìn)行分類或創(chuàng)建其訓(xùn)練的模式類型的新示例。辛頓以這項(xiàng)工作為基礎(chǔ)，幫助啟動(dòng)了當(dāng)前機(jī)器學(xué)習(xí)的爆炸性發(fā)展。

辛頓在2012年以4400萬美元的價(jià)格，將自己的初創(chuàng)公司和員工出售給了谷歌（Google），他還擔(dān)任谷歌的副總裁和工程研究員，直到2023年4月他宣布從谷歌辭職，理由是希望能夠“自由地暢談AI的風(fēng)險(xiǎn)”。

辛頓堅(jiān)信大腦絕對不是通過人類編寫的“智能程序”來工作的。例如，你可以嘗試給小孩子編個(gè)程序，讓他照此步驟一步一步地從語法開始學(xué)習(xí)語言，但這并不會(huì)真正起作用，孩子們會(huì)從經(jīng)驗(yàn)中學(xué)習(xí)而不會(huì)按照你給他編的程序來做。

兩位獲獎(jiǎng)?wù)叩墓ぷ髯寴I(yè)界受益匪淺，如諾貝爾物理學(xué)委員會(huì)主席Ellen Moon所說：“我們在廣泛的領(lǐng)域使用人工神經(jīng)網(wǎng)絡(luò)，例如開發(fā)具有特定表面特性的新材料?！?/p>

1901年至2023年間，諾貝爾物理學(xué)獎(jiǎng)向225名諾貝爾獎(jiǎng)獲得者頒發(fā)了117次。John Bardeen是唯一在1956年和1972年兩次獲得該獎(jiǎng)的獲獎(jiǎng)?wù)?。如果再加上霍普菲爾德和辛頓，這意味著至今共有227人獲得了諾貝爾物理學(xué)獎(jiǎng)。