人工智能芯片的微型化

人工智能芯片是人工智能技術(shù)的重要組成部分，是實(shí)現(xiàn)人工智能算法的硬件基礎(chǔ)，也是人工智能時代的戰(zhàn)略制高點(diǎn)。那么未來人工智能芯片將朝著怎樣的方向發(fā)展？在2020世界計(jì)算機(jī)大會上，新加坡南洋理工大學(xué)教授、超限學(xué)習(xí)機(jī)（ELM）理論和算法體系提出者、廣智微芯創(chuàng)始人黃廣斌對這一問題進(jìn)行了剖析。他認(rèn)為，未來，人工智能芯片將朝著微型化趨勢發(fā)展，超限學(xué)習(xí)機(jī)（ELM）理論能夠有效地拓展神經(jīng)網(wǎng)絡(luò)的理論和算法，在智能微芯片的研發(fā)中起到關(guān)鍵作用。

人工智能和機(jī)器學(xué)習(xí)的發(fā)展不是一帆風(fēng)順的。從1950年代到1980年代，可以稱之為預(yù)熱階段，這個階段的特點(diǎn)是計(jì)算機(jī)能力有限，沒有有效的人工智能算法，也沒有足夠多的數(shù)據(jù)，但是華人創(chuàng)造性地把計(jì)算機(jī)翻譯成電腦，人們并沒有停止對人工智能的追求。從1980年代到2010年，這一階段是研究驅(qū)動階段，計(jì)算機(jī)功能足夠強(qiáng)大，人們開發(fā)出許多高效的算法，許多情況下雖然沒有足夠多的數(shù)據(jù)，沒有強(qiáng)力的工業(yè)產(chǎn)業(yè)驅(qū)動，但仍然有大量的研究成果涌現(xiàn)，更多的是來自研究人員和學(xué)術(shù)界的自發(fā)自我追求。從2010年開始，人工智能真正進(jìn)入了數(shù)據(jù)/產(chǎn)業(yè)驅(qū)動階段，計(jì)算機(jī)功能變得足夠強(qiáng)大，產(chǎn)生的數(shù)據(jù)超級大、超級多、超級復(fù)雜，人工智能進(jìn)入了一個新的時代。雖然幾年前人們對此有所擔(dān)心，人工智能是不是也會進(jìn)入第三次冬天？但是由于產(chǎn)業(yè)和數(shù)據(jù)的驅(qū)動，人工智能真正進(jìn)入了一個新的時代，而這個時代同時滿足了三個必要條件。高效的學(xué)習(xí)算法、高效的計(jì)算環(huán)境和豐富動態(tài)的數(shù)據(jù)，自從2010年開始，這三個必要條件便得以同時滿足了。當(dāng)前，雖然人工智能和機(jī)器學(xué)習(xí)還處于極其初級的階段，還在不斷地提高，但并不影響人工智能的廣泛應(yīng)用和需求。從歷史的長遠(yuǎn)角度來看，人工智能還處于“智能”時代的底部醞釀期，“智能”大爆發(fā)的前夜。幾萬年發(fā)生的農(nóng)業(yè)革命，幾百年前發(fā)生的工業(yè)革命，幾年前發(fā)生的智能革命，可以并稱為人類的三大革命，三大生產(chǎn)力解放的革命。

大數(shù)據(jù)不等于人工智能

許多情況下，人們經(jīng)常把大數(shù)據(jù)和人工智能并列而談，但是實(shí)際上大數(shù)據(jù)和人工智能屬于不同的范疇，人工智能不必依賴于大數(shù)據(jù)，但是大數(shù)據(jù)必將導(dǎo)致和依賴人工智能技術(shù)。如果有的數(shù)據(jù)很大、很復(fù)雜，人們很難用傳統(tǒng)的方式去分析和理解大數(shù)據(jù)，很難有特定的公式去應(yīng)用于特定的大數(shù)據(jù)，在這種情況下，必將依賴于人工智能技術(shù)的應(yīng)用來解決這些問題，因此可以說大數(shù)據(jù)必將導(dǎo)致人工智能技術(shù)的應(yīng)用，但人工智能不必依賴于大數(shù)據(jù)。很多情況下，人工智能只使用少量的數(shù)據(jù)，尤其在傳感器級，從人工智能和機(jī)器學(xué)習(xí)發(fā)展的本身趨勢來看，第一波的人工智能實(shí)際上聚焦于云端智能，很多人工智能算法應(yīng)用于服務(wù)器，在服務(wù)器中和云端實(shí)現(xiàn)，但隨著物聯(lián)網(wǎng)的發(fā)展和普遍應(yīng)用，人工智能技術(shù)開始逐漸地邁向本地智能，越來越多地從云端邁向本地傳感器。因此，從發(fā)展趨勢來看，人工智能和本地智能的結(jié)合會形成一個新的應(yīng)用趨勢，我們將其稱之為普適學(xué)習(xí)（Universal Learning）。

智能芯片的發(fā)展趨勢

早期人工智能算法主要依賴于CPU的實(shí)現(xiàn)。在1980年代，機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)主要依賴于PC端CPU的計(jì)算能力。從2010年開始，人們發(fā)現(xiàn)人工智能算法可以在GPU上更高效地實(shí)現(xiàn)，深度學(xué)習(xí)算法實(shí)現(xiàn)平臺逐漸地轉(zhuǎn)向了并行計(jì)算能力更加強(qiáng)大的GPU。2016年，很多研究人員預(yù)測，人工智能算法不必只依賴于GPU，GPU不是實(shí)現(xiàn)人工智能的唯一方法，還有很多其他的方法將會出現(xiàn)，包括專門為機(jī)器學(xué)習(xí)定制的云計(jì)算單元（TPU云+GPU云）等。而未來5年，人工智能算法可以在FPGA芯片、神經(jīng)形態(tài)芯片、ASIC芯片和光子芯片上展開。在過去幾年，F(xiàn)PGA芯片、神經(jīng)形態(tài)芯片、ASIC芯片和光子芯片的研究得到了長足的發(fā)展?？傮w來說，人工智能芯片可以預(yù)期微型化，傳感器+智能微芯片可以形成更廣泛的應(yīng)用，可以廣泛應(yīng)用于智能設(shè)備、智能傳感器、智能攝像頭等，甚至微型智能原件。可以說微芯片、智能微芯片，主要是聚焦于三個特點(diǎn)，體積微小、功耗微小、可以實(shí)現(xiàn)芯上學(xué)習(xí)。對于芯片來說，微功耗，或者說功耗微小是非常重要的一個特點(diǎn)。智能芯片的微型化離不開智能材料，離不開從生物學(xué)習(xí)中得到的啟發(fā)，智能芯片的微型化，對實(shí)現(xiàn)智能傳感器、微型智能傳感器起著十分重要的作用?？梢哉f，機(jī)器學(xué)習(xí)和生物學(xué)習(xí)存在共同的基本學(xué)習(xí)單元，而這個基本單元和硬件的實(shí)現(xiàn)，無論是硅、石墨烯、光子，還是蛋白質(zhì)，實(shí)際上都是獨(dú)立于實(shí)現(xiàn)的具體介質(zhì)——硅、石墨烯、光子和蛋白質(zhì)。未來，智能微芯片可以廣泛地應(yīng)用于各行各業(yè)、各個產(chǎn)業(yè)、各個微型傳感器，可以廣泛應(yīng)用于生物、機(jī)器人等領(lǐng)域中。

人工智能芯片微型化——智能材料

人工智能芯片的微型化離不開智能材料的應(yīng)用。神經(jīng)形態(tài)芯片的研發(fā)在過去幾年得到了長足的發(fā)展，新加坡南洋理工大學(xué)，澳洲、美國的一些大學(xué)，以及清華大學(xué)等學(xué)校的科學(xué)家們都做出了重要的貢獻(xiàn)。憶阻器技術(shù)也被廣泛應(yīng)用于神經(jīng)形態(tài)芯片的研發(fā)中。

與此同時，超限學(xué)習(xí)機(jī)（ELM）理論對神經(jīng)形態(tài)芯片的研發(fā)也起了一定的作用，新加坡南洋理工大學(xué)，澳洲、美國、中國等都有科學(xué)家、團(tuán)隊(duì)在做基于ELM理論的芯片研發(fā)，尤其是新加坡南洋理工大學(xué)，已經(jīng)展開了ELM芯片的相關(guān)流片試樣。光子技術(shù)也被廣泛應(yīng)用于智能芯片的研發(fā)，麻省理工、法國等大學(xué)的科學(xué)家們都研發(fā)出了基于光子的芯片。ELM理論指出隨機(jī)傅里葉序列的組合具有學(xué)習(xí)能力，法國科學(xué)家基于ELM理論已經(jīng)實(shí)現(xiàn)了光子芯片。在未來幾年或者更長的時間里，研究人員預(yù)測將能夠?qū)崿F(xiàn)智能芯片的微型化。

超限學(xué)習(xí)機(jī)（ELM）理論

在智能微芯片的研發(fā)過程中，特殊材料石墨烯以及人造蛋白質(zhì)也許可以廣泛應(yīng)用于智能芯片的研發(fā)中。為了實(shí)現(xiàn)智能芯片的微型化、智能微芯片，簡單的學(xué)習(xí)算法、學(xué)習(xí)理論將對芯片的研發(fā)起到至關(guān)重要的作用。研發(fā)人員預(yù)測，超限學(xué)習(xí)機(jī)（ELM）理論將對智能微芯片的研發(fā)有所助力。

超限學(xué)習(xí)機(jī)具有萬能逼近能力，任何連續(xù)目標(biāo)都可以用前饋神經(jīng)網(wǎng)絡(luò)以任意小的誤差近似逼近。超限學(xué)習(xí)機(jī)同時還具有萬能分類能力，任何理論上可以分開的目標(biāo)，都可以用人工神經(jīng)網(wǎng)絡(luò)加以分開。此外，超限學(xué)習(xí)機(jī)理論指出，SVM（支持向量機(jī)）提供的是次優(yōu)學(xué)習(xí)解，Kernel（核）函數(shù)不必是黑箱，可以通過ELM特征影射透明化。總體來說，超限學(xué)習(xí)機(jī)滿足萬能逼近和分類能力，（機(jī)器或者生物）學(xué)習(xí)可以不需要調(diào)整隱層節(jié)點(diǎn)，給定任何連續(xù)目標(biāo)函數(shù)或可分類目標(biāo)，只要神經(jīng)元是非線性階段連續(xù)的，（人工或生物的）神經(jīng)網(wǎng)絡(luò)無需調(diào)整隱層神經(jīng)元就能任意逼近目標(biāo)連續(xù)函數(shù)或?qū)Ψ诸惸繕?biāo)加以分類。神經(jīng)元的無需調(diào)整對芯片的實(shí)現(xiàn)產(chǎn)生很大的作用，可以極大地簡化智能芯片的實(shí)現(xiàn)。

ELM理論于2006年提出，在提出后約10年間，哈佛、哥倫比亞、斯坦福、MIT、IBM Watson、Georgia Tech等機(jī)構(gòu)的研究人員分別在老鼠的嗅覺系統(tǒng)、猴子的視覺系統(tǒng)、人的感知系統(tǒng)，以及果蠅的嗅覺系統(tǒng)中直接或間接地得到了驗(yàn)證，人們發(fā)現(xiàn)這些系統(tǒng)中的神經(jīng)元其實(shí)是可以隨機(jī)產(chǎn)生的，正好滿足ELM理論。作為ELM理論的一個特例，傅里葉變換作為隱層輸出，來自于谷歌、微軟、斯坦福等機(jī)構(gòu)的科學(xué)家也有相應(yīng)的研究。2016年，IBM研究出基于ELM的第一個類生物神經(jīng)元，隨機(jī)神經(jīng)元/隨機(jī)連接也逐步在越來越多的深度學(xué)習(xí)中使用。由于是隨機(jī)神經(jīng)元/隨機(jī)連接，因此諸如此類的芯片實(shí)現(xiàn)也會越來越簡單，越來越方便。

總體來說，智能芯片的微型化，離不開智能材料，離不開從生物學(xué)習(xí)中得到的啟發(fā)，離不開智能傳感器。因此，研究人員預(yù)測，超限學(xué)習(xí)機(jī)（ELM）作為存在于機(jī)器學(xué)習(xí)和生物學(xué)習(xí)中的共同基學(xué)習(xí)單元，相當(dāng)于一個基本的學(xué)習(xí)粒子，人之所以具有超強(qiáng)的學(xué)習(xí)能力，一個基本的學(xué)習(xí)功能，基本的學(xué)習(xí)粒子是必不可少的，而未來，超限學(xué)習(xí)機(jī)（ELM）將在智能微芯片的研發(fā)中起到關(guān)鍵作用。

（本文根據(jù)新加坡南洋理工大學(xué)教授、超限學(xué)習(xí)機(jī)（ELM）理論和算法體系提出者、廣智微芯創(chuàng)始人黃廣斌在“2020世界計(jì)算機(jī)大會”上的演講整理而成，未經(jīng)演講人審閱）