谷歌發(fā)布Tensor Network開(kāi)源庫(kù)

鄭子亨

2019年6月4日，谷歌公司發(fā)布了用于執(zhí)行張量網(wǎng)絡(luò)計(jì)算的開(kāi)源庫(kù)Tensor Network。Tensor Network使用谷歌開(kāi)源機(jī)器學(xué)習(xí)框架Tensor Flow作為其底層工具，提高了張量網(wǎng)絡(luò)計(jì)算的可行性和計(jì)算效率，使張量網(wǎng)絡(luò)計(jì)算在GPU上的計(jì)算效率提高了100倍。張量網(wǎng)絡(luò)計(jì)算最早被應(yīng)用于量子物理、量子化學(xué)中，此次谷歌Tensor Network 開(kāi)源庫(kù)的發(fā)布不僅為量子領(lǐng)域?qū)W科研究者提供了強(qiáng)大的計(jì)算機(jī)工具，也給張量網(wǎng)絡(luò)在機(jī)器學(xué)習(xí)中應(yīng)用提供了可行性和硬件加速方法。

背景

現(xiàn)有計(jì)算模式無(wú)法滿(mǎn)足量子計(jì)算模擬需求。隨著量子理論的不斷發(fā)展，量子計(jì)算邊界條件越來(lái)越復(fù)雜，現(xiàn)有的密度泛函計(jì)算只能處理相互作用比較弱的系統(tǒng)，如半導(dǎo)體系統(tǒng)和簡(jiǎn)單金屬系統(tǒng)。張量網(wǎng)絡(luò)計(jì)算能夠?qū)α孔訝顟B(tài)進(jìn)行更好的模擬，對(duì)高量子糾纏系統(tǒng)進(jìn)行準(zhǔn)確計(jì)算，越來(lái)越廣泛地被應(yīng)用于高溫超導(dǎo)體、凝聚態(tài)物理學(xué)、量子化學(xué)、統(tǒng)計(jì)力學(xué)等學(xué)科中。在機(jī)器學(xué)習(xí)領(lǐng)域，計(jì)算硬件設(shè)備不斷迭代更新，想要充分開(kāi)發(fā)利用處理器的計(jì)算性能，計(jì)算模式需要更加抽象來(lái)超越現(xiàn)有的二維矩陣運(yùn)算，張量網(wǎng)絡(luò)計(jì)算可以突破該瓶頸。近幾年，針對(duì)張量網(wǎng)絡(luò)在機(jī)器學(xué)習(xí)領(lǐng)域應(yīng)用的研究成果大量涌現(xiàn)，已經(jīng)證明張量網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)之間存在極大的關(guān)聯(lián)，張量網(wǎng)絡(luò)計(jì)算未來(lái)有望與卷積神經(jīng)網(wǎng)絡(luò)并駕齊驅(qū)。

Tensor Flow為T(mén)ensor Network奠定技術(shù)基礎(chǔ)。Tensor Flow是谷歌公司推出的一個(gè)使用數(shù)據(jù)流圖進(jìn)行數(shù)值計(jì)算的開(kāi)源人工智能軟件庫(kù)，于2015年10月宣布開(kāi)源。Tensor Flow提供了豐富的構(gòu)建和訓(xùn)練機(jī)器學(xué)習(xí)模型的API 庫(kù)，支持卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、長(zhǎng)短期記憶網(wǎng)絡(luò)等深度神經(jīng)網(wǎng)絡(luò)模型。在Tensor Flow中，張量的概念以多維數(shù)組的形式首次被引入機(jī)器學(xué)習(xí)領(lǐng)域，隨著谷歌對(duì)Tensor Flow的不斷完善改進(jìn)，Tensor Flow成為機(jī)器學(xué)習(xí)領(lǐng)域最受歡迎的基礎(chǔ)框架，給人工智能企業(yè)及研究機(jī)構(gòu)提供了開(kāi)源工具庫(kù)，對(duì)于谷歌公司人工智能生態(tài)構(gòu)建及其產(chǎn)品化加速起到了推進(jìn)作用。

開(kāi)源成為全球IT行業(yè)公認(rèn)的重要?jiǎng)?chuàng)新方式。開(kāi)源可以大大節(jié)省軟件開(kāi)發(fā)的時(shí)間、人力成本，并有利于技術(shù)的推廣和發(fā)展。谷歌開(kāi)源戰(zhàn)略布局已久，在開(kāi)源平臺(tái)、開(kāi)源軟件、開(kāi)源語(yǔ)言等方面進(jìn)行了深入的建設(shè)，其中Android、Tensor Flow、Spark等都在各自領(lǐng)域占有統(tǒng)治地位，此次Tensor Network開(kāi)源庫(kù)的發(fā)布使谷歌在張量網(wǎng)絡(luò)計(jì)算方面搶得先機(jī)。在谷歌的帶領(lǐng)下，許多抵制開(kāi)源的軟件巨頭也逐漸接受并進(jìn)行開(kāi)源戰(zhàn)略布局。微軟于2018年10月26日宣布對(duì)開(kāi)源代碼托管平臺(tái)GitHub的交易正式完成，交易額為75億美元。IBM于2019年6月29日獲得歐盟無(wú)條件批準(zhǔn)，以340億美元收購(gòu)開(kāi)源解決方案提供商紅帽（Red Hat）。開(kāi)源平臺(tái)使企業(yè)得以圍繞自身產(chǎn)品快速構(gòu)建應(yīng)用開(kāi)發(fā)者生態(tài)，同時(shí)引導(dǎo)產(chǎn)業(yè)和技術(shù)演進(jìn)路徑及方向，從而把控標(biāo)準(zhǔn)、專(zhuān)利等產(chǎn)業(yè)核心話語(yǔ)權(quán)。

案例介紹

事件描述。2019年6月4日，谷歌公司發(fā)布了以Tensor Flow為底層框架的開(kāi)源庫(kù)Tensor Network，該產(chǎn)品是為了提高張量網(wǎng)絡(luò)計(jì)算的可行性和計(jì)算效率，并且最大化GPU的運(yùn)行速度。在發(fā)布Tensor Network的同時(shí)，谷歌公司發(fā)表了一系列的論文對(duì)其功能以及在其他領(lǐng)域的可應(yīng)用性進(jìn)行了介紹和解釋。在Tensor Network中，張量的概念可以簡(jiǎn)單的理解為高階數(shù)組或高階矩陣，其運(yùn)算方式與普通矩陣相同，這大大降低了沒(méi)有量子理論學(xué)習(xí)經(jīng)歷的開(kāi)發(fā)者的使用難度。谷歌表示，由于其高階特性，張量很難用普通計(jì)數(shù)法進(jìn)行表示，使用圖解記數(shù)法是非常有用的，更容易表示張量的收縮。

后續(xù)發(fā)展。谷歌表示，有論文對(duì)Tensor Network進(jìn)行了簡(jiǎn)單的介紹并給出了實(shí)際物理應(yīng)用案例。后續(xù)的論文中，將講述Tensor Network在機(jī)器學(xué)習(xí)中的應(yīng)用， 如在MNIST和Fashion-MNIST圖像庫(kù)上執(zhí)行圖像分類(lèi)算法，在其他領(lǐng)域延伸上還將包括時(shí)序分析、量子電路仿真等。谷歌研究人員希望Tensor Network能真正成為物理學(xué)家和機(jī)器學(xué)習(xí)從業(yè)者的寶貴工具。

簡(jiǎn)評(píng)

Tensor Network開(kāi)源庫(kù)給張量網(wǎng)絡(luò)計(jì)算的大規(guī)模應(yīng)用注入新動(dòng)力。在量子領(lǐng)域，張量網(wǎng)絡(luò)計(jì)算被提出用于處理高量子糾纏系統(tǒng)，但在被提出的很長(zhǎng)一段時(shí)間中處于瓶頸期，目前已有的用于加速硬件的生產(chǎn)級(jí)張量網(wǎng)絡(luò)庫(kù)還不能用于大規(guī)模運(yùn)行張量網(wǎng)絡(luò)算法，而谷歌Tensor Network有望突破張量網(wǎng)絡(luò)計(jì)算應(yīng)用的瓶頸，將張量網(wǎng)絡(luò)計(jì)算大規(guī)模應(yīng)用于凝聚態(tài)物理、量子化學(xué)、量子引力等量子領(lǐng)域。在機(jī)器學(xué)習(xí)方面，Tensor Network的出現(xiàn)顛覆了原有的基于線性代數(shù)的神經(jīng)網(wǎng)絡(luò)計(jì)算體系，并且實(shí)現(xiàn)了張量網(wǎng)絡(luò)計(jì)算在GPU上的加速，張量網(wǎng)絡(luò)計(jì)算在機(jī)器學(xué)習(xí)方面的大規(guī)模推廣和應(yīng)用指日可待。

開(kāi)源生態(tài)建設(shè)對(duì)我國(guó)信息技術(shù)發(fā)展意義重大。開(kāi)源平臺(tái)已經(jīng)成為數(shù)字時(shí)代的重要基礎(chǔ)設(shè)施。發(fā)達(dá)國(guó)家科技巨頭借助開(kāi)源力量能夠?qū)ζ渥陨懋a(chǎn)品進(jìn)行完善，提升與下游公司及開(kāi)發(fā)者的合作黏性，構(gòu)建更為完整的產(chǎn)業(yè)生態(tài)，強(qiáng)化自身話語(yǔ)權(quán)。我國(guó)企業(yè)近幾年逐步重視開(kāi)源布局，涌現(xiàn)了一批開(kāi)源平臺(tái)、開(kāi)源庫(kù)等，但因?qū)τ诤诵募夹g(shù)、開(kāi)源規(guī)則掌握不足，響應(yīng)者較少，發(fā)展較為緩慢。目前國(guó)內(nèi)公司及開(kāi)發(fā)者習(xí)慣于使用國(guó)外開(kāi)源平臺(tái)，一旦國(guó)外公司對(duì)開(kāi)源平臺(tái)進(jìn)行管控，我國(guó)將面臨由于平臺(tái)遷移帶來(lái)的巨額成本，并存在產(chǎn)業(yè)供應(yīng)鏈安全的巨大隱患。建議加快營(yíng)造國(guó)內(nèi)開(kāi)源氛圍，鼓勵(lì)企業(yè)發(fā)展開(kāi)源平臺(tái)、開(kāi)源社區(qū)等開(kāi)發(fā)模式，提升我國(guó)企業(yè)在全球主流開(kāi)源生態(tài)中的貢獻(xiàn)度及話語(yǔ)權(quán)，實(shí)現(xiàn)由參與者向貢獻(xiàn)者再到構(gòu)建者的升級(jí)。