深度學(xué)習(xí)“開掛”十年谷歌人工智能負(fù)責(zé)人剖析未來發(fā)展方向

自計算機(jī)出現(xiàn)后，人類就期盼能夠進(jìn)一步創(chuàng)造出“會思考的機(jī)器”。1956年，美國計算機(jī)科學(xué)家、認(rèn)知科學(xué)家約翰·麥卡錫首次提出“人工智能”的概念，試圖通過讓機(jī)器使用語言形成概念和邏輯，來解決各種問題并不斷改進(jìn)自身。

此后的50年里，科學(xué)家開發(fā)了“基于邏輯、規(guī)則和神經(jīng)網(wǎng)絡(luò)” 的各類人工智能系統(tǒng)。然而，這些將人類知識編碼成機(jī)器可讀內(nèi)容的工作，即使耗費了大量人力、物力等資源，仍未能讓機(jī)器在自主學(xué)習(xí)方面取得重大進(jìn)展。

直到2011年左右，人工智能及機(jī)器學(xué)習(xí)開始在眾多領(lǐng)域取得各項成就，不僅解決了一系列世界難題，還為新型的計算體驗和互動開辟了途徑。

近日，谷歌人工智能負(fù)責(zé)人杰夫·迪恩就深度學(xué)習(xí)這十年來的進(jìn)展作了深入剖析，包括推動機(jī)器學(xué)習(xí)的計算硬件和開源軟件框架、機(jī)器學(xué)習(xí)的眾多應(yīng)用以及未來的發(fā)展方向，并將相關(guān)文章發(fā)表在美國文理學(xué)會會刊Dae alus的人工智能與社會特刊上。

據(jù)了解，迪恩在本科階段就對神經(jīng)網(wǎng)絡(luò)有濃厚的興趣，并以神經(jīng)網(wǎng)絡(luò)并行訓(xùn)練為課題進(jìn)行了深入研究。當(dāng)時他得出， 相對于1990年的計算機(jī)，需要多100萬倍的計算能力，神經(jīng)網(wǎng)絡(luò)才能開始在挑戰(zhàn)性的問題上有所突破。

21世紀(jì)初，研究人員開始在深度學(xué)習(xí)算法中使用圖形處理單元（graphics processingunit，簡稱GPU）來作為硬件設(shè)備，GPU比CPU的浮點計算率相對更高。自此之后，深度學(xué)習(xí)在圖像識別、語音識別和語言理解等方面進(jìn)展飛速，這促使研究人員開始設(shè)計比GPU更匹配深度學(xué)習(xí)算法需求的專用硬件設(shè)備。

關(guān)于構(gòu)建專用硬件，深度學(xué)習(xí)算法具備兩個關(guān)鍵的特點，一是其對低精度的容忍度很高，二是其計算基本是由矩陣及向量的各種線性代數(shù)操作序列組成。因此，專門用于低精度線性代數(shù)計算的芯片和系統(tǒng)，有助于使深度學(xué)習(xí)算法的性能得到極大提升。

早期的這類芯片有谷歌的第一個張量處理單元（TPUv1），其針對深度學(xué)習(xí)推理的8位整數(shù)計算，在速度和每瓦性能方面比當(dāng)代CPU和GPU有一到兩個數(shù)量級的改進(jìn)，使谷歌在語音識別的準(zhǔn)確性、語言翻譯和圖像分類系統(tǒng)方面有了巨大的改進(jìn)。

伴隨其專用硬件的發(fā)展，推動深度學(xué)習(xí)研究的開源軟件框架出現(xiàn)了，這讓深度學(xué)習(xí)模型和計算的表達(dá)變得更加容易，同時幫助深度學(xué)習(xí)在更加廣泛的領(lǐng)域得以應(yīng)用。

2015年，谷歌通過整合Theano和DistBelief 等早期強調(diào)規(guī)模和性能的框架，開發(fā)并開源可表達(dá)機(jī)器學(xué)習(xí)計算的TensorFlow，讓全世界的個人和組織在機(jī)器學(xué)習(xí)方面有了更多的發(fā)展機(jī)會。

由于硬件性能的不斷提升和開源軟件工具的普及，機(jī)器學(xué)習(xí)領(lǐng)域的研究產(chǎn)出及其應(yīng)用激增?，F(xiàn)在，機(jī)器學(xué)習(xí)領(lǐng)域的研究者，正在積極與神經(jīng)科學(xué)、氣候科學(xué)、分子生物學(xué)以及醫(yī)療保健等方面的科學(xué)家合作，幫助解決一系列重要的問題，不僅帶來社會效益，而且推動了人類發(fā)展。

例如，機(jī)器學(xué)習(xí)可以幫助研究人員更多地了解基因構(gòu)成，最終更有效地解決基于基因的疾病;機(jī)器學(xué)習(xí)可以幫助研究人員更好地了解天氣和環(huán)境，特別是預(yù)測日常天氣和洪水等氣候災(zāi)害;機(jī)器學(xué)習(xí)也提供了幫助檢測和診斷疾病的新方法，當(dāng)應(yīng)用于醫(yī)療圖像時，計算機(jī)視覺可以幫助醫(yī)生更加快速、準(zhǔn)確地分析判斷一些嚴(yán)重的疾病，甚至比醫(yī)生自己的能力更強。

值得一提的是，今天的機(jī)器學(xué)習(xí)技術(shù)也讓科學(xué)家對疾病的傳播方式有了更準(zhǔn)確的了解，讓全球有更好的機(jī)會進(jìn)行疾病預(yù)防。

最后，迪恩指出了機(jī)器學(xué)習(xí)的未來。他表示，“機(jī)器學(xué)習(xí)領(lǐng)域正在興起一些有趣的研究方向，如果將它們結(jié)合起來， 可能會更加有趣?！?/p>

第一是稀疏激活模型，如稀疏門控專家模型， 其顯示了如何建立非常大的容量模型，其中只有一部分模型為任何給定的例子“激活”。該模型的研究人員表明，這種方法的訓(xùn)練效率是原來的9倍，推理效率是原來的2.5倍，而且更加準(zhǔn)確。

第二是自動機(jī)器學(xué)習(xí)，如神經(jīng)架構(gòu)搜索或進(jìn)化架構(gòu)搜索等技術(shù)，能夠自動學(xué)習(xí)機(jī)器學(xué)習(xí)模型及其組件的各個方面，以優(yōu)化特定任務(wù)的準(zhǔn)確性， 通常涉及運行許多自動實驗，其中每個實驗可能涉及大量的計算。

第三是多任務(wù)機(jī)器學(xué)習(xí)，在幾項到幾十項相關(guān)任務(wù)的適度范圍內(nèi)進(jìn)行多任務(wù)訓(xùn)練，或者從為相關(guān)任務(wù)訓(xùn)練的大量數(shù)據(jù)中轉(zhuǎn)移學(xué)習(xí)，然后在為新任務(wù)訓(xùn)練的少量數(shù)據(jù)中進(jìn)行微調(diào)，已被證明在各種問題上非常有效。

如果將這3種技術(shù)方向結(jié)合起來，構(gòu)建在大規(guī)模機(jī)器學(xué)習(xí)加速器硬件上運行的系統(tǒng)，這樣訓(xùn)練出的單一模型可能是由許多不同結(jié)構(gòu)的組件組成，可以處理數(shù)百萬任務(wù)，并且能夠自動學(xué)習(xí)成功地完成新任務(wù)。

建立一個能在機(jī)器學(xué)習(xí)的所有應(yīng)用領(lǐng)域獨立處理新任務(wù)的系統(tǒng)，需要許多方面的專業(yè)知識和進(jìn)步，橫跨機(jī)器學(xué)習(xí)算法、負(fù)責(zé)任的人工智能、分布式系統(tǒng)和計算機(jī)架構(gòu)等領(lǐng)域。這是一個真正的巨大挑戰(zhàn)，但這將極大地推動人工智能的發(fā)展。

需要注意的是，雖然人工智能有能力在生活的許多方面幫助我們，但所有研究人員和從業(yè)人員都應(yīng)確保這些方法的開發(fā)是負(fù)責(zé)任的，比如仔細(xì)審查偏見、公平、隱私及其他可能影響他人和社會的行為。E4A5341D-5141-4FAE-8EFE-B2C60D95CF7F