谷歌發(fā)布2017年度AI報(bào)告

Jeff Dean

谷歌大腦負(fù)責(zé)人Jeff Dean近日撰文回顧了2017年的工作，內(nèi)容包括基礎(chǔ)研究工作，機(jī)器學(xué)習(xí)的開(kāi)源軟件、數(shù)據(jù)集和新硬件。本文重點(diǎn)介紹機(jī)器學(xué)習(xí)在醫(yī)療、機(jī)器人等不同科學(xué)領(lǐng)域的應(yīng)用與創(chuàng)造性，以及對(duì)谷歌自身工作帶來(lái)的影響。

谷歌大腦團(tuán)隊(duì)（Google Brain team）致力于通過(guò)科研和系統(tǒng)工程來(lái)提升人工智能的先進(jìn)水平，這也是整個(gè)谷歌團(tuán)隊(duì)AI工作的一部分。2017年，我們盤點(diǎn)了2016年的工作，從那時(shí)起，我們?cè)跈C(jī)械智能化的長(zhǎng)期研究方面不斷取得進(jìn)展，并與Google和Alphabet的許多團(tuán)隊(duì)展開(kāi)合作，利用研究成果改善人們的生活。這篇文章將重點(diǎn)介紹我們?cè)?017年的工作，包括我們的一些基礎(chǔ)研究工作，以及開(kāi)源軟件、數(shù)據(jù)集和機(jī)器學(xué)習(xí)新硬件方面的新成果。后續(xù)，我們將對(duì)某些特殊領(lǐng)域（對(duì)于這些領(lǐng)域而言，機(jī)器學(xué)習(xí)可能會(huì)對(duì)其產(chǎn)生重大影響，如醫(yī)療保健、機(jī)器人和一些基礎(chǔ)科學(xué)領(lǐng)域）展開(kāi)深入研究，并介紹我們開(kāi)展的創(chuàng)造性、公平性、包容性的工作，以幫助大家更好地了解我們。

核心研究

我們團(tuán)隊(duì)關(guān)注的重點(diǎn)在于科研，并以此來(lái)提高我們的理解能力以及解決機(jī)器學(xué)習(xí)領(lǐng)域新問(wèn)題的能力。以下是我們2017年研究的幾大主題。

AutoML

自動(dòng)化機(jī)器學(xué)習(xí)的目標(biāo)是推動(dòng)技術(shù)發(fā)展，從而讓計(jì)算機(jī)能夠自動(dòng)解決機(jī)器學(xué)習(xí)方面的新問(wèn)題，而不需要人類機(jī)器學(xué)習(xí)專家來(lái)解決每個(gè)新問(wèn)題。如果我們想擁有真正的智能系統(tǒng)，那么這將是我們需要具備的一項(xiàng)基本技術(shù)能力。我們提出了利用強(qiáng)化學(xué)習(xí)（reinforcement learning）和進(jìn)化算法（evolutionary algorithms）來(lái)設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的新方法，并將這項(xiàng)工作推廣到了ImageNet圖像分類和檢測(cè)領(lǐng)域的最新成果，展示了如何自動(dòng)學(xué)習(xí)新的優(yōu)化算法（optimization algorithms）和有效的激活函數(shù)（activation functions）。我們正與谷歌Cloud AI團(tuán)隊(duì)（Google Cloud AI team）展開(kāi)積極合作，將此項(xiàng)技術(shù)提供給Google客戶，同時(shí)不斷向多個(gè)方面推進(jìn)這項(xiàng)研究。

語(yǔ)言理解與生成

另一項(xiàng)主要工作是開(kāi)發(fā)新技術(shù)，以此來(lái)提高我們計(jì)算機(jī)系統(tǒng)理解和生成人類語(yǔ)音的能力，其中包括我們與谷歌語(yǔ)音團(tuán)隊(duì)（Google Speech team）的合作，為端到端的語(yǔ)音識(shí)別技術(shù)進(jìn)行了一系列改進(jìn)，從而將谷歌語(yǔ)音識(shí)別系統(tǒng)產(chǎn)生的相對(duì)詞錯(cuò)率降低了16%。這項(xiàng)研究的一個(gè)益處是，它需要將許多不同的研究思路整合到一起。

我們還與谷歌的機(jī)器感知團(tuán)隊(duì)（ Machine Perception team）的研究同事合作，開(kāi)發(fā)了一種新的文本到語(yǔ)音（text-to-speech）生成方法（Tacotron 2），極大地提高了生成語(yǔ)音的質(zhì)量。該模型的平均意見(jiàn)得分（MOS）為4.53，相比之下，專業(yè)錄音的MOS值為4.58（你或許在有聲讀物中看到過(guò)），過(guò)去最好的計(jì)算機(jī)生成語(yǔ)音系統(tǒng)（computer-generated speech system）的MOS值為4.34。你可以在這里試聽(tīng)：https：//google.github.io/tacotron/publications/tacotron2/index.html

機(jī)器學(xué)習(xí)的新算法和新方法

我們不斷開(kāi)發(fā)機(jī)器學(xué)習(xí)的新算法和新方法，包括Hinton提出的capsules的工作（在執(zhí)行視覺(jué)任務(wù)時(shí)，明確尋找激活特征中的一致性，作為評(píng)估許多不同噪聲假設(shè)的方法）、稀疏門控專家混合層（sparsely-gated mixtures of experts）（這使得超大模型仍然具有高計(jì)算效率）、超網(wǎng)絡(luò)（hypernetworks）（用一個(gè)模型的權(quán)值生成另一個(gè)模型的權(quán)值）、新的multi-modal模型（在同一個(gè)模型上執(zhí)行音頻、視覺(jué)和文本輸入的多個(gè)學(xué)習(xí)任務(wù)）、基于attention的機(jī)制（作為卷積模型和遞歸模型的替代）、symbolic和non-symbolic學(xué)習(xí)優(yōu)化方法、通過(guò)離散變量進(jìn)行反向傳播的技術(shù)以及新型強(qiáng)化學(xué)習(xí)算法改進(jìn)的研究。

計(jì)算機(jī)系統(tǒng)的機(jī)器學(xué)習(xí)

在計(jì)算機(jī)系統(tǒng)中，利用機(jī)器學(xué)習(xí)取代傳統(tǒng)的啟發(fā)方法，也是我們非常感興趣的。我們展示了如何使用強(qiáng)化學(xué)習(xí)來(lái)做出布局決策（placement decision），以便將計(jì)算圖形映射到一組比人類專家更優(yōu)秀的計(jì)算機(jī)設(shè)備上。與谷歌科研（Google Research）的其他同事一樣，我們?cè)凇皩W(xué)習(xí)索引結(jié)構(gòu)的案例”一文中證明了神經(jīng)網(wǎng)絡(luò)比傳統(tǒng)數(shù)據(jù)結(jié)構(gòu)如B-tress、哈希表和布隆過(guò)濾器（Bloom filter）速度更快、規(guī)模更小。我們相信，正如在NIPS的Machine Learning for Systems and Systems for Machine Learning研討會(huì)上所述，對(duì)于在核心計(jì)算機(jī)系統(tǒng)中使用機(jī)器學(xué)習(xí)而言，我們還停留在表面。

隱私與安全

機(jī)器學(xué)習(xí)及其與安全和隱私的交叉領(lǐng)域，仍然是我們主要研究的重點(diǎn)。在一篇獲得ICLR 2017最佳論文獎(jiǎng)的論文中，我們展示了機(jī)器學(xué)習(xí)技術(shù)可以以一種提供不同隱私保證的方式應(yīng)用。我們還在持續(xù)研究對(duì)抗樣本的性質(zhì)，包括在物理世界中展示對(duì)抗樣本，以及如何在訓(xùn)練過(guò)程中大規(guī)模利用對(duì)抗樣本，進(jìn)而使模型相對(duì)于對(duì)抗樣本而言具有更強(qiáng)的魯棒性。

了解機(jī)器學(xué)習(xí)系統(tǒng)

雖然我們?cè)谏疃葘W(xué)習(xí)領(lǐng)域取得了許多令人印象深刻的成果，但重要的是弄清楚它的工作原理，以及它在何種狀態(tài)下會(huì)停止工作。在另一篇獲得ICLR 2017最佳論文獎(jiǎng)的論文中，我們發(fā)現(xiàn)，目前的機(jī)器學(xué)習(xí)理論框架無(wú)法解釋深度學(xué)習(xí)方法中，那些令人印象深刻的成果。我們還發(fā)現(xiàn)，通過(guò)最優(yōu)方法尋找最小的“平坦度”（flatness），并不像最初預(yù)想的那樣，與良好的泛化緊密相關(guān)。為了更好地理解在深層構(gòu)架下，訓(xùn)練是如何進(jìn)行的，我們發(fā)表了一系列分析隨機(jī)矩陣的論文，因?yàn)檫@是大多數(shù)訓(xùn)練方法的出發(fā)點(diǎn)。了解深度學(xué)習(xí)的另一個(gè)重要方法是更好地衡量它們的表現(xiàn)。在最近的一項(xiàng)研究中，我們證明了良好的實(shí)驗(yàn)設(shè)計(jì)以及嚴(yán)謹(jǐn)統(tǒng)計(jì)的重要性，比較了許多GAN方法，發(fā)現(xiàn)許多流行的生成模型增強(qiáng)并沒(méi)有提高性能。我們希望這項(xiàng)研究，能夠在其他研究人員進(jìn)行相關(guān)實(shí)驗(yàn)時(shí)，提供一個(gè)可靠范例。

我們正在研發(fā)能夠更好地解釋機(jī)器學(xué)習(xí)系統(tǒng)的方法。并且在2017年3月，我們與OpenAI、DeepMind、YC Research合作，宣布推出Distill，這是一本致力于幫助人類更好地理解機(jī)器學(xué)習(xí)的在線開(kāi)放性科學(xué)期刊。其清楚地闡釋了機(jī)器學(xué)習(xí)的概念，提供了優(yōu)秀的交互式可視化工具，并獲得了良好反響。在刊物發(fā)行的第一年，Distill發(fā)表了許多有啟發(fā)性的文章，旨在了解各種機(jī)器學(xué)習(xí)技術(shù)的內(nèi)部工作原理，我們期待在2018年可以取得更多進(jìn)展。

用于機(jī)器學(xué)習(xí)研究的開(kāi)放式數(shù)據(jù)集

像MNIST、CIFAR-10、mageNet、SVHN和WMT這樣的開(kāi)放數(shù)據(jù)集，極大地推動(dòng)了機(jī)器學(xué)習(xí)領(lǐng)域的發(fā)展。作為一個(gè)集體，我們團(tuán)隊(duì)與谷歌科研（Google Research）在過(guò)去一年左右的時(shí)間里，一直通過(guò)提供更大的標(biāo)記數(shù)據(jù)集，積極地為開(kāi)放式機(jī)器學(xué)習(xí)提供開(kāi)放、有趣的新數(shù)據(jù)集，包括：

·YouTube-8M： 使用4716個(gè)不同類別注釋的700萬(wàn)個(gè)YouTube視頻;

·YouTube-Bounding Boxes： 來(lái)自21萬(wàn)個(gè)YouTube視頻的500萬(wàn)個(gè)bounding boxes;

·Speech Commands數(shù)據(jù)集：包含數(shù)千個(gè)說(shuō)話者說(shuō)的短指令詞;

·AudioSet：200萬(wàn)個(gè)10秒的YouTube視頻剪輯，標(biāo)記有527個(gè)不同的聲音事件;

·Atomic Visual Actions（AVA）：57000個(gè)視頻剪輯中的21萬(wàn)個(gè)動(dòng)作標(biāo)簽;

·Open Images：使用6000個(gè)類別標(biāo)記的900萬(wàn)個(gè)創(chuàng)作共用許可的圖像;

·Open Images with Boundign Boxes：600個(gè)類別的120萬(wàn)個(gè)bounding boxes。

TensorFlow和開(kāi)源軟件

縱觀我們團(tuán)隊(duì)的歷史，我們已經(jīng)開(kāi)發(fā)了一些工具，幫助我們進(jìn)行機(jī)器學(xué)習(xí)研究，并在谷歌的許多產(chǎn)品中部署了機(jī)器學(xué)習(xí)系統(tǒng)。2015年11月，我們開(kāi)放了第二代機(jī)器學(xué)習(xí)框架TensorFlow，希望機(jī)器學(xué)習(xí)社區(qū)能夠從機(jī)器學(xué)習(xí)軟件工具的投資中獲益。2017年2月，我們發(fā)布了TensorFlow 1.0，2017年11月，我們發(fā)布了v1.4版本，增加了以下重要功能：用于交互式命令式編程的Eager execution，用于TensorFlow程序的優(yōu)化編譯器XLA，以及用于移動(dòng)設(shè)備和嵌入式設(shè)備的輕量級(jí)解決方案TensorFlow Lite。預(yù)編譯的TensorFlow二進(jìn)制文件現(xiàn)在已經(jīng)在180多個(gè)國(guó)家被下載超過(guò)1000萬(wàn)次，GitHub上的源代碼現(xiàn)在已經(jīng)有超過(guò)1200個(gè)貢獻(xiàn)者。

2017年2月，我們舉辦了首屆TensorFlow開(kāi)發(fā)者峰會(huì)，超過(guò)450多人參加了在美國(guó)加州山景城的活動(dòng)，超過(guò)6500人觀看了直播，包括在全球超過(guò)35多個(gè)國(guó)家和地區(qū)舉辦了超過(guò)85場(chǎng)的本地觀看活動(dòng)。所有的會(huì)談都被記錄下來(lái)，主題包括TensorFlow的新功能、使用TensorFlow的技巧和低層TensorFlow抽象的細(xì)節(jié)。我們將于2018年3月30日在美國(guó)舊金山灣區(qū)舉辦第二屆TensorFlow開(kāi)發(fā)者峰會(huì)。

2017年11月，TensorFlow為開(kāi)放源代碼項(xiàng)目?jī)芍苣昱e辦了慶?；顒?dòng)。 能夠看到一個(gè)充滿活力的TensorFlow開(kāi)發(fā)者和用戶群體的出現(xiàn)，無(wú)疑是對(duì)我們最好的回報(bào)。TensorFlow是GitHub上排名第一的機(jī)器學(xué)習(xí)平臺(tái)，也是GitHub上五大軟件庫(kù)之一，被許多不同規(guī)模的公司和機(jī)構(gòu)所使用，Git Hub上有超過(guò)24500個(gè)與Tensor Flowl相關(guān)的獨(dú)立軟件庫(kù)?，F(xiàn)在，許多研究論文都與開(kāi)放源代碼的TensorFlow實(shí)現(xiàn)一起出版，以配合研究結(jié)果，使社區(qū)能夠更容易地理解每篇論文描述的使用方法，并重現(xiàn)或擴(kuò)展工作。

TensorFlow也受益于其他Google研究團(tuán)隊(duì)的相關(guān)開(kāi)源工作，其中，包括TensorFlow中生成對(duì)抗模型的輕量級(jí)庫(kù)TF-GAN、TensorFlow Lattice、一組基于網(wǎng)格模型的估計(jì)器，以及TensorFlow Object Detection API。TensorFlow模型庫(kù)隨著模型的增多而持續(xù)擴(kuò)張。

除了TensorFlow之外，我們還發(fā)布了deeplearn.js，這是一個(gè)在瀏覽器中快速實(shí)現(xiàn)深度學(xué)習(xí)的API開(kāi)源硬件（無(wú)需下載或安裝任何東西）。deeplearn.js的主頁(yè)有許多很好的例子，包括Teachable Machine和Performance RNN。我們將在2018年繼續(xù)努力，以便將TensorFlow模型直接部署到deeplearn.js環(huán)境中。

TPUs

大約五年前，我們認(rèn)識(shí)到，深度學(xué)習(xí)將極大地改變我們所需的硬件類型。深度學(xué)習(xí)的計(jì)算量非常大，但是它們有兩個(gè)特殊的性質(zhì)：它們主要由密集的線性代數(shù)運(yùn)算（矩陣倍數(shù)，向量運(yùn)算等）組成，它們對(duì)精度的降低具有非常好的包容性。我們意識(shí)到可以利用這兩個(gè)屬性，來(lái)構(gòu)建能夠非常有效地運(yùn)行神經(jīng)網(wǎng)絡(luò)計(jì)算的專用硬件。我們向谷歌平臺(tái)（Google Platforms）團(tuán)隊(duì)提供了設(shè)計(jì)輸入，他們?cè)O(shè)計(jì)并生產(chǎn)了第一代Tensor Processing Unit（TPU）： 一種幫助深度學(xué)習(xí)模型進(jìn)行加速推理的單芯片ASIC（推理使用已訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，并且訓(xùn)練方式不同）。第一代TPU已經(jīng)在我們的數(shù)據(jù)中心部署了三年，它被用于為谷歌搜索（Google Search）、谷歌翻譯（Google Translate）、谷歌圖片（Google Photos），李世石、柯潔與Alphago的比賽，以及許多其他研究和產(chǎn)品用途。2017年6月，我們?cè)贗SCA 2017上發(fā)表了一篇論文，證實(shí)第一代TPU比與其同時(shí)期的GPU或CPU同類產(chǎn)品，處理速度快15-30倍，性能/功耗節(jié)優(yōu)化30–80倍。

推論是很重要的，但是加速訓(xùn)練過(guò)程是一個(gè)更重要的問(wèn)題，也是一個(gè)更困難的問(wèn)題。研究人員越快地嘗試新想法，我們就能取得更多的突破。2017年5月我們?cè)贕oogle I / O上宣布的第二代TPU，是一個(gè)旨在加速訓(xùn)練和推理過(guò)程的一體化系統(tǒng)（定制ASIC芯片、電路板和互連），我們展示了一個(gè)設(shè)備配置：TPU Pod。我們宣布這些第二代設(shè)備將在谷歌云平臺(tái)（Google Cloud Platform）上作為Cloud TPUs提供。我們還公布了TensorFlow研究云計(jì)劃（TFRC），該計(jì)劃旨在為頂級(jí)機(jī)器學(xué)習(xí)研究人員提供方案，這些人致力于與世界分享他們的工作，以便免費(fèi)訪問(wèn)1000個(gè)Cloud TPUs集群。在2017年12月，我們展示了一項(xiàng)研究，證實(shí)可以在22分鐘內(nèi)，從TPU Pod上訓(xùn)練一個(gè)ResNet-50 ImageNet模型，而在一個(gè)典型的工作站上，這需要幾天或更長(zhǎng)時(shí)間，在相同時(shí)間里，TPU Pod上訓(xùn)練的模型準(zhǔn)確度要高。我們認(rèn)為以這種方式縮短研發(fā)周期，將極大地提高谷歌的機(jī)器學(xué)習(xí)團(tuán)隊(duì)和所有使用Could TPUs的組織的工作效率。

谷歌大腦AI應(yīng)用研究

過(guò)去一年，谷歌大腦在多個(gè)特定領(lǐng)域深入研究，例如如何將機(jī)器學(xué)習(xí)等技術(shù)應(yīng)用于醫(yī)療、機(jī)器人、創(chuàng)意、公平等多個(gè)領(lǐng)域。這在某種程度上，也代表了2017年人工智能具體應(yīng)用的最高水平研究。

醫(yī)療

我們認(rèn)為，機(jī)器學(xué)習(xí)技術(shù)在醫(yī)療行業(yè)的應(yīng)用潛力巨大。我們正在解決各種各樣的問(wèn)題，包括協(xié)助病理學(xué)家檢測(cè)癌癥，理解各種對(duì)話來(lái)為醫(yī)生和病人提供幫助，使用機(jī)器學(xué)習(xí)解決基因組學(xué)中的各種問(wèn)題，其中包括一個(gè)名叫DeepVariant的開(kāi)源工具，用深度神經(jīng)網(wǎng)絡(luò)來(lái)從DNA測(cè)序數(shù)據(jù)中快速精確識(shí)別堿基變異位點(diǎn)。

我們還致力于盡早發(fā)現(xiàn)糖尿病視網(wǎng)膜病變（DR）和黃斑水腫，并于2016年12月在《美國(guó)醫(yī)學(xué)協(xié)會(huì)雜志》（JAMA）上發(fā)表論文。

2017年，我們將這個(gè)項(xiàng)目從研究階段過(guò)渡到實(shí)際的臨床影響階段。我們與Verily（Alphabet旗下的一家生命科學(xué)公司）合作，通過(guò)嚴(yán)格的流程來(lái)引導(dǎo)這項(xiàng)工作，我們還一起將這項(xiàng)技術(shù)整合到尼康的Optos系列眼科相機(jī)中。

此外，我們?cè)谟《扰Σ渴疬@套系統(tǒng)，因?yàn)橛《鹊难劭漆t(yī)生缺口多達(dá)12.7萬(wàn)人，因此，幾乎一半的患者確診時(shí)間過(guò)晚，并因?yàn)檫@種疾病而導(dǎo)致視力下降。作為試點(diǎn)的一部分，我們啟動(dòng)了這個(gè)系統(tǒng)，幫助Aravind Eye Hospitals眼科醫(yī)院的學(xué)生更好地診斷糖尿病x性眼疾病。

我們還與合作伙伴共同了解影響糖尿病性眼睛護(hù)理的人類因素，從患者和醫(yī)療服務(wù)提供者的人種學(xué)研究，到研究眼科醫(yī)生如何與人工智能系統(tǒng)之間的互動(dòng)方式。

我們也與領(lǐng)先的醫(yī)療組織和醫(yī)療中心的研究人員（包括美國(guó)斯坦福大學(xué)、美國(guó)加州大學(xué)舊金山分校和美國(guó)芝加哥大學(xué)），共同演示機(jī)器學(xué)習(xí)利用匿名病歷來(lái)預(yù)測(cè)醫(yī)療結(jié)果所能達(dá)到的具體效果（例如，考慮到病人的現(xiàn)狀，我們相信可以用針對(duì)其他數(shù)百萬(wàn)病人的病程進(jìn)行的研究來(lái)預(yù)測(cè)這個(gè)病人的未來(lái)，以此幫助醫(yī)療專業(yè)人士做出更好的決策）。

機(jī)器人

我們?cè)跈C(jī)器人領(lǐng)域的長(zhǎng)期目標(biāo)是設(shè)計(jì)各種學(xué)習(xí)算法，讓機(jī)器人在混亂的現(xiàn)實(shí)環(huán)境中運(yùn)行，并通過(guò)學(xué)習(xí)快速獲得新的技能和能力。而不是讓它們身處精心控制的環(huán)境中，處理當(dāng)今機(jī)器人所從事的那些為數(shù)不多的手工編程任務(wù)。

我們研究的一個(gè)重點(diǎn)是開(kāi)發(fā)物理機(jī)器人的技術(shù)，利用他們自己的經(jīng)驗(yàn)和其他機(jī)器人的經(jīng)驗(yàn)來(lái)建立新的技能和能力，分享經(jīng)驗(yàn)，共同學(xué)習(xí)。我們還在探索如何將基于計(jì)算機(jī)的機(jī)器人任務(wù)模擬與物理機(jī)器人的經(jīng)驗(yàn)結(jié)合起來(lái)，從而更快地學(xué)習(xí)新任務(wù)。

雖然模擬器的物理效果并不完全與現(xiàn)實(shí)世界相匹配，但我們觀察到，對(duì)于機(jī)器人來(lái)說(shuō)，模擬的經(jīng)驗(yàn)加上少量的真實(shí)世界經(jīng)驗(yàn)，比大量的實(shí)際經(jīng)驗(yàn)更能帶來(lái)好的結(jié)果。

除了真實(shí)世界的機(jī)器人經(jīng)驗(yàn)和模擬的機(jī)器人環(huán)境，我們還開(kāi)發(fā)了機(jī)器人學(xué)習(xí)算法，可以學(xué)習(xí)通過(guò)觀察人類的演示進(jìn)行學(xué)習(xí)。我們相信，這種模仿學(xué)習(xí)模式是一種非常有前途的方法，可以讓機(jī)器人快速掌握新的能力，不需要明確編程或明確規(guī)定一個(gè)活動(dòng)的具體目標(biāo)。

2017年11月我們組織召開(kāi)了第一屆Conference on Robot Learning （CoRL），大會(huì)匯集了在機(jī)器學(xué)習(xí)和機(jī)器人技術(shù)的交叉領(lǐng)域工作的研究人員。

基礎(chǔ)科學(xué)

我們也很看好機(jī)器學(xué)習(xí)技術(shù)解決重要科學(xué)問(wèn)題的長(zhǎng)期潛力。去年，我們利用神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)了量子化學(xué)中的分子性質(zhì)。

通過(guò)分析天文數(shù)據(jù)發(fā)現(xiàn)了新的系外行星。

對(duì)地震的余震進(jìn)行預(yù)測(cè)，并利用深度學(xué)習(xí)來(lái)指導(dǎo)自動(dòng)證明系統(tǒng)。

創(chuàng)意

如何利用機(jī)器學(xué)習(xí)技術(shù)去協(xié)助創(chuàng)意活動(dòng)，這也是我們很感興趣的領(lǐng)域。2017年，我們開(kāi)發(fā)了一個(gè)人工智能鋼琴二重奏工具，幫助YouTube音樂(lè)人Andrew Huang制作了新的音樂(lè)，并展示了如何教機(jī)器畫畫。

我們還演示了如何控制運(yùn)行在瀏覽器中的深度生成模型，制作新的音樂(lè)。這項(xiàng)工作贏得了NIPS 2017的“最佳演示獎(jiǎng)”，這也是谷歌大腦團(tuán)隊(duì)Magenta項(xiàng)目的成員連續(xù)第二年贏得這個(gè)獎(jiǎng)項(xiàng)。

在NIPS 2016上，來(lái)自Magenta項(xiàng)目的互動(dòng)音樂(lè)即興創(chuàng)作也贏得了“最佳演示獎(jiǎng)”。

People + AI研究項(xiàng)目（PAIR）

機(jī)器學(xué)習(xí)的進(jìn)步為人類與計(jì)算機(jī)的交互帶來(lái)了全新的可能。與此同時(shí)，同樣重要的是讓全社會(huì)從我們開(kāi)發(fā)的技術(shù)中受益。我們將這方面的機(jī)遇和挑戰(zhàn)視為高優(yōu)先級(jí)工作，并與谷歌內(nèi)部的許多團(tuán)隊(duì)合作，成立了PAIR項(xiàng)目（https：//ai.google/pair）。

PAIR的目標(biāo)是研究和設(shè)計(jì)人類與人工智能系統(tǒng)互動(dòng)最高效的方式。我們發(fā)起了公共研討會(huì)，將多個(gè)領(lǐng)域，包括計(jì)算機(jī)科學(xué)、設(shè)計(jì)，甚至藝術(shù)等領(lǐng)域的學(xué)術(shù)專家和實(shí)踐者聚集在一起。PAIR關(guān)注多方面課題，其中一些我們已有所提及：嘗試解釋機(jī)器學(xué)習(xí)系統(tǒng)，幫助研究者理解機(jī)器學(xué)習(xí)，以及通過(guò)deeplearn.js擴(kuò)大開(kāi)發(fā)者社區(qū)。關(guān)于我們以人為中心的機(jī)器學(xué)習(xí)工程方法，另一個(gè)案例是Facets的推出。這款工具實(shí)現(xiàn)訓(xùn)練數(shù)據(jù)集的可視化，幫助人們理解訓(xùn)練數(shù)據(jù)集。

機(jī)器學(xué)習(xí)的公平性和包容性

隨著機(jī)器學(xué)習(xí)在技術(shù)領(lǐng)域發(fā)揮越來(lái)越大的作用，對(duì)包容性和公平性的考量也變得更重要。谷歌大腦團(tuán)隊(duì)和PAIR正努力推動(dòng)這些領(lǐng)域的進(jìn)展。

我們發(fā)表的論文涉及：如何通過(guò)因果推理來(lái)避免機(jī)器學(xué)習(xí)系統(tǒng)的偏見(jiàn)，在開(kāi)放數(shù)據(jù)集中地理多樣性的重要性，以及對(duì)開(kāi)放數(shù)據(jù)集進(jìn)行分析，理解多元化和文化差異。我們也一直與跨行業(yè)項(xiàng)目Partnership on AI密切合作，確保公平性和包容性成為所有機(jī)器學(xué)習(xí)實(shí)踐者的目標(biāo)。

我們的文化

我們團(tuán)隊(duì)文化的一個(gè)重要方面在于，賦能研究員和工程師，幫助他們解決他們認(rèn)為最重要的基本研究問(wèn)題。2017年9月，我們公布了開(kāi)展研究的一般方法。

在我們的研究工作中，教育和指導(dǎo)年輕研究員貫穿始終。2016年，我們團(tuán)隊(duì)吸納了100多名實(shí)習(xí)生，2017年我們研究論文的約25%共同作者是實(shí)習(xí)生。

2016年，我們啟動(dòng)了“谷歌大腦入駐”項(xiàng)目，給有志于學(xué)習(xí)機(jī)器學(xué)習(xí)研究的人們提供指導(dǎo)。在項(xiàng)目啟動(dòng)第一年（2016年6月到2017年5月），27名入駐者加入我們團(tuán)隊(duì)。我們?cè)陧?xiàng)目進(jìn)行到一半時(shí)，以及結(jié)束后公布了進(jìn)展，列出了入駐者的研究成果。項(xiàng)目第一年的許多入駐者都是全職研究員和研究工程師，他們大部分人沒(méi)有參加過(guò)伯克利、卡耐基·梅隆、斯坦福、紐約大學(xué)和多倫多大學(xué)等頂級(jí)機(jī)器學(xué)習(xí)研究機(jī)構(gòu)的博士研究。

2017年7月，我們迎來(lái)了第二批入駐者，他們將與我們一同工作至2018年7月。他們已經(jīng)完成了一些令人興奮的研究，成果在許多研究場(chǎng)合發(fā)表。

現(xiàn)在，我們正在擴(kuò)大項(xiàng)目范圍，引入谷歌內(nèi)部的許多其他研究團(tuán)隊(duì)，并將項(xiàng)目更名為“Google AI Residency program”項(xiàng)目。（可以通過(guò)鏈接g.co/airesidency/apply了解2018年的項(xiàng)目情況）。

2017年，我們所做的工作遠(yuǎn)遠(yuǎn)超出我們?cè)谖闹薪榻B的內(nèi)容。我們致力于在頂級(jí)研究場(chǎng)合發(fā)表我們的成果。2017年，我們團(tuán)隊(duì)發(fā)表了140篇論文，包括在ICLR、ICML和NIPS上發(fā)表的超過(guò)60篇論文。如果想要進(jìn)一步了解我們的工作，你可以仔細(xì)閱讀我們的研究論文。