數(shù)據(jù)驅(qū)動(dòng)與知識(shí)引導(dǎo)相互結(jié)合的智能計(jì)算

吳飛

（1.浙江大學(xué) 人工智能研究所, 浙江 杭州 31027; 2.浙江大學(xué) 上海高等研究院, 浙江 杭州 31027）

在“數(shù)據(jù)是燃料、人工智能是引擎”的數(shù)據(jù)驅(qū)動(dòng)機(jī)器學(xué)習(xí)時(shí)代，人工智能正在經(jīng)歷“大數(shù)據(jù)、小任務(wù)；小數(shù)據(jù)、大任務(wù)”的涅槃，如何從嫻熟于“煉金術(shù)”的調(diào)參師向篤定于“厚積薄發(fā)”推理機(jī)邁進(jìn)，是面臨的巨大挑戰(zhàn)。機(jī)器學(xué)習(xí)(machine learning)這一單詞首次出現(xiàn)時(shí)被定義為“不需要確定性編程就可以賦予機(jī)器某項(xiàng)技能的研究領(lǐng)域”，其目標(biāo)是構(gòu)造一種學(xué)習(xí)機(jī)器(learning machine)，使之像人一樣具有“l(fā)earning to learn”的能力。人類學(xué)習(xí)離不開數(shù)據(jù)、知識(shí)以及與環(huán)境交互等，本文探討數(shù)據(jù)驅(qū)動(dòng)與知識(shí)引導(dǎo)相互結(jié)合的智能計(jì)算這一問題，希望這一模式將推動(dòng)更通用(more general)計(jì)算范式躍變。

1 四種人工智能計(jì)算范式

圖靈獎(jiǎng)獲得者 Jim Gray 曾說，人類社會(huì)已經(jīng)經(jīng)歷了4種計(jì)算范式。第一種是從實(shí)驗(yàn)觀測(cè)中進(jìn)行科學(xué)發(fā)現(xiàn)。比如，從比薩斜塔上同時(shí)扔下兩個(gè)質(zhì)量大小不一的鐵球，這兩個(gè)鐵球會(huì)同時(shí)落地。通過這個(gè)實(shí)驗(yàn)觀測(cè)可知，對(duì)于同樣的下落距離，不管物體質(zhì)量多大、只要初速度相同，會(huì)用同樣時(shí)間經(jīng)過同樣的路途距離，于是發(fā)現(xiàn)重力加速度相同這一規(guī)律。第二種范式是從數(shù)據(jù)中進(jìn)行模型歸納和方程推導(dǎo)。比如，一段電流通過指南針，磁鐵的南北極會(huì)發(fā)生變化，奧斯特由此發(fā)現(xiàn)了電生磁現(xiàn)象，法拉第隨后發(fā)現(xiàn)了磁生電現(xiàn)象。麥克斯韋從電生磁和磁生電中歸納出了麥克斯韋方程組，以一種近乎完美的方式統(tǒng)一了電和磁，并預(yù)言光就是一種電磁波，這是物理學(xué)家在統(tǒng)一之路上的巨大進(jìn)步。在科學(xué)發(fā)現(xiàn)的壯美征途上，牛頓統(tǒng)一了力，麥克斯韋統(tǒng)一了電，愛因斯坦統(tǒng)一了場(chǎng)，這都是從數(shù)據(jù)中進(jìn)行方程歸納，來刻畫現(xiàn)象后面所隱藏的隱秩序。第三種范式是虛擬仿真，即搭建計(jì)算系統(tǒng)去模擬復(fù)雜的客觀物理世界，從仿真系統(tǒng)中觀測(cè)各種因素的此消彼長，再指導(dǎo)客觀物理世界的改造。

Jim Gray 認(rèn)為現(xiàn)在進(jìn)入了被稱為數(shù)據(jù)密集型計(jì)算的第四范式階段。在數(shù)據(jù)密集型計(jì)算時(shí)代，隨著物聯(lián)網(wǎng)、5G和傳感器等技術(shù)進(jìn)步，可以史無前例獲得記錄人類社會(huì)生產(chǎn)、生活和工作等方面海量數(shù)據(jù)。從這些海量數(shù)據(jù)出發(fā)，挖掘其結(jié)構(gòu)、模式和規(guī)律等知識(shí)，從數(shù)據(jù)到知識(shí)、從知識(shí)到?jīng)Q策與服務(wù)是數(shù)據(jù)密集型計(jì)算要解決的難點(diǎn)問題。2021年7月，李國杰院士在《中國計(jì)算機(jī)學(xué)會(huì)通訊》上發(fā)表了“有關(guān)人工智能的若干認(rèn)識(shí)問題”文章，圍繞AlphaFold這一任務(wù)所帶來的啟示，提出了“科學(xué)研究第五范式雛形”的思想，這一思想很重要的一點(diǎn)就是將領(lǐng)域知識(shí)(或者人類先驗(yàn)知識(shí))與算法模型緊密結(jié)合起來，以更好解決領(lǐng)域問題。

2 人腦三類記憶體的啟示

神經(jīng)科學(xué)家指出：人類大腦有三種記憶體，分別是瞬時(shí)記憶、工作記憶和長期記憶。我們可以眼觀六路、耳聽八方，瞬時(shí)感覺到所處空間各種信息，這就是瞬時(shí)記憶在起作用。只有那些引起瞬時(shí)記憶關(guān)注的信息，才會(huì)被輸送給工作記憶體。

人類直覺、頓悟和因果等智能活動(dòng)均在工作記憶體中完成。但是，工作記憶不是僅僅處理瞬時(shí)記憶所傳送而來的“感興趣信息”，而是從長期記憶體中喚醒或激活與這些“感興趣信息”相關(guān)的信息，整合起來一起處理。這就是我們常言的“弦外之音、畫外之意”。即智能體在處理信息時(shí)不是就事論事或就數(shù)據(jù)論數(shù)據(jù)，而是會(huì)將與之相關(guān)的信息綜合起來進(jìn)行處理。因此，我們可從“此弦”知曉“外之音”、從“此畫”洞悉“外之意”。

長期記憶體中所存儲(chǔ)的“相關(guān)信息”以怎樣形式存在是值得探索的問題?；蛟S這些潛在信息是常識(shí)性知識(shí)(common sense)或背景性知識(shí)或暗知識(shí)。這些知識(shí)我們無法用言語來明確表達(dá)、機(jī)器也無法解釋，但人的大腦可以很好地存儲(chǔ)下來(并且以恰當(dāng)范方式處理)。既然人腦是這樣的活動(dòng)模式，現(xiàn)在的智能計(jì)算可否仿照人腦這一計(jì)算模式或思維模式呢？

DeepMind 在 2016 年發(fā)表了一篇《神經(jīng)圖靈機(jī)(Neural Turing Machine)》的文章，將傳統(tǒng)圖靈機(jī)模型與人腦思維機(jī)制進(jìn)行融合，將其稱為深度神經(jīng)推理(deep neural reasoning)。

我們知道圖靈機(jī)包括一條兩端無限長的紙帶，紙帶上面有非常多方格。我們可以將計(jì)算任務(wù)和所需數(shù)據(jù)放在紙帶上，然后數(shù)據(jù)或事件觸發(fā)圖靈機(jī)中已經(jīng)寫好的程序來完成計(jì)算任務(wù)。在這個(gè)過程中，難以用到紙帶上以外的數(shù)據(jù)或信息。但是，神經(jīng)圖靈機(jī)外接了一個(gè)外在記憶體(external memory)，不斷從外在記憶體中激活與當(dāng)前處理數(shù)據(jù)相關(guān)的信息，以對(duì)當(dāng)前數(shù)據(jù)更好學(xué)習(xí)和理解，取得更佳效果。這篇文章發(fā)表后，Nature 期刊為其撰寫了一篇社論，稱其為深度神經(jīng)推理(deep neural reasoning)，而不是平常的推理機(jī)制。

現(xiàn)在出現(xiàn)了一個(gè)現(xiàn)象，只要有一個(gè)X算法，一定會(huì)把這個(gè)算法拓展為deep+X算法或neural+X算法。比如有n-gram的自然語言處理算法，就出現(xiàn)了 neural language model；有強(qiáng)化學(xué)習(xí)，就有deep reinforcement learning。這不是故作懸殊，不是單純追求從淺層模型到深層模型的轉(zhuǎn)變，而是在這個(gè)轉(zhuǎn)變過程中，巧妙融合數(shù)據(jù)、知識(shí)和交互經(jīng)驗(yàn)，體現(xiàn)多種學(xué)習(xí)手段的集成式融合。

3 邁向新計(jì)算范式的科學(xué)計(jì)算

科學(xué)計(jì)算是將數(shù)據(jù)驅(qū)動(dòng)和知識(shí)引導(dǎo)進(jìn)行結(jié)合的重要研究領(lǐng)域。自然(Nature)雜志在2018年發(fā)表了一篇題為Machine learning for molecular and materials science的文章，指出在分子與材料等物質(zhì)合成領(lǐng)域先后出現(xiàn)了三代計(jì)算方法：第一代是給定一個(gè)結(jié)構(gòu)，研究預(yù)測(cè)該結(jié)構(gòu)性質(zhì)的算法；第二代是給定物質(zhì)的若干組成成分，去重建該物質(zhì)的組成結(jié)構(gòu)，然后基于重建的結(jié)構(gòu)預(yù)測(cè)其性質(zhì)；第三代是給定海量數(shù)據(jù)，從中辨析哪些成分可通過怎樣的反應(yīng)生成結(jié)構(gòu)，推理該結(jié)構(gòu)的性質(zhì)。第三代計(jì)算方法是當(dāng)前人工智能重要發(fā)展方向。

AlaphaFold 是 1972 年諾貝爾獎(jiǎng)獲得者克里斯蒂安·安芬森(Christian Anfinsen)）所提出的一個(gè)猜想。當(dāng)時(shí)，克里斯蒂安·安芬森在諾獎(jiǎng)?lì)C獎(jiǎng)典禮上提出如下猜想：一個(gè)蛋白質(zhì)的氨基酸(amino acid)序列應(yīng)該能完全決定這個(gè)蛋白質(zhì)的結(jié)構(gòu)，蛋白質(zhì)作為生命的基本構(gòu)件，其結(jié)構(gòu)與生命的各種功能息息相關(guān)。因此，可否從氨基酸序列出發(fā)，預(yù)測(cè)蛋白質(zhì)的三維結(jié)構(gòu)，從而形成“從數(shù)據(jù)到結(jié)構(gòu)到功能”的科學(xué)研究范式？

傳統(tǒng)通過實(shí)驗(yàn)來解析蛋白質(zhì)結(jié)構(gòu)的方法往往耗時(shí)長、成本高、難度大，如X線晶體衍射圖譜法、核磁共振法、冷凍電鏡法等。2021年8月，《自然》和《科學(xué)》均發(fā)表了有關(guān)蛋白質(zhì)三維空間結(jié)構(gòu)預(yù)測(cè)的文章。前者是Deepmind公司完成的AlphaFold、后者是西雅圖華盛頓大學(xué)蛋白質(zhì)設(shè)計(jì)研究所完成的 RoseTTAFold。在這兩篇論文中，AlphaFold 和 Rose TTAFold 都非常強(qiáng)調(diào)學(xué)習(xí)注意力(attention)，即蛋白質(zhì)結(jié)構(gòu)中不同變量之間的關(guān)聯(lián)依賴關(guān)系。

比較有趣的，Rose TTAFold 的第一作者認(rèn)為Rose TTAFold 的性能不如 AlphaFold，其原因在于Rose TTAFold所在實(shí)驗(yàn)室沒有研究深度學(xué)習(xí)的工程師，只是化學(xué)家應(yīng)用深度學(xué)習(xí)工具來做蛋白質(zhì)三維空間結(jié)構(gòu)預(yù)測(cè)的工作。從這里可以看出，AI研究一定要和X領(lǐng)域任務(wù)結(jié)合，形成AI+X的態(tài)勢(shì)，才能更好解決領(lǐng)域問題。

人工智能是使能之術(shù)，其一定是與來自不同領(lǐng)域工程師一起協(xié)作，才能解決領(lǐng)域問題，這也可回應(yīng)為什么李國杰院士說人工智能上不了天、落不了地，因?yàn)橐鉀Q場(chǎng)景的任務(wù)，一定要和場(chǎng)景的工程師，以及人工智能專家結(jié)合起來。

4 結(jié)論

諾貝爾物理學(xué)獎(jiǎng)獲得者、量子力學(xué)的奠基者之一保羅·狄拉克(Paul Adrien Maurice Dirac)在1929年一篇題為Quantum mechanics of many-electron systems(《多電子系統(tǒng)的量子力學(xué)》)文章中寫道：支撐大部分物理學(xué)和化學(xué)所發(fā)展的數(shù)學(xué)理論已經(jīng)完成了，目前只需要解決刻畫精確定律的復(fù)雜方程求解問題。

將數(shù)據(jù)驅(qū)動(dòng)的歸納抽象和知識(shí)引導(dǎo)的演繹推理與物理定理的約束優(yōu)化結(jié)合起來，圍繞具體場(chǎng)景問題開展場(chǎng)景人工智能研究，是推動(dòng)人工智能發(fā)展的一種手段。英國數(shù)學(xué)家理查德森(Richardson)1922年提出來“預(yù)報(bào)工廠(forecasting factory)”的夢(mèng)想，被認(rèn)為是科學(xué)計(jì)算思想的萌芽。1953年9月30日，理查森在睡眠中平靜去世，其夫人回憶說，理查森留給她終生難忘的一句話是：我們?nèi)松呢?zé)任是要為后人留下更美好的事物。

人工智能賦能科學(xué)發(fā)現(xiàn)，科學(xué)計(jì)算促進(jìn)了人工智能本身深入發(fā)展，人工智能又重塑不同學(xué)科研究的范式革命，美人之美，美美與共，留美于世！