從圖靈測(cè)試到ChatGPT

馮志偉 張燈柯 饒高琦

中圖分類號(hào) H002 文獻(xiàn)標(biāo)識(shí)碼 A? 文章編號(hào)2096-1014（2023）02-0020-05

DOI? 10.19689/j.cnki.cn10-1361/h.20230202

圖靈獎(jiǎng)得主、深度學(xué)習(xí)之父辛頓（Geo? Hinton）說：“深度學(xué)習(xí)的下一個(gè)大的進(jìn)展應(yīng)當(dāng)是讓神經(jīng)網(wǎng)絡(luò)真正理解文檔的內(nèi)容?！睓C(jī)器學(xué)習(xí)著名學(xué)者喬丹（ Michael Jordan）說：“如果給我10億美元，我會(huì)用這10億美元建造一個(gè)NASAa級(jí)別的自然語言研究項(xiàng)目。”圖靈獎(jiǎng)得主楊樂昆（Yann LeCun）說：“深度學(xué)習(xí)的下一個(gè)前沿課題是自然語言理解?！蔽④浫驁?zhí)行副總裁沈向洋說：“下一個(gè)十年，懂語言者得天下?！蔽④泟?chuàng)始人比爾·蓋茨（ Bill Gates ）2019年6月在華盛頓經(jīng)濟(jì)俱樂部午餐會(huì)接受采訪時(shí)說：“我將創(chuàng)建一家人工智能公司，目標(biāo)是讓計(jì)算機(jī)學(xué)會(huì)閱讀，能夠吸收和理解全世界所有的書面知識(shí)?！?/p>

這些人工智能學(xué)界的著名人士不約而同地把他們的慧眼都聚焦到自然語言處理問題，都主張讓計(jì)算機(jī)理解自然語言，可見，自然語言處理是人工智能的一個(gè)非常重要的問題。本文描述自然語言處理從圖靈測(cè)試到 ChatGPT 的發(fā)展歷程中的幾個(gè)關(guān)鍵事件，借此探討技術(shù)、數(shù)據(jù)和范式發(fā)展的趨勢(shì)。

一、人工智能與語言的最初碰撞：圖靈測(cè)試

早在1936年，英國(guó)數(shù)學(xué)家圖靈（ Alan M. Turing）在研究可判定問題時(shí)就已提出，可以讓計(jì)算機(jī)理解自然語言，從而證明計(jì)算機(jī)能夠具備人的思維能力（ Turing 1936）。

1946年，第一臺(tái)電子計(jì)算機(jī) ENIAC 問世。1950年，圖靈在《計(jì)算機(jī)器與智能》一文中提出，檢驗(yàn)計(jì)算機(jī)是否具備智能，最好的辦法是讓它說英語并理解英語。為此，圖靈親自設(shè)計(jì)了“圖靈測(cè)試”（Turing test）。圖靈測(cè)試采用問與答的模式進(jìn)行。讓密閉在小屋中的一個(gè)測(cè)試者通過控制打字機(jī)與小屋外的兩個(gè)測(cè)試對(duì)象通話，其中一個(gè)測(cè)試對(duì)象是沒有生命的計(jì)算機(jī)，另一個(gè)是活生生的人。小屋內(nèi)的測(cè)試者不斷提出各種問題，通過回答辨別小屋外的究竟是計(jì)算機(jī)還是人（Turing 1950）。如果計(jì)算機(jī)能夠非常好地模仿人回答問題，以至于測(cè)試者在充分的交流中誤認(rèn)為它是人而不是機(jī)器，就可以稱這臺(tái)計(jì)算機(jī)能夠思維。

圖靈借由行為主義的觀點(diǎn)來判斷智能的存在，這一關(guān)鍵行為就是人類語言（中的對(duì)話）。這可視為語言與人工智能的最初碰撞。

二、早期受限對(duì)話的代表： ELIZA

美國(guó)科學(xué)家魏岑鮑姆（Joseph Weizenbaum）1966年設(shè)計(jì)了一個(gè)叫作 ELIZA 的程序，這個(gè)程序模仿一個(gè)同名機(jī)器人醫(yī)生與用戶的對(duì)話來做圖靈測(cè)試（ Weizenbaum 1966）。ELIZA 系統(tǒng)能與用戶進(jìn)行有一定限制的對(duì)話。在對(duì)話中， ELIZA 模仿用戶說話的表達(dá)方式，使用模式匹配的方法來處理輸入，并且把這種處理過的輸入轉(zhuǎn)換成適當(dāng)?shù)妮敵鰜砘卮鹩脩舻膯栴}。這是一個(gè)非常簡(jiǎn)單的模式匹配系統(tǒng)。

盡管在 ELIZA 系統(tǒng)中，計(jì)算機(jī)只是使用模式匹配的方法模仿人的語言行為，實(shí)際上并沒有理解語言；然而，由于魏岑鮑姆設(shè)計(jì)得很巧妙，以至于很多與 ELIZA 對(duì)話的人都相信， ELIZA 確實(shí)理解了他們所說的話以及他們提出的問題。

在這一階段，受限于數(shù)據(jù)規(guī)模、計(jì)算能力，基于規(guī)則的系統(tǒng)是主流。對(duì) ELIZA 而言，寫好的對(duì)話模板充當(dāng)了語言系統(tǒng)規(guī)則的作用。ELIZA 實(shí)際上是在遵循一系列規(guī)則的引導(dǎo)，從對(duì)話開頭走向結(jié)尾。這些精細(xì)規(guī)則的制定由語言學(xué)家和計(jì)算機(jī)專家合作完成。擴(kuò)充規(guī)則的成本巨大，且規(guī)則規(guī)模達(dá)到一定程度后，對(duì)其進(jìn)行管理十分困難。顯然這樣的系統(tǒng)泛化能力很弱，不能應(yīng)對(duì)超出規(guī)則之外的語言現(xiàn)象。

三、對(duì)話能力是否代表智能的爭(zhēng)議：“中文屋子”問題

美國(guó)哲學(xué)家塞爾（ John. R. Searle ）1980年在《心智，大腦和程序》一文中，提出了所謂“中文屋子”（ Chinese room ）的問題，對(duì)圖靈測(cè)試進(jìn)行質(zhì)疑（ Searle 1980）。塞爾提出，假設(shè)有一個(gè)只會(huì)英文的人被關(guān)在一間屋子里，要求他回答從小窗遞進(jìn)來的紙條上用中文書寫的問題。他面前有一組英文指令，說明中文符號(hào)和英文符號(hào)之間的對(duì)應(yīng)關(guān)系和操作關(guān)系。他首先要根據(jù)指令中的規(guī)則來操作問題中出現(xiàn)的中文符號(hào)，估測(cè)出問題的含義，然后再根據(jù)規(guī)則把答案用中文逐一寫出來。雖然他完全不會(huì)中文，但是，通過這種操作，他可以讓屋子外的人以為他會(huì)說流利的中文。塞爾以此說明，計(jì)算機(jī)只是善于根據(jù)規(guī)則做機(jī)械的操作而已（這與當(dāng)時(shí)基于規(guī)則的語言處理系統(tǒng)十分相似），這并不能證明計(jì)算機(jī)具備智能。塞爾的批評(píng)是對(duì)圖靈測(cè)試的一個(gè)挑戰(zhàn)。

塞爾提出“中文屋子”問題以來，哲學(xué)家和人工智能研究者關(guān)于圖靈測(cè)試究竟是否適合用來測(cè)試智能的爭(zhēng)論持續(xù)了很多年，至今還沒有平息。

如果我們使用人機(jī)對(duì)話技術(shù)，就能夠在很多應(yīng)用方面給眾多用戶提供更加自然的交互界面。這就產(chǎn)生了一個(gè)被稱為“智能會(huì)話代理”的研究焦點(diǎn)。所謂智能會(huì)話代理，就是能夠通過會(huì)話與人們進(jìn)行交際的計(jì)算機(jī)人造實(shí)體，在智能會(huì)話代理中，盡管計(jì)算機(jī)也只是模仿人們的自然語言，但是，人們往往會(huì)誤以為計(jì)算機(jī)理解了自然語言（馮志偉2014）。這樣的代理甚至可以在一些受限領(lǐng)域提供良好的服務(wù)（如醫(yī)療問答、酒店預(yù)訂、交通查詢等），在領(lǐng)域落地的實(shí)踐中，人們不再關(guān)心語言能力與心智的哲學(xué)問題。

四、數(shù)據(jù)驅(qū)動(dòng)范式的成功：沃森

進(jìn)入21世紀(jì)，人機(jī)對(duì)話系統(tǒng)在算力增長(zhǎng)和數(shù)據(jù)量擴(kuò)張的刺激下，取得了飛躍式的進(jìn)步。計(jì)算機(jī)“沃森”（Watson）贏得電視問答競(jìng)賽的人機(jī)大戰(zhàn)，則向世界直觀地展示了人機(jī)對(duì)話系統(tǒng)取得的巨大成就。

2011年2月14～16日，美國(guó)著名的智力競(jìng)答電視節(jié)目《危險(xiǎn)邊緣！》（ Jeopardy！）舉辦了一場(chǎng)人機(jī)競(jìng)答比賽。參加比賽的計(jì)算機(jī)是美國(guó)國(guó)際商用機(jī)器公司（IBM）研制的超級(jí)計(jì)算機(jī)“沃森”，人類選手則是曾經(jīng)多次贏得《危險(xiǎn)邊緣！》競(jìng)答冠軍的布拉德·布特和肯·詹寧斯。首日比賽中，沃森與布特打成了平手，領(lǐng)先于詹寧斯；次日比賽中，沃森答對(duì)了30道測(cè)試題中的24道，詹寧斯和布特分別只答對(duì)3道和2道；2月16日競(jìng)賽揭曉，沃森以絕對(duì)優(yōu)勢(shì)戰(zhàn)勝了人類高手，獲得冠軍，贏得100萬美元獎(jiǎng)金（開發(fā)者捐給了慈善機(jī)構(gòu)）。這是計(jì)算機(jī)自動(dòng)問答系統(tǒng)研究引起世界矚目的重要成就。

沃森是20多名 IBM 研究人員4年心血的結(jié)晶。它由90臺(tái) IBM 服務(wù)器組成，擁有15TB 的存儲(chǔ)容量、2880個(gè)處理器線程，每秒可進(jìn)行80萬億次運(yùn)算。它存儲(chǔ)了包括辭書、百科全書和電影劇本在內(nèi)的數(shù)百萬種資料。在 IBM 強(qiáng)大的數(shù)據(jù)檢索、并行計(jì)算基礎(chǔ)上，沃森充分融合了基于統(tǒng)計(jì)自然語言處理方法的自然語言的結(jié)構(gòu)分析、自然語言的語義技術(shù)，然后用自然語言做出回答（ Ferrucci et al.2013）。研究人員突破性地給予了沃森用自然語言精確回答問題的能力，推動(dòng)了人工智能的發(fā)展。

20世紀(jì)90年代以來，隨著互聯(lián)網(wǎng)興起和硬件快速發(fā)展，自然語言處理所需的數(shù)據(jù)規(guī)模和大規(guī)模計(jì)算所需的硬件基礎(chǔ)得到了顯著提升。自然語言處理的研究和開發(fā)由依賴專家知識(shí)的規(guī)則系統(tǒng)，向依賴大數(shù)據(jù)和統(tǒng)計(jì)分析的統(tǒng)計(jì)路線轉(zhuǎn)換。對(duì)話代理在這一階段逐步發(fā)展成熟，開始更深地進(jìn)入更多日常生活領(lǐng)域。

五、深度神經(jīng)網(wǎng)絡(luò)的前沿技術(shù)：預(yù)訓(xùn)練模型

2012年以來，自然語言處理開始從統(tǒng)計(jì)學(xué)習(xí)向端到端的神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)方法轉(zhuǎn)型，大大地提高了處理系統(tǒng)的性能，使得自然語言處理進(jìn)入了嶄新的階段，基本上形成了一套完備的技術(shù)體系，標(biāo)志著自然語言處理進(jìn)入了大規(guī)模工業(yè)化實(shí)施的時(shí)代（馮志偉2019）。

在深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的研究中，語言數(shù)據(jù)資源不足是一個(gè)嚴(yán)重的問題。例如，商用神經(jīng)機(jī)器翻譯系統(tǒng)需要包含數(shù)千萬個(gè)句子甚至數(shù)億個(gè)句子的大數(shù)據(jù)作為訓(xùn)練語料。如果語言數(shù)據(jù)不足，自然語言處理系統(tǒng)的質(zhì)量就難以保證。為了解決這一問題，學(xué)者們開始探討在小規(guī)模語言數(shù)據(jù)中研制自然語言處理系統(tǒng)的可行性問題，提出了“預(yù)訓(xùn)練語言模型”（馮志偉，李穎2021）。如圖1所示。

預(yù)訓(xùn)練語言模型使用大規(guī)模文本語料庫數(shù)據(jù)（Large-scale text corpus）進(jìn)行預(yù)訓(xùn)練（Pre-training），建立預(yù)訓(xùn)練語言模型（ Pre-trained language models），然后使用面向特定任務(wù)的小規(guī)模語言數(shù)據(jù)集（ Task datasets），根據(jù)遷移學(xué)習(xí)的原理進(jìn)行微調(diào)（Fine-tuning），形成下游任務(wù)的模型（ Models for downstream tasks）。這樣的預(yù)訓(xùn)練語言模型使得研究者能夠?qū)Ｗ⒂谔囟ǖ娜蝿?wù)，而適用于各種任務(wù)的通用的預(yù)訓(xùn)練語言模型可以降低自然語言處理系統(tǒng)的研制難度，從而加快了自然語言處理系統(tǒng)研究創(chuàng)新的步伐。

使用這樣的“預(yù)訓(xùn)練范式”，研究人員設(shè)計(jì)出各種預(yù)訓(xùn)練模型，可以把通過預(yù)訓(xùn)練從大規(guī)模文本數(shù)據(jù)中學(xué)習(xí)到的語言知識(shí)，遷移到下游的自然語言處理和生成任務(wù)模型的學(xué)習(xí)中。預(yù)訓(xùn)練模型在幾乎所有自然語言處理的下游任務(wù)上，都表現(xiàn)出了優(yōu)異的性能，進(jìn)一步驗(yàn)證了預(yù)訓(xùn)練模型確實(shí)是一個(gè)功能強(qiáng)大的大語言模型，在自然語言處理的研究和應(yīng)用領(lǐng)域產(chǎn)生了廣泛的影響。

由 OpenAI 公司開發(fā)的基于轉(zhuǎn)換器（Transformer）的生成式預(yù)訓(xùn)練模型（ Generative Pre-trained Transformer ，GPT）已經(jīng)成為當(dāng)前自然語言處理研究的核心技術(shù)。GPT 利用轉(zhuǎn)換器模型的編碼器和解碼器，從語言大數(shù)據(jù)中獲取了豐富的語言知識(shí)，在自然語言生成任務(wù)上達(dá)到了相當(dāng)高的水平。這樣一來，生成式預(yù)訓(xùn)練模型 GPT 便成為深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)時(shí)代自然語言處理研究最重要的語言模型。

六、生成式預(yù)訓(xùn)練模型的強(qiáng)大展示： ChatGPT

GPT 的訓(xùn)練參數(shù)越來越多。2018年6月開發(fā)的 GPT 有1.17億個(gè)參數(shù)。2019年2月開發(fā)的 GPT-2有15億個(gè)參數(shù)，實(shí)現(xiàn)了無監(jiān)督的多任務(wù)學(xué)習(xí)，具有一定的自我糾偏能力。GPT-2開始訓(xùn)練的數(shù)據(jù)取自著名社交站點(diǎn) Reddit 上的文章，累計(jì)有800萬篇。2020年5月， GPT-3啟動(dòng)，有1750億個(gè)參數(shù)，開始了大規(guī)模的機(jī)器學(xué)習(xí)，把能獲取到的人類書籍、學(xué)術(shù)論文、新聞、高質(zhì)量的各種信息作為學(xué)習(xí)內(nèi)容，并形成了“基于人類反饋的強(qiáng)化學(xué)習(xí)方案”（RLHF）。后來，又在此基礎(chǔ)上開發(fā)出 ChatGPT。 ChatGPT 可以通過使用大量的訓(xùn)練數(shù)據(jù)來模擬人的語言行為，生成人類可以理解的文本，并根據(jù)上下文語境，給出恰當(dāng)?shù)幕卮?，甚至還能做句法分析和語義分析，幫助用戶調(diào)試計(jì)算機(jī)程序，寫計(jì)算機(jī)程序的代碼，達(dá)到了很強(qiáng)的自然語言生成能力。

2022年11月30日， ChatGPT 開放公眾測(cè)試，真正實(shí)現(xiàn)了完全自主的“人工智能內(nèi)容生成”（AIGC），包括文本生成、代碼生成、視頻生成、文本問答、圖像生成、論文寫作、影視創(chuàng)作、科學(xué)實(shí)驗(yàn)設(shè)計(jì)等。

現(xiàn)在的 ChatGPT 是由效果比 GPT-3更強(qiáng)大的 GPT-3.5系列模型提供支持的，這些模型使用微軟 Azure AI 超級(jí)計(jì)算基礎(chǔ)設(shè)施上的文本和代碼數(shù)據(jù)進(jìn)行訓(xùn)練。據(jù)說， GPT-4的參數(shù)將高達(dá)100萬億。這是真正的大語言模型。

交互式是 ChatGPT 的一大優(yōu)點(diǎn)，用戶可以自如地與 ChatGPT 對(duì)話，自然而且流暢。ChatGPT 的回答是連續(xù)的、穩(wěn)定的、一致的，用戶與 ChatGPT 對(duì)話，就像是與朋友聊天。

ChatGPT 也承認(rèn)它還存在一些不足。最近《時(shí)代周刊》對(duì) ChatGPT 做了一個(gè)專訪。聊天記錄如下：

記者：我應(yīng)該相信你剛才說的一切都是真的嗎？

ChatGPT ：作為一個(gè)大型語言模型，我被設(shè)計(jì)成對(duì)各種各樣的輸入產(chǎn)生類似人類的反應(yīng)。我盡我所能提供準(zhǔn)確和有用的信息，但我不是一個(gè)完美的知識(shí)來源，可能不總是能夠提供完整或正確的答案。此外，我不能瀏覽互聯(lián)網(wǎng)或訪問任何外部的信息，所以我的反應(yīng)僅限于我所得到的訓(xùn)練數(shù)據(jù)和算法。這意味著我的回答中可能有一些錯(cuò)誤或不準(zhǔn)確的地方，你不應(yīng)該把我所說的都當(dāng)成真實(shí)和準(zhǔn)確的。在做任何重要決定或采取任何行動(dòng)之前，運(yùn)用自己的判斷和常識(shí)核實(shí)多方信息，才是重要的。

由于 ChatGPT 不能像搜索引擎那樣提供實(shí)時(shí)的信息，有時(shí)甚至?xí)峁┎环鲜聦?shí)的錯(cuò)誤答案，或者一本正經(jīng)地胡說八道，或者說一些永遠(yuǎn)正確的廢話。這是因?yàn)?ChatGPT 實(shí)際上只是一個(gè)大規(guī)模的語言模型，只能在大規(guī)模數(shù)據(jù)的基礎(chǔ)上對(duì)人類的語言行為進(jìn)行模仿，并沒有真正理解聊天的內(nèi)容。實(shí)際上， ChatGPT 盡管能夠針對(duì)人類的輸入產(chǎn)生類似于人類的反應(yīng)，然而，它并不知道它知道什么，也不知道它不知道什么，并不能真正地理解自然語言。

ChatGPT 的成功，歸根結(jié)底是人類智慧的勝利，因?yàn)?ChatGPT 是由人類研制出來的，它的智慧是人類賦予的。ChatGPT 的出現(xiàn)，使得人工智能由感知智能進(jìn)入了認(rèn)知智能，而且改變了在此之前的簡(jiǎn)單的人機(jī)關(guān)系，并將帶來一個(gè)人機(jī)合作的新時(shí)代。

七、結(jié)語

雖然 ChatGPT 具有優(yōu)異的對(duì)話性能，但我們?nèi)砸逍训卣J(rèn)識(shí)到，人類對(duì)于自然語言的理解，除了依靠語言內(nèi)部各種關(guān)系的知識(shí)之外，還需要依靠外部物理世界、外部精神世界和外部社會(huì)歷史世界等背景知識(shí)。自然語言文本中的每一個(gè)符號(hào)、每一個(gè)合乎規(guī)則結(jié)構(gòu)的符號(hào)串，在人腦中都與外部的客觀世界有著千絲萬縷的聯(lián)系。這些復(fù)雜聯(lián)系不僅以語言數(shù)據(jù)中的符號(hào)形式表現(xiàn)出來，還具有更深入的心理感情表征以及社會(huì)文化背景。然而， ChatGPT 使用生成式預(yù)訓(xùn)練模型從大規(guī)模語言數(shù)據(jù)中獲取的大量參數(shù)，基本上都是基于自然語言數(shù)據(jù)的參數(shù)，還沒有這些語言數(shù)據(jù)與語言外部的客觀世界的千絲萬縷聯(lián)系的參數(shù)。因此， ChatGPT 只是處理自然語言本身的數(shù)據(jù)，并不能處理豐富多彩的語言外信息。所以，我們認(rèn)為， ChatGPT 盡管已經(jīng)取得了很大進(jìn)步，已經(jīng)具有強(qiáng)大的處理人類語言數(shù)據(jù)的能力，但是它處理外在世界的普通常識(shí)以及社會(huì)歷史背景的能力還十分有限。從本質(zhì)上說， ChatGPT 具備的智能還不是完善的人類智能，只是初級(jí)階段的人類智能，而語言是人類的高級(jí)智能活動(dòng)，不僅涉及語言內(nèi)部的結(jié)構(gòu)，還涉及語言外部的日常生活知識(shí)、科學(xué)技術(shù)知識(shí)、歷史知識(shí)、社會(huì)知識(shí)、文化背景知識(shí)、人們的情感愿望、人們的心理狀態(tài)等豐富多彩的因素。自然語言是極為復(fù)雜的，要進(jìn)一步提高自然語言處理的水平，讓計(jì)算機(jī)真正地理解自然語言，仍然還是一個(gè)極為困難的任務(wù)。我們還要繼續(xù)努力，用新技術(shù)來探索自然語言的奧秘（馮志偉，張燈柯2022）。

與此同時(shí)，縱觀從圖靈測(cè)試到 ChatGPT 人工智能中人機(jī)對(duì)話系統(tǒng)的歷程，其背后數(shù)據(jù)資源、技術(shù)迭代和科學(xué)范式都發(fā)生了巨大的變化。人工智能借由人機(jī)對(duì)話深入地介入了語言生活。這一發(fā)展過程中，語言學(xué)和語言學(xué)家在不同時(shí)期有所介入，但總體而言并不多。隨著人機(jī)對(duì)話性能的飛速提升，語言學(xué)和語言學(xué)家需要正視沖擊，并進(jìn)行反思。語言中知識(shí)的表示和挖掘方法，語言使用中的倫理，都是當(dāng)今人機(jī)共生語言生活中亟待研究的問題（饒高琦2022）。面對(duì)新時(shí)代的要求，語言學(xué)家應(yīng)當(dāng)與時(shí)俱進(jìn)，進(jìn)行更新知識(shí)的再學(xué)習(xí)，成為適應(yīng)數(shù)智時(shí)代需要的語言學(xué)家。

參考文獻(xiàn)

馮志偉2014 《言語行為理論和會(huì)話智能代理》，《外國(guó)語》第1期。

馮志偉2019 《詞向量及其在自然語言處理中的應(yīng)用》，《外語電化教學(xué)》第1期。

馮志偉，李穎 2021 《自然語言處理中的預(yù)訓(xùn)練范式》，《外語研究》第1期。

馮志偉，張燈柯 2022 《機(jī)器翻譯與人工翻譯相輔相成》，《外國(guó)語》第6期。

饒高琦 2022 《重視聊天機(jī)器人背后的語言知識(shí)與倫理》，《光明日?qǐng)?bào)》12月13日第02版。

Ferrucci， D.， A. Levas， S. Bagchi， et al.2013. Watson： Beyond Jeopardy！ Arti?cial Intelligence 199–200， 93–105. Searle， J. R.1980. Minds， brains and programmes. Behavioral and Brain Sciences， Vol.3.

Turing， A. M.1936. On computable numbers， with an application to the Entscheidungsproblem. Proceedings of the LondonMathematical Society 42， 230–265.

Turing， A. M.1950. Computing machinery and intelligence. Mind 59， 433–460.

Weizenbaum， J.1966. ELIZA—A computer program for the study of natural language communication between man and machine. Communications ofthe ACM 9（1）， 36–45.

責(zé)任編輯：王飆