智能對外漢語學(xué)習(xí)系統(tǒng)的設(shè)計(jì)與研究

李 斌，王浩暢

(1.湖南科技大學(xué)，湖南 湘潭 411201；

2.東北石油大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院，黑龍江 大慶 163318)

0 引 言

近年來，隨著人們對人工智能技術(shù)的開發(fā)與研究，它在全球都受到了廣泛關(guān)注，人工智能技術(shù)不僅在科技方面有著不可替代的作用，而且在教育教學(xué)領(lǐng)域也有著非常廣闊的前景。中國對人工智能的重視已上升為國家戰(zhàn)略層面，不僅于2017年發(fā)布的《新媒體聯(lián)盟地平線報告：2017高等教育版》中表示：人工智能對今后的教育發(fā)展將產(chǎn)生重要影響[1]，而且于2018年4月召開的全國教育信息化工作會議中也提到“人工智能化領(lǐng)跑教育信息化2.0”[2]。不僅國內(nèi)對人工智能教育領(lǐng)域應(yīng)用十分重視，國外還專門針對這一領(lǐng)域設(shè)有權(quán)威學(xué)術(shù)期刊——《人工智能教育應(yīng)用國際雜志》(International Journal of Artificial Intelligence in Education)。在這些信息的推波助瀾下，越來越多的高校和科研機(jī)構(gòu)都對“人工智能+教育”進(jìn)行了系統(tǒng)開發(fā)和深入研究。未來，人工智能技術(shù)與教育的融合將成為必然趨勢。

人工智能技術(shù)、信息技術(shù)和教育技術(shù)是實(shí)現(xiàn)“人工智能+教育”的三大技術(shù)支持。其中，機(jī)器學(xué)習(xí)、自然語言處理、圖像識別等技術(shù)都是人工智能技術(shù)和信息技術(shù)的整合；相關(guān)的教育技術(shù)有：教學(xué)設(shè)計(jì)、課程建設(shè)、教學(xué)方法等內(nèi)容[3]。這些技術(shù)為人工智能在教育領(lǐng)域中的應(yīng)用奠定了技術(shù)基礎(chǔ)。隨著中國國際地位的不斷提高，以及漢語國際教育在全球范圍的大力推廣，全世界掀起一股漢語熱的風(fēng)潮，促使越來越多的外國學(xué)生選擇來華進(jìn)行漢語學(xué)習(xí)。雖然學(xué)習(xí)漢語已經(jīng)成為一種趨勢，但是對外漢語教師極為匱乏，不僅如此，單一的漢語教學(xué)模式、課上課下缺少強(qiáng)化練習(xí)過程、教師教學(xué)任務(wù)繁重以及缺少真實(shí)的語言練習(xí)環(huán)境等限制條件，從根本上制約了漢語學(xué)習(xí)者的學(xué)習(xí)。

由于計(jì)算機(jī)在語言教學(xué)中的應(yīng)用，即計(jì)算機(jī)輔助語言學(xué)習(xí)(Computer Assisted Language Learning，CALL)可以使學(xué)習(xí)者突破時間和空間的限制進(jìn)行有效的語言學(xué)習(xí)和訓(xùn)練，便于學(xué)習(xí)者充分利用碎片時間進(jìn)行個性化學(xué)習(xí)。一時間內(nèi)，國內(nèi)外學(xué)者和科學(xué)家開發(fā)了許多漢語學(xué)習(xí)軟件，并進(jìn)行深入研究，研究內(nèi)容主要集中在應(yīng)用開發(fā)與設(shè)計(jì)、具體功能設(shè)計(jì)與實(shí)現(xiàn)、應(yīng)用調(diào)查分析、具體內(nèi)容分析與設(shè)計(jì)、應(yīng)用效果分析等方面。

目前，漢語學(xué)習(xí)軟件種類繁多，大多數(shù)軟件都涵蓋了課件音頻、視頻的播放、漢字書寫和發(fā)音教學(xué)、詞匯學(xué)習(xí)等方面的內(nèi)容，但由于在設(shè)計(jì)、技術(shù)、語言情境等方面上仍存不足，造成對外漢語學(xué)習(xí)者的學(xué)習(xí)支持力度不夠。對于語言學(xué)習(xí)來說，語境是至關(guān)重要的，學(xué)習(xí)語言的最佳路徑就是在真實(shí)的語境中進(jìn)行一對一對話，然而利用智能聊天機(jī)器人系統(tǒng)就可以實(shí)現(xiàn)創(chuàng)設(shè)真實(shí)的或模擬的漢語學(xué)習(xí)環(huán)境，主要運(yùn)用人工智能中的自然語言處理技術(shù)，創(chuàng)設(shè)出真實(shí)的語境，讓學(xué)習(xí)者與機(jī)器人用自然語言進(jìn)行對話。智能聊天機(jī)器人是人工智能領(lǐng)域中的一個重要研究方向，它是通過模擬自然語言來與人類進(jìn)行對話。人們學(xué)習(xí)語言的目的是為了交流，而學(xué)習(xí)語言的最佳途徑也是通過對話來學(xué)習(xí)交流，將聊天機(jī)器人與漢語學(xué)習(xí)相結(jié)合，開發(fā)具有理解功能的交互式人機(jī)對話漢語學(xué)習(xí)環(huán)境，對于提高對話和漢語表達(dá)能力，以及提高對外漢語教學(xué)質(zhì)量有著舉足輕重的地位和實(shí)踐價值?；谝陨显?，筆者開發(fā)了基于聊天機(jī)器人的智能對外漢語學(xué)習(xí)系統(tǒng)。

1 研究現(xiàn)狀

隨著人工智能技術(shù)的熱潮席卷全世界各個領(lǐng)域，人工智能技術(shù)在教育領(lǐng)域的應(yīng)用逐漸具有了不可替代的作用，因此，越來越多的國內(nèi)外研究者對在語言教學(xué)領(lǐng)域中使用人工智能技術(shù)產(chǎn)生了濃厚興趣。探討人工智能技術(shù)如何與語言教學(xué)領(lǐng)域進(jìn)行有機(jī)結(jié)合，不僅能極大地推動人工智能技術(shù)的進(jìn)步，還能夠促進(jìn)整個語言教學(xué)科研領(lǐng)域的發(fā)展。

黃曉潔[4](2006)提出輔助閱讀系統(tǒng)和輔助教材編寫系統(tǒng)的設(shè)計(jì)構(gòu)想，從理論層面和模型構(gòu)想上探索利用自然語言處理技術(shù)實(shí)現(xiàn)對外漢語輔助教學(xué)系統(tǒng)。盧丹丹[5](2009)提出基于人工智能技術(shù)的大學(xué)英語輔助教學(xué)系統(tǒng)，主要包括兩個部分：一是基于專家系統(tǒng)理論的教師英語輔助教學(xué)專家系統(tǒng)模塊；二是基于BP神經(jīng)網(wǎng)絡(luò)模型的學(xué)生自主學(xué)習(xí)系統(tǒng)模塊。安靜[6](2011)利用數(shù)據(jù)挖掘技術(shù)及人工智能中的專家系統(tǒng)理論，實(shí)現(xiàn)英語輔助教學(xué)系統(tǒng)。微軟首席研究官瑞克·拉希德(Rick Rashid)在2012年11月演示了計(jì)算機(jī)“同聲傳譯”系統(tǒng)，該系統(tǒng)不僅能將英文翻譯成中文，還可以模擬說話者的語音語調(diào)，該技術(shù)對實(shí)時口譯和語言學(xué)習(xí)等方面有很大幫助。陳穎[7](2013)利用自然語言理解、機(jī)器學(xué)習(xí)和智能搜索等人工智能技術(shù)，嘗試設(shè)計(jì)針對中學(xué)英語教學(xué)的人工智能系統(tǒng)，并探索該系統(tǒng)的具體實(shí)施條件和實(shí)現(xiàn)。郝丹[8](2015)通過將多媒體技術(shù)與自然語言處理技術(shù)相結(jié)合，開發(fā)漢語學(xué)習(xí)系統(tǒng)，實(shí)現(xiàn)漢語基礎(chǔ)知識學(xué)習(xí)模塊、專題瀏覽模塊以及語句學(xué)習(xí)、新聞?wù)颓楦蟹治鋈齻€結(jié)合自然語言處理技術(shù)的工具助手模塊。微軟亞洲研究院于2016年開發(fā)的微軟小英，是一款英語口語學(xué)習(xí)和訓(xùn)練軟件，融合了自然語言處理、語音識別和語音合成等人工智能技術(shù)，主要通過情景模擬、情境對話和跟讀訓(xùn)練等功能，幫助英語學(xué)習(xí)者完善發(fā)音、熟練口語，以及快速建立日常英語溝通能力。孫雅琳[9](2018)利用人工智能中的機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等技術(shù)，實(shí)現(xiàn)對大學(xué)英語技能訓(xùn)練系統(tǒng)中的口語主觀表達(dá)題的智能批改，將對減輕教師批改壓力、指導(dǎo)學(xué)生學(xué)習(xí)有很大幫助。賈積有博士[10]自主設(shè)計(jì)研發(fā)的“希賽可”，是一個模擬英語語言交流情境的智能英語學(xué)習(xí)系統(tǒng)，將自然語言處理、智能代理等人工智能技術(shù)應(yīng)用于英語教學(xué)領(lǐng)域，該系統(tǒng)主要包括“希賽可”聊天機(jī)器人、“希賽可”教學(xué)平臺和“希賽可”背單詞軟件三個部分[11]。楊曉瓊等[12]介紹的批改網(wǎng)，是一款基于自然語言處理、人工智能等技術(shù)實(shí)現(xiàn)的在線自動英語作文批改系統(tǒng)，通過分析學(xué)生英語書面作文，檢測出其中的錯誤，并即時給出評分、改善建議以及內(nèi)容分析結(jié)果，學(xué)生可根據(jù)提示自主修改多次提交，直至達(dá)到滿意為止，這種方式將有助于提升學(xué)生的英語寫作能力。不僅研究者在語言教學(xué)領(lǐng)域上運(yùn)用人工智能技術(shù)非常重視，國內(nèi)外研究機(jī)構(gòu)和學(xué)者也組織了許多相關(guān)會議和語言評測，進(jìn)一步促進(jìn)人工智能技術(shù)在語言教學(xué)領(lǐng)域的應(yīng)用。

計(jì)算機(jī)輔助語言學(xué)習(xí)的自然語言處理研討會(Natural Language Processing for Computer Assisted Language Learning，NLP4CALL)由北歐語言技術(shù)協(xié)會(Northern European Association of Language Technology，NEALT)組織，從2012年開始，每年舉行一次，致力于將自然語言處理和語音技術(shù)集成到CALL系統(tǒng)中，更好地理解和應(yīng)用語言，從而使CALL智能化，將該研究領(lǐng)域取名為智能計(jì)算機(jī)輔助語言學(xué)習(xí)(ICALL)，主要探討研究內(nèi)容如下：使用NLP工具來測試第二語言習(xí)得(SLA)理論和教學(xué)理論；利用SLA理論和教學(xué)實(shí)踐在ICALL工具中建模。從2016年起，將語言習(xí)得研究的自然語言處理研討會(Natural Language Processing for Research in Language Acquisition，NLP4LA)聯(lián)合在一起舉辦，目的是為研究語言習(xí)得過程中出現(xiàn)的理論和方法問題的研究人員提供一個會議場所，包括經(jīng)驗(yàn)和實(shí)驗(yàn)研究以及基于NLP的應(yīng)用。語言與智能高峰論壇(Language & Intelligence Summit)由中國中文信息學(xué)會和中國計(jì)算機(jī)學(xué)會聯(lián)合舉辦，2016年在北京首次召開，每年舉行一次。該高峰論壇主要探討語言與智能領(lǐng)域的新發(fā)展和新技術(shù)，目的在于向全世界介紹國際語言與人工智能領(lǐng)域的發(fā)展趨勢和創(chuàng)新成果，進(jìn)一步推動國內(nèi)語言與人工智能技術(shù)領(lǐng)域的發(fā)展。

北京洪堡論壇(BHF)于2013年11月創(chuàng)辦，由德國洪堡基金會和對外經(jīng)濟(jì)貿(mào)易大學(xué)共同主辦，每年9月在中國舉行。第六屆北京洪堡論壇于2018年9月在對外經(jīng)濟(jì)貿(mào)易大學(xué)舉行，以“綠色經(jīng)濟(jì)·文化傳承·教育2035”為主題，將從多角度、多方位、多領(lǐng)域探討，其中包含“人工智能與語言研究”主題論壇，主要有以下議題：人工智能技術(shù)在語言研究和翻譯領(lǐng)域的應(yīng)用、語言研究對人工智能研究的可能貢獻(xiàn)、人工智能與語言學(xué)發(fā)展的歷史關(guān)系等。

語言測試與評價國際研討會(International Conference on Language Testing and Assessment，ICLTA)是由教育部考試中心舉辦的年度學(xué)術(shù)會議，從2015年開始，該會議旨在及時傳遞國內(nèi)外語言測試領(lǐng)域的最新研究成果和研究動態(tài)及未來的發(fā)展趨勢，將成為具有中國特色的現(xiàn)代外語能力評測體系。該會議主要圍繞語言能力標(biāo)準(zhǔn)的制定、語言教師的教學(xué)能力及測評素養(yǎng)、外語測試改革與發(fā)展以及人工智能技術(shù)在語言測評中的應(yīng)用等議題進(jìn)行深入的交流和研討。

通過以上研究成果發(fā)現(xiàn)，人工智能技術(shù)應(yīng)用于語言教學(xué)有利于學(xué)習(xí)者自主學(xué)習(xí)和訓(xùn)練；便于教師教學(xué)和研究，以及減輕教師日常工作中面臨的各種任務(wù)，例如語法錯誤標(biāo)記、論文評分、創(chuàng)建測試和練習(xí)等；及時反饋有效增強(qiáng)學(xué)生學(xué)習(xí)。目前，大部分研究者利用人工智能技術(shù)對英語輔助學(xué)習(xí)進(jìn)行探索和研究，然而對漢語輔助學(xué)習(xí)的研究少之又少，更沒有以對話形式系統(tǒng)地對學(xué)習(xí)者進(jìn)行漢語輔助學(xué)習(xí)。因此，該文主要研究如何將智能聊天機(jī)器人和漢語學(xué)習(xí)相結(jié)合，利用聊天機(jī)器人系統(tǒng)輔助漢語學(xué)習(xí)，提供即時反饋，創(chuàng)設(shè)真實(shí)、交互的語言學(xué)習(xí)環(huán)境，讓學(xué)習(xí)者在模擬真實(shí)的語境中通過與聊天機(jī)器人對話來提高語言交流能力，實(shí)現(xiàn)學(xué)習(xí)效率最大化。

2 系統(tǒng)設(shè)計(jì)的理論基礎(chǔ)

系統(tǒng)主要以情境學(xué)習(xí)理論、建構(gòu)主義等教育理論，以及人工智能中的自然語言處理技術(shù)為指導(dǎo)，設(shè)計(jì)開發(fā)了基于聊天機(jī)器人的智能對外漢語學(xué)習(xí)系統(tǒng)。

情境學(xué)習(xí)理論認(rèn)為，學(xué)習(xí)不僅僅是一個個體性的意義建構(gòu)的心理過程，而更是一個社會性的、實(shí)踐性的、以差異資源為中介的參與過程[13-14]。它關(guān)注學(xué)習(xí)對認(rèn)知條件的依賴性，強(qiáng)調(diào)創(chuàng)建合適的情境來激發(fā)學(xué)習(xí)動機(jī)，鼓勵學(xué)習(xí)者參與到相關(guān)的社會活動中來進(jìn)行練習(xí)，有效地掌握語言[15-16]。情境學(xué)習(xí)理論強(qiáng)調(diào)學(xué)習(xí)者需要在知識實(shí)際應(yīng)用的真實(shí)情境中學(xué)習(xí)，對于漢語語言學(xué)習(xí)，最好的方法是讓學(xué)習(xí)者融入真實(shí)的日常生活情境中，借助恰當(dāng)?shù)恼Z言情境交流促成漢語學(xué)習(xí)。該智能對外漢語學(xué)習(xí)系統(tǒng)為學(xué)習(xí)者創(chuàng)設(shè)了一個類似真實(shí)的漢語學(xué)習(xí)情境，在模擬真實(shí)的情境下，通過與聊天機(jī)器人進(jìn)行場景對話練習(xí)，從而能有效地促進(jìn)漢語學(xué)習(xí)者的漢語學(xué)習(xí)水平，并靈活應(yīng)用于實(shí)際生活中。

建構(gòu)主義學(xué)習(xí)理論認(rèn)為，知識不是通過教師傳授得到的，而是學(xué)習(xí)者在一定的情境，即社會文化背景下，借助其他人(包括教師和學(xué)習(xí)伙伴)的幫助，利用必要的學(xué)習(xí)資料，通過意義建構(gòu)的方式而獲得[17]。建構(gòu)主義學(xué)習(xí)理論是以學(xué)習(xí)者為中心，強(qiáng)調(diào)學(xué)習(xí)者的主觀能動性，然而基于聊天機(jī)器人的智能對外漢語學(xué)習(xí)系統(tǒng)正體現(xiàn)學(xué)習(xí)者是學(xué)習(xí)主體的思想，強(qiáng)調(diào)學(xué)習(xí)過程是學(xué)習(xí)者積極主動構(gòu)建的過程。建構(gòu)主義還強(qiáng)調(diào)情境對漢語習(xí)得的意義構(gòu)建的重要性，學(xué)習(xí)總是與一定的情境相聯(lián)系的，即應(yīng)創(chuàng)建與學(xué)習(xí)者的實(shí)踐生活相近的學(xué)習(xí)情境和相應(yīng)的交流活動，可以使學(xué)習(xí)者在這樣的語言環(huán)境和交流中完成意義建構(gòu)。該智能對外漢語學(xué)習(xí)系統(tǒng)將學(xué)習(xí)者置于特定的情境之中，通過和聊天機(jī)器人的相互交流，使學(xué)習(xí)者在交互的情境中利用自己已有的經(jīng)驗(yàn)基礎(chǔ)去主動獲取當(dāng)前學(xué)習(xí)到的新知識，從而完成意義建構(gòu)，進(jìn)而提高學(xué)習(xí)者對漢語學(xué)習(xí)的積極性和主動性，以及漢語語言運(yùn)用能力。

聊天機(jī)器人系統(tǒng)的核心技術(shù)是自然語言處理技術(shù)，自然語言處理是將人類之間交流溝通所用的語言經(jīng)過處理轉(zhuǎn)化為機(jī)器所能理解的機(jī)器語言，進(jìn)而實(shí)現(xiàn)人際間相互交流[18]。它是一門綜合性的交叉學(xué)科，涉及到計(jì)算機(jī)科學(xué)、語言學(xué)和數(shù)學(xué)等領(lǐng)域的知識。該聊天機(jī)器人涉及到中文分詞、詞性標(biāo)注、命名實(shí)體識別、關(guān)鍵詞提取等自然語言處理技術(shù)。利用自然語言處理技術(shù)的對外漢語學(xué)習(xí)系統(tǒng)的特點(diǎn)是不僅具有自然語言生成與理解能力，并且在學(xué)習(xí)過程中模擬真實(shí)的語言環(huán)境，利用簡單流暢的人機(jī)交互界面方式與機(jī)器人進(jìn)行漢語對話交流，激發(fā)學(xué)習(xí)者的自主學(xué)習(xí)能力，通過創(chuàng)設(shè)自然的語言交流環(huán)境，達(dá)到對學(xué)習(xí)者所學(xué)知識的鞏固與反饋，提高學(xué)習(xí)效率。

3 系統(tǒng)結(jié)構(gòu)

智能對外漢語學(xué)習(xí)系統(tǒng)主要側(cè)重于對話練習(xí)，為漢語對話提供場景模擬，為學(xué)習(xí)者提供對話練習(xí)的模擬語境，通過聊天機(jī)器人技術(shù)來實(shí)現(xiàn)對話質(zhì)量良好的漢語對話練習(xí)，幫助用戶提升漢語水平。該文主要使用句子詞語切分和基于向量空間模型的計(jì)算實(shí)現(xiàn)句子語義相似匹配的對話檢索方法，利用TF-IDF算法將句子切分轉(zhuǎn)為利用關(guān)鍵詞表征的向量，構(gòu)造語句的空間向量模型后，通過計(jì)算兩個向量的余弦相似度來獲取用戶輸入文本和語料庫中問題Questions的相似度，根據(jù)相似度得分進(jìn)行排序，選擇得分最高的Questions對應(yīng)的回復(fù)Answer作為回答反饋給用戶，達(dá)到聊天的目的?；诹奶鞕C(jī)器人的智能對外漢語學(xué)習(xí)系統(tǒng)是一個能夠檢索語料庫產(chǎn)生回復(fù)和用戶進(jìn)行漢語聊天的系統(tǒng)，系統(tǒng)結(jié)構(gòu)和流程如圖1所示。系統(tǒng)構(gòu)成主要包括：輸入預(yù)處理、自然語言理解、中文-拼音匹配、對話管理、答案生成、輸出處理。

圖1 基于聊天機(jī)器人的智能對外漢語學(xué)習(xí)系統(tǒng)結(jié)構(gòu)

3.1 輸入預(yù)處理

輸入預(yù)處理模塊主要負(fù)責(zé)對學(xué)習(xí)者輸入的文本進(jìn)行前期的處理，然后交由自然語言理解模塊進(jìn)行處理。

3.2 自然語言理解

自然語言理解模塊主要通過中分分詞、詞性標(biāo)注、關(guān)鍵字提取等技術(shù)，理解用戶輸入問句的語義，從完整語句中提取出需要的信息，產(chǎn)生一個特定的語義表示。此語義表示是一個或多個關(guān)鍵字，并將其轉(zhuǎn)換為向量的形式。該系統(tǒng)采用了中國科學(xué)院計(jì)算機(jī)技術(shù)研究所研發(fā)的NLPIR-ICTCLAS漢語分詞系統(tǒng)[19]，實(shí)現(xiàn)將語句進(jìn)行分詞、詞性標(biāo)注和關(guān)鍵詞提取等功能。NLPIR-ICTCLAS漢語分詞系統(tǒng)采用基于層疊隱馬爾可夫模型CHMM(Cascaded Hidden Markov Model)，其分詞正確率達(dá)97.58%[8]，所以最終采用該漢語分詞系統(tǒng)。

3.3 中文-拼音匹配

中文-拼音匹配模塊首先檢測學(xué)習(xí)者輸入的文本是否符合格式要求，利用正則表達(dá)式匹配所有中文字符，然后根據(jù)規(guī)則將中文字符與詞典中的詞條進(jìn)行逐一匹配。本模塊主要是按照順序方向來對語句進(jìn)行掃描，按最大詞優(yōu)先的匹配優(yōu)先策略，完成中文字符切分，最后從微軟提供的語言包ChnCharInfo.dll讀取拼音，實(shí)現(xiàn)漢字轉(zhuǎn)拼音及顯示聲調(diào)的功能。該語言包庫功能強(qiáng)大，對于多音字都能轉(zhuǎn)換出來。

3.4 對話管理

對話管理模塊是整個系統(tǒng)的核心，主要通過檢索關(guān)鍵詞，利用TF-IDF算法計(jì)算詞語權(quán)重，并將用戶輸入的句子進(jìn)行向量表達(dá)，計(jì)算句子的相似度。接著進(jìn)行知識匹配，在對話模板語料庫中尋找到與之相匹配的問句模板，然后按照對應(yīng)的應(yīng)答模板將此答案模型交由答案生成模板進(jìn)行進(jìn)一步的處理。該系統(tǒng)聊天機(jī)器人對話模板語料庫(問題-答案對)的構(gòu)建主要以基于人工模板和規(guī)則的方法實(shí)現(xiàn)，模板匹配的任務(wù)就是從對話模板語料庫中檢索出與學(xué)習(xí)者輸入的文本最相關(guān)的問題，檢索通過基于關(guān)鍵詞的匹配方法，從中選擇回復(fù)效果最好的語句返回給用戶。

TF-IDF(即詞頻-逆文檔頻率)經(jīng)常應(yīng)用在信息檢索和文本處理等領(lǐng)域，由Jones[20]首次提出。該算法的實(shí)現(xiàn)原理是將句子分成若干個詞語，每個詞語對句子的重要程度是由語料庫中出現(xiàn)該詞語的文檔數(shù)和該詞語在句子中出現(xiàn)的次數(shù)共同決定的，如果一個詞語在句子中出現(xiàn)的次數(shù)越多，在語料庫中含有這個詞語的文檔數(shù)越少，則表明該詞語對句子具有很強(qiáng)的代表性。其中，TF指的是詞在句子中出現(xiàn)的次數(shù)，IDF是一個詞語普遍重要性的度量，利用TF*IDF來表示詞語在句子中的權(quán)重，其計(jì)算公式如下：

(1)

逆文檔頻率(IDF)=

(2)

詞語在句子中的權(quán)重(TF-IDF)=TF×IDF

(3)

(4)

由式(4)可知，Sim(T,T')的值越大，說明兩者的相似度越高，反之則越低。相似性的得分范圍在[0,1]，將得分最高的問題Questions文本相對應(yīng)的回復(fù)Answer輸出給用戶。對話模板語料庫中包含特定主題語料和開放主題語料，特定主題語料適合于初級學(xué)習(xí)者，該庫增加了回答引導(dǎo)功能，在特定對話場景中通過機(jī)器人提問引導(dǎo)學(xué)習(xí)者進(jìn)一步學(xué)習(xí)漢語，機(jī)器人回復(fù)的內(nèi)容是多樣化的，有效增加了聊天的趣味性。開放主題語料的聊天話題沒有限制，聊天方式也沒有限制，可由機(jī)器人提問，也可學(xué)習(xí)者提問，模擬了在現(xiàn)實(shí)生活中人與人之間的聊天形式的語境，更有利于學(xué)習(xí)者對話訓(xùn)練，并靈活應(yīng)用于實(shí)際生活中。聊天機(jī)器人的語料庫規(guī)模越大，質(zhì)量越高，返回的答案將越精準(zhǔn)，效果越好。語料庫中數(shù)據(jù)的獲取主要通過以下兩種方法實(shí)現(xiàn)：一是通過對軟件或網(wǎng)站的解析，利用八爪魚采集器進(jìn)行數(shù)據(jù)爬取，整合所有數(shù)據(jù)之后進(jìn)行處理和清洗，然后存儲在數(shù)據(jù)庫中；二是從網(wǎng)絡(luò)中查找一些相關(guān)開源的中文聊天語料，在此基礎(chǔ)上進(jìn)行修改和優(yōu)化，從而進(jìn)一步擴(kuò)充語料庫的規(guī)模以及提高語料數(shù)據(jù)的質(zhì)量。

3.5 答案生成

答案生成模塊的主要任務(wù)是從當(dāng)前對話答案模型中提取出最終答案，然后將其與中文-拼音匹配模塊中輸出的拼音進(jìn)行合成，將回復(fù)文本交由輸出處理模塊。

3.6 輸出處理

輸出處理模塊主要負(fù)責(zé)將文本答案輸出給用戶，這將完成了學(xué)習(xí)者與聊天機(jī)器人一次完整的對話流程。該智能對外漢語學(xué)習(xí)系統(tǒng)的設(shè)計(jì)充分考慮到了情境學(xué)習(xí)在漢語學(xué)習(xí)中的重要作用，融合情境學(xué)習(xí)和建構(gòu)主義學(xué)習(xí)理論，突出以學(xué)習(xí)者為中心，學(xué)習(xí)者可以隨時與聊天機(jī)器人進(jìn)行交流，在情境對話中，系統(tǒng)能模擬現(xiàn)實(shí)生活中的真實(shí)對話情境，使學(xué)習(xí)者進(jìn)行對話練習(xí)時能更好地掌握對話的實(shí)際使用方法，能有效地激發(fā)學(xué)習(xí)者的學(xué)習(xí)動機(jī)，提高學(xué)習(xí)興趣，幫助學(xué)習(xí)者在構(gòu)建的語言學(xué)習(xí)情境中對拼音、漢字、詞語及情境對話形成直觀的認(rèn)識，并完成對漢語對話的意義建構(gòu)。

4 系統(tǒng)教學(xué)特點(diǎn)及應(yīng)用效果

基于聊天機(jī)器人的智能對外漢語學(xué)習(xí)系統(tǒng)應(yīng)用在對外漢語教學(xué)上，具有如下特點(diǎn)：

(1)實(shí)時聊天。學(xué)習(xí)者可以在任何時間通過電腦打開系統(tǒng)，并和該系統(tǒng)進(jìn)行聊天，前提是此電腦必須安裝此系統(tǒng)軟件。學(xué)習(xí)者在使用系統(tǒng)的過程中不受時間、地點(diǎn)及聊天內(nèi)容的約束，目前該系統(tǒng)僅支持文本輸入、輸出方式，聊天方式側(cè)重于對話訓(xùn)練，根據(jù)學(xué)習(xí)者輸入的語句，理解此語句的語義，然后在模板庫找到相對應(yīng)的問題-答案對，生成答案返回給學(xué)習(xí)者，保障對話的流暢進(jìn)行。

(2)靈活即時反饋。學(xué)習(xí)者向系統(tǒng)輸入文本時，聊天機(jī)器人都會即時給出合適的輸出響應(yīng)，當(dāng)學(xué)習(xí)者連續(xù)提出相同問題時，聊天機(jī)器人輸出的答案是靈活多樣的，不是單一死板的，這樣，學(xué)習(xí)者可從眾多反饋結(jié)果中選擇自己認(rèn)為合適的答案，并用于日常對話中。

(3)拼音聲調(diào)顯示。此功能根據(jù)學(xué)習(xí)者輸入的文本產(chǎn)生對應(yīng)的拼音和聲調(diào)。對于那些漢語初學(xué)者，可以通過拼音和聲調(diào)來進(jìn)行對話和學(xué)習(xí)，從而達(dá)到較好的學(xué)習(xí)效果。

(4)對話場景選擇。學(xué)習(xí)者可以根據(jù)自己的漢語能力水平選擇相應(yīng)的對話場景來進(jìn)行學(xué)習(xí)，包括特定主題的聊天和開放主題的聊天，通過選擇不同的對話場景，能使學(xué)習(xí)者沉浸在不同的情境中。特定主題的聊天適合于初級學(xué)習(xí)者，由于漢語水平不高、不愿多談、缺乏自信，跟聊天機(jī)器人的對話則不多，所以需要由聊天機(jī)器人引導(dǎo)，在某一特定主題進(jìn)行限制性對話。對于高級學(xué)習(xí)者則適合于開放主題的聊天，由于這些學(xué)習(xí)者對漢語熟練、比較健談，所以選擇開放主題無限制的聊天，進(jìn)一步提高漢語會話水平。

(5)真實(shí)、輕松的語言學(xué)習(xí)環(huán)境。該系統(tǒng)為學(xué)習(xí)者創(chuàng)建了一個輕松愉快的語言學(xué)習(xí)環(huán)境，能夠在一對一的交流過程中，有效地減少因面部表情、性別、種族、社會地位等因素的影響，緩解學(xué)習(xí)者緊張情緒，增強(qiáng)自信心[21-22]。因此，該系統(tǒng)不僅能調(diào)動漢語學(xué)習(xí)者的學(xué)習(xí)主動性，更能激發(fā)學(xué)習(xí)熱情和對話練習(xí)動機(jī)，使他們能夠流利地使用漢語。通過與聊天機(jī)器人之間的對話，模擬真實(shí)情景的學(xué)習(xí)，幫助學(xué)習(xí)者更好地掌握對話的實(shí)際使用方法，從而達(dá)到學(xué)以致用的目的。為了檢驗(yàn)智能對外漢語學(xué)習(xí)系統(tǒng)的設(shè)計(jì)及應(yīng)用實(shí)踐效果，主要采用問卷調(diào)查的形式對系統(tǒng)進(jìn)行評價與反饋，隨機(jī)抽取本校國際教育學(xué)院多名留學(xué)生作為對外漢語學(xué)習(xí)系統(tǒng)的試應(yīng)用對象，并要求他們對系統(tǒng)使用效果與收獲做出評價。

學(xué)習(xí)者使用效果與收獲主要從情感態(tài)度、知識與技能兩個層面展開，從調(diào)查結(jié)果可以看出，學(xué)習(xí)者的漢語學(xué)習(xí)態(tài)度和學(xué)習(xí)能力都得到了一定的提高。學(xué)習(xí)者能夠在漢語對話中增強(qiáng)自信，提高學(xué)習(xí)漢語的興趣，并且能夠?qū)W到實(shí)用的會話句型和知識，對漢語交流的流利程度，以及漢語表達(dá)都有所提高。從中可以發(fā)現(xiàn)，學(xué)習(xí)者使用系統(tǒng)進(jìn)行漢語學(xué)習(xí)時，讓學(xué)習(xí)者處于一個類似真實(shí)的交互式人機(jī)對話漢語學(xué)習(xí)環(huán)境中，能有效地提高學(xué)習(xí)者的漢語水平，但在場景主題的個數(shù)、場景對話的長度、對話回答的質(zhì)量等方面還需要加以強(qiáng)化。

5 結(jié)束語

在基于聊天機(jī)器人的智能對外漢語學(xué)習(xí)系統(tǒng)的設(shè)計(jì)和開發(fā)中，要注重其系統(tǒng)功能方面的設(shè)計(jì)和實(shí)現(xiàn)，同時，也要注重運(yùn)用教育理論和教學(xué)方法，在這些基礎(chǔ)上，使整個系統(tǒng)結(jié)構(gòu)更加科學(xué)、合理，為學(xué)習(xí)者提供一個個性化、真實(shí)的語言學(xué)習(xí)環(huán)境。該系統(tǒng)的創(chuàng)新之處表現(xiàn)在理論和實(shí)踐兩個方面。理論上將情境學(xué)習(xí)理論和建構(gòu)主義學(xué)習(xí)理論應(yīng)用到了對外漢語學(xué)習(xí)系統(tǒng)中，實(shí)現(xiàn)了一個直觀形象可互動的語言交流學(xué)習(xí)環(huán)境。實(shí)踐上將聊天機(jī)器人與漢語學(xué)習(xí)系統(tǒng)相結(jié)合，也是將人工智能技術(shù)應(yīng)用到教育領(lǐng)域，通過自然語言的方式進(jìn)行人機(jī)對話，輔助學(xué)習(xí)者漢語會話的學(xué)習(xí)。

就目前而言，該智能對外漢語學(xué)習(xí)系統(tǒng)仍需要進(jìn)一步進(jìn)行完善和提高。例如：提高對話的準(zhǔn)確率，擴(kuò)充對話語料庫的規(guī)模，以及使用關(guān)鍵詞檢索與基于語義相似度匹配結(jié)合的方法，使聊天機(jī)器人回復(fù)的效果更好、質(zhì)量更高；增加對話場景的個數(shù)，并控制如何展開聊天話題；根據(jù)用戶各異的學(xué)習(xí)風(fēng)格創(chuàng)建適合的、獨(dú)特的談話類型，從而使談話具有個性化，以此發(fā)揮學(xué)習(xí)者的自主性，支持個性化學(xué)習(xí)，增加學(xué)習(xí)者的信心，并激發(fā)其學(xué)習(xí)興趣；對于不同水平的漢語學(xué)習(xí)者，如何讓他們更快和更好地適應(yīng)；研究語音識別技術(shù)，并將其結(jié)合到該系統(tǒng)中，使用戶能夠用語音功能進(jìn)一步進(jìn)行漢語學(xué)習(xí)，提高漢語對話和口語水平等。