中國(guó)手語(yǔ)信息處理述評(píng)

姚登峰，江銘虎，阿布都克力木·阿布力孜，李晗靜，哈里旦木·阿布都克里木，夏娣娜

(1. 清華大學(xué) 人文學(xué)院計(jì)算語(yǔ)言學(xué)實(shí)驗(yàn)室，北京 100084；2. 清華大學(xué) 心理學(xué)與認(rèn)知科學(xué)研究中心，北京 100084；3. 北京市信息服務(wù)工程重點(diǎn)實(shí)驗(yàn)室(北京聯(lián)合大學(xué))，北京 100101；4. 清華大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)系智能技術(shù)與系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京 100084；5. 工業(yè)和信息化部電子工業(yè)標(biāo)準(zhǔn)化研究院，北京 100007)

?

中國(guó)手語(yǔ)信息處理述評(píng)

姚登峰1,2,3，江銘虎1,2，阿布都克力木·阿布力孜1,2，李晗靜3，哈里旦木·阿布都克里木4，夏娣娜5

(1. 清華大學(xué) 人文學(xué)院計(jì)算語(yǔ)言學(xué)實(shí)驗(yàn)室，北京 100084；2. 清華大學(xué) 心理學(xué)與認(rèn)知科學(xué)研究中心，北京 100084；3. 北京市信息服務(wù)工程重點(diǎn)實(shí)驗(yàn)室(北京聯(lián)合大學(xué))，北京 100101；4. 清華大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)系智能技術(shù)與系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京 100084；5. 工業(yè)和信息化部電子工業(yè)標(biāo)準(zhǔn)化研究院，北京 100007)

為了能夠有效地對(duì)中國(guó)手語(yǔ)進(jìn)行信息處理，需要針對(duì)中國(guó)手語(yǔ)的特性提出相應(yīng)的信息處理方案。該文根據(jù)國(guó)內(nèi)外的研究進(jìn)展情況，從基于規(guī)則和基于語(yǔ)料庫(kù)的角度，討論了中國(guó)手語(yǔ)信息處理過(guò)程中遇到的有關(guān)問(wèn)題，并提出可借鑒的中國(guó)手語(yǔ)信息處理技術(shù)，同時(shí)從中國(guó)手語(yǔ)自身的詞法、句法出發(fā)，參考國(guó)外手語(yǔ)語(yǔ)言學(xué)的最新研究成果，討論了中國(guó)手語(yǔ)信息處理中有關(guān)信息表征、理解、生成等問(wèn)題。最后指出未來(lái)手語(yǔ)的信息處理將會(huì)更多地建立在跨學(xué)科、多模式的基礎(chǔ)之上 ，該項(xiàng)研究將有力地促進(jìn)信息無(wú)障礙技術(shù)的發(fā)展。

中國(guó)手語(yǔ)；信息處理；書(shū)寫(xiě)系統(tǒng)

1 引言

1996年12月《吉隆坡宣言》指出手語(yǔ)不僅是聾人之間必不可少的交流工具，還是絕大多數(shù)聾人的第一語(yǔ)言。根據(jù)第六次全國(guó)人口普查及第二次全國(guó)殘疾人抽樣調(diào)查，推算出2010年末我國(guó)聽(tīng)力殘疾人數(shù)為2 054萬(wàn)人[1]，是我國(guó)人口最多的“少數(shù)民族”。中國(guó)手語(yǔ)(分為自然手語(yǔ)和文法手語(yǔ)，若無(wú)特殊說(shuō)明，以下均指自然手語(yǔ))是中國(guó)聽(tīng)力言語(yǔ)殘疾人(聾人)交際和思維的主要工具。在聾人的知識(shí)習(xí)得、事物認(rèn)知、信息獲取、生存生活和參與社會(huì)等方面起著相依相伴的重要作用。國(guó)內(nèi)外手語(yǔ)語(yǔ)言學(xué)研究表明手語(yǔ)有自己的語(yǔ)法規(guī)則、詞匯結(jié)構(gòu)，其視覺(jué)特性是任何有聲語(yǔ)言中沒(méi)有的語(yǔ)言現(xiàn)象[2-3]。手語(yǔ)還存在相當(dāng)于有聲語(yǔ)言或文字符號(hào)的語(yǔ)音結(jié)構(gòu)層，由手形、動(dòng)作和表情等組成，并由這一結(jié)構(gòu)層和其它非手勢(shì)手語(yǔ)(No-Manual Sign，NMS)等多通道來(lái)表情傳意。有聲語(yǔ)言通常通過(guò)附加語(yǔ)素或添加詞項(xiàng)來(lái)延長(zhǎng)句子以表達(dá)更多的信息，但手語(yǔ)往往利用其多通道表達(dá)更豐富的信息。例如，手勢(shì)者修改手語(yǔ)行為、做出夸張的面部表情，或利用手勢(shì)者周?chē)目臻g均可改變其手語(yǔ)含義。

中國(guó)手語(yǔ)研究起步相對(duì)較晚，但在國(guó)際語(yǔ)言學(xué)快速發(fā)展的背景下，近幾年也如雨后春筍般迅速發(fā)展起來(lái)。中國(guó)手語(yǔ)已存在于世，盡管對(duì)其是否為獨(dú)立的語(yǔ)言尚未完全達(dá)成共識(shí)，但這并不影響學(xué)術(shù)界對(duì)如此龐大族群語(yǔ)言——中國(guó)手語(yǔ)的研究和探索。如何將這門(mén)特殊的視覺(jué)語(yǔ)言進(jìn)行有效的信息處理是個(gè)挑戰(zhàn)，也是擺在我國(guó)科技工作者面前的一項(xiàng)重要任務(wù)，尤其是在國(guó)家大力推行少數(shù)民族語(yǔ)言保護(hù)政策和推行信息無(wú)障礙的社會(huì)背景下，這項(xiàng)工作顯得更有意義。為此，中國(guó)科學(xué)院、清華大學(xué)和復(fù)旦大學(xué)等科研機(jī)構(gòu)開(kāi)展了中國(guó)手語(yǔ)的信息處理研究，并取得了一定的進(jìn)展。其中中國(guó)科學(xué)院計(jì)算技術(shù)研究所在20世紀(jì)90年代就開(kāi)發(fā)了中國(guó)手語(yǔ)合成系統(tǒng)和識(shí)別系統(tǒng)，目前還與微軟亞洲研究院、北京聯(lián)合大學(xué)合作基于微軟體感裝置Kinect開(kāi)發(fā)中國(guó)手語(yǔ)識(shí)別系統(tǒng)。清華大學(xué)則進(jìn)行了中國(guó)手語(yǔ)的計(jì)算機(jī)信息處理研究，開(kāi)展了語(yǔ)用標(biāo)注、手語(yǔ)文本分詞系統(tǒng)等研發(fā)工作。

中國(guó)手語(yǔ)信息處理是一項(xiàng)系統(tǒng)的工程。本文就中國(guó)手語(yǔ)信息處理的有關(guān)問(wèn)題提出幾點(diǎn)思考，并按照?qǐng)D1所示的手語(yǔ)信息處理的幾個(gè)基本步驟來(lái)組織內(nèi)容，其中手勢(shì)識(shí)別屬于計(jì)算機(jī)視覺(jué)內(nèi)容，僅在第五節(jié)進(jìn)行必要的介紹；第二節(jié)詳細(xì)介紹中國(guó)手語(yǔ)的信息表示及手勢(shì)切分問(wèn)題；第三節(jié)介紹了為實(shí)現(xiàn)手語(yǔ)的信息處理而建設(shè)的手語(yǔ)語(yǔ)料庫(kù)；第四節(jié)描述了為實(shí)現(xiàn)計(jì)算機(jī)處理手語(yǔ)而特別設(shè)計(jì)的手語(yǔ)語(yǔ)料標(biāo)注；第五節(jié)在簡(jiǎn)述語(yǔ)料庫(kù)建設(shè)的基礎(chǔ)上，介紹了手語(yǔ)信息處理；第六節(jié)介紹了手語(yǔ)機(jī)器翻譯碰到的問(wèn)題以及初步解決方案；第七節(jié)介紹了手語(yǔ)生成器的情況；最后是全文的總結(jié)與展望。

圖1 手語(yǔ)信息處理流程圖

2 中國(guó)手語(yǔ)的信息表示及手勢(shì)切分問(wèn)題

任何語(yǔ)言能夠被計(jì)算機(jī)處理的前提是該語(yǔ)言擁有書(shū)寫(xiě)系統(tǒng)，并能夠機(jī)讀化。盡管?chē)?guó)外學(xué)者認(rèn)為手語(yǔ)存在書(shū)寫(xiě)系統(tǒng)，例如，SignWriting系統(tǒng)[4]、ASL-phabet[5]、Stokoe符號(hào)集[6]、HamNoSys[7]。然而這些書(shū)寫(xiě)系統(tǒng)的受眾太少。從SignWriting群發(fā)(sw-l@majordomo.valenciacc.edu)的報(bào)告上看，世界上大概有14所學(xué)校正在使用。Diane Brentari解釋說(shuō)受眾少是因?yàn)槿丝?、政治和技術(shù)等因素[8]。其實(shí)問(wèn)題的本質(zhì)在于借鑒有聲語(yǔ)言的單信道來(lái)處理手語(yǔ)的多信道存在很大的困難。有聲語(yǔ)言擁有書(shū)寫(xiě)系統(tǒng)，它通過(guò)聲音作為載體輸出，這種音頻是基于時(shí)間軸的數(shù)據(jù)流，語(yǔ)音信道是隨著時(shí)間的推移而改變的一組值[9]。有聲語(yǔ)言的自然語(yǔ)言處理系統(tǒng)是基于文本的，只需要記錄語(yǔ)音對(duì)應(yīng)的書(shū)面文字這個(gè)唯一的信道，因此只要求用戶(hù)具有良好的識(shí)字能力。而手語(yǔ)本質(zhì)是多信道：手的位置、形狀、手的方向、眼睛凝視、頭傾斜、肩部?jī)A斜、身體姿勢(shì)和面部表情，在手語(yǔ)中所有這些信道信息都代表著語(yǔ)言含義。中國(guó)手語(yǔ)的多信道性質(zhì)，使得將手語(yǔ)編碼成線(xiàn)性單信道字符串尤為困難。

從目前所報(bào)道的文獻(xiàn)來(lái)看，中國(guó)手語(yǔ)尚未有一個(gè)能被聾人群體接受的標(biāo)準(zhǔn)書(shū)寫(xiě)系統(tǒng)，因此并沒(méi)有任何文字保存。限于目前的技術(shù)條件，尚不能直接對(duì)手語(yǔ)視頻進(jìn)行語(yǔ)言處理，只能將中國(guó)手語(yǔ)轉(zhuǎn)寫(xiě)成近似的漢語(yǔ)書(shū)面語(yǔ)言，再進(jìn)行計(jì)算機(jī)信息處理。需要指出的是這里的轉(zhuǎn)寫(xiě)不同于語(yǔ)音記錄。文獻(xiàn)[10]指出語(yǔ)音記錄(notation)和轉(zhuǎn)寫(xiě)(transcription)很相近，但亦有不同。語(yǔ)音記錄傾向于指用圖形符號(hào)、字母、文字等書(shū)寫(xiě)體系來(lái)記錄言語(yǔ)中詞語(yǔ)的發(fā)音，比如用國(guó)際音標(biāo)IPA為有聲語(yǔ)言標(biāo)音，或者手語(yǔ)中用漢堡轉(zhuǎn)寫(xiě)系統(tǒng)HamNoSys(Hamburg Notation System for signed languages)記錄手語(yǔ)詞的打法。轉(zhuǎn)寫(xiě)則是對(duì)更長(zhǎng)的面對(duì)面的交流或口頭表達(dá)等的圖形符號(hào)或文字記錄等，它需要用到專(zhuān)門(mén)的標(biāo)音體系(語(yǔ)音轉(zhuǎn)寫(xiě)或音位轉(zhuǎn)寫(xiě))，或文字體系(實(shí)錄轉(zhuǎn)寫(xiě))。例1、例2、例3顯示了漢語(yǔ)、中國(guó)手語(yǔ)語(yǔ)音記錄、中國(guó)手語(yǔ)轉(zhuǎn)寫(xiě)的例子。

例1 漢語(yǔ)：給你介紹一下，我在崇文區(qū)殘聯(lián)(工作)，他在北京大學(xué)教書(shū)。

例2 中國(guó)手語(yǔ)語(yǔ)音記錄：介/我你，我/CW區(qū)/殘聯(lián)，他/北京大學(xué)/教 。

例3 中國(guó)手語(yǔ)轉(zhuǎn)寫(xiě)：(微笑)[“介”(自身→對(duì)方)話(huà)題,指(自身)/CW(崇文)—“區(qū)”/殘—聯(lián)，指(第三方)/北—京—大學(xué)/教]

從例2可以看出，語(yǔ)音記錄的文本或句子為一維語(yǔ)言，更適合進(jìn)行計(jì)算機(jī)處理。但中國(guó)手語(yǔ)直譯后的漢語(yǔ)文本或句子“瘦”得只?！惫羌堋保瑳](méi)有”血肉”，其內(nèi)容要損失大概50%[11]。甚至比不上例3的轉(zhuǎn)寫(xiě)句子。由此可看出將中國(guó)手語(yǔ)編碼成線(xiàn)性單信道字符串的復(fù)雜性和難度。這些書(shū)寫(xiě)系統(tǒng)在對(duì)實(shí)際手語(yǔ)動(dòng)作抽象時(shí)會(huì)省略一些細(xì)節(jié)，并且在開(kāi)發(fā)書(shū)寫(xiě)系統(tǒng)時(shí)哪些細(xì)節(jié)可以省略，哪些細(xì)節(jié)則不可忽略，這是一個(gè)極具挑戰(zhàn)性且容易出錯(cuò)的課題。正因?yàn)槭终Z(yǔ)本身特有的復(fù)雜性和空間性，使得手語(yǔ)信息處理具有挑戰(zhàn)性，為其改進(jìn)或發(fā)明書(shū)寫(xiě)系統(tǒng)或者轉(zhuǎn)寫(xiě)方案，這是進(jìn)行中國(guó)手語(yǔ)計(jì)算機(jī)信息處理不可跳過(guò)的第一步。

當(dāng)然也可以使用國(guó)外開(kāi)發(fā)的書(shū)寫(xiě)系統(tǒng)對(duì)中國(guó)手語(yǔ)轉(zhuǎn)寫(xiě)。如國(guó)外較流行的有HamNoSys[7]、Sign Writing[4]等轉(zhuǎn)寫(xiě)系統(tǒng)。這些轉(zhuǎn)寫(xiě)方案已被國(guó)外的若干手語(yǔ)語(yǔ)料庫(kù)使用。文獻(xiàn)[12]以“bears”這個(gè)詞為例比較了Stokoe系統(tǒng)、HamNoSys、SignWriting三個(gè)轉(zhuǎn)寫(xiě)系統(tǒng)，比較結(jié)果發(fā)現(xiàn)HamNoSys的線(xiàn)性結(jié)構(gòu)有利于計(jì)算機(jī)的讀取與識(shí)別。文獻(xiàn)[13]為了將手語(yǔ)手勢(shì)嵌入手機(jī)來(lái)幫助殘疾人，對(duì)Stokoe、HamNoSys、Sign writing三個(gè)符號(hào)轉(zhuǎn)寫(xiě)系統(tǒng)進(jìn)行了比較，結(jié)果發(fā)現(xiàn) Sign writing比Stokoe符號(hào)系統(tǒng)、HamNoSys符號(hào)轉(zhuǎn)寫(xiě)系統(tǒng)更易理解，更適合嵌入手機(jī)。文獻(xiàn)[14]比較了Sign writing和HamNoSys符號(hào)轉(zhuǎn)寫(xiě)系統(tǒng)，發(fā)現(xiàn)Sign writing的圖形組織不夠正規(guī)，HamNoSys符號(hào)轉(zhuǎn)寫(xiě)系統(tǒng)更易機(jī)器讀取。文獻(xiàn)[15]綜述了用于機(jī)器翻譯南非手語(yǔ)的手語(yǔ)符號(hào)表示法，比較了Stokoe、HamNoSys、Sign writing三個(gè)符號(hào)轉(zhuǎn)寫(xiě)系統(tǒng)，Stokoe、HamNoSys被認(rèn)為在技術(shù)格式上不切實(shí)際，Sign writing則更易閱讀。根據(jù)以上比較研究可以得出，Stokoe、HamNoSys不易理解，但易于計(jì)算機(jī)閱讀；Sign writing易理解，但不易計(jì)算機(jī)閱讀，且在Stokoe、HamNoSys兩者中，HamNoSys被廣泛用于手語(yǔ)機(jī)器翻譯和手語(yǔ)三維模型生成。

由于種種原因，Stokoe、HamNoSys、Sign writing等系統(tǒng)尚未傳入我國(guó)。目前國(guó)內(nèi)主要采用文獻(xiàn)[16]中的中國(guó)手語(yǔ)轉(zhuǎn)寫(xiě)方案，例3就顯示了該方案的轉(zhuǎn)寫(xiě)例子，可以看出該方案涉及詞性、構(gòu)詞法、方向性、句型以及非手控等方面的信息，易于人們閱讀理解,但該方案主要用于語(yǔ)言學(xué)研究，未考慮計(jì)算機(jī)信息處理所需的基本技術(shù)，例如，切分、標(biāo)注、句法、語(yǔ)法分析等，這些技術(shù)的缺失將限制生成流暢手語(yǔ)動(dòng)作的能力。最大的缺憾是該方案雖有方向信息，但缺少手形、手掌方向、運(yùn)動(dòng)方向等手控方面的信息，且因中文的歧義性，為手語(yǔ)轉(zhuǎn)寫(xiě)體系的機(jī)器閱讀與理解造成很大困難。

若采用漢語(yǔ)作為中國(guó)手語(yǔ)的轉(zhuǎn)寫(xiě)語(yǔ)言，與國(guó)外手語(yǔ)信息處理的特殊之處在于需要解決轉(zhuǎn)寫(xiě)文本自動(dòng)分詞和消歧的問(wèn)題。當(dāng)然目前的漢語(yǔ)分詞技術(shù)較成熟，使之應(yīng)用于手語(yǔ)信息處理已經(jīng)不是難題，它為下一步手語(yǔ)的信息處理創(chuàng)造了條件。需要注意的是中國(guó)手語(yǔ)轉(zhuǎn)寫(xiě)文本分詞除了可以借鑒國(guó)內(nèi)外分詞技術(shù)及算法研究的優(yōu)勢(shì)，還需要從自身的詞法、句法等出發(fā)，提出與之相應(yīng)的手語(yǔ)分詞方案 ，特別是要處理好漢語(yǔ)最小語(yǔ)言單位“字”和手語(yǔ)最小語(yǔ)言單位“手勢(shì)”的關(guān)系 。通常一個(gè)漢語(yǔ)復(fù)合詞有可能由兩個(gè)手勢(shì)構(gòu)成， 例如，“妻子”，在漢語(yǔ)分詞里是一個(gè)詞的單位，但在手語(yǔ)里卻是合成詞，因?yàn)槭终Z(yǔ)對(duì)“妻子”的表示是 “結(jié)婚”+“女人”，或者 “女人”+“結(jié)婚”，這樣本來(lái)在漢語(yǔ)里是一個(gè)語(yǔ)素的“妻子”，在手語(yǔ)里卻是由兩個(gè)語(yǔ)素構(gòu)成的合成詞。這種情況在中國(guó)手語(yǔ)里大量存在，經(jīng)常是漢語(yǔ)里一個(gè)名詞為一個(gè)語(yǔ)素，在手語(yǔ)里卻變成了兩個(gè)語(yǔ)素甚至三四個(gè)語(yǔ)素。與以上情況相反，漢語(yǔ)的兩個(gè)語(yǔ)素，在中國(guó)手語(yǔ)里是一個(gè)語(yǔ)素的也大量存在。最典型的是動(dòng)賓一體，所謂動(dòng)賓一體其實(shí)是比照漢語(yǔ)語(yǔ)法來(lái)說(shuō)的。例如，漢語(yǔ)中，踢足球是兩個(gè)詞素，分別為動(dòng)詞“踢”和賓語(yǔ)“足球”，但手語(yǔ)僅一個(gè)手勢(shì)就可以表達(dá)“踢足球”。這是手語(yǔ)作為視覺(jué)語(yǔ)言的特性所決定的，相對(duì)漢語(yǔ)的語(yǔ)法特點(diǎn)，手語(yǔ)語(yǔ)法相對(duì)簡(jiǎn)化，而不能按漢語(yǔ)語(yǔ)法規(guī)則來(lái)分析手語(yǔ)。

3 手語(yǔ)語(yǔ)料庫(kù)的建設(shè)

對(duì)手語(yǔ)進(jìn)行識(shí)別、理解、生成等信息處理問(wèn)題，國(guó)內(nèi)外無(wú)外乎采用基于規(guī)則或基于語(yǔ)料庫(kù)統(tǒng)計(jì)的方法來(lái)進(jìn)行處理。文獻(xiàn)[17]考察了漢語(yǔ)和中國(guó)手語(yǔ)之間的同異，建立了漢語(yǔ)中國(guó)手語(yǔ)機(jī)器翻譯的一系列規(guī)則，在此基礎(chǔ)之上采用規(guī)則解釋方法實(shí)現(xiàn)了一個(gè)漢語(yǔ)至可視化語(yǔ)言中國(guó)手語(yǔ)的翻譯系統(tǒng)。由于真實(shí)語(yǔ)言的輸入集是無(wú)限的，這種通過(guò)有限規(guī)則，特別是少量規(guī)則的建模方法，很難滿(mǎn)足手語(yǔ)語(yǔ)言處理的全部需要。以翻譯手語(yǔ)的典型語(yǔ)言現(xiàn)象——分類(lèi)詞謂語(yǔ)為例，最簡(jiǎn)單的方法是在傳統(tǒng)的英語(yǔ)詞典里存儲(chǔ)語(yǔ)義特征，例如，+人+車(chē)輛+動(dòng)物+平面表面。針對(duì)每個(gè)單詞或詞組在英語(yǔ)詞典里存儲(chǔ)一組3D坐標(biāo)，將英語(yǔ)詞典中特定動(dòng)詞或介詞與其他特征，如運(yùn)動(dòng)路徑、固定位置、相對(duì)位置、形狀、輪廓等相關(guān)聯(lián)，可以幫助識(shí)別謂詞要表達(dá)什么樣的信息， 從而進(jìn)一步縮小謂詞可能的分類(lèi)詞手形集合，產(chǎn)生謂詞的3D運(yùn)動(dòng)[18]。由于3D場(chǎng)景部署有許多可能性，這種方法在組合上是不切實(shí)際的，例如，考慮汽車(chē)可以行走所有不同形狀和坡度的道路。其他用得最多的是采用基于啟發(fā)式規(guī)則的方法來(lái)計(jì)算運(yùn)動(dòng)路徑，例如，基于英文源文本的一些有限的特征集或者語(yǔ)義元素集合來(lái)設(shè)計(jì)運(yùn)動(dòng)路徑。這種方法需要將基本的特征集組合以便產(chǎn)生一個(gè)單一的分類(lèi)詞謂語(yǔ)運(yùn)動(dòng)的動(dòng)畫(huà)組件庫(kù)，將這些組件與相應(yīng)的英語(yǔ)特征或語(yǔ)義元素相關(guān)聯(lián)，這樣就可以選擇適當(dāng)?shù)膭?dòng)畫(huà)組件并在轉(zhuǎn)換時(shí)可以組合產(chǎn)生3D運(yùn)動(dòng)。這些基于規(guī)則的方法有個(gè)前提條件，需要手勢(shì)者事先決定用哪些空間信息來(lái)交流，并決定如何表示其排序，這樣才能描述如何建立一個(gè)獨(dú)立的分類(lèi)詞謂語(yǔ)。并且只能生成單一的分類(lèi)詞謂語(yǔ)。對(duì)于生成多個(gè)相關(guān)分類(lèi)詞謂語(yǔ)還很困難，更重要的是這些基于規(guī)則的方法都缺乏規(guī)劃整個(gè)場(chǎng)景元素的能力[19]。

因此目前在手語(yǔ)信息處理領(lǐng)域，基于語(yǔ)料庫(kù)的統(tǒng)計(jì)方法成為主流。從以上可看到，盡管手語(yǔ)沒(méi)有書(shū)寫(xiě)系統(tǒng)，這并不妨礙各國(guó)開(kāi)展本國(guó)手語(yǔ)語(yǔ)料庫(kù)的建設(shè)，國(guó)外已開(kāi)始建設(shè)手語(yǔ)視頻語(yǔ)料庫(kù)[20-24]。由于手語(yǔ)是沒(méi)有書(shū)寫(xiě)系統(tǒng)的語(yǔ)言，國(guó)外普遍將手語(yǔ)視頻作為手語(yǔ)語(yǔ)料來(lái)進(jìn)行處理，再用本國(guó)語(yǔ)言給手語(yǔ)進(jìn)行轉(zhuǎn)寫(xiě)。如德國(guó)手語(yǔ)語(yǔ)料庫(kù)用德語(yǔ)轉(zhuǎn)寫(xiě)，美國(guó)手語(yǔ)語(yǔ)料庫(kù)用英語(yǔ)轉(zhuǎn)寫(xiě)。雖然本國(guó)語(yǔ)言不是手語(yǔ)的專(zhuān)門(mén)書(shū)寫(xiě)系統(tǒng)，可能會(huì)遺漏很多語(yǔ)言學(xué)細(xì)節(jié)，但聊勝于無(wú)，這些語(yǔ)料庫(kù)從零開(kāi)始，為手語(yǔ)信息處理創(chuàng)造了條件。從各國(guó)目前建設(shè)的語(yǔ)料庫(kù)用途來(lái)看，主要用于語(yǔ)言學(xué)研究，例如，研究手勢(shì)變異、語(yǔ)義、形態(tài)、音韻、語(yǔ)法等，同時(shí)也有將語(yǔ)料庫(kù)用于手語(yǔ)詞典、手語(yǔ)教學(xué)、手語(yǔ)翻譯以及特定領(lǐng)域手語(yǔ)應(yīng)用等方面(表1)。

表1 各國(guó)手語(yǔ)語(yǔ)料庫(kù)研究情況

續(xù)表

相對(duì)于國(guó)外手語(yǔ)語(yǔ)料庫(kù)的研究，國(guó)內(nèi)的研究較少且單一，一般集中在專(zhuān)用手語(yǔ)語(yǔ)料庫(kù)的研究，多用來(lái)支持手語(yǔ)的一般性的詞法、句法、語(yǔ)義現(xiàn)象的描寫(xiě)、解釋和特定領(lǐng)域下針對(duì)特定目的手語(yǔ)研究。如中國(guó)科學(xué)院計(jì)算技術(shù)研究所、北京聯(lián)合大學(xué)與微軟亞洲研究院合作的基于kinect的手語(yǔ)識(shí)別和翻譯系統(tǒng)項(xiàng)目中涉及的226句常用語(yǔ)及2 400個(gè)有關(guān)不同場(chǎng)所、場(chǎng)合的常用語(yǔ)；黃曉曉建立的基于情景的手語(yǔ)語(yǔ)料庫(kù)[25]，它包含個(gè)人在家庭學(xué)校等場(chǎng)合的日常交流。

4 手語(yǔ)語(yǔ)料庫(kù)標(biāo)注

為了使手語(yǔ)語(yǔ)料庫(kù)適用于手語(yǔ)信息處理，標(biāo)注是必不可少的工作，為此一般語(yǔ)料庫(kù)建設(shè)學(xué)者都制定了一致的轉(zhuǎn)寫(xiě)和標(biāo)注方案。其中手勢(shì)的識(shí)別釋義(ID-glosses, unique identifier of sign types)是語(yǔ)料庫(kù)建設(shè)中最為基礎(chǔ)和重要的標(biāo)注內(nèi)容。它是用一個(gè)含對(duì)應(yīng)意義的標(biāo)注工作語(yǔ)言的詞(例如，漢語(yǔ)、英語(yǔ))，去表達(dá)手勢(shì)。識(shí)別釋義包括該詞的詞典形式和所有形態(tài)和音位變體。統(tǒng)一了標(biāo)注者的識(shí)別釋義，方可避免同一手語(yǔ)詞被不同標(biāo)注者貼上不同的標(biāo)簽，進(jìn)而促進(jìn)機(jī)器和用戶(hù)準(zhǔn)確而無(wú)遺漏地搜索到此手勢(shì)的所有例(token)[10]。

為了使標(biāo)注后的文本適用于信息處理，文獻(xiàn)[2]提出了裝飾字符串(decorated string)的標(biāo)注概念，如圖2所示，這是使用“裝飾字符串”標(biāo)注書(shū)寫(xiě)一個(gè)句子。在這個(gè)句子中手勢(shì)者用雙手打出三個(gè)手勢(shì)：JOHN，NOT，ARRIVE。該圖中，否定-搖頭的橫線(xiàn)條表示以否定的方式來(lái)?yè)u頭。圖中“眼睛凝視”橫線(xiàn)條下面，手勢(shì)者需要凝視他或她身體旁邊的位置，用這個(gè)位置代表John。一般在美國(guó)手語(yǔ)中，手勢(shì)者可以使用眼睛凝視來(lái)表示曲折動(dòng)詞的呼應(yīng)對(duì)象。圖中的注釋(指單詞)是語(yǔ)言學(xué)家用來(lái)記錄手勢(shì)者手部活動(dòng)的。其中黑色橫線(xiàn)條并不是代表手語(yǔ)的信息，而是非手動(dòng)特征(NMS)，黑色橫線(xiàn)條看上去像“裝飾”字符串。這個(gè)標(biāo)注系統(tǒng)用“空符號(hào)”(?)作為一個(gè)語(yǔ)言學(xué)單位的占位符，它表示手勢(shì)者的手部不做任何動(dòng)作。在該例中，?表示手勢(shì)ARRIVE開(kāi)始之前眼睛凝視了一會(huì)兒。

圖2 “裝飾字符串”標(biāo)注

這種標(biāo)注的好處就是方便計(jì)算機(jī)進(jìn)行信息處理，由此生成的語(yǔ)法樹(shù)如圖3所示。

這個(gè)樹(shù)解釋了手動(dòng)手勢(shì)的語(yǔ)法結(jié)構(gòu)，但它沒(méi)有說(shuō)明NMS橫線(xiàn)條如何跟它相關(guān)聯(lián)。由于樹(shù)是用來(lái)表示文本字符串嵌套結(jié)構(gòu)的圖形化方式，因此可以考慮樹(shù)如何表示為圖4的括弧結(jié)構(gòu)(一維)。

這樣我們可以看到NMS橫線(xiàn)條就超出括弧結(jié)構(gòu)的表示范圍。因此括弧結(jié)構(gòu)無(wú)法清楚地表示NMS橫線(xiàn)條。雖然如此，但裝飾字符串的提出在手語(yǔ)語(yǔ)言學(xué)上是一大進(jìn)步。

文獻(xiàn)[26]總結(jié)了以往樹(shù)結(jié)構(gòu)的理論工作，例如樹(shù)結(jié)構(gòu)可分成多維度[27]，以及 能夠表示視覺(jué)語(yǔ)言的語(yǔ)法[28-29]。采用Na?VE3D樹(shù)作為基礎(chǔ)，他們提出了P/C思想，將裝飾字符串概念做了擴(kuò)展，如圖5所示，亦可看做三個(gè)信道。

圖3 語(yǔ)法樹(shù)

圖5 裝飾字符串?dāng)U展

圖4 括弧結(jié)構(gòu)

進(jìn)行計(jì)算機(jī)處理時(shí)，仍使用3D樹(shù)進(jìn)行語(yǔ)法處理，如圖6所示。

圖6 3D語(yǔ)法樹(shù)

從上方看，3D樹(shù)看起來(lái)如圖5的二維括弧結(jié)構(gòu)。水平軸代表時(shí)間，垂直軸代表多個(gè)信道。整個(gè)句子包含在一個(gè)單一矩形里，該矩形對(duì)應(yīng)于樹(shù)中的S節(jié)點(diǎn)。從左到右它跨越了整個(gè)句子，從上到下它指定了所有信道的句子輸出。對(duì)于John框右側(cè)，是一個(gè)包含了其余句子的大矩形；它是NegP 節(jié)點(diǎn)。當(dāng)覆蓋多個(gè)信道的節(jié)點(diǎn)被分為幾個(gè)子節(jié)點(diǎn)時(shí)，每個(gè)子節(jié)點(diǎn)可以覆蓋父節(jié)點(diǎn)所覆蓋信道的子集。例如,NegP節(jié)點(diǎn)將其AgrsP子節(jié)點(diǎn)分配給兩個(gè)頂信道，其否定搖頭子節(jié)點(diǎn)分配給底信道。這種P/C思想旨在解決手語(yǔ)多信道的并列與非并列關(guān)系，具體表現(xiàn)為，每個(gè)矩形每次只在一個(gè)方向上分割，此外以非重疊的方式覆蓋所有時(shí)間(從左到右)內(nèi)父節(jié)點(diǎn)所有信道(從上到下)的矩形子節(jié)點(diǎn)。由于括弧圖中的矩形是類(lèi)似于3D樹(shù)結(jié)構(gòu)中的節(jié)點(diǎn)，將“矩形”術(shù)語(yǔ)替換成“節(jié)點(diǎn)”。當(dāng)一個(gè)節(jié)點(diǎn)分支從左到右，稱(chēng)之為組合節(jié)點(diǎn)，我們說(shuō)它已經(jīng)被分成組件。對(duì)于組合成父節(jié)點(diǎn)的子現(xiàn)象，組件從左到右的順序應(yīng)被解釋為指定了時(shí)間序列。子節(jié)點(diǎn)以非重疊的方式覆蓋了其父節(jié)點(diǎn)的整個(gè)時(shí)間范圍。組合節(jié)點(diǎn)就像傳統(tǒng)語(yǔ)法樹(shù)的節(jié)點(diǎn)(圖5)，其中節(jié)點(diǎn)分成連續(xù)的子節(jié)點(diǎn)。

但是這種思想的缺點(diǎn)就在于需要事先假定在 P/C 樹(shù)內(nèi)部結(jié)構(gòu)中一個(gè)節(jié)點(diǎn)可以分割或組合(但不是同時(shí)兩者兼具)。此外分割節(jié)點(diǎn)的子節(jié)點(diǎn)被假定為他們之間沒(méi)有時(shí)間并列關(guān)系。這就限制了其擴(kuò)展范圍。相比有聲語(yǔ)言的類(lèi)似字符串編碼，P/C思想能夠更好地為手語(yǔ)語(yǔ)言學(xué)信號(hào)進(jìn)行編碼。這無(wú)疑可作為中國(guó)手語(yǔ)信息處理的借鑒。

5 基于語(yǔ)料庫(kù)的手語(yǔ)信息處理

從1982年Shantz和Poizner合成的美國(guó)手語(yǔ)計(jì)算機(jī)程序開(kāi)始，各國(guó)在手語(yǔ)信息處理領(lǐng)域上取得了突出的成果，主要用于手語(yǔ)識(shí)別和手語(yǔ)生成，文獻(xiàn)[30]給出較全面綜述，使用方法有神經(jīng)網(wǎng)絡(luò)、HMM、向量機(jī)、機(jī)器學(xué)習(xí)等。需要指出的是，目前的手語(yǔ)識(shí)別研究已經(jīng)從靜態(tài)手勢(shì)識(shí)別過(guò)渡到動(dòng)態(tài)手勢(shì)識(shí)別，從使用可穿戴設(shè)備提取特征過(guò)渡到基于計(jì)算機(jī)視覺(jué)提取特征。采用自然的不佩帶任何裝置或物品的手語(yǔ)輸入方式,獲得準(zhǔn)確快速的識(shí)別結(jié)果,是目前該領(lǐng)域的研究核心與發(fā)展方向。如Vogler和Metaxas利用手語(yǔ)的基本單元而不是手語(yǔ)詞匯進(jìn)行連續(xù)手語(yǔ)識(shí)別,對(duì)22個(gè)詞構(gòu)成的句子實(shí)驗(yàn)結(jié)果表明,這種方法的識(shí)別率和傳統(tǒng)方法的識(shí)別率相近[31-33]。文獻(xiàn)[34]在不關(guān)聯(lián)空間域和時(shí)間域特征的情況下,完全依賴(lài)于密集的局部特征,采用特征包和多類(lèi)支持向量機(jī)識(shí)別手勢(shì)。文獻(xiàn)[35]采用PCA方法提取手勢(shì)圖像前M個(gè)特征值的特征向量，用最小歐式距離實(shí)現(xiàn)手勢(shì)分類(lèi),由于PCA對(duì)尺度、旋轉(zhuǎn)、光照變化等不具備魯棒性,所以該方法需收集各種情況下的手勢(shì)訓(xùn)練樣本。

國(guó)內(nèi)的手語(yǔ)識(shí)別和生成研究較早，文獻(xiàn)[36]表明我國(guó)已建立了一個(gè)能夠識(shí)別大詞匯量的中國(guó)手語(yǔ)識(shí)別系統(tǒng)，該系統(tǒng)對(duì)1 064個(gè)中國(guó)手語(yǔ)孤立詞的識(shí)別率達(dá)到90%。通過(guò)嵌入式訓(xùn)練，對(duì)由220個(gè)詞構(gòu)成的80個(gè)句子的手語(yǔ)識(shí)別率達(dá)到95.2%，同時(shí)一個(gè)中國(guó)手語(yǔ)自動(dòng)翻譯系統(tǒng)也由該研究者設(shè)計(jì)建成，對(duì)5 177個(gè)中國(guó)手語(yǔ)孤立詞進(jìn)行離線(xiàn)識(shí)別，識(shí)別率為94.8%。文獻(xiàn)[37]通過(guò)魯棒回歸分析和變階參數(shù)模型對(duì)小規(guī)模的動(dòng)態(tài)手勢(shì)進(jìn)行識(shí)別，將手勢(shì)圖像運(yùn)動(dòng)參數(shù)應(yīng)用于手語(yǔ)表觀(guān)建模，并提出了一種手勢(shì)運(yùn)動(dòng)估計(jì)方法，然后將這兩種特征作為表觀(guān)特征創(chuàng)建手勢(shì)模板，通過(guò)最大最小優(yōu)化算法進(jìn)行基于模板的手勢(shì)分類(lèi)識(shí)別,該方法在手勢(shì)圖像運(yùn)動(dòng)信息的基礎(chǔ)上對(duì)12種手勢(shì)進(jìn)行識(shí)別，準(zhǔn)確率超過(guò)了 90%。由此可看出我國(guó)在基于數(shù)據(jù)手勢(shì)的手語(yǔ)識(shí)別研究方面已處于世界領(lǐng)先地位，但在基于視覺(jué)的手語(yǔ)信息處理領(lǐng)域，尤其是動(dòng)態(tài)手語(yǔ)識(shí)別方面與其他發(fā)達(dá)國(guó)家還有一定差距。

然而以上模型都沒(méi)有提出手語(yǔ)理解算法來(lái)解決手語(yǔ)語(yǔ)言處理問(wèn)題。造成這種情況的原因除了識(shí)別率不太理想，還在于視頻語(yǔ)料采集繁瑣，人工標(biāo)注困難，以致用于手語(yǔ)信息處理的手語(yǔ)語(yǔ)料庫(kù)普遍未達(dá)到一定的規(guī)模。圖7顯示了各國(guó)手語(yǔ)語(yǔ)料庫(kù)的規(guī)模對(duì)比，由此可以看出規(guī)模都在50小時(shí)左右，而流暢手語(yǔ)是每秒2-3個(gè)手勢(shì)，因此生語(yǔ)料庫(kù)的規(guī)模大概在36-54萬(wàn)個(gè)手勢(shì)。國(guó)外學(xué)者指出一般手語(yǔ)視頻語(yǔ)料的RTF因子為100，也就是一個(gè)小時(shí)的語(yǔ)料至少需要100個(gè)小時(shí)做標(biāo)注[38]。照此推算，按一天標(biāo)注八小時(shí)算，50小時(shí)左右的視頻語(yǔ)料需要21個(gè)月左右才能完成標(biāo)注，如此龐大的標(biāo)注工作量使得手語(yǔ)熟語(yǔ)料獲取困難。此外還有一個(gè)原因在于手語(yǔ)語(yǔ)料庫(kù)沒(méi)有根據(jù)手語(yǔ)特點(diǎn)建立相應(yīng)的模型，例如，一些語(yǔ)言學(xué)家做了一個(gè)手勢(shì)的多種打法動(dòng)作捕捉數(shù)據(jù)語(yǔ)料庫(kù)[39]，他們記錄了手勢(shì)輸出的手形、手的位置、方向、運(yùn)動(dòng)和非手動(dòng)元素的時(shí)移參數(shù)。但這些模型并沒(méi)有說(shuō)明許多手語(yǔ)語(yǔ)言學(xué)現(xiàn)象如何表示。例如，表示分類(lèi)詞謂語(yǔ)出現(xiàn)的手形數(shù)量并不多，但這些模型卻記錄手形的信息特別多，而對(duì)表現(xiàn)分類(lèi)詞謂語(yǔ)特征的手部方向的信息記錄太少，以至使指定復(fù)雜運(yùn)動(dòng)路徑更為困難，而這些復(fù)雜路徑是表示分類(lèi)詞謂語(yǔ)所必需的。

有聲語(yǔ)言能夠成功使用統(tǒng)計(jì)模型，是因?yàn)榫W(wǎng)絡(luò)時(shí)代信息的數(shù)字化和網(wǎng)絡(luò)化為統(tǒng)計(jì)模型帶來(lái)了取之不盡、用之不竭的數(shù)據(jù)資源。手語(yǔ)語(yǔ)料因?yàn)橐曨l采集繁瑣和標(biāo)注困難，缺乏相應(yīng)的應(yīng)用規(guī)范和模型，使得手語(yǔ)的生語(yǔ)料和熟語(yǔ)料數(shù)據(jù)依然匱乏，手語(yǔ)應(yīng)用統(tǒng)計(jì)模型仍然面臨嚴(yán)重的數(shù)據(jù)稀疏問(wèn)題，此外單純的概率模型也不能全部解決手語(yǔ)語(yǔ)言處理的自動(dòng)化問(wèn)題。因此目前力圖用傳統(tǒng)的統(tǒng)計(jì)模型和機(jī)器學(xué)習(xí)方法來(lái)研究手語(yǔ)機(jī)器翻譯還很困難，至少在沒(méi)有可靠的方法來(lái)為語(yǔ)料庫(kù)建立一個(gè)手勢(shì)者的3D模型，或在大規(guī)模視頻語(yǔ)料自動(dòng)標(biāo)注技術(shù)尚未出現(xiàn)之前是不切實(shí)際的。

圖7 各國(guó)手語(yǔ)語(yǔ)料庫(kù)的規(guī)模對(duì)比

6 手語(yǔ)的機(jī)器翻譯

手語(yǔ)的機(jī)器翻譯并不是簡(jiǎn)單地將漢語(yǔ)一個(gè)詞對(duì)應(yīng)一個(gè)手勢(shì)翻譯出來(lái)。與主流有聲語(yǔ)言不同，手語(yǔ)具有視覺(jué)空間的立體性特征。這種特殊性對(duì)于傳統(tǒng)的計(jì)算語(yǔ)言學(xué)方法是一個(gè)極大的挑戰(zhàn)。文獻(xiàn)[40]認(rèn)為進(jìn)行手語(yǔ)機(jī)器翻譯時(shí)需要模擬真人手語(yǔ)譯員事先在心里形成3D空間影像，然后將空間的對(duì)象位置映射到物理手勢(shì)空間，以表達(dá)手語(yǔ)的概念。具體來(lái)講，像“貓?jiān)诖蚕屡堋钡睦?，首先選擇一個(gè)基于“貓”實(shí)體特征(小型動(dòng)物、四條腿對(duì)象、跑動(dòng)過(guò)程中等特征)的手形閉集(即分類(lèi)詞手形，此手形與其手部在手勢(shì)者前面空間進(jìn)行的運(yùn)動(dòng)一起組成分類(lèi)詞謂語(yǔ))，以及手勢(shì)者希望討論的實(shí)體空間特征，其表面(貓?jiān)谄教沟牡孛嫔?、床下空間的大小、形狀、位置(貓?jiān)诖蚕氯我馕恢?、運(yùn)動(dòng)(跑動(dòng)、非靜止)等。然后手勢(shì)者針對(duì)需要表達(dá)床下空間的輪廓、手勢(shì)者周?chē)臻g的位置(在伸展兩只手的范圍內(nèi)選擇哪個(gè)空間位置來(lái)代表施動(dòng)者貓和被動(dòng)者床)、3D空間的運(yùn)動(dòng)(在床下有限空間內(nèi)表示跑動(dòng))、物理/抽象的維度(床需要表示多大、跑動(dòng)幅度需要多大？)或某些其他需要被傳遞的對(duì)象屬性，例如，床是不是席夢(mèng)思、貓是不是每天都在床下跑、貓是否還有同伴陪它跑等因素，而相應(yīng)地制定手部立體運(yùn)動(dòng)。此外還要根據(jù)漢語(yǔ)“貓?jiān)诖蚕屡堋钡纳舷挛沫h(huán)境提取語(yǔ)用特征，例如，想表達(dá)貓捉老鼠很勤快，還要配合眉毛和眼睛的動(dòng)作(眉開(kāi)眼笑)、臉部表情(表達(dá)夸張的情緒)，必要時(shí)還要頭部動(dòng)作(頭部稍微向前傾)、身體姿態(tài)(抬起肩膀、身體上部左右搖晃等)及其他方式來(lái)表達(dá)“貓?jiān)诖蚕屡堋钡暮x。

從以上過(guò)程可以看出手語(yǔ)機(jī)器翻譯困難在于手語(yǔ)表達(dá)的每一塊空間信息都必須被編碼為一個(gè)語(yǔ)素，通常需要許多語(yǔ)素傳達(dá)各種各樣的空間信息來(lái)表示手語(yǔ)，特別是在用于組合空間信息來(lái)描述場(chǎng)景中對(duì)象之間的空間關(guān)系或比較的情況下。文獻(xiàn)[41]做了一個(gè)統(tǒng)計(jì)分析，例如，分析手語(yǔ)句子“一個(gè)人走向另一個(gè)人”的語(yǔ)素時(shí)，總共有28個(gè)語(yǔ)素，包括：兩個(gè)面對(duì)面的實(shí)體、都在同一水平面上、都在垂直方向、自由運(yùn)動(dòng)、都有一個(gè)特定的距離、在直線(xiàn)路徑運(yùn)動(dòng)等等。作者認(rèn)為生成各種手語(yǔ)，此多語(yǔ)素模型需要一個(gè)巨大的、甚至可能是無(wú)限數(shù)量的詞素集合。

此外手語(yǔ)機(jī)器翻譯的另一個(gè)困難在于復(fù)雜的空間相互作用和3D場(chǎng)景限制很難編碼成一組組成規(guī)則[42]。例如，“汽車(chē)行駛在顛簸的道路上，經(jīng)過(guò)一只貓。”該句有兩個(gè)分類(lèi)詞謂語(yǔ)。為了生成這些謂詞，手勢(shì)者必須知道如何部署場(chǎng)景，包括貓、道路、汽車(chē)的位置。要為汽車(chē)選擇運(yùn)動(dòng)路徑，有開(kāi)始/結(jié)束位置，手部必須流暢地表示路徑輪廓，例如，顛簸、丘陵起伏、曲折的?？拷埖牡缆?、地面平面、曲線(xiàn)道路也必須表達(dá)出來(lái)。此外生活常識(shí)包括一些世界知識(shí)也必須要了解：(1)貓一般坐在平面地上；(2)車(chē)一般沿著地面道路上行駛。可以看出要想成功完成這兩個(gè)分類(lèi)詞謂語(yǔ)機(jī)器翻譯涉及大量的語(yǔ)義理解、空間知識(shí)和推理。由以上分析可以看出分類(lèi)詞謂語(yǔ)機(jī)器翻譯的復(fù)雜性。曾有學(xué)者評(píng)論手語(yǔ)的分類(lèi)詞謂語(yǔ)是超語(yǔ)言的空間手語(yǔ)、非空間多語(yǔ)素結(jié)構(gòu)或構(gòu)成空間參數(shù)化表達(dá)式[41]。

而傳統(tǒng)計(jì)算語(yǔ)言學(xué)方法的缺陷就在于不能模擬手語(yǔ)三維場(chǎng)景中的對(duì)象空間布局，為了解決這些問(wèn)題，國(guó)外研發(fā)的手語(yǔ)機(jī)器翻譯系統(tǒng)在此方面做了有益的嘗試。文獻(xiàn)[43]提出(并建立了原型)的英語(yǔ)到美國(guó)手語(yǔ)(ASL)的翻譯系統(tǒng)ZARDOZ系統(tǒng)，使用一組手工編碼架構(gòu)作為一種中間語(yǔ)言翻譯組件。作者選擇將分類(lèi)詞詞根表示成高度未指定的詞匯條目，詞條的動(dòng)作將取決于生成語(yǔ)法，因此，他們可以像對(duì)待任何其他單一的詞條一樣對(duì)待分類(lèi)詞詞根。他還對(duì)常見(jiàn)的分類(lèi)謂詞的手形和運(yùn)動(dòng)類(lèi)型進(jìn)行了分類(lèi)。因此他研發(fā)的ZARDOZ系統(tǒng)初步解決了分類(lèi)詞謂語(yǔ)的問(wèn)題。在該系統(tǒng)中，分類(lèi)詞謂語(yǔ)表達(dá)的特定主題可以由獨(dú)特的中間語(yǔ)言框架來(lái)表示，該中間語(yǔ)言框架由翻譯體系結(jié)構(gòu)的分析/理解部件進(jìn)行選擇和填充。他還討論了空間和常識(shí)推理方法如何用來(lái)填充生成流暢的分類(lèi)詞謂語(yǔ)手形和運(yùn)動(dòng)所需要的動(dòng)畫(huà)具體細(xì)節(jié)。

不過(guò)限于目前的AI推理的發(fā)展水平和空間表示技術(shù)，開(kāi)發(fā)這樣的系統(tǒng)顯然并不現(xiàn)實(shí)，因?yàn)樗枰嚓P(guān)領(lǐng)域知識(shí)，并且是個(gè)很耗時(shí)的工作。不過(guò)它對(duì)于中國(guó)手語(yǔ)機(jī)器翻譯可以提供借鑒，因?yàn)槭终Z(yǔ)中分類(lèi)詞謂語(yǔ)不是獨(dú)立詞匯，無(wú)需遵循手語(yǔ)詞匯音系學(xué)中對(duì)稱(chēng)和統(tǒng)領(lǐng)的條件[44]，它由擁有各自語(yǔ)法功能和意義的詞素共同組成，如手形、移動(dòng)、手勢(shì)者的身體表情等。由于手語(yǔ)分類(lèi)詞謂語(yǔ)有極其復(fù)雜的內(nèi)部結(jié)構(gòu)，而且沒(méi)有漢語(yǔ)詞匯與之一一對(duì)應(yīng)。若要研發(fā)中國(guó)手語(yǔ)機(jī)器翻譯系統(tǒng)，這種分類(lèi)詞謂語(yǔ)現(xiàn)象則是必須研究解決的問(wèn)題之一。事實(shí)上，雖然ZARDOZ的方法沒(méi)有實(shí)用化，但很多系統(tǒng)都參考了這些方法[45]。這個(gè)例子提示我們，在對(duì)手語(yǔ)進(jìn)行機(jī)器翻譯時(shí)，要對(duì)手語(yǔ)特有語(yǔ)法現(xiàn)象有足夠的認(rèn)識(shí)和了解，起碼要熟悉手語(yǔ)音韻學(xué)、語(yǔ)義學(xué)、句法學(xué)和形態(tài)學(xué)等獨(dú)有的規(guī)律和特征。

7 手語(yǔ)生成器

與其他傳統(tǒng)機(jī)器翻譯系統(tǒng)不同，手語(yǔ)機(jī)器翻譯還需要一個(gè)手語(yǔ)生成系統(tǒng)，以負(fù)責(zé)生成手語(yǔ)動(dòng)畫(huà)。大量的研究表明，聾人雖大多學(xué)過(guò)本國(guó)書(shū)面語(yǔ)言，但因聽(tīng)力障礙，他們先天口語(yǔ)習(xí)得存在著困難，由此導(dǎo)致大多數(shù)聾人高中畢業(yè)生的閱讀水平相比健聽(tīng)人滯后三到四年[46]。在此情況下，一個(gè)好的中國(guó)手語(yǔ)機(jī)器翻譯系統(tǒng)最好附帶手語(yǔ)生成系統(tǒng)，這樣才能真正達(dá)到信息、服務(wù)并具的無(wú)障礙。目前手語(yǔ)動(dòng)畫(huà)生成技術(shù)才開(kāi)始出現(xiàn)在適用于聾人用戶(hù)的軟件和網(wǎng)站上。

虛擬人體建模和動(dòng)畫(huà)研究已比較成熟，現(xiàn)有技術(shù)已足夠開(kāi)發(fā)能夠清楚表達(dá)和快速響應(yīng)手語(yǔ)動(dòng)畫(huà)的人物模型[47]。當(dāng)然僅有動(dòng)畫(huà)人物模型是不夠的，還需要一個(gè)中國(guó)手語(yǔ)生成器。即給定一個(gè)漢語(yǔ)文本或抽象的語(yǔ)義輸入，計(jì)算語(yǔ)言學(xué)部件需要告訴動(dòng)畫(huà)人物該怎么做(假定語(yǔ)言學(xué)和動(dòng)畫(huà)組件之間的接口已設(shè)定了正確的指令集)。這樣就需要一個(gè)動(dòng)畫(huà)腳本，專(zhuān)門(mén)負(fù)責(zé)告訴動(dòng)畫(huà)人物如何做。因?yàn)橹袊?guó)手語(yǔ)是一個(gè)沒(méi)有標(biāo)準(zhǔn)書(shū)寫(xiě)系統(tǒng)的語(yǔ)言，制定動(dòng)畫(huà)腳本規(guī)范也就沒(méi)有統(tǒng)一的格式。以美國(guó)手語(yǔ)(ASL)為例，有很多機(jī)器翻譯系統(tǒng)專(zhuān)門(mén)為ASL動(dòng)畫(huà)腳本規(guī)定了格式，每個(gè)系統(tǒng)開(kāi)發(fā)的腳本語(yǔ)言也不一樣。TEAM 系統(tǒng)使用了嵌入式參數(shù)的注釋表示ASL句子[24]，這樣就影響了非手勢(shì)手語(yǔ)和音韻平滑的質(zhì)量。TEAM系統(tǒng)使用一個(gè)非常小的示范詞典，并且手勢(shì)的動(dòng)畫(huà)動(dòng)作作為參數(shù)化運(yùn)動(dòng)路徑的模板，該模板與Jack Toolkit 和Jack Visualizer 兼容[48]。而ViSiCAST系統(tǒng)中的詞典存儲(chǔ)了關(guān)于手語(yǔ)的語(yǔ)音信息，不僅包括語(yǔ)音的SGML規(guī)范，還包括特殊的次范疇、句法和形態(tài)特征等。這種存儲(chǔ)用到了手語(yǔ)手勢(shì)標(biāo)記語(yǔ)言[49]，此標(biāo)記系統(tǒng)本來(lái)是用于手語(yǔ)書(shū)寫(xiě)/轉(zhuǎn)錄系統(tǒng)，它著重于如何指定手形、手掌方向和運(yùn)動(dòng)細(xì)節(jié)，以表達(dá)手語(yǔ)語(yǔ)義。該系統(tǒng)處理的ASL動(dòng)畫(huà)腳本使用了手勢(shì)標(biāo)記語(yǔ)言以及 HamNoSys手語(yǔ)書(shū)寫(xiě)系統(tǒng)的XML版本。比較先前兩個(gè)系統(tǒng)使用的運(yùn)動(dòng)控制語(yǔ)言，SGML適用于較重要的運(yùn)動(dòng)類(lèi)型。因此，定義ASL的過(guò)程使用標(biāo)記應(yīng)該更直觀(guān)。若要演示動(dòng)畫(huà)，ViSiCAST系統(tǒng)設(shè)計(jì)師使用能接受SGML輸入的動(dòng)畫(huà)角色，并產(chǎn)生動(dòng)畫(huà)。

雖然腳本技術(shù)不一，但機(jī)器翻譯系統(tǒng)需要?jiǎng)討B(tài)修改腳本，以便輸出手語(yǔ)動(dòng)畫(huà)。這些系統(tǒng)必須針對(duì)手語(yǔ)句子生成一個(gè)手勢(shì)和面部表情序列，然后他們要將得到的序列合成一個(gè)實(shí)際動(dòng)畫(huà)。目前國(guó)外主要用數(shù)據(jù)驅(qū)動(dòng)的方式來(lái)生成手語(yǔ)動(dòng)畫(huà)，并且在已有的手語(yǔ)視頻語(yǔ)料庫(kù)基礎(chǔ)上，使用統(tǒng)計(jì)模型和機(jī)器學(xué)習(xí)方法來(lái)研究手語(yǔ)動(dòng)畫(huà)的生成。

8 總結(jié)

以上研究表明，很多學(xué)者在手語(yǔ)機(jī)器翻譯和計(jì)算手語(yǔ)學(xué)方面做了大量工作。例如，新的手語(yǔ)表示模型、擴(kuò)展的手語(yǔ)注釋文法、 Movement-Hold語(yǔ)音模型、話(huà)語(yǔ)表示如何管理手語(yǔ)對(duì)話(huà)空間定位的實(shí)體、分類(lèi)詞謂語(yǔ)的空間復(fù)雜性和三維表示，這些研究工作為手語(yǔ)信息處理創(chuàng)造了條件。

目前我國(guó)手語(yǔ)信息處理仍處于起步階段，近幾年才開(kāi)始利用語(yǔ)料庫(kù)資源進(jìn)行手語(yǔ)機(jī)器翻譯的研究。中國(guó)手語(yǔ)的計(jì)算機(jī)處理雖然起步時(shí)間不長(zhǎng)，但可站在較高的起點(diǎn)，可借鑒國(guó)內(nèi)外的研究成果，少走彎路，同時(shí)結(jié)合中國(guó)手語(yǔ)自身的詞法、句法等特點(diǎn)，走出自己的新路。例如，可以嘗試應(yīng)用大腦的認(rèn)知理論、手語(yǔ)語(yǔ)言理解、腦成像等技術(shù)來(lái)研究手語(yǔ)的信息處理， 特別是最近出現(xiàn)的深度學(xué)習(xí)理論，有望解決手勢(shì)的表征模型問(wèn)題。

總之中國(guó)手語(yǔ)信息處理研究有著廣闊的前景，雖然存在很多具有挑戰(zhàn)性的難點(diǎn)和問(wèn)題，我們可期待漢語(yǔ)語(yǔ)言學(xué)、手語(yǔ)語(yǔ)言學(xué)、神經(jīng)科學(xué)、計(jì)算機(jī)科學(xué)和心理認(rèn)知學(xué)等學(xué)科的學(xué)者進(jìn)入該領(lǐng)域探討跨學(xué)科的研究，以便取得更大的進(jìn)展，以期為無(wú)障礙交流環(huán)境提供軟件和硬件的支持，也為擴(kuò)展計(jì)算語(yǔ)言學(xué)起到拋磚引玉的作用。我們相信未來(lái)的手語(yǔ)語(yǔ)言學(xué)研究發(fā)展趨勢(shì)必將形成文、理、工、醫(yī)交叉、多學(xué)科整合模式，獲得不同視角、多領(lǐng)域的跨學(xué)科研究成果。

[1] 中國(guó)殘疾人聯(lián)合會(huì). 2010年末全國(guó)殘疾人總數(shù)及各類(lèi)、不同殘疾等級(jí)人數(shù) [OL]. 2011. http://www.cd-pf.org.cn/sytj/content/2012-06/26/content_30399867.htm

[2] Kegl J, MacLaughlin D, Bahan B, et al. The syntax of American Sign Language: Functional categories and hierarchical structure[M]. Cambridge, MA: MIT Press, 2000.

[3] Vally C, Lucas C. Linguistics of American sign language[M]. 3rd edition, Washington, DC: Gallaudet University Press, 2002.

[4] Sign Writing. Sign Writing[OL]. 2011. http://www.signwriting.org/

[5] Supalla S, Cripps J H, McKee C. Revealing Sound in the Signed Medium Through an Alphabetic System[C]//Proceedings of the Poster presented at the First SignTyp Conference, Storrs, CT. 2008.

[6] Stokoe William C， Dorothy C Casterline, Carl G Croneberg. A dictionary of American Sign Language on linguistic principles[M]. Silver Spring， MD: Linstok，1965.

[7] Prillwitz S, Hamburg Zentrum für Deutsche Geb?rdensprache, Kommunikation Geh?rloser. HamNoSys: version 2.0; Hamburg Notation System for Sign Languages; an introductory guide[M]. Signum-Verlag, 1989.

[8] Johnston T A. W (h) ither the deaf community? Population, genetics, and the future of Australian sign language[J]. American annals of the deaf, 2004, 148(5): 358-375.

[9] Huenerfauth M. American sign language generation: multimodal NLG with multiple linguistic channels[C]//Proceedings of the ACL Student Research Workshop. Association for Computational Linguistics, 2005: 37-42.

[10] Johnston T. From archive to corpus: transcription and annotation in the creation of signed language corpora[J]. International Journal of Corpus Linguistics, 2010, 15(1): 106-131.

[11] 吳鈴. 手語(yǔ)語(yǔ)法和漢語(yǔ)語(yǔ)法的比較研究——尋找聾人失落的書(shū)面語(yǔ)[J]. 中國(guó)特殊教育, 2006, 8: 010.

[12] Morteza Zahedi, Hermann Ney, Gerhard Rigoll, Robust Appearance-based Sign Language Recognition[D]. Rheinisch-Westf?lischen Technischen Hochschule Aachen 21.09.2007.

[13] Adhinarayanan VenkataSubramaniam1, Karthikeswaran Duraisamy, Dinakar Subramaniam and Marikkani Chelladurai Embedding Sign Representation in Mobile Phones to Assist Disabled[J]. Computer Technology and Application 2011,(2): 42-47.

[14] Michael Filhol, Annelies Braffort,Sign description : how geometry and graphing serve linguistic issues[C]//Proceedings of the LIMSICNRS, Orsay.G762

[15] Jessica Hutchinson. Literature Review: Analysis of Sign Language Notations for Parsing in Machine Translation of SASL[D]. Rhodes University, South Africa, 2012.

[16] 倪蘭. 中國(guó)手語(yǔ)動(dòng)詞方向性研究[D]. 復(fù)旦大學(xué)博士學(xué)位論文, 2007.

[17] 徐琳, 高文. 面向機(jī)器翻譯的中國(guó)手語(yǔ)的理解與合成[J]. 計(jì)算機(jī)學(xué)報(bào), 2000, (1):60-65.

[18] Supalla T R. Structure and Acquisition of Verbs of Motion and Location in American Sign Language[D]. Ph.D. Dissertation, University of California, San Diego, 1982.

[19] Liddell S K. Grammar, gesture, and meaning in American Sign Language[M]. Cambridge University Press, 2003.

[20] Bauer B, Hienz H. Relevant features for video-based continuous sign language recognition[C]//Proceedings of the Fourth IEEE, 2000: 440-445.

[21] Huenerfauth M. American sign language generation: multimodal NLG with multiple linguistic channels[C]//Proceedings of the ACL Student Research Workshop. Association for Computational Linguistics, 2005: 37-42.

[22] Marshall I, Safar E. Grammar development for sign language avatar-based synthesis[C]//Proceedings HCII. 2005: 1-10.

[23] Stein D, Bungeroth J, Ney H. Morpho-syntax based statistical methods for sign language translation[C]//Proceedings of the 11th Annual conference of the European Association for Machine Translation, Oslo, Norway. 2006: 223-231.

[24] Zhao L, Kipper K, Schuler W, et al. A machine translation system from English to American Sign Language[M]. Envisioning machine translation in the information future. Springer Berlin Heidelberg, 2000: 54-67.

[25] 黃曉曉. 基于情景語(yǔ)料庫(kù)的自然手語(yǔ)構(gòu)詞研究[D]. 南京師范大學(xué)碩士學(xué)位論文, 2012.

[26] Huenerfauth M. Representing coordination and non-coordination in American Sign Language animations[J]. Behaviour and Information Technology, 2006, 25(4): 285-295.

[27] Bird S, Liberman M. A formal framework for linguistic annotation[J]. Speech communication, 2001, 33(1): 23-60.

[28] Martell C H. An extensible, kinematically-based gesture annotation scheme[C]//Proceedings of the 3rd International Conference on Language Resources and Evaluation. 2005.

[29] Tucci M, Vitiello G, Costagliola G. Parsing nonlinear languages[J]. Software Engineering, IEEE Transactions on, 1994, 20(9): 720-739.

[30] Ong S C W, Ranganath S. Automatic sign language analysis: A survey and the future beyond lexical meaning[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2005, 27(6): 873-891.

[31] Vogler C, Metaxas D. Adapting hidden Markov models for ASL recognition by using three-dimensional computer vision methods[C]//Proceedings of the Computational Cybernetics and Simulation., 1997 IEEE, 1997, 1: 156-161.

[32] Vogler C, Metaxas D. ASL recognition based on a coupling between HMMs and 3D motion analysis[C]//Proceedings of the IEEE, 1998: 363-369.

[33] Vogler C, Metaxas D. Toward scalability in ASL recognition: Breaking down signs into phonemes[M]//Gesture-based communication in human-computer interaction. Springer Berlin Heidelberg, 1999: 211-224.

[34] Niebles J C, Wang H, Fei-Fei L. Unsupervised learning of human action categories using spatial-temporal words[J]. International journal of computer vision, 2008, 79(3): 299-318.

[35] Dardas N H, Petriu E M. Hand gesture detection and recognition using principal component analysis[C]//Proceedings of the 2011 IEEE International Conference on Computational Intelligence for Measurement Systems and Applications(CIMSA), IEEE，2011： 1-6.

[36] Gao W, Ma J, Wu J, et al. Sign language recognition based on HMM/ANN/DP[J]. International journal of pattern recognition and artificial intelligence, 2000, 14(05): 587-602.

[37] Zhu Y, Xu G, Huang Y. Apearance-based dynamic hand gesture recognition from image sequences with complex background [J]. Journal of Software, 2001, 11(1): 54-61.

[38] Dreuw P, Neidle C, Athitsos V, et al. Benchmark Databases for Video-Based Automatic Sign Language Recognition[C]//Proceedings of the LREC. 2008.

[39] Arena V, Finlay A, Woll B. Seeing sign: The relationship of visual feedback to sign language sentence structure[C]//Proceedings of the Poster presented at CUNY Conference on Human Sentence Processing, La Jolla, CA. 2007.

[40] Huenerfauth M. Spatial representation of classifier predicates for machine translation into american sign language[C]//Proceedings of the Workshop on Representation and Processing of Sign Language, 4th Internationnal Conference on Language Ressources and Evaluation (LREC 2004). 2004: 24-31.

[41] Liddell S K. Sources of meaning in ASL classifier predicates[J]. Perspectives on classifier constructions in sign languages, 2003, 199: 220.

[42] Bangham J A, Cox S J, Elliott R, et al. Virtual signing: Capture, animation, storage and transmission-an overview of the visicast project[C]//Proceedings of the IEEE Seminar on Speech and language processing for disabled and elderly people, 2000.

[43] Veale T, Conway A, Collins B. The challenges of cross-modal translation: English-to-Sign-Language translation in the Zardoz system[J]. Machine Translation, 1998, 13(1): 81-106.

[44] Battison R. Lexical Borrowing in American Sign Language[M]，Linstok Press, Silver Spring, MD . 1978.

[45] Huenerfauth M. Generating American Sign Language classifier predicates for English-to-ASL machine translation[D]. University of Pennsylvania, 2006.

[46] Holt J A. Stanford Achievement Test-8th edition: reading comprehension subgroup results[J]. American Annals of the Deaf, 1993, 138(2): 172-175.

[47] Wideman C J, Sims E M. Signing avatars[C]//Proceedings of the Technology And Persons With Disabilities Conference. 1998.

[48] N Badler, R Bindiganavale, J Bourne, et al.[OL]. A parameterized action representation for virtual human agents. In Workshop on Embodied Conversational Characters, Lake Tahoe, CA. http://www.cis.upenn.edu/～rama/publications.html

[49] Kennaway R. Synthetic animation of deaf signing gestures[M]. Gesture and Sign Language in Human-Computer Interaction. Springer Berlin Heidelberg, 2002: 146-157.

姚登峰(1979—),通信作者,博士研究生,講師,主要研究領(lǐng)域?yàn)槭终Z(yǔ)認(rèn)知與計(jì)算。E-mail:yaodengfeng@gmail.com江銘虎(1962—),教授,主要研究領(lǐng)域?yàn)檎Z(yǔ)言認(rèn)知與計(jì)算。E-mail:jiang.mh@tsinghua.edu.cn阿布都克力木·阿布力孜(1983—),博士研究生,主要研究領(lǐng)域?yàn)檎Z(yǔ)言認(rèn)知、認(rèn)知神經(jīng)科學(xué)。E-mail:keram1106@163.com

歡迎訂閱《中文信息學(xué)報(bào)》

《中文信息學(xué)報(bào)》( Journal of Chinese Information Processing )是全國(guó)一級(jí)學(xué)會(huì)——社團(tuán)法人中國(guó)中文信息學(xué)會(huì)和中國(guó)科學(xué)院軟件研究所聯(lián)合主辦的學(xué)術(shù)性刊物，創(chuàng)刊于1986年10月，現(xiàn)為雙月刊。2007年改版為大16開(kāi)，每期126頁(yè)，由商務(wù)印書(shū)館出版，成為商務(wù)印書(shū)館期刊方陣中的期刊之一，清華大學(xué)印刷廠(chǎng)印刷。

《中文信息學(xué)報(bào)》是我國(guó)計(jì)算機(jī)、計(jì)算技術(shù)類(lèi)83種刊物中的中文核心期刊。主要刊登中文信息處理基礎(chǔ)理論與應(yīng)用技術(shù)方面的高水平學(xué)術(shù)論文，內(nèi)容涵蓋計(jì)算語(yǔ)言學(xué)(包括語(yǔ)音與音位、詞法、句法、語(yǔ)義、語(yǔ)用等各個(gè)層面上的計(jì)算)，語(yǔ)言資源建設(shè)(包括計(jì)算詞匯學(xué)、術(shù)語(yǔ)學(xué)、電子詞典、語(yǔ)料庫(kù)、知識(shí)本體等)，機(jī)器翻譯或機(jī)器輔助翻譯，漢語(yǔ)和少數(shù)民族語(yǔ)言文字輸入輸出及其智能處理，中文手寫(xiě)和印刷體識(shí)別，中文語(yǔ)音識(shí)別及文語(yǔ)轉(zhuǎn)換，信息檢索，信息抽取與過(guò)濾，文本分類(lèi)、中文搜索引擎，以自然語(yǔ)言為樞紐的多模態(tài)檢索，與語(yǔ)言處理相關(guān)的數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、知識(shí)獲取、知識(shí)工程、人工智能研究，與語(yǔ)言計(jì)算相關(guān)的語(yǔ)言學(xué)研究等。也刊登相關(guān)綜述、研究報(bào)告、成果簡(jiǎn)介、書(shū)刊評(píng)論、專(zhuān)題討論、國(guó)內(nèi)外學(xué)術(shù)動(dòng)態(tài)等稿件。

讀者對(duì)象主要是從事中文信息處理的研究人員、工程技術(shù)人員和大專(zhuān)院校師生等。

《中文信息學(xué)報(bào)》(國(guó)內(nèi)統(tǒng)一刊號(hào)： CN11-2325/N；國(guó)際統(tǒng)一刊號(hào)： ISSN 1003-0077)國(guó)內(nèi)外公開(kāi)發(fā)行，國(guó)內(nèi)定價(jià)每期30元，全年180元；海外US$50/年(平郵)。

國(guó)內(nèi)發(fā)行處： 《中文信息學(xué)報(bào)》編輯部

國(guó)外發(fā)行處： 中國(guó)圖書(shū)進(jìn)出口總公司 100020 北京88-E信箱

1． 郵局匯款

收款單位： 《中文信息學(xué)報(bào)》編輯部

地 址： 北京8718信箱 《中文信息學(xué)報(bào)》編輯部

郵政編碼： 100190

收 款 人： 《中文信息學(xué)報(bào)》編輯部

2． 銀行轉(zhuǎn)賬

開(kāi)戶(hù)銀行： 工商行北京市分行海淀西區(qū)支行

戶(hù) 名： 中國(guó)中文信息學(xué)會(huì)

賬 號(hào)： 0200004509014415619

《中文信息學(xué)報(bào)》編輯部

地 址： 北京海淀區(qū)中關(guān)村南四街4號(hào)7號(hào)樓201房間

電 話(huà)： 010-62562916 010-62661046

電子信箱： jcip@iscas.ac.cn

A Survey of Chinese Sign Language Processing

YAO Dengfeng1,2,3， JIANG Minghu1,2,Abudoukelimu Abulizi1,2, LI Hanjing3，Halidanmu Abudukelimu4，XIA Dina5

(1.Lab of Computational Linguistics, School of Humanities, Tsinghua University, Beijing 100084, China;2. Center for Psychology and Cognitive Science, Tsinghua University, Beijing 100084, China;3. Beijing Key Lab of Information Service Engineering(Beijing Union University), Beijing 100101, China；4. State Key Laboratory of Intelligent Technology and Systems, Tsinghua National Laboratory for Information Science and Technology, Department of Computer Science and Technology, Tsinghua University, Beijing 100084, China；5. China Electronics Standardization Institute,Beijing 100007, China)

For the computer processing of Chinese sign language, the characteristics of the sign language should be consideredt. This paper discusses the problems related to Chinese sign language information processing and proposes the processing technology according to the domestic and foreign research progress. Based on the lexical and syntactic characteristics of Chinese sign language and the latest research results in foreign Sign Linguistics, this paper puts forward a solution to the processing of Chinese sign language. We suggest that the future study of sign linguistics will rely more on the interdisciplinary study and multi-mode approach, and its progress will promote the technology of information accessibility.

Chinese sign language；information processing；writing system

1003-0077(2015)05-0216-12

2015-07-15 定稿日期： 2015-09-20

國(guó)家自然科學(xué)基金(61171114,61433015,91420202)；國(guó)家社會(huì)科學(xué)基金(14ZDB154,13&ZD187)； 教育部人文社會(huì)科學(xué)研究規(guī)劃基金(14YJC740104)；北京高校青年英才計(jì)劃項(xiàng)目(YETP1753)

TP391

A