手語視頻庫(kù)的建立與研究

楊煉　鐘鵬　鄭祖明　韓梅　李凱

摘 要：手語視頻數(shù)據(jù)庫(kù)以《計(jì)算機(jī)專業(yè)手語》為基礎(chǔ)，將視頻剪輯技術(shù)和數(shù)據(jù)庫(kù)技術(shù)相結(jié)合，為計(jì)算機(jī)專業(yè)手語教學(xué)的規(guī)范化研究提供數(shù)據(jù)支持；以中殘聯(lián)編著的《計(jì)算機(jī)專業(yè)手語》為基礎(chǔ)，建立計(jì)算機(jī)專業(yè)手語視頻數(shù)據(jù)庫(kù)。課題將視頻剪輯技術(shù)和數(shù)據(jù)庫(kù)技術(shù)相結(jié)合，為計(jì)算機(jī)專業(yè)手語教學(xué)的規(guī)范化研究提供數(shù)據(jù)支持；指導(dǎo)聾人高等工科教育中的手語教學(xué)，提高課堂手語教學(xué)的教學(xué)質(zhì)量。同時(shí)可為計(jì)算機(jī)手語語料庫(kù)的研究提供視頻數(shù)據(jù)的支持。

關(guān)鍵詞：手語 ；視頻庫(kù)；語料庫(kù)

中圖分類號(hào)：TP317 文獻(xiàn)標(biāo)識(shí)碼 A

Establishment and Study of Sign Language Video Library

YANG Lian， ZHANG Peng， ZHANG Zuming， HAN Mei， LI Kai

（Technical College for the Deaf， Tianjin University of Technology，Tianjin 300384，China）

Abstract： Based on the computer professional sign language， and combined with video clips and database technology， Sign language video database provides data support for the study on the standardization of computer professional sign language teaching； Taking “the computer professional sign language" as the foundation edited by CDPF， the establishment of computer professional sign language video database. The subject of the paper is to provide the data support for the standardization of sign language teaching in computer science. While the research of the sign language corpus can provide the support for the video data.

Key words： Sign Language； Video Library；Corpus

0引 言

目前我國(guó)許多聾人學(xué)校都開設(shè)了信息技術(shù)課，許多面向聾人招生的高等教育學(xué)校，如：天津理工大學(xué)聾人工學(xué)院、北京聯(lián)合大學(xué)特教學(xué)院、重慶師范大學(xué)特殊教育學(xué)院，浙江廣播電視大學(xué)特殊教育學(xué)院等都開設(shè)了計(jì)算機(jī)相關(guān)專業(yè)。日常手語的學(xué)習(xí)可參考《中國(guó)手語》[1]，計(jì)算機(jī)專業(yè)手語詞匯可以參考《計(jì)算機(jī)專業(yè)手語》[2]，這些可以作為健聽人與聾人交往參考和高校教學(xué)的基礎(chǔ)資料，但紙質(zhì)的學(xué)習(xí)教材不夠形象，相關(guān)的視頻素材又產(chǎn)出匱乏，教師和聾生學(xué)習(xí)中困難較大。教師在教學(xué)上只是按自己的理解去打出計(jì)算機(jī)專業(yè)手語詞匯的手勢(shì)，全國(guó)各地聾校、甚至同一學(xué)校、不同教師對(duì)一個(gè)詞匯打出的手勢(shì)也不一樣，造成了健聽人與聾人、聾人和聾人之間交流的障礙。因此制作計(jì)算機(jī)專業(yè)手語視頻學(xué)習(xí)庫(kù)，將專業(yè)手語的教學(xué)以視頻的形式展現(xiàn)出來，可以增加學(xué)習(xí)者的學(xué)習(xí)興趣，提升手語教學(xué)的效果水平，實(shí)現(xiàn)手語教學(xué)的統(tǒng)一化、標(biāo)準(zhǔn)化和規(guī)范化。本文即針對(duì)這一課題而展開相應(yīng)的探討和研究。

目前我國(guó)手語視頻庫(kù)建設(shè)依然處于起步階段，應(yīng)用范圍還非常有限。從已出版發(fā)行的多本手語詞典或工具書，如《中國(guó)手語））和《計(jì)算機(jī)專業(yè)手語》等的編制運(yùn)作過程可知，其達(dá)成目標(biāo)的一般做法是召集一定數(shù)量的聾人，采取實(shí)驗(yàn)誘導(dǎo)法獲得所需視頻。該方法雖有利于編寫工作的高效運(yùn)行，但存在的潛在風(fēng)險(xiǎn)是，手語的采集過程主要依靠聾人的內(nèi)省判斷，加之受試樣本容量大小不一，少數(shù)實(shí)例往往難以如實(shí)反映手語詞匯的真實(shí)性和復(fù)雜性。因此在建設(shè)過程中，應(yīng)當(dāng)注意到以下幾個(gè)問題：（1）從研究者來看，最好為手語語言學(xué)專業(yè)出身，或?qū)κ终Z有較長(zhǎng)時(shí)間的接觸和學(xué)習(xí)。應(yīng)當(dāng)以科學(xué)的方法論思想指導(dǎo)視頻庫(kù)建設(shè)，切不可想當(dāng)然；（2）從視頻的均衡性來看，應(yīng)當(dāng)注意性別、地域和詞域的平衡；（3）從建設(shè)主體來看，我國(guó)的手語視頻庫(kù)大多數(shù)為國(guó)家出資建立，應(yīng)當(dāng)在此基礎(chǔ)上發(fā)動(dòng)各層面力量，提倡各個(gè)研究機(jī)構(gòu)和大學(xué)建立自己的視頻庫(kù)。目前國(guó)外較為通行的做法是，如科研人員可根據(jù)研究需要建立私人視頻庫(kù)，在一定范圍內(nèi)實(shí)現(xiàn)共享和交流[3]。

1 設(shè)計(jì)的意義

1.1手語語料庫(kù)的研究提供視頻數(shù)據(jù)支持

視頻庫(kù)是以電子計(jì)算機(jī)為載體承載的真實(shí)的實(shí)際使用并經(jīng)過加工（分析和處理）的語言材料。其使用標(biāo)志著語言方法論的重大轉(zhuǎn)變，可使語言研究者從傳統(tǒng)的直覺經(jīng)驗(yàn)方法轉(zhuǎn)向量化的統(tǒng)計(jì)方法，提高語言研究效率。通過視頻庫(kù)對(duì)手語詞匯進(jìn)行分析，得出詞頻及詞的搭配等統(tǒng)計(jì)規(guī)律，還可以大大縮短詞典的編寫周期，使詞典的內(nèi)容充分反映語言的實(shí)際使用情況。

1.2為手語教學(xué)提供視頻素材

手語視頻庫(kù)作為以計(jì)算機(jī)為工具建立、存儲(chǔ)和使用的手語語言素材集合，可供使用者檢索、分析和處理之用。對(duì)視頻庫(kù)中豐富的手語素材進(jìn)行統(tǒng)計(jì)，得出手語的特征和規(guī)律，有助于扭轉(zhuǎn)以往教材大多依據(jù)聾人教師的直覺和教學(xué)經(jīng)驗(yàn)，缺少量化標(biāo)準(zhǔn)和科學(xué)依據(jù)的局面。視頻庫(kù)更可以直接為手語教材的編寫提供真實(shí)性和客觀性頗佳的各類素材，為手語課堂教學(xué)提供鮮活的案例。

1.3服務(wù)于國(guó)家語言規(guī)劃和語言政策的制定

我國(guó)政府長(zhǎng)期以來致力于手語通用語的制定，但標(biāo)準(zhǔn)一直是各方爭(zhēng)論的焦點(diǎn)。這主要是由于中國(guó)手語中也存在方言，并且受到漢語的影響。因此在手語視頻庫(kù)建設(shè)的過程中，采取一種描寫的態(tài)度收集中國(guó)各個(gè)典型地區(qū)的自然手語方言，將所得視頻建成大型數(shù)據(jù)庫(kù)，比較、進(jìn)而量化其中的差異，提取合理的通用語選定標(biāo)準(zhǔn)，則可有效避免語感帶來的偏差。

2手語視頻庫(kù)素材的搜集

計(jì)算機(jī)專業(yè)手語視頻庫(kù)中的“素材”是指在與計(jì)算機(jī)專業(yè)相關(guān)的手語詞匯調(diào)查活動(dòng)中根據(jù)概率抽樣原則從調(diào)查對(duì)象的總體中抽取出來作為受試的那一部分人?！按硇浴笔侵高x取樣本所具有的特征可以說明總體特征。為保證視頻庫(kù)中的樣本具有足夠的代表性，在計(jì)算機(jī)專業(yè)手語詞匯《計(jì)算機(jī)專業(yè)手語》的選取應(yīng)當(dāng)遵循一定的標(biāo)準(zhǔn)[4]?！队?jì)算機(jī)專業(yè)手語》在選詞方面考慮到不同程度學(xué)習(xí)者的需要，以使用頻率和在專業(yè)教學(xué)中的重要程度作為選詞的依據(jù)，確定將計(jì)算機(jī)常用術(shù)語作為主要業(yè)教學(xué)中的重要程序作為選詞的依據(jù)，以兼顧職業(yè)技術(shù)學(xué)校和高等院校聾人計(jì)算機(jī)教學(xué)的需要。如“任務(wù)欄”，在某個(gè)軟件主界面中常常出現(xiàn)的詞匯，教師在講授常用軟件時(shí)使用頻率很高的一個(gè)詞，在《計(jì)算機(jī)專業(yè)手語》沒有這個(gè)詞，在計(jì)算機(jī)手語中，即需根據(jù)字或詞在計(jì)算機(jī)中的真實(shí)詞義重新設(shè)計(jì)手勢(shì)，這個(gè)詞的含義不同于平時(shí)接受上級(jí)命令而去執(zhí)行的任務(wù)。本研究根據(jù)人們?cè)谑褂糜?jì)算機(jī)中的桌面時(shí)屏幕產(chǎn)生的變化，這樣設(shè)計(jì)手勢(shì)：（1）右手五指成“】”形，按向左肩上。（2）右手掌拍一下左肩，表示“任務(wù)”的意思。 雙手拇、食指分開少許，指尖朝前，從中間向兩側(cè)移動(dòng)，表示“欄”的意思。類似的，還有“菜單”、“遞歸”等其它的詞匯。

3手語視頻攝錄系統(tǒng)的設(shè)計(jì)與開發(fā)

3.1 設(shè)計(jì)要求

手語視頻庫(kù)的建立主要是收集各個(gè)地區(qū)的計(jì)算機(jī)專業(yè)手語詞匯視頻，相對(duì)現(xiàn)有的中國(guó)手語教程相比，視頻能夠通過表情，手勢(shì)和運(yùn)動(dòng)軌跡多個(gè)方面來描述相應(yīng)詞匯的手語打法。本系統(tǒng)從實(shí)用性、合理性、可靠性等方面提出如下要求：

（1）詞匯提示：在多媒體教室，聾人正對(duì)面約2米處應(yīng)放置一個(gè)大小適合的顯示器（29寸），主要用于顯示詞匯或圖片等相關(guān)信息，作為聾人打手語的詞匯提示器。

（2）詞匯管理：整理詞匯，并做成Word或Excel。

（3）視頻管理：包括視頻錄制，以及視頻回放和重新錄制功能，另外對(duì)視頻編號(hào)手動(dòng)命名，前四位由詞匯拼音首位字母，不足部分補(bǔ)0，視頻格式為avi，分辨率和幀頻可以自行設(shè)置。

3.2 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

3.2.1手語視頻攝錄

攝錄地點(diǎn)選定在機(jī)房和圖書館，環(huán)境布置采取如下形式：專用攝像機(jī)一臺(tái)，以及臺(tái)式計(jì)算機(jī)（帶雙顯示器）一臺(tái)。臺(tái)式機(jī)中的一個(gè)顯示器用作詞匯提示，擺放在手語模特的正前方約3米處，高度與肩平行。另一個(gè)則作為手語視頻攝錄系統(tǒng)的操作者攝錄使用。

3. 2. 2 軟件設(shè)計(jì)與開發(fā)

將錄制后的文件進(jìn)行編輯，主要包括剪輯和編碼與文件導(dǎo)出。因此研究中運(yùn)用軟件Premiere Pro CS6來執(zhí)行相應(yīng)操作。

3.2.2.1 剪輯和編碼

剪裁素材可以通過刪除幀的方式來改變素材長(zhǎng)度，在“源素材”監(jiān)視器面板的編輯過程中，用戶可以對(duì)素材的開始幀與結(jié)束幀進(jìn)行定義：開始幀的位置可稱為“入點(diǎn)”，結(jié)束幀的位置則稱為“出點(diǎn)”。在自定義了素材的“入點(diǎn)”與“出點(diǎn)”后，“項(xiàng)目”面板中的素材長(zhǎng)度會(huì)發(fā)生改變。另外，在“節(jié)目”監(jiān)視器面板中也可以為素材設(shè)置“入點(diǎn)”與“出點(diǎn)”。

3.2.2.2 設(shè)置視頻導(dǎo)出方法

（1）視頻編解碼器

在該設(shè)置項(xiàng)的下拉列表中，可以選擇導(dǎo)出影片所使用的編解碼器。在一般情況下多是使用默認(rèn)的編解碼器，因?yàn)樵诟淖兙幗獯a器時(shí)會(huì)影響到其他的參數(shù)，從而影響到導(dǎo)出文件的整體質(zhì)量。

（2）基本視頻

品質(zhì)。在默認(rèn)的“視頻編解碼器”下并不需要設(shè)置這一選項(xiàng)，只是當(dāng)切換至其他一些支持其功能的視頻編解器時(shí)才能對(duì)其進(jìn)行設(shè)置，主要是實(shí)現(xiàn)對(duì)畫面質(zhì)量的預(yù)定設(shè)置。品質(zhì)參數(shù)越高，畫面越細(xì)膩、質(zhì)感越強(qiáng)；品質(zhì)越低，畫質(zhì)也就越差。

幀速率：這是設(shè)置每秒鐘的視頻幀數(shù)。幀數(shù)越多，畫面連貫性越強(qiáng)；幀數(shù)越少，則畫面連貫性越差，甚至?xí)霈F(xiàn)定格現(xiàn)象。

場(chǎng)類型：一般情況下需要按照相關(guān)視頻硬件顯示奇偶場(chǎng)的順序進(jìn)行設(shè)置。通常有兩種選項(xiàng)，即有場(chǎng)和無場(chǎng)：選擇無場(chǎng)，就是按正常視頻輸出；選擇有場(chǎng)是在畫面的幀與幀之間再自動(dòng)添加一幀，如此可使畫面播放起來更顯流暢[5]，如圖 1所示。

4手語視頻基元的構(gòu)建和設(shè)計(jì)

4. 1手語詞匯基元的視頻數(shù)據(jù)庫(kù)模型

手語詞匯基元庫(kù)的構(gòu)建包括從計(jì)算機(jī)專業(yè)手語視頻源數(shù)據(jù)中提取手語詞匯基元和手語詞匯基元視頻數(shù)據(jù)庫(kù)模型的構(gòu)建。手語詞匯基元是在視頻切分軟件的鋪助下，人工定義和截取的手語詞匯最小語義單元的視頻。手語詞匯基元視頻數(shù)據(jù)庫(kù)模型通過為手語詞匯基元標(biāo)注手勢(shì)、體勢(shì)、韻律信息等來定義手語詞匯基元的語義，具體來說，視頻數(shù)據(jù)庫(kù)模型的美容包括手型、胳膊的形態(tài)、基本詞義和情緒等信息，具體如圖2所示，重點(diǎn)是手形和胳膊形態(tài)的定義和標(biāo)記。

4.2 過渡基元的視頻數(shù)據(jù)庫(kù)模型

設(shè)計(jì)時(shí)，手語視頻中的圖像是按人體結(jié)構(gòu)來分為手、胳膊、頭和軀干4部分。如上的所有不同的形態(tài)組成了過渡基元數(shù)據(jù)庫(kù)如圖3所示。其中，手和胳膊作為手語運(yùn)動(dòng)的主要部分，對(duì)理解手語內(nèi)容和視覺影響有著非常重要的作用。因此，本文重點(diǎn)對(duì)其提出了不同的建庫(kù)和標(biāo)記方法[6]。

5 結(jié)束語

手語視頻庫(kù)的設(shè)計(jì)是手語語言學(xué)研究成果的一項(xiàng)具體應(yīng)用，文章對(duì)視頻的采集方法、轉(zhuǎn)寫以及標(biāo)注進(jìn)行了探討，可以為手語語料庫(kù)的設(shè)計(jì)提供視頻數(shù)據(jù)的支持。手語視頻庫(kù)建設(shè)具有長(zhǎng)期性、復(fù)雜性和艱巨性，尤其是大型視頻庫(kù)的建設(shè)需要耗費(fèi)大量的人力、物力以及財(cái)力。在建設(shè)過程中需要國(guó)內(nèi)乃至國(guó)際學(xué)界的頻繁交流和通力合作，才能實(shí)現(xiàn)研究成果的不斷涌現(xiàn)和真正共享。

參考文獻(xiàn)：

[1] 中國(guó)聾人協(xié)會(huì).中國(guó)手語[M].北京：華夏出版社，2003.

[2]中國(guó)殘疾人聯(lián)合會(huì)教育就業(yè)部.中國(guó)聾人協(xié)會(huì).計(jì)算機(jī)專業(yè)手語[M].北京：華夏出版社， 2005：51-54

[3]李凱， 張書珍. 計(jì)算機(jī)專業(yè)詞匯手語手勢(shì)的表達(dá)設(shè)想[J]. 中國(guó)聽力語言康復(fù)科學(xué)雜志， 2004（3）：36-37.

[4]李蘭曉. 面向手語視頻拼接的過渡視頻庫(kù)構(gòu)建方法研究[D]. 北京：北京工業(yè)大學(xué)。 2013.

[5]馬小龍，謝迪杰.Premiere Pro CS6 教程，北京：人民郵電出版社，XXX.

[6]王茹， 尹寶才，王立春，等.面向中國(guó)手語合成的視頻語義描述方法[J]. 北京工業(yè)大學(xué)學(xué)報(bào)，2012，38（5）：730-735..