藝術設計專業(yè)詞匯的手語動畫合成開發(fā)路徑探究

杜秋磊，張倚愷

(長春大學 特殊教育學院，長春 130022)

人們對手語的認識起步較晚，直到1997年世界聾人大會通過決議承認手語是一門獨立的語言，手語才作為一門語言學學科得到世界的承認，并把聾人所使用的手語稱之為自然手語。因此，藝術設計專業(yè)詞匯的手語開發(fā)在此基礎上還要滯后。

一、藝術設計專業(yè)詞匯手語動畫開發(fā)的必要性

手語和口語是作為聾人和健聽人的第一語言而存在的，為了使聾人能夠正常參與社會生產活動，與社會保持密切接觸，掌握這兩種語言形式的能力是必不可少的。開發(fā)手語動畫的一個重要的物質基礎是動畫合成技術的應用。

(一)社會地位

我國對聾人的基本教育并未隨著經濟和科技的快速發(fā)展而變得更加專業(yè)，其局限性體現(xiàn)在教育方式以及教學內容上。教學方式仍舊以老式的“以口語為主”來指導，以基本口語訓練為目標和手段的教育方式忽視了聾人在人體聲音感知方面的欠缺，口口相傳的這種口語化教育方式使得聾人在某些程度上的學習和表達得不到相應的回報。這種缺失重點和方式落后的教育使聾人在社會中不斷被邊緣化，加之目前學科門類的細分及專業(yè)性的加強，常規(guī)的手語詞匯局限性較大，容易導致聾人學生無法理解或是片面理解專業(yè)概念，進而造成無法正常從事相關行業(yè)、正常進行工作的結果。這些問題的產生來自社會的關注度不夠、從事相關行業(yè)的專業(yè)人員缺失等方面，因此，我們該重點考慮一下聾人手語教育的專業(yè)性和社會地位。

(二)研究價值

隨著多功能感知、智能人機接口及虛擬現(xiàn)實研究的興起，手語合成研究受到各國科研機構的關注。在建設無障礙和諧社會的需求推動和政策支持下，國內一些高校、學術機構和公司紛紛致力于手語識別和手語合成系統(tǒng)的研究與開發(fā)。手語合成系統(tǒng)利用計算機虛擬現(xiàn)實技術和人體動畫技術將自然語言句子自動轉換成聾人可以理解的手語，并由計算機生成的虛擬人準確地顯示出來，有效地解決了手語無障礙信息查詢與手語信息播報具體應用問題，有助于聾人群體使用電視、網(wǎng)絡、電話、計算機等高科技產品，有助于手語的標準化推廣，擴大標準手語的使用范圍，有效實現(xiàn)聾人與健聽人之間的自然交流。藝術設計專業(yè)詞匯手語的動畫合成也正是利用了手語語言傳播與動畫技術的交集進行的研究。二者的結合有著與時俱進的社會需求，更是連接學習藝術設計專業(yè)的聾人與社會、聾人與健聽人的重要一環(huán)。首先，專業(yè)手語詞匯的動畫合成對于統(tǒng)一專業(yè)手語詞匯打法有著重要的作用。手語和口語一樣有著地域性方言特征，因此在專業(yè)詞匯的溝通中需要統(tǒng)一打法，形成標準化規(guī)范。其次，專業(yè)詞匯手語的動畫合成對于聾人的專業(yè)學習、就業(yè)工作和社會交往等都有著重要的現(xiàn)實意義。再次，專業(yè)詞匯手語的動畫合成給健聽專業(yè)教師學習專業(yè)手語提供了更為便捷的途徑。最后，藝術設計專業(yè)詞匯手語的動畫合成能為其他專業(yè)詞匯手語的動畫合成研究打下基礎，具有較高的學術價值和應用價值。

二、藝術設計專業(yè)詞匯手語動畫研究基礎

(一)《美術專業(yè)手語》的助力

藝術設計專業(yè)擬培養(yǎng)具有藝術設計能力，能夠從事藝術設計研究、教育、設計等方面的專門人才，其專業(yè)方向豐富，行業(yè)覆蓋面較廣?！睹佬g專業(yè)手語》一書共收錄美術專業(yè)詞匯1207個，其中包含一小部分常用藝術設計專業(yè)詞匯。其內容表現(xiàn)形式是通過漢語手指字母方案以及手勢動作圖解方式進行說明的，并使用動畫的表現(xiàn)形式來將美術專業(yè)一般詞匯進行講解說明。書中內容充實且專業(yè)性較強，對美術通用術語由基礎到高階都有編寫。例如，僅僅對素描造型基礎的透視關系就有著“視點；視向；距點；心點；余點；天點；地點 消失點(滅點)；焦點(交點)；仰視；平視；俯視；平行；傾斜(歪、傾向)；原線”這些專業(yè)描述詞匯，不僅在細分上體現(xiàn)了極強的專業(yè)性，也在準確性上進行了校正。雖然書中對于藝術設計領域的專業(yè)手語詞匯統(tǒng)計尚未做到專業(yè)性、準確性、覆蓋率并重，但其收錄思路與編寫策略給藝術設計專業(yè)詞匯手語的動畫合成研究起到了較強的借鑒作用[1]。

(二)藝術設計專業(yè)詞匯的匯編

藝術設計專業(yè)由于獨特的學科屬性奠定了較強的綜合性，但是根據(jù)不同的服務對象，藝術設計又展現(xiàn)出了自身的獨立性，其獨立性體現(xiàn)在它不同的學科方向。例如平面設計、環(huán)境設計、產品設計、服裝設計等。也正是因此，藝術設計專業(yè)詞匯的收錄及編寫需要有較強的分節(jié)意識，由宏觀的學科門類逐層向下進行細部編排。以藝術設計中的平面設計方向為例，如“平面設計”為第一層級的詞匯，那么其專業(yè)之下的“構成藝術”“標志設計”“廣告設計”“版式設計”等就是第二層級專業(yè)詞匯。第二層詞匯中再以“構成藝術”為例進行細分，對其專業(yè)相關詞匯再進行編匯，對其所需要的社會屬性以及理論知識進行提煉，例如對構成方式的區(qū)別可劃分為“平面構成、色彩構成、立體構成”等。大體量的招貼設計，如商業(yè)海報、公益海報、圖形創(chuàng)意等成為第三層。一般來說，藝術設計專業(yè)詞匯按照其清晰的層級以及緊密的邏輯性分為三四個層級，甚至更多，以此來形成較為全面的詞匯編匯。此項工作的模式也可為其他專業(yè)詞匯的手語匯編提供有效思路依據(jù)。

三、藝術設計專業(yè)詞匯手語動畫合成思路

完整的手語動畫系統(tǒng)包含虛擬人建模、手語動作建模、手語韻律研究、手語詞庫幾方面。其中手語詞庫記錄了每個手語詞的手語運動信息，這是手語動畫合成的基礎。建立手語動畫詞庫不僅工作量大，而且其質量也直接影響合成手語的效果。目前，已有研究人員建立了初始的中國手語詞運動庫，但缺乏藝術設計專業(yè)詞匯的手語詞運動庫。

首先是分析測試《中國美術手語》中的專業(yè)手語詞匯及匯總本書中尚缺乏的藝術設計專業(yè)手語詞匯，研究這些詞匯動作時序的計算機三維動畫表現(xiàn)形式和方法。常規(guī)的手指語和手勢語無法精確到字眼，例如詞語“包裝設計”需要將詞匯拆成“包裝”和“設計”，再由三個文法順序依次打出。較為復雜的專業(yè)詞匯需要運用到四肢、五官甚至本人所穿戴的服裝進行輔助說明。因此，探究專業(yè)詞匯翻譯邏輯的同時要將其所用到的肢體與輔助說明物體加以考慮[2]。

其次是虛擬人物動畫建模、手語動作建模工作。目前較為常用的二維制作軟件是Flash，因為其成品文件內存較小，對存儲載體要求不高，并且操作相對簡單，繪制程序不煩瑣，一定程度上便于動畫傳播。但是弊端也相對明顯，二維的人物形象在精確程度上無法媲美三維人物形象，并且在手語動作上無法達到流利且生動的藝術形象。三維制作軟件能較為真實地反映出手語打法的空間關系，有助于對人物動作的理解和把控。較為常見的三維動畫制作軟件有Poser、3dMAX、Cinena4d、maya等。以Poser為例，目前已有人員成功研究出使用Poser做運動損傷防治實驗多媒體課件庫，通過制作多個部位的模擬損傷動畫，形成運動損傷多媒體課件庫，從而有效地保證了運動損傷防治實驗課的教學質量。手語動畫的制作完全可以利用Poser進行角色創(chuàng)作，而且過程較簡單，效果卻很逼真。其制作過程主要為選擇模型、姿態(tài)、體態(tài)設計三個步驟，軟件內置了豐富的模型，這些模型以庫形式存放在資料板中，在絕大多數(shù)情況下，我們都可以從內置的模型庫中選出創(chuàng)作某角色所需的模型[3]。Poser的模型及構成模型的各組成部分，如人的手、腳、頭等，都帶有控制參數(shù)盤，通過對參數(shù)盤的設置，我們可以隨意調整模型的姿態(tài)、體態(tài)，從而創(chuàng)作出所需的角色造型，大多數(shù)情況下可以滿足手語動畫對于手指、手掌、手臂、肘部等部位較為極端的造型需求。如果軟件中沒有可用的模型提供，那么就需要自行建立手語詞庫，其方法有兩種：一是運動跟蹤方法和手工編輯方法。運動跟蹤方法主要使用數(shù)據(jù)手套與傳感器記錄每個手語詞對應的手語運動，其優(yōu)點是方便快捷，可以減少工作量；缺點是易受干擾，使得錄制的一些手形不準確，而且不易修改。二是手工編輯方法，這是人為地確定一個手語詞的手勢個數(shù)，使用軟件確定每個手勢各關節(jié)的角度以及手勢之間的變化時間，這種方法的優(yōu)點是生成的手形準確，缺點是工作量太大。

最后是手語的運動規(guī)律及韻律的研究工作。中國手語中一個個手勢就是它的詞語，每一個手勢都具有固定的手形動作，因此我們從技術角度研究了人手的生理結構。人手的結構是非常復雜的，因此手的運動也是極其復雜的。由于手的生理特點，它的運動又是高度約束的。分析手的運動約束，就可以更真實地設計虛擬三維人手的運動，增強手勢表示的準確性。一個手語動作包含兩方面的內容，即手的形狀和手在空間中所處的位置，因此手語動作不僅僅是由手來完成的，而且是由手及手臂共同協(xié)調來完成的。手及手臂的結構是一種鉸鏈式結構，由相應的部位體和關節(jié)組合而成，其中腕關節(jié)有2個自由度，肘關節(jié)有2個自由度，肩關節(jié)有3個自由度，各手指關節(jié)共有25個自由度，如圖1、圖2所示。手語動作主要是各部位繞著各自的關節(jié)進行身體旋轉所產生的，不管是手指的彎曲與伸展，還是整個手臂的運動，運動的基本原理都是一樣的。

圖1 肘關節(jié)有2個自由度

圖2 肩關節(jié)有3個自由度

關鍵幀動畫的建立是手語動作韻律的體現(xiàn)。為了增強手語動畫的真實感，提高聾人對于手語動畫的可懂度，要求手語動畫擁有清晰的顯示效果以及豐富的細節(jié)信息，按照前期骨骼建模的手語打法節(jié)點，在人物運動軌跡關鍵動作之間銜接建立關鍵幀動畫。關鍵幀動畫是利用計算機的運算能力，按照運動學和動力學的規(guī)律計算生成兩個關鍵動作之間的運動動作序列的動畫方法。這種方法可以依靠幾個簡單的動作關鍵幀生成相對復雜的運動過程，從而壓縮了運動數(shù)據(jù)的存儲空間，并被廣泛地應用于計算機動畫領域，特別是在人體動畫方面[4]。圖3是利用Poser軟件進行建模和關鍵幀研究的圖示，可以較為直觀地體現(xiàn)出手語動畫的動作時序和韻律。

圖3 關鍵幀動畫動作序列

四、結語

文章對于藝術設計專業(yè)詞匯的手語匯編及手語動畫做了部分研究，對藝術設計專業(yè)詞匯手語動畫詞庫的建立奠定了一定的基礎，進一步提高了高等特殊教育中的藝術設計專業(yè)的社會匹配度，為實現(xiàn)聾人與健聽人之間的自然交流提供了有利的支撐。后續(xù)還將繼續(xù)對其進行橫向及縱向的擴展研究，如在關鍵幀插值算法中其分類還是較少，不能夠完全反映手語動畫的運動細節(jié)信息，下一步擬從動力學角度入手，從關鍵幀動畫數(shù)據(jù)中提取出更多的關鍵幀類型，并將其用于動畫合成。同時可以將虛擬人頭部和身體的動畫數(shù)據(jù)也結合進去，合成出更加自然的手語動作。