基于聾人案例的空間隱喻語義認知計算

姚登峰，江銘虎，阿布都克力木·阿布力孜，侯仁魁，哈里旦木·阿布都克里木

(1. 清華大學 人文學院計算語言學實驗室，北京 100084；2. 清華大學 心理學與認知科學研究中心，北京 100084；3. 北京聯(lián)合大學 北京市信息服務(wù)工程重點實驗室，北京 100101；4. 魯東大學 文學院，山東 煙臺 264025；5. 清華大學 計算機科學與技術(shù)系智能技術(shù)與系統(tǒng)國家重點實驗室，北京 100084)

?

基于聾人案例的空間隱喻語義認知計算

姚登峰1,2,3，江銘虎1,2，阿布都克力木·阿布力孜1,2，侯仁魁1,4，哈里旦木·阿布都克里木5

(1. 清華大學 人文學院計算語言學實驗室，北京 100084；2. 清華大學 心理學與認知科學研究中心，北京 100084；3. 北京聯(lián)合大學 北京市信息服務(wù)工程重點實驗室，北京 100101；4. 魯東大學 文學院，山東 煙臺 264025；5. 清華大學 計算機科學與技術(shù)系智能技術(shù)與系統(tǒng)國家重點實驗室，北京 100084)

我們從心理語言學的角度，對空間隱喻進行相似性分類和計算，使用多維量表和聚類方法，以聾人為被試分別進行了兩個實驗。實驗結(jié)果表明，聾人為實現(xiàn)空間隱喻理解的計算，使用了地形空間和語法空間的特征信息，同時受手語語言特點的影響，其空間隱喻的認知主題包括手勢者自身參照系、參照物的相對坐標系、手勢空間的飽和度、以手部或胸部為邊界。同時表明由于兩種空間的存在，聾人大腦對空間隱喻的理解存在著層次，并且在長期使用手語交流的過程中，其地形空間和語法空間相互作用，影響了聾人大腦空間隱喻的結(jié)構(gòu)和表征，從而導(dǎo)致了獨特的高效快速空間隱喻計算。

空間隱喻；語義計算；聾人

1 引言

人類自然語言存在著大量的隱喻現(xiàn)象，像漢語中的詩詞歌賦更是大量采用隱喻,例如，“道是無晴卻有晴”，“春蠶到死絲方盡”借用雙關(guān)語,隱喻有無情義和思念到死。這些典型的非字面語言現(xiàn)象的機器翻譯——隱喻的計算處理僅僅依靠字面翻譯是不夠的，難以翻譯出其深刻內(nèi)涵和準確含義。因此隱喻計算成為自然語言處理技術(shù)跳不過去的問題之一。由于隱喻是一種基于知識獲取的語言現(xiàn)象，因此目前的隱喻計算主要關(guān)注如何人工或自動獲取這些知識，實現(xiàn)隱喻的識別和解釋，這些知識的來源包括語料庫、知識庫、同義詞典等在這些資源基礎(chǔ)讓提出統(tǒng)計模型，是目前的研究方向之一。然而這些模型目前沒有一個可廣泛解決隱喻問題。因為隱喻作為典型的非字面語言，其理解和計算需要更多與背景知識相關(guān)的語用信息，這也使得計算機僅僅領(lǐng)先目前的背景知識來理解非字面語言與像人腦一樣理解非字面語言主演存在較大的差距。文獻[2]利用fMRI(核磁共振成像Functional magnetic resonance imaging)實驗發(fā)現(xiàn)了涉及語用的世界知識在大腦中的激活區(qū)、語義區(qū)和句法區(qū)，并指出這三個區(qū)域是分開的。這個實驗事實表明語言形式和更復(fù)雜的因果關(guān)系、社會因素等語用信息分別屬于兩個不同的模塊，語用和語言形式間存在著功能的分離。

從目前來看，對隱喻計算所采用的多數(shù)方法都基于統(tǒng)計學習理論。然而隱喻是一種認知現(xiàn)象，如果僅僅基于統(tǒng)計方法去處理隱喻的理解，可能會忽略一些關(guān)鍵性的細節(jié)。因此，我們認為必須要把隱喻的處理納入認知的范疇，將現(xiàn)有的計算模型結(jié)合認知的方法，這樣才能更好地處理隱喻問題。因此很多學者提出了新的方向，例如，文獻[3]認為應(yīng)從隱喻的認知機制出發(fā),結(jié)合語言活動中隱喻的產(chǎn)生和理解過程和機理、人類隱喻能力的神經(jīng)生物學與認知心理學基礎(chǔ)來認識隱喻?，F(xiàn)代認知神經(jīng)科學技術(shù)也證明了這一點，例如，EEG(腦電圖Electroencephalo-Graph)、fMRI的模擬和實驗結(jié)果表明事物對象在腦皮層諸多分布網(wǎng)絡(luò)區(qū)域中均有刺激反應(yīng)，這些區(qū)域儲存著諸如形狀、顏色和行為等屬性信息。只要對象概念被喚起，與該對象相關(guān)的運動和行為及相關(guān)屬性就會被自動激活。這間接證明了隱喻并不是簡單地按照規(guī)則來實現(xiàn)字面到非字面意義的映射，而是激活相關(guān)語義概念，來進行復(fù)雜的推理，最后完成本體到喻體的映射生成。有證據(jù)顯示左腦對于大多數(shù)語言的經(jīng)典語言區(qū)占主導(dǎo)地位，右腦則參與了敘事建構(gòu)、話語表征、隱喻以及預(yù)測和連貫性的推論等相關(guān)處理[4]。此外，實驗結(jié)果表明，漢語隱喻理解的認知加工比一般的認知加工更多地激活了左腦和右腦額下回，不僅需要激活所加工詞語的詞義，還要對語義進行延伸，廣泛地搜索與詞義相關(guān)的信息，它包含了語義搜索和語義激活的更多加工內(nèi)容[5]。這些發(fā)現(xiàn)表明,為了正確使用隱喻等非字面語言，大腦需要深刻理解漢語詞匯語義，并在大腦里激活相關(guān)的隱喻概念網(wǎng)絡(luò)。

空間隱喻是指參照空間方位而形成的一系列隱喻概念，它是以空間概念為原域向其他認知域或目標域進行映射，進而獲得引申和抽象意義的認知過程。認知語言學界普遍認為，在所有隱喻中，空間隱喻對人類的概念形成具有特殊重要的意義，因為多數(shù)抽象概念都是通過空間隱喻來表達和理解的。如在漢語里，內(nèi)外的空間關(guān)系還用于表示稱謂之間的親疏關(guān)系，如有的地方在母系稱謂前加“外”字,如外婆外公外孫等，除了表示與父系的區(qū)別，還有幾千年的封建思想，即反映男女不平等。相對于父系是“家里”人，母系為“家外”人。

中國手語是指中國大陸和其他華語地區(qū)聾人群體使用的一種包含復(fù)雜空間信息的視覺語言。國外學者發(fā)現(xiàn)在觀看英語句子時，聾人與健聽人一樣都激活了左腦經(jīng)典的語言區(qū)域——左外側(cè)裂腦區(qū)周圍，但是聾人大腦還激活了右腦區(qū)域，包括右邊外側(cè)裂周區(qū)。他們認為這是因為手語語法增加了空間處理的需求[6]。研究表明聾人大腦的認知加工包含了空間隱喻和場景加工[7]。因此以聾人為被試，可能有助于我們揭示空間隱喻的本質(zhì)。為此我們擬從心理語言學的角度，對空間隱喻進行相似性分類和計算，以聾人大腦認知加工為例，探究人類大腦為實現(xiàn)隱喻計算而建立的認知主題和概念結(jié)構(gòu)。

本文按照如下方式組織: 第二節(jié)詳細介紹了以聾人為被試所做的空間隱喻認知實驗過程、包括實驗材料、數(shù)據(jù)的采集處理及調(diào)查分析；第三節(jié)描述了實驗結(jié)果，包括多維量表的分析結(jié)果、聚類分析結(jié)果，并對實驗結(jié)果進行了討論和解釋；最后是全文的總結(jié)與討論。

2 空間隱喻認知實驗

2．1 實驗一: 影響空間隱喻加工的屬性調(diào)查

研究目的和假設(shè)

目前對隱喻認知的研究主要集中在探討非字面語言與直義語言加工的差異上，為此眾多研究人員提出了理論模型。其中文獻[8]提出顯性度假說(GSH)為代表，該假說認為隱喻認知的差異不在于字面意義和非字面意義對的差異，而是來自顯性度的影響。其中顯性度高低主要受語言材料的頻率、熟悉度、約定性、典型性等因素的影響。我們以此為基礎(chǔ)，考察了空間隱喻的各屬性，以及對大腦加工的影響，從而為后期空間隱喻加工機制的實驗研究準備合適的材料，為實驗研究的變量選擇提供依據(jù)。我們假設(shè)空間隱喻的熟悉度和預(yù)測性存在顯著的相關(guān)，直義性和透明度存在顯著的相關(guān)。

被試和研究內(nèi)容

實驗隨機抽取了北京聯(lián)合大學特殊教育學院60名聾人大學生。男生46名, 女生14名。平均年齡為21.34歲。采取問卷調(diào)查形式，考察空間隱喻的四種屬性及其各種屬性的相互關(guān)系。四種屬性分別為熟悉度、直義性、預(yù)測性和透明度。

研究材料

首先請北京聯(lián)合大學特殊教育學院手語社社員設(shè)計了三個大類。例如，上/下、前/后、左/右。在這三大類下又設(shè)計了200個空間隱喻詞對，例如，好/壞、升/降、成功/失敗、開始/結(jié)束、床上/床下、前/后、進/來、遠/近、買/賣、送/退、接受/拒絕、左/右、寬/粗、放開/縮小、關(guān)的/開的、離開/聚合、擁擠/空曠等。在此基礎(chǔ)上再設(shè)計句子，全部采用“A是B”的表征形式，例如，“好是可貴的品質(zhì)”。然后請北京手語研究會的兩名研究員(其中一位為聾人，一位為健聽人，聾校教師)進行了核對和修改，篩選出120個空間隱喻詞對和相應(yīng)的句子，在此基礎(chǔ)上形成了正式調(diào)查問卷。

研究程序

由于聾人的母語為中國手語，為了避免第二語言漢語對聾人的影響，所選擇的120個空間隱喻詞對、相應(yīng)的句子以及實驗指導(dǎo)語已全部拍攝成錄像，其錄像如圖1所示。

圖1 空間隱喻的手勢視頻

將被試隨機分成四組，每組15人，每組分別完成空間隱喻的熟悉性、直義性、預(yù)測性和透明度的屬性調(diào)查。要求對手語視頻的屬性進行五點量表評定。

研究結(jié)果和分析

我們采用SPPS10.0軟件，對空間隱喻的熟悉性、直義性、預(yù)測性和透明度的屬性做方差分析，其分析結(jié)果如表1所示。

從表1可看出，空間隱喻的各個屬性之間存在著不同的相關(guān)。同時雖然相關(guān)程度不一樣，但這四個屬性之間相關(guān)系數(shù)的顯著性檢驗均較顯著。熟

表1 以聾人為被試的空間隱喻屬性的方差分析

悉度與預(yù)測性的相關(guān)很高，其r=0.87，這暗示著熟悉度和預(yù)測性可以相互預(yù)測，類似的還有直義性和透明度，但是其他屬性之間的相關(guān)并不明顯。

為了直觀地比較，我們之前用同樣的方法，以清華大學手語社社員為被試做了研究，得到的結(jié)果如表2所示。

表2 以健聽人為被試的空間隱喻屬性的方差分析

由此可以看出，結(jié)果與表1仍然類似，但被試間也存在顯著性差異。具體表現(xiàn)為健聽人在預(yù)測性、直義性、透明度三個屬性上比聾人要高。我們認為這與被試的大腦思維有一定的關(guān)系。我們曾對2013級入學的大學聾生做過調(diào)查，發(fā)現(xiàn)大一聾生的水平大致在健聽人高一水平，對抽象知識的理解能力普遍弱于健聽學生。由于中國手語的特殊之處在于僅用一個手勢即可表示具體和抽象的兩個語義，而聾生思維形式是從形象思維逐步向抽象邏輯思維過度。聾生抽象思維在很大程度上仍然難以割舍與感性經(jīng)驗的直接聯(lián)系。因此在理解一部分空間隱喻的手勢時，很多聾生一時無法完成原域到目標域，即從具體到抽象的映射，停留在空間隱喻的具體語義上，因此在熟悉度上聾人強于健聽人，但在其他方面弱于健聽人。此外很多研究表明，實現(xiàn)從具體到抽象的映射過程中間需要經(jīng)過復(fù)雜的計算。因為空間隱喻還需要應(yīng)用視覺場景來進行管理和排序，因此僅靠傳統(tǒng)的信息處理和計算理論計算空間隱喻已顯然不夠。傳統(tǒng)的機器翻譯方法忽略了隱喻認知的特點，則顯得更不適合。

2.2 實驗二: 空間隱喻的相似度分類

研究目的

通過空間隱喻的分類，考察聾人被試的空間隱喻的概念結(jié)構(gòu)和空間認知主題。

被試和研究內(nèi)容

隨機抽取北京聯(lián)合大學特殊教育學院20名聾人大學生。其中男生14名，女生6名。平均年齡為21.58歲。母語均為中國手語。

研究材料

根據(jù)實驗一的結(jié)果，我們分別選取熟悉度和直義性高等級的語料各30條。接著在三大類上，每類選取十條空間隱喻詞對，即60個空間隱喻詞匯，打亂順序，使用Matlab編程，使之隨機呈現(xiàn)在電腦顯示器上。其選取的60個空間隱喻詞匯如表3所示。其中床上/床下等手勢并不是簡單的上下關(guān)系，而是已發(fā)展為獨立手勢，與上午/下午等手勢類似。

表3 空間隱喻實驗詞匯表

研究程序

要求被試對60個空間隱喻詞匯作相似性分類，具體可使用Matlab程序呈現(xiàn)事先拍攝好的指導(dǎo)語視頻，漢語意思如下: “下面是60個手勢錄像，這60個錄像跟空間有關(guān)系，請你逐個解釋這60個手勢錄像。認識完60個手勢后，要求根據(jù)自己的理解，把60個手勢視頻做個分類?？梢园醋约旱南敕ǚ诸?，認為是相同的或者相近的，就放在同一類。分成幾類，自己定。要求解釋分類的理由，主試會幫你做記錄。一個類別里面有多少數(shù)量沒有要求。但是60個視頻，每個都不能重復(fù)使用，即一個只能用一次?！睂嶒炌瓿珊?，將分類結(jié)果引入至Excel，使用Matlab編程，負責讀取每個被試數(shù)據(jù)，并自動轉(zhuǎn)換成60*60相異矩陣。其中形成相異數(shù)據(jù)矩陣的規(guī)則是: 在分類過程中，如果兩個手勢被認為是同一類，則在相異數(shù)據(jù)矩陣中這兩個手勢的交叉點上標記為0，否則為1。最后疊加所有被試數(shù)據(jù)，輸出Excel數(shù)據(jù)文件。

數(shù)據(jù)處理和分析

用多維量表(Multi-Dimensional Scaling)和聚類法進行分析,以確定聾人的空間隱喻認知主題和空間隱喻概念結(jié)構(gòu)。其中多維量表采用歐幾里得直線距離量表模型(Euclidian Distance Scaling Model)可得到一個相異數(shù)據(jù)矩陣，用于計算空間隱喻的間距離矩陣數(shù)據(jù)。在得到空間隱喻手勢分類的相異數(shù)據(jù)矩陣之后,使用Non-metric MDS統(tǒng)計公式[9]得到聾人的空間隱喻概念結(jié)構(gòu)不同維度的解、壓力值以及各個手勢在不同維度中的坐標值。

3 實驗結(jié)果

系統(tǒng)使用楊氏第一S-stress公式進行迭代運算，并設(shè)置為當S-stress的負增加量小于0.001時，停止迭代運算。其運算結(jié)果表明，本例完成了五次迭代運算，最終S-stress值達到0.049，RSQ達到0.93，獲得對應(yīng)數(shù)據(jù)矩陣的二維坐標空間圖，如圖2所示。

圖2 60個空間隱喻詞匯的語義空間

由圖2可見空間隱喻的語義空間有兩個維度: (1)參照物本身的空間和狀態(tài)/手勢者本身的方位: 橫軸從左到右，左邊的詞表示參照物本身的空間方位，右邊的詞表示手勢者本身的空間方位/狀態(tài)；(2)空間/狀態(tài): 縱軸從上到下，上邊是表示空間的空間隱喻，下邊是表示狀態(tài)的空間隱喻。

根據(jù)劃分聚類圖和平均分類數(shù)，可劃分為四個空間認知主題: (1)手勢者自身參照系。包括: 升/降、驕傲/謙虛、開始/結(jié)束、浮/沉、進/退、來/去、拒絕/接受、穿/脫、還/借、買/賣，共十個詞對；(2)參照物的相對坐標系。包括: 好/壞、友/敵、成功/失敗、床上/床下、附近/遠方、離開/靠近、結(jié)婚/離婚、日出/日落、暗/亮、閉卷/開卷、分/合、開門/關(guān)門，共12個詞對；(3)手勢空間的飽和度。包括: 寬/窄、粗/細、放大/縮小3個詞對；(4)以手部或者胸部為邊界。包括: 上午/下午、新/舊、饑/飽、外交/內(nèi)務(wù)、放/抓，共五個詞對；等級相關(guān)的分析表明空間隱喻語義空間的維度1和維度2的坐標值相關(guān)性不顯著，其rRC=0.28，p>0.05，說明兩個維度相互獨立。文獻[10]以文獻[11]提出的35個詞為基礎(chǔ)，認為英國人的空間認知主題為四個主題，即: 障礙與通道、距離與方向、容量與邊界、垂直維度。文獻[12]認為漢族人有四個認知主題，即三維方位、邊界、空間飽和度、視覺距離。而通過圖2，可以看到聾人對空間隱喻的概念結(jié)構(gòu)未出現(xiàn)障礙與通道、視覺距離等認知主題，而其他均已出現(xiàn)。

從圖2中可以看出，聾人將空間隱喻手勢分成描繪手勢者本身的手勢描繪參照物方位和狀態(tài)的手勢居多，為此文獻[13]提出將聾人認知空間劃分的說法，即地形空間(topographic space)和語法空間(syntactic space)。在物理上，地形空間和語法空間的手勢空間完全一樣，但手語使用了這兩種完全不同的方式來表達空間。地形空間再現(xiàn)了真實世界的立體地圖，這是一個表示事物與情況的手勢空間中的空間布局，對應(yīng)著真實世界的事物與情景。例如，手勢者描述他的餐桌“一塌糊涂?！?；“我的碗(右)被打破了，我的食物(中心)灑了，我的玻璃杯(左)是空的?！边@種描述用到了地形空間，因為它再現(xiàn)了餐桌上的狀況，正如真實情景一樣。而語法空間產(chǎn)生于語言內(nèi)部，不會投射到真實世界。再如，為了表達{我的父親愛母親}，手勢者可在左邊的手勢空間打出一個手勢代表父親，然后右手邊打出手勢代表母親，最后再打出“愛”的手勢。這種打法正是基于文本語言來創(chuàng)建的，允許手勢者在空間中引用。因此地形空間表達的是一般意義上，即現(xiàn)實的空間關(guān)系，而語法空間反映的則是手語語法。文獻[14]比較了聾人對于兩類句子的認知加工差異，發(fā)現(xiàn)聾人在看過地形空間句子之后，對某個詞是否出現(xiàn)過的判斷反應(yīng)明顯要比其他句子快，這說明聾人對這兩種空間的認知過程存在不同的神經(jīng)機制。此外大量研究表明聾人大腦對空間特征的加工存在著不同的層次，并不能一概而論。文獻[15]指出并非所有的空間特性都具有容易理解的優(yōu)勢，像地形空間就容易理解，而語法空間反之。目前對地形空間和語法空間的研究尚不充分，若能解決此問題，將有助于我們建立完整的空間隱喻表征模型。

另外，我們注意到在中國手語中，其空間隱喻的語義是與手勢動作密切相關(guān)的。具體來講，與表達詞義的相關(guān)位置、手形、方向、運動密切相關(guān)，最常見的是需要手部的空間運動來表達空間隱喻的語義，例如，通過上下移動來表達空間隱喻的概念，如好、升、新、明亮、驕傲、友、開始、成功等，類似的還有來回擺動來表達寬/窄、新/舊等概念。在其他手語中，我們常能見到方向、位置也起到很重要的作用。例如，手掌心朝向自己表示請求別人的幫助，手掌心朝向別人表示要幫助別人的意思。此外眾多研究表明，在語音學編碼中，空間位置是唯一基于語義編碼的參數(shù)[16]，在手語空間中具有高度任意性，表現(xiàn)為每個手勢動作對應(yīng)一個空間位置。例如，空間位置都在太陽穴周圍的，通常屬于思想活動的空間隱喻。例如，意識、思維、認識、概念、想念、思想等；而空間位置在胸前心的位置時，通常表達與心理有關(guān)的空間隱喻。例如，心理、興奮、難過、生氣、擔心、猶豫等。由此表明空間隱喻是通過改變手部其移動方向、位置等方式來表達實現(xiàn)的，因此手語本身的特性以空間為概念框架，并將空間作為表達中介，本身就更加依賴于高效連貫的空間隱喻。我們在觀察表達抽象概念的手勢可以發(fā)現(xiàn)，例如，通過手部往上運動，可以表達出“升”的空間隱喻，聾人平時交流時表達“工作表現(xiàn)好可以升職”多用此手勢，類似的還有股市下跌、登山成功等概念。而且，與漢語分別用兩個詞表示空間隱喻中原域到抽象域的映射不同。例如，開花-春天，在中國手語里，僅用一個手勢，通過空間隱喻的手段，就可以表征原域“開花”和目標域“春天”這兩個域。

多維量表分析結(jié)果的意義體現(xiàn)在壓力系數(shù)Stress和RSQ兩個統(tǒng)計量上，它們反映分析結(jié)果中各點的空間距離和數(shù)據(jù)矩陣之間的一致性程度。為此，我們計算得到線性擬合散點圖，如圖3所示。

圖3 線性擬合散點圖

坐標圖的橫坐標距離為標準化后的原始數(shù)據(jù)，縱坐標為相異性距離。由此可以看出所畫出的空間坐標圖與相異數(shù)據(jù)矩陣的擬合度較好。如果所有的點分散成一條直線，表示多維量表空間圖能完全解釋給定的相異性，即壓力系數(shù)為零。此圖表明，所有的各點都均勻落在16條直線的附近，存在單個點的分散現(xiàn)象，說明坐標圖和數(shù)據(jù)擬合沒有達到100%。若設(shè)定多維量表分析只有一維，則其壓力系數(shù)為Stress=.290 79，RSQ=.887 91，其一維空間圖如圖4所示。由RSQ可知，雖然一維不能100%代表原始變量，但也表明高達88%的擬合度，且兩個變量應(yīng)只需一維空間圖，如此才能達到簡化數(shù)據(jù)與縮減維度的目的。因此就本例而言，一維分析結(jié)果較二維佳。

圖4 一維空間語義圖

采用區(qū)間測量，以最小變異數(shù)和法(Ward’s Method)計算類內(nèi)的變量和，使同一類內(nèi)觀測值的變異數(shù)之和最小， 不 同 群之間觀測值的變異數(shù)之和

圖5 層次聚類的樹狀圖

為進行聚類驗證，使用K-means聚類分析，得到劃分聚類圖，如圖6所示。

由此可看出，這兩類方法得到的結(jié)果很接近，表明其結(jié)果恰當且可信。聚類分析表明: 聾生能夠按照上/下、前/后、左/右等三大類比較清楚地分別歸為一類，但是像好/壞、上/下等關(guān)系聾生似乎不能很好的分類，而將“壞”等個別手勢與“接受”“遠方”等前后關(guān)系劃歸為一類。對此有些學者認為， 由于人體生理學結(jié)構(gòu)特性，手勢者往往傾向于沿著橫軸左右移動手勢，而且三個方位也并不完全相互排斥,左、下、后常常聯(lián)系在一起,而右、上、前常常聯(lián)系在一起[17]。我們認為這是由于聾人在長期手勢交流過程中，眼睛要時刻注視對方手勢，并監(jiān)控自己的手勢，造成了左下后聯(lián)系在一起的空間認知策略，在手

圖6 對被試數(shù)據(jù)所做的劃分聚類結(jié)果

勢上也表現(xiàn)為對自身的關(guān)注也多于健聽人。因此文獻[18]認為不同的語言會導(dǎo)致包括空間隱喻認知在內(nèi)的認知方式和策略的差異， 也影響了認知過程的

難易和結(jié)果。講不同語言的人有不同的腦皮層表征和結(jié)構(gòu),語言對認知有重要的影響。如圖7和圖8表達句子“貓在床下跑”的兩個例子。

圖7 母語為漢語的手語打法(手勢者為清華大學手語社學生，可代表手語初學者)

圖8 母語為中國手語的手語打法(手勢者為北京聯(lián)合大學特殊教育學院聾生)

從這個例子可以看出聾人在空間概念組織上與健聽人存在著差異，這些差異應(yīng)該是由語言導(dǎo)致的。漢語常用“在”來表達上下關(guān)系，如“在頭上”、“在山腳下”等漢語句子既可以表達物體的相對位置，也可以表達物體相對于觀察者的位置。但手語并不存在“在”的關(guān)系，而是直接用手部表示中介，用中介表示參照物，有可能是以自身為參照，也可能是以物體為方位，強調(diào)了空間隱喻表達自身或物體方位的功能，因此聾人在進行空間隱喻的語義計算時還生成了空間認知主題“手勢者自身參照系”。顯然，健聽人在利用空間隱喻詞匯表征空間特征上，比聾人要深刻。根據(jù)美國加勞德特大學1996年發(fā)布的美國常模數(shù)據(jù)，聾人18歲的平均閱讀水平只達到小學3.9年級。這驗證了國內(nèi)一些類似的研究結(jié)果: 聽障生在高中畢業(yè)時他們的閱讀水平比同齡的健聽生閱讀水平總體相差六到七年,只有3%的聽障生達到健聽生的平均水平。由于漢語語言能力的欠缺，漢語文化和概念體系的缺乏，聾人學習者不大可能像操漢語者那樣能夠?qū)﹄[喻，特別是常規(guī)隱喻，進行自動、下意識地加工。另外聾人本身的中國手語母語知識和概念體系還要發(fā)生遷移作用。因此聾人學習者的隱喻理解不同于操漢語者，表現(xiàn)在沒有發(fā)現(xiàn)視覺距離的空間認知主題，如外交、內(nèi)務(wù)、附近、遠方等空間隱喻沒有劃歸到物體方位和狀態(tài)的認知主題中。薩丕爾-沃爾夫假說認為文化通過語言影響思維，影響人們對于經(jīng)驗的分類，語言差異將會導(dǎo)致思維差異[19]。

與文獻[10]相比，聾人在空間隱喻的概念結(jié)構(gòu)和認知主題上與健聽人類似，其空間隱喻的概念結(jié)構(gòu)和認知主題都未出現(xiàn)“垂直/水平”維度；但在空間認知主題里，其空間飽和度和邊界完全相同。因此在劃分聚類時，聾人仍能正常地將空間隱喻劃分成三大類下的六小類。聾人除了聽力缺陷以外，其他感官和心智都與健聽人一樣，甚至大腦左半球的語言加工區(qū)域、長時記憶上與健聽人沒有本質(zhì)區(qū)別，因此在空間隱喻的概念結(jié)構(gòu)和認知主題上表現(xiàn)極為相似。我們認為，語言的相似性也影響雙語者的不同語言之間的聯(lián)系[20-22]。文獻[23]以熟練手語-漢語雙語者為被試，采用雙語Stroop的研究范式，熟練手語-漢語雙語者語言間的隱蔽語義聯(lián)想啟動效應(yīng)，并比較了熟練手語-漢語雙語者語言間與語言內(nèi)的隱蔽聯(lián)想啟動效應(yīng)。結(jié)果發(fā)現(xiàn)手語-漢語雙語者的兩種語言的詞匯共享語義表征。

我們認為中國手語的空間隱喻與西方手語相比，還存在著一定特殊性: 1.中國手語植根于漢語大環(huán)境下，與漢語——象形文字一樣都是自然物象在大腦中的隱喻產(chǎn)物；2.中國聾人所處的地理環(huán)境和由此而長期形成的文化傳統(tǒng)較西方地理和文化都有一定的差異，這種差異必然導(dǎo)致隱喻加工時腦機制的特殊性；聾生之所以更強調(diào)空間隱喻所描繪的對象差異，我們認為與其聽力缺陷有關(guān)，因為聾人生理上接受信息的聽說器官受阻，如果從小得不到有效康復(fù)訓練，語言發(fā)育遲滯，影響讀寫能力和思維能力的發(fā)展。導(dǎo)致了在對外界的認知上受到障礙，從而使得聾人更多地關(guān)注于自己。

4 總結(jié)與討論

手語隱喻和漢語隱喻都屬于單模態(tài)隱喻，不同的是手語模態(tài)是人類通過視覺通道與周圍環(huán)境不斷進行信息交換而產(chǎn)生的相應(yīng)視覺模態(tài)，而口語是通過視覺或者聽覺模態(tài)來交換信息。手語和口語這兩種模態(tài)的感知與產(chǎn)出的不同體系可能導(dǎo)致束縛語言加工本質(zhì)的差異。

通過以上實驗看出，對于聾人大腦認知加工，其空間認知主題有手勢者自身參照系、參照物的相對坐標系、手勢空間的飽和度、以手部或者胸部為邊界。其空間隱喻的語義空間有兩個維度，即參照物或手勢者本身的空間方位，空間隱喻本身的空間/狀態(tài)。對于聾人被試，其特殊的地方還在于空間隱喻的概念結(jié)構(gòu)未出現(xiàn)障礙與通道、視覺距離等認知主題。由此表明，聾人在長期使用手語交流的過程中，其大腦已形成了獨特的空間隱喻認知主題和概念結(jié)構(gòu)。特別是通過對空間的劃分，其地形空間和語法空間相互作用，對空間隱喻的結(jié)構(gòu)和表征產(chǎn)生了影響。這就是所謂的薩丕爾-沃爾夫假說，即不同的語言和文化影響人的空間認知表征。因此聾人大腦表現(xiàn)出高效快速的空間隱喻計算，這個可能與其不同于健聽人的空間隱喻認知主題和概念結(jié)構(gòu)有關(guān)。從另一方面證明了語言和文化影響了空間隱喻的計算，影響了空間隱喻的認知結(jié)果。

未來應(yīng)進一步深入探討地形空間和語法空間對空間隱喻的影響。例如，對于空間隱喻同一個概念，地形空間和語法空間如何表達？在何種情況下兩者如何相互影響？另外通過對空間隱喻語義計算的研究，我們期待將來能進一步闡明空間隱喻語義計算的認知神經(jīng)機制，以便得到更完整的空間隱喻表征模型，并借此實現(xiàn)對空間隱喻的識別和理解，以進行空間隱喻的計算和分析，最終達到計算機可自動識別和理解空間隱喻的目標。

[1] Nerlich B, Clarke D D. Mind, meaning and metaphor: the philosophy and psychology of metaphor in 19th-century Germany [J]. History of the human sciences, 2001, 14(2): 39-61.

[2] Friederici A D, Fiebach C J, Schlesewsky M, et al. Processing linguistic complexity and grammaticality in the left frontal cortex [J]. Cerebral Cortex, 2006, 16(12): 1709-1717.

[3] 周昌樂.作為認知手段的隱喻及其涉身性分析[J].心智與計算,2008,3:272-278.

[4] Kuperberg G, Holcomb P, Sitnikova T, et al. Distinct patterns of neural modulation during the processing of conceptual and syntactic anomalies [J]. Journal of Cognitive Neuroscience, 2003, 15(2): 272-293.

[5] 李瑩,張學新,莫雷.漢語隱喻理解的認知加工過程與神經(jīng)機制研究[C].第十二屆全國心理學學術(shù)大會論文摘要集,2009.

[6] Neville H J, Bavelier D, Corina D, et al. Cerebral organization for language in deaf and hearing subjects: biological constraints and effects of experience [J]. Proceedings of the National Academy of Sciences, 1998, 95(3): 922-929.

[7] Huenerfauth M. Spatial representation of classifier predicates for machine translation into american sign language [C]//Proceedings of the Workshop on Representation and Processing of Sign Language, 4th Internationnal Conference on Language Ressources and Evaluation (LREC 2004). 2004: 24-31.

[8] Giora R. Understanding figurative and literal language: The graded salience hypothesis [J]. Cognitive linguistics, 1997, 8: 183-206.

[9] Kruskal J B. Nonmetric multidimensional scaling: a numerical method [J]. Psychometrika, 1964, 29(2): 115-129.

[10] Pollio H R, Fagan L B, Graves T R, et al. The semantics of space: experiential and linguistic aspects of selected English spatial terms [J]. Journal of Psycholinguistic Research, 2005, 34(2): 133-152.

[11] Tuan Y F. Space and place: The perspective of experience [M]. U of Minnesota Press, 1977.

[12] 張積家,謝書書,和秀梅.語言和文化對空間認知的影響——漢族和納西族大學生空間詞相似性分類的比較研究[J].心理學報,2008,40(7):774-787.

[13] Sutton-Spence R, Woll B. The linguistics of British Sign Language: an introduction [M]. Cambridge University Press, 1999.

[14] Emmorey K, Corina D, Bellugi U. Differential processing of topographic and referential functions of space[M]. K.Emmorey, J Reilly ed. Language, gesture and space. Hillsdale, JN: Erlbaum, 1995.

[15] 劉秀丹.空間性對于聾生手語句義理解的影響[J].特殊教育研究學刊,2008,33(2):71-83.

[16] Baus C, Gutiérrez-Sigut E, Quer J, et al. Lexical access in Catalan signed language (LSC) production [J]. Cognition, 2008, 108(3): 856-865.

[17] Sutton-Spence R. Spatial metaphor and expressions of identity in sign language poetry [J]. Metaphorik. de, 2010, 19: 1-40.

[18] 張積家,劉麗虹,譚力海.語言關(guān)聯(lián)性假設(shè)的研究進展——新的證據(jù)與看法[J].語言科學,2005,4(3):42-56.

[19] Kay P, Kempton W. What is the Sapir-Whorf hypothesis? [J]. American Anthropologist, 1984, 86(1): 65-79.

[20] M?giste E. Stroop tasks and dichotic translation: The development of interference patterns in bilinguals [J]. Journal of Experimental Psychology: Learning, Memory, and Cognition, 1984, 10(2): 304.

[21] Chen H C, Ho C. Development of Stroop interference in Chinese-English bilinguals [J]. Journal of Experimental Psychology: Learning, Memory, and Cognition, 1986, 12(3): 397.

[22] Keatley C W, Spinks J A, De Gelder B. Asymmetrical cross-language priming effects [J]. Memory & Cognition, 1994, 22(1): 70-84.

[23] 張積家,張廣巖,陳穗清.熟練手語-漢語雙語者的語言聯(lián)系模式 [J].中國特殊教育,2013,5:006.

Semantic Computing of Spatial Metaphor Based on Deaf Persons’ Cognition Cases

YAO Dengfeng1,2,3, JIANG Minghu1,2, Abudoukelimu Abulizi1,2, HOU Renkui1,4，Halidanmu Abudukelimu5

(1. Lab of Computational Linguistics, School of Humanities, Tsinghua University, Beijing 100084, China;2. Center for Psychology and Cognitive Science, Tsinghua University, Beijing 100084, China;3. Beijing Key Lab of Information Service Engineering, Beijing Union University, Beijing 100101, China；4. School of Chinese Language and Literature, Ludong University, Yantai, Shandong 264025, China；5. State Key Laboratory of Intelligent Technology and Systems, Tsinghua National Laboratory for Information Science and Technology, Department of Computer Sci. and Tech., Tsinghua University, Beijing 100084，China)

The metaphor processing is a challenging issuein natural language processing. From the perspective of psycholinguistics, spatial metaphor is made to perform similar classification and computation. We use multidimensional scaling and clustering method, with the deaf as subjects for two experiments, and showe thatthe deaf use the topographic space and syntactic space for computational implementation of spatial metaphor comprehension. At the same time, influenced by sign language, the deaf’s cognitive subjects of spatial metaphor include signers’ own reference frame, references’ relative coordinates and the sign space saturation, within the boundary of the part of hand or chest. It is also revealed from the experiments that, due to the presence of two kinds of space, spatial metaphor understanding in the deaf brain is leveled, as suggested by the the Sapir Whorf hypothesis, with the structure and representation of spatial metaphor influenced by its interaction between topographic space and syntactic space.

spatial metaphor；semantic computing；deaf person

姚登峰(1979—),通信作者,博士研究生,講師,主要研究領(lǐng)域為手語認知與計算。E-mail:yaodengfeng@gmail.com江銘虎(1962—),教授,主要研究領(lǐng)域為語言認知與計算。E-mail:jiang.mh@tsinghua.edu.cn阿布都克力木·阿布力孜(1983—),博士研究生,主要研究領(lǐng)域為語言認知、認知神經(jīng)科學。E-mail:keram1106@163.com

1003-0077(2015)05-0039-10

2015-08-10 定稿日期： 2015-09-15

國家自然科學基金(61171114、61433015、91420202)；國家社會科學基金(14ZDB154、13&ZD187)； 教育部人文社會科學研究規(guī)劃基金(14YJC740104)；北京高校青年英才計劃項目(YETP1753)

TP391

A