文本中人物性別識別研究

唐琴,林鴻飛

(大連理工大學計算機科學與工程系,遼寧大連116024)

1 引言

文本中的人物性別識別主要應用于指代消解[1-2]、機器翻譯[3]等多種任務當中。目前而言大部分研究工作是針對人名自動識別,并主要是根據(jù)男女人名用字差異進行的識別。然而我們知道指代消解、機器翻譯所作用的環(huán)境通常是一個段落或者一篇文章。所以我們對一個人物進行性別識別時除了利用其人名本身的用字特征外,還可以從整個段落或者整篇文章出發(fā)考慮篇章中描述不同性別時的兩性特征差異。

目前性別差異主要是從語言學角度出發(fā)進行的研究。男性和女性在語言的使用上存在很多的差異,通過語言描述可以得出其生理屬性、文化心理、社會價值取向等各種信息[4]。文獻[5-6]都指出在描寫男性和女性的時候,它們的上下文存在不同的性別語義場。我們也發(fā)現(xiàn)漢語語言中在對不同性別的人的特征和言行進行描述時所使用的詞匯存在著很大的差別,目前有少量基于詞匯使用的性別差異研究,但根據(jù)詞匯、句式等特點進行性別識別的研究卻相對較少。文獻[7]選取有名小說家20部代表作,統(tǒng)計其中的男女話語,得到兩性感嘆詞以及程度副詞有較大差別。文獻[8]主要是對動作動詞進行性別傾向性研究,而名詞,形容詞等卻沒有進一步研究。

在閱讀文章時,通過對人物的描述,我們往往可以比較容易地辨別出描述對象是男是女,但是對于機器而言并非易事。目前性別差異的研究主要是從語言學角度出發(fā),研究兩性性別語言差異的各種表現(xiàn),如詞匯差異、句式差異、修辭差異、敘事方式差異等多種形式,但是如何利用這些差異使得機器能夠像人一樣準確地進行性別識別的研究還是很少。本文旨在通過利用描述男女不同性別人物時的詞匯差異以及人物姓名在用字上的特征差異使得機器也能準確進行性別識別為自然語言處理中的一些任務所用。

在人名性別識別方面,文獻[9]對7萬中國人名進行實驗得出結論：男女人名用字有顯著性別差異。文獻[10]在文獻[11]中4萬人名的語料基礎上加入6萬人名進行人名性別識別實驗,分別采用貝葉斯方法和根據(jù)Hownet和網(wǎng)絡挖掘中獲得的性別指示詞進行人名性別識別,并發(fā)現(xiàn)人名尾字對性別識別具有更好的應用能力。

本文的研究重點是從真實的文本中獲取大量性別傾向性明顯的特征詞,然后再利用篇章中兩性性別特征差異信息和稱謂信息包括人名用字特點對人物進行性別識別。本文組織如下：第二節(jié)從性別傾向性描述詞和性別傾向性稱謂詞兩個方面介紹漢語詞匯的性別傾向性;第三節(jié)首先介紹如何獲取性別傾向性詞匯和人物姓名,在此基礎上分別進行基于姓名的性別識別和基于性別傾向性詞匯的性別識別;第四節(jié)是結論和展望。

2 漢語詞匯的性別傾向性

語言中的性別差異是普遍存在的,稱謂語作為語言詞匯系統(tǒng)的一個重要組成部分,它的劃分與性別有直接的關系。稱謂語是人們用來表示彼此之間的各種社會關系、身份和職業(yè)的名稱。通常把稱謂語分為親屬稱謂和社會稱謂,其中社會稱謂分為三種,即職業(yè)稱謂、通用稱謂、姓名稱謂等[12],除了通用稱謂,如“同志、老師、大夫、服務員”等沒有專指男性或女性,其他稱謂都帶有明顯的性別傾向。

親屬稱謂如“哥哥、爸爸、伯父、舅舅、大爺、外公”等專指男性;“姐姐、媽媽、姨媽、姑姑、阿姨、大娘、奶奶”等專指女性。社會稱謂語是人際社會關系的標志,一般不體現(xiàn)被稱呼者的具體地位,只有性別的差異,如“先生、打工仔、軍長”指男性,“女士、小姐、空姐”指稱女性。另外姓名稱謂中的名也存在著明顯的性別差異,男性名字主要表現(xiàn)男子漢的偉岸、忠孝仁義和儒雅風度,而女性用名多給人嬌美、清秀、溫柔、賢惠等感覺,更具有女性化特征。

對于這些帶有明顯的性別傾向的稱謂詞,在這里我們定義為稱謂性別傾向性稱謂詞。然而隨著社會發(fā)展,男女姓名用字的界限越來越模糊,所以僅僅從姓名用字來識別人物性別是不夠的,還需要借助描述兩性特質的詞匯差異。

研究者一致認為漢語詞匯不具有語法性,但是我們在漢語語言運用中常發(fā)現(xiàn)描述不同性別的人的特質和行為時,所使用的詞匯卻有很大差別,比如“英俊”、“西裝革履”、“帥氣”、“血氣方剛”等詞多用來修飾男性,而“苗條”、“天生麗質”、“柳葉眉”、“懷孕”等詞往往用來修飾女性。因此在閱讀文章時,通過人物描述時所使用的性別傾向性詞匯,我們可以比較容易地辨別出描述對象是男是女。

文獻[8]將這種較多修飾某一性別的特點稱為詞匯的性別傾向。因此如果一個詞在大多數(shù)情況下用來修飾男性,稱之為男性性別傾向性詞語,如果一個詞在大多數(shù)情況下用來修飾女性,稱之為女性性別傾向性詞語。

通常我們在對一個人物進行描述時,主要是通過人物的肖像、語言、動作、心理描寫以及細節(jié)描寫來表現(xiàn)人物的性格特征[13]。人物的肖像,除了人物的外部形象如面貌、體態(tài)、衣著等,還包括人物的內部精神的反映如神韻、情態(tài)等等。我們發(fā)現(xiàn)描述人物的面貌、體態(tài)、衣著、神韻、言行的大量詞匯具有性別傾向。還有部分描述男女身體器官的詞匯也具有明顯的性別傾向性。我們把這些描述男女不同性別時具有明顯差異的詞匯定義為性別傾向性描述詞。在此我們把這兩類詞匯,性別傾向性描述詞和性別傾向性稱謂詞統(tǒng)稱為性別傾向性特征詞。

本文中我們主要從具有明顯性別傾向性的稱謂詞匯即性別傾向性稱謂詞和描述人物的性格特征時的具有性別傾向性的詞匯即性別傾向性描述詞這兩方面進行人物性別識別,其中稱謂語主要分成兩類,一是親屬稱謂和社會稱謂中的職業(yè)稱謂,另外是姓名稱謂。

3 人物性別識別

從目前的研究工作可以看出,描述男女不同性別時在遣詞造句上有較大的差別,另外男女稱謂也存在著顯著差異。故本文從這兩方面入手,根據(jù)描述男女人物不同方面時存在的兩性差異首先自動獲取大量具有明顯性別差異的特征詞即性別傾向性特征詞,然后根據(jù)這些特征詞以及結合人物的稱謂信息進行性別識別。

3.1 性別傾向性詞匯的獲取

我們從網(wǎng)上下載了3 015篇小說,其中長篇小說2242篇,短篇小說773篇,其中短篇小說是單文檔,長篇小說是多文檔,共83 859個文件。首先獲取小說中的人物名,人工確定小說中人物角色的性別,再根據(jù)一定的策略分別統(tǒng)計男性人物和女性人物所在句子的詞匯,然后綜合出現(xiàn)的頻次以及比率,最終得到性別傾向性詞語。

我們使用哈爾濱工業(yè)大學的分詞和詞性標注工具對語料進行分詞和詞性標注。但是由于小說中人物姓名更復雜和特殊,詞性標注時大量的人名沒有被標注出來。小說中人物名字一般都是多次出現(xiàn),所以本文采用Tseng算法[14]的最大重復串(Maximally Repeated Strings)來提取文本中人名實體,步驟如下：

(1)首先提取出每篇文檔的最大重復串出現(xiàn)次數(shù)超過兩次以上;

(2)如果第一個字是單姓,則字數(shù)是2或者3的標記為候選人名實體;

(3)如果前兩個字是復姓,則字數(shù)是3或者4的標記為候選人名實體;

(4)對滿足條件的最大重復串進行分詞和詞性標注;(5)如果詞性標注中含有nh詞性,則為人名;(6)如果詞性標注中不含有nh詞性,但滿足分詞后得到的第一個詞是姓氏則為人名。

如人名“高至林”,詞性標注后得到“高至林/nh”、“江美人”詞性標注后得到“江/nh美人/n”滿足條件(5),姓+稱謂詞如蕭先生得到“蕭/n先生/n”滿足條件(6),而最大重復串“簡直就”,標注成“簡直/d就/p”則不滿足條件。另外,對于所獲得的人名還要進行后續(xù)處理,例如對獲取的人名“周順的”、“韓荷她”這樣的人名中尾字為“的”、“她”等常見的停用詞則刪掉尾字。

除去“蕭先生、邵母”等稱謂類詞語,最后得到8681個姓名,根據(jù)人工判定發(fā)現(xiàn)其中7 960(91.7%)個姓名是正確的,基本獲取了語料中人名實體,為后續(xù)實驗所用。這7960個姓名中,4 632個是女性姓名,其余3 328個是男性姓名。

在已知人名實體性別的情況下,我們對含有姓名、姓+稱謂詞或者含有他她他們她們這三類詞語的句子分別進行男女性別傾向性詞語統(tǒng)計。其中姓+稱謂詞中由于稱謂詞有明顯的傾向性,所以較容易判別男女性別,如“孫姑娘、阮姐姐、柳小姐、夏大哥、李大爺”等。這里用到常見的15對親屬稱謂詞,再加上4個社會稱謂詞“先生、小姐、姑娘、女士”。

另外,由于中文句子的復雜性,我們只統(tǒng)計相對簡單的句子中的詞語,即句子中只有一個姓名、稱謂詞或者傾向性代詞。如果出現(xiàn)多個以上,則以逗號為界劃分句子,對滿足句子中只有一個姓名、稱謂詞或者傾向性代詞的詞語進行統(tǒng)計,其他則舍棄以此減少噪聲。這里,我們只對普通名詞、動詞、形容詞、副詞、習用語進行統(tǒng)計。我們統(tǒng)計各個性別相關詞語的詞頻,如詞語“妙齡”在女性性別傾向性詞匯中出現(xiàn)的次數(shù)為357,男性性別傾向性詞匯中出現(xiàn)4次。

本文使用性別比率作為一個度量,性別比率定義為詞語在女性性別傾向性詞匯出現(xiàn)次數(shù)比上其在男性性別傾向性詞匯次數(shù)。根據(jù)定義,可得“妙齡”的性別比率為89.25?！巴媸啦还А痹谂孕詣e傾向性詞匯中出現(xiàn)的次數(shù)為1,男性性別傾向性詞匯中出現(xiàn)139次,則性別比率為1/139=0.007 194,這樣不便于根據(jù)性別比率閾值抽取傾向性詞語。故當某詞語在男性性別傾向性詞匯中出現(xiàn)次數(shù)大于在女性性別傾向性詞匯中出現(xiàn)的次數(shù)時,性別比率為：-(男性性別傾向性詞匯出現(xiàn)次數(shù)/其在女性性別傾向性詞匯次數(shù)),加上負號目的是區(qū)別于女性性別傾向性詞匯,顯得更直觀。

在選擇確定性別傾向性描述詞時,發(fā)現(xiàn)女性傾向性詞語的特征更明顯。我們抽取女性性別傾向性詞匯時統(tǒng)計性別比率≥2.0的詞語,男性性別傾向性詞匯時統(tǒng)計性別比率≤-1.5的詞語,且這兩類性別傾向性詞匯分別在其所屬類別中所出現(xiàn)的次數(shù)必須大于或等于10次。最后得到男女性別傾向性詞匯分別為687和667個。另外根據(jù)How Net中每個詞條中DEF欄中性別屬性“male|男”和“fe-male|女”得到男女傾向性詞語分別為217和490個。因此,所得性別傾向性詞匯總數(shù)為2 061,其中男女傾向性詞語分別為904和1 157個。

通過對獲得的性別傾向性描述詞進行分析,我們發(fā)現(xiàn)這些詞匯主要集中在面貌、體態(tài)、衣著、神韻、言行等方面。另外,除了本節(jié)前面所提到的15對常用的親屬稱謂詞和4個社會稱謂詞,這些詞匯還包括一些具有性別傾向性的稱謂詞,合起來為性別傾向性稱謂詞。對于性別傾向性描述詞,我們歸納出姿態(tài)(體態(tài)與神韻)、言行(語言與動作)、著裝(衣著和附屬物品)、生理特征四類詞語,還有性別傾向性稱謂詞進行分析和研究。性別傾向性稱謂詞主要是親屬稱謂和職業(yè)稱謂。

(1)生理特征類

男 ：劍眉 ,胡子 ,肌肉,膀子,胸膛 ,喉結 …

女 ：辮子,娥眉 ,瓜子臉 ,發(fā)髻,臉蛋,子宮 …

(2)姿態(tài)類(體態(tài)與神韻)

男：壯碩,衣冠楚楚,俊逸,血氣方剛,娘娘腔,酷…

女：嬌小,閉月羞花,天生麗質,賢惠,楚楚動人,潑辣…

(3)著裝類(衣著與附屬物品)

男 ：西裝,煙頭 ,棍棒,機槍,斧頭 …

女：胭脂,口紅,脂粉,高跟鞋,手鏈…

(4)言行類(語言與動作)

男 ：花天酒地 ,獨裁,稱霸 ,酗酒 ,廝殺,沖鋒,拂袖而去…

女 ：分娩 ,改嫁 ,拭淚 ,破涕為笑 ,尖叫,化妝,唧唧喳喳…

(5)稱謂類

男 ：大丈夫,痞子,軍長 ,的哥,老弟,流氓…女：白衣天使,三陪,農婦,宮娥,貴婦,師母…

3.2 性別識別實驗

3.2.1 基于姓名的性別識別

我們對語料中的600篇小說進行測試,其中人名共2 482,男女性別分別為1 009和1473。所有語料共7 960個人名,訓練集69%,測試集占31%。文獻[10]的實驗數(shù)據(jù)得出采用中國人名尾字的方法可以得到較好的效果。這里我們使用貝葉斯統(tǒng)計方法對尾字進行統(tǒng)計實驗,公式如下,其中w是尾字。

由于數(shù)據(jù)存在稀疏問題,測試時如果姓名尾字不在訓練集中則使用文獻[15]中男女姓名常用字進行判別,表1是人名性別識別實驗結果。

表1 基于姓名的性別識別結果

古代女性的姓名相對簡單,但隨著社會發(fā)展女性地位的提高,部分女性喜用男名。另外也有部分女性姓名是為了顯示新穎超脫,使得女性人名特征相對于男性人名更豐富和多元化。故從表1可知,女性人名的識別正確率相對于男性人名要低。2482個人名中男女性人名識別正確總數(shù)是2 023,總的準確率為81.5%。

3.2.2 基于性別傾向性詞匯的性別識別

為了考察稱謂詞匯和描述性特征詞匯分別對于人物性別識別的影響,利用性別傾向性稱謂詞語,性別傾向性描述詞,以及這兩類詞語結合起來即性別傾向性特征詞分別進行三組實驗,但不考慮男女姓名用字差異。

3.1節(jié)中獲取的性別傾向性特征詞中,性別傾向性稱謂詞語368個,其中男性稱謂145個,女性稱謂223個;性別傾向性描述詞共1 693個,其中男性描述詞759個,女性描述詞934個。

我們使用3.2.1節(jié)中的600篇小說進行實驗,共11 881個文本文件,不重復人名2 482個。一篇小說有多章,多個文件,為使實驗更接近真實的語料環(huán)境,這里以每個文本為單位作為考察對象,對文本中人名實體進行性別識別。每篇小說平均20個文件,故有重復統(tǒng)計,共46 240個人名,每個文件平均3.89個人名,平均每個文件12360個字節(jié)。對于每個人名實體,首先獲得含有此人名的句子,且句子必須滿足有且僅有這一個人名。如果出現(xiàn)多個以上人名,則以逗號為界劃分句子。最后得到與人名實體相關的句子集S。

三組實驗分別統(tǒng)計句子集S中出現(xiàn)的性別傾向性稱謂詞,性別傾向性描述詞,性別傾向性稱謂詞和性別傾向性描述詞之和,男性別傾向性詞數(shù)多則此對應的人名實體為男性,反之則為女性。表2是基于性別傾向性詞匯的人物性別識別的結果,其中未識別數(shù)表示句子集中沒有出現(xiàn)相應的性別傾向性詞匯;識別準確率是識別正確數(shù)比上識別總數(shù)的值;總準確率是識別正確數(shù)比上總數(shù)的值;(性別傾向性)特征詞是指基于(性別傾向性)稱謂詞與(性別傾向性)描述詞的合集作為性別識別的特征詞。

由表2知,其中基于性別傾向性描述詞的實驗所得識別準確率最高,而把性別傾向性描述詞和性別傾向性稱謂詞結合起來進行實驗所獲得的總準確率最高。

表2 基于性別傾向性詞匯的性別識別結果

隨著性別傾向性詞匯的增加,總的準確率在增加,但識別準確率反而是基于性別傾向性描述詞識別的結果較高。我們知道稱謂詞具有明顯的性別傾向性,但是由表2可知,僅僅根據(jù)性別傾向性稱謂詞識別人物性別的準確率反而效果最差。其原因主要是因為,本實驗是基于較簡單的統(tǒng)計方法,而沒有對句子做深入的句法分析。正例如,“李舉韶向來也是個天之驕子,而且是家中最受疼愛的公子”,詞語“公子”具有很好的性別指示作用。反例如,“白煦順著妹妹指的方向看去”,在本例中“白煦”是男性,但是統(tǒng)計到妹妹這個具有女性性別傾向的詞語,而沒有分析出句子結構,可能導致識別錯誤。

由以上實驗可知利用性別傾向性描述詞識別的效果最好。我們發(fā)現(xiàn)性別傾向性描述詞具有很好的性別指示作用,如句子“正是那位名叫云妙裳的娥眉女將,年齡大約十八歲左右,黛絲粉面,柳眉櫻唇”中“娥眉”、“柳眉”、“櫻唇”都是女性性別傾向性描述詞;又如“李舉鵬身材頎長,看起來溫文爾雅”中“頎長”、“溫文爾雅”是男性性別傾向性描述詞。理論上講,性別傾向性描述詞加入性別傾向性稱謂詞具有了更豐富的特征,因而更容易進行性別識別,如“另一個叫張月棋,梳著兩條又長又黑的大辮子,是個眉眼清秀的鄉(xiāng)下姑娘”句子中除去“辮子”和“清秀”女性性別傾向性描述詞,女性性別傾向性稱謂詞“姑娘”起到正確的性別指示作用。

盡管性別傾向性描述詞加入性別傾向性稱謂詞后識別總數(shù)增加了,但是其準確率反而有所下降,例如“單織羅柳眉倒豎,恨恨地為長兄抱屈”,“柳眉”是女性別傾向性描述詞,但加入“長兄”這個男性傾向性稱謂詞反而起到誤導作用。

實驗當中有部分錯誤來自于某些性別傾向性特征詞的用法多樣,如女性別傾向性描述詞“驚艷”一詞。在句子“美希美得驚艷”中,“驚艷”形容“美?！?起到正確的性別指示作用。在“旁邊的彭無懼不由得生出驚艷的感覺”中“驚艷”的用法卻不同于前一句,故性別識別時可能帶來誤判。

分詞錯誤也是性別識別出錯的原因之一。對3.1節(jié)中獲取的男性性別傾向性描述詞“花言巧語”,但在句子中可能被分開,如“文秋齡/nh不愧/ns是/v花/nz言/n巧/n語/n的/n天才/w s”,因而不能起到正確地指示作用。另外,3.1節(jié)中獲取的部分性別傾向性特征詞的傾向性不夠鮮明,如“意氣風發(fā)”大部分時候形容男性,并歸為男性性別傾向性描述詞之列,但并不排除形容女性的可能。

3.2.3 基于性別傾向性詞匯和姓名的性別識別

由3.2.2節(jié)中實驗可知,性別傾向性詞語對性別識別有著很好的指示作用。我們結合性別傾向性特征詞語與姓名用字信息對性別進行識別實驗,簡單融合規(guī)則是,首先根據(jù)性別傾向性特征詞語識別人物性別,如不能識別,則根據(jù)姓名進行識別,最終得到人物性別,實驗結果如表3。

表3 基于性別傾向性詞匯和姓名的性別識別結果

由3.2.2實驗可知,盡管稱謂詞具有明顯的性別指示作用,但是在沒有較好效果的句法分析的前提下,僅根據(jù)性別傾向性稱謂詞識別人物性別并不能帶來很好的效果。因而本實驗中使用稱謂詞和姓名結合的方法其準確率最低。由于性別傾向性描述詞結合性別傾向性稱謂詞后性別傾向性特征詞數(shù)增加,因而性別識別總數(shù)增加,故性別傾向性描述詞、稱謂詞和姓名結合起來的實驗準確率最高。由3.2.1節(jié)中的表1可知,僅根據(jù)人名的性別識別,準確率為81.5%,加入性別傾向性詞語后,準確率明顯上升,由表3可見,性別傾向性詞語對于性別識別有著顯著的指示作用。

4 結束語

我們發(fā)現(xiàn)對文本中人物性別識別時除了利用其人名本身的用字特征外,還可以從整個段落或者整篇文章出發(fā)考慮篇章中描述不同性別時的兩性特征差異。本文根據(jù)描述男女人物不同方面時存在的兩性差異首先自動獲取大量具有明顯性別差異的性別傾向性描述詞和性別傾向性稱謂詞。通過性別識別實驗發(fā)現(xiàn),性別傾向性描述詞相對于性別傾向性稱謂詞具有更好的性別指示作用。另外,性別傾向性描述詞結合性別傾向性稱謂詞和姓名的用字特征能較好的識別人物性別。下一步工作是擴大語料,獲得更為豐富的性別傾向性特征詞語。另外,可以進一步分析出句子結構,各成分的關系,相信性別傾向性特征詞特別是性別傾向性稱謂詞能起到更好的指示作用。

[1] John Hale,Eugene Charniak,Getting Useful Gender Statistics from English Text,Tech Report cs-98-06[EB/OL],Brow n University,Providence,RI,1998.

[2] 王厚峰.指代消解的方法和實現(xiàn)技術[J].中文信息學報 ,2000,14(6)：9-17.

[3] 梁茂成,李剛.英漢機器翻譯中人稱代詞的處理[J].中文信息學報1999,13(4)：1-6.

[4] 陸春艷.語言里的性別差異[J].安徽文學(下半月),2008(04).

[5] 錢進.語言性別差異研究綜述[J].甘肅社會科學,2004(6)：47-50.

[6] 董銀秀.語言中的性別因素[J].蘭州工業(yè)高等專科學校學報,2004,11(1).

[7] 樊斌.基于漢語語料庫的性別詞匯研究[D].武漢理工大學,碩士學位論文.

[8] 段新煥.漢語動作動詞的性別編碼及對認知的影響[D].華南師范大學,碩士學位論文.

[9] 錢進.姓名用字的性別差異統(tǒng)計分析[J].常州工學院學報,2004,17(5)：60-62.

[10] 郎君,秦兵,劉挺,李生.中國人名性別自動識別[C]//第三屆學生計算語言學研討會.

[11] 王厚峰,梅錚.魯棒性的漢語人稱代詞消解[J].軟件學報,2005,16(5)：700-707.

[12] 張莉萍.稱謂語性別差異研究[D].中央民族大學,碩士學位論文.

[13] 李新光.淺談小說教學中的人物形象分析[J].科教文匯,2007,(2)：.

[14] Tseng Y H.Automatic Thesaurus Generation for Chinese Documents.Journal of the American Society for Information Science and Technology[J].2002,53(13)：1130-1138.

[15] http：//www.t351.com/name/changyongzi.htm[EB/OL].

[16] 唐琴,宋銳,林鴻飛.基于 CHUNK-CRF的情感問答系統(tǒng)[J].智能系統(tǒng)學報,2008,3(6)：504-510.

[17] 徐琳宏,林鴻飛,楊志豪.基于語義理解的文本傾向性識別機制[J].中文信息學報,2007,21(1)：96-100.