面向彝文網(wǎng)頁(yè)的敏感內(nèi)容分級(jí)系統(tǒng)研究

王 清,李炳澤,王嘉梅

(1.云南民族大學(xué) 云南省高校少數(shù)民族語(yǔ)言文字信息化處理工程研究中心，云南 昆明 650504；2.文山學(xué)院，云南 文山 663000)

云南作為一個(gè)多民族、多宗教的邊境省份，因其跨境民族種類最多、民族分布邊境線長(zhǎng)等特點(diǎn)，涉外信息的傳播和民族網(wǎng)絡(luò)監(jiān)管成為了網(wǎng)絡(luò)信息安全比較棘手的問(wèn)題[1].特別是，近年來(lái)隨著互聯(lián)網(wǎng)的發(fā)展和對(duì)外門戶的開(kāi)放，邊疆民族地區(qū)的涉外信息交流頻繁，而網(wǎng)絡(luò)輿情工作的監(jiān)管和處置將會(huì)越加困難.與此同時(shí)，由于跨境語(yǔ)言網(wǎng)絡(luò)缺乏有效的技術(shù)和統(tǒng)一的管理，大量有關(guān)政治、宗教等敏感信息充斥其中，給當(dāng)?shù)氐拿褡宸€(wěn)定和社會(huì)和諧構(gòu)成了極大的威脅[2].由于跨境民族網(wǎng)絡(luò)上的敏感內(nèi)容大多以文本形式呈現(xiàn)，因而檢測(cè)、過(guò)濾敏感內(nèi)容并對(duì)其進(jìn)行敏感度分級(jí)成為了我們維護(hù)跨境網(wǎng)絡(luò)輿情安全的關(guān)鍵[3].鑒于跨境民族語(yǔ)言的多樣性和復(fù)雜性，本研究以個(gè)案研究為切入點(diǎn)，選擇使用較多的跨境語(yǔ)言-彝文為例，構(gòu)建面向彝文網(wǎng)頁(yè)的敏感內(nèi)容分級(jí)系統(tǒng).

1 系統(tǒng)框架概述

目前，國(guó)內(nèi)外對(duì)于邊疆民族網(wǎng)絡(luò)輿情分析技術(shù)的研究，大多關(guān)注在輿情信息的采集、傳播和監(jiān)管等理論分析方面.2009年—2016年，國(guó)家相繼資助和開(kāi)展以國(guó)家自然科學(xué)基金或社會(huì)科學(xué)基金為代表的多項(xiàng)邊疆輿情研究性課題，研究了維吾爾文、藏文、蒙文的輿情觀點(diǎn)挖掘、網(wǎng)絡(luò)輿情監(jiān)測(cè)等民族語(yǔ)言輿情處理的關(guān)鍵技術(shù)[4-5].但由于跨境民族文字的特殊性和跨境輿情傳播的復(fù)雜性等綜合因素，相較于漢語(yǔ)，國(guó)內(nèi)對(duì)于跨境民族語(yǔ)言文字的輿情技術(shù)研究尚處于發(fā)展中階段，民族輿情研究領(lǐng)域缺乏學(xué)科體系的支撐及全面系統(tǒng)的成果[6].針對(duì)國(guó)內(nèi)外以上研究，本研究設(shè)計(jì)了面向彝文網(wǎng)頁(yè)的敏感內(nèi)容分級(jí)模型，包含4個(gè)關(guān)鍵模塊：網(wǎng)絡(luò)信息獲取、文檔的預(yù)處理、敏感內(nèi)容檢測(cè)、敏感文檔分級(jí)，如圖1所示.

2 彝文信息獲取模塊

2.1 彝文網(wǎng)頁(yè)采集結(jié)構(gòu)

通過(guò)對(duì)彝文的分析得知，彝文不管是在音節(jié)上還是結(jié)構(gòu)上，用計(jì)算機(jī)的方式很難將其從網(wǎng)頁(yè)中與中文區(qū)分開(kāi)來(lái)[7].因此，本研究設(shè)計(jì)了針對(duì)彝文的網(wǎng)頁(yè)信息采集方法，和中文不同的是增加了彝文網(wǎng)頁(yè)判斷模塊，結(jié)構(gòu)如圖2所示，其主要包括6個(gè)模塊，分別初始化彝文URL種子、彝文網(wǎng)頁(yè)判別、頁(yè)面解析、URL提取和去重、信息提取和數(shù)據(jù)庫(kù)等.

2.2 彝文網(wǎng)頁(yè)URL選取

彝文網(wǎng)頁(yè)中HTML編寫(xiě)的半結(jié)構(gòu)化文檔中混雜著中英文字符和多媒體信息(如音頻、圖片等)，這些噪聲給信息的采集帶來(lái)一定的難度[8]，但彝文網(wǎng)頁(yè)與中英文網(wǎng)站相比較少，這又帶來(lái)有利的一面.因而我們統(tǒng)計(jì)了部分主流彝文網(wǎng)站的特征，并以初始種子URL鏈接和網(wǎng)頁(yè)編碼屬性作為爬蟲(chóng)的初始URL選取依據(jù)，如表1所示.

表1 選取彝文網(wǎng)站的特征屬性分析

2.3 彝文爬蟲(chóng)網(wǎng)頁(yè)的判別

通過(guò)對(duì)彝文HTML文檔分析得知，彝文不管是在音節(jié)上還是結(jié)構(gòu)上，單純的正則匹配很難將其抽取出來(lái)[9].而基于網(wǎng)頁(yè)編碼類型的判別方法，網(wǎng)頁(yè)HTML源代碼的“encoding”和“charset”標(biāo)記字段是區(qū)別彝文特征的關(guān)鍵屬性[10]，大多數(shù)彝文編碼類型是GBK或UTF-8，字符類型是方正彝，因而可共同作為彝文特征屬性(文字類型、字符編碼)來(lái)判斷和識(shí)別網(wǎng)頁(yè)文字中的彝文字符.而基于彝文網(wǎng)頁(yè)鏈接判別方法，可采用正則表達(dá)式匹配次級(jí)URL鏈接(*代指字符串，用于分級(jí)標(biāo)記)，以找到所有爬蟲(chóng)的URL鏈接.網(wǎng)頁(yè)地址鏈接的匹配(提取URL隊(duì)列)可用于讀入彝文網(wǎng)頁(yè)，網(wǎng)頁(yè)編碼類型的特征(方正彝/GBK)可用于解析彝文網(wǎng)頁(yè)中的彝字.本研究創(chuàng)新性地采用了基于網(wǎng)頁(yè)編碼類型與基于網(wǎng)頁(yè)地址鏈接相結(jié)合的算法，一方面克服了前者對(duì)于HTML源代碼中文字的編碼屬性識(shí)別效率較低的問(wèn)題，一方面避免了后者對(duì)網(wǎng)頁(yè)中包含混雜中英文而出現(xiàn)誤差的情況.采用的彝文爬蟲(chóng)網(wǎng)頁(yè)判別流程如圖3所示，具體算法流程如下：

Step 1 對(duì)選取好的初始彝文URL種子，分析其內(nèi)部網(wǎng)頁(yè)鏈接結(jié)構(gòu)，對(duì)每個(gè)網(wǎng)站設(shè)計(jì)出能夠判別其彝文網(wǎng)頁(yè)的正則表達(dá)式；

Step 2 單線程的比對(duì)，當(dāng)新抽取的URL符合正則表達(dá)式匹配規(guī)則，則判別為彝文網(wǎng)頁(yè)，否則轉(zhuǎn)到步驟3；

Step 3 抽取彝文網(wǎng)頁(yè)源代碼中的FONT-FAMILY標(biāo)記字段，判斷字段中是否為方正彝的字體類型并檢測(cè)是否包含在Face屬性值中；如果是，則識(shí)別為彝文網(wǎng)頁(yè)，否則轉(zhuǎn)到步驟4；

Step 4 進(jìn)一步判別，是否包含在該網(wǎng)頁(yè)源碼節(jié)點(diǎn)的Style屬性中；如果是，則識(shí)別為彝文網(wǎng)頁(yè)，否則轉(zhuǎn)入步驟5；

Step 5 最后一次判別，是否包含在該網(wǎng)頁(yè)源碼節(jié)點(diǎn)的Face屬性值中；若是，則識(shí)別為彝文網(wǎng)頁(yè)URL，否則結(jié)束流程.依次讀取并處理下一個(gè)彝文網(wǎng)頁(yè)，轉(zhuǎn)入步驟1.從人工后臺(tái)URL鏈接數(shù)據(jù)庫(kù)審查看，改進(jìn)的判別算法比較適用于目前含混合文字的彝文網(wǎng)頁(yè)，判別流程分層次進(jìn)行，直觀簡(jiǎn)單，而且識(shí)別結(jié)果比較準(zhǔn)確.

其中在提取的URL隊(duì)列中，為了防止相同的彝文網(wǎng)頁(yè)重復(fù)爬取而造成信息冗余，本研究在網(wǎng)頁(yè)判別的流程中，還加入了將新識(shí)別的URL連接與后臺(tái)已采集URL地址數(shù)據(jù)庫(kù)比對(duì)操作，當(dāng)比對(duì)重復(fù)時(shí)，應(yīng)加以濾除，整個(gè)彝文信息采集一直重復(fù)這個(gè)比對(duì)過(guò)程，直到所有的URL地址抽取完畢.

2.4 彝文爬取信息的解析

彝文網(wǎng)頁(yè)的HTML解析就是通過(guò)應(yīng)用正則表達(dá)式，分別在HTML文件中解析出網(wǎng)頁(yè)中對(duì)應(yīng)的URL地址、content文本內(nèi)容、title標(biāo)題、time時(shí)間等，通過(guò)對(duì)比分析得到我們想要的內(nèi)容，并對(duì)其他內(nèi)容進(jìn)行過(guò)濾，把以上關(guān)鍵屬性等信息存儲(chǔ)到后臺(tái)ACCESS數(shù)據(jù)庫(kù)，對(duì)解析的內(nèi)容統(tǒng)一轉(zhuǎn)換成UTF-8編碼的TXT文本文件進(jìn)行保存.本研究抽取的彝文網(wǎng)頁(yè)信息的屬性信息如表2所示，對(duì)爬取的每個(gè)彝文網(wǎng)頁(yè)，都有對(duì)應(yīng)的以URL作為表頭鏈接網(wǎng)頁(yè)標(biāo)題、發(fā)布時(shí)間、網(wǎng)頁(yè)來(lái)源、正文數(shù)據(jù)等字段信息.

表2 彝文網(wǎng)頁(yè)數(shù)據(jù)的存儲(chǔ)字段

以中國(guó)彝學(xué)網(wǎng)為例，其爬取的彝文網(wǎng)頁(yè)文本進(jìn)行去冗余和編碼后的TXT文本如圖4所示.

3 彝文文本預(yù)處理模塊

因而，提出將詞典和統(tǒng)計(jì)相結(jié)合的算法來(lái)實(shí)現(xiàn)彝文文本的分詞，從而發(fā)揮各自的分詞優(yōu)勢(shì).前者可在匹配過(guò)程中，將彝文字串與詞典進(jìn)行結(jié)合，能夠深度檢測(cè)和識(shí)別歧義字段，以提高分詞準(zhǔn)確率；后者可在詞頻統(tǒng)計(jì)下，根據(jù)最大概率計(jì)算原則消除存在的分詞歧義，可加快分詞的效率[13].彝文網(wǎng)頁(yè)的文本分詞流程如圖5所示，其具體算法流程如下：

Step 1 把待切分的彝文文本進(jìn)行斷句預(yù)處理，即根據(jù)標(biāo)點(diǎn)符號(hào)標(biāo)記，如句號(hào)，逗號(hào)，破折號(hào)等斷句符號(hào)來(lái)進(jìn)行切分，從而把待切分的彝文文本切分成幾個(gè)連讀較短的彝語(yǔ)短句，并把彝文短句作為步驟2中的輸入；

Step 2 對(duì)步驟1中斷句切分出的彝文短句運(yùn)用詞典分詞法，根據(jù)彝文詞庫(kù)(章節(jié)4.1說(shuō)明)進(jìn)行正向最大匹配和反向最大匹配的雙向掃描，并把本次彝文分詞結(jié)果作為步驟3的輸入；

Step 3 對(duì)步驟2的兩次彝文分詞結(jié)果比較后可以清楚地發(fā)現(xiàn)，按照基于統(tǒng)計(jì)分詞法中的最大貝葉斯概率計(jì)算來(lái)判斷一個(gè)分詞結(jié)果是否具有歧義，只需比較一下兩次的切分結(jié)果，倘若相同則無(wú)歧義，倘若結(jié)果不同，那么就表示這種分詞是具有歧義的，則接下來(lái)就要消除所具有的歧義；

Step 4 重復(fù)操作步驟2和步驟3，直至切分完步驟1中斷句所切分出的全部彝文句子單元.彝文網(wǎng)頁(yè)文本分詞的示例如圖6所示.

4 彝文詞匯語(yǔ)料的構(gòu)建

4.1 彝文分類詞庫(kù)的標(biāo)注

本文所采用的分詞算法是詞典法改進(jìn)而來(lái)的，其中最大正反向匹配模塊是以彝文詞表作為支撐[14]，詞表的規(guī)模在一定程度上決定了分詞的準(zhǔn)確率，從而影響最終彝文詞過(guò)濾和敏感內(nèi)容分級(jí)的準(zhǔn)確性.課題組一直致力于彝文信息化的研究，共計(jì)收錄了8 000個(gè)彝文詞條，覆蓋不同的領(lǐng)域.具體分為16類，包括：其他類別、人物雜記、成語(yǔ)典故、生化醫(yī)藥、學(xué)科教育、生理衛(wèi)生、文史哲學(xué)、產(chǎn)業(yè)服務(wù)、政治軍事、政策法規(guī)、社會(huì)生活、宗教迷信、植物動(dòng)物、事物用品、文化藝術(shù).彝文分類詞庫(kù)的構(gòu)建采用純Excel文件編輯，以中文詞為模板一對(duì)一標(biāo)注，并添加詞性和拼音標(biāo)識(shí).彝文分類詞庫(kù)的標(biāo)注結(jié)構(gòu)如表3所示.

表3 彝文分類詞庫(kù)標(biāo)注的結(jié)構(gòu)表

4.2 彝文敏感詞庫(kù)的篩選

彝文分類標(biāo)注詞庫(kù)是按類別進(jìn)行劃分的，可以幫助快速的篩選彝文敏感詞集，共計(jì)收錄732個(gè)彝文敏感詞條.其中，“政治反動(dòng)”敏感詞類的整理來(lái)源于彝文標(biāo)注詞庫(kù)中的“政治軍事”和“政策法規(guī)”兩個(gè)類別，“淫穢色情”敏感詞類的收集主要源于彝文標(biāo)注詞庫(kù)中的“生理衛(wèi)生”類別，而其他“暴力恐怖”、“毒物傳染”、“不良言語(yǔ)”的敏感詞類則需要進(jìn)行全部的整合.全庫(kù)共計(jì)收錄暴力恐怖類敏感詞條共計(jì)302條，政治反動(dòng)類敏感詞條共計(jì)63條，淫穢色情類敏感詞條共計(jì)143條，毒物傳染類敏感詞條共計(jì)64條，邪教賭博類敏感詞條150條，不良言語(yǔ)類敏感詞條共計(jì)10條.敏感詞集也是數(shù)據(jù)庫(kù)(Excel)文件形式保存，便于詞庫(kù)的新增、刪除、修改等操作.部分淫穢色情類彝文敏感詞庫(kù)標(biāo)注的結(jié)構(gòu)如表4所示.

表4 彝文敏感詞庫(kù)標(biāo)注的結(jié)構(gòu)表

4.3 彝文敏感詞的分級(jí)

彝文網(wǎng)絡(luò)的敏感信息形勢(shì)各樣，而且還在不斷地演變新的內(nèi)容，要對(duì)其進(jìn)行全部的敏感標(biāo)記和危害區(qū)分存在較大的難度.但為了區(qū)分不同類別的敏感信息對(duì)于網(wǎng)絡(luò)的危險(xiǎn)性，我們參考國(guó)內(nèi)對(duì)不良網(wǎng)站的分級(jí)標(biāo)準(zhǔn)[15]，對(duì)彝文網(wǎng)絡(luò)的敏感內(nèi)容進(jìn)行了初步分類，以提高敏感信息監(jiān)管和危害評(píng)級(jí)的可操作性.將所有彝文敏感詞的敏感級(jí)別劃分6個(gè)子項(xiàng)，如表5所示，其中一級(jí)敏感包含不良言語(yǔ)和邪教賭博；二級(jí)敏感含毒物傳染和淫穢色情；三級(jí)敏感包含(政治反動(dòng)和暴力恐怖，每個(gè)子項(xiàng)設(shè)置為3個(gè)敏感等級(jí)，從“一級(jí)→二級(jí)→三級(jí)”依次表示此敏感類別對(duì)輿情安全的危害程度.因此，對(duì)于不同種類敏感內(nèi)容過(guò)濾或關(guān)注的優(yōu)先級(jí)排序?yàn)椋簕暴力恐怖、政治反動(dòng)}>{毒物傳染、淫穢色情}>{不良言語(yǔ)、邪教賭博}

表5 彝文敏感等級(jí)的分級(jí)體系表

5 彝文敏感內(nèi)容的檢測(cè)

5.1 敏感詞的模式匹配方法

本研究參考敏感詞決策樹(shù)[16]的敏感詞模式匹配方法，采用彝文敏感詞庫(kù)構(gòu)建的敏感詞決策樹(shù)，以數(shù)據(jù)流形式檢測(cè)網(wǎng)頁(yè)文本中的敏感詞串，綜合衡量相對(duì)詞頻、敏感辭別對(duì)文本整理敏感度的計(jì)算，并結(jié)合敏感閾值完成危險(xiǎn)分級(jí).為了提高搜索效率和解決空間存儲(chǔ)，彝文敏感詞決策樹(shù)將彝文敏感詞匯按一一特定構(gòu)詞或分類規(guī)則嵌入到?jīng)Q策樹(shù)中.

5.2 敏感詞決策樹(shù)的構(gòu)建

定義敏感詞庫(kù)Aford={a1,…,ai,…,an}，1≤i≤n，其中，n為敏感詞個(gè)數(shù)，ai表示敏感詞，ai={ai1,…,aij,…,ain}，1≤j≤n，aij表示第i個(gè)敏感詞的第j敏感字，m表示敏感詞長(zhǎng)度，彝文敏感詞決策樹(shù)構(gòu)建算法如下：

1)初始化i=1,j=1,k=1，k為記錄孩子節(jié)點(diǎn)序號(hào)；

2)輸入敏感詞ai，獲取其文本長(zhǎng)度為，并提取其首部1彝文字或2個(gè)彝文字S；

3)進(jìn)入S子樹(shù)查詢，將aij與S子樹(shù)的第k個(gè)孩子節(jié)點(diǎn)childk進(jìn)行比較；

5)若childk兄弟節(jié)點(diǎn)為空，創(chuàng)建新節(jié)點(diǎn)childk+1，值為aij，記錄aij的字符，j++；

6)若j

7)若childk兄弟節(jié)點(diǎn)不為空，k++，返回步驟2)，處理下一個(gè)敏感詞；

本算法構(gòu)建的彝文敏感詞決策樹(shù)深度為4(敏感詞最長(zhǎng)字符單位為4)，樹(shù)中每個(gè)節(jié)點(diǎn)存儲(chǔ)了敏感字符以及其對(duì)應(yīng)的漢語(yǔ)，葉節(jié)點(diǎn)還記錄了敏感詞的詞匯頻率、敏感級(jí)別，并且將各個(gè)詞的頻率都進(jìn)行了初始化.

5.3 敏感詞的搜索過(guò)濾

定義彝文文本流Yitext={b1,…,bi,…,bn}，1≤i≤n，其中n為文本長(zhǎng)度，bi表示彝文網(wǎng)頁(yè)文本中的單個(gè)字符，彝文文本中敏感詞的搜索算法如下：

Step 1 初始化i=1,j=1,k=1，k為記錄進(jìn)入第一個(gè)分支的字符序列號(hào)；

Step 2 輸入bi，k=i,j=1，提取其首部1彝文字符或2個(gè)彝文字符；

Step 3 將bi與S的孩子childj相匹配；

Step 4 若bi=childj節(jié)點(diǎn)值，i++，直到i≥n，算法結(jié)束.

Step 5 若bi≠childj節(jié)點(diǎn)值，查詢childj兄弟節(jié)點(diǎn)是否為空；

Step 6 若兄弟節(jié)點(diǎn)不為空j++，則，轉(zhuǎn)步驟3；

在敏感詞決策樹(shù)結(jié)構(gòu)的支持下，通過(guò)查找樹(shù)來(lái)處理文本，便于以數(shù)據(jù)流的形式識(shí)別彝文文本中的所有敏感詞.為過(guò)濾這些敏感詞匯，可用字符/*/替換以達(dá)到屏蔽的目的.

在敏感詞搜索過(guò)程中，可并記錄其詞匯頻率和敏感級(jí)別提供后續(xù)文本敏感度計(jì)算，并根據(jù)計(jì)算值和敏感閾值的比較，給出敏感文本的危險(xiǎn)級(jí)別分類.

6 敏感文檔的危險(xiǎn)分級(jí)

6.1 敏感詞的相對(duì)詞頻權(quán)重

詞頻可表征詞在文本中的重要性，為了衡量某個(gè)彝文詞在單個(gè)彝文文本的貢獻(xiàn)，本研究采用了絕對(duì)詞頻的計(jì)算方法.假設(shè)文本d中的某一個(gè)敏感詞條為si，那么詞條si的絕對(duì)詞頻權(quán)重計(jì)算如下式.

其中，ni(d)表示詞si在文本d中出現(xiàn)的次數(shù)；∑ini(d)表示文本d中所有的詞語(yǔ)出現(xiàn)的頻次之和.

但在敏感文本中，實(shí)際上敏感詞的詞頻統(tǒng)計(jì)工作已經(jīng)在上文的敏感決策樹(shù)構(gòu)建過(guò)程中通過(guò)程序計(jì)算完成，再此只是對(duì)計(jì)算原理加以概述.

6.2 敏感文本的敏感度計(jì)算

文本敏感度的計(jì)算流程圖如下圖8所示：

通過(guò)查樹(shù)處理文本之后，文本中敏感詞的絕對(duì)詞頻權(quán)重以及敏感級(jí)別權(quán)重都可計(jì)算完成.敏感級(jí)別權(quán)重記為levs，levs=3,2,1；相對(duì)詞頻權(quán)重記為fres，則可得其計(jì)算方式：

最終對(duì)單個(gè)敏感詞條si的權(quán)重計(jì)算采用下式，其中α，β都是調(diào)節(jié)的因子，需要實(shí)驗(yàn)設(shè)置合理的調(diào)節(jié)因子.

weightsi=α·fres+β·levs.

對(duì)于一個(gè)彝文文本流d，假定被搜索的敏感詞個(gè)數(shù)為k，計(jì)算其敏感詞的平均權(quán)重W.

因上式是對(duì)所有的彝文敏感詞統(tǒng)計(jì)平均權(quán)重，可將W值的大小作為文本敏感性的度量.

6.3 敏感文本的評(píng)級(jí)標(biāo)準(zhǔn)

在彝文網(wǎng)頁(yè)敏感內(nèi)容識(shí)別中，考慮到信息安全的要求，需要將敏感內(nèi)容的危險(xiǎn)評(píng)級(jí)考慮在內(nèi).具體操作是根據(jù)已設(shè)定的敏感閾值(φ1，φ2，φ3)，對(duì)文本的敏感值W進(jìn)行比較，進(jìn)而區(qū)分文本的危險(xiǎn)等級(jí).敏感閾值的設(shè)置可根據(jù)的反饋?zhàn)R別結(jié)果進(jìn)行調(diào)整，以提高敏感內(nèi)容分級(jí)的準(zhǔn)確率.因而，敏感閾值設(shè)置是影響信息過(guò)濾模型的關(guān)鍵因素，是評(píng)判敏感文本的危險(xiǎn)等級(jí)的參考.具體值調(diào)整人工審查的原則，當(dāng)檢出的文本集合的危險(xiǎn)評(píng)級(jí)普遍過(guò)低時(shí)，需降低φ1的值，增強(qiáng)對(duì)敏感內(nèi)容過(guò)淺評(píng)判的程度；相反當(dāng)危險(xiǎn)評(píng)級(jí)普遍過(guò)高時(shí)，就要提高φ3的值，減弱過(guò)度評(píng)判的程度.彝文網(wǎng)頁(yè)內(nèi)容的敏感分級(jí)標(biāo)準(zhǔn)如表6所示.

表6 彝文網(wǎng)頁(yè)內(nèi)容的敏感分級(jí)標(biāo)準(zhǔn)表

7 彝文敏感過(guò)濾系統(tǒng)

綜合以上討論的彝文信息爬蟲(chóng)、彝文本分詞以及敏感詞決策樹(shù)構(gòu)建等技術(shù)，本研究進(jìn)一步優(yōu)化和開(kāi)發(fā)了面向彝文網(wǎng)頁(yè)輿情分析的敏感內(nèi)容分級(jí)系統(tǒng)，設(shè)計(jì)了7個(gè)要素(標(biāo)題、來(lái)源、時(shí)間、URL、類別、敏感詞、內(nèi)容)，其中“敏感等級(jí)”項(xiàng)是關(guān)鍵性要素，用以標(biāo)識(shí)危險(xiǎn)級(jí)別，“敏感詞”項(xiàng)指在文本中所有敏感詞匯(中文和彝文).因而系統(tǒng)相比于本課題組開(kāi)發(fā)的首款彝文敏感信息過(guò)濾系統(tǒng)，不僅可識(shí)別、標(biāo)記和過(guò)濾彝文敏感詞，還兼具敏感文本的危險(xiǎn)分級(jí)，追蹤敏感源的URL、時(shí)間等信息.彝文網(wǎng)頁(yè)的敏感內(nèi)容分級(jí)系統(tǒng)演示如圖9所示.

由于彝文是特有的少數(shù)民族語(yǔ)言文字，因而實(shí)驗(yàn)結(jié)果評(píng)測(cè)依靠人工判別來(lái)完成.在敏感度計(jì)算中設(shè)置影響因子α=0.7，β=0.3，敏感閾值φ_1=1.5，φ_2=2，φ_3=2.5，運(yùn)行本系統(tǒng)共識(shí)別出176篇彝文文檔是包含敏感內(nèi)容的，經(jīng)過(guò)彝學(xué)專家的現(xiàn)場(chǎng)查看和危險(xiǎn)評(píng)級(jí)打分，基本上有140篇文檔檢測(cè)和標(biāo)記出包含敏感詞，敏感詞檢測(cè)的準(zhǔn)確率是80%；而有92篇危險(xiǎn)評(píng)級(jí)是有誤的，分級(jí)檢測(cè)的準(zhǔn)確率約84%.通過(guò)分析發(fā)現(xiàn)，主要是43篇“毒物污染”文檔被分到“淫穢色情”，以及49篇非敏感文檔被檢測(cè)識(shí)別成不同的敏感評(píng)級(jí)，敏感文檔的危險(xiǎn)評(píng)級(jí)普遍被系統(tǒng)識(shí)別偏高，可能存在2個(gè)方面：

1)收集的敏感等級(jí)詞庫(kù)包含詞匯量本身比較小，甚至有的敏感詞類只有兩位數(shù)量級(jí)，明顯不足；

2)敏感文本的敏感度計(jì)算和敏感文本的評(píng)級(jí)標(biāo)準(zhǔn)中，實(shí)際上影響因子和敏感閾值的設(shè)置都會(huì)對(duì)危險(xiǎn)評(píng)級(jí)產(chǎn)生影響.

8 結(jié)語(yǔ)

本文依次對(duì)彝文信息獲取、彝文文本分詞、彝文詞匯語(yǔ)料的構(gòu)建、彝文敏感內(nèi)容的檢測(cè)、敏感文檔的危險(xiǎn)分級(jí)等模塊展開(kāi)彝文網(wǎng)頁(yè)敏感內(nèi)容分級(jí)系統(tǒng)的研究，綜合這一系列彝文信息化技術(shù)成果，可為其他少數(shù)民族語(yǔ)言網(wǎng)絡(luò)的輿情監(jiān)測(cè)提供重要的理論支撐，并且本研究構(gòu)建的彝文網(wǎng)頁(yè)敏感內(nèi)容分級(jí)系統(tǒng)在跨境民族語(yǔ)言的網(wǎng)絡(luò)輿情監(jiān)管中具有一定的示范作用.同時(shí)，本研究構(gòu)建的彝-漢分類標(biāo)注詞庫(kù)和彝-漢敏感分級(jí)詞庫(kù)，可作為彝文輿情研究領(lǐng)域的重要語(yǔ)料資源.

由于本文借鑒中文的方法，而彝文本身有些地方和中文還是有很大的區(qū)別，因而在彝文輿情分析領(lǐng)域還有待進(jìn)一步研究.比如在未來(lái)工作中收集更多的敏感詞匯庫(kù)，以及改進(jìn)和完善敏感內(nèi)容的檢測(cè)算法來(lái)提升彝文網(wǎng)頁(yè)敏感內(nèi)容分級(jí)系統(tǒng)的準(zhǔn)確率.