語義相似度計算在內(nèi)檢測數(shù)據(jù)參數(shù)匹配中的應(yīng)用

張河葦，金劍，董紹華*，張來斌，李寧

1 中國石油大學(xué)(北京)機械與儲運工程學(xué)院，北京 102249

2 中石油管道有限責(zé)任公司西部分公司，烏魯木齊 830000

0 引言

管道內(nèi)檢測數(shù)據(jù)是維護(hù)管道運行的重要參考數(shù)據(jù)，通過內(nèi)檢測數(shù)據(jù)可以獲得很多有價值的信息，是管道公司查找管道缺陷、進(jìn)行管道修復(fù)的重要依據(jù)，因此針對同一管段往往會進(jìn)行多輪內(nèi)檢測。然而，由于管道所處的環(huán)境以及檢測過程中部分因素的影響，例如起始點不同、內(nèi)檢測器運行速度不同等，使得多次內(nèi)檢測數(shù)據(jù)無法完全對齊，降低了數(shù)據(jù)的利用水平，出現(xiàn)缺陷無法匹配等問題，甚至如果兩次檢測的檢測商不同，則會進(jìn)一步加劇這個情況。針對多輪內(nèi)檢測的比對問題，目前檢測公司都是通過人工比對兩次內(nèi)檢測數(shù)據(jù)，業(yè)務(wù)量巨大，而且對于管道運營商來說無法確定結(jié)果的真實性。

鑒于內(nèi)檢測數(shù)據(jù)比對的重要性，近期在內(nèi)檢測數(shù)據(jù)的比對理論方面，部分國內(nèi)學(xué)者也進(jìn)行了一些研究。王良軍等[1]通過調(diào)研了解到國外的管道運營公司，例如DOW、BP、EnbrigeSingapore、Gas Company等，已有百余條管道開展了內(nèi)檢測數(shù)據(jù)比對工作。王良軍等綜述了內(nèi)檢測比對方法的研究現(xiàn)狀，歸納出此項研究工作中的兩個關(guān)鍵步驟為內(nèi)檢測里程數(shù)據(jù)對齊和內(nèi)檢測特征數(shù)據(jù)比對[1]。王丹丹等[2]提出在確定關(guān)鍵點對齊的前提下，以相對里程、時鐘方位以及表面位置為核心參數(shù)的比對方法，并運用改進(jìn)方法對海底管道的剩余強度和剩余壽命進(jìn)行了評估。孫浩等[3]對內(nèi)檢測比對的流程進(jìn)行詳細(xì)敘述，包括關(guān)鍵點對齊和缺陷的活性判斷方法，并以天然氣管道為例進(jìn)行方法驗證，得到較好的計算效果，其限制條件主要為內(nèi)檢測數(shù)據(jù)須由同一檢測承包商提供。楊賀[4]對比對中的關(guān)鍵流程(焊縫對齊、缺陷點識別)算法進(jìn)行了設(shè)計，其限制條件為導(dǎo)入文件的格式必須與模板一致。

現(xiàn)階段內(nèi)檢測數(shù)據(jù)比對方法的基本流程已經(jīng)確定，存在的問題主要是缺少快速匹配不同檢測商提供的內(nèi)檢測報告的方法，該問題的存在限制了大數(shù)據(jù)背景下的數(shù)據(jù)對齊研究。通過語義相似度計算方法研究，有利于建立數(shù)據(jù)匹配字段的關(guān)聯(lián)關(guān)系，實現(xiàn)數(shù)據(jù)的快速入庫，為大數(shù)據(jù)技術(shù)的應(yīng)用奠定基礎(chǔ)。

1 基礎(chǔ)理論

語義相似度計算是處理自然語言的重要研究內(nèi)容，在信息檢索、翻譯等涉及到同義匹配等領(lǐng)域均有應(yīng)用。目前絕大多數(shù)描述概念詞語相似度的計算模型的基本思想是Dekang Lin從信息論的角度給出的如式1所示的理論[5]。含義為任意兩個對象之間的相似度取決于它們之間的共性commonality和個性differences，共性越多，相似度越大；個性越多，相似度越小[6]。

式(1)中的分母表示完整描述A，B所需的信息量大小，分子表示描述A，B共性部分所需的信息量大小，sim(A，B)表示A，B之間的語義相似度。

語義相似度計算的研究領(lǐng)域主要分為兩大類[7]：一是依據(jù)某種世界知識來計算，主要是通過詞典中概念結(jié)構(gòu)關(guān)系(上下位關(guān)系、同位關(guān)系、整體-部分關(guān)系等)來計算相似度；二是利用大規(guī)模的語料庫，利用統(tǒng)計學(xué)方法將上下文信息的概率分布作為詞語語義相似度的度量。

本文研究的方法屬于第一類。目前國外的語義研究詞典主要包括WordNet[8]、FrameNet[9]、MindNet[10]等。國內(nèi)的漢語語義研究詞典主要為知網(wǎng)[11]、同義詞詞林[12]等。由于《同義詞詞林》的編排結(jié)構(gòu)與國際研究常用的WordNet詞典結(jié)構(gòu)最為相似，該詞典已逐漸成為漢語語義研究的重點，本文討論的方法也是基于同義詞詞林建立的。

1.1 同義詞詞林

《同義詞詞林》是1983年由梅家駒等[12]編篆而成的。后來哈工大信息檢索研究實驗室根據(jù)人民日報語料庫中詞語出現(xiàn)的頻率對其進(jìn)行擴展并對詞林的結(jié)構(gòu)和編碼進(jìn)行了改進(jìn)，形成一部具有漢語大詞表的《哈工大信息檢索研究室同義詞詞林?jǐn)U展版》(《詞林?jǐn)U展版》)，共包含77 343詞語。原版中只針對大類、中類、小類進(jìn)行了編碼，而《詞林?jǐn)U展版》形成了5層結(jié)構(gòu)，同時將編碼等級由三級擴充到了五級，劃分為12個大類，95個中類，1428個小類，小類下方進(jìn)一步劃分為4026個詞群和17 797個原子詞群[13]?！锻x詞詞林》擴展前后詞典文件特征對比如表1所示。

同義詞詞林詞典的5層結(jié)構(gòu)如圖1所示。上面四層的結(jié)點都代表抽象的類別，第5層的葉子結(jié)點表示具體的詞條或義項[14]。對應(yīng)5層結(jié)構(gòu)設(shè)置了5層編碼，第1層用大寫英文字母表示；第2層用小寫英文字母表示；第3層用二位十進(jìn)制整數(shù)表示；第4層用大寫英文字母表示；第5級用二位十進(jìn)制整數(shù)表示。編碼總長度為8位，結(jié)構(gòu)具體如表2所示。

需要注意的是，第 8位的標(biāo)記有“=”、“#”、“@”3種。其中，“=”代表“相等”、“同義”；“#”代表“不等”、“同類”，表示屬于同類，但是語義不同；“@ ”代表“自我封閉”、“獨立”，它在詞典中既沒有同義詞，也沒有相關(guān)詞[12]。

1.2 語義相似度計算方法

部分學(xué)者在基于同義詞詞林的語義相似度計算方法研究方面已取得一定的成果，認(rèn)可度較高的有田久樂[15]和王汀[16]提出的算法。

表1 《同義詞詞林》擴展前后詞典文件特征對比Table 1 Comparison of dictionary file features before and after Synonym Word Forest expansion

圖1 同義詞詞林詞典結(jié)構(gòu)Fig. 1 Synonym Word Forest dictionary structure

表2 編碼結(jié)構(gòu)Table 2 Coding structure

1.2.1 田久樂算法

田久樂提出基于義項的語義距離來衡量詞語的相似度[15]。假設(shè)兩個義項A，B的相似度用sim表示。

(1)若兩個義項不在同一棵樹上

(2)若兩個義項在同一顆樹上

若在第2層分支，系數(shù)取a，

若在第3層分支，系數(shù)取b，

若在第4層分支，系數(shù)取c，

若在第5層分支，系數(shù)取d，

(3)若兩個義項的編號相同，當(dāng)末尾號為“=”時，相似度為1；當(dāng)末尾號為“#”時，直接把定義的系數(shù)賦給結(jié)果；當(dāng)末尾號為“@”時，因代表在一個編號中只有一個詞，所以不予考慮。

需要注意的是，針對有多個編碼的詞語，在計算詞語相似度時，取最大值。

1.2.2 王汀算法

相較于田久樂提出的算法，王汀算法引入了概念相似度權(quán)重系數(shù)表示集合L中的元素個數(shù)，恒等于5。算法公式[16]如式7所示。

λ∈(0,1)，其取值不宜過高；Nt為詞元在第i層分支上的節(jié)點總數(shù)；D為詞元的編碼距離；特別地，當(dāng)概念的5 層編碼均相等且詞林編碼末位為“=”時，SIMT的取值為1.0。

權(quán)重系數(shù)的引入使得不同層級的語義相似度區(qū)分更為明確。

2 基于內(nèi)檢測參數(shù)的語義相似度計算方法改進(jìn)

使用前文介紹的兩種方法進(jìn)行實驗驗證發(fā)現(xiàn)，大部分的字段可以被區(qū)分開，然而部分字段的相似度計算差值較小，甚至無法區(qū)分，主要原因是未考慮路徑對語義相似度的影響。由上文兩種算法的公式可以看出田久樂算法僅設(shè)置了層級系數(shù)，王汀算法也只針對層級系數(shù)進(jìn)行調(diào)節(jié)。本文通過增加路徑權(quán)重對上述兩種方法進(jìn)行改進(jìn)，改進(jìn)后的公式如式8所示：

式(8)中引入新的概念—路徑權(quán)重weight替代原參數(shù)λ，目的是增大路徑所在層級對相似度值計算結(jié)果的影響。取值參照表3[17]中的設(shè)定值；Li/L為深度調(diào)節(jié)參數(shù)，Li={1,2,3,4,5}，L=5；N代表分支層的節(jié)點總數(shù)；K代表兩個義項的父節(jié)點的間距。路徑、深度以及N、K的含義如圖2所示，圖中K=3，N=6。特別地，若兩個義項的編號相同，當(dāng)末尾號為“=”時，認(rèn)為相似度最大；當(dāng)末尾號為“#”時，認(rèn)為相似度最??；當(dāng)末尾號為“@”時，因代表在一個編號中只有一個詞，所以不予考慮。

表3 路徑權(quán)重設(shè)定值Table 3 Setting value of path weight

3 案例

為了驗證本文改進(jìn)方法的有效性，選取管道缺陷描述字段中較難區(qū)分的模板字段：焊縫和溝槽，進(jìn)行算法分析對比。將溝、坑痕、陷坑、槽子等幾個描述詞語與模板字段(焊縫和溝槽)通過兩兩計算語義相似度進(jìn)行匹配。查詢同義詞詞林[13]得到各字段的編碼如表4所示。

圖2 示意圖Fig. 2 Schematic

采用田久樂算法得到的結(jié)果如表5所示，采用王汀算法得到的結(jié)果如表6所示。由計算結(jié)果可知，王汀方法在溝槽與槽子、焊縫與槽子的語義相似度計算中，差值為負(fù)數(shù)，未能成功匹配。

采用本文算法得到結(jié)果如表7所示，比較3種方法的差值增加量如表8。對比可知，本文方法相對于其他兩種方法非匹配字段的差值均有所增大，字段區(qū)分更為明顯，并且能夠區(qū)分其他方法難以區(qū)分的字段。

表4 字段編碼表Table 4 Field coding table

表5 田久樂方法計算結(jié)果Table 5 Calculation results of Tian's method

表6 王汀方法計算結(jié)果Table 6 Calculation results of Wang's method

表7 本文方法計算結(jié)果Table 7 Calculation results of the improved method

表8 計算結(jié)果對比Table 8 Calculation results comparison

4 結(jié)束語

管道行業(yè)數(shù)據(jù)容量已經(jīng)累計到大數(shù)據(jù)級別，建立大數(shù)據(jù)庫能夠有效提高數(shù)據(jù)利用率，實現(xiàn)數(shù)據(jù)描述字段的自動匹配，能夠為智能化數(shù)據(jù)導(dǎo)入提供便利，節(jié)省人力物力。本文結(jié)合語義相似度計算算法，從內(nèi)檢測字段入手，通過增加路徑權(quán)重改進(jìn)現(xiàn)有計算方法，使其適用于管道行業(yè)。與其他方法對比證明了本文改進(jìn)方法的有效性?，F(xiàn)階段管道行業(yè)亟待建立管道大數(shù)據(jù)，字段匹配結(jié)合已有的數(shù)據(jù)對齊流程可實現(xiàn)多輪次數(shù)據(jù)的對齊，提高數(shù)據(jù)利用率的同時，能夠為發(fā)掘管道缺陷和風(fēng)險預(yù)測奠定基礎(chǔ)。