基于上下文語(yǔ)義信息的鐵路扣件狀態(tài)檢測(cè)*

李 爽， 李柏林， 羅建橋， 歐 陽(yáng)

(西南交通大學(xué) 機(jī)械工程學(xué)院，四川 成都 610031)

0 引 言

近年來(lái)，在車載軌道巡檢系統(tǒng)方面的研究取得了豐碩的成果[1～3]，但一直未能很好地解決鐵路扣件的檢測(cè)問(wèn)題。隨著計(jì)算機(jī)技術(shù)的發(fā)展，計(jì)算機(jī)視覺(jué)技術(shù)逐漸應(yīng)用到鐵路扣件的自動(dòng)檢測(cè)中[4，5]。目前，扣件自動(dòng)檢測(cè)方法主要分為3類：1)基于扣件圖像全局特征的檢測(cè)方法;2)基于扣件圖像局部目標(biāo)區(qū)域的檢測(cè)方法;3)基于“視覺(jué)詞包(bag-of-words,BOW)模型”的檢測(cè)方法。前兩類方法均由于底層特征與圖像內(nèi)容之間存在語(yǔ)義鴻溝[6～9]制約了扣件狀態(tài)檢測(cè)算法的準(zhǔn)確性。第三類方法首先利用局部特征向量定義圖像塊的不同語(yǔ)義概念(如扣件，軌枕等)，即視覺(jué)單詞，再統(tǒng)計(jì)其出現(xiàn)頻率，生成圖像—單詞詞頻矩陣，將其作為圖像內(nèi)容的表示，最后，使用機(jī)器學(xué)習(xí)算法來(lái)實(shí)現(xiàn)扣件圖像分類。文獻(xiàn)[10]在“視覺(jué)詞包模型”的基礎(chǔ)上,利用潛在狄利克雷分布 (latent Dirichlet allocation,LDA) 模型學(xué)習(xí)得到扣件圖像的潛在主題分布，進(jìn)一步提高了扣件檢測(cè)性能。這類方法在將圖像表示成視覺(jué)單詞集合時(shí)，將每個(gè)局部特征映射為與其歐氏距離最近視覺(jué)單詞。但映射方法僅考慮了局部特征在特征域上的位置關(guān)系，并未考慮局部特征在空間域中是否與其周圍其他局部特征具有上下文約束關(guān)系。

針對(duì)傳統(tǒng)“視覺(jué)詞包模型”忽略視覺(jué)單詞在空間域中的上下文關(guān)系的缺點(diǎn)，本文提出了一種基于上下文語(yǔ)義信息的扣件檢測(cè)模型。在傳統(tǒng)“視覺(jué)詞包模型”的基礎(chǔ)上，引入吉布斯(Gibbs)隨機(jī)場(chǎng)來(lái)描述空間域中像素間的相關(guān)性。

在局部特征映射為視覺(jué)單詞時(shí)，將特征域中局部特征到視覺(jué)單詞的歐氏距離同空間域中局部特征間的上下文語(yǔ)義關(guān)系結(jié)合，提高了局部特征與視覺(jué)單詞間映射的準(zhǔn)確性。實(shí)驗(yàn)結(jié)果表明：結(jié)合了上下文語(yǔ)義信息的“視覺(jué)詞包模型”具有更高的分類性能。

1 吉布斯隨機(jī)場(chǎng)模型

對(duì)于二維網(wǎng)格S，由馬爾科夫隨機(jī)場(chǎng)的定義可知，隨機(jī)場(chǎng)在格點(diǎn)i處取得相應(yīng)標(biāo)記的概率只與其鄰域系統(tǒng)N(i)內(nèi)的格點(diǎn)標(biāo)記有關(guān)，而與鄰域系統(tǒng)外的格點(diǎn)狀態(tài)無(wú)關(guān)?？梢员硎緸?/p>

p(wi|wS-i)=p(wi|wN(i))

(1)

根據(jù)Hamersley-Clifford定理[11]，馬爾科夫隨機(jī)場(chǎng)的聯(lián)合概率分布與吉布斯隨機(jī)場(chǎng)的聯(lián)合概率分布等價(jià)，即

p(wi)=Z-1exp(-U(wi|β))

(2)

式中Z=∑exp(-U(wi|β))為正則化常數(shù),U(wi|β)為能量方程,β為用來(lái)控制鄰域間相互作用的強(qiáng)度勢(shì)函數(shù)參數(shù)。

2 基于上下文語(yǔ)義信息的扣件檢測(cè)

在將底層特征向量映射為視覺(jué)單詞時(shí)，結(jié)合特征域和空間域?qū)奂D像的分析結(jié)果，更準(zhǔn)確地定義視覺(jué)單詞，并在此基礎(chǔ)上提高扣件檢測(cè)的精度。本文的模型框架如圖1所示。

圖1 本文扣件檢測(cè)模型框架

2.1 生成視覺(jué)單詞和視覺(jué)詞典

使用無(wú)監(jiān)督的K-means算法將訓(xùn)練圖像集上全體底層特征向量聚類為K個(gè)簇，每一個(gè)簇的中心視為一個(gè)視覺(jué)單詞，從而生成了一個(gè)容量為K的視覺(jué)單詞詞典。

2.2 生成圖像—單詞詞頻矩陣

本文設(shè)計(jì)了模擬視覺(jué)注意機(jī)制的單詞生成方法。通過(guò)引入吉布斯隨機(jī)場(chǎng)模型，在傳統(tǒng)單詞生成方法[12]中融入視覺(jué)單詞的上下文語(yǔ)義約束信息，提高了單詞生成單詞算法的準(zhǔn)確性，消除歧義。

設(shè)S={∪si|i∈n}為從扣件圖像中提取的全體特征向量集合，采用歐氏距離將特征向量{s1,s2,…,sn}映射為其特征域中對(duì)應(yīng)的視覺(jué)單詞wk,k=1,2,…,K。結(jié)合式(2)分析得到格點(diǎn)i與其鄰域中視覺(jué)單詞的上文下共生概率為

(3)

(4)

式中N為格點(diǎn)i的鄰域系統(tǒng)中所有特征向量的個(gè)數(shù)。將特征向量和視覺(jué)單詞在特征域中的位置關(guān)系與在空間域中的上下文語(yǔ)義關(guān)系結(jié)合,在式(3)、式(4)的基礎(chǔ)上定義了視覺(jué)單詞與特征向量的距離函數(shù)

(5)

式中p(wi=k|wN(i))為在已知si鄰域內(nèi)視覺(jué)單詞wN(i)的條件下，si映射到第k類視覺(jué)單詞的先驗(yàn)概率。算法具體流程如下：

1)初始化：設(shè)置閾值ε，采用歐氏距離將輸入圖像塊的特征向量S={sn}映射為初始的視覺(jué)單詞W={wk}。

2)按式(4)計(jì)算wi和wj的語(yǔ)義共生概率p(wi，wj)。

3)按式(3)計(jì)算視覺(jué)單詞的上下文語(yǔ)義共生概率。

6)統(tǒng)計(jì)各幅圖像中視覺(jué)單詞的詞頻分布，生成圖像—單詞詞頻矩陣。

通過(guò)結(jié)合特征域和空間域，將圖像塊在空間域中的上下文語(yǔ)義共生性融入到傳統(tǒng)的單詞映射算法中。如當(dāng)某一特征向量si的鄰域信息表明其屬于單詞wk的概率較高時(shí)，即使si在特征域內(nèi)與wk的歐氏距離較大，上下文語(yǔ)義約束依然使其劃分到wk；反之亦然。改進(jìn)后的算法在一定程度上解決了單詞的歧義現(xiàn)象，更準(zhǔn)確地定義視覺(jué)單詞。

2.3 學(xué)習(xí)扣件圖像的主題分布

LDA中一幅圖像的生成步驟如下：

1)選擇θ～Dirichlet(α)，其中θ是一個(gè)C×T的矩陣，行向量θi是第i幅圖像的主題分布向量；

2)對(duì)于每個(gè)圖像塊xi，從多項(xiàng)式分布θ抽樣主題tk,tk～Multi(θ)，以概率p(wm|tk,β)選擇一個(gè)視覺(jué)單詞wm，β是一個(gè)K×V的矩陣，其元素βi,j=p(wi=1|tj=1)表示視覺(jué)單詞wi和主題tj同時(shí)出現(xiàn)的概率；

3)重復(fù)步驟(1)和步驟(2),進(jìn)行圖像主題的選擇，通過(guò)主題產(chǎn)生對(duì)應(yīng)的單詞，直到生成一幅完整的圖像。

LDA模型的學(xué)習(xí)過(guò)程是其生成模型的逆過(guò)程，采用吉布斯采樣可求解出模型中參數(shù)的近似值，從而獲得每幅圖像的主題分布。

2.4 算法整體流程

1)提取全體訓(xùn)練圖像的底層特征向量S={∪si|i∈n}，利用K-means聚類方法對(duì)S進(jìn)行聚類，生成含K個(gè)視覺(jué)單詞的視覺(jué)詞典W；

2)計(jì)算每個(gè)特征向量si∈S到各個(gè)視覺(jué)單詞的歐氏距離dis(si,wk)；

3)對(duì)于每個(gè)特征向量si，按式(5)更新其到每個(gè)視覺(jué)單詞的距離；

4)按更新后的距離disnew(si,wk)，將特征向量映射到對(duì)應(yīng)的視覺(jué)單詞，并統(tǒng)計(jì)得到圖像—單詞詞頻矩陣；

5)利用LDA模型學(xué)習(xí)扣件圖像的潛在主題分布；

6)構(gòu)建支持向量機(jī)(support vector machine,SVM)分類器，對(duì)新的扣件圖像進(jìn)行分類。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)與配置

本文從采集的扣件圖像中選取共800幅作為實(shí)驗(yàn)數(shù)據(jù)，其中正常、斷裂、丟失以及被遮擋的4類扣件圖像各200幅，均為120像素×180像素的灰度圖像。實(shí)驗(yàn)計(jì)算機(jī)處理器為AMD Sempron X2 190 Processor 2.5 GHz，內(nèi)存4.0 GB，在MATLAB 2014b環(huán)境下進(jìn)行實(shí)驗(yàn)。部分實(shí)驗(yàn)樣本如圖2所示。

圖2 目標(biāo)圖像狀態(tài)

3.2 實(shí)驗(yàn)結(jié)果分析

1)詞典容量對(duì)分類性能的影響

改變視覺(jué)詞典容量的設(shè)置進(jìn)行多次重復(fù)的實(shí)驗(yàn)。圖3展示了在局部二值化模型(local binary pattern,LBP)、尺度不變特征變換(scale invariant feature transform,SIFT)以及方向梯度直方圖 (histogram of oriented gradient，HOG)3種不同的底層特征下，詞典容量的變化對(duì)正確率的影響。

圖3 不同單詞數(shù)目時(shí)實(shí)驗(yàn)正確率

觀察可知，隨著詞典容量的增加，不同底層特征下的測(cè)試結(jié)果正確率也在穩(wěn)步提升。但當(dāng)詞典容量大于某一特定值后，繼續(xù)增加視覺(jué)單詞數(shù)量，正確率不會(huì)繼續(xù)提高。這是因?yàn)檫^(guò)小的詞典容量造成了語(yǔ)義的丟失，而過(guò)大的詞典容量則會(huì)導(dǎo)致語(yǔ)義的冗余，進(jìn)而影響測(cè)試結(jié)果的正確率。因此,在后續(xù)實(shí)驗(yàn)中均選擇測(cè)試結(jié)果正確率相對(duì)較高的視覺(jué)詞典容量為75。

2)扣件檢測(cè)性能

將傳統(tǒng)“視覺(jué)詞包模型”方法[13]與本文方法進(jìn)行比較，以衡量本文方法在扣件語(yǔ)義表達(dá)上的有效性；通過(guò)將本文方法與文獻(xiàn)[6]中的主成分分析方法、文獻(xiàn)[7]中的方向場(chǎng)(directional field，DF)方法以及文獻(xiàn)[8]中的LBP+SVM方法對(duì)比，以綜合評(píng)估本文方法的扣件檢測(cè)性能。

各種方法的實(shí)驗(yàn)設(shè)置為：傳統(tǒng)“視覺(jué)詞包模型”與本文方法分別在LBP特征、SIFT特征和HOG特征的基礎(chǔ)上進(jìn)行。對(duì)于本文方法，鄰域像素半徑設(shè)為2，鄰域像素個(gè)數(shù)設(shè)為8，主題數(shù)量T=40。上述參數(shù)設(shè)置均為優(yōu)化值。文獻(xiàn)[6～8]中各方法的參數(shù)設(shè)置均與原文獻(xiàn)保持一致。實(shí)驗(yàn)樣本采用本文創(chuàng)建的樣本庫(kù)。訓(xùn)練集為每種狀態(tài)的扣件圖像各100幅，共400幅圖像，余下的作為測(cè)試集。訓(xùn)練集與測(cè)試集的大小均為400。選擇LIBSVM[14]對(duì)扣件數(shù)據(jù)進(jìn)行分類，實(shí)驗(yàn)結(jié)果為10折交叉驗(yàn)證(cross-validation)的平均值，并統(tǒng)計(jì)實(shí)驗(yàn)結(jié)果的誤檢率和漏檢率。誤檢率=誤檢扣件數(shù)量/正?？奂倲?shù)量×100 %，漏檢率=漏檢扣件數(shù)量/失效扣件總數(shù)量×100 %，其中，丟失、斷裂、被遮擋的扣件均被視為失效扣件。檢測(cè)結(jié)果首先要求準(zhǔn)確判斷出失效扣件，降低漏檢；其次是降低誤檢，減小浪費(fèi)。各方法的檢測(cè)結(jié)果如表1所示。

表1 本文方法與其他方法的比較

實(shí)驗(yàn)1和實(shí)驗(yàn)2表明，在LBP特征下，本文方法顯著提高了傳統(tǒng)“視覺(jué)詞包模型”的扣件檢測(cè)性能：1)改進(jìn)了視覺(jué)單詞的映射方式，既考慮了圖像塊的底層特征信息，又考慮了圖像塊的上下文約束信息，因此，能更準(zhǔn)確地定義視覺(jué)單詞；2)提取了低維的主題分布，整合了語(yǔ)義信息，進(jìn)一步降低了誤檢和漏檢。實(shí)驗(yàn)3,4和實(shí)驗(yàn)5,6這兩組實(shí)驗(yàn)表明:在SIFT特征和HOG特征下，本文方法同樣能夠降低“視覺(jué)詞包模型”的漏檢率和誤檢率。

從實(shí)驗(yàn)2,7,8,9中可以看出，文獻(xiàn)[6]的主成分方法和文獻(xiàn)[8]的LBP+SVM方法雖耗時(shí)較短，但誤檢率和漏檢率均較高。文獻(xiàn)[7]的方向場(chǎng)方法雖對(duì)失效扣件檢測(cè)效果較好，但誤檢率過(guò)高，且耗時(shí)較長(zhǎng)。與現(xiàn)有方法相比，本文方法能更加有效地檢測(cè)扣件狀態(tài)。

4 結(jié)束語(yǔ)

通過(guò)引入吉布斯隨機(jī)場(chǎng)，將圖像塊在特征域的相似性同空間域的上下文語(yǔ)義信息結(jié)合起來(lái)，在一定程度上減小了底層特征與高層語(yǔ)義之間的“鴻溝”，提高了扣件檢測(cè)精度。在4類扣件數(shù)據(jù)集上的實(shí)驗(yàn)獲得了較傳統(tǒng)“視覺(jué)詞包模型”更低的漏檢率和誤檢率，證明了本文模型的有效性和可行性。下一步的研究工作是如何綜合運(yùn)用多種特征，更全面地挖掘扣件圖像的語(yǔ)義信息。