基于多特征融合的儀表屏幕定位方法

劉宏利，呂俊杰，邵 磊，李 季，于 曉

（天津理工大學 電氣電子工程學院，天津 300384）

0 引 言

在人們生產(chǎn)生活中，智能數(shù)字儀表因其本身精度高、易讀取、操作方便等優(yōu)勢被普遍應用于各個領域中。實際上，智能儀表的規(guī)格型號繁多并且互不兼容，即使當前較高檔的智能數(shù)字儀表對于遠程通信領域已經(jīng)擁有了無線通信接口，但在某些特殊應用場景下，依然免不了仍需人工實地對儀表數(shù)據(jù)進行采集，這種方法不僅時效慢而且不能保證準確率。近幾年，機器視覺技術和圖像處理技術發(fā)展迅猛，典型的儀表數(shù)字識別過程由區(qū)域定位、字符分割、字符識別三部分組成[1]。其中，儀表區(qū)域定位是數(shù)字識別的前提，起著關鍵性作用。智能數(shù)字儀表定位的目標是結合目標區(qū)域與背景區(qū)域的特點，檢測出顯示能耗數(shù)值的液晶屏區(qū)域。現(xiàn)存的定位方法主要有以下三種：

1）基于紋理分析的定位方法[2]。其主要是通過提取圖像的紋理特征來判別一個區(qū)域是否是目標區(qū)域，要想達到好的圖像處理效果則要保證圖像有明顯的紋理特征，雖然步驟簡便，但實際情況是很難直接提取儀表圖像中數(shù)字的特征，定位算法操作不理想，抗噪聲能力較低。

2）基于邊緣的定位方法[3]。根據(jù)目標區(qū)域與其他區(qū)域間灰度或結構等信息的差異特性，通過邊緣來進行圖像的分割定位。液晶屏和表盤其他區(qū)域的大小形狀以及灰度值都很接近時，利用邊緣就很難有效地區(qū)分液晶屏區(qū)域和背景區(qū)域。

3）基于圖像彩色信息的定位方法[4]。根據(jù)輸入圖像的特點進行顏色空間轉換，找到滿足目標顏色特征的區(qū)域后再進行識別等操作。這種定位方法操作簡單、便于實現(xiàn)，但是這種方法僅僅考慮了較少的顏色信息，對于復雜的表盤，例如液晶屏和背景具有類似的灰度值和形狀時，往往不能進行有效的分割和篩選。

多數(shù)算法僅考慮儀表圖像的單一特性，無法高效準確地達到定位效果。綜合復雜多變環(huán)境下儀表圖像的多尺度特性，本文提出綜合運用多種特性融合算法實現(xiàn)快速準確定位儀表屏幕的目的。

1 多特征降維融合識別法

儀表檢測的目標僅限于讀數(shù)區(qū)域一個類目，考慮使用適合小樣本的二分類方法達到檢測目的。本文提出一種復雜環(huán)境下多特征融合儀表屏幕定位方法。首先對樣本數(shù)據(jù)預處理，采取旋轉、剪裁、曝光、歸一化等方法保證數(shù)據(jù)的充足性和多樣性；其次提取儀表灰度圖像的顏色特征、結構特征子[5]和紋理特征子作為儀表目標區(qū)域特征描述；接著對高維冗余特征子進行優(yōu)化降維處理；然后進行多特征描述子的分析和融合；最后通過對融合后的特征子進行多種儀表屏幕的分類器訓練，實現(xiàn)儀表讀數(shù)區(qū)域的目標定位識別。算法流程如圖1 所示。

圖1 算法流程

1.1 圖像預處理

目前為止，智能數(shù)字儀表沒有充足的數(shù)據(jù)樣本集，為了保證分類器的泛化能力和魯棒性，通過已采集的圖像進行預處理擴充。

原始樣本集由兩個部分組成：一是生活場景及工業(yè)環(huán)境中拍攝的智能數(shù)字儀表圖像；二是從網(wǎng)絡上收集的智能數(shù)字儀表圖像。圖像大小從608×720 到2 304×3 072 各不相同，這些圖像樣本中包含國內(nèi)主流數(shù)字顯式儀表生產(chǎn)廠家的十多種規(guī)格類型的智能數(shù)字儀表，而且各圖片拍攝的距離、角度、外部光照等情況各有不同。儀表樣本本身來源有限，需要對數(shù)據(jù)樣本進行一定的擴充及歸一化操作，常見的數(shù)據(jù)樣本擴充的方法有[6]：圖像翻轉、剪裁、旋轉、鏡像、局部變形、加噪聲、對比變換等，針對本文研究的實際情況，選擇旋轉、剪裁和對比變換的方法來模擬不同視角、距離和光照情況來進行樣本的擴充，最終得到2 000 幅正負樣本以供訓練測試使用。本文對數(shù)據(jù)集擴充的部分正負樣本如圖2 所示。

圖2 數(shù)據(jù)擴充樣例

1.2 儀表特征提取

自然環(huán)境下的智能數(shù)字儀表的識別明顯受光線、陰影、角度等因素的影響，而且數(shù)字儀表圖像具有很多圖像特征，比如顏色特征、紋理特征、結構特征等。在復雜場景下，單一特征不能夠保證屏幕識別的準確率，因此，本文提取儀表的顏色特征、灰度共生矩陣和梯度方向直方圖特征作為圖像識別的特征子。

1.2.1 顏色特征提取

智能數(shù)字儀表讀數(shù)區(qū)域是由TN 型液晶屏構成，TN型液晶屏顯示原理是基于扭轉式向列場效應[7]。這種原理在電場的影響下，屏幕顯示不同的顏色，表現(xiàn)在無背光時屏幕為黑色，有背光時屏幕為明亮的顏色。另外液晶屏幕有明顯的HSV 顏色特征，在正常外部條件下，其本身背景色調(diào)在灰綠色附近，色飽和度和亮度均較低。所以將彩色圖像進行HSV 特征轉換，保證液晶屏區(qū)域定位的準確性。

1.2.2 紋理信息提取

紋理方面可以提取儀表圖像中方向、間隔、變化幅度的綜合因素，最終以矩陣的形式展示[8]。針對儀表液晶屏幕形狀特點和屏幕中數(shù)字特點，以及每個字符間固定不變間距的特點選用GLCM 進行特征提取。在θ 角度上，距離間隔d 的GLCM 為：

為了使GLCM 特征得到有效表征，在得到的矩陣上使用能量、對比度、熵和相關度這4 個統(tǒng)計量作為儀表的特征參數(shù)。

1.2.3 結構特點提取

實際應用場景中，儀表的液晶屏區(qū)域很容易受到光線影響，從而增加識別的難度。儀表圖像HOG 結構特征的提取采用先分塊后整合的思路，可以有效避免局部因素對識別的影響。將圖像每個像素點的梯度方向用作特征描述子達到物體檢測的目的。將圖像分成若干個小的像素胞元cell，使用滑動窗口win 以固定步長遍歷目標圖像，每個像素點的梯度都有2 個參數(shù)，彩色圖片的幅值代表三通道中最大的幅值，方向是最大幅值對應的角度[9]。假設圖中點A（x，y）處的像素值為H（x，y），此點處的水平方向梯度Gx(x,y)和垂直方向梯度Gy(x,y)分別為：

點A 處幅度值G 和梯度方向θ 分別表示為：

在梯度方向直方圖結構中若干個像素點構成一個胞元，若干個胞元構成一個塊block，由于局部梯度強度變化大，所以要對塊進行歸一化處理，采用L2-norm 方法，公式如下：

歸一化后最終獲得方向梯度直方圖?，F(xiàn)場采集儀表的方向梯度直方圖如圖3 所示。

1.3 儀表特征降維

對于目標128×64 尺寸的圖像來說，細胞元規(guī)定尺寸大小為8×8 像素，連通域塊包含4 個細胞元尺寸為16×16，設定塊移動步長為（8，8），方向bin 為9。則計算得每個窗口中的特征向量子維數(shù)為3 780?？梢娙绱烁呔S度的計算對多特征融合來說會是一個問題，降維也就顯得至關重要。主成分分析法是通過換取空間代價將原數(shù)據(jù)投影到一個新的低維正交坐標空間。在窗口遍歷圖像提取特征時，會產(chǎn)生大量冗余數(shù)據(jù)增加計算難度。為了簡化計算量，提高識別效率，采用PCA 降維[10]的方式可以去除冗余數(shù)據(jù)。

圖3 方向梯度直方圖

1.4 多特征融合

僅僅利用顏色特征提取屏幕顏色信息，灰度共生矩陣提取紋理信息或梯度方向特征提取儀表屏幕結構信息，都不能準確表現(xiàn)一個儀表圖像特征信息。多特征融合方法可以充分發(fā)揮各個特征優(yōu)勢，綜合分析達到提高分類識別準確率。本文對各個特征利用加權方法進行特征融合，根據(jù)每個單一特征分類影響力的比重設定各類特征的權重系數(shù)，從而更好地反映出不同特征對分類識別的貢獻程度，能夠較好地保證樣本模型的原始分布，表示公式如下：

式中：F(n)表示加權融合后的特征向量；H (i)為第i 個樣本特征；α(i)為第i 個特征對應的權值系數(shù)，各權值系數(shù)滿足

1.5 復雜場景下儀表分類器的構建

實際情況中數(shù)字智能儀表圖像樣本是有限的，若要想將儀表屏幕與其他非儀表屏幕的部分分門別類，則其屬于小樣本的二分類問題[11]。構建分類器的基本思路是在多維空間中構造超平面實現(xiàn)二維空間無法分類回歸等問題，使儀表屏幕類和其他負樣本類到超平面的垂直距離達到最大，超平面方程如下：

分類示意圖如圖4 所示，其中，用y=1 表示目標儀表液晶屏區(qū)域，y=-1 表示儀表液晶屏以外的區(qū)域。y=0 的直線是正負兩類中間最大間隔超平面在二維空間退化成的直線。

若輸入空間的數(shù)據(jù)線性不可分，通過引用核函數(shù)構建分類器，將低維不可分數(shù)據(jù)映射到高維空間，轉化為高維空間的點積形式，最終實現(xiàn)非線性分類。分類函數(shù)公式如下：

式中k(xi,yi)表示核函數(shù)。核函數(shù)選擇收斂域寬、適應性強的RBF 核函數(shù)。

圖4 分類平面示意圖

2 實驗與分析

實驗采用的實現(xiàn)平臺軟件是OpenCV+VS2015。將數(shù)據(jù)集以7∶3 的比例劃分為訓練集和測試集。目標區(qū)域分為兩個類別，正樣本為儀表中液晶屏的位置，標注為1；負樣本為不完整包含儀表液晶屏的圖像，標注為0。因為圖像大小從608×720 到2 304×3 072 各不相同，為了實驗數(shù)據(jù)的統(tǒng)一，將圖像進行圖像金字塔方式的歸一化處理，并且通過儀表液晶屏長寬比對整個樣本集進行一個主導尺寸選擇。實驗樣本集涵蓋了各類場景，包括模糊、儀表傾斜、屏幕反光、顏色干擾、光線不均、背景復雜等。實驗部分圖像示例如圖5 所示。

圖5 部分樣本示例

圖中，圖5a）表示部分負樣本，圖5b）表示部分正樣本，圖5c）表示部分測試樣本，囊括了不同角度、光線、背景等因素，保證了樣本的多樣性。

2.1 基于特征降維儀表屏幕識別

結構特征子具有較高維度的特征，所以對HOG 采用主成分分析方法進行降維處理，然后再進行多特征的融合。圖6 中顯示不同維度下HOG 特征檢測的準確率。

圖6 不同維度下的準確率

由圖6 可以看出，準確率隨著維度的升高逐漸趨于平穩(wěn)。在維度50～500 范圍區(qū)間中，分類準確率呈上升趨勢，并在維度達到500～1 100 的范圍過程中趨于穩(wěn)定。所以為了取得小維度下高準確率的目的，選取500為HOG 特征的降維數(shù)。

2.2 單特征與多特征識別對比

實驗將單一特征與多特征融合的識別方式進行了對比。測試集數(shù)量一共600，其中，正樣本數(shù)量為400，負樣本數(shù)量為200。對比實驗結果見表1。

表1 不同特征下的對比實驗

由表1 可得，單一GLCM 特征的識別成功率和精準度最接近本文算法，也可以說明GLCM 特征對儀表屏幕區(qū)域識別貢獻最大。但是僅僅靠單一特征無法全面表現(xiàn)圖像特征信息，融合了多種特征的本文算法具有較高的檢測成功率和精確度，有助于簡化后續(xù)能耗讀數(shù)的分割與識別操作。

3 結 論

針對數(shù)字智能儀表在復雜場景中易受外界環(huán)境影響的特點，導致僅依靠單一特征無法保證識別準確率的問題，通過分析液晶屏特有的顏色機制、形狀結構特點以及外在影響因素等，提出一種基于多特征融合降維的儀表屏幕定位方法。首先對基礎樣本進行預處理擴增技術，增加樣本集的多樣性，其次結合HSV 顏色特征、CLCM 特征、HOG 特征區(qū)分目標區(qū)域與背景區(qū)域，最后利用PCA 算法對高維特征進行降維處理，提高識別的精度與速度。通過實驗可得，單一特征的成功率與精確度低于多特征融合的方法，且本文算法分類成功率達到94.8%，精確度達到92.7%，具有一定的優(yōu)越性。