基于結(jié)構(gòu)相似性算法的微光夜視儀可靠性試驗(yàn)故障診斷

李永濤，何亞磊，巫風(fēng)玲

（中國(guó)華陰兵器試驗(yàn)中心，陜西 渭南 714000）

0 引言

目前，類(lèi)似于微光夜視儀的直視型微光裝備可靠性試驗(yàn)主要通過(guò)“拷機(jī)”即靜態(tài)工作過(guò)程來(lái)實(shí)現(xiàn)。試驗(yàn)時(shí)，參試人員間歇性地觀察被試品顯示端圖像，通過(guò)人工判讀被試品目鏡視場(chǎng)的方法來(lái)確定被試品是否處于正常工作狀態(tài)[1]。此方法存在以下不足：一是人工試驗(yàn)鑒定效率低且易發(fā)生漏檢?？煽啃栽囼?yàn)具有工作量大、重復(fù)性高的特點(diǎn)。由于設(shè)備批量大，采用人工方法需要多名檢測(cè)人員每天長(zhǎng)時(shí)間工作、連續(xù)幾個(gè)月以上才能完成，耗時(shí)耗力。而且，試驗(yàn)中人員間隔對(duì)設(shè)備進(jìn)行檢查，檢查間隙內(nèi)出現(xiàn)的偶發(fā)故障則很難被發(fā)現(xiàn)。加之檢查很大程度取決于檢查人員技術(shù)水平和檢查經(jīng)驗(yàn)，主觀性大，極易發(fā)生漏檢。二是人工試驗(yàn)鑒定缺乏有效的故障數(shù)據(jù)存儲(chǔ)處理，不利于技術(shù)的持續(xù)改進(jìn)。以人工檢測(cè)為主的試驗(yàn)方法主要依靠肉眼識(shí)別，對(duì)出現(xiàn)的故障進(jìn)行簡(jiǎn)短的文字描述與記載。這樣的檢測(cè)記錄方式存在兩個(gè)問(wèn)題：一方面，人工檢測(cè)記錄在裝備出現(xiàn)故障時(shí)難以完備具體、定性定量地記錄故障對(duì)裝備各個(gè)部件的影響，在提供故障檢測(cè)報(bào)告時(shí)缺乏有力佐證，且由于故障出現(xiàn)的隨機(jī)性，難以復(fù)現(xiàn)；另一方面，人工檢測(cè)記錄的方式缺乏有效的檢測(cè)數(shù)據(jù)存儲(chǔ)，無(wú)法形成故障數(shù)據(jù)樣本集，這為技術(shù)改進(jìn)增加了難度。

綜上所述，現(xiàn)有直視型裝備的可靠性試驗(yàn)所存在的問(wèn)題歸根結(jié)底是檢測(cè)手段無(wú)法滿足日益增長(zhǎng)的檢測(cè)需求，因此亟需一種智能的、高效的替代人工檢查的技術(shù)[2-3]。從圖像中提取特征獲得場(chǎng)景信息是區(qū)域監(jiān)視、目標(biāo)識(shí)別等領(lǐng)域的重要手段。圖像質(zhì)量評(píng)價(jià)方法可通過(guò)衡量圖像變化程度來(lái)實(shí)現(xiàn)視場(chǎng)異常檢測(cè)[4-5]。傳統(tǒng)的圖像質(zhì)量評(píng)價(jià)方法包括利用圖像像素偏離量度量圖像下降質(zhì)量的方法[6]，如均方誤差度量（Mean-Square Error，MSE）、峰值信噪比（Peak Signal to Noise Ratio，PSNR）等；計(jì)算圖像像素灰度幅度變化（等價(jià)為圖像邊緣信息）衡量圖像質(zhì)量的方法[7]；利用圖像灰度分布計(jì)算信息熵的方法[8]等?；谛〔ㄗ儞Q[9]與結(jié)構(gòu)相似性（Structural SIMilarity，SSIM）理論[10-12]的評(píng)估方法與人類(lèi)視覺(jué)系統(tǒng)類(lèi)似，其出現(xiàn)使圖像質(zhì)量評(píng)價(jià)的準(zhǔn)確性有了較大提升。

本文通過(guò)設(shè)計(jì)轉(zhuǎn)接環(huán)連接相機(jī)與直視型微光裝備進(jìn)行圖像的采集獲取，采用結(jié)構(gòu)相似性算法進(jìn)行異常圖像的自動(dòng)檢測(cè)，從而實(shí)現(xiàn)對(duì)直視型微光裝備在可靠性試驗(yàn)中的故障診斷。

1 直視型微光裝備圖像采集技術(shù)

基于SSIM 算法的直視型微光裝備可靠性試驗(yàn)故障診斷通過(guò)在被試品目鏡上采用連接環(huán)固定圖像采集設(shè)備的方法來(lái)獲取圖像，連續(xù)采集記錄在被試品可靠性試驗(yàn)過(guò)程中目鏡里的圖像信息。通過(guò)設(shè)定圖像模板，計(jì)算被試品監(jiān)測(cè)圖像與模板圖像的相似度，識(shí)別被試品工作過(guò)程中的故障，標(biāo)記、記錄并報(bào)警，實(shí)現(xiàn)被試品工作過(guò)程中的故障自動(dòng)監(jiān)測(cè)。

1.1 被試品與圖像采集設(shè)備的可靠連接

被試品與圖像采集設(shè)備間的可靠連接是穩(wěn)定采集圖像的前提。文中利用直視型微光裝備目鏡上預(yù)留的眼罩螺紋與工業(yè)相機(jī)鏡頭上的濾鏡螺紋進(jìn)行可靠連接。按照被試品目鏡上螺紋規(guī)格和相機(jī)鏡頭濾鏡螺紋規(guī)格設(shè)計(jì)加工連接環(huán)，一端與被試品連接，另一端與視頻采集設(shè)備鏡頭連接，即可實(shí)現(xiàn)被試品與圖像采集設(shè)備間的可靠連接。采集圖像時(shí)，通過(guò)手動(dòng)調(diào)節(jié)被試品視度、相機(jī)焦距和被試品焦距來(lái)實(shí)現(xiàn)被試品圖像的高清采集。在圖像采集相機(jī)和鏡頭選定后，適配該相機(jī)的轉(zhuǎn)接環(huán)尺寸也隨即確定。實(shí)際應(yīng)用中不同被試品眼罩轉(zhuǎn)接環(huán)尺寸可能有所差異，為保證轉(zhuǎn)接環(huán)能夠適用多型裝備，可預(yù)先按照常用眼罩螺紋規(guī)格設(shè)計(jì)加工系列與相機(jī)連接的轉(zhuǎn)接環(huán)，如圖1所示的M21×0.7－M25.5×0.5，使用時(shí)，根據(jù)被試品眼罩螺紋規(guī)格，選用相匹配的轉(zhuǎn)接環(huán)。

圖1 轉(zhuǎn)接環(huán)加工示意圖Fig.1 Adaptors processing diagram

1.2 圖像采集設(shè)備的選擇

圖像采集設(shè)備應(yīng)盡量滿足以下要求：

1）圖像采集的效果應(yīng)盡可能模擬或超過(guò)人眼觀察效果，保證軟件處理的準(zhǔn)確性；

2）相機(jī)與被試品間的連接不影響被試品的正常操作和整體平衡，相機(jī)重量應(yīng)盡量輕，體積盡量小；

3）實(shí)際試驗(yàn)中可能存在多路圖像同時(shí)采集的需求，為便于后期圖像處理和管理，要求相機(jī)接口以Ethernet 為主。

文中選擇高分辨率彩色相機(jī)（型號(hào)A3600MU60）作為圖像采集設(shè)備，配置12 mm 1:2.0 1/1.8″鏡頭。表1展示了其基本參數(shù)。

表1 圖像采集設(shè)備基本參數(shù)Table 1 Basic parameters of image acquisition equipment

2 圖像異常診斷技術(shù)

2.1 SSIM 算法

SSIM算法利用圖像像素間的相關(guān)性，結(jié)合亮度l、對(duì)比度c以及兩個(gè)復(fù)雜結(jié)構(gòu)信號(hào)間的結(jié)構(gòu)變化s對(duì)圖像質(zhì)量進(jìn)行客觀量化評(píng)估。

定義圖像亮度為：

式中：xi為圖像第i個(gè)像素點(diǎn)的灰度值；N為圖像的像素總個(gè)數(shù)。

設(shè)x為模板圖像信號(hào)，y為待測(cè)圖像信號(hào)。采用平均亮度(μx,μy)計(jì)算亮度相似性，定義為：

采用標(biāo)準(zhǔn)差(σx,σy)來(lái)估計(jì)對(duì)比度相似性，定義為：

式中：σxy為參考圖像信號(hào)x和失真圖像信號(hào)y的相關(guān)系數(shù)，計(jì)算為：

上述公式中的C1、C2、C3為引入常數(shù)，避免μx2＋μy2或σx2＋σy2值接近0 時(shí)引起公式無(wú)意義。

在實(shí)際操作過(guò)程中，通常引入?yún)?shù)α,β,γ＞0 調(diào)整亮度、對(duì)比度和結(jié)構(gòu)性信息的權(quán)重，確定較為合適的SSIM 值，定義如下：

在評(píng)價(jià)被測(cè)圖像質(zhì)量時(shí)，SSIM 算法用一定尺寸的窗口沿圖像逐像素地從左上角到右下角移動(dòng)，每次計(jì)算兩幅圖像中窗口對(duì)應(yīng)子圖像的SSIM 值。得到的所有子圖像的SSIM 值的平均即為該待測(cè)圖像相較于模板圖像的相似度，記為MSIMM(X,Y)表示為：

式中：M為子圖像塊的數(shù)量。

2.2 基于結(jié)構(gòu)相似性的圖像異常診斷軟件設(shè)計(jì)

異常診斷軟件主要根據(jù)SSIM 算法計(jì)算得到的待測(cè)圖像與模板圖像的相似度判定待測(cè)設(shè)備是否出現(xiàn)故障。軟件運(yùn)行情況如圖2，診斷流程主要包括：確定模板圖像、選定相似度判決閾值、SSIM 算法計(jì)算相似度、實(shí)時(shí)檢測(cè)篩選異常圖像并對(duì)異常信息做出警告與記錄。其主要步驟如下：

1）確定模板圖像：對(duì)于直視型微光裝備可靠性試驗(yàn)而言，通常在一個(gè)大的、較為黑暗條件下的工房中或晚上照度較小的野外進(jìn)行。SSIM 算法需提前確定好模板圖像，即提前將直視型微光裝備的視場(chǎng)固定。模板圖像作為判定被試裝備異常的基礎(chǔ)，在選取過(guò)程中需嚴(yán)格控制相關(guān)外部條件。在視場(chǎng)中心放置一個(gè)特征明顯、占據(jù)直視型微光裝備目鏡視場(chǎng)1/3～2/3視場(chǎng)的物體，同時(shí)控制現(xiàn)場(chǎng)外部光線不出現(xiàn)明顯變化，保證直視型微光裝備空間位置不變，點(diǎn)擊軟件拍照功能，存儲(chǔ)為模板；

2）相似度判決閾值確定：正式試驗(yàn)前，錄制一段被試品目鏡視場(chǎng)的視頻，期間通過(guò)人為開(kāi)關(guān)機(jī)操作和遮擋目鏡鏡頭等方式模擬故障，將視頻逐幀圖像與選定的模板進(jìn)行比較，得到系列相似度值，將其與故障現(xiàn)象對(duì)照，確定出故障出現(xiàn)的最大相似度值，進(jìn)而作為相似度判決閾值；

3）對(duì)于篩選出的異常圖像，需發(fā)出警告信息并記錄序號(hào)和時(shí)間信息，與圖像一起存入告警文件夾。

本文基于MATLAB GUI 設(shè)計(jì)開(kāi)發(fā)直視型微光裝備可靠性自動(dòng)診斷軟件，界面如圖2所示。

圖2 軟件運(yùn)行界面Fig.2 Interface of the fault diagnosis software

3 工程實(shí)踐與結(jié)果分析

根據(jù)1.2 的描述選擇圖像采集設(shè)備，按照?qǐng)D3所示的方式通過(guò)轉(zhuǎn)接環(huán)連接圖像采集設(shè)備與直視型微光裝備目鏡。被試微光夜視儀開(kāi)機(jī)，通過(guò)相機(jī)參數(shù)調(diào)節(jié)，使拍攝到的圖像滿足觀察和軟件處理需求。本文實(shí)踐中依據(jù)測(cè)試實(shí)際情況設(shè)置相機(jī)采樣頻率為1Hz。

圖3 圖像采集設(shè)備與被測(cè)設(shè)備連接圖Fig.3 Connection diagram of image acquisition device and equipment under test

3.1 模擬故障識(shí)別率檢驗(yàn)試驗(yàn)

設(shè)置模板圖像為設(shè)備正常工作時(shí)相機(jī)傳回的監(jiān)視圖像，如圖4。

圖4 模板圖像Fig.4 Templateimage

直視型微光裝備可靠性試驗(yàn)主要檢測(cè)一定工作時(shí)間內(nèi)裝備是否正常工作，可能出現(xiàn)的故障有：設(shè)備非正常關(guān)機(jī)、圖像質(zhì)量非正常變化等[3,13]。故障發(fā)生時(shí)，監(jiān)視器中的圖像主要表現(xiàn)為：視場(chǎng)出現(xiàn)黑斑、十字刻度消失、黑屏。

采集過(guò)程中，通過(guò)人為開(kāi)關(guān)機(jī)操作和遮擋被試品目鏡鏡頭等方式模擬微光夜視儀可靠性試驗(yàn)過(guò)程中出現(xiàn)故障的情況，可覆蓋故障時(shí)視場(chǎng)變化情況。共獲得93幅圖像，其中故障圖像15幅，如圖5（下標(biāo)為對(duì)應(yīng)圖像在模擬試驗(yàn)獲取的圖像序列中的編號(hào)），構(gòu)成本文裝備可靠性試驗(yàn)工作圖像數(shù)據(jù)集。

圖5 故障模擬圖像Fig.5 Fault simulation images

利用SSIM算法進(jìn)行圖像相似度計(jì)算，采集的監(jiān)視圖像與模板圖像相似度計(jì)算結(jié)果如圖6所示；根據(jù)圖像序號(hào)挑選出相似度小于設(shè)定閾值（根據(jù)SSIM 分布特征和歷史經(jīng)驗(yàn)數(shù)據(jù)提前確定，本文取0.5）的圖像，用“*”表示，這些圖像正是數(shù)據(jù)集中模擬所得的故障圖像。故障檢測(cè)率達(dá)到100%且未出現(xiàn)虛警。

圖6 相似度計(jì)算結(jié)果Fig.6 Resultsof similarity calculation

該試驗(yàn)證明，通過(guò)合理地設(shè)置相似度閾值，SSIM算法能夠準(zhǔn)確地診斷出可靠性試驗(yàn)過(guò)程中，被試裝備圖像的異常情況。

3.2 室內(nèi)照度變化對(duì)被試品故障診斷的影響

直視型微光裝備的可靠性試驗(yàn)一般在暗室條件下進(jìn)行。由于裝備對(duì)環(huán)境照度變化十分敏感，需要保持室內(nèi)環(huán)境照度相對(duì)穩(wěn)定。實(shí)際試驗(yàn)中，物體移動(dòng)、光源發(fā)生變化等都會(huì)引起室內(nèi)環(huán)境照度不同程度變化[14-15]。圖7(a)顯示了某次試驗(yàn)中模擬人員走動(dòng)、開(kāi)關(guān)門(mén)和使用手機(jī)時(shí)暗室環(huán)境的照度變化曲線，圖7(b)展示了采集的對(duì)應(yīng)圖像與模板圖像的SSIM 值。其中，用“*”標(biāo)記的點(diǎn)為與模板圖像相似度小于0.5的圖像?？梢钥吹?，微小的照度變化引起了被試品圖像的顯著變化。圖8（下標(biāo)為對(duì)應(yīng)圖像在模擬試驗(yàn)獲取的圖像序列中的編號(hào)）展示了部分相似度小于0.5也被錯(cuò)誤識(shí)別為異常的圖像。

圖7 環(huán)境照度變化對(duì)相似度計(jì)算結(jié)果的影響Fig.7 Influence of environmental illumination changesonthe resultsof similarity calculation

圖8 因環(huán)境照度變化時(shí)被誤識(shí)別為故障的圖片F(xiàn)ig.8 Images misidentified asmalfunction due tochangesin environmentalilluminance

可見(jiàn)，室內(nèi)照度變化會(huì)顯著影響SSIM算法圖像診斷的準(zhǔn)確性。在實(shí)際可靠性試驗(yàn)過(guò)程中，應(yīng)該盡可能保證室內(nèi)照度的穩(wěn)定，從而提高算法診斷的準(zhǔn)確性。

4 結(jié)束語(yǔ)

本文針對(duì)傳統(tǒng)的直視型微光裝備可靠性試驗(yàn)故障診斷中的不足，討論了一種基于機(jī)器視覺(jué)的自動(dòng)故障診斷方法。該方法通過(guò)設(shè)計(jì)轉(zhuǎn)接環(huán)連接工業(yè)相機(jī)與被試裝備目鏡，自動(dòng)采集傳輸監(jiān)視圖像，采用SSI M算法計(jì)算測(cè)試圖像與模板的相似度從而判斷設(shè)備是否發(fā)生異常。實(shí)踐表明該方法很好地符合了人工視覺(jué)觀察判斷的結(jié)果，可為實(shí)現(xiàn)裝備可靠性自動(dòng)故障檢測(cè)提供有力支撐，同時(shí)指出試驗(yàn)環(huán)境照度變化對(duì)試驗(yàn)結(jié)果的顯著影響。