丁習(xí)文,程宏昌,2,袁 淵,2,張若愚,2,楊書寧,2,楊 曄,2,黨小剛,2
(1.昆明物理研究所,云南 昆明 650223;2.微光夜視技術(shù)重點(diǎn)實(shí)驗(yàn)室,陜西 西安 710065)
紫外像增強(qiáng)器是由光電陰極、微通道板和熒光屏等組件構(gòu)成的光學(xué)器件,其功能是將紫外輻射圖像轉(zhuǎn)化為可見光圖像。該器件在軍事任務(wù)中扮演著重要角色[1-2],包括軍事目標(biāo)觀察、跟蹤、制導(dǎo)和告警等,是現(xiàn)代戰(zhàn)爭武器裝備中不可或缺的成像器件之一。然而,紫外像增強(qiáng)器的視場瑕疵對其探測性能有嚴(yán)重影響,這些瑕疵不僅會降低圖像質(zhì)量和視覺效果,還會損害圖像信息的準(zhǔn)確性。視場瑕疵主要源于組件材料的自身缺陷和制造過程中引入的污染,而且瑕疵的產(chǎn)生是不可避免的。因此,視場瑕疵檢測作為一種輔助手段,旨在篩選出不同視場等級的紫外像增強(qiáng)器,以滿足多樣化的使用需求。
視場瑕疵檢測技術(shù)最初是應(yīng)用于微光像增強(qiáng)器,由于紫外像增強(qiáng)器與其結(jié)構(gòu)相似[3],并且視場瑕疵的特征基本相同,使得該技術(shù)在兩者之間具有一定的通用性。但是,相較于微光像增強(qiáng)器,紫外像增強(qiáng)器的視場中存在著更多、更復(fù)雜的瑕疵。因此,深入研究紫外像增強(qiáng)器視場瑕疵問題并提出更有效的瑕疵檢測方法,是當(dāng)前亟待解決的問題。
鑒于目前國內(nèi)尚未有對紫外像增強(qiáng)器視場瑕疵檢測技術(shù)進(jìn)行全面、詳盡的綜述文獻(xiàn),于是參考了相應(yīng)的微光像增強(qiáng)器視場瑕疵檢測技術(shù)[4-9],通過對相關(guān)文獻(xiàn)進(jìn)行了歸納梳理,對紫外像增強(qiáng)器視場瑕疵檢測技術(shù)展開了研究。研究的重點(diǎn)在于探討“紫外像增強(qiáng)器視場瑕疵”、“紫外像增強(qiáng)器視場瑕疵檢測技術(shù)”以及“紫外像增強(qiáng)器視場瑕疵檢測技術(shù)的未來發(fā)展趨勢”這三個方面。
視場瑕疵更多是基于人類觀感的概念,嚴(yán)格來說,視場中所有影響觀察的因素都可以被稱為視場瑕疵。在機(jī)器視覺任務(wù)中,需要提供一個可以量化的定義,即在紫外輻射照射下,待紫外像增強(qiáng)器工作狀態(tài)穩(wěn)定后,通過采集熒光屏輸出的圖像并對其灰度值分布進(jìn)行統(tǒng)計(jì),可以準(zhǔn)確辨別出那些灰度值超過平均灰度值10%的圖像區(qū)域,這些區(qū)域呈現(xiàn)出不同的形狀圖案,被視為視場中的瑕疵[4-6]。
紫外像增強(qiáng)器視場瑕疵主要包括兩部分[4]:
1)在無紫外輻射的情況下,加以額定工作電壓,觀察熒光屏是否存在比周圍亮得多的點(diǎn)狀、條紋、發(fā)射點(diǎn)和其它形狀的圖案;
2)當(dāng)有紫外輻射的情況下,正常工作條件下觀察熒光屏圖像中的各規(guī)定區(qū)域內(nèi)是否出現(xiàn)超出規(guī)定對比度的亮點(diǎn)及暗點(diǎn)。
圖1 展示了紫外像增強(qiáng)器視場圖像中的一些典型瑕疵,包括(a)暗點(diǎn)、(b)亮點(diǎn)、(c)條紋狀、(d)暗斑、(e)亮斑和(f)發(fā)射狀。紫外像增強(qiáng)器視場瑕疵通常表現(xiàn)出同一類別但形態(tài)各異,與熒光屏背景之間有一定對比度等特點(diǎn)。
圖1 采集的視場圖像中典型瑕疵示例Fig.1 Typical defect examples in the field of view image acquisition
紫外像增強(qiáng)器視場的檢測需求很明確,即判別瑕疵的數(shù)量、位置、大小。因此一個合格的紫外像增強(qiáng)器,需要在正常工作情況下滿足以下標(biāo)準(zhǔn):
1)在無紫外輻射條件下,熒光屏各區(qū)域不應(yīng)存在固定位置的亮點(diǎn);
2)在有紫外輻射條件下,熒光屏無干涉條紋且各區(qū)域的暗點(diǎn)數(shù)量、大小不應(yīng)超過規(guī)定值。
其中,非圓形暗斑的大小用等面積圓點(diǎn)的直徑表示;當(dāng)兩個暗斑或更多點(diǎn)之間的距離小于該區(qū)域最大點(diǎn)直徑時,將所有暗斑看作一個圓形點(diǎn)。
表1 展示了輸出窗口直徑為18 mm 的紫外像增強(qiáng)器視場暗點(diǎn)的檢測標(biāo)準(zhǔn)[6]。
表1 視場中各分區(qū)允許不同大小暗點(diǎn)存在的數(shù)量Table 1 The allowed number of scotoma of different sizes in each zone of the FOV
目前在紫外像增強(qiáng)器視場瑕疵檢測中,通常使用人工和機(jī)器視覺檢測方法。由于視場瑕疵存在特殊的性質(zhì),會給視場瑕疵檢測帶來一定的困難。
1.3.1 同類瑕疵之間存在靠近現(xiàn)象
在紫外像增強(qiáng)器視場瑕疵檢測中,同類或異類瑕疵之間出現(xiàn)交疊、靠近的現(xiàn)象非常常見。當(dāng)多個同類瑕疵相互交疊時,它們往往會被視為一個瑕疵,即每個位置上只會出現(xiàn)一類瑕疵。然而,當(dāng)同類多個瑕疵之間過于接近時,也會被判定為一個瑕疵。因此,如何處理視場中多個相互靠近的同類瑕疵成為了檢測中的一個難題,如圖2所示。
圖2 同類瑕疵存在相互靠近的情況Fig.2 Similar defects are close to each other
1.3.2 大部分瑕疵占據(jù)圖像面積小、分布廣
通常,普通待檢測物體在圖片中占據(jù)的面積大小一般在1%~50%之間,而且待檢測物體的數(shù)量也不是很多,因此很容易被檢測算法識別出來。
然而在紫外像增強(qiáng)器視場中,瑕疵通常只占整張圖片不到1%的面積,而且它們雜亂地分布在綠色熒光屏背景下的各個位置,如圖3所示。這無疑給紫外像增強(qiáng)器視場瑕疵檢測帶來了困難。
圖3 視場中小瑕疵數(shù)量多、分布雜亂Fig.3 The number of small defects in the field of view is large and the distribution is messy
此外,紫外像增強(qiáng)器視場圖像通常是由高清攝像機(jī)拍攝的,具有較高的像素,這給后續(xù)的數(shù)字化處理帶來了一些不便??赡苄枰獙D片進(jìn)行壓縮處理,但這樣就會導(dǎo)致一些小瑕疵的信息丟失。
1.3.3 不同種類瑕疵存在數(shù)量、形態(tài)差異
為了確保對視場瑕疵圖像的數(shù)據(jù)分析可靠性,采集了共計(jì)1331 張不合格的微光像增強(qiáng)器和紫外像增強(qiáng)器的視場圖像樣本,并對兩者共同存在的各類瑕疵占比情況進(jìn)行了統(tǒng)計(jì)分析(詳見表2)。從表中的結(jié)果可以觀察到,暗點(diǎn)(Scotoma)是占據(jù)相當(dāng)大比例的瑕疵類型,因此其也是視場瑕疵檢測中的主要檢測對象。其次,根據(jù)紫外像增強(qiáng)器視場樣本的實(shí)際情況,盡管條紋狀瑕疵的占比極低,但是它們卻呈現(xiàn)出更多樣的表現(xiàn)形式,有的發(fā)白,有的發(fā)黑,并且主要分布在紫外像增強(qiáng)器視場邊緣區(qū)域。綜上可知,在設(shè)計(jì)瑕疵檢測算法時,需要考慮樣本數(shù)量,并為數(shù)量較少且形狀復(fù)雜的瑕疵設(shè)計(jì)專門的算法,以實(shí)現(xiàn)更準(zhǔn)確的檢測效果。
表2 樣本中各類型瑕疵數(shù)量占比情況Table 2 The proportion of each type of defect in the samples
人工檢測是一種基于人眼直接感知的方法。與微光像增強(qiáng)器可以直接觀察熒光屏的輸出圖像不同,由于設(shè)備間可能存在連接不緊密的情況,會導(dǎo)致紫外輻射的泄露,直接觀察可能會對人眼造成無法估計(jì)的損害。因此,為了操作安全考慮,紫外像增強(qiáng)器的視場瑕疵人工檢測需通過圖像采集裝置進(jìn)行觀察。操作流程如圖4所示:待紫外光源系統(tǒng)處于穩(wěn)定工作狀態(tài)時,檢測人員通過目視檢查采集到的紫外像增強(qiáng)器視場圖像來判斷是否存在瑕疵,并確定其位置和大小。
圖4 人工檢測示意圖Fig.4 Manual detection diagram
紫外像增強(qiáng)器視場瑕疵的人工檢測方法簡單易行、操作靈活,并能夠較準(zhǔn)確評估視場瑕疵的嚴(yán)重程度。與此同時,紫外像增強(qiáng)器需要借助圖像采集裝置,因此在采集過程中不可避免地會引入噪聲,會干擾視場瑕疵檢測的最終結(jié)果。
機(jī)器視覺檢測方法在紫外像增強(qiáng)器視場瑕疵檢測中相較于人工檢測方法具有優(yōu)勢,可以利用算法消除部分噪聲的影響,有效提高視場瑕疵檢測準(zhǔn)確率?;玖鞒倘鐖D5所示,包括以下3 部分:
圖5 基于機(jī)器視覺瑕疵檢測流程Fig .5 Defect detection process based on the machine vision
1)圖像采集
利用紫外光源、相機(jī)等設(shè)備獲取待測紫外像增強(qiáng)器的視場瑕疵圖像;
2)圖像預(yù)處理
對采集到的視場圖像進(jìn)行去噪、增強(qiáng)等處理,旨在消除圖像采集過程中引入的噪聲和模糊,以便進(jìn)行后續(xù)的瑕疵檢測;
3)瑕疵檢測
包括視場瑕疵的特征提取、特征篩選和分類器的使用,其主要任務(wù)是利用從視場圖像中提取到的有效特征信息進(jìn)行瑕疵的判別。
2.2.1 基于圖像閾值分割算法
紫外像增強(qiáng)器視場中的瑕疵灰度特征相似或接近,而與熒光屏背景的灰度特征則有明顯差異。閾值分割法就是通過設(shè)定適當(dāng)?shù)幕叶乳撝?,將視場圖像的像素點(diǎn)分為熒光屏背景和瑕疵兩類,從而圖像被分離成多個不重疊的背景區(qū)域和瑕疵區(qū)域。
由于實(shí)現(xiàn)簡單、計(jì)算量小且性能較穩(wěn)定,閾值分割法成為視場瑕疵檢測中最基本且應(yīng)用最廣泛的方法之一。其中閾值的選取是圖像閾值分割方法的關(guān)鍵,如果閾值過小,會將噪聲誤判為瑕疵;而閾值過大,則可能忽略一些變化不明顯的瑕疵。
關(guān)于灰度閾值的確定方法。許光正等人[4]根據(jù)視場圖像平均灰度的30%設(shè)定了固定閾值,首次實(shí)現(xiàn)了用CCD 成像系統(tǒng)代替人眼進(jìn)行像增強(qiáng)器的瑕疵檢測,主要適用于熒光屏背景和瑕疵灰度值區(qū)別明顯的情況。該方法不僅能統(tǒng)計(jì)瑕疵的數(shù)量,還可以對瑕疵進(jìn)行初步定位,提高了視場瑕疵檢測效率并具有較強(qiáng)的實(shí)時性。王吉暉等人[5]在此基礎(chǔ)之上根據(jù)視場瑕疵在熒光屏背景不同區(qū)域灰度區(qū)別較大的情況,采用了多區(qū)域閾值的方法。將視場圖像分為中心、中間和邊緣3 個區(qū)域,并分別設(shè)定了10%、10%、40%的不同對比度閾值。進(jìn)一步提高了像增強(qiáng)器視場瑕疵測試的精度要求。
趙清波等人[6]為滿足不同檢測環(huán)境采用了可調(diào)節(jié)閾值的方法,通過計(jì)算鄰近3 個像素點(diǎn)的灰度特征值方差,當(dāng)方差超過預(yù)設(shè)閾值時,將該點(diǎn)標(biāo)記為瑕疵。該方法可以解決瑕疵目標(biāo)與熒光屏背景的灰度值區(qū)別不明顯的情況,可以根據(jù)視場圖像的具體情況手動調(diào)節(jié)以達(dá)到最佳的檢測狀態(tài)。
2.2.2 基于圖像邊緣分割算法
基于邊緣分割的方法利用視場圖像中瑕疵目標(biāo)與熒光屏背景之間灰度值的不連續(xù)特性,可以通過微分的方式檢測出它們之間的交界線。常見的邊緣檢測算法包括一階微分邊緣檢測算子(Robert 算子、Prewitt算子、Sobel 算子等)和二階微分邊緣檢測算子(Laplace 算子、Canny 算子等)兩大類。
富容國等人[7]設(shè)計(jì)了一種類似于Robert 邊緣算子的簡化算法,用于檢測視場瑕疵的邊緣。隨后再將識別到的邊緣像素點(diǎn)標(biāo)記為紅色,最后使用黃色框體對該區(qū)域進(jìn)行標(biāo)記,最后檢測效果如圖6所示。這種方法可以簡便、快速地檢測紫外像增強(qiáng)器視場中的瑕疵,但在實(shí)際測試過程中會偶爾出現(xiàn)瑕疵邊緣定位不準(zhǔn)確的情況。
圖6 基于簡化版Robert 算法的視場瑕疵檢測Fig.6 Defect detection based on simplified Robert algorithm
二階微分邊緣檢測算法相較于一階算法對瑕疵的定位更加準(zhǔn)確,但對噪聲敏感。楊琦等人[8]就在圖像降噪處理后使用Canny 算法去識別視場瑕疵的邊緣,如圖7(a)所示,然后,參考區(qū)域生長算法的思想,從瑕疵的內(nèi)部向邊緣逐漸代替原有的灰度值,呈現(xiàn)的結(jié)果如圖7(b)所示,達(dá)到了較為良好的紫外像增強(qiáng)器視場瑕疵檢測效果。
圖7 基于Canny 算法的視場瑕疵檢測Fig .7 Defect detection based on Canny algorithm
2.2.3 基于信噪比的檢測方法
陰極面損傷、高壓放電、微通道板盲孔、以及工藝過程等因素都可能導(dǎo)致紫外像增強(qiáng)器視場出現(xiàn)各種形狀的瑕疵[8]。換句話說,瑕疵的出現(xiàn)實(shí)際上意味著該區(qū)域存在局部器件故障問題,因此也會在某些檢測中得到體現(xiàn)。
周斌等人[9]就采用了一種基于噪聲理論的時空信噪比瑕疵檢測方法。時空信噪比是一種綜合考慮時域和空域信息的信噪比度量方式,用于衡量信號在時間和空間上的質(zhì)量和強(qiáng)度。該方法能夠達(dá)到像素級的測試精度,并且不受瑕疵形狀和位置的限制,可以實(shí)現(xiàn)瑕疵的快速、準(zhǔn)確檢測。實(shí)驗(yàn)過程中在熒光屏坐標(biāo)為(98,100)的位置故意引入了一個瑕疵。圖8 展示了基于時空信噪比檢測方法的結(jié)果,其中顯示在Y=100和X=98 的位置(即紅框標(biāo)注的地方)信噪比出現(xiàn)了明顯的差異,這與事先人為引入瑕疵的位置完全相同。
圖8 在熒光屏中人為引入1 個瑕疵的測試結(jié)果Fig.8 The test results of intentionally introducing one defect on the fluorescent screen
2.2.4 機(jī)器視覺檢測方法的對比
機(jī)器視覺技術(shù)在紫外像增強(qiáng)器瑕疵檢測領(lǐng)域扮演著重要角色,不同檢測技術(shù)的對比如表3所示,其主要特點(diǎn)是結(jié)合了快速和自動化。相比于人工檢測方法,機(jī)器視覺技術(shù)能夠更快速、便捷地檢測出瑕疵,從而顯著提高了檢測的質(zhì)量和效率。
綜上所述,對人工檢測和機(jī)器視覺檢測存在的不足進(jìn)行了歸納總結(jié)。
人工檢測方法存在的不足:
1)檢測結(jié)果受檢測人員的主觀因素影響較大,不同人可能對同一視場瑕疵存在判斷差異;
2)人工檢測速度較慢,面對復(fù)雜視場瑕疵情況容易漏檢或重復(fù)計(jì)數(shù),并且長時間的目視觀察會導(dǎo)致視覺疲勞,從而影響檢測的準(zhǔn)確性;
3)勞動力成本高。紫外像增強(qiáng)器視場情況復(fù)雜,視場瑕疵檢測需要培養(yǎng)專業(yè)的檢測人員。
機(jī)器視覺技術(shù)相較于人工檢測效率有所提升,但也存在著以下一些不足:
1)對檢測環(huán)境要求較高。在實(shí)際應(yīng)用過程中噪聲干擾、目標(biāo)遮擋以及光源變化會影響檢測效果;
2)處理能力不足。機(jī)器視覺技術(shù)基于人工設(shè)計(jì)特征,無法考慮到視場中所有可能出現(xiàn)瑕疵的情況,因此在處理復(fù)雜形狀的瑕疵(如條紋、發(fā)射狀等)時相對較弱,需要人工干預(yù)來輔助檢測或者重新設(shè)計(jì)特殊的算法來解決;
3)沒有完善的評價(jià)指標(biāo)。在調(diào)研的文獻(xiàn)資料中,均未提及可以量化的檢測方法評價(jià)指標(biāo),無法直觀地衡量不同檢測方法之間的性能提升程度。
通過對人工檢測以及機(jī)器視覺檢測進(jìn)行對比分析,如表4所示。表明了無論是人工檢測還是機(jī)器視覺檢測在面對紫外像增強(qiáng)器的復(fù)雜視場瑕疵情況下均存在著檢測效率不佳的問題。因此,需要一種新的紫外像增強(qiáng)器視場瑕疵檢測方法來解決當(dāng)前存在的不足和挑戰(zhàn)。
表4 人工檢測與機(jī)器視覺檢測的對比Table 4 Comparison between manual detection and machine vision detection
針對當(dāng)前視場瑕疵檢測方法的局限,相關(guān)領(lǐng)域研究人員正在積極探索更有效和更具魯棒性的視場瑕疵檢測方法,特別是隨著深度學(xué)習(xí)技術(shù)的不斷完善,為視場瑕疵檢測的發(fā)展帶來了巨大的機(jī)遇。
深度學(xué)習(xí)的概念源自于人工神經(jīng)網(wǎng)絡(luò),它是一種具有深層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò),能夠自動學(xué)習(xí)和提取輸入數(shù)據(jù)的特征,可以在一定程度上解決之前機(jī)器視覺檢測中面對復(fù)雜情況檢測效果不佳的問題。同時,基于深度學(xué)習(xí)的瑕疵檢測技術(shù)有著相對完善的評價(jià)指標(biāo),便于直觀評價(jià)不同算法的性能優(yōu)劣。
國內(nèi)已經(jīng)有許多基于深度學(xué)習(xí)技術(shù)的其他工業(yè)領(lǐng)域瑕疵檢測成功案例。其中,國內(nèi)海康威視公司自主研發(fā)的Vision Master 算法平臺[10],包含了上百種功能完善、性能優(yōu)秀的深度學(xué)習(xí)圖像處理算法,可滿足工業(yè)中定位、測量和識別的檢測需求,如圖9所示。其在2018年發(fā)布的“合智能”系列攝像機(jī)[10],嵌入了多種高效的深度學(xué)習(xí)算法,適用于各種復(fù)雜場景,能夠輕松實(shí)現(xiàn)瑕疵圖像的采集和分析,顯著提高了瑕疵檢測的效率。此外,還有凌華科技、大恒圖像、視覺龍、凌云光子、OPT、三姆森和微視圖像等國內(nèi)公司也在開展基于深度學(xué)習(xí)的瑕疵檢測技術(shù)研究[11]。
圖9 ??低昖ision Master 算法平臺的檢測效果:(a)表面亮斑;(b)表面劃痕;(c)形狀異常;(d)輪廓?dú)埲保?e)劃痕檢測;(f)字符缺陷;(g)崩邊檢測;(h)污漬檢測;(e)劃痕檢測;(f)字符缺陷;(g)崩邊檢測;(h)污漬檢測Fig.9 The detection results of Hikvision's Vision Master algorithm platform:(a)Surface speck;(b)Surface scratch;(c)Shape anomaly;(d)Contour incomplete;(e)Scratch detection;(f)Character defect;(g)Edge collapse detection;(h)Stain detection
目前,基于深度學(xué)習(xí)的瑕疵檢測方法[12]大致有以下幾種:卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)、全卷積網(wǎng)絡(luò)(fully convolutional networks ,F(xiàn)CN)、自編碼器(auto encoders,AE)、殘差網(wǎng)絡(luò)(residual network,ResNet)、深度置信網(wǎng)絡(luò)(deep belief network,DBN)以及循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)。同時,將深度學(xué)習(xí)相關(guān)研究在其他工業(yè)領(lǐng)域瑕疵檢測的應(yīng)用進(jìn)行了部分梳理匯總,詳情見表5。
表5 基于深度學(xué)習(xí)的瑕疵檢測的部分研究應(yīng)用Table 5 Some research applications of defect detection based on deep learning
可以看出,基于深度學(xué)習(xí)的瑕疵檢測技術(shù)已經(jīng)在其他工業(yè)領(lǐng)域得到了廣泛的應(yīng)用。在相對復(fù)雜的瑕疵情景下,尤其是針對小瑕疵的TFT-LCD 以及手機(jī)屏幕等場景,深度學(xué)習(xí)技術(shù)都表現(xiàn)出了出色的檢測效果。通過這些實(shí)踐證明,可以得出結(jié)論:基于深度學(xué)習(xí)的瑕疵檢測技術(shù)在紫外像增強(qiáng)器視場領(lǐng)域有十分廣闊的應(yīng)用前景,可以進(jìn)行相應(yīng)的嘗試。
視場瑕疵檢測技術(shù)在紫外像增強(qiáng)器制造中扮演著至關(guān)重要的角色,它的目的是對產(chǎn)品進(jìn)行質(zhì)量篩選。目前,雖然人工檢測和機(jī)器視覺檢測在紫外像增強(qiáng)器視場瑕疵檢測的研究方面已經(jīng)取得了可觀的效果,但在實(shí)際應(yīng)用中仍存在檢測效率不高的問題,這在一定程度上限制了它們的實(shí)用性。
相比之下,基于深度學(xué)習(xí)的瑕疵檢測技術(shù)已經(jīng)在部分工業(yè)領(lǐng)域取得了優(yōu)秀的性能表現(xiàn)。為了能夠有效解決現(xiàn)階段紫外像增強(qiáng)器視場瑕疵檢測領(lǐng)域存在的一些檢測難點(diǎn),例如瑕疵分布雜亂、瑕疵尺寸較小以及檢測過程中需要人工輔助判別等。并且能夠進(jìn)一步提高紫外像增強(qiáng)器視場瑕疵檢測的準(zhǔn)確性和魯棒性,以實(shí)現(xiàn)更加智能化視場瑕疵檢測的目標(biāo)?;诖?,建議在紫外像增強(qiáng)器視場瑕疵檢測領(lǐng)域應(yīng)用深度學(xué)習(xí)技術(shù)。