基于視覺(jué)感知的表面缺陷智能檢測(cè)理論及工業(yè)應(yīng)用

柴 利，任 磊，顧 錁，陳佳鑫，黃 博，葉 琦，曹 瑋

(1.浙江大學(xué) 控制科學(xué)與工程學(xué)院，浙江 杭州 310027； 2.北京航空航天大學(xué) 自動(dòng)化科學(xué)與電氣工程學(xué)院，北京 100191; 3.北京工業(yè)大學(xué) 信息學(xué)部，北京 100124； 4.北京航空航天大學(xué) 計(jì)算機(jī)學(xué)院，北京 100191; 5.西北工業(yè)大學(xué) 機(jī)電學(xué)院，陜西 西安 710072; 6.上海市航空發(fā)動(dòng)機(jī)數(shù)字孿生重點(diǎn)實(shí)驗(yàn)室,上海 200241； 7.中國(guó)航發(fā)商用航空發(fā)動(dòng)機(jī)有限責(zé)任公司，上海 200241)

0 引言

基于視覺(jué)感知的無(wú)接觸自動(dòng)表面缺陷檢測(cè)對(duì)控制和提高產(chǎn)品表面質(zhì)量具有不可比擬的優(yōu)勢(shì)，在玻璃、半導(dǎo)體芯片、鋼鐵工業(yè)、機(jī)械加工、汽車工業(yè)、瓷磚等行業(yè)的應(yīng)用越來(lái)越廣泛[1-4]，是未來(lái)工業(yè)制造業(yè)實(shí)現(xiàn)完全自動(dòng)化、智能化和無(wú)人化不可或缺的組成部分。工業(yè)產(chǎn)品表面缺陷智能檢測(cè)系統(tǒng)的性能主要取決于3方面的關(guān)鍵技術(shù)：產(chǎn)品表面圖像的快速精準(zhǔn)采集、基于圖像的表面缺陷智能檢測(cè)方法，以及缺陷特征的綜合定量評(píng)價(jià)。本文將介紹相關(guān)的研究進(jìn)展，重點(diǎn)闡述圖像處理和深度學(xué)習(xí)領(lǐng)域的最新技術(shù)，并提出面臨的主要挑戰(zhàn)以及可能的解決思路。

與計(jì)算機(jī)和智能自動(dòng)化領(lǐng)域的大部分應(yīng)用系統(tǒng)類似，基于視覺(jué)感知的表面缺陷智能檢測(cè)系統(tǒng)可以分為硬件系統(tǒng)和軟件系統(tǒng)兩部分。硬件系統(tǒng)的主要功能是采集獲取圖像，包括光源、工業(yè)攝像機(jī)與鏡頭等成像裝置、圖像視頻傳輸、存儲(chǔ)裝置、計(jì)算機(jī)等；軟件系統(tǒng)的主要功能是圖像處理算法、缺陷檢測(cè)與識(shí)別、數(shù)據(jù)管理存儲(chǔ)等。

國(guó)外成熟機(jī)器視覺(jué)工業(yè)檢測(cè)軟件產(chǎn)品包括HALCON、HexSight、LEADTOOLS、BANNER iVu等。HALCON是一款應(yīng)用廣泛的機(jī)器視覺(jué)商業(yè)化軟件[1-2]，包含多種典型的機(jī)器視覺(jué)算法，其中的圖像處理庫(kù)支持多種編程語(yǔ)言。同時(shí)，HALCON也提供了幾乎所有主流工業(yè)相機(jī)和圖像采集卡的接口。在不同行業(yè)不同的應(yīng)用中，硬件系統(tǒng)差異很大，需要根據(jù)具體應(yīng)用需求選擇配置光源、工業(yè)相機(jī)，以及圖像視頻采集卡、計(jì)算機(jī)等設(shè)備。成像環(huán)節(jié)非常重要，其結(jié)果直接決定了后續(xù)缺陷檢測(cè)問(wèn)題的難度、檢測(cè)準(zhǔn)確率和檢測(cè)系統(tǒng)的整體性能。

1 表面圖像采集與預(yù)處理

表面缺陷檢測(cè)系統(tǒng)中的圖像采集一般采用工業(yè)相機(jī)[3-4]，圖像采集模塊的性能直接決定了整個(gè)系統(tǒng)的檢測(cè)精度和運(yùn)行效率。實(shí)際應(yīng)用中需根據(jù)不同應(yīng)用場(chǎng)景來(lái)選擇和設(shè)計(jì)圖像采集模塊，考慮的主要因素包括圖像尺寸、分辨率、幀率、焦距、視場(chǎng)、景深以及接口等。圖像采集模塊設(shè)計(jì)考慮的另一個(gè)重要因素是光源配置與光照補(bǔ)償設(shè)計(jì)，光源有LED光源、鹵素?zé)?、激光燈、熒光燈等多種類型。光照補(bǔ)償設(shè)計(jì)涉及幾何光學(xué)、材料光學(xué)、函數(shù)優(yōu)化等理論，其設(shè)計(jì)目標(biāo)是盡可能地突出缺陷特征，同時(shí)抑制噪聲干擾及復(fù)雜的背景特征?，F(xiàn)有補(bǔ)償方法包括同軸光照補(bǔ)償、背景光照補(bǔ)償、前景光照補(bǔ)償?shù)?。在某些特定?chǎng)景的缺陷，可以考慮設(shè)計(jì)特殊光譜的成像補(bǔ)償。

圖像采集后應(yīng)經(jīng)過(guò)預(yù)處理過(guò)程，預(yù)處理主要是去噪與濾波、圖像增強(qiáng)。噪聲與原始圖像的疊加會(huì)干擾人們理解圖像信息，導(dǎo)致原始圖像細(xì)節(jié)部分的缺失，進(jìn)而影響后續(xù)圖像處理的結(jié)果。圖像去噪與濾波是圖像處理領(lǐng)域中的基本問(wèn)題之一，很多傳統(tǒng)成熟的算法已進(jìn)入本科生教材。圖像去噪與濾波的目標(biāo)是：利用合適的算法去除圖像噪聲，盡可能地將圖像中重要的結(jié)構(gòu)特征與細(xì)節(jié)保留下來(lái)，得到較高質(zhì)量的復(fù)原圖像[5]。

工業(yè)產(chǎn)品的表面缺陷在圖像中常常表現(xiàn)為邊緣特征，邊緣特征是高頻特征的一部分，傳統(tǒng)的低通濾波器在消除噪聲和濾波過(guò)程中，將圖像邊信息(線條)平滑了。與傳統(tǒng)圖像去噪要求不同，保邊(Edge-preserving)性能是衡量現(xiàn)代圖像去噪與濾波算法的重要指標(biāo)。同樣的，產(chǎn)品表面圖像增強(qiáng)的目標(biāo)也變?yōu)槿毕萏卣鞯脑鰪?qiáng)，這與以提高圖像的人眼視覺(jué)效果為目標(biāo)的傳統(tǒng)圖像增強(qiáng)算法有很大不同。

1.1 圖像去噪與濾波

近10年來(lái)，研究者提出了很多具有良好保邊性能的現(xiàn)代圖像去噪及濾波方法。學(xué)者們發(fā)現(xiàn)，通過(guò)非局部和半局部的圖來(lái)建立圖像像素之間的聯(lián)系，不僅可以考慮圖像中的像素位置依賴關(guān)系，還可以處理圖像中不同像素的噪聲特性。文獻(xiàn)[5]率先提出了圖譜濾波器設(shè)計(jì)的統(tǒng)一框架，這種框架包含了非局部均值(Non-Local Means, NLM)、三維塊匹配(Block-Matching and 3D filtering, BM3D)、雙邊濾波(bilateral filtering)等眾多常用的圖像去噪和濾波算法[5-6]。BUADES等[7]通過(guò)對(duì)圖像中冗余信息的充分利用，提出了針對(duì)自然圖像加性白噪聲的NLM去噪算法，使圖像在去噪過(guò)程中,其細(xì)節(jié)特征得到最大程度的保留。NLM算法的去噪性能優(yōu)于很多經(jīng)典的圖像去噪算法，該算法的主要思想是：當(dāng)前像素點(diǎn)的灰度值通過(guò)圖像中與它結(jié)構(gòu)相似的像素點(diǎn)的灰度值加權(quán)平均所得。由于在處理每一個(gè)像素點(diǎn)時(shí)，都需要計(jì)算它與圖像中所有像素點(diǎn)的相似度，NLM算法實(shí)現(xiàn)的計(jì)算量很大。后來(lái)，DABOV等[8]提出一種基于塊匹配的三維變換域?yàn)V波方法——三維塊匹配(BM3D)算法。BM3D算法首先對(duì)圖像進(jìn)行分塊處理，然后在整幅圖像中對(duì)每個(gè)參考?jí)K進(jìn)行相似塊搜索。根據(jù)塊與塊之間的相似性程度，將塊匹配組合成具有很高相關(guān)性的三維矩陣，通過(guò)三維酉變換可以有效降低數(shù)據(jù)的相關(guān)性。三維塊匹配算法將空間域和變換域的方法結(jié)合起來(lái)，同時(shí)引進(jìn)非局部均值的思想，通過(guò)三維聯(lián)合濾波，不僅有效地抑制了噪聲信號(hào)，還較好地保留了圖像的邊緣細(xì)節(jié)與結(jié)構(gòu)信息。

在傳統(tǒng)的圖像頻域分析中，雙邊濾波器是不能進(jìn)行譜濾波的，文獻(xiàn)[9]將雙邊濾波器模擬成一個(gè)圖結(jié)構(gòu)，將像素點(diǎn)當(dāng)成節(jié)點(diǎn)，節(jié)點(diǎn)的亮度值作為信號(hào)值，濾波系數(shù)作為邊的權(quán)重值。該論文定義了基于這類圖結(jié)構(gòu)的譜濾波器，濾波響應(yīng)值可通過(guò)相應(yīng)Laplacian矩陣的特征值和特征向量計(jì)算得出。為了增強(qiáng)平滑效果，ONUKI等[10]提出了三邊濾波方法，該方法先對(duì)圖像的梯度進(jìn)行平滑，然后利用平滑后的梯度對(duì)圖像進(jìn)行平滑，同時(shí)引入圖譜域的參數(shù)優(yōu)化方法，使去噪后的均方誤差最小。

各地智慧城市建設(shè)往往缺少頂層設(shè)計(jì)或者在頂層設(shè)計(jì)中側(cè)重考慮應(yīng)用建設(shè)、投融資方式等方面的問(wèn)題，導(dǎo)致項(xiàng)目之間缺乏有機(jī)聯(lián)系，更缺乏對(duì)政府間部門(mén)協(xié)同、職能改革、機(jī)制創(chuàng)新等方面的考量。最終的建設(shè)成果違背了智慧城市的建設(shè)初衷，出現(xiàn)新的信息化煙囪，新的碎片化數(shù)據(jù)，簡(jiǎn)單的完成了信息化建設(shè)，但造成了新的矛盾，降低了智慧城市建設(shè)的效率和效益。

經(jīng)過(guò)數(shù)年的發(fā)展，現(xiàn)在已有很多基于圖的圖像去噪和濾波方法[5-6,11-14]。KHERADMAND等[5]通過(guò)共軛梯度法將觀測(cè)圖像投影到圖Laplacian的低維Krylov子空間來(lái)進(jìn)行圖像去噪，得到了與Chebyshev逼近多項(xiàng)式同階次的快速圖像濾波性能。TALEBI 等[11]引入基于NLM的圖譜濾波器和隨機(jī)游走圖Laplacian矩陣，圖譜濾波器能夠?qū)D像的先驗(yàn)信息(例如邊緣、紋理和顯著性)視為一個(gè)圖，而將期望的信息視為圖譜響應(yīng)。通過(guò)設(shè)計(jì)合適的圖結(jié)構(gòu)以及相應(yīng)的圖譜濾波器，以獲得期望的圖像濾波效果。文獻(xiàn)[12-14]提出了各種圖像處理任務(wù)的圖譜濾波器的設(shè)計(jì)方法。

在圖信號(hào)的維納濾波器研究方面，PERRAUDIN等[15]首先定義了圖信號(hào)的廣義平穩(wěn)性(Wide Sense Stationary, WSS)概念，然后估計(jì)功率譜密度(Power Spectral Density, PSD)，從而得到最小化均方誤差(Mean Square Error, MSE)意義下的圖維納濾波器。與在圖譜域中執(zhí)行計(jì)算圖維納濾波器不同，文獻(xiàn)[16-17]分別提出了基于Chebyshev多項(xiàng)式逼近和基于Lanczos方法的快速計(jì)算方法，以上方法可以在頂點(diǎn)域中通過(guò)局部運(yùn)算執(zhí)行。文獻(xiàn)[18]將圖信號(hào)處理理論應(yīng)用于正電子發(fā)射(Positron Emission Tomography, PET)圖像去噪，設(shè)計(jì)了一種低通圖譜濾波器，對(duì)噪聲PET圖像在圖Fourier域進(jìn)行低通濾波，最后得到的去噪PET圖像質(zhì)量相比于高斯濾波器和NLM都有所提高。圖濾波方法雖然對(duì)于PET圖像具有較好的去噪性能，但其計(jì)算速度仍需加快，并且性能可以進(jìn)一步提高。

保邊性能是衡量現(xiàn)代圖像去噪與濾波算法的重要指標(biāo)，邊緣特征也是高頻特征的一部分，傳統(tǒng)的低通濾波器在消除噪聲和濾波過(guò)程中，將圖像邊信息(線條)平滑了。如何既保留邊的信息又濾除噪聲，是一個(gè)難點(diǎn)問(wèn)題。圖譜濾波器的優(yōu)勢(shì)之一是能夠很好地區(qū)分邊特征與噪聲特征。針對(duì)工業(yè)表面缺陷在圖像中常常表現(xiàn)為線條或者邊線特征，研究如何設(shè)計(jì)具有高效保邊性能的圖譜濾波器具有重要的意義。

圖譜濾波器依賴于圖結(jié)構(gòu)，不同圖像的圖結(jié)構(gòu)不同，這樣在一類圖像上的圖譜濾波器不能直接應(yīng)用于其他圖像，因?yàn)閳D譜濾波器性能依賴于不同的空間頻域。需要研究圖像空間頻域的泛化問(wèn)題，提出新的體系結(jié)構(gòu)。另一方面，空間頻域允許在不同的頻域進(jìn)行泛化，但是在圖頂點(diǎn)域上構(gòu)造低維局部濾波器相當(dāng)困難，需要研究在一般圖像上構(gòu)造各向異性擴(kuò)散網(wǎng)絡(luò)的圖譜濾波器。

高清圖像的像素點(diǎn)數(shù)量巨大，構(gòu)造圖譜濾波器時(shí)，圖鄰接矩陣元素為像素點(diǎn)之間的相似度。在處理每一個(gè)像素點(diǎn)時(shí)，都需要計(jì)算它與圖像中所有像素點(diǎn)的相似度，計(jì)算量巨大。算法的快速實(shí)現(xiàn)和性能分析一直是重點(diǎn)研究問(wèn)題之一。

1.2 圖像增強(qiáng)

與圖像去噪和濾波的目的類似，傳統(tǒng)圖像增強(qiáng)的主要目的也是提高圖像的質(zhì)量。對(duì)表面缺陷檢測(cè)的應(yīng)用來(lái)說(shuō)，圖像增強(qiáng)的目的是增大圖像中缺陷特征與其他信息的對(duì)比度，為后續(xù)的缺陷特征提取、缺陷檢測(cè)和識(shí)別提供方便。

GU等[19]采用在圖像質(zhì)量評(píng)價(jià)模型指導(dǎo)下逐步修正直方圖、依次校正對(duì)比度和亮度到合適水平的策略，構(gòu)建了基于大數(shù)據(jù)無(wú)監(jiān)督學(xué)習(xí)的圖像對(duì)比度客觀評(píng)估模型，實(shí)現(xiàn)了對(duì)自然圖像、低對(duì)比度圖像、低光照?qǐng)D像、去霧圖像、水下圖像等的魯棒增強(qiáng)。文獻(xiàn)[20]公開(kāi)了自制的大型專用對(duì)比度變化圖像數(shù)據(jù)庫(kù)，融合相位一致性和直方圖統(tǒng)計(jì)特性，提出了一種分析對(duì)比度變化的半?yún)⒖紙D像質(zhì)量度量模型，同時(shí)結(jié)合主客觀評(píng)估方法，尋找出了基于該模型的最優(yōu)直方圖映射，能實(shí)現(xiàn)自動(dòng)增強(qiáng)圖像對(duì)比度的功能。為了克服過(guò)增強(qiáng)和欠增強(qiáng)圖像引入的噪聲、偽影和視覺(jué)注意力區(qū)域改變等問(wèn)題，文獻(xiàn)[21]利用測(cè)量顯著性變化輔助生成更好的增強(qiáng)圖像，設(shè)計(jì)直方圖修正框架和自動(dòng)參數(shù)選擇器，獲得了具有自適應(yīng)增強(qiáng)對(duì)比度功能的模型。

2 表面缺陷智能檢測(cè)

表面缺陷智能檢測(cè)一般分為兩個(gè)步驟:首先通過(guò)圖像分析方法將圖像信息映射到特征空間，然后在特征空間應(yīng)用各類機(jī)器學(xué)習(xí)(深度學(xué)習(xí))方法實(shí)現(xiàn)缺陷檢測(cè)與識(shí)別。常用的圖像特征有紋理特征、顏色特征、形狀特征等。當(dāng)然，若有足夠多的樣本圖像，也可以直接利用各種學(xué)習(xí)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)表面缺陷檢測(cè)。在大部分工業(yè)應(yīng)用中，缺乏足夠的表面缺陷樣本圖像來(lái)訓(xùn)練網(wǎng)絡(luò)。因此，圖像的特征提取具有重要意義。

2.1 表面缺陷圖像的特征提取

圖像的特征提取可視為高維圖像空間到低維特征空間的映射，其目標(biāo)是得到具有較小的類內(nèi)聚散度和較大類間聚散度的子空間[1]。表面缺陷圖像主要特征包括形狀特征、顏色特征，紋理特征等。形狀特征具有一定的穩(wěn)定性，一般不受光照亮度的影響，包括幾何特征、拓?fù)浣Y(jié)構(gòu)特征和輪廓特征等。顏色特征是一種基本的視覺(jué)特征，對(duì)圖像的旋轉(zhuǎn)、平移和尺度變換都不敏感，主要的顏色模型有RGB、HSV、HIS等。圖像紋理特征能反映表面結(jié)構(gòu)排列和像素相互間聯(lián)系的信息，不依賴于圖像的顏色和亮度，通常具有旋轉(zhuǎn)不變性，是圖像的一種重要特征，在目標(biāo)檢測(cè)中有廣泛的應(yīng)用。紋理特征提取是圖像分析的一個(gè)重要研究問(wèn)題，學(xué)者們提出了很多有效方法，主要包括統(tǒng)計(jì)法、信號(hào)處理法、基于模型的方法、結(jié)構(gòu)法和幾何法等。詳見(jiàn)文獻(xiàn)[1]的介紹。

2.2 幾何深度學(xué)習(xí)(Geometric deep learning)

深度學(xué)習(xí)通過(guò)組合低層特征形成更加抽象的高層來(lái)表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。從數(shù)學(xué)上理解，深度人工神經(jīng)網(wǎng)絡(luò)本質(zhì)上是表達(dá)不同維數(shù)空間之間的一個(gè)映射(函數(shù))。給定訓(xùn)練樣本點(diǎn)后，通過(guò)調(diào)整網(wǎng)絡(luò)的參數(shù)權(quán)重系數(shù)，不斷極小化損失函數(shù)，從而得到最好擬合效果的擬合函數(shù)。然而，這個(gè)擬合過(guò)程只極小化了逐點(diǎn)誤差或累積逐點(diǎn)誤差，而沒(méi)有考慮點(diǎn)與周圍點(diǎn)之間的其他信息(如鄰域幾何結(jié)構(gòu)、局部幾何度量、整體拓?fù)浣Y(jié)構(gòu)等)。當(dāng)研究對(duì)象是底層結(jié)構(gòu)為非歐空間的數(shù)據(jù)，如圖和流形時(shí)，若考慮點(diǎn)之間的幾何與拓?fù)湫畔?，則深度人工神經(jīng)網(wǎng)絡(luò)就無(wú)能為力。

深度神經(jīng)網(wǎng)絡(luò)借助卷積架構(gòu)來(lái)利用數(shù)據(jù)的統(tǒng)計(jì)特性，從而能成功處理底層為歐氏結(jié)構(gòu)或網(wǎng)絡(luò)結(jié)構(gòu)的數(shù)據(jù)。然而，非歐數(shù)據(jù)沒(méi)有全局參數(shù)化、坐標(biāo)系統(tǒng)、向量空間結(jié)構(gòu)等屬性。因此，歐氏空間上的卷積運(yùn)算在非歐空間上沒(méi)有很好的定義。2017年，BRONSTEIN等[22]系統(tǒng)介紹了幾何深度學(xué)習(xí)這一研究領(lǐng)域，將卷積神經(jīng)網(wǎng)絡(luò)推廣到非歐數(shù)據(jù)。該文獻(xiàn)[22]明確指出：幾何深度學(xué)習(xí)處理兩類問(wèn)題：第一類問(wèn)題是描述數(shù)據(jù)的結(jié)構(gòu)，第二類問(wèn)題是分析定義在非歐空間的函數(shù)。借助幾何深度學(xué)習(xí)可以描述表面圖像的拓?fù)浣Y(jié)構(gòu)，然后學(xué)習(xí)刻畫(huà)缺陷特征從而實(shí)現(xiàn)表面缺陷的檢測(cè)與識(shí)別。

在流形數(shù)據(jù)結(jié)構(gòu)的描述問(wèn)題中，假設(shè)數(shù)據(jù)是均勻采樣于一個(gè)高維歐氏空間中的低維流形，流形學(xué)習(xí)(manifold learning)就是從高維采樣數(shù)據(jù)中恢復(fù)低維流形結(jié)構(gòu)，即找到高維空間中的低維流形，并求出相應(yīng)的嵌入映射，以實(shí)現(xiàn)維數(shù)約簡(jiǎn)或者數(shù)據(jù)可視化[23]。流形學(xué)習(xí)是從觀測(cè)到的現(xiàn)象中尋找事物的本質(zhì)，找到產(chǎn)生數(shù)據(jù)的內(nèi)在規(guī)律，自2000年在著名的科學(xué)雜志《Science》發(fā)表以來(lái)[24]，已成為信息科學(xué)領(lǐng)域的研究熱點(diǎn)。流形學(xué)習(xí)方法包括兩個(gè)步驟：首先構(gòu)造數(shù)據(jù)點(diǎn)的局部關(guān)聯(lián)表示，通常是稀疏連接圖；其次，將數(shù)據(jù)點(diǎn)嵌入到低維空間中，并試圖保留點(diǎn)之間的原始關(guān)聯(lián)性。

目前基于流形的降維算法包括：局部線性嵌入(Locally Linear Embedding, LLE)[24]、多維尺度變換(Multi-Dimensional Scaling, MDS)[25]、隨機(jī)鄰居嵌入(t-SNE)[26]、譜嵌入[27](拉普拉斯特征映射、擴(kuò)散映射)等。MDS類型的方法希望保持?jǐn)?shù)據(jù)在低維空間的映射之后能夠保持流形上的測(cè)地線距離，即全局的幾何結(jié)構(gòu);LLE方法保持每個(gè)樣本點(diǎn)與它相鄰的多個(gè)點(diǎn)的線性組合(體現(xiàn)了樣本的局部線性特征)來(lái)重構(gòu)低維空間的點(diǎn)的分布，相當(dāng)于用分段的線性面片近似代替復(fù)雜的幾何形狀，樣本投影到低維空間保持這種線性重構(gòu)關(guān)系;譜嵌入傾向于將具有許多連接的點(diǎn)映射到附近的位置。

典型的流形學(xué)習(xí)是無(wú)監(jiān)督的,它從數(shù)據(jù)本身學(xué)習(xí)數(shù)據(jù)的高維結(jié)構(gòu)，而不使用預(yù)定的分類。函數(shù)逼近思想來(lái)源于傳統(tǒng)的機(jī)器學(xué)習(xí)問(wèn)題，是一種有監(jiān)督學(xué)習(xí)方法。采用機(jī)器學(xué)習(xí)中的有監(jiān)督訓(xùn)練方式來(lái)更新函數(shù)的固有參數(shù)，從而得到訓(xùn)練變量間的映射關(guān)系。文獻(xiàn)[28]研究了組合圖上的函數(shù)抽樣和逼近問(wèn)題。利用組合拉普拉斯算子生成的算子薛定諤群對(duì)圖進(jìn)行濾波。通過(guò)圖上函數(shù)的Poincare和Plancherel-Polya型不等式構(gòu)造了抽樣理論。對(duì)于流形上的值函數(shù)逼近問(wèn)題，由于高維數(shù)據(jù)空間中數(shù)據(jù)的稀疏性以及神經(jīng)元“接受域”對(duì)數(shù)據(jù)空間的良好覆蓋約束，利用神經(jīng)網(wǎng)絡(luò)逼近高維非線性函數(shù)是一個(gè)經(jīng)典難題。然而，若高維數(shù)據(jù)通常聚集在低維支持流形附近，則考慮目標(biāo)函數(shù)的低維逼近會(huì)比高維逼近更精確。文獻(xiàn)[29]采用局部線性嵌入方法尋找到數(shù)據(jù)點(diǎn)到低維空間(對(duì)應(yīng)于流形)的映射，并基于變換后數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)來(lái)逼近函數(shù)，發(fā)現(xiàn)比基于原始數(shù)據(jù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)具有更好的函數(shù)逼近性能。文獻(xiàn)[30]提出了一種基于流形移動(dòng)最小二乘(Manifold Moving Least-Squares，MMLS)算法來(lái)逼近定義在流形上的函數(shù)，該算法不需要除了流形維數(shù)信息以外的其他先驗(yàn)知識(shí)，另外，該算法在定義域和值域上都具有很好的抗噪性能。該算法對(duì)于環(huán)境空間的維數(shù)在時(shí)間上是線性的。因此，在環(huán)境空間維數(shù)非常大的情況下，可以避免維數(shù)的詛咒，而不需要進(jìn)行非線性降維，不會(huì)給流形帶來(lái)失真。對(duì)于流形結(jié)構(gòu)信號(hào)，從訓(xùn)練樣本數(shù)據(jù)出發(fā)，將流形上的深度學(xué)習(xí)與函數(shù)逼近理論相結(jié)合，建立低維流形到高維信號(hào)空間的映射表示。

2.3 基于深度學(xué)習(xí)的目標(biāo)檢測(cè)

深度學(xué)習(xí)在目標(biāo)檢測(cè)與識(shí)別方面取得了較大發(fā)展，新的成果層出不窮[2]?；谏疃壬窠?jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)性能依賴于網(wǎng)絡(luò)結(jié)構(gòu)的深度，一般來(lái)說(shuō)，網(wǎng)絡(luò)層次越多，目標(biāo)檢測(cè)效果越好。但是深度網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，算法計(jì)算量巨大，不適用于工業(yè)應(yīng)用中的表面缺陷檢測(cè)。而輕量級(jí)學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)的檢測(cè)準(zhǔn)確率和魯棒性相對(duì)較差。文獻(xiàn)[31]利用人類視覺(jué)感受野的概念將感受野大小和偏心率關(guān)聯(lián)，建立了感受野塊的網(wǎng)絡(luò)結(jié)構(gòu)，增強(qiáng)了輕網(wǎng)絡(luò)結(jié)構(gòu)的檢測(cè)準(zhǔn)確率和魯棒性，有望應(yīng)用于工業(yè)產(chǎn)品表面缺陷檢測(cè)。

實(shí)際應(yīng)用中具有表面缺陷的圖像樣本很少，絕大多數(shù)的表面圖像是正常的，因而基于機(jī)器視覺(jué)的表面缺陷檢測(cè)是典型的小樣本學(xué)習(xí)問(wèn)題。小樣本學(xué)習(xí)既是機(jī)器學(xué)習(xí)中一個(gè)重要的研究方向，也具有非常廣闊的應(yīng)用前景?；谏疃葘W(xué)習(xí)傳統(tǒng)目標(biāo)檢測(cè)方法需要大量的標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練。這面臨著兩方面困難：①獲取大量高質(zhì)量標(biāo)注數(shù)據(jù)成本很高；②一些工業(yè)應(yīng)用中缺陷圖像很少，難以得到缺陷圖像樣本。尺度不變性對(duì)于少樣本情況下的目標(biāo)檢測(cè)性能的影響很大。少樣本目標(biāo)檢測(cè)中的尺度分布是不平衡的，一般而言，少樣本情況下目標(biāo)尺度分布比大樣本情況下的分布發(fā)散的多，少樣本目標(biāo)檢測(cè)精度和魯棒性都較差。文獻(xiàn)[32]提出一種多尺度正樣本增強(qiáng)策略，通過(guò)引入一個(gè)增強(qiáng)分支到Faster RCNN框架來(lái)提升少樣本目標(biāo)檢測(cè)效果。

文獻(xiàn)[33]研究了領(lǐng)域自適應(yīng)學(xué)習(xí)問(wèn)題，提出了一種兩階段跨域目標(biāo)檢測(cè)的由粗到細(xì)自適應(yīng)方法，利用復(fù)雜的檢測(cè)模型逐步對(duì)深度特征進(jìn)行精準(zhǔn)匹配。文獻(xiàn)[34]提出一種基于熵的主動(dòng)學(xué)習(xí)目標(biāo)檢測(cè)方法。多模態(tài)融合檢測(cè)可以提高檢測(cè)精度，ZHANG等[35]提出一種有效的多模態(tài)目標(biāo)檢測(cè)數(shù)據(jù)對(duì)比增強(qiáng)方法，通過(guò)Pointformer、Imageformer和交叉模態(tài)Transformer模塊聯(lián)合，實(shí)現(xiàn)多模態(tài)信息的充分挖掘。文獻(xiàn)[36]提出一種兩階段的三維點(diǎn)云目標(biāo)檢測(cè)方法，通過(guò)設(shè)計(jì)點(diǎn)云補(bǔ)全模塊和圖神經(jīng)網(wǎng)絡(luò)模塊，顯著提高了檢測(cè)性能。

3 工業(yè)圖像檢測(cè)與識(shí)別的典型應(yīng)用

3.1 鋼鐵冶金

鋼板表面缺陷檢測(cè)領(lǐng)域已有成熟的工業(yè)應(yīng)用，美國(guó)、英國(guó)、歐洲、韓國(guó)等公司針對(duì)冷軋、熱軋以及連軋機(jī)等產(chǎn)線的鋼板質(zhì)量開(kāi)發(fā)了成熟的自動(dòng)檢測(cè)系統(tǒng)[1]，可實(shí)現(xiàn)高精度、高可靠性地實(shí)時(shí)檢測(cè)。我國(guó)寶武集團(tuán)、北京科技大學(xué)、東北大學(xué)也開(kāi)展了深入研究，取得了一系列成果。針對(duì)帶鋼表面缺陷檢測(cè)問(wèn)題，HE等[37]將主干網(wǎng)絡(luò)的多級(jí)特征圖組合為一個(gè)多尺度特征圖，提出一種改進(jìn)的快速R-CNN的深度網(wǎng)絡(luò)，取得了良好的檢測(cè)效果。

回轉(zhuǎn)窯是煅燒或焙燒工藝中所用的熱工設(shè)備，用于對(duì)輸入物料進(jìn)行機(jī)械、物理或化學(xué)處理，廣泛應(yīng)用于冶金、水泥和環(huán)保等工業(yè)。回轉(zhuǎn)窯在工藝生產(chǎn)過(guò)程中是不斷旋轉(zhuǎn)的，受回轉(zhuǎn)窯自身結(jié)構(gòu)特殊性以及生產(chǎn)工藝運(yùn)行機(jī)理復(fù)雜性的影響，熟料質(zhì)量指標(biāo)無(wú)法用準(zhǔn)確的數(shù)學(xué)模型進(jìn)行描述，且無(wú)法實(shí)現(xiàn)熟料質(zhì)量的在線實(shí)時(shí)測(cè)量。其熟料的質(zhì)量取決于回轉(zhuǎn)窯燒成帶溫度，但是窯內(nèi)惡劣的環(huán)境使得燒成帶溫度的精確測(cè)量至今無(wú)法實(shí)現(xiàn)。由于回轉(zhuǎn)窯燒成帶火焰圖像含有豐富的溫度場(chǎng)信息和熟料燒結(jié)信息，很多研究嘗試通過(guò)燒成帶火焰圖像來(lái)識(shí)別燒成狀態(tài)。文獻(xiàn)[38-39]研究了回轉(zhuǎn)窯火焰圖像的濾波去噪、圖像分割、特征提取、檢索聚類等問(wèn)題，為回轉(zhuǎn)窯質(zhì)量監(jiān)測(cè)及自動(dòng)控制提供了依據(jù)。典型的回轉(zhuǎn)窯圖像如圖1所示。

文獻(xiàn)[40]提出一種基于火焰圖像空間域結(jié)構(gòu)相似性(Structural SIMilarity, SSIM)的燃燒狀態(tài)識(shí)別方法。從回轉(zhuǎn)窯火焰圖像的亮度、結(jié)構(gòu)和對(duì)比度3個(gè)方面度量?jī)煞鶊D像間的結(jié)構(gòu)相似性。給定一幅實(shí)際火焰圖像，快速計(jì)算比較其與標(biāo)準(zhǔn)圖庫(kù)中火焰圖像的結(jié)構(gòu)相似性差異，從而識(shí)別火焰圖像的燃燒狀態(tài)。SSIM具有表達(dá)形式簡(jiǎn)單、計(jì)算復(fù)雜度低的優(yōu)點(diǎn)，識(shí)別過(guò)程無(wú)需對(duì)圖像進(jìn)行訓(xùn)練與學(xué)習(xí)，能夠滿足回轉(zhuǎn)窯控制系統(tǒng)在線識(shí)別的快速性要求。GUO等[42]利用奇異值分解(Singular Value Decomposition, SVD)和支持向量基(Support Vector Machine, SVM)提出了一種基于火焰圖像的回轉(zhuǎn)窯燒成狀態(tài)識(shí)別方法，該方法可以實(shí)時(shí)地確定燃燒狀態(tài)。以由正常燃燒狀態(tài)和欠燒狀態(tài)下兩個(gè)庫(kù)的圖像SVD分解后的特征作為輸入，利用SVM分類器進(jìn)行離線訓(xùn)練。該方法具有精度高、時(shí)間復(fù)雜度低的特點(diǎn)，使得回轉(zhuǎn)窯實(shí)時(shí)識(shí)別成為可能，提出的多標(biāo)簽識(shí)別方法可以將燒成狀態(tài)分成多個(gè)模態(tài)，有助于后續(xù)的精準(zhǔn)控制。

文獻(xiàn)[40-42]系統(tǒng)研究了基于回轉(zhuǎn)窯火焰圖像的燒成狀態(tài)識(shí)別問(wèn)題，利用圖濾波方法研究了面向回轉(zhuǎn)窯火焰圖像的預(yù)處理和去噪方法，提出了專用的去噪和預(yù)處理算法，并提出了多種基于火焰圖像的回轉(zhuǎn)窯燒成狀態(tài)識(shí)別方法。該方法具有精度高、時(shí)間復(fù)雜度低的特點(diǎn)，可用于在線自動(dòng)監(jiān)測(cè)和反饋控制。主要的流程圖如圖2所示。

3.2 大氣污染監(jiān)測(cè)

基于電化學(xué)傳感器的大氣污染常規(guī)監(jiān)測(cè)技術(shù)易受溫濕度干擾、數(shù)據(jù)易被篡改，存在空間分布密度低和延遲時(shí)間長(zhǎng)等局限，文獻(xiàn)[43]根據(jù)基于變換域的特征提取和基于寬度深度學(xué)習(xí)的非線性映射策略，構(gòu)建了基于圖像的細(xì)顆粒物濃度實(shí)時(shí)監(jiān)測(cè)模型。針對(duì)放空火炬煙氣濃度識(shí)別中含濃煙的圖像數(shù)據(jù)少和為煙濃度打標(biāo)簽困難的問(wèn)題，文獻(xiàn)[44]先用元學(xué)習(xí)在自動(dòng)選擇的多相似任務(wù)上預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，再用最優(yōu)梯度和學(xué)習(xí)率微調(diào)網(wǎng)絡(luò)，最終構(gòu)建出基于集成元學(xué)習(xí)的煙氣濃度識(shí)別模型。GU等[45]針對(duì)放空火炬煙氣圖像受環(huán)境背景干擾大和受壓縮噪聲影響而難以準(zhǔn)確定位等問(wèn)題，利用broadly tuned顏色通道、背景顏色通道和K-means方法等實(shí)現(xiàn)煙氣定位，設(shè)計(jì)出了一種基于視覺(jué)的火炬煙氣監(jiān)測(cè)系統(tǒng)。文獻(xiàn)[46]研究了煙氣圖像的形狀、紋理等復(fù)雜特征，設(shè)計(jì)了兩個(gè)子深度神經(jīng)網(wǎng)絡(luò)分別提取并融合煙氣圖像的底部紋理特征和高層全局輪廓特征，提出了基于分解模型的雙流煙氣檢測(cè)深度網(wǎng)絡(luò)，實(shí)現(xiàn)了“無(wú)感式”智能煙氣檢測(cè)。PM2.5的實(shí)時(shí)估計(jì)非常困難，文獻(xiàn)[47]利用優(yōu)質(zhì)天氣下拍攝的“零PM2.5”海量影像樣本研究大數(shù)據(jù)統(tǒng)計(jì)建模理論與方法，根據(jù)細(xì)顆粒物改變影像局部分歧度和全局信息熵的先驗(yàn)知識(shí)，分別設(shè)計(jì)并系統(tǒng)融合局部和全局特征，構(gòu)建了面向大氣細(xì)顆粒物監(jiān)測(cè)的大數(shù)據(jù)統(tǒng)計(jì)模型，達(dá)到了實(shí)時(shí)估計(jì)所處環(huán)境的大氣PM2.5濃度指標(biāo)的實(shí)際效用。

3.3 航空發(fā)動(dòng)機(jī)葉片表面缺陷檢測(cè)

發(fā)動(dòng)機(jī)葉片是高性能航空發(fā)動(dòng)機(jī)的核心部件之一，葉片型面質(zhì)量對(duì)發(fā)動(dòng)機(jī)的性能具有決定性的影響。航空葉片通常設(shè)計(jì)為變截面、強(qiáng)扭曲的薄壁曲面，具有復(fù)雜拓?fù)湫螤?。葉片缺陷是危害飛行安全的重要因素，典型的表面缺陷包括葉片疲勞裂紋、葉尖卷邊、葉面壓坑、凹痕、燒傷等?？滋綑z測(cè)是葉片質(zhì)量監(jiān)測(cè)的重要設(shè)備，應(yīng)用于航空發(fā)動(dòng)機(jī)裝配、試驗(yàn)、服役各階段，對(duì)保證發(fā)動(dòng)機(jī)安全有重要作用。

現(xiàn)有孔探檢測(cè)主要為人工檢測(cè)，檢測(cè)結(jié)果受檢測(cè)人員經(jīng)驗(yàn)、責(zé)任心、工作時(shí)長(zhǎng)等人為因素的影響較大，人工檢測(cè)一般效率較低。為了提高檢測(cè)質(zhì)量和效率，研究基于視覺(jué)感知的發(fā)動(dòng)機(jī)葉片損傷檢測(cè)與識(shí)別技術(shù)具有重要的意義。文獻(xiàn)[48]等利用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了大型渦扇發(fā)動(dòng)機(jī)的燃燒室、高壓渦輪、葉片等不同部位的孔探檢測(cè)圖像分類。曠可嘉等[49]利用Faster R-CNN和SSD網(wǎng)絡(luò)模型實(shí)現(xiàn)了葉片的凹痕(dent)、裂紋(gap)和燒蝕(ablation)3類缺陷識(shí)別問(wèn)題，圖像共400張，測(cè)試集僅40張圖像，因此該方法檢測(cè)性能一般。馬瑞陽(yáng)等[50]收集了CFM56系列發(fā)動(dòng)機(jī)高壓渦輪的燒蝕、裂紋、涂層缺失和材料缺失4類缺陷損傷圖像共1000余張，通過(guò)數(shù)據(jù)增強(qiáng)、數(shù)據(jù)標(biāo)注等構(gòu)建了缺陷數(shù)據(jù)集，提出了一種改進(jìn)的Yolov4-B網(wǎng)絡(luò)模型，同時(shí)利用構(gòu)建的缺陷數(shù)據(jù)集進(jìn)行訓(xùn)練，并在實(shí)際環(huán)境中測(cè)試了訓(xùn)練后模型的性能。

4 總結(jié)與展望

基于視覺(jué)感知的表面缺陷檢測(cè)是未來(lái)智能無(wú)人工廠的關(guān)鍵環(huán)節(jié)，目前已有大量的研究成果，國(guó)內(nèi)外公司的成熟產(chǎn)品成功應(yīng)用于很多不同行業(yè)生產(chǎn)中。但是，在理論和應(yīng)用層面仍存在很多未解的重要問(wèn)題。當(dāng)前面臨的主要挑戰(zhàn)性問(wèn)題包括：

(1)適用于特定工業(yè)場(chǎng)景的快速成像技術(shù) 復(fù)雜惡劣工業(yè)環(huán)境下特殊光源選擇，光照設(shè)置等。

(2)圖像預(yù)處理與增強(qiáng)新方法 在惡劣工業(yè)環(huán)境或復(fù)雜光照條件下，采集的表面圖像通常含有很強(qiáng)的噪聲、質(zhì)量差，如何在保持缺陷的邊緣或輪廓特征的同時(shí)盡可能消除抑制噪聲具有很大的挑戰(zhàn)性。

(3)表面缺陷檢測(cè)與識(shí)別的高性能學(xué)習(xí)算法 很多工業(yè)場(chǎng)景中，缺陷特征圖像數(shù)據(jù)集很少，面向小樣本和弱監(jiān)督的能夠?qū)嶋H應(yīng)用的學(xué)習(xí)方法嚴(yán)重不足。如何在學(xué)習(xí)算法中融合缺陷檢測(cè)與識(shí)別的專家經(jīng)驗(yàn)也是重要的研究問(wèn)題之一。

(4)集成化的表面質(zhì)量檢測(cè)管控軟件與裝備 國(guó)產(chǎn)軟件平臺(tái)或者開(kāi)放平臺(tái)上的算法集成軟件包、基于國(guó)產(chǎn)品牌的硬件裝備、包容國(guó)內(nèi)外市場(chǎng)中大部分主流產(chǎn)品的數(shù)據(jù)接口、以及不依賴于特定平臺(tái)的自主運(yùn)行環(huán)境等都存在嚴(yán)重不足，開(kāi)發(fā)設(shè)計(jì)高端高性能的檢測(cè)管控軟件與裝備非常有挑戰(zhàn)性，具有重要的意義。

(5)國(guó)家重大工業(yè)場(chǎng)景的表面缺陷檢測(cè)問(wèn)題 例如航空渦輪葉片缺陷的孔探檢測(cè)中，受到成像空間有限、鏡頭角度有限、光照條件復(fù)雜、葉片表面形狀多樣、葉片轉(zhuǎn)動(dòng)的動(dòng)態(tài)影響等多種因素影響，如何在有限的時(shí)間進(jìn)行高質(zhì)量的缺陷檢測(cè)，難度很大。由于國(guó)外技術(shù)封鎖，開(kāi)發(fā)相關(guān)高端產(chǎn)品具有重要的意義。

基于視覺(jué)感知的表面缺陷檢測(cè)方法涉及到多個(gè)學(xué)科領(lǐng)域的交叉，圖像采集與成像是根本，智能檢測(cè)算法是基礎(chǔ)，工業(yè)軟件與裝備是保障，三者相輔相成，研究中需綜合考慮。本文總結(jié)介紹了基于視覺(jué)感知的復(fù)雜產(chǎn)品表面缺陷檢測(cè)理論及典型工業(yè)應(yīng)用，重點(diǎn)論述了圖像預(yù)處理與圖像增強(qiáng)、幾何深度學(xué)習(xí)和基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方面的前沿進(jìn)展。然后討論了工業(yè)圖像檢測(cè)與識(shí)別在鋼鐵冶金、大氣污染監(jiān)測(cè)以及航空發(fā)動(dòng)機(jī)葉片檢測(cè)等領(lǐng)域的應(yīng)用。最后，給出了幾個(gè)仍未解決的挑戰(zhàn)性問(wèn)題，期望對(duì)相關(guān)領(lǐng)域的科研工作者有所幫助。