機(jī)器視覺的低照度圖像缺陷識(shí)別方法

陸金江

(安徽財(cái)貿(mào)職業(yè)學(xué)院 信息工程學(xué)院，安徽 合肥 230601)

低照度圖像缺陷識(shí)別作為一種低照度圖像處理方式，能夠顯著提升圖像效果。低照度圖像缺陷識(shí)別的發(fā)展背景是監(jiān)控系統(tǒng)逐漸高清化，促使低照度圖像的畫質(zhì)與分辨率不斷提升。而在其實(shí)際應(yīng)用中，在光照度較差的情況下，噪聲會(huì)對(duì)可視信息造成極大影響，使物體邊緣變得模糊不清，降低圖像的實(shí)際視覺效果，造成低照度圖像缺陷的出現(xiàn)。為提升光照度較差情況下的監(jiān)控圖像效果，需要通過低照度圖像缺陷識(shí)別來實(shí)現(xiàn)缺陷的修復(fù)。低照度圖像缺陷識(shí)別需要基于低照度圖像灰度范圍較為狹窄、空間相鄰像素具備較高的相關(guān)性以及信噪比較低等特征來實(shí)現(xiàn)[1]。當(dāng)前國內(nèi)外都在積極開展低照度圖像缺陷識(shí)別的相關(guān)研究以實(shí)現(xiàn)監(jiān)控系統(tǒng)光照度較差情況下的圖像質(zhì)量提升。目前國外開展的低照度圖像缺陷識(shí)別研究主要圍繞低照度圖像的增強(qiáng)來進(jìn)行，有學(xué)者提出一種基于HE算法的低照度圖像缺陷識(shí)別方法，主要通過HE算法重新分配低照度圖像的像素值，使低照度圖像的對(duì)比度獲得提升，突出較暗區(qū)域的缺陷細(xì)節(jié)信息，實(shí)現(xiàn)低照度圖像的缺陷識(shí)別[2]。而國內(nèi)的低照度圖像缺陷識(shí)別研究仍處于探索階段，主要集中于低照度圖像缺陷特征識(shí)別方面的研究。有學(xué)者提出一種基于AHE算法的低照度圖像缺陷識(shí)別方法，主要通過AHE算法實(shí)現(xiàn)低照度圖像缺陷處對(duì)比度的提升，獲取缺陷處的細(xì)節(jié)信息，從而實(shí)現(xiàn)低照度圖像缺陷識(shí)別[3]；還有學(xué)者提出一種基于CLAHE算法的低照度圖像缺陷識(shí)別方法，主要通過CLAHE算法對(duì)比度限制增加低照度圖像缺陷處的幅值，并通過插值方法實(shí)現(xiàn)低照度圖像的缺陷識(shí)別[4]。對(duì)低照度圖像實(shí)施識(shí)別的過程中，現(xiàn)有低照度圖像受自身導(dǎo)圖以及光線影響，含有噪聲圖像，導(dǎo)致現(xiàn)有方法在圖像照度在15～45lx的范圍內(nèi)存在缺陷區(qū)域圖像對(duì)比度較低的問題，因此提出一種基于機(jī)器視覺的低照度圖像缺陷識(shí)別方法。

1 設(shè)計(jì)基于機(jī)器視覺的低照度圖像缺陷識(shí)別方法

1.1 低照度圖像對(duì)比度增強(qiáng)

通過灰度變換算法改變低照度圖像中各像素點(diǎn)的實(shí)際灰度值，并通過線性變換增強(qiáng)低照度圖像對(duì)比度[5]。灰度變換算法的公式具體如下：

g(x,y)=T(x,y)f(x,y)。

(1)

其中:g(x,y)代表處理后的低照度圖像像素實(shí)際灰度值；f(x,y)代表低照度圖像像素的原始灰度值；T(x,y)代表處理時(shí)選擇的灰度變換函數(shù)，也就是灰度值的輸入值與輸出值的實(shí)際變換關(guān)系[6]。

接著通過線性變換增加低照度圖像中像素實(shí)際灰度值之間的對(duì)應(yīng)動(dòng)態(tài)范圍，對(duì)低照度圖像進(jìn)行對(duì)比度拉伸，增強(qiáng)低照度圖像對(duì)比度[7]。為了對(duì)感興趣的低照度圖像灰度區(qū)間進(jìn)行突出并對(duì)不感興趣的低照度圖像灰度區(qū)間進(jìn)行抑制，選擇的線性變換函數(shù)為3段函數(shù)，具體如圖1所示。

圖1中：L代表低照度圖像的灰度總級(jí)數(shù)；a、b分別代表低照度圖像像素的某原始灰度值；c、d則分別代表處理后的低照度圖像像素某灰度值[8]。

利用3段函數(shù)進(jìn)行低照度圖像線性變換的具體如公式(2)：

(2)

其中，C(x,y)代表低照度圖像對(duì)比度。

1.2 低照度圖像降噪

根據(jù)有霧圖像與低照度圖像的反轉(zhuǎn)圖像之間的相似性對(duì)低照度圖像進(jìn)行降噪處理[9]。首先反轉(zhuǎn)低照度圖像，具體如公式(3)：

Ic(x)=255-Lc(x) 。

(3)

其中：Ic(x)代表低照度圖像的反轉(zhuǎn)圖像；Lc(x)代表低照度圖像；c代表圖像的3通道，分別為R、G、B。

接著對(duì)低照度圖像的反轉(zhuǎn)圖像進(jìn)行大氣光估值。將輸入的反轉(zhuǎn)圖像視為1個(gè)矩陣，并將其劃分為相等的4個(gè)子矩陣。對(duì)子矩陣中全部像素的均值與標(biāo)準(zhǔn)差之間的差值進(jìn)行計(jì)算，并通過計(jì)算結(jié)果對(duì)各子矩陣進(jìn)行評(píng)分[10]。選擇得分最高的子矩陣?yán)^續(xù)對(duì)其進(jìn)行重復(fù)劃分，將其劃分為相等的更小的4個(gè)子矩陣并重復(fù)后面的操作，直到得分最高的子矩陣比指定的門限值小，將該矩陣中最短距離的顏色作為低照度圖像反轉(zhuǎn)圖像的大氣光估值，具體如式(4)所示：

(4)

其中，Ac代表低照度圖像反轉(zhuǎn)圖像的大氣光估值，(1,1,1)表示矩陣中最短距離的顏色坐標(biāo)。

根據(jù)上式對(duì)低照度圖像反轉(zhuǎn)圖像的對(duì)應(yīng)最小值圖像進(jìn)行求取：

(5)

然后對(duì)低照度圖像反轉(zhuǎn)圖像的對(duì)應(yīng)G通道圖進(jìn)行最大值濾波，將濾波的結(jié)果圖當(dāng)做引導(dǎo)圖，對(duì)最小值圖像實(shí)施梯度信息融合的引導(dǎo)濾波，實(shí)現(xiàn)低照度圖像的降噪，具體如式(6)所示：

(6)

其中：L′(x)代表最小值圖像的梯度信息融合引導(dǎo)濾波；IG(y)代表濾波結(jié)果圖即引導(dǎo)圖；y代表最大值濾波。

最后利用大氣散射函數(shù)求出低照度圖像反轉(zhuǎn)圖像的透射率，具體如式(7)所示：

(7)

其中：t(x)代表低照度圖像反轉(zhuǎn)圖像的透射率；A代表大氣光估值的最大值。

根據(jù)大氣散射模型對(duì)低照度圖像進(jìn)行反演復(fù)原，具體如式(8)所示：

(8)

其中：Jcn(x)代表低照度圖像的反演復(fù)原圖像；t0代表反演閾值[11]。

對(duì)低照度圖像的反演復(fù)原圖像再進(jìn)行一次反轉(zhuǎn)操作，即可得到去噪后的清晰低照度圖像：

Jc′(x)=255-Jcn(x)。

(9)

其中，Jc′(x)代表去噪后的清晰低照度圖像。

低照度圖像降噪的具體流程如圖2所示。

1.3 低照度圖像特征提取

通過SIFT特征描述低照度圖像的特征點(diǎn)，對(duì)低照度圖像的特征進(jìn)行提取。首先對(duì)高斯尺度空間進(jìn)行構(gòu)建。利用高斯函數(shù)對(duì)低照度圖像實(shí)施卷積運(yùn)算，完成低照度圖像的模糊處理，獲取低照度圖像的高斯尺度空間[12]。接著對(duì)尺度空間的所有圖像進(jìn)行搜索，通過差分高斯對(duì)空間極值點(diǎn)進(jìn)行檢測。并通過高斯窗口加權(quán)運(yùn)算尺度空間中的所有特征點(diǎn)[13]。最后對(duì)各方向上的梯度直方圖進(jìn)行繪制，共8個(gè)方向，繪制單位為像素塊，大小為4×4。對(duì)各梯度方向的實(shí)際累加值進(jìn)行計(jì)算，完成低照度圖像的特征點(diǎn)描述。

1.4 低照度圖像缺陷識(shí)別

根據(jù)提取的低照度圖像特征，基于機(jī)器視覺構(gòu)建低照度圖像缺陷識(shí)別模型，實(shí)現(xiàn)低照度圖像缺陷識(shí)別。構(gòu)建的低照度圖像缺陷識(shí)別模型包括網(wǎng)絡(luò)傳輸模塊、圖像處理模塊以及圖像缺陷識(shí)別模塊。

網(wǎng)絡(luò)傳輸模塊主要由網(wǎng)絡(luò)變壓器與USB接口構(gòu)成，其中網(wǎng)絡(luò)變壓器能夠利用脈沖波形變換轉(zhuǎn)換網(wǎng)絡(luò)信號(hào)；USB接口能夠?qū)νㄐ胚M(jìn)行控制與連接[14]。

圖像處理模塊主要由CMOS傳感器與嵌入式ARM處理器構(gòu)成。嵌入式ARM處理器為32位內(nèi)核微處理器，能夠進(jìn)行低照度圖像信息處理；CMOS傳感器是一種機(jī)器視覺產(chǎn)品，能夠?qū)⒌驼斩葓D像根據(jù)顏色、亮度、像素分布等信息轉(zhuǎn)換成數(shù)字化信號(hào)[15]。

圖像缺陷識(shí)別模塊主要通過調(diào)用圖像缺陷識(shí)別函數(shù)進(jìn)行圖像缺陷識(shí)別，具體流程如圖3所示。

根據(jù)圖3可知，圖像缺陷識(shí)別的具體過程為：

(1)打開CMOS傳感器設(shè)備文件，采集設(shè)備信息并重新設(shè)置低照度圖像參數(shù)信息及幀信息；

(2)將設(shè)備中的信息緩沖映射到內(nèi)存空間中，并判斷圖像缺陷所處位置為單幀或者多幀；

(3)如果所處位置為單幀，則進(jìn)行單幀圖像缺陷識(shí)別；如果所處位置為多幀缺陷，則進(jìn)行多幀圖像缺陷識(shí)別，多幀圖像缺陷識(shí)別通過SIGINT()函數(shù)完成。

根據(jù)上述過程完成低照度圖像缺陷識(shí)別。

2 實(shí)驗(yàn)驗(yàn)證

2.1 設(shè)計(jì)實(shí)驗(yàn)

對(duì)設(shè)計(jì)的基于機(jī)器視覺的低照度圖像缺陷識(shí)別方法進(jìn)行實(shí)驗(yàn)驗(yàn)證。選取圖像照度在15～45lx的范圍內(nèi)的低照度圖像進(jìn)行缺陷識(shí)別實(shí)驗(yàn)，選取的實(shí)驗(yàn)低照度圖像數(shù)據(jù)集，具體如圖4所示。

實(shí)驗(yàn)低照度圖像數(shù)據(jù)集的具體圖像數(shù)據(jù)如表1所示。

表1 實(shí)驗(yàn)低照度圖像數(shù)據(jù)集的具體圖像數(shù)據(jù)

實(shí)驗(yàn)低照度圖像數(shù)據(jù)集均存在灰度值較低的區(qū)域。首先對(duì)實(shí)驗(yàn)低照度圖像數(shù)據(jù)集進(jìn)行對(duì)比度增強(qiáng)處理，接著實(shí)施降噪與特征提取處理，最后利用建低照度圖像缺陷識(shí)別模型分別對(duì)數(shù)據(jù)集中的圖像進(jìn)行缺陷識(shí)別，獲取缺陷識(shí)別后缺陷區(qū)域?qū)Ρ榷葘?shí)驗(yàn)數(shù)據(jù)。為了避免實(shí)驗(yàn)結(jié)果過于單一，將基于HE算法、基于AHE算法、基于CLAHE算法的低照度圖像缺陷識(shí)別方法作為實(shí)驗(yàn)中的對(duì)比方法。分別利用這幾種方法進(jìn)行實(shí)驗(yàn)低照度圖像數(shù)據(jù)集的圖像缺陷識(shí)別，獲取這幾種方法的缺陷區(qū)域?qū)Ρ榷葘?shí)驗(yàn)數(shù)據(jù)作為對(duì)比實(shí)驗(yàn)數(shù)據(jù)。比較集中實(shí)驗(yàn)方法的缺陷區(qū)域?qū)Ρ榷龋^察基于機(jī)器視覺的低照度圖像缺陷識(shí)別方法是否實(shí)現(xiàn)了缺陷區(qū)域?qū)Ρ榷鹊奶嵘?/p>

2.2 對(duì)比度實(shí)驗(yàn)結(jié)果

對(duì)于圖像1，基于機(jī)器視覺的低照度圖像缺陷識(shí)別方法與基于HE算法、基于AHE算法、基于CLAHE算法的低照度圖像缺陷識(shí)別方法的缺陷區(qū)域?qū)Ρ榷葘?shí)驗(yàn)結(jié)果如圖5所示。

根據(jù)圖像2的缺陷區(qū)域?qū)Ρ榷葘?shí)驗(yàn)結(jié)果可知，在識(shí)別時(shí)間為200s時(shí)，基于機(jī)器視覺方法、HE算法、AHE算法、CLAHE算法的識(shí)別方法的缺陷區(qū)域?qū)Ρ榷确謩e為52.34%、38.08%、43.21%、34.74%，基于機(jī)器視覺方法分別高出3種對(duì)比方法14.26%、9.13%、14.6%。當(dāng)識(shí)別時(shí)間達(dá)到400s時(shí)?；跈C(jī)器視覺、HE算法、AHE算法、CLAHE算法低照度圖像缺陷識(shí)別方法的缺陷區(qū)域圖像對(duì)比度分別為79.64%、48.46%、58.98%、46.3%，基于機(jī)器視覺方法分別高出3種對(duì)比方法31.38%、20.66%、34.34%。

對(duì)于圖像2，基于機(jī)器視覺的低照度圖像缺陷識(shí)別方法與其他實(shí)驗(yàn)方法的缺陷區(qū)域?qū)Ρ榷葘?shí)驗(yàn)結(jié)果對(duì)比如圖6所示。

根據(jù)圖像2的缺陷區(qū)域?qū)Ρ榷葘?shí)驗(yàn)結(jié)果可知，在識(shí)別時(shí)間為200s時(shí)，基于機(jī)器視覺方法、HE算法、AHE算法、CLAHE算法的識(shí)別方法的缺陷區(qū)域?qū)Ρ榷确謩e為62.98%、46.47%、44.16%、30.08%，基于機(jī)器視覺方法分別高出3種對(duì)比方法16.51%、18.82%、32.9%。當(dāng)識(shí)別時(shí)間達(dá)到400s時(shí)?；跈C(jī)器視覺、HE算法、AHE算法、CLAHE算法低照度圖像缺陷識(shí)別方法的缺陷區(qū)域圖像對(duì)比度分別為83.64%、68.32%、72.93%、60.25%，基于機(jī)器視覺方法分別高出3種對(duì)比方法15.32%、10.71%、23.39%。

對(duì)于圖像3，基于機(jī)器視覺的低照度圖像缺陷識(shí)別方法與其他實(shí)驗(yàn)方法的缺陷區(qū)域?qū)Ρ榷葘?shí)驗(yàn)結(jié)果對(duì)比具體如圖7所示。

根據(jù)圖像3的缺陷區(qū)域?qū)Ρ榷葘?shí)驗(yàn)結(jié)果可知，根據(jù)圖像2的缺陷區(qū)域?qū)Ρ榷葘?shí)驗(yàn)結(jié)果可知，在識(shí)別時(shí)間為200s時(shí)，基于機(jī)器視覺方法、HE算法、AHE算法、CLAHE算法的識(shí)別方法的缺陷區(qū)域?qū)φ斩确謩e為55.03%、52.78%、42.65%、22.98%，基于機(jī)器視覺方法分別高出3種對(duì)比方法2.25%、12.38%、32.05%。當(dāng)識(shí)別時(shí)間達(dá)到400s時(shí)?；跈C(jī)器視覺、HE算法、AHE算法、CLAHE算法低照度圖像缺陷識(shí)別方法的缺陷區(qū)域圖像對(duì)比度分別為75.96%、72.11%、51.85%、43.69%，基于機(jī)器視覺方法分別高出3種對(duì)比方法3.85%、24.11%、32.27%。

對(duì)于圖像4，基于機(jī)器視覺的低照度圖像缺陷識(shí)別方法與其他實(shí)驗(yàn)方法的缺陷區(qū)域?qū)Ρ榷葘?shí)驗(yàn)結(jié)果對(duì)比如圖8所示。

根據(jù)圖像4的缺陷區(qū)域?qū)Ρ榷葘?shí)驗(yàn)結(jié)果可知，根據(jù)第2張圖像的缺陷區(qū)域?qū)Ρ榷葘?shí)驗(yàn)結(jié)果可知，在識(shí)別時(shí)間為200s時(shí)，基于機(jī)器視覺方法、HE算法、AHE算法、CLAHE算法的識(shí)別方法的缺陷區(qū)域?qū)φ斩确謩e為65.11%、51.97%、52.01%、33.78%，基于機(jī)器視覺方法分別高出3種對(duì)比方法13.14%、13.10%、31.33%。當(dāng)識(shí)別時(shí)間達(dá)到400s時(shí)。基于機(jī)器視覺、HE算法、AHE算法、CLAHE算法低照度圖像缺陷識(shí)別方法缺陷區(qū)域圖像對(duì)比度分別為86.69%、73.60%、68.99%、46.69%，基于機(jī)器視覺方法分別高出3種對(duì)比方法13.09%、17.70%、46%。

綜上所述，基于機(jī)器視覺的低照度圖像缺陷識(shí)別方法的缺陷區(qū)域圖像對(duì)比度在幾種實(shí)驗(yàn)方法中始終保持最高。

3 結(jié)語

基于機(jī)器視覺的低照度圖像缺陷識(shí)別方法成功實(shí)現(xiàn)了缺陷區(qū)域圖像對(duì)比度的提升，對(duì)于低照度圖像的缺陷處理具有很大參考意義。