基于改進(jìn)神經(jīng)網(wǎng)絡(luò)的4K超高清圖像清晰化技術(shù)研究

黃衛(wèi)+文坤梅

摘 要： 為了提高4K超高清圖像的成像質(zhì)量，進(jìn)行圖像清晰化處理，提出一種基于改進(jìn)神經(jīng)網(wǎng)絡(luò)的4K超高清圖像清晰化技術(shù)。對采集的圖像采用中值濾波降噪方法消除噪點(diǎn)，采用多尺度Retinex分解方法進(jìn)行圖像像素增強(qiáng)，結(jié)合改進(jìn)神經(jīng)網(wǎng)絡(luò)方法進(jìn)行模板特征匹配與信息融合，實(shí)現(xiàn)圖像清晰化處理優(yōu)化。仿真結(jié)果表明，采用該技術(shù)進(jìn)行4K超高清圖像清晰化處理，輸出圖像的信噪比較高，處理的時(shí)間開銷和內(nèi)存開銷較小，具有優(yōu)越性。

關(guān)鍵詞： 神經(jīng)網(wǎng)絡(luò)； 4K超高清圖像； 清晰化處理； 降噪

中圖分類號(hào)： TN911.73?34； TP391 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2017）14?0120?04

Abstract： In order to improve the imaging quality of 4K ultrahigh?definition images and carry out sharpening processing of the images， a 4K ultrahigh?definition image clearness technology based on the improved neural network is proposed. The median filtering denoising method is used to eliminate the noisy points of collected images. The multi?scale Retinex decomposition method is adopted to enhance image pixels. The template feature matching is performed in combination with the improved neural network method to deal with information fusion， so as to realize image sharpening processing optimization. The simulation results show that the 4K ultrahigh?definition images processed with this technology have high SNR， low expenditure of processing time， small memory overhead and a certain superiority.

Keywords： neural network； 4K ultrahigh?definition image； sharpening processing； noise reduction

4K超高清圖像是用4K分辨率即4 096×2 160的像素分辨率成像得到的圖像，4K級別的分辨率可提供880多萬像素，能提供近千萬像素的顯示品質(zhì)。隨著4K超高清圖像處理技術(shù)廣泛應(yīng)用，它在數(shù)字高清成像、目標(biāo)識(shí)別、遙感探測等領(lǐng)域具有廣闊的應(yīng)用前景[1?2]。4K超高清圖像清晰化處理是提高成像品質(zhì)的關(guān)鍵技術(shù)，4K超高清圖像在成像過程中受到圖像采集儀器和環(huán)境等因素的影響，容易導(dǎo)致成像的清晰化程度不好，對此，本文提出一種基于改進(jìn)神經(jīng)網(wǎng)絡(luò)的4K超高清圖像清晰化技術(shù)，通過圖像處理算法設(shè)計(jì)和仿真實(shí)驗(yàn)分析，得出有效性結(jié)論。

1 圖像降噪預(yù)處理

1.1 4K超高清圖像特征點(diǎn)統(tǒng)計(jì)

為了實(shí)現(xiàn)對4K超高清圖像的清晰化處理，首先需要采用圖形渲染方法實(shí)現(xiàn)對4K超高清圖像的特征點(diǎn)統(tǒng)計(jì)，采用模板配準(zhǔn)和特征點(diǎn)統(tǒng)計(jì)學(xué)模型方法進(jìn)行4K超高清圖像點(diǎn)特征提取，進(jìn)行4K超高清圖像的三維重構(gòu)總體設(shè)計(jì)。4K超高清圖像的圖像特征點(diǎn)統(tǒng)計(jì)主要分為三步，首先進(jìn)行模板構(gòu)建，假設(shè)4K超高清圖像的紋理角點(diǎn)表述為，包絡(luò)輪廓幅值大小為4K超高清圖像的網(wǎng)格模型描述。然后，再對復(fù)雜背景干擾下4K超高清圖像進(jìn)行像素幅值計(jì)算，得到近似解：

式中：是輪廓形變參數(shù)；T為取4K超高清圖像的邊緣輪廓特征點(diǎn)。根據(jù)上述圖形重構(gòu)，最后采用不規(guī)則三角網(wǎng)剖分方法進(jìn)行4K超高清圖像特征點(diǎn)統(tǒng)計(jì)，得到三角網(wǎng)格的幅值為，計(jì)算公式為：

式中：表示4K超高清圖像的Retinex角點(diǎn)篩選值，為偶數(shù)，以圖像特征點(diǎn)的特征分布為判據(jù)，進(jìn)行特征點(diǎn)統(tǒng)計(jì)和取證[3]，實(shí)現(xiàn)圖像像素信息采集。

1.2 圖像的中值濾波降噪

在4K超高清圖像采集的不規(guī)則三角網(wǎng)格模型中，由于采集的設(shè)備和環(huán)境等因素的影響，需要進(jìn)行圖像降噪。采用中值濾波降噪方法[4]，假設(shè)圖像噪點(diǎn)的分布區(qū)域，得到4K超高清圖像兩幀間的灰度差異值為：

式中：表示像素均值信息；K為三維視覺信息采集的尺度。的輪廓線初始誤差，設(shè)，讀入第一張4K超高清圖像，輸入到中值濾波系統(tǒng)模型中，中值濾波系統(tǒng)傳遞函數(shù)為：

式中，為圖像邊緣輪廓曲線上的形態(tài)學(xué)分解函數(shù)，為像素點(diǎn)集合，采集的圖像采用中值濾波降噪方法消除噪點(diǎn)，得到輸出圖像為Gt：

式中，是4K超高清圖像的第t幀的關(guān)聯(lián)像素值，在像素值對應(yīng)的二維坐標(biāo)分布在位平面子塊內(nèi)，采用多維三角網(wǎng)格特征點(diǎn)標(biāo)定方法得到每一個(gè)位平面對應(yīng)0或1兩個(gè)值表示像素的亮度信息，采用二值圖像映射方法[5]，得到4K超高清圖像沿梯度方向在像素點(diǎn)處的角點(diǎn)標(biāo)量特征量滿足：

式中，表示超高清圖像的像素序列軌跡，對像素到點(diǎn)的角點(diǎn)進(jìn)行形態(tài)學(xué)分割，得到分割軌跡描述為：

式中，是第t幀的4K超高清圖像的Retinex角點(diǎn)位置[6]，通過多尺度邊緣輪廓分解[7]，實(shí)現(xiàn)圖像的中值濾波，得到4K超高清圖像的邊緣輪廓標(biāo)記線矩陣為：

式中：是成像位置在處的二值化關(guān)聯(lián)向量；和分別為灰度變換的概率分布函數(shù)。對4K超高清圖像進(jìn)行聯(lián)合特征模板匹配，采用多尺度Retinex角點(diǎn)篩選，進(jìn)行圖像的中值濾波，提高圖像的清晰度。

2 4K超高清圖像清晰化處理實(shí)現(xiàn)

2.1 圖像像素增強(qiáng)

在上述進(jìn)行了4K超高清圖像特征點(diǎn)統(tǒng)計(jì)和中值濾波降噪處理的基礎(chǔ)上，進(jìn)行4K超高清圖像清晰化處理。為了克服傳統(tǒng)方法在清晰化處理中輸出信噪比不高的弊端，本文提出一種基于改進(jìn)神經(jīng)網(wǎng)絡(luò)的4K超高清圖像清晰化技術(shù)。采用多尺度Retinex分解方法進(jìn)行圖像像素增強(qiáng)，4K超高清圖像采集的兩幀間的多尺度Retinex分解關(guān)系可描述為[8]：

以式（11）～式（13）為基礎(chǔ)進(jìn)行圖像的特征分類和角點(diǎn)篩選，得到圖像的信息增強(qiáng)輸出的尺度序列為：

式中：表示仿射變換域內(nèi)的分割系數(shù)；為圖像在成像位置處的二值化模板匹配參數(shù)。計(jì)算4K超高清圖像增強(qiáng)的灰度像素值，得到表面網(wǎng)格面的Hessian矩陣為：

基于多尺度形態(tài)學(xué)分割，得到4K超高清圖像的紋理角點(diǎn)表述為：

式中，分別為角點(diǎn)篩選的差異性級數(shù)和匹配模板集，計(jì)算輪廓的控制點(diǎn)間的Retinex特征分量，由此實(shí)現(xiàn)4K超高清圖像的多尺度形態(tài)學(xué)增強(qiáng)處理，在4K超高清圖像的灰度直方圖中進(jìn)行特征統(tǒng)計(jì)[9]，得到多尺度形態(tài)學(xué)統(tǒng)計(jì)特征為：

假設(shè)4K超高清圖像的圖像灰度級為F，通過對圖像進(jìn)行色差對比，得到視覺誤差補(bǔ)償輸出X（t）為：

通過上述處理，為進(jìn)行4K超高清圖像特征的清晰化處理提供準(zhǔn)確的模型基礎(chǔ)。進(jìn)一步進(jìn)行圖像的穩(wěn)像處理，得到輸出包絡(luò)輪廓幅值的離散形式為：

對4K超高清圖像的三維視覺清晰化處理中，采用擬蒙特卡洛特征值進(jìn)行穩(wěn)定性控制，當(dāng)滿足，則此時(shí)清晰化處理的穩(wěn)定解滿足，通過多尺度Retinex分解，進(jìn)行圖像增強(qiáng)處理，如下：

2.2 基于改進(jìn)神經(jīng)網(wǎng)絡(luò)的圖像清晰化處理

在進(jìn)行圖像增強(qiáng)處理的基礎(chǔ)上，采用圖1所示的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行圖像像素融合訓(xùn)練，實(shí)現(xiàn)清晰化處理。

圖1中神經(jīng)網(wǎng)絡(luò)的輸入層的節(jié)點(diǎn)個(gè)數(shù)為及輸出層的節(jié)點(diǎn)個(gè)數(shù)，并將從輸入節(jié)點(diǎn)到輸出節(jié)點(diǎn)的權(quán)值初始化。令，，表示4K超高清圖像的輸入圖像像素序列，在時(shí)，進(jìn)行圖像的初始化參量設(shè)定，得到圖像清晰化處理的神經(jīng)網(wǎng)絡(luò)的輸入訓(xùn)練向量模式；計(jì)算4K超高清圖像的上下邊界點(diǎn)及其與隱含層連接的權(quán)向量：

調(diào)整與輸出節(jié)點(diǎn)所連接的權(quán)值進(jìn)行模板特征匹配，得到神經(jīng)網(wǎng)絡(luò)模型的隱含層的紋理拓?fù)浞謱庸?jié)點(diǎn)的幾何鄰域?yàn)?，圖像清晰化處理的自適應(yīng)加權(quán)系數(shù)為：

3 仿真實(shí)驗(yàn)分析

仿真實(shí)驗(yàn)以Matlab為軟件平臺(tái)，進(jìn)行4K超高清圖像特征清晰化處理的仿真分析，假設(shè)4K超高清圖像大小181×181，圖像融合的控制參數(shù)為，中值濾波的尺度=0.13 mm，迭代次數(shù)，圖像的噪點(diǎn)覆蓋在220～3 000幀之間，干擾噪聲為高斯色噪聲，均值誤差 mm。根據(jù)上述仿真環(huán)境和參數(shù)設(shè)計(jì)，進(jìn)行4K超高清圖像的清晰化處理，首先進(jìn)行原始圖像采集，得到原始圖像如圖2所示。

圖2所示的原始圖像受到采集環(huán)境和光照等條件因素的影響，導(dǎo)致圖像的清晰度不高，采用本文方法進(jìn)行圖像清晰化處理，得到處理結(jié)果如圖3所示。

從圖3的視覺效果可見，采用本文方法進(jìn)行圖像清晰化處理，能有效提高4K超高清圖像的視覺成效效果，圖像的清晰度較高。表1給出了采用不同方法進(jìn)行圖像清晰化處理的輸出信噪比等指標(biāo)參量的對比結(jié)果，分析表中數(shù)據(jù)得知，本文方法對圖像處理后輸出的信噪比高于傳統(tǒng)方法，說明圖像的質(zhì)量較高，且計(jì)算時(shí)間開銷和內(nèi)存開銷較低，性能較優(yōu)。

4 結(jié) 語

本文進(jìn)行了圖像清晰化處理研究，提出一種基于改進(jìn)神經(jīng)網(wǎng)絡(luò)的4K超高清圖像清晰化技術(shù)。對采集的圖像采用中值濾波降噪方法消除噪點(diǎn)，采用多尺度Retinex分解方法進(jìn)行圖像像素增強(qiáng)，結(jié)合改進(jìn)神經(jīng)網(wǎng)絡(luò)方法進(jìn)行模板特征匹配與信息融合，實(shí)現(xiàn)圖像清晰化處理優(yōu)化。仿真結(jié)果表明，采用該技術(shù)進(jìn)行4K超高清圖像清晰化處理，輸出圖像的信噪比較高，處理的時(shí)間開銷和內(nèi)存開銷較小，具有優(yōu)越性，實(shí)際應(yīng)用效果較好。

參考文獻(xiàn)

[1] 藺素珍，朱小紅，王棟娟，等.基于嵌入式多尺度變換的多波段圖像融合[J].計(jì)算機(jī)研究與發(fā)展，2015，52（4）：952?959.

[2] 應(yīng)宏微，蔣剛毅，郁梅，等.基于場景模式的立體圖像舒適度客觀評價(jià)模型[J].電子與信息學(xué)報(bào)，2016，38（2）：294?302.

[3] 楊富圣，高鐵杠.一種基于差分DCT系數(shù)對直方圖的圖像取證方法[J].電子學(xué)報(bào)，2016，44（1）：8?13.

[4] CHIANG P， ZHENG J M， MAK K H， et al. Progressive surface reconstruction for heart mapping procedure [J]. Computer?aided design， 2012， 44（4）： 289?299.

[5] KUKLIK P， SZUMOWSKI L， ZEBROWSKI J J， et al. Integration of the data from electroanatomical mapping system and CT imaging modality [J]. International journal of cardiovascular imaging， 2009， 25（4）： 425?432.

[6] ZHOU Z Q， HU D Y. An epidemiological study on the prevalence of atrial fibrillation in the Chinese population of mainland China [J]. Journal of epidemiology， 2008， 18（5）： 209?216.

[7] 覃海寧.三維光纖圖形特征的體繪制改進(jìn)方法研究與仿真[J].激光雜志，2016，37（9）：142?146.

[8] 肖淑蘋，賀毅岳.一種改進(jìn)的EMD圖像信號(hào)去噪算法[J].現(xiàn)代電子技術(shù)，2016，39（16）：91?93.

[9] 曾文權(quán)，何擁軍，崔曉坤.基于各向異性濾波和空間FCM的MRI圖像分割方法[J].計(jì)算機(jī)應(yīng)用研究，2014，31（1）：316?320.