基于深度神經(jīng)網(wǎng)絡(luò)的圖像分辨率增強(qiáng)技術(shù)研究

余萍

摘 要 如安防監(jiān)控、遠(yuǎn)程會(huì)議、醫(yī)療圖像等。和繪制的圖形不同的是，由于采集設(shè)備的精度問題，往往難以得到足夠精度的圖像。尤其在視頻監(jiān)控領(lǐng)域，由于數(shù)據(jù)存儲(chǔ)量大，傳輸鏈路帶寬有限，以及CCD制造工藝和成本的限制，攝像頭的分辨率往往難以得到很好的改善。本文的目的是研究基于深度神經(jīng)網(wǎng)絡(luò)的圖像分辨率增強(qiáng)技術(shù)。本文針對(duì)圖像分辨率增強(qiáng)問題，研究了超分辨率的相關(guān)理論和方法，設(shè)計(jì)了針對(duì)實(shí)際圖像進(jìn)行分辨率增強(qiáng)的處理框架，通過預(yù)處理提高分辨率增強(qiáng)方法的效果，并提出了一個(gè)有效的光照歸一化方法。針對(duì)圖像分辨率增強(qiáng)，提出了基于深度神經(jīng)網(wǎng)絡(luò)的分辨率增強(qiáng)方法，通過對(duì)各種圖像的增強(qiáng)，有效的提高了實(shí)驗(yàn)結(jié)果的視覺效果。研究結(jié)果表明，圖像分辨率增強(qiáng)處理能夠在一定程度上提高相同硬件條件下的圖像的空間分辨率，改善因?yàn)橛布l件不足而造成的圖像退化及分辨率下降，在一定程度上彌補(bǔ)了圖像分辨率不足，使圖像更加清晰。

關(guān)鍵詞 深度神經(jīng)網(wǎng)絡(luò) 圖像分辨率 分辨率增強(qiáng)技術(shù)

中圖分類號(hào)：TP751 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-0745（2021）01-0003-03

1 前言

隨著大數(shù)據(jù)時(shí)代的到來(lái)和計(jì)算機(jī)運(yùn)算能力的顯著提升，以深度學(xué)習(xí)為首的智能算法正在占據(jù)我們的日常生活。對(duì)于提高圖像分辨率，可以依靠提高拍攝系統(tǒng)的精度和穩(wěn)定性來(lái)實(shí)現(xiàn)。但這樣做的費(fèi)用高，且制作技術(shù)難以實(shí)現(xiàn)，因此不能很好的解決提高圖像分辨率的問題。然而卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)模型中的一種，在圖像識(shí)別領(lǐng)域的準(zhǔn)確率很高，比人類肉眼更加精準(zhǔn)，因此結(jié)合深度神經(jīng)網(wǎng)絡(luò)在圖像分辨率增強(qiáng)技術(shù)的出色表現(xiàn)，研究基于深度神經(jīng)網(wǎng)絡(luò)的圖像分辨率增強(qiáng)技術(shù)具有重要的意義。圖像信息在我們的日常生活中有著舉足輕重的地位，圖像的分辨率大小是衡量圖像質(zhì)量的重要指標(biāo)之一，所以我們也可以利用深度神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)，將圖像和相關(guān)的神經(jīng)網(wǎng)絡(luò)聚集到一起，使它不僅讓圖像分辨率增強(qiáng)，也可以廣泛應(yīng)用于圖像處理的其他領(lǐng)域，以得到我們需要的結(jié)果。

本文討論的圖像分辨率增強(qiáng)技術(shù)主要指超分辨率技術(shù)，在80年代以前，針對(duì)超分辨率提出過長(zhǎng)橢球波函數(shù)法、線性外推法、疊加正弦模板法等不同的方法，但在實(shí)用中的效果并不好[1]。80年代以后，超分辨率技術(shù)有了突飛猛進(jìn)的發(fā)展，Huang等在用多幅遙感圖像恢復(fù)一張高質(zhì)量的Landsat衛(wèi)星圖像時(shí)，采用多幅衛(wèi)星圖像對(duì)一幅圖像進(jìn)行增強(qiáng)，取得了較好的效果[2]。隨后，基于重建的方法蓬勃發(fā)展，形成了基于插值的方法、迭代反向投影法（IBP）、最大后驗(yàn)概率法（MAP）、凸集投影法（POCS）、正則化方法等不同的方法[3]。以上方法都是屬于空間域的方法，除此外還有部分學(xué)者致力于頻域方法的研究[4]。頻域方法的基本思想是通過在頻域消除頻譜混疊，從而達(dá)到改善圖像空間分辨率的目的，其理論基礎(chǔ)是傅里葉變換的平移特性[5]。目前已經(jīng)很少有學(xué)者對(duì)頻域方法進(jìn)行進(jìn)一步的研究。相應(yīng)的，空間域方法則由于其靈活性而得到了很大的發(fā)展，各種方法百花齊放[6]。針對(duì)圖像質(zhì)量下降的各種因素，采用不同的數(shù)學(xué)方法來(lái)描述圖像的成像和降質(zhì)過程，并可以運(yùn)用很多成熟的數(shù)學(xué)方法進(jìn)行求解，需要克服的困難就是模型的復(fù)雜性和求解的困難性，大量學(xué)者在該領(lǐng)域內(nèi)做出了大量的工作[7-8]。基于深度神經(jīng)網(wǎng)絡(luò)的方法是當(dāng)前超分辨率研究領(lǐng)域的研究熱點(diǎn)，與傳統(tǒng)方法相比，該方法最大的不同就是指導(dǎo)圖像分辨率增強(qiáng)的先驗(yàn)信息并非來(lái)源于學(xué)者的總結(jié)，而是從大量作為參考的高分辨率圖像的神經(jīng)網(wǎng)絡(luò)中得來(lái)[9]。通過對(duì)參考圖像的高頻信息和低頻信息之間的規(guī)律的學(xué)習(xí)，從中總結(jié)出高頻塊和低頻塊對(duì)等不同形式的先驗(yàn)信息來(lái)指導(dǎo)低分辨率圖像所缺失的高頻信息的恢復(fù)[10]。

本文基于深度神經(jīng)網(wǎng)絡(luò)針對(duì)實(shí)際的圖像分辨率，設(shè)計(jì)了一個(gè)圖像分辨率增強(qiáng)框架，引入了適當(dāng)?shù)念A(yù)處理，通過Retinex理論實(shí)現(xiàn)照度的歸一化，并針對(duì)傳統(tǒng)的Retinex方法速度較慢，不符合Retinex理論的先驗(yàn)約束等缺點(diǎn)，設(shè)計(jì)了基于幾何包絡(luò)的Retinex方法，通過對(duì)各方面的圖像分辨率增強(qiáng)，有效的提高了實(shí)驗(yàn)結(jié)果的視覺質(zhì)量，實(shí)驗(yàn)結(jié)果也與原始高分辨率圖像更接近。

2 方法

2.1 數(shù)字圖片成像和降質(zhì)模型

超分辨率的目的是要從觀測(cè)得到的低分辨率圖像還原出“原始”高分辨率圖像，本質(zhì)是觀測(cè)過程的逆過程，所以首先需要建立一個(gè)簡(jiǎn)潔又符合事實(shí)的成像模型和降質(zhì)模型。首先，假設(shè)高分辨率圖像為L(zhǎng)1N1×L2N2的矩陣。將該矩陣寫成行接向量的形式為X=[x1，x2，x3，……，xn]T，其中N=L1N1L2N2，即將圖像的每一行所構(gòu)成的行向量按照順序首尾相接組成一個(gè)一維的向量。這里，x是一個(gè)“理想”圖像，即它是從原始的連續(xù)場(chǎng)景在Nyquist采樣率或更高采樣率上采集得到的，包含了原始場(chǎng)景的全部信息，可以完整的恢復(fù)出原始信號(hào)。采樣得到的“理想”高分辨率圖像并不能直接被人所觀測(cè)到或者被儀器所記錄下來(lái)，因?yàn)檫@僅僅是觀測(cè)過程中的一個(gè)中間結(jié)果。由于光線在空氣中傳播的不均勻性、鏡頭和場(chǎng)景的相對(duì)運(yùn)動(dòng)、鏡頭的透光缺陷等因素，“理想”的高分辨率圖像又經(jīng)過了平移旋轉(zhuǎn)等空間變換、散焦運(yùn)動(dòng)等模糊因素的影響，投影到CCD感光板上。由于CCD顆粒度的密度有限，它的采樣過程是一個(gè)降采樣過程，即圖像的大小又進(jìn)一步縮小。最后，在光電轉(zhuǎn)換和傳輸?shù)倪^程中又有模糊因素的加入，這才是完整的一個(gè)觀測(cè)過程。完整的觀測(cè)過程可以用以下公式進(jìn)行表達(dá)。

yk=DBkMkx+nk ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（1）

其中，yk為觀測(cè)到的第k幀圖像，x為“理想”圖像，Mk為L(zhǎng)1N1L2N2×L1N1L2N2的空間變換矩陣，Bk為L(zhǎng)1N1L2N2×L1N1L2N2的模糊矩陣，D為N1N2×L1N1L2L2的降采樣矩陣，kn為第k幀圖像的噪聲。

在人臉圖像的超分辨率領(lǐng)域，大部分文獻(xiàn)沒有考慮如此復(fù)雜的觀測(cè)模型，而是簡(jiǎn)化為：

y=Dx ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （2）

即忽略了模糊和噪聲因素，并事先做好人臉圖像的配準(zhǔn)，即令Mk=I，I為L(zhǎng)1N1L2N2×L1N1L2N2的單位矩陣。

2.2 Retinex光照模型

基于深度神經(jīng)網(wǎng)絡(luò)的超分辨率技術(shù)是通過神經(jīng)網(wǎng)絡(luò)輸入圖像和訓(xùn)練庫(kù)中圖像的相似性來(lái)指導(dǎo)低分辨率圖像的增強(qiáng)，但在實(shí)際圖像中，哪怕是同一場(chǎng)景在不同的光照條件下也會(huì)呈現(xiàn)完全不同的灰度分布。所以如何使圖像的照度歸一化，也是基于神經(jīng)網(wǎng)絡(luò)的超分辨率領(lǐng)域的一個(gè)研究問題。Retinex理論從人眼的觀測(cè)原理出發(fā)，較好的解釋了光照、顏色等視覺理論問題，是解決照度歸一化問題的一個(gè)突破口[11]。傳統(tǒng)的顏色理論認(rèn)為，人眼感知光照是通過感應(yīng)物體反射光線的性質(zhì)決定的。這個(gè)理論和人們?nèi)粘Ｉ钪械哪承┈F(xiàn)象不一致，如同一個(gè)物品在不同的光照環(huán)境下其反射光線明顯不同，但人眼可以大致感應(yīng)出物體的顏色并沒有改變[12]。Land對(duì)此提出了不同的看法，他認(rèn)為人類感知顏色不僅僅通過眼睛視網(wǎng)膜的感光，而且有大腦皮層的參與[13]。他認(rèn)為通過感知長(zhǎng)、中、短波長(zhǎng)的不同比例，在大腦中經(jīng)過一定的運(yùn)算形成了不同顏色的感知，據(jù)此提出了Retinex（Retina+Cortex，視網(wǎng)膜皮層）理論，并將之用于圖像增強(qiáng)等研究領(lǐng)域[14]。Retinex理論認(rèn)為，一幅自然圖像是由景物的反射系數(shù)和入射光照兩部分形成的，用公式表

示為：

S （x，y）=R （x，y）×L （x，y） ? ? ? ? ? ? ? ? ? ? ? （3）

其中R為景物的反射系數(shù)分布圖像，L為光照強(qiáng)度分布圖像，S為形成的自然圖像。本文提出了基于幾何包絡(luò)的Retinex算法，在時(shí)間效率和實(shí)驗(yàn)結(jié)果上都取得了良好的效果，并將之應(yīng)用于圖像分辨率增強(qiáng)的預(yù)處理，取得了較好的效果。

3 實(shí)驗(yàn)

1.圖像數(shù)據(jù)的獲取。對(duì)數(shù)據(jù)進(jìn)行獲取記錄，分析模式的機(jī)理，通過對(duì)機(jī)理的分析，找出基于深度神經(jīng)網(wǎng)絡(luò)的數(shù)字圖片成像和降質(zhì)模型在構(gòu)建過程中需要注意的問題。

2.模型的構(gòu)建與檢測(cè)。運(yùn)用基于深度神經(jīng)網(wǎng)絡(luò)的數(shù)字圖片成像、降質(zhì)模型和Retinex光照模型的數(shù)學(xué)算法，對(duì)圖像的各個(gè)層級(jí)與類型進(jìn)行計(jì)算與相關(guān)分類。

3.模型的設(shè)計(jì)與應(yīng)用。針對(duì)上述實(shí)驗(yàn)結(jié)果數(shù)據(jù)以及圖像分辨率的特點(diǎn)，對(duì)圖片成像、降質(zhì)模型和Retinex光照模型進(jìn)行設(shè)計(jì)，并對(duì)相關(guān)設(shè)計(jì)進(jìn)行實(shí)際的應(yīng)用檢測(cè)。

4 結(jié)果

方法對(duì)比分析：

Retinex理論對(duì)人眼和圖像間的相互作用進(jìn)行了深入的研究，并且其理論基礎(chǔ)就是將一幅輸入圖像分解為照度分量和反映物體本質(zhì)屬性的反射系數(shù)分量?jī)刹糠?。如果利用Retinex理論分離出圖像的照度分量，僅保留反射系數(shù)分量，則可以起到很好的照度歸一化效果。Retinex理論的經(jīng)典方法有基于路徑比較的方法、基于卷積的方法、基于可變框架方法等。其中，目前比較成熟，效果較好的方法有MSR方法和Kimmel方法。MSR方法屬于基于卷積的方法，Kimmel方法屬于基于可變框架方法。本文提出了一種基于幾何包絡(luò)的方法，能夠更好的符合Retinex理論的基本假設(shè)，取得了較好的實(shí)驗(yàn)效果，并且提高了時(shí)間效率?；趲缀伟j(luò)方法和MSR方法與Kimmel方法實(shí)驗(yàn)效果的對(duì)比，并從理論和實(shí)驗(yàn)兩方面對(duì)三種方法的時(shí)間效率進(jìn)行了對(duì)比。Retinex方法常應(yīng)用于薄云薄霧去除、顏色恢復(fù)、照度不均勻校正等領(lǐng)域。在本文中提出這種方法主要是用于修正薄云霧的干擾、顏色的失真和照度的不同。本文選取了薄云霧圖像、顏色失真圖像、低照度圖像各10幅進(jìn)行實(shí)驗(yàn)，這些圖像來(lái)源包括自拍圖像和Retinex的標(biāo)準(zhǔn)測(cè)試圖像。從實(shí)驗(yàn)結(jié)果可以看出，MSR方法對(duì)比度增強(qiáng)度有時(shí)不夠，實(shí)驗(yàn)結(jié)果效果不明顯，優(yōu)點(diǎn)是圖像恢復(fù)的結(jié)果比較自然，視覺效果較好。Kimmel方法容易產(chǎn)生過增強(qiáng)的效果，無(wú)形中將噪聲也放大了很多，對(duì)噪聲很敏感，而且在亮點(diǎn)、光源和明暗交界處容易產(chǎn)生光暈現(xiàn)象，很多情況下實(shí)驗(yàn)結(jié)果的效果很差。本文方法則可以很好的起到對(duì)比度增強(qiáng)、顏色保持和恢復(fù)、照度補(bǔ)足等效果，可以在去除薄云霧的同時(shí)保持自然的顏色且視覺效果較好，很好的對(duì)因照度不足而損失的顏色進(jìn)行恢復(fù)。

當(dāng)一批處理的圖像數(shù)量較大時(shí)，時(shí)間效率的提高有著重要的實(shí)際意義。多分辨率的基于幾何包絡(luò)方法在時(shí)間效率上與目前已經(jīng)提出的效果較好的MSR方法和Kimmel方法相比有著明顯的優(yōu)勢(shì)。

實(shí)驗(yàn)結(jié)果進(jìn)一步驗(yàn)證了對(duì)三種方法實(shí)用性，MSR方法盡管是非線性的時(shí)間復(fù)雜度，但增加的復(fù)雜度僅僅是對(duì)數(shù)項(xiàng)的相乘，很接近線性復(fù)雜度。而Kimmel算法由于需要大量的迭代運(yùn)算，且每步迭代的計(jì)算公式較為復(fù)雜，所以速度較慢，所以本文提出的方法通過深度神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)，得出各方法的優(yōu)劣性。

5 結(jié)論

圖像分辨率增強(qiáng)技術(shù)是一個(gè)重要的研究課題，基于深度神經(jīng)網(wǎng)絡(luò)的圖像超分辨率是本領(lǐng)域的一個(gè)研究重點(diǎn)和熱點(diǎn)，可以廣泛應(yīng)用在安防監(jiān)控、公安偵查、國(guó)家安全等領(lǐng)域。本文針對(duì)圖像的分辨率增強(qiáng)技術(shù)，指出在實(shí)際應(yīng)用中的輸入圖像往往和訓(xùn)練庫(kù)中的圖像存在照度和空間方位等的不一致性，降低了基于深度神經(jīng)網(wǎng)絡(luò)的效果，并設(shè)計(jì)了圖像分辨率增強(qiáng)的方法框架，通過引入適當(dāng)?shù)念A(yù)處理和相應(yīng)的后處理，增強(qiáng)了算法的結(jié)合性，提高了圖像分辨率的效果。

參考文獻(xiàn)：

[1] 樸智勛，金正浩，李大宇.基于多幀圖像的超分辨率算法在無(wú)人機(jī)顏色識(shí)別中的應(yīng)用[J].韓國(guó)航空航天科學(xué)學(xué)會(huì)雜志，2017，45（03）：180-190.

[2] YOU，C，Huang，K，Chae，H.移動(dòng)邊緣計(jì)算的能源效益資源分配[J].IEEE無(wú)線通信學(xué)報(bào)，2017，16（03）：1397-1411.

[3] 馮紹東，吳繼剛.空間延伸光源無(wú)透鏡同軸全息顯微鏡的分辨率增強(qiáng)方法[J].光學(xué)快報(bào)，2017，25（20）：24735.

[4] 倫緣瓦拉，法杜瓦.用在線和離線學(xué)術(shù)詞典處理文本圖像分辨率增強(qiáng)中的噪聲[J].國(guó)際文件分析與識(shí)別雜志，2018， 21（01-02）：137-157.

[5] 邱立榮，王云，吳漢虛.具有納米軸向聚焦能力的三維分辨率增強(qiáng)分裂孔徑相關(guān)差分共聚焦顯微鏡[J].光學(xué)快遞， 2018，26（03）：2314.

[6] 加爾比·邁克爾，陳嘉文，巴倫，喬納森·t.深度雙邊學(xué)習(xí)實(shí)時(shí)圖像增強(qiáng)[J].圖形交易，2017，36（04）：118.

[7] 李標(biāo)，胡斌，楊玉良，等.利用超透鏡光刻系統(tǒng)中的掩模改進(jìn)退倍成像[J].等離子體學(xué)，2017，12（03）：735-741.

[8] 權(quán)基哲，權(quán)基勛，額爾德內(nèi)巴特.利用深度學(xué)習(xí)的整體成像顯微鏡的分辨率增強(qiáng)[J].光子學(xué)雜志，2019（99）：1.

[9] 陶曾，田張，田維明.基于重復(fù)通過相干融合的空間地面雙基地sar圖像增強(qiáng)[J].地球科學(xué)與遙感快報(bào)，2017，13（12）： 1832-1836.

[10] 路易斯·西本，路易斯·洛倫佐，米歇爾·皮歇.利用貝塞爾-高斯光束增強(qiáng)共聚焦顯微鏡的分辨率[J].光學(xué)快遞，2017，25（03）：2162.

[11] 江志龍，潘星辰，嚴(yán)空.數(shù)字全息部分飽和輔助分辨率增強(qiáng)[J].應(yīng)用光學(xué)，2018，57（14）：3884.

[12] 健太郎，德卡.基于等離子體飽和激發(fā)顯微鏡的深層組織納米粒子成像的分辨率增強(qiáng)[J].急性髓細(xì)胞白血病光子學(xué)，2018，03（03）：301.

[13] 陳雙泉，王陽(yáng)華.利用頻變小波尺度提高地震分辨率[J].地球科學(xué)與遙感通訊，2018（99）：1-5.

[14] 李在成.核心臟病學(xué)成像儀器的進(jìn)展[J].核心臟病學(xué)雜志，2017，26（04）：1-14.

（江蘇鹽城師范學(xué)院 信息工程學(xué)院，江蘇 鹽城 224002）