圖像超分辨率復(fù)原技術(shù)的公安應(yīng)用現(xiàn)狀與展望

沈鄭燕

（河南警察學(xué)院刑事科學(xué)技術(shù)系 河南 鄭州 450046）

圖像超分辨率復(fù)原技術(shù)的公安應(yīng)用現(xiàn)狀與展望

沈鄭燕

（河南警察學(xué)院刑事科學(xué)技術(shù)系 河南 鄭州 450046）

在視頻偵查等公安應(yīng)用中，高品質(zhì)成像是獲取關(guān)鍵信息的前提和保障，然而各種因素的影響會使圖像質(zhì)量退化，出現(xiàn)模糊，為節(jié)省硬件成本，圖像超分辨率復(fù)原技術(shù)提供了一條解決該問題的新途徑，在公安應(yīng)用中發(fā)揮了重要作用。按照處理對象和處理方法的不同，對當(dāng)前圖像超分辨率復(fù)原技術(shù)進行了深入探討，梳理現(xiàn)階段的公安應(yīng)用情況，分析了存在的問題，并對今后的應(yīng)用前景進行了展望。

影像處理 超分辨率 圖像復(fù)原 視頻偵查

1 圖像超分辨率復(fù)原技術(shù)的分類

圖像的超分辨率復(fù)原指從低分辨率圖像獲取高分辨率圖像，提高原有圖像質(zhì)量的技術(shù)，由于在提高圖像分辨率的同時，能夠恢復(fù)系統(tǒng)截止頻率外丟失的部分高頻細(xì)節(jié)信息，也被稱為第二代圖像復(fù)原技術(shù)。

1.1 按處理對象分類

根據(jù)處理對象不同，超分辨率復(fù)原技術(shù)可分為基于圖像的超分辨率復(fù)原和基于視頻的超分辨率復(fù)原，如圖1所示。

圖 1 基于不同處理對象的圖像超分辨率復(fù)原

基于圖像的超分辨率復(fù)原僅限于圖像空間分辨率的提高，單幀復(fù)原根據(jù)一幅圖像的信息恢復(fù)出高分辨率圖像；多幀復(fù)原時，源圖像既可以是同一場景下拍攝的照片，也可以是視頻中的一個片段，但復(fù)原處理后得到的都是空間域內(nèi)的一幅高分辨率圖像。此外，多幀復(fù)原往往要考慮圖像配準(zhǔn)問題，以便實現(xiàn)多幀圖像間的亞像素運動估計，綜合利用互補信息。

而針對視頻進行處理時，除在空間域提高視頻的分辨率之外，還可以在時間域上彌補成像設(shè)備采樣率低的缺陷，進一步提高視頻質(zhì)量。具體實現(xiàn)時，超分辨率復(fù)原過程不能簡單等同于靜態(tài)圖像超分辨率復(fù)原算法的升維擴展，一般要考慮視頻的壓縮編碼、視頻的穩(wěn)定化、視頻各幀圖像間的相關(guān)性和運動估計等，特別是多視頻的超分辨率復(fù)原，還要考慮對不同設(shè)備拍攝的視頻進行畫面時間校準(zhǔn)、多角度的空間位置映射、統(tǒng)一設(shè)備成像倍率等，從而在時空上對齊多個視頻，保證超分辨率復(fù)原效果。值得注意的是，公安工作中常見的監(jiān)控視頻包括I、P、B幀[1]，各幀之間由于壓縮方式不同導(dǎo)致超分辨率復(fù)原的源圖像在質(zhì)量上有差異，但也為相關(guān)研究提供了思路，通過在低分辨率視頻中插入關(guān)鍵幀（高分辨率靜態(tài)圖像）實現(xiàn)視頻的超分辨率復(fù)原[2]。

1.2 按處理方法分類

根據(jù)處理方法的不同，超分辨率復(fù)原技術(shù)又包括基于插值的超分辨率復(fù)原、基于重建的超分辨率復(fù)原和基于學(xué)習(xí)的超分辨率復(fù)原，如圖2所示。

圖2 圖像超分辨率復(fù)原方法

插值方法思路簡單，在超分辨率復(fù)原技術(shù)中最先被研究和應(yīng)用。從開始的最鄰近插值、雙線性插值、3次多項式插值，到后來的中值插值、基于邊緣的插值、自適應(yīng)插值等，插值方法經(jīng)歷了從線性到非線性的轉(zhuǎn)變。

線性插值沒有引入新的高頻信息，圖像中的邊緣細(xì)節(jié)易出現(xiàn)鋸齒或平滑模糊，非線性插值對此有所改善，但部分算法對放大倍數(shù)敏感。由于插值方法運行速度快，適合做并行處理，滿足一般應(yīng)用需要，因此一些算法被商用，如雙3次插值法，且在某些基于重建和學(xué)習(xí)的超分辨率復(fù)原算法中，也利用插值進行輔助處理。

重建方法往往分析圖像的降質(zhì)原因，對降質(zhì)過程進行建模，得到高分辨率圖像與低分辨率圖像之間的關(guān)系，從而推導(dǎo)出重建高分辨率圖像的數(shù)學(xué)方程式，通過引入先驗知識限定方程式解的范圍，迭代求得高分辨率圖像的最終表達(dá)。重建方法可在頻率域或空間域?qū)崿F(xiàn)，雖然頻域法簡單易行，但對于監(jiān)控視頻來講，頻域重建方法不能利用各幀畫面之間的相關(guān)性，因此空域法優(yōu)勢更明顯，常用的空間域重建方法包括正則化法、最大后驗概率法、最大似然估計法、凸集投影法等。

盡管基于重建的超分辨率復(fù)原算法相對成熟并取得了良好效果，但有研究表明，處理后圖像的有效放大倍數(shù)僅為1.6倍[3]，且隨著放大倍數(shù)的增加，超分辨率復(fù)原算法的性能急劇下降，這促使基于學(xué)習(xí)的方法逐漸成為研究熱點。學(xué)習(xí)的方法可分為自學(xué)習(xí)與外部學(xué)習(xí)，自學(xué)習(xí)基于低分辨率圖像自身，通過尋找匹配的相似區(qū)域塊構(gòu)建高分辨率圖像；而外部學(xué)習(xí)引入圖像樣本庫，通過學(xué)習(xí)樣本實例或?qū)ふ腋哔|(zhì)與低質(zhì)圖像樣本庫之間的聯(lián)系實現(xiàn)分辨率的提高。目前，稀疏表示和壓縮感知等基于學(xué)習(xí)的方法已成為主流且極具發(fā)展?jié)摿Α?/p>

2 圖像超分辨復(fù)原技術(shù)的公安應(yīng)用現(xiàn)狀

公安實戰(zhàn)中，許多工作會涉及影像資料的分析、比對和研判，這些影像資料有時圖像質(zhì)量退化，視覺效果并不理想，此時可以通過提升成像設(shè)備性能的方式獲取高質(zhì)量圖像，但實際工作中為了節(jié)省成本，往往通過圖像復(fù)原等軟件處理方式改善圖像質(zhì)量。

2.1 應(yīng)用領(lǐng)域

目前在公安領(lǐng)域，超分辨率復(fù)原技術(shù)主要應(yīng)用于以下幾方面：

（1）視頻偵查、無人機偵察[4-5]。在天網(wǎng)系統(tǒng)和現(xiàn)代化無人機偵察系統(tǒng)中，由于硬件設(shè)備條件限制、距離遠(yuǎn)或存在相對運動等原因，導(dǎo)致視頻圖像出現(xiàn)模糊，無法辨別目標(biāo)特征，通過超分辨率復(fù)原技術(shù)可以顯著提高圖像特征的利用率。

（2）公安數(shù)據(jù)庫檢索。在以圖像為基礎(chǔ)的公安數(shù)據(jù)庫中（如指紋數(shù)據(jù)庫），通過使用超分辨率復(fù)原技術(shù)處理待檢索圖像，能夠提高檢索匹配的效率和準(zhǔn)確率。

（3）人臉識別。人臉識別在偵查和安防中都有突出應(yīng)用，借助超分辨率技術(shù)進行人臉識別能夠提高識別準(zhǔn)確率，相關(guān)研究包括素描人臉識別、動態(tài)視頻人臉識別以及人臉老化模擬等[6-8]。

（4）違禁物品檢測。在重要的出入口如機場、火車站，一線城市使用的安檢設(shè)備越來越先進。其中，在歐美國家應(yīng)用廣泛的被動毫米波成像檢測設(shè)備已引起重視，該設(shè)備無電磁輻射且具穿透性，使用超分辨率技術(shù)來提高隱匿違禁物品圖像的清晰度[9-10]。

2.2 應(yīng)用中存在的問題

從公安工作實際出發(fā)，目前在圖像超分辨率復(fù)原技術(shù)的應(yīng)用中要注意以下問題：

（1）圖像超分辨率復(fù)原的評價。相關(guān)圖像質(zhì)量的評價可分為主觀評價和客觀評價。主觀評價依賴于觀察者的感官和經(jīng)驗，客觀評價基于客觀評價指標(biāo)，二者的評價主體和目的都不同。當(dāng)圖像超分辨率復(fù)原的結(jié)果作為輸入用于系統(tǒng)自動識別等時，應(yīng)以客觀評價體系為主，而當(dāng)復(fù)原結(jié)果供技術(shù)人員進行分析研判時，應(yīng)以主觀評價為主。以視頻偵查為例，低質(zhì)量圖像的超分辨率復(fù)原效果由技術(shù)人員判斷優(yōu)劣，復(fù)原過程中，根據(jù)經(jīng)驗判斷調(diào)整各項參數(shù)達(dá)到個人認(rèn)為的最優(yōu)效果，因此不同的人得到的處理效果會有所不同。

（2）警用軟件系統(tǒng)的技術(shù)滯后。目前，公安部門的刑事圖像處理主要依靠購置的專用軟件完成。這些軟件在技術(shù)上有一定滯后性，新的圖像處理理論不能被及時應(yīng)用，同時其維護和升級只能依賴軟件公司，增加了相關(guān)保密工作的困難。以視頻偵查的模糊圖像處理系統(tǒng)為例，多數(shù)警用軟件提供多幀圖像超分辨率復(fù)原技術(shù)，即從視頻中的幾幀圖像復(fù)原出一幅高分辨率圖像，直接的視頻超分辨率復(fù)原還不多見，而學(xué)術(shù)界的相關(guān)研究及成果早已出現(xiàn)，且國外已有成熟產(chǎn)品推向市場，如圖3所示[11]。

圖3 Ikena刑偵視頻增強軟件處理效果對比

（3）專業(yè)人才的培養(yǎng)。現(xiàn)階段公安部門還缺乏理論算法研究的相關(guān)人才，算法仿真是理論技術(shù)應(yīng)用和發(fā)展的關(guān)鍵，利用專業(yè)軟件如MATLAB等進行算法的程序設(shè)計，能夠快速有效的完成理論驗證和新技術(shù)的轉(zhuǎn)化。以分辨率較低的實際車輛圖像為例，在MATLAB中，分別構(gòu)建算法，實現(xiàn)了基于3次多項式插值的超分辨率復(fù)原、基于L1范數(shù)的超分辨率重建和基于多元回歸聯(lián)合學(xué)習(xí)的超分辨率復(fù)原[12]，結(jié)果如圖4所示。同樣在MATLAB中統(tǒng)計3種方法得到結(jié)果的標(biāo)準(zhǔn)差和平均梯度，如右表。標(biāo)準(zhǔn)差越大，圖像對比度越高，平均梯度越大，圖像清晰度越高，對比表中數(shù)據(jù)可知，引入學(xué)習(xí)方法的超分辨率復(fù)原結(jié)果最好。

圖4 MATLAB圖像超分辨率復(fù)原

表 MATLAB中三種方法所得高分辨率圖像的評價

由此可見，刑事技術(shù)人員除使用識慧、警視通、IV007等專用軟件外，還有必要多做理論算法的研究，加強專業(yè)軟件如MATLAB的學(xué)習(xí)和使用，從而及時掌握和應(yīng)用先進的理論技術(shù)。

3 展望

未來圖像超分辨率復(fù)原技術(shù)的研究必將圍繞準(zhǔn)確性、實時性、魯棒性三方面對現(xiàn)有方法進行改進或探索新方法，使其向著更好、更快、更穩(wěn)定的方向發(fā)展。近年內(nèi)有望在以下方面進一步取得研究成果：

（1）單幀超分辨率復(fù)原的去模糊。單幀復(fù)原可利用的信息較少，恢復(fù)系統(tǒng)截止頻率外的高頻細(xì)節(jié)相對困難，圖像雖然能被放大但模糊仍然存在，而由于實際情況中單幀復(fù)原可操作性很強，因此部分研究仍將集中于對這一問題的改善上。

（2）多幀超分辨率復(fù)原的運動估計。多幀復(fù)原可利用的信息量增加，然而各幀之間的亞像素級運動補償存在誤差，影響復(fù)原效果，如何更準(zhǔn)確的進行運動估計成為性能提升的關(guān)鍵，會在今后有所突破。

（3）視頻超分辨率復(fù)原的時空相關(guān)性。視頻復(fù)原涉及時間和空間分辨率的提高，然而二者之間存在相關(guān)性，時間分辨率的提高一定程度上以空間分辨率的降低為代價，應(yīng)根據(jù)需要進行折中。相關(guān)研究會著重探討分析時空分辨率的聯(lián)合提高。

（4）插值方法的圖像邊緣保持?；诓逯捣椒ǖ某直媛蕪?fù)原在圖像邊緣處易出現(xiàn)失真，用于復(fù)雜的自然圖像如紋理圖像時，效果不甚理想。通過算法改進可以擴大插值方法的適用范圍。

（5）重建方法中圖像降質(zhì)過程的建模。通過理論分析得到的降質(zhì)模型與實際降質(zhì)效果有較大差距，從而導(dǎo)致部分重建方法推廣應(yīng)用的困難，作為圖像超分辨率復(fù)原較成熟的一種方法，超分辨率重建將致力于精確建模，以提高超分辨率復(fù)原的實際應(yīng)用價值。

（6）學(xué)習(xí)方法的處理速度。基于學(xué)習(xí)的方法要搜索學(xué)習(xí)樣本實例或訓(xùn)練樣本庫，算法復(fù)雜度高，處理速度較慢，對算法進行優(yōu)化，提高處理效率成為亟待解決的問題，算法性能必將隨著研究的深入得到提升。

同時，圖像超分辨率復(fù)原的應(yīng)用領(lǐng)域也會有進一步拓展。而在公安領(lǐng)域內(nèi)，除現(xiàn)有處理方法的性能提升外，視頻的超分辨率復(fù)原甚至是多視頻的超分辨率復(fù)原會逐漸得到應(yīng)用。此外，為了緊跟技術(shù)發(fā)展并研發(fā)具有自主知識產(chǎn)權(quán)的產(chǎn)品，公安院校和有關(guān)公安部門也應(yīng)注重技術(shù)人才的培養(yǎng)，開設(shè)相關(guān)課程或開展培訓(xùn)，更好地為公安實戰(zhàn)服務(wù)。

[1]楊洪臣,李苑.視頻偵查技術(shù)[M].北京:中國人民公安大學(xué)出版社,2015:173.

[2]張陽.基于樣例學(xué)習(xí)和關(guān)鍵幀的視頻超分辨重建[D] . 西安:西安電子科技大學(xué),2014:43-45.

[3]LIN Z,Shum H Y.Fundamental Limits of Reconstruction-Based Super-Resolution Algorithms under Local Translation[J].IEEE Trans.Pattern Analysis and Machine Intelligence,2004(1):83-97.

[4]郝洪建,張紅星,楊大祥.超分辨率圖像重建在法庭科學(xué)中的應(yīng)用[J]. 影像技術(shù),2012(1):35-36.

[5]張巖,李建增,李德良,等.無人機偵察視頻超分辨率重建方法[J]. 中國圖象圖形學(xué)報,2016(7):967-976.

[6]趙京晶,方琪,梁植程,等. 超分辨率重建的素描人臉識別[J].中國圖象圖形學(xué)報,2016(2):218-224.

[7]茹志鵑.基于動態(tài)視頻的人臉識別技術(shù)研究[J].電子測試,2016(19):61-62.

[8]徐瑩.基于分層結(jié)構(gòu)和稀疏表示的人臉老化模擬研究[D].長沙:中南大學(xué),2012:27-31.

[9]朱書進,李躍華.基于改進自適應(yīng)流形的毫米波圖像超分辨復(fù)原[J]. 微波學(xué)報,2015,10:258-261.

[10]李志豪,溫亞珍.主動毫米波成像技術(shù)在公共安全領(lǐng)域中的應(yīng)用分析[J]. 紅外,2014(7):29-32.

[11]MOTIONDSP. Forensic Video Enhancement Software for Law Enforcement[EB-OL]. [2017-04-07].http://www.motiondsp. com/wp-content/uploads/Ikena_Forensic_2016.pdf.

[12]ZHANG K,WANG B Q,Zuo W M,etc. Joint Learning of Multiple Regressors for Single Image Super-Resolution [J]. IEEE Signal Processing Letters,2016(1):102-106.

（責(zé)任編輯：于 萍）

TN911.73；TP391.41

A

2095-7939（2017）04-0125-04

10.14060/j.issn.2095-7939.2017.04.026

2017-04-07

河南警察學(xué)院青年項目（編號：HNJY-2016-QN-03）。

沈鄭燕 （1982-），女，河南鄭州人，河南警察學(xué)院刑事科學(xué)技術(shù)系講師，博士，主要從事刑事影像處理與分析研究。