《中國(guó)圖象圖形學(xué)報(bào)》低質(zhì)圖像處理與語義理解專欄簡(jiǎn)介

胡清華，左旺孟，張長(zhǎng)青，任冬偉，韓向娣

1.天津大學(xué)，天津 300072；2.哈爾濱工業(yè)大學(xué)，哈爾濱 150001；3.《中國(guó)圖象圖形學(xué)報(bào)》編輯部，北京 100190

視頻圖像是人類獲取信息的重要通道，也是大數(shù)據(jù)時(shí)代占比最高的信息載體。當(dāng)前，圖像視頻傳感裝置被廣泛使用，成為交通、醫(yī)療、安防、質(zhì)檢等應(yīng)用領(lǐng)域必不可缺的基礎(chǔ)設(shè)施。在自動(dòng)駕駛、智慧城市、深海深空探測(cè)等開放應(yīng)用環(huán)境中，數(shù)字圖像的采集受到軟硬件制約和不理想拍攝環(huán)境的影響，噪聲、低分辨率、模糊、雨霧、甚至缺損等低質(zhì)圖像數(shù)據(jù)大量出現(xiàn)，為圖像處理及其語義理解任務(wù)帶來嚴(yán)峻挑戰(zhàn)。

近年來，基于大規(guī)模的高質(zhì)量圖像數(shù)據(jù)集，盡管物體分類/檢測(cè)/分割和行為識(shí)別等語義理解任務(wù)在深度模型、學(xué)習(xí)方法方面取得了快速發(fā)展，但其處理低質(zhì)圖像時(shí)性能仍十分有限。同時(shí)，開放應(yīng)用環(huán)境中成對(duì)訓(xùn)練數(shù)據(jù)采集受限，基于半監(jiān)督、無監(jiān)督學(xué)習(xí)方法的低質(zhì)圖像處理和語義理解亟待研究。如何發(fā)展有效的低質(zhì)圖像處理方法、構(gòu)建面向低質(zhì)圖像的語義理解方法體系成為計(jì)算機(jī)視覺領(lǐng)域的關(guān)鍵性問題和挑戰(zhàn)性難題，受到廣大學(xué)者的高度關(guān)注。

為了更好地促進(jìn)低質(zhì)圖像處理和語義理解研究與應(yīng)用的發(fā)展，為相關(guān)學(xué)者提供學(xué)術(shù)交流的平臺(tái)，《中國(guó)圖象圖形學(xué)報(bào)》邀請(qǐng)業(yè)內(nèi)專家共同策劃推出“低質(zhì)圖像處理與語義理解”專欄，主要聚焦于低質(zhì)圖像和視頻的復(fù)原與增強(qiáng)以及面向低質(zhì)視覺數(shù)據(jù)的語義理解等研究，促進(jìn)相關(guān)智能算法在自動(dòng)駕駛等領(lǐng)域的落地應(yīng)用。歡迎人工智能、計(jì)算機(jī)視覺等相關(guān)領(lǐng)域的科研人員及企業(yè)同仁踴躍投稿。

專欄收到領(lǐng)域內(nèi)相關(guān)學(xué)者積極踴躍的投稿。經(jīng)過嚴(yán)格評(píng)審，共收錄學(xué)術(shù)論文9篇，其中綜述1篇、算法論文8篇。

綜述《圖像去模糊研究綜述》（作者：胡張穎，周全*，陳明舉，崔景程，吳曉富，鄭寶玉）回顧了整個(gè)圖像去模糊領(lǐng)域的發(fā)展歷程，對(duì)盲圖像去模糊和非盲圖像去模糊中具有影響力的算法進(jìn)行論述和分析。討論了圖像模糊的常見原因以及去模糊圖像的質(zhì)量評(píng)價(jià)方法。全面闡述了傳統(tǒng)方法和基于深度學(xué)習(xí)方法的基本思想，并針對(duì)圖像非盲去模糊和圖像盲去模糊兩個(gè)方面的一些文獻(xiàn)進(jìn)行了綜述?；谏疃葘W(xué)習(xí)的方法包括基于卷積神經(jīng)網(wǎng)絡(luò)、基于循環(huán)神經(jīng)網(wǎng)絡(luò)、基于生成式對(duì)抗網(wǎng)絡(luò)和基于Transformer 的方法等。簡(jiǎn)要介紹了圖像去模糊領(lǐng)域的常用數(shù)據(jù)集并比較分析了一些代表性圖像去模糊算法的性能。最后，探討了圖像去模糊領(lǐng)域所面臨的挑戰(zhàn)，并對(duì)未來的研究方法進(jìn)行了展望。

《基于照度與場(chǎng)景紋理注意力圖的低光圖像增強(qiáng)》（作者：趙明華，汶怡春，都雙麗*，胡靜，石程，李鵬）能有效提升圖像亮度和對(duì)比度，且在突出暗區(qū)紋理時(shí)，能有效抑制噪聲。論文方法用于極低照度圖像時(shí)，在色彩還原、細(xì)節(jié)紋理恢復(fù)和噪聲抑制方面均具有明顯優(yōu)勢(shì)。代碼已共享在Github 上：https://github.com/shuanglidu/LLIE_CEIST.git。

《輕量級(jí)圖像超分辨率的藍(lán)圖可分離卷積Transformer 網(wǎng)絡(luò)》（作者：畢修平，陳實(shí)，張樂飛*）所提出的藍(lán)圖可分離卷積Transformer 網(wǎng)絡(luò)BSTN 以較少的參數(shù)量和浮點(diǎn)運(yùn)算量達(dá)到了先進(jìn)水平，能獲得高質(zhì)量的超分辨率重建結(jié)果。

《圖像復(fù)原中自注意力和卷積的動(dòng)態(tài)關(guān)聯(lián)學(xué)習(xí)》（作者：江奎，賈雪梅，黃文心*，王文兵，王正，江俊君）論文在背景修復(fù)中引入退化先驗(yàn)，并據(jù)此提出一種動(dòng)態(tài)關(guān)聯(lián)學(xué)習(xí)的圖像修復(fù)方法。核心是一個(gè)新的多輸入注意力模塊，將降質(zhì)擾動(dòng)的消除和背景修復(fù)關(guān)聯(lián)起來。通過結(jié)合深度可分離卷積，利用CNN 和SA 兩種架構(gòu)的優(yōu)勢(shì)實(shí)現(xiàn)高效率和高質(zhì)量圖像修復(fù)。論文算法在效果和性能上具有優(yōu)勢(shì)，在常見的圖像去雨、低照度圖像增強(qiáng)和水下圖像修復(fù)等任務(wù)上優(yōu)于其他代表性的方法。

《局部特征增強(qiáng)的轉(zhuǎn)置自注意力圖像超分辨率重建》（作者：孫陽，丁建偉*，張琪，鄧琪瑤）所提出的網(wǎng)絡(luò)模型能夠充分地對(duì)特征信息全局關(guān)系進(jìn)行建模，同時(shí)也不會(huì)丟失圖像特有的局部相關(guān)性。重建圖像質(zhì)量明顯提高，細(xì)節(jié)更加豐富，具有一定的有效性與先進(jìn)性。

《結(jié)合稀疏先驗(yàn)與多模式分解的低秩張量恢復(fù)方法》（作者：楊秀紅*，茍?zhí)锢ぃ︹?，金海燕，石?zhēng)浩）提出的基于稀疏先驗(yàn)與多模式張量分解的低秩張量恢復(fù)方法，可同時(shí)利用張量的全局低秩性與局部稀疏性，能夠?qū)κ軗p的多維視覺數(shù)據(jù)進(jìn)行有效修復(fù)。

《視覺顯著性驅(qū)動(dòng)的全景渲染圖非局部降噪》（作者：韓魯光，陳純毅*，申忠業(yè)，胡小娟，于海洋）首先使用全景圖顯著區(qū)域檢測(cè)算法獲取全景畫面的顯著區(qū)域；然后使用梯度幅值相似性偏差輔助的非局部均值（GMSDA-NLM）濾波算法，降低顯著區(qū)域的噪聲；同時(shí)設(shè)計(jì)并行非局部均值（P-NLM）濾波算法，加快降噪處理速度，降低非顯著區(qū)域噪聲；最后利用改進(jìn)的Canny 算法提取梯度特征，同時(shí)結(jié)合各向異性擴(kuò)散引導(dǎo)濾波來優(yōu)化降噪結(jié)果。該算法能夠很好地用于全景圖降噪，濾波效果佳，對(duì)全景電影制作應(yīng)用有重要的理論和實(shí)際意義。

《MSPRL：面向圖像逆半色調(diào)的多尺度漸進(jìn)式殘差學(xué)習(xí)網(wǎng)絡(luò)》（作者：李飛宇，楊俊*，桑高麗）提出的逆半色調(diào)模型，綜合UNet架構(gòu)和多尺度圖像信息的優(yōu)點(diǎn)，選用合適的訓(xùn)練策略，使得圖像重建的細(xì)節(jié)與紋理更加清晰，視覺效果更加細(xì)致。

《語義分割和HSV 色彩空間引導(dǎo)的低光照?qǐng)D像增強(qiáng)》（作者：張航，顏佳*）提出一個(gè)迭代圖像增強(qiáng)網(wǎng)絡(luò)，逐步學(xué)習(xí)低光照?qǐng)D像與增強(qiáng)圖像之間像素級(jí)的最佳映射，同時(shí)為了在增強(qiáng)過程中保留語義信息，引入一個(gè)無監(jiān)督的語義分割網(wǎng)絡(luò)并計(jì)算語義損失，該網(wǎng)絡(luò)不需要昂貴的分割注釋。為了進(jìn)一步解決色彩失真問題，在訓(xùn)練時(shí)利用HSV 色彩空間設(shè)計(jì)HSV 損失；為了解決低圖像圖像增強(qiáng)中出現(xiàn)細(xì)節(jié)不清晰的問題，設(shè)計(jì)了空間一致性損失，使增強(qiáng)圖像與對(duì)應(yīng)的低光照?qǐng)D像盡可能細(xì)節(jié)一致。所提出的低光照?qǐng)D像增強(qiáng)方法能有效解決細(xì)節(jié)不清晰、色彩失真等問題，具有一定的應(yīng)用價(jià)值。

我們期待廣大讀者和科技人員通過“低質(zhì)圖像處理與語義理解”專欄，能夠更深入、更全面地了解該領(lǐng)域的最新方法和應(yīng)用，吸引更多學(xué)者從事相關(guān)研究并產(chǎn)生具有國(guó)際影響力的優(yōu)秀成果，為本領(lǐng)域的發(fā)展做出新的貢獻(xiàn)。