摩爾紋圖案自動(dòng)去除技術(shù)綜述

亓文法 劉宇鑫 郭宗明

（北京大學(xué)王選計(jì)算機(jī)研究所 北京 100080）

在21 世紀(jì)這個(gè)網(wǎng)絡(luò)信息爆炸的時(shí)代，數(shù)字圖像作為人類認(rèn)知世界的視覺基礎(chǔ)，已經(jīng)成為信息記錄、表達(dá)、儲(chǔ)存及傳播的重要手段.同時(shí)，隨著數(shù)碼相機(jī)、平板電腦以及智能手機(jī)等移動(dòng)設(shè)備的迅速普及，人們可以輕松地獲取各種有意義或有趣的寶貴瞬間作為數(shù)字圖像的內(nèi)容.但是當(dāng)利用光學(xué)鏡頭設(shè)備拍攝電子屏幕（如LED 屏、LCD 屏等）或者高頻重復(fù)紋理圖案（例如布料、瓷磚等）時(shí)，若相機(jī)的彩色濾光片陣列（colour filter array, CFA）與拍攝對(duì)象條紋之間的空間頻率接近，則拍攝圖像中會(huì)出現(xiàn)不規(guī)則的點(diǎn)狀、條紋、曲線或者漣漪等形狀的干擾圖案，即所謂的摩爾紋，如圖1 所示.因?yàn)閺臄?shù)學(xué)上講，2 個(gè)具有相近頻率的等幅正弦波被疊加，合成信號(hào)的振幅將會(huì)根據(jù)2個(gè)頻率之間的差異而發(fā)生隨機(jī)變化[1].摩爾紋圖案的出現(xiàn)嚴(yán)重降低了拍攝圖像的視覺質(zhì)量和美感價(jià)值，并且會(huì)影響后續(xù)的傳統(tǒng)圖像處理效果，比如圖像超分[2]、圖像分割[3]、人臉識(shí)別[4-5]等.依據(jù)拍攝硬件設(shè)備、方向角度以及距離遠(yuǎn)近的差異，摩爾紋圖案存在著形狀各異、頻譜廣泛、紋理隨機(jī)以及顏色復(fù)雜等動(dòng)態(tài)特性.因此，拍照?qǐng)D像中的摩爾紋圖案自動(dòng)去除面臨著巨大的挑戰(zhàn).

圖1 不同尺度、頻率和顏色的摩爾紋Fig.1 Moiré pattern of different scales, frequencies, and colors

理論上講，摩爾紋去除可以視為傳統(tǒng)的圖像修復(fù)處理，其目的是消除拍照?qǐng)D像中的摩爾紋圖案噪聲，重建圖像的高頻細(xì)節(jié)以及恢復(fù)顏色空間信息[6].摩爾紋圖案去除算法的輸入為一幅包含摩爾紋圖案的污染圖像，輸出則為一幅去除摩爾紋圖案并進(jìn)行了顏色空間信息恢復(fù)的干凈圖像.由于摩爾紋圖案和原始圖像信號(hào)在空域和頻域的混合范圍都很廣，傳統(tǒng)的圖像去噪[7-8]、去網(wǎng)紋[9-10]和去模糊[11]等圖像修復(fù)算法不能有效地直接應(yīng)用于摩爾紋圖案去除任務(wù).比如，圖像去噪任務(wù)通常假定噪聲僅存在高頻帶中，但摩爾紋的分量不規(guī)則地分布于從低頻到高頻的各個(gè)子帶中，即表現(xiàn)為在不同圖像之間甚至同一圖像中的不同區(qū)域，摩爾紋圖案都會(huì)隨機(jī)占據(jù)不同能量的頻域子帶；圖像去網(wǎng)紋技術(shù)消除的圖像紋理通常是均勻分布的，但是摩爾紋圖案的分布疏密不均勻；圖像去模糊技術(shù)則要求圖像噪聲的顏色或者強(qiáng)度變化幅度相對(duì)一致，而在實(shí)際場景中CFA 的顏色分布不均衡，使得摩爾紋圖案在RGB 顏色通道中分別顯示不同的強(qiáng)度.為了抑制摩爾紋圖案的產(chǎn)生，最常用的方法是在成像之前添加一些預(yù)處理，例如，在相機(jī)鏡頭前面放置一個(gè)抗混疊濾波器[12-13]，并對(duì)CFA 的輸出圖像應(yīng)用相對(duì)復(fù)雜的插值算法[14-15].由于光學(xué)濾波器會(huì)導(dǎo)致高頻信息丟失，并導(dǎo)致圖像過度平滑，這些預(yù)處理方法在實(shí)踐中發(fā)揮的能力很有限.因此，大部分的工作聚焦于圖像去摩爾紋的后處理方法研究，尤其是針對(duì)拍攝后的屏幕圖像.

早期的摩爾紋圖案去除研究工作主要是基于摩爾紋生成模型展開的，其中利用了摩爾紋圖案的特定先驗(yàn)知識(shí)和前提假設(shè).考慮到常用的Bayer 型CFA通常會(huì)對(duì)采集的顏色通道分量進(jìn)行插值處理后才能得到拍照后的全彩色圖像，因此通過改進(jìn)圖像插值算法可以有效抑制摩爾紋干擾現(xiàn)象的發(fā)生[16-17].為了充分考慮顏色通道的相關(guān)性，更高性能的圖像插值算法被提出，如梯度插值方法[18]、自適應(yīng)插值方法[19]、加權(quán)系數(shù)插值方法[20]等.該類方法得到的修復(fù)圖像能夠較好地保留圖像的細(xì)部邊緣特征，但算法實(shí)現(xiàn)過于復(fù)雜，難以在實(shí)際場景中得到廣泛應(yīng)用.通過對(duì)摩爾紋圖案的空間結(jié)構(gòu)統(tǒng)計(jì)特征和頻域能量分布特性進(jìn)行分析，經(jīng)過摩爾紋污染的拍攝圖像可以被視為摩爾紋圖案和背景自然圖像的非線性疊加[21-22].Liu 等人[23]和Yang 等人[24]分別基于加性模型提出了用于紋理圖像摩爾紋和屏攝圖像摩爾紋的消除方法，通過圖像分解模型實(shí)現(xiàn)摩爾紋圖案和背景自然圖像的區(qū)分，并同時(shí)保留圖像細(xì)節(jié)以及保證圖像銳度.Fang 等人[25]將污染屏攝圖像描述為潛在層和摩爾紋圖案層，結(jié)合潛在層的分段常數(shù)特性，提出了一種凸模型來解決摩爾紋消除問題.Sasada 等人[26]和Sidorov 等人[27]基于摩爾紋圖案具有特定形狀（如條紋、點(diǎn)狀或單色）的假設(shè)來進(jìn)行檢測，并將摩爾紋圖案與背景層相分離，實(shí)現(xiàn)摩爾紋圖案的去除和背景顏色通道信息的恢復(fù).另外，由于摩爾紋圖案可以視為一種高頻噪聲，很多學(xué)者通過對(duì)圖像頻域能量信號(hào)進(jìn)行分析，并應(yīng)用相應(yīng)濾波器將摩爾紋圖案作為特定頻率信號(hào)去除.常見的濾波器包括中值濾波器[28-29]、高斯陷波濾波器[28]、DoG（difference of Gaussians）[30]、非線性濾波器[31-32]、自適應(yīng)濾波器[33]等.但是該類方法使用到的濾波器通常是經(jīng)過人工設(shè)計(jì)的，去除摩爾紋圖案后的圖像會(huì)出現(xiàn)局部過平滑現(xiàn)象，部分圖像細(xì)節(jié)缺失.另外，當(dāng)背景自然圖像中的感興趣區(qū)域（region of interest, ROI）跟摩爾紋圖案具有同樣的高頻特性時(shí)，基于濾波的摩爾紋圖案消除方法就會(huì)失效.總之，基于傳統(tǒng)信號(hào)處理的方法通常依賴于摩爾紋圖案生成的先驗(yàn)知識(shí)，計(jì)算復(fù)雜度高，而真實(shí)世界中的摩爾紋圖案往往具有不同的形狀和頻域特征，此時(shí)該類方法的處理效率較低.

近年來，基于卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network, CNN）的學(xué)習(xí)方法得到了長足發(fā)展，成為計(jì)算機(jī)視覺和圖像處理領(lǐng)域的一場革命.CNN 在圖像分類和圖像識(shí)別方面取得成功后，同樣在低水平視覺和圖像處理任務(wù)中也被證明是非常有效的，包括圖像超分辨率[34-35]、去馬賽克[36]、圖像去噪[37]和圖像重建[38]等.Abraham[39]將CNN 方法引入摩爾紋圖案處理領(lǐng)域，提出了一種利用小波分解和多輸入深度卷積神經(jīng)網(wǎng)絡(luò)模型來檢測計(jì)算機(jī)屏幕拍攝圖像（屏攝圖像）中的高頻摩爾紋噪聲圖案.由于摩爾紋圖案跨越很寬的頻域范圍，Sun 等人[40]利用一種多分辨率全卷積神經(jīng)網(wǎng)絡(luò)（deep multiresolution fully convolutional neural network, DMCNN）自動(dòng)去除屏攝圖像中的摩爾紋圖案，該網(wǎng)絡(luò)在計(jì)算如何消除每個(gè)頻帶內(nèi)的摩爾紋偽影之前，對(duì)輸入圖像進(jìn)行非線性多分辨率分析.之后，更多基于空域的多尺度CNN 模型[1,41-46]被相繼提出，屏攝圖像中的摩爾紋圖案去除性能得到顯著提高.除了考慮摩爾紋圖案的空間特征外，Zheng 等人[47]提出了可學(xué)習(xí)的多尺度帶通濾波器，以處理頻域中摩爾紋圖案的多樣性.此外，空間域和頻域變換也被用來探究摩爾紋圖案的互補(bǔ)特性，高效地實(shí)現(xiàn)自然圖像和紋理的恢復(fù).然而，文獻(xiàn)[1,41-47]的方法基于監(jiān)督學(xué)習(xí)需要大量的可以成對(duì)的干凈圖像-摩爾紋圖像進(jìn)行訓(xùn)練，其模型性能在很大程度上取決于訓(xùn)練對(duì)的特性.為了解決這一限制，最近研究了使用生成性對(duì)抗網(wǎng)絡(luò)（generative adversarial network,GAN）的無監(jiān)督學(xué)習(xí)算法[48-50]，由摩爾紋圖案生成網(wǎng)絡(luò)和摩爾紋圖案去除網(wǎng)絡(luò)組成.生成網(wǎng)絡(luò)負(fù)責(zé)生成摩爾紋圖案以構(gòu)造摩爾紋和干凈圖像的偽配對(duì)集，然后使用生成的偽配對(duì)數(shù)據(jù)集以有監(jiān)督的方式對(duì)摩爾紋圖案去除網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以有效地去除摩爾紋圖案.

綜上所述，摩爾紋圖案去除算法主要包括基于傳統(tǒng)信號(hào)處理方法和基于深度學(xué)習(xí)方法.鑒于摩爾紋圖案的頻率分布復(fù)雜、顏色通道幅度的不平衡以及外觀屬性不同等特點(diǎn)，深度學(xué)習(xí)方法在摩爾紋圖案去除方面的性能更加出眾.除了如何構(gòu)造有效的摩爾紋圖案去除網(wǎng)絡(luò)結(jié)構(gòu)外，大規(guī)模圖像對(duì)的基準(zhǔn)數(shù)據(jù)庫構(gòu)建對(duì)于摩爾紋去除算法的研究和評(píng)估也具有重要意義.

本文的主要貢獻(xiàn)包括3 個(gè)方面:

1）系統(tǒng)梳理了摩爾紋圖案去除方法的研究脈絡(luò)，并進(jìn)行合理的分類歸納總結(jié)；

2）基于相同的公開基準(zhǔn)數(shù)據(jù)庫，選擇主流的基于深度學(xué)習(xí)方法進(jìn)行算法實(shí)現(xiàn)和性能對(duì)比分析，并總結(jié)了相應(yīng)方法的優(yōu)缺點(diǎn)；

3）對(duì)目前的摩爾紋圖案去除算法的研究現(xiàn)狀進(jìn)行總結(jié)，并對(duì)未來的研究方向進(jìn)行展望.

1 基于先驗(yàn)知識(shí)的方法

1.1 圖像濾波

當(dāng)使用智能手機(jī)或數(shù)碼相機(jī)等設(shè)備拍攝屏幕圖像時(shí)，由于顯示設(shè)備像素和攝像頭傳感器網(wǎng)格之間的混疊，導(dǎo)致傳感器對(duì)場景圖像產(chǎn)生欠采樣，因而產(chǎn)生頻率干涉的摩爾紋圖案.為此，數(shù)碼相機(jī)開發(fā)商提出了一種光學(xué)低通濾波器（optical low pass filter, OLPF）方案[12]，主要是使用2 個(gè)透鏡將光信號(hào)折射至2 個(gè)方向，從而降低信號(hào)源的頻率以避免混疊.在此基礎(chǔ)上，Schoberl 等人[13]計(jì)算求得了一組可以達(dá)到最小信號(hào)頻率混疊和最好圖像分辨率的濾波器參數(shù).除了OLPF 這種前置濾波方法以外，“后處理”的濾波方法也在專業(yè)領(lǐng)域得到了應(yīng)用.

Wei 等人[28]提出了一種從掃描透射X 射線顯微鏡圖像中濾除摩爾紋圖案噪聲的后處理方法.該方法包括使用局部中值濾波器半自動(dòng)檢測傅里葉振幅譜中的譜峰，以及使用高斯陷波濾波器消除譜噪聲峰值.文獻(xiàn)[30]通過使用DoG 對(duì)傅里葉圖像進(jìn)行濾波，分析圖像中的摩爾紋圖案來識(shí)別人臉欺騙.盡管高頻濾波器可以檢測摩爾紋圖案，但它無法將其與其他感興趣的高頻對(duì)象區(qū)分開，這可能會(huì)導(dǎo)致誤報(bào).Sidorov 等人[31]通過研究摩爾紋變形模型，基于圖像傅里葉頻譜幅值的閾值化設(shè)計(jì)了非線性濾波器，解決通過硬件設(shè)備在電影到視頻的數(shù)字轉(zhuǎn)換過程中出現(xiàn)的摩爾紋干擾問題，以減少由于摩爾紋圖案的非平穩(wěn)性而可能出現(xiàn)的振鈴偽影的影響.基于掃描半色調(diào)圖像模型，Sun 等人[33]提出了一種基于自適應(yīng)濾波的去網(wǎng)紋方法，從掃描圖像中恢復(fù)出高質(zhì)量的連續(xù)色調(diào)圖像.首先，采用基于圖像冗余的去噪算法來降低打印噪聲和衰減失真；然后，使用掃描圖像的屏幕頻率和局部梯度特征進(jìn)行自適應(yīng)濾波；最后，使用邊緣保留濾波器進(jìn)一步增強(qiáng)邊緣的清晰度，以恢復(fù)高質(zhì)量的連續(xù)色調(diào)圖像.文獻(xiàn)[28-33]的方法均將摩爾紋當(dāng)成了一種高頻噪聲，通過去除噪聲的方式達(dá)到摩爾紋去除的目的.然而，與噪聲不同的是，摩爾紋圖案廣泛分布在圖像的各個(gè)頻帶，傳統(tǒng)的基于圖像濾波的方法并不能完全解決摩爾紋去除的問題.

1.2 圖像插值

拍照設(shè)備傳感器表面覆蓋了CFA，傳感器則具有感知光線不同色彩強(qiáng)度的能力，其中每個(gè)濾光片僅允許RGB 3 原色中的其中一種顏色通過，即CFA僅僅采集到了原始圖像1/3 的信息量.為了重建原始圖像，需要利用插值的方法恢復(fù)另外2 個(gè)顏色，這種方法也稱為去馬賽克.通過利用顏色通道之間的相關(guān)性，邱菊[16]提出了一種基于圖像色差的插值算法進(jìn)行圖像摩爾紋的去除，并通過將向量的概念引入到插值算法中實(shí)現(xiàn)了RGB 通道的3 維插值，恢復(fù)后的圖像更加平滑、更接近實(shí)際值.在文獻(xiàn)[16]的基礎(chǔ)上，邱香香[17]則利用自適應(yīng)方法選擇關(guān)聯(lián)度高的顏色分量來協(xié)助判斷通道插值方向，圖像插值結(jié)果更為合理.Hamilton[19]通過計(jì)算圖像亮度及色度的相近程度確定針對(duì)圖像的插值方法；Kimmel[20]提出了以不同權(quán)值為基礎(chǔ)的插值方法，權(quán)值與鄰域內(nèi)邊緣的信息密切相關(guān)，每個(gè)像素缺失的顏色分量由鄰域內(nèi)像素的顏色分量按照不同的權(quán)值計(jì)算得到.此外，Hibbard[18]利用圖像在水平和豎直方向上的亮度和色度差計(jì)算梯度，然后將得到的梯度值與事先設(shè)定的閾值進(jìn)行比較來確定針對(duì)亮度和色度進(jìn)行插值的方向，最后根據(jù)方向做插值運(yùn)算.這類方法得到的恢復(fù)圖像能夠較好地保留圖像前景部分的邊緣細(xì)節(jié)特征，但算法實(shí)現(xiàn)過于復(fù)雜，尤其難以在移動(dòng)設(shè)備中實(shí)現(xiàn).

1.3 圖像分解

另外一類常用的“后處理”即為基于圖像分解實(shí)現(xiàn)摩爾紋圖案的消除.Liu 等人[23]提出了一種低秩稀疏矩陣分解模型，實(shí)現(xiàn)織物圖像摩爾紋的消除.通過對(duì)紋理分量和摩爾紋分量分別進(jìn)行空域和頻域分析，發(fā)現(xiàn)摩爾紋分量分布集中，幾乎不與紋理分量的能量混合，于是對(duì)紋理分量添加低秩先驗(yàn)約束，對(duì)摩爾紋分量添加稀疏先驗(yàn)約束以及在其頻域分布內(nèi)添加位置約束，從而區(qū)分摩爾紋分量和紋理分量.后來，Yang 等人[51]改進(jìn)文獻(xiàn)[23]所提算法，從數(shù)碼相機(jī)拍攝織物圖像出現(xiàn)摩爾紋的成像原理入手，發(fā)現(xiàn)偽彩色波紋狀的摩爾紋主要存在于R，B 這2 個(gè)通道，G通道的摩爾紋分量較少，于是將文獻(xiàn)[23]中的方法應(yīng)用于G 通道的圖像信息，再通過RGB 三通道間的相關(guān)性，借助已經(jīng)恢復(fù)的G 通道圖像，并應(yīng)用導(dǎo)向?yàn)V波算法恢復(fù)R，B 通道圖像.Ok 等人[52]提出了一種紙質(zhì)支票上的摩爾紋消除方法，通過前景提取、摩爾紋檢測和摩爾紋消除等操作提高圖像質(zhì)量.Yang 等人[24]以摩爾紋和背景圖像是加性關(guān)系為前提，并結(jié)合屏攝摩爾紋的3 通道成像差異和結(jié)構(gòu)相似性，提出了聯(lián)合小波域?qū)驗(yàn)V波和基于高斯混合模型（Gaussian mixed model, GMM）的多相圖層分解模型以消除屏攝摩爾紋圖案.

屏攝圖像I可以看作是背景圖層B、摩爾紋圖層M以及方差為 σ2的高斯噪聲n的疊加，假設(shè)有加性模型[17]為：

該模型引入了2 個(gè)基于 GMM 的圖像先驗(yàn)，分別對(duì)背景圖層和摩爾紋圖層進(jìn)行規(guī)則化.于是該問題轉(zhuǎn)化為最小化問題：

在實(shí)際情況下，摩爾紋分量與紋理分量在頻域存在能量混疊，因此基于圖像分解方法容易將紋理信息誤判為摩爾紋成分，紋理恢復(fù)圖像中存在輕微的振鈴效應(yīng).另外，由于導(dǎo)向?yàn)V波算法本身固有的缺陷，容易導(dǎo)致恢復(fù)圖像的局部出現(xiàn)光暈現(xiàn)象.

基于傳統(tǒng)信號(hào)處理的方法探究了摩爾紋圖案的成因以及相關(guān)特性的先驗(yàn)知識(shí)，可以用于特定場景下的摩爾紋圖案自動(dòng)去除，各類方法的具體對(duì)比分析如表1 所示.然而鑒于摩爾紋圖像本身具有分布不規(guī)則的特性，傳統(tǒng)方法很難將分布在不同頻段的摩爾紋分量去除干凈，因此該類方法的摩爾紋圖案自動(dòng)去除性能還需要進(jìn)一步提升.

Table 1 Comparative Analysis of the Morié Removal Algorithms Based on Prior Knowledge表1 基于先驗(yàn)知識(shí)的摩爾紋去除算法對(duì)比分析

2 基于深度學(xué)習(xí)的方法

2.1 基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）方法

基于CNN 的摩爾紋去除方法主要包括基于圖像空間域的分析模型和基于圖像頻域的分析模型，以下分別選取具有代表性的網(wǎng)絡(luò)結(jié)構(gòu)模型進(jìn)行介紹.

2.1.1 基于圖像空間域的CNN 模型

由于摩爾紋圖案跨越很寬的頻域范圍，Sun 等人[40]最先嘗試?yán)肅NN 去除摩爾紋圖案，提出了一種基于DMCNN 的摩爾紋去除方法，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示.該網(wǎng)絡(luò)共有5 個(gè)平行的分支，最頂層的分支是在輸入圖像原始的分辨率下處理，下層的分支通過由上層分支做下采樣得到.每個(gè)分支分別做各自的卷積操作，最后進(jìn)行反卷積運(yùn)算將各個(gè)分支的結(jié)果上采樣到原始圖像的分辨率后相加，從而得到輸出的恢復(fù)圖像.Liu 等人[41]提出了由1 個(gè)粗尺度網(wǎng)絡(luò)和1 個(gè)細(xì)尺度網(wǎng)絡(luò)組成的2 段式摩爾紋去除方法DCNN（deep CNN），在粗尺度網(wǎng)絡(luò)上對(duì)輸入圖像做降采樣，利用堆疊的殘差塊去除摩爾紋，然后利用細(xì)尺度網(wǎng)絡(luò)上采樣至原始的分辨率.

圖2 DMCNN[40]模型架構(gòu)Fig.2 The architecture of DMCNN[40] model

以DMCNN 為基礎(chǔ)，為了利用不同尺度特征映射之間的關(guān)系，Gao 等人[42]提出了一種基于深度學(xué)習(xí)的多尺度特征增強(qiáng)（multi-scale feature enhancing, MSFE）摩爾紋去除網(wǎng)絡(luò)模型，并利用多尺度的結(jié)構(gòu)從多個(gè)分辨率上提取與摩爾紋無關(guān)的上下文.該方法以U-net網(wǎng)絡(luò)模型[53]為基礎(chǔ)，首先利用殘差網(wǎng)絡(luò)模塊，將輸入圖像下采樣到4 個(gè)不同的尺度中，每個(gè)分支在特征增強(qiáng)處理過程中，實(shí)現(xiàn)將所在分支的特征與所有低于所在分支分辨率的特征相融合，最后將每個(gè)分支利用殘差模塊做上采樣處理，不同分支的采樣結(jié)果融合后得到最終的輸出圖像.

針對(duì)摩爾紋圖案的頻率分布復(fù)雜、顏色通道幅度的不平衡以及外觀屬性不同等特點(diǎn)，He 等人[43]提出了MopNet（Moiré pattern removal neural network）神經(jīng)網(wǎng)絡(luò)模型用于摩爾紋圖案去除，具體包括：

1） 多尺度特征聚合.首先提取圖像的多尺度特征，然后通過級(jí)聯(lián)[54]和SE （squeeze-and-excitation） 塊[55]進(jìn)行特征融合.SE 塊通過計(jì)算每個(gè)通道的歸一化權(quán)重來重新加權(quán)特征圖，所產(chǎn)生的聚合特征可以用于如下數(shù)學(xué)方法表示：

其中S E為SE 塊操作，Cat表示串聯(lián)，F(xiàn)i表示從多尺度提取器gm獲得的不同頻帶的特征圖，NUi是用于將特征圖轉(zhuǎn)換為相同空間大小的非線性上采樣.

2） 信道方向目標(biāo)邊緣預(yù)測器.利用網(wǎng)絡(luò)來預(yù)測無摩爾紋目標(biāo)圖像的通道方向邊緣映射Ep，并使用Sobel 算子將每個(gè)顏色通道的Esr，Esg，Esb的單獨(dú)邊緣映射用于增強(qiáng)源圖像Is，邊緣預(yù)測器為

其中g(shù)e為信道邊緣預(yù)測器，Epr，Epg，Epb表示R，G，B信道的預(yù)測邊緣圖.

3） 基于屬性的摩爾紋模式分類器.摩爾紋圖案的精確描述可以更好地指導(dǎo)學(xué)習(xí)過程，因此，使用多標(biāo)簽分類器C來描述摩爾紋圖案的頻域C0、顏色C1和形狀C2這3 個(gè)外觀屬性，并通過連接3 個(gè)上采樣標(biāo)簽映射獲取屬性信息：

然后將這種模式屬性的預(yù)測輸入到目標(biāo)輸出的推理中，為摩爾紋圖案的外觀提供輔助指導(dǎo).

MopNet 的所有核心組件都是專為摩爾紋圖案的獨(dú)特特性而設(shè)計(jì)的，包括使用多尺度特征聚合以解決復(fù)雜頻率問題、使用通道方向的目標(biāo)邊緣預(yù)測器以檢測顏色通道之間的不平衡幅度，以及使用屬性感知分類器以表征不同外觀，并更好地建模摩爾紋圖案.

為了克服MopNet 以及MSFE 模型存在的多尺度信息交換和融合的不足，Yang 等人[44]提出了一種基于高分辨率的摩爾紋去除網(wǎng)絡(luò)(high-resolution deMoiré network，HRDN)，以充分探索不同分辨率特征映射之間的關(guān)系.HRDN 由3 個(gè)主要部分組成：并行高分辨率網(wǎng)絡(luò)、連續(xù)信息交換模塊和最終特征融合層，其結(jié)構(gòu)如圖3 所示.HRDN 網(wǎng)絡(luò)是一種帶有殘差塊的并行多尺度架構(gòu)，它可以在處理較低分辨率的同時(shí)保持全分辨率，并處理不同尺度的不同頻率.為了充分利用不同特征圖之間的關(guān)系，HRDN 使用信息交換模塊和最終特征融合層在整個(gè)網(wǎng)絡(luò)中不斷地交換信息，以充分融合從低層到高層的特征，反之亦然.通常情況下像素?fù)p失函數(shù)會(huì)導(dǎo)致過度平滑，從而減少細(xì)節(jié)和邊緣紋理.為此，HRDN 通過定義邊緣增強(qiáng)損失函數(shù)來保留邊緣細(xì)節(jié)，L可以表示為

圖3 HRDN[44]模型架構(gòu)Fig.3 The architecture of HRDN[44] model

其中CLoss表示L1 Charbonnier 損失，S Loss表示L1 Sobel 損失，分別定義為：

其中N代表批量大小，和Y分別表示HRDN 的輸出去摩爾紋圖像和原始背景干凈圖像.

HRDN 模型在圖像分解和圖像融合中都保留了摩爾紋分量在不同尺度下的綜合特征，摩爾紋去除效果有了明顯改進(jìn).但是在每一個(gè)尺度中，僅通過一系列卷積操作，無法提取完整的特征信息.為此，Cheng等人[45]提出了一種基于多尺度動(dòng)態(tài)特征編碼的摩爾紋去除網(wǎng)絡(luò)（multi-scale convolutional network with dynamic feature encoding for image deMoiréing, MDDM）.該算法首先利用降采樣的方式將輸入圖像分成6 層尺度，分辨率最高的一層僅做卷積運(yùn)算，將基于通道的動(dòng)態(tài)特征編碼的殘差模塊作用于從第2 層到第6 層尺度的分支，以實(shí)現(xiàn)在復(fù)雜的紋理背景下區(qū)分干凈圖像與被摩爾紋污染的圖像數(shù)據(jù).MDDM 通過動(dòng)態(tài)特征編碼來增強(qiáng)模型處理動(dòng)態(tài)復(fù)雜紋理的能力，并將全局殘差學(xué)習(xí)方法應(yīng)用于網(wǎng)絡(luò)中每個(gè)分辨率的分支；它使用殘差塊在每個(gè)特征級(jí)別和頻帶上模擬干凈圖像和摩爾紋圖像之間的差異，即每個(gè)分支上的摩爾紋圖案.在動(dòng)態(tài)特征編碼的過程中，利用自適應(yīng)實(shí)例歸一化（adaptive instance normalization，AdaIN）方法[56]將額外的旁路分支引入至每個(gè)主干尺度分支中，以對(duì)不同空間分辨率的圖像特征進(jìn)行編碼.具體地，在AdaIN 中，首先計(jì)算特征圖的均值和方差：

其中H和W分別表示特征圖的高度和寬度，和是動(dòng)態(tài)特征編碼分支中第i個(gè)編碼層的特征xenc的均值和方差.在計(jì)算摩爾紋圖案的統(tǒng)計(jì)值后，MDDM 使用這些值通過AdaIN 動(dòng)態(tài)調(diào)整主干分辨率分支的參數(shù)：

其中 μi和表示來自主干分支的統(tǒng)計(jì)信息，xi表示來自主干分支中第i個(gè)殘差塊的特征圖.

在MDDM 的基礎(chǔ)上， Cheng 等人[46]又進(jìn)一步提出了改進(jìn)的MDDM+模型.整個(gè)網(wǎng)絡(luò)由原來的6 個(gè)分支減少為3 個(gè)分支，每個(gè)分支中基于通道的動(dòng)態(tài)特征編碼的殘差模塊的數(shù)目保持一致，這樣可以大幅度減少存儲(chǔ)模型所需的參數(shù)數(shù)目，同時(shí)也改進(jìn)了模型在不同分辨率的尺度間參數(shù)不平衡的現(xiàn)象.另外，考慮到摩爾紋的頻域分布特征，引入了基于小波分解的特殊損失函數(shù)，即分別對(duì)網(wǎng)絡(luò)的輸出圖像和ground truth 圖像I做小波變換，小波損失表示為

其中N表示一個(gè)批量大小， ε為一個(gè)常數(shù)， ε=E－6，W即小波分解操作.

綜上，除了將單幅圖像作為輸入外，Liu 等人[1]提出了一種基于多幀及多尺度的摩爾紋圖案去除（multiframe and multi-scale for image deMoiréing, MMDM）網(wǎng)絡(luò).MMDM 使用多幅圖像作為輸入，多尺度特征編碼模塊用于低頻信息增強(qiáng).MMDM 有3 個(gè)關(guān)鍵模塊：新設(shè)計(jì)的多幀空間變換網(wǎng)絡(luò)（multiframe spatial transformer network, M-STN）、多尺度特征編碼模塊（multiscalefeature encoding module, MSFE）和增強(qiáng)非對(duì)稱卷積塊（enhanced asymmetric convolution block, EACB）.其中M-STN 自動(dòng)對(duì)齊相同場景下的多幀輸入圖像，MSFE用于多頻率信息的提取，最終EACB 用于圖像的重建.在NTIRE2020（New Trends in Image Restoration and Enhancement 2020）挑戰(zhàn)賽中，本方法在摩爾紋去除賽道上獲得第2 名.

2.1.2 基于圖像頻域的CNN 模型

除了針對(duì)摩爾紋分量在空域上的分布特征展開研究外，一些學(xué)者還嘗試提取摩爾紋分量在圖像頻域內(nèi)的特征并進(jìn)行摩爾紋去除[47,57-61].Zheng 等人[47]認(rèn)為摩爾紋去除的過程可通過式（12）表示

其中Imoire與Iclean分別為包含摩爾紋的污染圖像和去除摩爾紋后的干凈圖像，Nmoire為污染圖像中的摩爾紋分量，ψ-1是ψ的反函數(shù)，即將污染圖像中的顏色色調(diào)恢復(fù)為原始干凈圖像色調(diào).基于此理論提出的基于多尺度帶通CNN（multi-scale bandpass CNN, MBCNN）網(wǎng)絡(luò)分別解決了2 個(gè)子問題：1）紋理恢復(fù)問題.在摩爾紋紋理去除模塊（Moiré texture removal block,MTRB）中集成了一種可以學(xué)習(xí)的帶通濾波器，以學(xué)習(xí)去除摩爾紋前后的頻率特征.2）顏色恢復(fù)問題.首先利用全局色調(diào)映射模塊（global tone mapping block,GTMB）校正圖像的全局色彩，然后利用局部色調(diào)映射模塊（local tone mapping block, LTMB）對(duì)局部色調(diào)逐個(gè)進(jìn)行像素級(jí)別的微調(diào).模型首先將輸入圖像分成4 個(gè)大小相等的子圖像，網(wǎng)絡(luò)結(jié)構(gòu)由3 個(gè)分支構(gòu)成，每個(gè)分支依次執(zhí)行特定比例的摩爾紋去除和色調(diào)映射，最終輸出上采樣后的圖像，并與上層分支融合.在前2 個(gè)分支中，將當(dāng)前分支的特征與下一層分支的輸出結(jié)果相融合，然后再進(jìn)行一系列的色調(diào)處理和摩爾紋去除，以消除因縮放操作引起的紋理和顏色錯(cuò)誤.

摩爾紋分量Nmoire表示為

圖4 原始的及改進(jìn)的MTRB 模型架構(gòu)Fig.4 Architecture of original and of improved MTRB models

在損失函數(shù)中引入了改進(jìn)的Sobel算子損失（advanced sobel loss, ASL），定義為

在提取摩爾紋分量特征時(shí)，MBCNN 中的每個(gè)摩爾紋去除模塊都用一組相同的權(quán)值作用于經(jīng)過一系列卷積運(yùn)算得到的頻譜中.鑒于摩爾紋的多尺度頻域分布特征，Zheng 等人[60]在原有的MBCNN 基礎(chǔ)上做了2 方面改進(jìn)，這里稱為MBCNN+：

1） 將摩爾紋去除模塊MTRB 中帶通濾波器LBF 變?yōu)榛诓煌瑝K大小的帶通濾波器（multi-blocksize LBFs），即由原來經(jīng)過k個(gè)擴(kuò)張卷積運(yùn)算后的結(jié)果進(jìn)行最終的一次頻域反變換，轉(zhuǎn)變?yōu)槊恳淮螖U(kuò)張卷積操作后都進(jìn)行一次頻域反變換，以達(dá)到學(xué)習(xí)摩爾紋分量不同尺度、不同頻域特征的目的，最后將k個(gè)不同尺度結(jié)果累加后送入FSL，改進(jìn)后的MTRB+結(jié)構(gòu)如圖4（b）所示.

2） 在計(jì)算損失函數(shù)時(shí)，由原來的ASL運(yùn)算變?yōu)榛诓煌瑪U(kuò)張尺度的ASL，即DASL：

Liu 等人[61]設(shè)計(jì)了一種基于小波域的雙分支網(wǎng)絡(luò)（wavelet-based dual-branch network，WDNet）.Liu 等人認(rèn)為在頻域中更容易去除摩爾紋圖案，首先使用小波變換將包含摩爾紋的輸入圖像分解為不同的頻帶；經(jīng)過小波變換后，摩爾紋在某些小波子帶中更加明顯，在這些子帶中，摩爾紋更容易去除.該模型具有密集分支和擴(kuò)張分支的雙分支網(wǎng)絡(luò)，分別負(fù)責(zé)恢復(fù)近距離和恢復(fù)遠(yuǎn)距離信息.同時(shí)，WDNet 還設(shè)計(jì)了一種空間注意力機(jī)制，稱為密集分支中的方向感知模塊，以突出具有摩爾紋圖案的區(qū)域.

2.2 基于生成式對(duì)抗網(wǎng)絡(luò)（GAN）方法

流行的基于監(jiān)督學(xué)習(xí)的方法需要大量的成對(duì)訓(xùn)練圖像，這在實(shí)際應(yīng)用中難以獲取和對(duì)齊.為此，基于GAN 的非監(jiān)督學(xué)習(xí)方法被應(yīng)用于摩爾紋去除[48-50].Yue 等人[49]提出了一種無監(jiān)督的生成式對(duì)抗性摩爾紋去除網(wǎng)絡(luò)（unsupervised generative adversarial network for Moiré removal，MR-GAN），這是基于無監(jiān)督學(xué)習(xí)的摩爾紋去除的首次嘗試，為使用未配對(duì)的訓(xùn)練數(shù)據(jù)進(jìn)行無監(jiān)督摩爾紋去除開辟了一條途徑.

具體地，在進(jìn)入網(wǎng)絡(luò)訓(xùn)練之前，首先根據(jù)圖像不對(duì)稱的徑向梯度分布[64]去除摩爾紋圖像中存在的暈角，校正后的圖像亮度比原始屏幕拍攝圖像更加均勻.在MR-GAN 網(wǎng)絡(luò)中存在2 個(gè)生成器，即摩爾紋去除生成器和摩爾紋重構(gòu)生成器.摩爾紋去除生成器Gm→c是將一幅摩爾紋圖像Im轉(zhuǎn)化成相應(yīng)的干凈圖像；摩爾紋重構(gòu)生成器Gc→m是將一幅干凈的圖像轉(zhuǎn)化為摩爾紋圖像.Gm→c和Gc→m形成一個(gè)循環(huán)，并受到循環(huán)一致?lián)p失的約束，以在沒有訓(xùn)練對(duì)的情況下同時(shí)訓(xùn)練生成器Gm→c和Gc→m.這2 個(gè)生成器具有相同的網(wǎng)絡(luò)結(jié)構(gòu)，核心結(jié)構(gòu)均是9 個(gè)殘差模塊的堆疊.同時(shí)，網(wǎng)絡(luò)同樣存在2 個(gè)結(jié)構(gòu)相同的鑒別器：在大尺度上鑒別摩爾紋圖像與干凈圖像，在小尺度上鑒別摩爾紋圖像與干凈圖像，核心結(jié)構(gòu)是數(shù)個(gè)卷積層+ NL（non-local）層[65]+Leaky ReLUs 的堆疊，最后再加1 層卷積.為了訓(xùn)練MR-GAN，集成了許多損失函數(shù)來學(xué)習(xí)真實(shí)的無摩爾紋圖像生成器和有效的鑒別器，具體包括：

1） 生成器的損失函數(shù).為了在沒有真實(shí)監(jiān)督的情況下學(xué)習(xí)有效的生成器，該方法首先提出了一組自我監(jiān)督的損失函數(shù)?self，包括在像素級(jí)別 ?pcyc和特征級(jí)別 ?fcyc的循環(huán)一致?lián)p失、身份損失 ?idt、余弦相似度損失?cos以及內(nèi)容泄漏損失 ?cl.因此，自監(jiān)督損失表示為

其中 λ1， λ2， λ3， λ4， λ5分別為加權(quán)參數(shù).另外，與傳統(tǒng)的對(duì)抗性損失不同，該方法提出了一種雙尺度對(duì)抗性損失分別對(duì)應(yīng)于MR-GAN 中的2 個(gè)鑒別器組.為了確保網(wǎng)絡(luò)在訓(xùn)練中穩(wěn)定，利用 LSGAN 損失函數(shù)[66]定義大尺度特征的對(duì)抗損失：

其中?self確保生成的結(jié)果包含足夠的原始信息，和指導(dǎo)生成器得到預(yù)期結(jié)果.

Park 等人[50]提出了一種基于端到端的非對(duì)稱循環(huán)網(wǎng)絡(luò)（an end-to-end unpaired cyclic network，EEUCN），該方法使用未配對(duì)的摩爾紋圖像和干凈的圖像數(shù)據(jù)集.令 χ和 γ分別表示摩爾紋圖像集和干凈圖像集，X∈χ和Y∈γ分別表示摩爾紋圖像和干凈圖像，未配對(duì)圖像去摩爾紋的目標(biāo)就是學(xué)習(xí)從摩爾紋圖像到干凈圖像之間的映射.如圖5 所示，EEUCN 網(wǎng)絡(luò)由2 種類型的GAN 組成：圖5（a）所示的摩爾紋生成網(wǎng)絡(luò)和圖5（b）所示的摩爾紋去除網(wǎng)絡(luò).摩爾紋生成網(wǎng)絡(luò)主要學(xué)習(xí)映射GM：γ →χ，通過添加摩爾紋偽影來降低干凈圖像質(zhì)量；摩爾紋去除網(wǎng)絡(luò)則是學(xué)習(xí)映射GD:χ →γ，以從摩爾紋圖像中去除摩爾紋偽影干擾.摩爾紋生成問題可以分為像素強(qiáng)度退化和摩爾紋圖案生成2 個(gè)子問題，相應(yīng)地，屏攝摩爾紋圖像生成器模型GM可以表示為

圖5 EEUCN[50]結(jié)構(gòu)Fig.5 The architecture of EEUCN[50]

其中m表示摩爾紋圖案， α用于控制圖像對(duì)比度降低的幅度，α ∈(0,1].給定一張干凈的圖像Y，強(qiáng)度退化模塊估計(jì)全局強(qiáng)度退化參數(shù)α，而摩爾紋生成模塊生成摩爾紋圖案m.

摩爾紋生成網(wǎng)絡(luò)構(gòu)造完偽配對(duì)集{γ，GM(γ)}后，EEUCN 利用學(xué)習(xí)的生成器GM以有監(jiān)督方式訓(xùn)練摩爾紋去除網(wǎng)絡(luò)，并進(jìn)行摩爾紋圖案去除，如圖5（b）所示.相應(yīng)地，摩爾紋去除模型GD可以表示為

因此，類似于上述摩爾紋生成網(wǎng)絡(luò)，摩爾紋去除問題也可以分為2 個(gè)子問題：摩爾紋偽影去除和全局強(qiáng)度恢復(fù).給定摩爾紋圖像αY+m，摩爾紋去除模塊去除摩爾紋圖案m，強(qiáng)度恢復(fù)模塊估計(jì)全局強(qiáng)度恢復(fù)參數(shù) α.

在EEUCN 中，摩爾紋生成網(wǎng)絡(luò)是在已知GD的情況下訓(xùn)練GM，網(wǎng)絡(luò)中的鑒別器DM用于區(qū)分真實(shí)的摩爾紋圖像與網(wǎng)絡(luò)生成的摩爾紋圖像；反之，摩爾紋去除網(wǎng)絡(luò)是在已知GM的情況下訓(xùn)練GD，網(wǎng)絡(luò)中的鑒別器DD用于區(qū)分真實(shí)的干凈圖像與網(wǎng)絡(luò)去除摩爾紋后的圖像.2 個(gè)網(wǎng)絡(luò)的整體結(jié)構(gòu)比較類似，主要區(qū)別在于循環(huán)顏色一致性是在Y和GD(GM(Y))之間計(jì)算的，即所謂的內(nèi)容損失.具體地，在摩爾紋生成網(wǎng)絡(luò)中，循環(huán)顏色損失?cycle被定義為重建的摩爾紋圖像和原始摩爾紋圖像之間的 ?1范數(shù)，由式（22）給出：

不同于生成網(wǎng)絡(luò)，額外的循環(huán)損失ASL運(yùn)算被用于訓(xùn)練摩爾紋去除網(wǎng)絡(luò)，由式（23）給出：

其中Si(·)表示水平、垂直和2 個(gè)對(duì)角濾波器中Sobel濾波中第i個(gè)濾波器得到的邊緣圖.因此，式（23）中的?AS L量化了重建圖像和原始干凈圖像的邊緣圖之間的循環(huán)顏色一致性.由于自然圖像包含有意義的邊緣信息，ASL運(yùn)算用于去除已被檢測為虛假邊緣的摩爾紋偽影.由于摩爾紋圖像的邊緣圖包含大量噪聲，對(duì)應(yīng)于摩爾紋偽影，很難區(qū)分真實(shí)的和生成的摩爾紋圖像的邊緣圖.因此，EEUCN 只使用ASL運(yùn)算來訓(xùn)練摩爾紋去除網(wǎng)絡(luò).

3 訓(xùn)練數(shù)據(jù)集構(gòu)建

摩爾紋去除網(wǎng)絡(luò)模型的訓(xùn)練數(shù)據(jù)集質(zhì)量在很大程度上影響了深度學(xué)習(xí)方法的處理性能，因此訓(xùn)練數(shù)據(jù)的收集和對(duì)齊工作也至關(guān)重要.現(xiàn)實(shí)生活中人們通常會(huì)通過屏幕拍照和屏幕錄像的方式獲取屏攝圖像，而將視頻文件一般轉(zhuǎn)化為帶有摩爾紋圖案的圖像幀序列，因此本文主要聚焦于屏攝圖像中的摩爾紋圖案去除研究.目前摩爾紋圖像訓(xùn)練數(shù)據(jù)集的構(gòu)建主要從正向和反向2 個(gè)角度展開.所謂正向構(gòu)建是指通過手機(jī)設(shè)備拍攝電子屏幕得到包含摩爾紋的屏攝圖像，然后利用圖像處理方法將屏攝圖像進(jìn)行矯正預(yù)處理，并將預(yù)處理后的摩爾紋圖像與原始的干凈圖像對(duì)齊形成圖像對(duì)，例如TIP2018 數(shù)據(jù)集[40]與MRBI 數(shù)據(jù)集[67].反向構(gòu)建方式是指利用馬賽克采樣、重上色等操作處理原始的干凈圖像得到被污染的圖像，用于模擬摩爾紋圖案生成，從而形成干凈圖像和摩爾紋圖像的圖像對(duì)，例如在多個(gè)國際大型的摩爾紋圖像去除競賽中用到的LCD Moiré數(shù)據(jù)集[68]及CFA Moiré數(shù)據(jù)集[69].表2 為4 種數(shù)據(jù)集間的對(duì)比和總結(jié)，下面分別對(duì)這4 種訓(xùn)練數(shù)據(jù)集的構(gòu)造過程進(jìn)行簡要介紹.

Table 2 Summary and Comparison of Different Training Datasets表2 不同訓(xùn)練數(shù)據(jù)集的總結(jié)對(duì)比

TIP2018 數(shù)據(jù)集主要包含135 000 個(gè)圖像對(duì)，每個(gè)圖像對(duì)包含1 幅被摩爾紋污染的圖像及其對(duì)應(yīng)的未污染參考圖像，其中未受污染的參考圖像來自ImageNet ISVRC 2012 數(shù)據(jù)集的100 000 幅驗(yàn)證圖像和50 000 幅測試圖像.在所有圖像中，90%用作訓(xùn)練集，10%用于驗(yàn)證和測試.收集這些數(shù)據(jù)的流程如圖6所示，主要包括2 個(gè)步驟：圖像捕獲和圖像對(duì)齊.1）圖像捕獲.如圖6（a）所示，每個(gè)參考圖像T用黑色邊框增強(qiáng)并顯示在計(jì)算機(jī)屏幕的中心位置，以最大程度減小受摩爾紋效應(yīng)的影響.為了增加圖像對(duì)齊過程中可以使用的角點(diǎn)數(shù)量，該方法進(jìn)一步從黑色邊框的每條邊擠出一個(gè)黑色塊，并用純白色填充黑色邊框（和塊）之外的屏幕其余部分，這使拍攝者能夠輕松地檢測捕獲圖像中的黑色邊框.在圖像采集過程中，拍攝者使用不同型號(hào)的智能手機(jī)和顯示器屏幕設(shè)備，并隨機(jī)改變手機(jī)和計(jì)算機(jī)屏幕之間的距離和角度，確保在不同的光學(xué)傳感器上捕捉到的摩爾紋圖案S具有多樣性.為了提高圖像捕獲效率，將參考圖像T按照一定的時(shí)間間隔在屏幕上連續(xù)顯示，并使用手機(jī)記錄連續(xù)顯示圖像的視頻，然后將拍攝視頻中的幀提取為摩爾紋圖像.2）圖像對(duì)齊.實(shí)際上，該方法依靠沿著黑色圖像邊界的角點(diǎn)來完成圖像對(duì)齊，捕獲圖像S和參考圖像T中的對(duì)應(yīng)點(diǎn)通過單應(yīng)性關(guān)聯(lián)，并用具有 8 個(gè)自由度的 3×3 投影矩陣表示.為了提高配準(zhǔn)精度，附加到圖像邊界的4 個(gè)黑色塊將非共線對(duì)應(yīng)點(diǎn)的數(shù)量從4 個(gè)增加到20 個(gè)，利用這些角點(diǎn)來計(jì)算投影矩陣，并進(jìn)一步對(duì)齊每對(duì)圖像.為了檢測角點(diǎn)，屏攝圖像首先進(jìn)行二值化處理，利用傳統(tǒng)Harris 角點(diǎn)檢測方法沿黑色圖像邊界的最外邊界搜索角點(diǎn).然而，由于摩爾紋偽影的存在，圖6（b）所示的20 個(gè)角點(diǎn)有時(shí)無法可靠地被檢測到，其中某些邊緣像素可能被錯(cuò)誤地檢測為角點(diǎn).經(jīng)過額外的假角點(diǎn)和重復(fù)角點(diǎn)消除處理后，所有的20 個(gè)角點(diǎn)都可以被成功檢測到，如圖6（c）所示.最后，通過計(jì)算出的投影矩陣，該方法可以對(duì)齊每個(gè)圖像對(duì)，配準(zhǔn)結(jié)果如圖6（c）（f）所示.TIP2018 數(shù)據(jù)集是第一個(gè)被大規(guī)模用于摩爾紋去除網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)集，后續(xù)很多工作都是基于該數(shù)據(jù)集進(jìn)行算法優(yōu)化和對(duì)比評(píng)測.

圖6 圖像采集[40]Fig.6 Image acquisition[40]

文獻(xiàn)[67] 指出TIP2018 數(shù)據(jù)集在視頻模式下錄制往往會(huì)使重新捕獲的幀變亮，這使得圖像對(duì)之間的亮度差異很小，這與實(shí)際的屏幕拍攝圖像效果不符.此外，為了應(yīng)用圖像對(duì)齊算法，TIP2018 數(shù)據(jù)集中的參考圖像被要求顯示在平板顯示器的屏幕中心位置（以能夠拍攝全部的黑色邊區(qū)域），這也限制了摩爾紋圖像的種類.為了克服上述缺陷，文獻(xiàn)[67]通過5 種不同型號(hào)的智能手機(jī)拍攝3 種不同類型的顯示器屏幕如筆記本電腦、臺(tái)式電腦的LED 顯示屏以及電視的LCD 屏來構(gòu)建MRBI 數(shù)據(jù)集，其訓(xùn)練集包含352 幅重新捕獲的帶有摩爾紋偽影的屏幕圖像和相應(yīng)的原始圖像（通過屏幕截圖獲得）.測試集包含由24 種屏幕和相機(jī)組合捕獲的 340 幅圖像，它們代表了各種各樣的摩爾紋圖像.具體地，在創(chuàng)建訓(xùn)練圖像對(duì)時(shí)，首先對(duì)相同內(nèi)容的屏幕分別通過屏幕截屏和屏幕拍照得到干凈圖像Io和包含摩爾紋的圖像Im；接著對(duì)Im縮放使Io和Im這2 幅圖像大小相似；然后利用基于尺度不變的特征變換（scale-invariant feature transform, SIFT）[70]找到2 幅圖像中可以匹配的一系列點(diǎn)構(gòu)成點(diǎn)對(duì)的集合 Ω；然后，隨機(jī)從 Ω中選出4 個(gè)點(diǎn)對(duì)，用RANSAC 算法[71]估計(jì)Io和Im之間的變換矩陣H， Ω中的其他點(diǎn)對(duì)用于驗(yàn)證H的準(zhǔn)確性.驗(yàn)證方式是點(diǎn)與的距離是否小于預(yù)先設(shè)置的閾值 ε，若是，則點(diǎn)對(duì)與被稱之為內(nèi)點(diǎn).重復(fù)上述過程直到所求的變換矩陣H滿足使 Ω中內(nèi)點(diǎn)的數(shù)目最多.最后對(duì)Io做矩陣為H的變換得到一個(gè)訓(xùn)練圖像對(duì).通過上述方法構(gòu)造的MRBI 數(shù)據(jù)集為圖像去摩爾紋和亮度改善提供了基準(zhǔn)，并將會(huì)激發(fā)更多關(guān)于這一主題的工作.

LCD Moiré數(shù)據(jù)集[68]包含10 200 個(gè)合成生成的圖像對(duì)（由摩爾紋退化的圖像和干凈的原始圖像組成，10 000 對(duì)用于網(wǎng)絡(luò)訓(xùn)練、100 對(duì)用于驗(yàn)證及100對(duì)用于測試），是專門為舉辦首次圖像去摩爾紋挑戰(zhàn)賽而創(chuàng)建的.該挑戰(zhàn)賽是與ICCV 2019 聯(lián)合舉辦的圖像處理進(jìn)展（Advances in Image Manipulation，AIM）研討會(huì)的一部分.LCD Moiré數(shù)據(jù)集中的干凈圖像是從ICCV（IEEE International Conference on Computer Vision），ECCV（European Conference on Computer Vision），CVPR（IEEE Conference on Computer Vision and Pattern Recognition）等計(jì)算機(jī)視覺會(huì)議論文中收集，由文本、圖形或等比例組合的文本/圖形組成.摩爾紋圖像的生成相當(dāng)于模擬使用智能手機(jī)在顯示干凈圖像的LCD 屏幕上拍照的過程.具體的思路為：經(jīng)過RGB圖像的馬賽克重采樣處理，以模擬LCD 屏幕顯示圖像；對(duì)圖像應(yīng)用隨機(jī)投影變換以模擬顯示器和相機(jī)的不同相對(duì)位置和方向，并應(yīng)用3×3 高斯濾波器；使用Bayer CFA 對(duì)圖像重新采樣以模擬原始數(shù)據(jù)，并添加高斯噪聲以模擬傳感器噪聲；應(yīng)用簡單的ISP 處理，包括去馬賽克（雙線性插值）和去噪；使用JPEG 壓縮來壓縮圖像以模擬壓縮噪聲，將干凈圖像與摩爾紋圖像對(duì)齊，并裁剪出圖像對(duì).為了確保訓(xùn)練、驗(yàn)證和測試圖像集中的內(nèi)容和摩爾紋圖案分布相同，該方法附加了圖像內(nèi)容平衡和摩爾紋分量平衡等后處理操作.

2020 年，CVPR 的圖像恢復(fù)增強(qiáng)競賽（NTIRE）提供了一個(gè)新的摩爾紋圖像訓(xùn)練數(shù)據(jù)集CFA Moiré Dataset[69]，該數(shù)據(jù)集由10 000 個(gè)訓(xùn)練圖像對(duì)、500 個(gè)驗(yàn)證圖像對(duì)和500 個(gè)測試圖像對(duì)組成.其中干凈的圖像從現(xiàn)有的圖像數(shù)據(jù)庫中采集或者裁剪后得到，圖像質(zhì)量較高，內(nèi)容涵蓋了服裝、建筑等高頻重復(fù)圖案.相應(yīng)的摩爾紋圖像通過馬賽克重采樣和去馬賽克過程生成，其中摩爾紋偽影圖案出現(xiàn)在圖像高頻區(qū)域.數(shù)據(jù)集構(gòu)建分為2 步：首先，通過傅里葉頻域中摩爾紋偽影的量化自動(dòng)選擇符合條件的圖像對(duì)，即測量清潔圖像和去馬賽克圖像之間的頻率變化；然后，通過人工選擇進(jìn)一步優(yōu)化選擇的圖像對(duì)，將已經(jīng)被污染的干凈圖像從數(shù)據(jù)集中刪除.

4 實(shí)驗(yàn)對(duì)比分析

隨著不同拍攝設(shè)備和顯示設(shè)備的廣泛普及，摩爾紋圖像的呈現(xiàn)也趨于多樣化.由于摩爾紋圖案不規(guī)則，且不均勻地分布在圖像中的不同空域及不同頻域段中，其分布特征無法通過先驗(yàn)知識(shí)準(zhǔn)確獲取.另外，當(dāng)摩爾紋分量與圖像中的紋理分量出現(xiàn)混疊時(shí)，基于先驗(yàn)知識(shí)的圖像處理方法無法將其準(zhǔn)確區(qū)分，因此基于特定先驗(yàn)知識(shí)的傳統(tǒng)圖像處理方法在摩爾紋去除方面愈加受限.而在訓(xùn)練數(shù)據(jù)集構(gòu)建逐漸完善的情況下，深度學(xué)習(xí)方法的處理性能更加顯著，并逐漸成為主流方法.目前的神經(jīng)網(wǎng)絡(luò)模型主要利用CNN 卷積神經(jīng)網(wǎng)絡(luò)模型和GAN 對(duì)抗網(wǎng)絡(luò)，通過提取空域或頻域中的特征信息達(dá)到摩爾紋去除的目的.本節(jié)主要將基于深度學(xué)習(xí)的摩爾紋圖案去除方法進(jìn)行簡單回顧總結(jié)，并分別對(duì)各種方法的優(yōu)缺點(diǎn)進(jìn)行定性的對(duì)比分析.另外基于相同的公開數(shù)據(jù)集，我們選取了部分代表性工作進(jìn)行了算法實(shí)現(xiàn)，并給出了定量的性能對(duì)比結(jié)果.

4.1 深度學(xué)習(xí)方法對(duì)比分析

首先，在基于CNN 空域算法中，DMCNN[40]模型和DCNN[41]較早地將深度學(xué)習(xí)方法應(yīng)用于摩爾紋圖像去除，并實(shí)現(xiàn)了不同分辨率分支下的特征提取.由于摩爾紋不規(guī)則地分布在圖像的多個(gè)頻段中，因此，提取圖像的多尺度特征信息成了學(xué)者們的共識(shí).但是此類方法在每一個(gè)尺度上提取的特征過于簡單，且忽略了不同尺度特征之間的聯(lián)系，因此具有一定的局限性.例如：當(dāng)圖像中出現(xiàn)大面積彩色條紋分布的摩爾紋時(shí)，摩爾紋去除的效果不理想.MSFE[42]模型是基于DMCNN 提出的，其明顯的缺陷是僅僅將低分辨率的特征嵌入到了高分辨率特征中，而高分辨率的特征沒有融合進(jìn)低分辨率的特征中，因此對(duì)比DMCNN 模型優(yōu)勢不明顯.相對(duì)于DMCNN 而言，MopNet[43]考慮了更多的摩爾紋圖案的不同屬性特征，但是沒有綜合分析這些特征在多個(gè)不同尺度間的聯(lián)系，而且針對(duì)邊界的提取無法獲得復(fù)雜的紋理特征.因此，MopNet 無法準(zhǔn)確區(qū)分出污染圖像中的紋理區(qū)域和摩爾紋區(qū)域.HRDN[44]在上采樣和下采樣的過程中針對(duì)不同的尺度做了較為充分的信息交換，但每個(gè)尺度中提取的特征信息不夠充分.MDDM[45]模型的分層數(shù)目過多，各個(gè)尺度之間仍然缺乏信息的交互，同樣存在低分辨率分支中沒有融合進(jìn)高分辨率信息的現(xiàn)象.并且高分辨率的分層卷積數(shù)目少，低分辨率的分層卷積數(shù)目多，理論上應(yīng)該反過來，因?yàn)楦叻直媛实姆种碛懈嗟奶卣?相較于MDDM，改進(jìn)后的模型MDDM+[46]不僅視覺效果得到明顯的改善，而且存儲(chǔ)的參數(shù)數(shù)量由8.01 MB 變?yōu)?.57 MB，實(shí)用性進(jìn)一步提高.但相較于HRDN 模型，MDDM+仍存在各分支間缺少信息交互的特點(diǎn).

在基于CNN 頻域算法中， MBCNN[47]在提取摩爾紋分量DCT 頻域特征時(shí)，每個(gè)摩爾紋去除模塊可以根據(jù)多尺度頻域特征采用不同的權(quán)值.相對(duì)于MBCNN，MBCNN+[60]在網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)和損失函數(shù)中改進(jìn)了不同尺度特征提取和融合的方式，因此取得更好的輸出圖像視覺效果.WDNet[64]則是基于小波域?qū)崿F(xiàn)，與傅里葉變換和離散余弦變換相比，小波變換既考慮了空間域信息，又考慮了頻域信息.在小波合成中，不同的小波帶代表如此廣泛的頻率范圍，這是幾個(gè)卷積層即使是大核也無法實(shí)現(xiàn)的.

基于GAN 的摩爾紋圖案去除方法是最近2 年提出的，較好地解決了CNN 方法依賴大量對(duì)齊的訓(xùn)練對(duì)的問題.該類方法的處理性能跟CNN 方法相比還有一定的差距，但為摩爾紋圖案去除方法研究提供了一種新的思路.

綜上所述，不同的網(wǎng)絡(luò)模型架構(gòu)具有各自的優(yōu)勢和劣勢，具體的對(duì)比分析如表3 所示.

4.2 實(shí)驗(yàn)結(jié)果討論

在本節(jié)中，我們基于相同的公開的數(shù)據(jù)集，分別選擇不同類別中有代表性的方法進(jìn)行了算法實(shí)現(xiàn)和性能對(duì)比實(shí)驗(yàn).CNN 空域算法模型選擇：首次使用的DMCNN[40]訓(xùn)練模型；融合多尺度特征聚合、信道方向目標(biāo)邊緣預(yù)測器和模式分類器的MopNet[43]訓(xùn)練模型；不同尺度間特征能夠較充分融合的HRDN[44]訓(xùn)練模型.在CNN 頻域算法模型方面，我們選取了基于DCT 頻域特征信息提取的MBCNN[47]訓(xùn)練模型.相應(yīng)地，在GAN 網(wǎng)絡(luò)模型中，我們選取了目前性能最好的EEUCN[50]模型.測試環(huán)境為torch1.8.0，GPU3090，數(shù)據(jù)集選用TIP2018 數(shù)據(jù)集.在摩爾紋圖案去除算法性能的評(píng)估方面，我們采取了類似ICCV 2019 AIM[69]和2020 CVPR NTIRE[70]競賽的評(píng)判規(guī)則，分別計(jì)算了在TIP2018 數(shù)據(jù)集上取得平均的PSNR值和SSIM 值.

首先，在模型預(yù)處理階段，我們?cè)赟un 等人[40]預(yù)處理方法的基礎(chǔ)上，對(duì)TIP2018 數(shù)據(jù)集中的摩爾紋圖像進(jìn)行了重采樣和歸一化處理.為了保證每個(gè)模型訓(xùn)練數(shù)據(jù)的一致性和公平性，我們加載了MopNet[43]的預(yù)訓(xùn)練模型對(duì)上述數(shù)據(jù)再次進(jìn)行預(yù)處理操作，預(yù)處理后的圖像樣本尺寸統(tǒng)一為256×256 像素.據(jù)此，我們分別針對(duì)不同的網(wǎng)絡(luò)模型采取不同的訓(xùn)練方式.

1） DMCNN 方法.使用Adam 優(yōu)化器，學(xué)習(xí)率設(shè)置為0.000 1，當(dāng)損失不下降時(shí)縮減學(xué)習(xí)率為原來的90%，共計(jì)訓(xùn)練50 個(gè)epoch.

2） MopNet 方法.訓(xùn)練模式分為2 個(gè)階段： 第1階段，訓(xùn)練邊緣提取模型和分類模型直到模型收斂，2 個(gè)模型分別訓(xùn)練50 個(gè)epoch 和20 個(gè)epoch；第2 階段，使用Adam 優(yōu)化器，學(xué)習(xí)率最初設(shè)置為0.000 2，并隨著訓(xùn)練線性衰減，共計(jì)訓(xùn)練150 個(gè)epoch.

3） HRDN 方法.使用Adam 優(yōu)化器，學(xué)習(xí)率設(shè)置為0.000 1，當(dāng)損失不下降或每訓(xùn)練10 個(gè)epoch 時(shí)下降為原來的50%，共計(jì)訓(xùn)練50 個(gè)epoch.

4） MBCNN 方法.使用Adam 優(yōu)化器，學(xué)習(xí)率設(shè)置為0.000 1，共計(jì)訓(xùn)練100 個(gè)epoch.

5） EEUCN 方法.使用AdamW 優(yōu)化器，學(xué)習(xí)率設(shè)置為0.000 1，在訓(xùn)練100 個(gè)epoch 后，學(xué)習(xí)率縮減為原來的10%，共計(jì)訓(xùn)練150 個(gè)epoch.由于EEUCN 是使用unpair 數(shù)據(jù)集的方法，我們基于文獻(xiàn)[50] 提供的LCD Moire 上非成對(duì)的數(shù)據(jù)集進(jìn)行訓(xùn)練，并使用TIP2018 數(shù)據(jù)集進(jìn)行測試.

不同的訓(xùn)練模型在TIP2018 數(shù)據(jù)集上取得平均的PSNR 值和SSIM 值如表4 所示，其中部分圖像在不同模型上得到的去除摩爾紋圖像效果如圖7 所示.

Table 4 Quantitative Comparison of Different Network Models表4 不同網(wǎng)絡(luò)模型的容量對(duì)比

圖7 在TIP2018 驗(yàn)證數(shù)據(jù)集上的對(duì)比結(jié)果Fig.7 Comparison of results for the validation set in TIP2018

如表4 和圖7 所示，DMCNN[40]是利用多尺度卷積神經(jīng)網(wǎng)絡(luò)去除摩爾紋圖案的初步嘗試，在摩爾紋分量的去除和圖像色調(diào)恢復(fù)方面，相比其他模型而

言，該模型輸出結(jié)果不太理想.EEUCN[50]是利用GAN 網(wǎng)絡(luò)去除摩爾紋圖案的嘗試，其思想是先利用摩爾紋生成網(wǎng)絡(luò)在干凈的圖像中添加摩爾紋圖案，然后利用監(jiān)督學(xué)習(xí)方法去除摩爾紋圖案.由于模擬生成的摩爾紋圖案與真實(shí)的摩爾紋圖案之間存在一定的差異，當(dāng)訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集不同時(shí)，該模型輸出的去摩爾紋圖像存在較大的顏色失真，例如圖7（g）所示的第8 幅圖像中的多個(gè)顏色分量被誤刪除.諸如MopNet[43]，HRDN[44]，MBCNN[47]等有監(jiān)督的多尺度卷積神經(jīng)網(wǎng)絡(luò)則可以得到較理想的圖像質(zhì)量.但由于MopNet 僅通過邊界提取區(qū)分摩爾紋分量與圖像分量，導(dǎo)致如圖7（d）中第4 幅圖像的前景區(qū)域、第5 幅圖像的人臉區(qū)域、第6 幅圖像的翅膀區(qū)域、第9 幅圖像的瓢蟲區(qū)域等局部摩爾紋圖案去除不干凈，另外第8 圖像中的復(fù)雜區(qū)域則產(chǎn)生嚴(yán)重的色調(diào)失真.HRDN 在特征提取和融合階段具有相對(duì)充分的信息交換過程，在TIP2018 數(shù)據(jù)集中取得較高的PSNR 值和SSIM 值.但由于該模型中各尺度特征提取不夠充分，當(dāng)處理包含特殊的復(fù)雜摩爾紋圖案時(shí)，HRDN 方法處理的圖像視覺效果不很理想，如圖7（e）中的第2 幅、第6 幅中出現(xiàn)了形狀復(fù)雜的彩色摩爾紋圖案，HRDN 未能準(zhǔn)確提取出摩爾紋分量.MBCNN 通過提取摩爾紋圖像的頻域特征，并進(jìn)行頻域中摩爾紋分量去除，同時(shí)融入了色調(diào)恢復(fù)過程，則在有監(jiān)督學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)模型中取得了較為理想的視覺效果.其中SSIM 值明顯高于其他模型，則說明該模型輸出去除摩爾紋圖像在亮度、對(duì)比度、結(jié)構(gòu)上與原始干凈圖像保持較好的一致性，如圖7（f）所示，MBCNN能夠較好地處理各種復(fù)雜特殊的摩爾紋圖案.

5 總結(jié)與展望

圖像去摩爾紋是一項(xiàng)重要的圖像修復(fù)任務(wù)，其目的是從污染圖像中去除摩爾紋干擾圖案并恢復(fù)底層干凈的圖像.傳統(tǒng)的基于先驗(yàn)知識(shí)的方法具有算法效率高、不需要大規(guī)模訓(xùn)練等優(yōu)點(diǎn)，能夠較好地處理頻域或空域分布特征相對(duì)簡單的摩爾紋圖案.比如當(dāng)利用智能手機(jī)或者數(shù)碼相機(jī)拍攝布料、織物、瓷磚等高頻重復(fù)紋理靜態(tài)圖案時(shí)，在頻域中摩爾紋的能量是集中的，與圖像的紋理能量有一定的差距.因此，基于圖像分解的方法則可以更好地分離2 種不同能量，進(jìn)而有效去除摩爾紋圖案.對(duì)于掃描的半色調(diào)圖像而言，摩爾紋圖案可能會(huì)呈現(xiàn)周期性的網(wǎng)紋干擾性質(zhì)，利用傳統(tǒng)圖像濾波的方法性能可能會(huì)更好；基于圖像差值的方法在去除摩爾紋圖案的同時(shí)，可以更好地恢復(fù)圖像亮度信息和色彩空間信息.

然而，與圖像去噪任務(wù)中均勻分布的噪聲和超分辨率任務(wù)中缺失的高頻細(xì)節(jié)不同，屏幕拍攝的摩爾紋圖案具有廣泛分布的頻譜和復(fù)雜紋理的動(dòng)態(tài)特性，這使得圖像去摩爾紋任務(wù)面臨著巨大挑戰(zhàn).傳統(tǒng)的基于信號(hào)處理的摩爾紋去除方法需要基于特定的先驗(yàn)知識(shí)和模型，因此圖像修復(fù)效果存在較大的提升空間.基于深度學(xué)習(xí)的摩爾紋去除方法則通過在不同尺度上探究摩爾紋圖案和背景圖像之間的內(nèi)在相關(guān)性，并考慮不同尺度之間的特征融合，在圖像質(zhì)量改善方面取得較好的性能.但是基于CNN 的網(wǎng)絡(luò)模型需要大規(guī)模的摩爾紋污染圖像和原始干凈圖像的訓(xùn)練集對(duì)的支撐，數(shù)據(jù)集構(gòu)造的質(zhì)量也會(huì)嚴(yán)重影響算法性能，而相關(guān)數(shù)據(jù)集對(duì)的構(gòu)造難度較大，在很多情況下無法完成.綜上，針對(duì)目前摩爾紋圖案去除方法存在的問題，為了進(jìn)一步提高網(wǎng)絡(luò)模型的實(shí)用性，以下3 個(gè)技術(shù)方向值得進(jìn)一步關(guān)注.

1） 摩爾紋成因描述模型構(gòu)建

在早期階段，人們對(duì)于摩爾紋的研究大多基于數(shù)學(xué)模型，從摩爾紋的成因出發(fā)，研究摩爾紋的頻域和空域特征.不同的成像模式也會(huì)造成摩爾紋特性表現(xiàn)的差異，通過對(duì)摩爾紋成因的深入研究，我們可以構(gòu)建更為準(zhǔn)確的摩爾紋消除模型.一方面，摩爾紋成因分析有利于特定場景下的摩爾紋圖案去除.劉芳蕾[21]通過對(duì)紋理圖像中摩爾紋分量的頻域稀疏特性和紋理分量的空余低秩特性的分析，構(gòu)建圖像分解模型實(shí)現(xiàn)了紋理層與摩爾紋的分離.張雪[22]針對(duì)屏攝圖像中摩爾紋能量分布非常分散、高頻信息難以區(qū)分等特點(diǎn)，并結(jié)合屏攝摩爾紋和圖像背景的結(jié)構(gòu)性差異，提出了基于GMM 的多相圖像分解方法，在保留背景圖像結(jié)構(gòu)的同時(shí)擾亂摩爾紋結(jié)構(gòu)，從而避免塊效應(yīng)并降低算法的時(shí)間復(fù)雜度.另一方面，精確的摩爾紋成因描述模型也可以輔助深度學(xué)習(xí)模型的訓(xùn)練，促進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化，提升摩爾紋圖案消除算法性能.鑒于摩爾紋圖案的復(fù)雜特性和成因差異，現(xiàn)有描述摩爾紋成因的數(shù)學(xué)模型缺乏通用性，需要未來進(jìn)一步的深入研究.

2） 真實(shí)場景下的通用摩爾紋去除網(wǎng)絡(luò)研究

目前基于深度學(xué)習(xí)的摩爾紋圖案去除網(wǎng)絡(luò)大都是采用實(shí)驗(yàn)室環(huán)境下采集和模擬生成的數(shù)據(jù)集進(jìn)行訓(xùn)練和評(píng)估的，在某些情況不能完全適用于現(xiàn)實(shí)場景中具有復(fù)雜特征的污染圖像，模型泛化性能較低.由表2 可知，規(guī)模最大的TIP2018 數(shù)據(jù)集最接近于真實(shí)場景下的摩爾紋圖案效果，但其圖像采集過程也存在圖像分辨率低、摩爾紋場景簡單、拍攝角度單一等問題.而實(shí)際需要處理的摩爾紋圖案往往具有分辨率高，且摩爾紋顏色、形狀、邊界、密度等復(fù)雜多變的特點(diǎn).為此，我們需要從以下方面展開深入研究，以探索真實(shí)場景下的摩爾紋圖案去除方案：①利用人工智能和計(jì)算機(jī)視覺技術(shù)，在真實(shí)場景下構(gòu)建更大規(guī)模的摩爾紋圖案數(shù)據(jù)集，包含不同分辨率、不同場景、不同摩爾紋強(qiáng)度等多種特征；②充分探索不同分辨率特征映射之間的關(guān)系，將不同尺度下的摩爾紋顏色、形狀、邊界、密度等多種特征信息進(jìn)行融合和交換，然后通過學(xué)習(xí)和解耦得到更加通用的摩爾紋圖案相關(guān)語義特征，而忽略無關(guān)特征，從而構(gòu)建高效和高魯棒的通用摩爾紋去除網(wǎng)絡(luò)模型結(jié)構(gòu)；③基于對(duì)抗神經(jīng)網(wǎng)絡(luò)GAN 的訓(xùn)練模型，在網(wǎng)絡(luò)生成器和鑒別器中引入基于多尺度特征融合的CNN 卷積神經(jīng)網(wǎng)絡(luò)，將會(huì)成為摩爾紋去除技術(shù)的一個(gè)重要研究方向.

3） 基于移動(dòng)終端的泛化應(yīng)用拓展

隨著移動(dòng)互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展和智能移動(dòng)終端設(shè)備的全面普及，利用智能移動(dòng)終端進(jìn)行信息捕獲、處理、存儲(chǔ)和共享等成為主流應(yīng)用方式，比如圖像美化[72]、OCR 識(shí)別[73]和水印提取[74]等.由于屏攝圖像中通常會(huì)受到摩爾紋干擾圖案的嚴(yán)重干擾，基于移動(dòng)終端的摩爾紋去除應(yīng)用存在諸多不足之處：①硬件設(shè)備的多樣性和不同設(shè)備之間的差異性導(dǎo)致了摩爾紋圖案的頻域特征分布更加不規(guī)則，深度學(xué)習(xí)網(wǎng)絡(luò)模型的泛化性能普遍較低；②現(xiàn)有的基于深度學(xué)習(xí)的摩爾紋去除網(wǎng)絡(luò)模型大多都是部署在服務(wù)器端，其網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜、訓(xùn)練數(shù)據(jù)龐大、計(jì)算資源配置高，較難直接部署于計(jì)算能力有限的移動(dòng)終端設(shè)備；③深度學(xué)習(xí)算法與移動(dòng)終端應(yīng)用結(jié)合的研究有待深入，鮮有直接應(yīng)用于移動(dòng)終端的輕量級(jí)深度學(xué)習(xí)模型被提出，基于移動(dòng)終端的摩爾紋去除方法實(shí)時(shí)性較差.為此，需要在2 個(gè)方面進(jìn)行基于移動(dòng)終端的摩爾紋去除網(wǎng)絡(luò)模型的優(yōu)化和構(gòu)建：①利用低秩近似分解、網(wǎng)絡(luò)剪枝和網(wǎng)絡(luò)量化對(duì)已有的深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行模型壓縮和加速優(yōu)化；直接設(shè)計(jì)輕量化的網(wǎng)絡(luò)結(jié)構(gòu)，并將訓(xùn)練完成的深層網(wǎng)絡(luò)模型完全運(yùn)行于移動(dòng)終端設(shè)備.②結(jié)合邊緣計(jì)算技術(shù)，通過神經(jīng)網(wǎng)絡(luò)前向推理框架[75]將優(yōu)化后的深度學(xué)習(xí)模型部署至移動(dòng)端的應(yīng)用系統(tǒng).

總之，基于深度學(xué)習(xí)的摩爾紋圖案去除模型的部署輕量化、計(jì)算低配化、性能普適化以及操作實(shí)時(shí)化將成為移動(dòng)終端泛化應(yīng)用的重要研究目標(biāo).

作者貢獻(xiàn)聲明：亓文法提出了文章框架結(jié)構(gòu)和研究思路，并撰寫論文；劉宇鑫負(fù)責(zé)完成實(shí)驗(yàn)并撰寫論文；郭宗明提出指導(dǎo)意見并修改論文.