摘" 要:為消除屏拍攝圖像摩爾條紋,分析摩爾條紋形成機(jī)制,得出屏攝圖像頻域特征。利用傅里葉變換,將屏攝圖像轉(zhuǎn)換到頻域,根據(jù)屏攝圖像的頻域特征,設(shè)計(jì)算法消除引發(fā)摩爾條紋的頻域信息。結(jié)果表明,該方法可以有效地消除屏攝圖像摩爾條紋,是一種簡(jiǎn)單有效地消除屏攝圖像摩爾條紋的方法,且對(duì)原始圖的高頻信息影響較小。
關(guān)鍵詞:屏攝圖像;摩爾條紋;傅里葉變換;消除方法;頻域
中圖分類號(hào):TP391.41" " " 文獻(xiàn)標(biāo)志碼:A" " " " " 文章編號(hào):2095-2945(2025)09-0001-04
Abstract: In order to eliminate moire fringes in screen-shot images, the formation mechanism of moire fringes is analyzed, and the frequency domain characteristics of screen-shot images are obtained. Fourier transform is used to transform the screen image into the frequency domain. According to the frequency domain characteristics of the screen image, an algorithm is designed to eliminate the frequency domain information that causes moire fringes. The results show that this method can effectively eliminate moire fringes in screen images, and is a simple and effective method to eliminate moire fringes in screen images, and the high-frequency information of the original image has little influence.
Keywords: on-screen image; Moire fringe; Fourier transform; elimination method; frequency domain
當(dāng)數(shù)碼相機(jī)或者手機(jī)拍攝電子屏?xí)r,獲得的圖像有明顯多余的不規(guī)則干擾條紋,這種條紋叫摩爾條紋。其原因是數(shù)碼相機(jī)或手機(jī)拍攝時(shí),相機(jī)或者手機(jī)顯示屏像素的空間頻率與被拍攝電子屏像素空間頻率接近,就會(huì)產(chǎn)生這種波浪形的干擾圖案[1]。當(dāng)圖案中的細(xì)條狀結(jié)構(gòu)與傳感器的結(jié)構(gòu)以小角度交叉時(shí),這種效應(yīng)會(huì)在圖像中產(chǎn)生明顯的干擾[2]。這種現(xiàn)象在一些細(xì)密紋理情況下,比如時(shí)尚攝影中的布料上,非常普遍[3]。
產(chǎn)生摩爾條紋可以分為2大類,一類是在拍攝電子屏?xí)r,屏的像素的空間頻率與數(shù)碼相機(jī)CCD或者CMOS的感光元件的空間頻率接近時(shí),根據(jù)奈奎斯特采樣定律,屏的空間周期結(jié)構(gòu)與相機(jī)感光結(jié)構(gòu)的混疊會(huì)產(chǎn)生摩爾條紋現(xiàn)象。
加入低通濾波,可以消除摩爾條紋,但會(huì)帶來(lái)成像銳度降低和圖像細(xì)節(jié)過(guò)平滑等缺陷,造成拍攝的圖像清晰度降低,去馬賽克算法同樣可減輕由于CFA 結(jié)構(gòu)采樣或者插值錯(cuò)誤所產(chǎn)生的摩爾條紋[4]。
另外一種情況是數(shù)碼相機(jī)CCD或者CMOS的感光元件的空間頻率遠(yuǎn)高于液晶屏的空間頻率,但是在縮放過(guò)程中,由于算法的原因?qū)е卤慌臄z的屏的像素的頻率發(fā)生變化,與顯示屏的像素頻率接近, 混疊產(chǎn)生摩爾條紋。且摩爾條紋隨縮放會(huì)變化。
近年來(lái),屏攝圖像去馬賽克算法得到不斷改進(jìn)和完善,為避免摩爾條紋的產(chǎn)生取得了良好的效果, 如邱香香[5]提出基于CCD靜態(tài)圖像的摩爾條紋去除插值算法去除彩色摩爾條紋。劉芳蕾[6]提出了一種聯(lián)合低秩稀疏矩陣分解和導(dǎo)向?yàn)V波的圖像分解模型,實(shí)現(xiàn)摩爾條紋的消除。Sun等[7]提出了基于多分辨率卷積神經(jīng)網(wǎng)絡(luò)的摩爾條紋圖像修復(fù)。孫春云[8]提出了一種深度多級(jí)小波去摩爾條紋網(wǎng)絡(luò),嵌入深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)不同深度的子集,帶來(lái)更好的去摩爾條紋性能。這些方法都取得了很好的效果。
但是這些方法算法過(guò)于復(fù)雜,不易理解,處理速度不高。本文根據(jù)摩爾條紋生成的機(jī)理,提出了基于傅里葉變換的屏拍攝圖像摩爾條紋消除算法。本算法方法簡(jiǎn)單,易于理解,能達(dá)到良好的去除摩爾條紋效果。
1" 原理
1.1" 摩爾條紋形成原理
摩爾條紋的成因是差拍原理的一種體現(xiàn),當(dāng)2個(gè)空間頻率相近的條紋進(jìn)行疊加時(shí),形成摩爾條紋,合成信號(hào)的幅度按照兩者的空間頻率之差變化[9]。
屏攝圖像包含了屏幕周期形的像素信息。如圖1所示簡(jiǎn)化的電子屏像素結(jié)構(gòu),每個(gè)方格代表一個(gè)像素。拍攝時(shí),由于拍攝的角度、方位、水平度等因素的影響,照片與原始屏相比會(huì)有一定的變化。
若拍攝時(shí),相機(jī)的水平度不夠,照片就會(huì)稍微傾斜,如圖2所示。當(dāng)在屏幕上再現(xiàn)時(shí),圖像中的周期性的像素信息與屏幕本身的像素疊加,會(huì)形成均勻的摩爾條紋如圖3所示。
1.2" 摩爾條紋消除方法
因?yàn)槟枟l紋是屏幕像素的周期性結(jié)構(gòu)被記錄在圖片中,再現(xiàn)時(shí)與顯示屏幕的像素結(jié)構(gòu)疊加形成摩爾條紋。因此,為了消除摩爾條紋,最直接的思路是消除屏攝圖像中像素的周期性結(jié)構(gòu)?;痉椒ㄊ?,將屏攝圖像通過(guò)傅里葉變換得到圖像頻譜函數(shù)。由于像素的周期性,在頻譜函數(shù)中對(duì)應(yīng)的像素空間頻率的幅度顯著高于其他頻率幅度,通常會(huì)形成很多明顯的尖峰。將這些尖峰信號(hào)刪除。然后進(jìn)行傅里葉逆變換,摩爾條紋會(huì)顯著減輕或者消除。
2" 實(shí)驗(yàn)過(guò)程和結(jié)果
按圖7流程圖編寫(xiě)代碼。具體步驟如下。
步驟1:獲取原始屏攝圖像(圖8),并對(duì)紅色分量進(jìn)行傅里葉變換,獲取頻域函數(shù),并求模,獲得頻域模值分布,如圖9所示。圖9中0頻處峰值極大,其他頻率峰值不明顯。
步驟2:用以10為底的對(duì)數(shù)對(duì)頻域模值運(yùn)算,縮小不同峰值的高度差,如圖10所示;圖中0頻主峰之外有4個(gè)尖峰,是原始圖像中像素周期性的頻譜特征。
步驟3:用卷積對(duì)頻域模值進(jìn)行平滑處理,卷積核為10×10,結(jié)果如圖11所示。
步驟4:獲取除中心頻域以外的, 4大尖峰對(duì)應(yīng)的頻域,具體算法如下。
1)定義高度變量h,初值取頻域模值均值。
2)獲取h平面上的所有連通區(qū)域。
3)記錄或更新除最大聯(lián)通區(qū)域外的其余4大聯(lián)通區(qū)域,矩陣只保留最大連通區(qū)域進(jìn)入下次循環(huán),其余部分置零。
4)如果h高于矩陣最大值,結(jié)束循環(huán)。
5)否則,h增加,返回步驟2。
其中連通區(qū)域的大小計(jì)算方法為:連通區(qū)域面積×連通區(qū)域最大值。
步驟5:將在步驟1處獲得的頻域函數(shù)作以下處理,除第1大連通區(qū)域外的其他4大連通區(qū)域清除,結(jié)果如圖13所示。紅綠藍(lán)分量同一操作。
步驟6:將紅綠藍(lán)分量頻域函數(shù)分別進(jìn)行傅里葉逆變換,然后組合,獲取結(jié)果如圖14所示,摩爾條紋明顯消除。
3" 結(jié)論
本文分析了屏攝圖像摩爾條紋的機(jī)制,提出了形成摩爾條紋的原因是屏攝圖像中的像素結(jié)構(gòu)與顯示屏的像素結(jié)構(gòu)疊加形成拍頻。
并提出了消除摩爾條紋的思路,即消除屏攝圖像中的像素結(jié)構(gòu)。具體方法是將屏攝圖像通過(guò)傅里葉變換轉(zhuǎn)換到頻域,在頻域?qū)⑵翑z圖像中的像素結(jié)構(gòu)對(duì)應(yīng)的頻域消除。再通過(guò)傅里葉變換逆轉(zhuǎn)換到空域。即可消除摩爾條紋。
本文給出了算法流程圖,按照該算法對(duì)屏攝圖像進(jìn)行了處理。結(jié)果表明,本算法能精確找到并消除產(chǎn)生摩爾條紋的頻域區(qū)域,有效消除了摩爾條紋的干擾,提升屏攝圖像的平滑度和清晰度,且不影響圖像的分辨率。
參考文獻(xiàn):
[1] AMIDROR I. The Theory of the Moir'e Phenomenon [M]. New York: Springer, 2007.
[2] HIRAKAWA K, PARKS T W. Adaptive homogeneity-directed demosa-icing algorithm[C]// Proceedings 2003 International Conference on Image Processing. Barcelona, Spain, Spain. 2003:360-369.
[3] 吳增坤.基于相對(duì)方向總變差優(yōu)化的屏攝圖像去摩爾紋方法研究[D].天津:天津大學(xué),2020.
[4] 邱菊.基于插值算法的去彩色摩爾紋效應(yīng)的研究[D].南京:南京理工大學(xué),2009.
[5] 邱香香.基于CCD靜態(tài)圖像的摩爾紋去除算法研究[D].南京:南京理工大學(xué),2012.
[6] 劉芳蕾.基于圖像分解的紋理圖像摩爾紋消除方法[D].天津: 天津大學(xué),2017.
[7] SUN Y J, YU Y Z, WANG W P. Moiré photo restoration" using multiresolution convolutional neural networks[J]. IEEE Transac-tions on Image Processing,2018,27(8):4160-4172.
[8] 孫春云.基于注意力機(jī)制的小波域去摩爾紋研究[D].烏魯木齊:新疆大學(xué),2021.
[9] 張雪.基于圖像分解的屏攝圖像摩爾紋消除方法[D].天津: 天津大學(xué), 2018.