全天相機云圖去噪算法的研究?

高振斌，李夢慈，邱 波，陳建軍，曹子皇，宋 濤

(1.河北工業(yè)大學，天津 300401；2.中國科學院國家天文臺，北京 100101)

云圖是天文學、氣象學等學科的研究熱點。云的分布情況、云量大小和云的類型等均是大氣分析和天氣預報的重要因素，但噪聲對云圖分析造成干擾。云圖噪聲分為引入噪聲和固有噪聲兩類：(1)引入噪聲指云圖在傳輸、轉換和存儲過程中引入的干擾信息，該噪聲影響云圖的質量；(2)固有噪聲指云圖本身所含噪聲，固有噪聲會對云觀測和云圖分析造成干擾，使云圖平均灰度值變化或將噪聲部分誤判為云層等，影響分析的準確性。因此，對云圖進行去噪處理至關重要。目前，國內外針對云圖引入噪聲的研究較為廣泛。除傳統(tǒng)的高斯平滑[1]、九點濾波算法[2]、中值濾波法[3]、自適應濾波框[4]等方法外，文[5]采用流行的機器學習去噪算法進行云圖去噪，包括高斯混合模型[6]，過完備稀疏變換模型[7]，K-SVD[8]，超完備DCT字典[9]。文[10]提出了一種基于Tetrolet變換和偏微分方程、廣義交叉驗證的云圖去噪算法。這些改進算法使得去噪后的云圖具有較高的峰值信噪比，并且圖像邊緣清晰，細節(jié)完整?？傮w而言，引入噪聲去噪算法的研究較為成熟。本文主要研究云圖固有噪聲的去噪算法，下文所提噪聲均為云圖的固有噪聲。

全天相機云圖是通過全天空成像技術，通過全自動、全色彩天空成像系統(tǒng)，提供實時處理和顯示24小時的天空狀態(tài)。全天相機拍攝的云圖是角度自下而上、以天空為背景的云圖[11]，換言之，全天相機云圖是一種地基云圖，導致全天相機云圖的固有噪聲主要來自天空中的因素。目前，常采用紅綠藍(RGB)三通道[12]方法進行云檢測及太陽去除，但由于天空背景的不均勻性，紅綠藍三通道法存在一定誤差。文[13]通過生成晴空圖的方法對紅綠藍三通道法進行改進，較好地去除太陽噪聲。但該方法需結合云圖每個像素的像素/天頂角和像素/方位角，對相機的校準要求較高，成本高且易產生誤差。文[14]提出了照相機加云高儀(Camera Plus Ceilometer，CPC)算法，可檢測太陽是否被云層遮擋，提高了云檢測的準確度，但該方法沒有除去太陽噪聲。文[15]提出了結合輻射數據確定云圖太陽位置的方法，該方法需要結合輻射數據，不能直接處理云圖。文[16]提出了亮溫閾值分割法，該方法只是削弱了太陽噪聲的影響，并沒有完全去除。文[17]提出了時間分割法和差分法去除月光噪聲，但這兩種方法僅能處理灰度值圖像，無法保留云圖的紅綠藍信息?？傮w而言，國內外對云圖固有噪聲去噪算法的研究多為去除或削弱太陽和月亮噪聲，而云圖中還存在如雷電、冰晶等干擾項。并且，許多去噪算法需要結合輻射[15]、溫度[16]等數據，較為繁瑣，或對相機等設備有較高要求[14]，成本較高。本文通過圖像處理技術，可實現多種類型的噪聲去除工作，簡單便捷，成本較低。

本文的主要創(chuàng)新點有：(1)在經過大量的人工閱圖后將噪聲進行合理分類，把云圖固有噪聲甄別為5種常見噪聲和4種特殊噪聲，并對應于不同的天空狀態(tài)；(2)對不同噪聲進行針對性處理，總結出不同噪聲的分布、區(qū)域大小等特點，然后結合噪聲與云層相對位置等因素有針對性地提出邊界閾值法、時間軸法、反比例線性變換等8種去噪算法，從而基本實現各種天空狀態(tài)下的云圖去噪；(3)提出了一種交互式多類型噪聲去除系統(tǒng)，可減少算法執(zhí)行時間，并選取200張典型云圖噪聲數據進行實驗分析。實驗結果表明，該系統(tǒng)可以有效去除常見噪聲，基本保持云層和天空信息的完整性，簡單便捷地實現云圖去噪。

本文的數據來源于中國科學院國家天文臺提供的LAMOST云圖數據，共計有2 201張大小為2 592×1 728像素的彩色云圖。

1 云圖噪聲分類及去噪算法

云圖噪聲可以分為星光噪聲、月光噪聲、日光噪聲、雷電噪聲、反光噪聲和特殊噪聲等。

1.1 星光噪聲

星光噪聲的灰度級跨度較大，像素點小，灰度值比天空高。因此，可以認為星光是一種隨機出現的白點，是夜空這一暗區(qū)域中的白色像素。這一特征與椒鹽噪聲的特征相同，故可用中值濾波去噪算法。此外，根據全天相機連續(xù)拍攝的特性，可以采用的第二種去噪算法為時間軸法。在針對該類噪聲的處理中，所有的彩色云圖通過(1)式全部轉為256級灰度圖后再進行處理。

其中，Gray為像素點的灰度值，范圍為0～255。

1.1.1 中值濾波法

中值濾波法是去除單點無規(guī)律分布噪聲的有效手段。該方法通過確定一個含奇數像素的滑動窗口，將窗口內的各像素灰度值排序，用其中值代替原灰度值成為窗口中心的灰度值，從而消除孤立的星光噪聲點，它屬于一種非線性圖像平滑技術。噪聲區(qū)域的大小隨具體圖片而定，通過實驗發(fā)現，噪聲區(qū)域半徑過小會導致濾除效果不好，過大則導致云圖其它細節(jié)受到影響。

1.1.2 時間軸法

由于云圖數據是連續(xù)拍攝的視頻幀，每幀之間間隔5 min左右，由此發(fā)現，30 min內天空灰度值、星體數量、星光強度等的變化幾乎可以忽略不計，故本文認為30 min內的云圖所含天空信息不變。但由于地球自轉和公轉的影響以及星星的像素點較小的特性，使得30 min內云圖中星體的位置略有偏差。全天相機的拍攝周期大約為5 min，選用與待處理云圖的時間差在30 min內的一張云圖作為背景圖，遍歷所有像素點的灰度值，發(fā)現星光比背景天空的灰度值高，整體灰度值越高的圖像，星光與天空的灰度值差越大。如果某一點的灰度值a(i，j)滿足：

則令a(i，j)=b(i，j)，其中，am，bm為原圖、背景圖灰度值的平均值；Istar為觀察全部數據集后選取的固定星光閾值，閾值偏大會導致噪聲難以完全去除，閾值偏小會導致圖像整體變暗。通過實驗發(fā)現，Istar取0.2時，去噪效果較好。

實驗證明，時間軸法在保留云層和天空信息完整性方面優(yōu)于中值濾波。中值濾波能完整去除星光噪聲，更加簡單便捷。星光噪聲原圖和結果圖如圖1。

1.2 月光噪聲

通過對云圖數據的觀察，在相鄰的2～3天內，每天臨近同一時刻，月亮所在的位置相差不大。根據月亮的這一特點，可以采用差分法去除月光噪聲[17]。月光噪聲的灰度值較高，因此，可以采用邊界閾值法；月光的亮度受云層厚度的影響，故還可采用反比例線性變換法。此外，由于云圖數據的連續(xù)拍攝特點，月光噪聲同樣可以采用時間軸法。

1.2.1 差分法

差分法可用于檢測運動目標。將待處理的云圖稱為原圖；在數據庫中篩選出不同日期但相同時刻的云圖，稱為背景圖。為了避免混入其它噪聲形成不必要的干擾，背景圖最好選擇僅含月亮無云的圖。將原圖與背景圖轉化為灰度圖，并進行圖片相減，可以有效去除月光噪聲[17]。

1.2.2 邊界閾值法

月光灰度值極高，直接將高灰度值置為0，不但會在圖片上留下一個突兀的黑洞，還破壞了云層或天空信息，而且月光噪聲通常伴隨著散射噪聲出現。散射噪聲是由于月光受天空中水蒸氣等因素的影響，發(fā)生散射，在月光附近形成的面積較大、亮度稍暗的光暈。因此僅將高灰度值部分置0難以完整除去月光及散射噪聲，所以需要對月光部分進行補償。通過研究月光邊界的云層信息，發(fā)現邊界點的灰度值與云圖平均灰度值成正比。當像素點灰度值a(i，j)滿足

圖1 (a)星光噪聲原圖；(b)中值濾波結果圖；(c)時間軸背景圖；(d)時間軸結果圖Fig.1 (a)Original image of starlight；(b)Result image of median filtering； (c)Background image of timeline；(d)Result image of timeline

可判定該部分為月光，令a(i，j)=bou，其中，am為云圖灰度值的平均值；bou為云圖邊界點的灰度值；Imoon為觀察全部數據集后選取的固定月光閾值。閾值Imoon過大將不能完全識別月光，過小會將部分天空或云層誤判為月光。文中Imoon參考數值為0.68。將灰度值轉換成紅綠藍三通道，重復上述過程，可得到紅綠藍結果圖。

1.2.3 反比例線性變換法

將紅綠藍云圖轉換為灰度圖后發(fā)現，云層較厚的部分月光較暗，云層較薄的部分月光較亮，而當月亮未被云層覆蓋時，月光最亮，灰度值也最高。因此可以得出結論：月光越亮的部分去噪后亮度變化越大。因為月光噪聲的灰度值與云層厚度成反比，所以去噪后像素點的灰度值與原始灰度值成反比。

其中，Pn(i，j)為去噪后像素點的灰度值；Po(i，j)為原始像素點的灰度值；C為常數。為了保證云圖在去除月光噪聲后不突兀，月亮與天空的連接處平滑，要求連接處的像素點滿足去噪前后灰度值相等的條件，即

其中，Pn為去噪后月亮與天空連接處像素點的灰度值；Po為連接處像素點的原始灰度值；am為云圖灰度值的平均值；Imoon為觀察后選取的固定閾值。將(5)式代入(4)式，可得出常數C的值，從而得到反比例線性變換法的公式：

反比例線性變換法先遍歷所有像素點，滿足(3)式的像素點確定為月光噪聲，代入(6)式，其余像素點不變。

差分法的優(yōu)點是可以基本去除月光噪聲，去噪效果優(yōu)于時間軸法和反比例線性變換法；缺點是造成整體灰度值降低，破壞云層信息，且計算時需要無云的背景圖，不能處理彩色圖像。因此差分法適用于月亮未被云層覆蓋的情況。

邊界閾值法的優(yōu)點是可以在不破壞云層的情況下完整去除月光噪聲，保持天空信息和云層信息的完整性，還可以處理彩色圖像；缺點是比較復雜。因此，邊界閾值法適用于月亮被云層覆蓋的情況。

時間軸法的優(yōu)點是可以同時去除月光噪聲和星光噪聲，可以處理彩色圖像；缺點是不能完整去除噪聲，需要背景圖。

反比例線性變換法的優(yōu)點是方法最簡單，無需背景圖，月亮區(qū)域與天空連接平滑，不會使圖像突兀，圖像整體灰度值不變。反比例線性變化法去噪效果優(yōu)于時間軸法，但不如差分法。該方法不能處理彩色圖像。

這4種去噪算法各有利弊，在實際應用中，要根據云層信息、云圖數據庫大小等選擇合適的去噪算法。噪聲原圖和結果圖如圖2。

圖2 (a)差分法原圖；(b)差分法背景圖；(c)差分法結果圖；(d)邊界閾值原圖；(e)邊界閾值結果圖(RGB)；(f)時間軸原圖；(g)時間軸結果圖(RGB)；(h)反比例線性變換原圖；(i)反比例線性變換結果圖Fig.2 (a)Original image of difference method；(b)Background image of difference method；(c)Result image of difference method；(d)Original image of boundary threshold；(e)Result image of boundary threshold(RGB)； (f)Original image of timeline； (g)Result image of timeline(RGB)；(h)Original image of inverse proportional linear transformation；(i)Result image of inverse proportional linear transformation

1.3 日光噪聲

日光噪聲的分布、位置、出現方式、云層對去噪算法的影響等特點與月光噪聲非常相似。故可用月光去噪算法去除日光噪聲。但日光噪聲像素點更大，灰度值更高，很難完整去除日光噪聲，針對這一特性提出一種新的去噪算法——密集時間軸法。

密集時間軸法是在時間軸法的基礎上改進的。由于日光像素點較大，可選擇30 min內的5～6張云圖實現日光噪聲的去除。將原圖遍歷像素點灰度值與其余背景圖進行比較，當滿足

時，將背景圖像素點灰度值賦給原圖。其中，Isun為觀察全部數據集后選取的固定日光閾值，文中Isun參考數值為0.68。也可以將灰度值換成紅綠藍通道值進行彩圖去噪。

密集時間軸法的優(yōu)點是能基本去除噪聲，可以處理彩色圖像。缺點是需要多張背景圖，比較復雜繁瑣，圖像連接處不光滑。該方法適合處理太陽未被云層覆蓋的情況。原圖和結果圖如圖3。

1.4 雷電噪聲

雷電噪聲通常出現在云層下方，因此，不存在被云層覆蓋的情況。雷電噪聲呈樹杈狀，整體細長，根部粗，枝葉部分細。利用這一特性，可以采用形態(tài)學開運算法去除雷電噪聲。

圖3 (a)密集時間軸原圖；(b)密集時間軸結果圖(RGB)Fig.3 (a)Original image of dense timeline；(b)Result image of dense timeline(RGB)

形態(tài)學開運算是圖像處理的一種常用方法，原理是先進行形態(tài)學腐蝕再進行形態(tài)學膨脹。即先消除圖片中細小高亮的目標物，再填補消除物體造成的空洞并平滑邊界，同時保持圖像大小不變。

形態(tài)學開運算可以基本去除雷電噪聲，保持云層和天空信息的完整性，雷電與天空的連接處比較平滑，是一種比較理想的雷電去噪算法。原圖和結果圖如圖4。

圖4 (a)原圖；(b)結果圖(RGB)Fig.4 (a)Original image；(b)Result image(RGB)

1.5 反光噪聲

反光噪聲是由于日光或月光照射在鏡頭上反光造成的一種噪聲，所以反光噪聲通常伴隨日光或月光出現。與散射噪聲不同，反光噪聲不出現在太陽或月亮周圍，其分布不規(guī)律。反光通常帶有顏色，故可用紅綠藍通道法去噪。此外，反光部分的灰度值比背景天空高，還可用邊界閾值法去噪。

1.5.1 紅綠藍通道法

紅綠藍指的是彩色圖像的紅綠藍三種不同的通道，反光區(qū)域的紅綠藍三通道值大小不同，而其余部分的紅綠藍三通道值相差無幾。將云圖的三通道分離，求出每個通道的平均值，用最高的通道減去最低的通道即可得到反光部分。隨后利用圖片減法，原圖減去反光部分乘權值系數，可以去除反光噪聲。

1.5.2 邊界閾值法

反光的灰度值比背景天空高，但與部分云層灰度值接近。為保持云層信息完整，需要對邊界閾值法進行改進。由于反光噪聲的像素點較小，在進行云圖處理時可以人為標記反光噪聲部分，僅用邊界閾值法處理標記部分。

紅綠藍通道法的優(yōu)點是算法簡單，可以基本去除反光噪聲，當權值系數較大時還可以去除部分散射噪聲。缺點是只適用于整體灰度值比較低的情況，權值系數很難確定為最佳值。

邊界閾值法的優(yōu)點是能完整去除反光噪聲，不破壞天空云層信息，適用于各種云圖。缺點是非常繁瑣，需要進行標記。原圖和結果圖如圖5。

圖5 (a)原圖(含標記)；(b)RGB通道法結果圖；(c)邊界閾值法結果圖(RGB)Fig.5 (a)Original image(with label)；(b)Result image of RGB channel；(c)Result image of boundary threshold(RGB)

1.6 特殊噪聲

全天相機云圖中包含許多特殊噪聲，本文主要介紹其中的4種，包括積雪噪聲、白光噪聲、雨水噪聲和冰晶噪聲。

由于積雪、白光、雨水和覆蓋整個鏡頭的冰晶會完全破壞云層和天空信息，故將其作為廢棄云圖，不進行處理。本文僅討論冰晶噪聲較小的情況。

由于冰晶噪聲的飽和度較高，灰度值與天空部分相差無幾，可以將飽和度和邊界閾值法結合去除冰晶噪聲。首先定義飽和度閾值Sice，再結合邊界閾值法，當像素點的灰度值大于閾值Iice且飽和度大于飽和度閾值Sice時，判定為冰晶噪聲。文中Iice參考數值為150，Sice參考數值為80。將冰晶噪聲的像素點灰度值用噪聲與天空或云層的邊界點灰度值替代，可以去除噪聲。但云的飽和度與冰晶噪聲類似，該方法會破壞云層信息，故在進行云圖處理時可以標記冰晶噪聲部分，僅對標記處進行去噪處理。可以將灰度值換成紅綠藍三通道，重復上述過程，得到紅綠藍結果圖。

飽和度結合邊界閾值法可以基本去除冰晶噪聲，但連接處有灰度值的跳變，連接不平滑使圖像突兀，而且該方法繁瑣，需要獲取連接處灰度值信息并進行標記。特殊噪聲和冰晶噪聲去噪結果圖如圖6，噪聲種類特點如表1，不同噪聲去噪算法總結如表2。

圖6 (a)積雪；(b)白光；(c)雨水；(d)冰晶(大)；(e)冰晶(小)原圖；(f)結果圖(RGB)Fig.6 (a)snow； (b)white light； (c)rain； (d)ice(large)； (f)Original image of ice(small)； (g)Result image(RGB)

表1 噪聲種類及其特點Table 1 Types of noise and their characteristics

表2 不同噪聲去噪算法總結Table 2 Summary of different noise denoising algorithms

2 交互式多類型噪聲去除系統(tǒng)

云圖去噪算法較多，需要根據實際情況選擇不同的去噪算法，獲得最佳去噪結果。但這樣需要的執(zhí)行時間較長，而且部分算法需要一張甚至多張背景圖和噪聲標記，比較復雜繁瑣。為克服以上缺點，本文將不同噪聲的去噪算法進行整合，提出一種交互式多類型噪聲去除系統(tǒng)，可以實現大量云圖的去噪工作。

通過對不同噪聲特點的研究發(fā)現，日光和月光的灰度值較高，容易與背景天空區(qū)分。而其余噪聲的灰度值不具備明顯特征，難以同云層及天空區(qū)分。因此，只能判斷云圖中是否含有日光、月光，很難自動判別星光、雷電和反光噪聲。

本文采用半自動的交互式系統(tǒng)設計，通過人工交互判斷是否含某類噪聲，然后系統(tǒng)進行相應的自動去噪處理。

在這個綜合系統(tǒng)中，選擇中值濾波法去除星光噪聲，選擇反比例線性變換法去除月光噪聲和日光噪聲，選擇形態(tài)學開運算法去除雷電噪聲，選擇紅綠藍通道法去除反光噪聲，系統(tǒng)流程圖如圖7。

由于部分云圖不含噪聲，并且通過觀察發(fā)現，時間間隔較短的云圖中噪聲種類、位置、大小等信息相似，為更好地說明系統(tǒng)的去噪效果，本文對原始數據進行了篩選。選出200張具有典型噪聲的云圖，通過交互式多類型噪聲去除系統(tǒng)的處理，采用圖像質量主觀評價法，請20位觀察者對去噪圖像進行評價，取平均值作為圖像去噪效果的結果，如表3。其中指標 “去噪完整性”，定義去噪后圖中無明顯噪聲的云圖為優(yōu)，去噪后殘余較少噪聲的云圖為良，其余為差。指標“云層天空信息完整性”，定義去噪后基本保持云層天空信息完整的云圖為優(yōu)，去噪后較少云層或天空信息被破壞的云圖為良，其余為差。

通過對實驗結果的“去噪完整性”、“云層天空信息完整性”兩方面進行分析發(fā)現，通過去噪系統(tǒng)的云圖多數可以基本除去噪聲；去噪效果不好的情況中，部分是因為存在特殊噪聲，其余均為反光噪聲難以完全去除。這說明目前的反光噪聲去除方法還有待改善，在今后的研究中應將如何去除反光噪聲作為重點。同時，該算法可以基本保持云層和天空信息的完整性。實驗中有20張效果較差的云圖，通過觀察分析發(fā)現均為將云層誤識別為反光噪聲，因此如何有效區(qū)分反光噪聲與云層仍需進一步探索。若要更加有效地去除噪聲，應該結合實際情況選擇更適合的去噪算法。

圖7 系統(tǒng)流程圖Fig.7 System flow chart

表3 交互式多類型噪聲去除系統(tǒng)去噪效果Table 3 Denoising effect of interactive multi-type noise removal system

該系統(tǒng)的缺點是不能自動判別噪聲，在接下來的工作中，可以考慮利用圖像分類技術，比如卷積神經網絡[18]，進行云圖特征值提取，通過距離分析、聚類，實現噪聲自動分類。為提高分類準確性，可利用對抗網絡[19]生成與原始數據有相同分布的樣本，增大訓練集，對系統(tǒng)進行預處理。

3 結 論

本文經過大量的人工研讀，將全天相機云圖的固有噪聲進行了分類，共分為星光噪聲、月光噪聲、日光噪聲、雷電噪聲、反光噪聲和特殊噪聲，并分別進行分析，總結出不同噪聲的分布、區(qū)域大小和其它特征；然后根據這些噪聲的特性并結合云圖中云的位置、天空信息等，有針對性地提出了8種對應的去噪算法，能較好地實現各種情況下不同噪聲的去除。同時，為了減少執(zhí)行時間，實現大量云圖的快速去噪，設計了一種交互式多類型噪聲去除系統(tǒng)，并在實驗中選用200張典型云圖進行處理。該系統(tǒng)的缺陷是不能自動判別噪聲類型，在接下來的研究中需要考慮利用圖像分類技術實現噪聲自動分類；而且系統(tǒng)去除反光噪聲的部分不是十分理想，需要進一步研究能夠有效區(qū)分反光和云層的方法。