基于模糊聚類的果實采摘超分辨率重建方法

陳露+黨釗釗+王奎武

摘要：在現(xiàn)有的基于稀疏表示的圖像超分辨率算法的基礎(chǔ)上，提出了一種新的基于模糊聚類的超分辨率重建算法，并使用L-曲線法確定正則化參數(shù)，有效降低了圖像的邊緣鋸齒效應(yīng)，提升了圖像整體的平滑性，改善了基于稀疏約束算法的主客觀重建質(zhì)量。通過與線性插值法、Elad重建方法的仿真對比分析，基于模糊聚類的超分辨率重建方法可以顯著提高果實自動化采摘圖像的超分辨率重建效果。

關(guān)鍵詞：超分辨率重建；稀疏表示；聚類；L-曲線；果實采摘

中圖分類號：TP391.41；S126 文獻標識碼：A 文章編號：0439-8114（2014）03-0681-05

研究開發(fā)適合生產(chǎn)實際的果實采摘系統(tǒng)不僅可以在很大程度上減輕勞動強度、提高生產(chǎn)效率，而且具有廣闊的市場應(yīng)用前景。對于果實采摘系統(tǒng)，首要任務(wù)是利用拍攝的果實圖像外形特征以及果實的物理特性，清晰準確地將果實從背景中辨識出來，并且要求在不同的光照條件、不同的拍攝位置、復(fù)雜的背景條件下仍能準確快速地實現(xiàn)果實采摘識別[1]。為了有效增加果實采摘的識別率，各種圖像增強技術(shù)被應(yīng)用到果實采摘識別的預(yù)處理環(huán)節(jié)。圖像增強技術(shù)的目的就是提升圖像的可辨識能力，以滿足人眼視覺或為后續(xù)計算機圖像處理過程提供更好的輸入圖像。

圖像超分辨率重建是由一幀或多幀低分辨率圖像（LR）重建一幀高分辨率圖像（HR）的技術(shù)，分辨率增強技術(shù)正成為目前的研究熱點之一。當(dāng)前主流的超分辨率重建算法可以分為基于重建和基于學(xué)習(xí)兩類，基于重建的算法的主要思想是：利用一些先驗知識來約束求解過程，以達到增加細節(jié)信息的目的?；趯W(xué)習(xí)的超分辨率重建方法是由Freeman等[2]首先提出的，之后Yang等[3]提出利用稀疏表示方法實現(xiàn)基于學(xué)習(xí)的超分辨率重建算法。Elad等[4]在前者的基礎(chǔ)上進行了改進，使用主成分分析（PCA）法，并采用K-SVD算法[5]進行原子庫訓(xùn)練，使得算法運行速度提升的同時依然保持較好的重建效果。由于傳統(tǒng)的過完備字典構(gòu)造方法針對整個圖像超分辨過程中均使用同一原子庫，不能很好地考慮局部特性，故提出一種基于模糊聚類的字典構(gòu)造方法，來提高圖像的超分辨率重建的效果。

1 稀疏表示理論

稀疏表示的基本思想是超完備字典中的冗余基取代了傳統(tǒng)方法中的正交基，而字典的選擇應(yīng)盡可能地包含被表達信號所含有的信息結(jié)構(gòu)。信號的稀疏表示就是從超完備字典中選擇具有最佳線性組合的若干原子來表示信號（圖1）。

考慮一個給定的m維矢量信號x，以及一組m×n的基X。計算x在X這組基上稀疏的系數(shù)向量，則可以得到如下的一個優(yōu)化問題：

b是希望求解得到的稀疏變換后的n維系數(shù)向量，在上述優(yōu)化問題中，第一項是一個二乘誤差項，表示最后優(yōu)化得到的稀疏向量b要能夠精確地重建原始給定信號x。第二項是b的L0范數(shù)，作用是限制系數(shù)向量b中的非零元的個數(shù)，即使得b足夠稀疏。參數(shù)λ是一個控制重建誤差和稀疏性之間的折中。求解上述優(yōu)化問題就可以得到一個既稀疏又能準確重建原始信號的稀疏變換。

求L0范數(shù)是一個數(shù)學(xué)上的NP-hard問題，無法直接進行求解。Donoho[6]已經(jīng)證明了在信號足夠稀疏的前提下，L0范數(shù)的求解問題可以轉(zhuǎn)換為求解L1范數(shù)的凸優(yōu)化估計問題。即公式（1）等同于下式：

實際應(yīng)用中，圖像都是有噪聲存在的，即：

其中e表示高斯白噪聲。因此，公式（2）可以改寫為不等式約束，如下：

其中ε表示稀疏表示的誤差（噪聲強度），與上述模型等價的正則化表示如下：

其中λ表示正則化參數(shù)，用于平衡重建誤差逼近項和稀疏性約束正則化項。至此，就可以使用一些標準的解優(yōu)化問題的算法來進行求解。

2 降質(zhì)模型

在基于恢復(fù)的圖像超分辨率重建方法中，目標方程是通過圖像的降質(zhì)模型建立的。針對單幀圖像的超分辨率重建問題可以用如下的式子模擬降質(zhì)過程，

其中，D是降采樣算子，H是模糊濾波器，L表示二者乘積，v是加入的噪聲。通?？梢约僭O(shè)加入的噪聲服從高斯分布，這時關(guān)于上式降質(zhì)模型可以建立如下的優(yōu)化目標方程，

結(jié)合上述基于恢復(fù)的優(yōu)化目標方程和稀疏表示的思想，Dong等[7]提出了一種基于結(jié)構(gòu)聚類型字典的圖像超分辨率重建算法。

3 模糊聚類的原理

模糊聚類是用數(shù)學(xué)方法定量地確定研究對象的親疏關(guān)系和相似性，能客觀地分型劃類，使其具有更高的分辨率和廣泛的代表性，更具普遍意義。圖像是由一個個像素來表示的，圖像中各物體之間的邊界由像素值的變化表現(xiàn)。對于圖像來說，模糊聚類是對圖像的像素進行分析。

通常將被聚類的事物稱為樣本，將被聚類的一組事物稱為樣本集。設(shè)R是X上的經(jīng)典等價關(guān)系。對X中的兩個元素x和y，若（x，y）∈R，則將x和y并為一類，否則x和y不屬于同一類。相應(yīng)地，設(shè)Sa是X上的模糊等價關(guān)系，μs是Sa的隸屬函數(shù)。對于任何α∈[0，1]，Sa的定義為[8]：

根據(jù)Sa得到X的一種聚類，稱為在α水平上的聚類。即對于X中的任意兩個元素x和y，若μs（x，y）≥α，則x和y屬于同一類；否則x和y不屬于同一類。

應(yīng)用這種方法，分類的結(jié)果與α取值大小有關(guān)。α取值越大，分的類數(shù)越多。α小到某一值時，X中的所有樣本歸并為一類。這種方法的優(yōu)點在于可按實際需要選取α的值，以便得到恰當(dāng)?shù)姆诸悺?/p>

4 基于模糊聚類的字典訓(xùn)練

字典的設(shè)計在稀疏表示問題中很重要，字典構(gòu)造的好壞直接影響重建質(zhì)量的好壞。傳統(tǒng)的字典訓(xùn)練算法大多在訓(xùn)練初始就確定了字典的大小，因此，每次迭代更新過程實質(zhì)上是對所有原子進行更新的過程，運算量較大。

此次先對高分辨率圖像樣本預(yù)先進行模糊分類，然后對于每一類訓(xùn)練樣本學(xué)習(xí)一個相應(yīng)的子字典。每一個子字典的基元可以通過對相應(yīng)的子類樣本進行PCA變換得到。字典學(xué)習(xí)的流程如圖2。

4.1 字典訓(xùn)練

4.2 基于L-曲線的正則化參數(shù)確定

正則化參數(shù)λ的恰當(dāng)選擇對于圖像超分辨率重建很重要，合適的參數(shù)可保證解的全局最優(yōu)和算法的收斂性，本文選擇正則化參數(shù)是基于下述曲線：

該曲線定義為L-曲線（L-curve），主要是由于對于大尺度問題該曲線形狀像字母 “L”。 Hansen等[9]提出選擇恰當(dāng)正則化參數(shù)對應(yīng)于L-曲線的“頂點”，即曲線的大曲率點。對于大尺度病態(tài)問題，用L-curve來確定恰當(dāng)正則化參數(shù)的主要困難是計算L-curve上點的代價太昂貴。

5 試驗及仿真

將基于模糊聚類的超分辨率重建方法同雙線性插值法（Bicubic）、Elad（Single Image Super-Resolution-SISR）的重建方法在峰值信噪比（PSNR）和結(jié)構(gòu)相似度（SSIM）上進行比對，結(jié)果見圖4、圖5、圖6。

圖4、圖5和圖6是對果實圖像采用超分辨率重建方法、Elad的SISR方法以及雙線性插值的對比結(jié)果。從結(jié)果中可以看出，雙線性插值僅用對該點影響最大的像素點的灰度值作為該點的值，而沒有考慮其他相鄰像素點的影響。缺點是重建后的圖像有明顯的不連續(xù)性，插值質(zhì)量差，會在圖像中產(chǎn)生人為加工的痕跡，圖像易產(chǎn)生馬賽克和邊緣鋸齒等現(xiàn)象。但是用基于模糊聚類的超分辨率方法，沒有產(chǎn)生這種人為的偽影，并且重建的圖像指標比雙線性插值的方法要好很多。

進一步分析結(jié)果，可以看出Bicubic插值能有效地抑制振鈴現(xiàn)象，但是它會產(chǎn)生分段的連續(xù)塊效應(yīng)；Elad的圖像會產(chǎn)生極其光滑的邊緣，這樣會使重構(gòu)圖像看起來不自然，而且在視覺上圖像邊緣光滑，一些好的圖像結(jié)構(gòu)沒有被恢復(fù)。基于模糊聚類的超分辨率重建方法在視覺上具有最好的效果，重建的邊緣比其他兩種方法更加明晰，圖像中更多好的結(jié)構(gòu)被重建了出來。

總的來說，基于模糊聚類的超分辨率重建方法中用兩種不同訓(xùn)練集產(chǎn)生的高分辨率圖像幾乎一樣，雖然在重構(gòu)圖像的邊緣仍然存在一些振鈴響應(yīng)，但是重建圖像的效果還是比較好的。且由表1的評價結(jié)果可以看出，該方法在峰值信噪比（PSNR）和結(jié)構(gòu)相似度（SSIM）兩個評價標準上也較其他兩種方法表現(xiàn)好。

6 小結(jié)

本文提出了一種新的基于模糊聚類的農(nóng)業(yè)果實采摘超分辨率重建方法，通過分類訓(xùn)練字典，將圖像塊通過模糊聚類分析歸類重建，減小圖像塊重建所用的字典，有效降低了算法的時間消耗。而提出的L-曲線法確定正則化參數(shù)，降低了圖像的邊緣鋸齒效應(yīng)，提升了圖像整體的平滑性，有效改善了基于稀疏約束算法的主客觀重建質(zhì)量。結(jié)果表明，在PSNR、SSIM和視覺效果上該方法均優(yōu)于其他方法，在農(nóng)業(yè)果實自動化采摘系統(tǒng)中有廣闊的應(yīng)用前景。

參考文獻：

[1] 陳小娜，章程輝.計算機圖像處理技術(shù)在農(nóng)業(yè)科研中的應(yīng)用[J].廣西熱帶農(nóng)業(yè)，2008（6）：19-21.

[2] FREEMAN W T， JONES T R， PASZTOR E C. Example-based super-resolution[J]. Computer Graphics and Applications，IEEE，2002，22（2）：56-65.

[3] YANG J， WRIGHT J， HUANG T， et al. Image super-resolution via sparse representation[J]. Image Processing， IEEE Transactions on， 2010，19（11）：2861-2873.

[4] ELAD M， AHARON M. Image denoising via sparse and redundant representations over learned dictionaries[J]. Image Processing， IEEE Transactions on，2006，15（12）：3736-3745.

[5] AHARON M， ELAD M， BRUCKSTEIN A. K-SVD： Design of dictionaries for sparse representation[J]. Proceedings of SPARS，2005（5）：9-12.

[6] DONOHO D L. Compressed sensing[J]. Information Theory， IEEE Transactions on，2006，52（4）：1289-1306.

[7] DONG W， ZHANG L， SHI G， et al. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization[J]. Image Processing， IEEE Transactions on， 2011，20（7）：1838-1857.

[8] 周光華，李岳峰，孟 群.模糊聚類分析在醫(yī)學(xué)圖像處理中的應(yīng)用[J].中國衛(wèi)生信息管理雜志，2011，8（4）：69-73.

[9] HANSEN P C， O'LEARY D P. The use of the L-curve in the regularization of discrete ill-posed problems[J]. SIAM Journal on Scientific Computing，1993，14（6）：1487-1503.

4.1 字典訓(xùn)練

4.2 基于L-曲線的正則化參數(shù)確定

正則化參數(shù)λ的恰當(dāng)選擇對于圖像超分辨率重建很重要，合適的參數(shù)可保證解的全局最優(yōu)和算法的收斂性，本文選擇正則化參數(shù)是基于下述曲線：

該曲線定義為L-曲線（L-curve），主要是由于對于大尺度問題該曲線形狀像字母 “L”。 Hansen等[9]提出選擇恰當(dāng)正則化參數(shù)對應(yīng)于L-曲線的“頂點”，即曲線的大曲率點。對于大尺度病態(tài)問題，用L-curve來確定恰當(dāng)正則化參數(shù)的主要困難是計算L-curve上點的代價太昂貴。

5 試驗及仿真

將基于模糊聚類的超分辨率重建方法同雙線性插值法（Bicubic）、Elad（Single Image Super-Resolution-SISR）的重建方法在峰值信噪比（PSNR）和結(jié)構(gòu)相似度（SSIM）上進行比對，結(jié)果見圖4、圖5、圖6。

圖4、圖5和圖6是對果實圖像采用超分辨率重建方法、Elad的SISR方法以及雙線性插值的對比結(jié)果。從結(jié)果中可以看出，雙線性插值僅用對該點影響最大的像素點的灰度值作為該點的值，而沒有考慮其他相鄰像素點的影響。缺點是重建后的圖像有明顯的不連續(xù)性，插值質(zhì)量差，會在圖像中產(chǎn)生人為加工的痕跡，圖像易產(chǎn)生馬賽克和邊緣鋸齒等現(xiàn)象。但是用基于模糊聚類的超分辨率方法，沒有產(chǎn)生這種人為的偽影，并且重建的圖像指標比雙線性插值的方法要好很多。

進一步分析結(jié)果，可以看出Bicubic插值能有效地抑制振鈴現(xiàn)象，但是它會產(chǎn)生分段的連續(xù)塊效應(yīng)；Elad的圖像會產(chǎn)生極其光滑的邊緣，這樣會使重構(gòu)圖像看起來不自然，而且在視覺上圖像邊緣光滑，一些好的圖像結(jié)構(gòu)沒有被恢復(fù)?；谀：垲惖某直媛手亟ǚ椒ㄔ谝曈X上具有最好的效果，重建的邊緣比其他兩種方法更加明晰，圖像中更多好的結(jié)構(gòu)被重建了出來。

總的來說，基于模糊聚類的超分辨率重建方法中用兩種不同訓(xùn)練集產(chǎn)生的高分辨率圖像幾乎一樣，雖然在重構(gòu)圖像的邊緣仍然存在一些振鈴響應(yīng)，但是重建圖像的效果還是比較好的。且由表1的評價結(jié)果可以看出，該方法在峰值信噪比（PSNR）和結(jié)構(gòu)相似度（SSIM）兩個評價標準上也較其他兩種方法表現(xiàn)好。

6 小結(jié)

本文提出了一種新的基于模糊聚類的農(nóng)業(yè)果實采摘超分辨率重建方法，通過分類訓(xùn)練字典，將圖像塊通過模糊聚類分析歸類重建，減小圖像塊重建所用的字典，有效降低了算法的時間消耗。而提出的L-曲線法確定正則化參數(shù)，降低了圖像的邊緣鋸齒效應(yīng)，提升了圖像整體的平滑性，有效改善了基于稀疏約束算法的主客觀重建質(zhì)量。結(jié)果表明，在PSNR、SSIM和視覺效果上該方法均優(yōu)于其他方法，在農(nóng)業(yè)果實自動化采摘系統(tǒng)中有廣闊的應(yīng)用前景。

參考文獻：

[1] 陳小娜，章程輝.計算機圖像處理技術(shù)在農(nóng)業(yè)科研中的應(yīng)用[J].廣西熱帶農(nóng)業(yè)，2008（6）：19-21.

[2] FREEMAN W T， JONES T R， PASZTOR E C. Example-based super-resolution[J]. Computer Graphics and Applications，IEEE，2002，22（2）：56-65.

[3] YANG J， WRIGHT J， HUANG T， et al. Image super-resolution via sparse representation[J]. Image Processing， IEEE Transactions on， 2010，19（11）：2861-2873.

[4] ELAD M， AHARON M. Image denoising via sparse and redundant representations over learned dictionaries[J]. Image Processing， IEEE Transactions on，2006，15（12）：3736-3745.

[5] AHARON M， ELAD M， BRUCKSTEIN A. K-SVD： Design of dictionaries for sparse representation[J]. Proceedings of SPARS，2005（5）：9-12.

[6] DONOHO D L. Compressed sensing[J]. Information Theory， IEEE Transactions on，2006，52（4）：1289-1306.

[7] DONG W， ZHANG L， SHI G， et al. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization[J]. Image Processing， IEEE Transactions on， 2011，20（7）：1838-1857.

[8] 周光華，李岳峰，孟 群.模糊聚類分析在醫(yī)學(xué)圖像處理中的應(yīng)用[J].中國衛(wèi)生信息管理雜志，2011，8（4）：69-73.

[9] HANSEN P C， O'LEARY D P. The use of the L-curve in the regularization of discrete ill-posed problems[J]. SIAM Journal on Scientific Computing，1993，14（6）：1487-1503.

4.1 字典訓(xùn)練

4.2 基于L-曲線的正則化參數(shù)確定

正則化參數(shù)λ的恰當(dāng)選擇對于圖像超分辨率重建很重要，合適的參數(shù)可保證解的全局最優(yōu)和算法的收斂性，本文選擇正則化參數(shù)是基于下述曲線：

該曲線定義為L-曲線（L-curve），主要是由于對于大尺度問題該曲線形狀像字母 “L”。 Hansen等[9]提出選擇恰當(dāng)正則化參數(shù)對應(yīng)于L-曲線的“頂點”，即曲線的大曲率點。對于大尺度病態(tài)問題，用L-curve來確定恰當(dāng)正則化參數(shù)的主要困難是計算L-curve上點的代價太昂貴。

5 試驗及仿真

將基于模糊聚類的超分辨率重建方法同雙線性插值法（Bicubic）、Elad（Single Image Super-Resolution-SISR）的重建方法在峰值信噪比（PSNR）和結(jié)構(gòu)相似度（SSIM）上進行比對，結(jié)果見圖4、圖5、圖6。

圖4、圖5和圖6是對果實圖像采用超分辨率重建方法、Elad的SISR方法以及雙線性插值的對比結(jié)果。從結(jié)果中可以看出，雙線性插值僅用對該點影響最大的像素點的灰度值作為該點的值，而沒有考慮其他相鄰像素點的影響。缺點是重建后的圖像有明顯的不連續(xù)性，插值質(zhì)量差，會在圖像中產(chǎn)生人為加工的痕跡，圖像易產(chǎn)生馬賽克和邊緣鋸齒等現(xiàn)象。但是用基于模糊聚類的超分辨率方法，沒有產(chǎn)生這種人為的偽影，并且重建的圖像指標比雙線性插值的方法要好很多。

進一步分析結(jié)果，可以看出Bicubic插值能有效地抑制振鈴現(xiàn)象，但是它會產(chǎn)生分段的連續(xù)塊效應(yīng)；Elad的圖像會產(chǎn)生極其光滑的邊緣，這樣會使重構(gòu)圖像看起來不自然，而且在視覺上圖像邊緣光滑，一些好的圖像結(jié)構(gòu)沒有被恢復(fù)?；谀：垲惖某直媛手亟ǚ椒ㄔ谝曈X上具有最好的效果，重建的邊緣比其他兩種方法更加明晰，圖像中更多好的結(jié)構(gòu)被重建了出來。

總的來說，基于模糊聚類的超分辨率重建方法中用兩種不同訓(xùn)練集產(chǎn)生的高分辨率圖像幾乎一樣，雖然在重構(gòu)圖像的邊緣仍然存在一些振鈴響應(yīng)，但是重建圖像的效果還是比較好的。且由表1的評價結(jié)果可以看出，該方法在峰值信噪比（PSNR）和結(jié)構(gòu)相似度（SSIM）兩個評價標準上也較其他兩種方法表現(xiàn)好。

6 小結(jié)

本文提出了一種新的基于模糊聚類的農(nóng)業(yè)果實采摘超分辨率重建方法，通過分類訓(xùn)練字典，將圖像塊通過模糊聚類分析歸類重建，減小圖像塊重建所用的字典，有效降低了算法的時間消耗。而提出的L-曲線法確定正則化參數(shù)，降低了圖像的邊緣鋸齒效應(yīng)，提升了圖像整體的平滑性，有效改善了基于稀疏約束算法的主客觀重建質(zhì)量。結(jié)果表明，在PSNR、SSIM和視覺效果上該方法均優(yōu)于其他方法，在農(nóng)業(yè)果實自動化采摘系統(tǒng)中有廣闊的應(yīng)用前景。

參考文獻：

[1] 陳小娜，章程輝.計算機圖像處理技術(shù)在農(nóng)業(yè)科研中的應(yīng)用[J].廣西熱帶農(nóng)業(yè)，2008（6）：19-21.

[2] FREEMAN W T， JONES T R， PASZTOR E C. Example-based super-resolution[J]. Computer Graphics and Applications，IEEE，2002，22（2）：56-65.

[3] YANG J， WRIGHT J， HUANG T， et al. Image super-resolution via sparse representation[J]. Image Processing， IEEE Transactions on， 2010，19（11）：2861-2873.

[4] ELAD M， AHARON M. Image denoising via sparse and redundant representations over learned dictionaries[J]. Image Processing， IEEE Transactions on，2006，15（12）：3736-3745.

[5] AHARON M， ELAD M， BRUCKSTEIN A. K-SVD： Design of dictionaries for sparse representation[J]. Proceedings of SPARS，2005（5）：9-12.

[6] DONOHO D L. Compressed sensing[J]. Information Theory， IEEE Transactions on，2006，52（4）：1289-1306.

[7] DONG W， ZHANG L， SHI G， et al. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization[J]. Image Processing， IEEE Transactions on， 2011，20（7）：1838-1857.

[8] 周光華，李岳峰，孟 群.模糊聚類分析在醫(yī)學(xué)圖像處理中的應(yīng)用[J].中國衛(wèi)生信息管理雜志，2011，8（4）：69-73.

[9] HANSEN P C， O'LEARY D P. The use of the L-curve in the regularization of discrete ill-posed problems[J]. SIAM Journal on Scientific Computing，1993，14（6）：1487-1503.