基于數(shù)字圖像連續(xù)表示的圖像分割方法

婁聯(lián)堂，汪然然

（中南民族大學 數(shù)學與統(tǒng)計學學院，武漢 430074）

近10年來，深度學習被廣泛應用于圖像分析和圖像識別，特別是在圖像分割及目標識別方面效果甚至好于傳統(tǒng)的圖像處理與分析方法，然而，深度學習本質(zhì)上是一種數(shù)據(jù)驅(qū)動方法，由深度學習獲得的結(jié)果無法從理論上得到較好的解釋，缺少嚴格的理論支撐.最近，BRONSTEIN M M等人提出了“幾何深度學習”的概念，嘗試從幾何學的角度將機器學習理論統(tǒng)一起來［1-2］.在最簡單的情況下，有監(jiān)督的機器學習本質(zhì)上是一個函數(shù)估計問題，給定訓練集某些未知函數(shù)的輸出，試圖從某個假設函數(shù)類別中找到一個適合訓練的函數(shù)φ，使模型可以預測出與測試集的輸入對應的輸出，機器學習模型可以表示為圖1的形式.

圖1 機器學習模型Fig.1 Machine learning model

本文利用數(shù)字圖像的連續(xù)表示［3］方法，研究圖像分析和圖像識別的深度學習問題，主要探索二維圖像分割的通用數(shù)學框架.試圖找到一個函數(shù)φ，使其能夠表示基于深度學習的圖像分割過程，然后將其應用于復合絕緣子憎水性圖像的分割，最后將實驗結(jié)果與標簽進行對比.

1 離散圖像及泛函的連續(xù)表示問題

深度學習可以看作一個黑箱系統(tǒng)白化的過程（見圖1），其中輸入可以是一維信號（如語音識別），也可以是二維圖像（如圖像分割及圖像識別），輸出可以是特征或識別標簽.本文主要研究二維圖像的分割或目標識別，現(xiàn)考慮用一個有限矩形區(qū)域I×J上的二元連續(xù)函數(shù)f（x，y）表示輸入圖像，同樣，輸出的標簽圖像可以用I×J上的二元連續(xù)函數(shù)l（x，y）（深度學習過程中未二值化的標簽）來表示，黑箱系統(tǒng)可以用函數(shù)空間C（I×J）上的連續(xù)泛函φ來表示.給定一組訓練樣本：

其中S表示訓練樣本的個數(shù)，則對于離散圖像的分割任務，訓練樣本的優(yōu)化模型可表示為：

其中，w和h分別表示離散圖像的寬度和高度.

如果使用均方誤差，對于連續(xù)的圖像，深度學習本質(zhì)上可以看作求解下面的優(yōu)化問題：

本文研究的是連續(xù)泛函φ的表示形式，但若不對連續(xù)泛函φ的形式進行限定，（2）式的優(yōu)化問題一般是很難解決的，同時，要將（2）式應用于二維圖像分割或圖像識別中，需要解決離散圖像的連續(xù)表示及連續(xù)泛函φ的表示問題.本文主要研究（1）式中泛函φ的連續(xù)表示形式.

對于離散圖像f（x，y）（1≤x≤w，1≤y≤h），對其四周進行擴展，可令在x=0，x=w+1，y=0，y=h+1時，f（x，y）=0，為方便，擴展后的數(shù)字圖像仍記為f（x，y）.另外考慮到離散數(shù)字圖像的帶寬有限，并且當m，n較大時，高頻分量Fm，n較小，趨近于0，可忽略不計，假設m，n的最大值分別為M，N（1≤M≤w，1≤N≤h），則數(shù)字圖像f（x，y）可近似表示為：

其中：

x和y的取值范圍分別為：0≤x≤w+1，0≤y≤h+1，當M和N足夠大時，這種數(shù)字圖像連續(xù)表示方式的誤差任意小.（3）和（4）式實現(xiàn)了離散圖像f（x，y）的連續(xù)表示和重建，由（4）式的數(shù)字圖像f（x，y）計算得到Fm，n后，通過（3）式重建圖像，得到數(shù)字圖像的連續(xù)表達式：

其中（x，y）∈[0，W+1]×[0，H+1]，W，H分別為重建后的圖像寬度和高度.

下面考慮（1）式中泛函φ的連續(xù)表示問題.由（5）式知，連續(xù)圖像f（x，y）由它的離散頻譜F1，1，…，F(xiàn)1，N，…，F(xiàn)M，N唯一確定，因此泛函φ（f）可以簡化為RMN→RMN的一個映射φ（F1，1，…，F(xiàn)1，N，…，F(xiàn)M，N），簡記為φ（F），其中F為離散圖像的頻譜.由（3）和（4）式可知，φ（f）（x，y）可表示為：

由矩陣乘積的性質(zhì)可知，公式（6）可表示為如下形式：

則優(yōu)化模型可表示為：

2 優(yōu)化模型的約束條件及求解

經(jīng)過以上處理，雖然將空域上的連續(xù)優(yōu)化模型轉(zhuǎn)化為頻域上的離散優(yōu)化模型，連續(xù)泛函φ（f）也表示成了函數(shù)的形式，但如果不對φ（F）進行一些限制，上面的優(yōu)化問題仍然無定解.在對φ（F）進行限制前，先取M=N，于是φ（F）是RMM→RMM上的一個映射，為了簡化模型的求解，本文對φ（F）增加兩個約束條件：

（i）φ（F）是M×M維矩陣空間到M×M維矩陣空間的映射；

（ii）φ（·）是定義在有限區(qū)間[0，G]上的滿足狄利克雷邊界條件的連續(xù)函數(shù)（G為常數(shù)）.

即把φ（F）看作是一個矩陣函數(shù)，下面根據(jù)矩陣的性質(zhì)對φ（F）進行簡化.由條件（ii）知：

其中：

由此φ（F）形式上可以表示為：

利用正弦級數(shù)展開式及方陣F的特征多項式性質(zhì)，φ（F）可以表示為：

于是在約束條件（i）和（ii）下，優(yōu)化問題可簡化為：

其中aT=（a0，…，aM-1），以上優(yōu)化問題等價于求解下面的超定線性方程組：

上述方程組簡記為：

其中：

考慮到直接法和迭代法均不適用于求解方程個數(shù)太多的方程組［4-5］，本文通過構建一個兩層BP神經(jīng)網(wǎng)絡模型（見圖2），將方程組求解的問題轉(zhuǎn)換成神經(jīng)網(wǎng)絡的參數(shù)優(yōu)化問題［6-7］，即通過誤差函數(shù)最小化來求解（17）式.

圖2 BP神經(jīng)網(wǎng)絡模型Fig.2 BP neural network model

記A=（Ai，j）Swh×M，Ai∈(A1，…，ASwh)∈R1×M，Ai是矩陣A的行向量，bi是（17）式中常數(shù)項矩陣b的第i個元素.在（17）式中，{（Ai，bi），i=1，…，Swh}可以看作神經(jīng)網(wǎng)絡的訓練樣本，訓練樣本個數(shù)為（17）式中方程的個數(shù)，相應的網(wǎng)絡權值為a=（a0，…，aM-1）T.具體訓練步驟如下：

步驟1定義一個損失函數(shù)E來監(jiān)控（17）式的求解過程，本文選用均方誤差作為損失函數(shù)：

步驟2網(wǎng)絡初始化：給變量a賦一個初值，選取學習率α，設定迭代次數(shù)；

步驟3將矩陣系數(shù)A以及常數(shù)項矩陣b分別作為BP神經(jīng)網(wǎng)絡的輸入和期望輸出；

步驟4計算誤差梯度：為使損失函數(shù)收斂到0，運用梯度下降［8］的思想，讓它沿著負梯度方向下降，對其求導得：

步驟5進行網(wǎng)絡權值的更新：

步驟6迭代結(jié)束，輸出網(wǎng)絡權值，即方程組的解.

3 實驗

3.1 復合絕緣子憎水性圖像分割

為驗證本文方法的可行性，將模型用于復合絕緣子憎水性圖像分割.本文實驗所用圖像由某電力公司提供，較為全面準確，等級分為HC1～HC5，圖像的大小均為256×256.文中選取的樣本總數(shù)為135，其中訓練樣本數(shù)為20×5（每個等級取20幅圖像），測試樣本數(shù)為7×5（每個等級取7幅圖像）.為避免因光照和水珠的透明性帶來的影響，采用直方圖均衡化［9］對憎水性圖像做增強處理，以突出圖像中的水珠（或水跡）區(qū)域，然后再將數(shù)據(jù)輸入神經(jīng)網(wǎng)絡.

將數(shù)據(jù)輸入神經(jīng)網(wǎng)絡之前，需要消除訓練樣本間的數(shù)量級差異，以保證結(jié)果的可靠性.將（17）式中（k=0，…，M-1，s=1，…，S）的元素歸一化到[0，1]區(qū)間內(nèi)，采用的歸一化方法為：

其中，z為歸一化前的數(shù)值，是歸一化后的數(shù)值，zmin和zmax分別為矩陣β元素中的最小值和最大值.

此時，求解（17）式可轉(zhuǎn)化為求解方程組（22）：

本文方法選取的學習率為0.1，迭代1×105次，M為50，w和h為256，（5）式中重建后的圖像大小為256×256，初始的網(wǎng)絡權值是從服從正態(tài)分布的數(shù)值中選取的隨機數(shù).參數(shù)設定完成后，利用步驟1～步驟6訓練神經(jīng)網(wǎng)絡，得到方程組（22）的解.

3.2 性能評估

為更加客觀地評價本文模型分割圖像的性能，選用Dice系數(shù)［10］評價本文方法.Dice系數(shù)是一種集合相似度度量指標，用于計算兩個集合間的相似度，取值范圍為[0，1].分割效果最佳時取1，效果最差時取0.Dice系數(shù)的表達式為：

其中P表示模型的分割結(jié)果，R表示模型的真實標簽.

3.3 實驗結(jié)果

訓練完成后，得到的模型均方誤差如圖3所示，實驗結(jié)果如圖4所示.圖3給出了損失函數(shù)隨迭代次數(shù)變化的曲線，隨著迭代次數(shù)的增加，各等級的損失逐漸減少，迭代完成后，各等級的均方誤差分別為0.15035、0.15508、0.15572、0.13758、0.02829.圖4給出了部分測試樣本的實驗結(jié)果，包含各等級的原始圖像、增強處理后的圖像、標簽圖像、本文方法分割結(jié)果和Dice系數(shù).

圖3 損失隨迭代的變化Fig.3 Loss changes with iteration

從圖4可以看出，本文方法可以分割出各等級的水珠，其中HC1和HC2的分割效果最好，HC5的分割效果稍差.與標簽圖像相比，本文方法分割出的水珠要多，特別是水珠形態(tài)較好的HC1和HC2這兩個等級，水珠形態(tài)比較完整，對于形態(tài)稍差的HC3和HC4等級，大顆粒水珠的分割效果較好，邊界水珠的分割效果較差，觀察圖像，發(fā)現(xiàn)HC3和HC4等級的圖像邊界部分的水珠小而且密集，這可能會影響模型的性能.

圖4 實驗結(jié)果Fig.4 Experimental results

進一步分析，發(fā)現(xiàn)無論是標簽圖像還是本文方法的結(jié)果，HC5圖像的大片水珠區(qū)域都沒能很好地分割出來，這可能是因為在獲取數(shù)據(jù)的過程中，采用了統(tǒng)一的圖像增強方法，雖能有效減少水珠的反光和透明性帶來的影響，但不能明顯突出不同形態(tài)的水珠（或水跡）區(qū)域；另一方面，在實際的工程應用中，對憎水性圖像分割的目的其實就是為了方便研究人員判斷憎水性的等級，研究人員主要根據(jù)水珠的形態(tài)來區(qū)分憎水性等級，只要分割出的水珠形態(tài)符合要求，就能滿足工程應用的需要，從不同等級水珠的差異性來看，本文方法在某種程度上達到了分割目的.

4 結(jié)論

通過構造基于數(shù)字圖像連續(xù)表示的圖像分割模型，給出了深度學習模型分割圖像的相關函數(shù)表達式，實現(xiàn)了圖像自動分割.此外，分析了復合絕緣子憎水性圖像的分割效果，通過實驗驗證了本文方法與深度學習模型分割圖像的相似性.但還存在著函數(shù)φ的約束條件不夠充分的局限性，通過約束條件（i）和（ii）雖能有效限制φ的表現(xiàn)形式，使其能夠成功地擬合基于深度學習的圖像分割過程，但函數(shù)φ的真正表現(xiàn)形式仍未知，將來還需進一步探索其表示形式.