基于殘差網(wǎng)絡(luò)的中子照相圖像無參考質(zhì)量評價方法研究

喬 雙 李俊輝 趙辰一 張 天

（東北師范大學(xué) 物理學(xué)院 長春 130024）

在中子照相系統(tǒng)成像過程中，除了最普遍存在的電子學(xué)噪聲，中子和物質(zhì)相互作用時還會發(fā)生中子散射，并伴隨著X射線、γ射線干擾。一些與待測物反應(yīng)激活的γ光子和散射的γ光子仍然可以穿透屏蔽層，輻照CCD芯片并在其上積聚能量形成大小不一、形狀隨機(jī)、強(qiáng)度高的白斑。此外，中子注量率在時間和空間上還存在著統(tǒng)計漲落。所有這些因素導(dǎo)致了獲取的中子照相圖像普遍含有高斯噪聲（Gaussian Noise，GN）、高斯模糊（Gaussian Blur，GB）、白斑噪聲（White Spots，WS）和泊松噪聲（Poisson Noise，PN）等混合失真以及對比度失真（Contrast Change，CC）等降質(zhì)問題［1-2］。為改善中子照相圖像質(zhì)量，一系列的中子照相圖像復(fù)原算法［3-4］和中子照相系統(tǒng)優(yōu)化方法［5-7］被相繼提出。然而，對獲得中子照相圖像質(zhì)量的評判卻仍然主要依賴于人類視覺系統(tǒng)（Human Visual System，HVS）。盡管HVS很適合被用來對圖像質(zhì)量進(jìn)行綜合評判，但是圖像的有效質(zhì)量分?jǐn)?shù)往往需要通過平均多個觀察者的主觀打分而得到，這一過程耗時且容易受到周圍環(huán)境和觀察者情緒等諸多因素影響，從而難以將其應(yīng)用于實時優(yōu)化中子照相系統(tǒng)參數(shù)的任務(wù)中［8］。因此，開展中子照相圖像客觀質(zhì)量評價方法研究，在中子照相圖像篩選、輔助中子照相圖像處理算法設(shè)計和成像系統(tǒng)優(yōu)化等方面都具有重要的理論和現(xiàn)實意義。

根據(jù)對參考圖像的依賴程度，圖像質(zhì)量評價方法被分為：全參考圖像質(zhì)量評價（Full-Reference Image Quality Assessment，F(xiàn)R-IQA）、半?yún)⒖紙D像質(zhì)量 評 價（Reduced-Reference Image Quality Assessment，RR-IQA）和無參考圖像質(zhì)量評價（No-Reference Image Quality Assessment，NR-IQA）。由于FR-IQA和RR-IQA方法分別需要參考圖像的全部和部分信息作為評判依據(jù)，而中子照相系統(tǒng)不具有參考圖像，因而經(jīng)典的FR-IQA和RR-IQA方法都難以應(yīng)用于中子照相圖像的客觀質(zhì)量評價。

為此，本文基于文獻(xiàn)［9］中報道的殘差網(wǎng)絡(luò)（Residual Network，ResNet）模型，開展了對中子照相圖像的NR-IQA方法研究。由于WS引起的中子照相圖像降質(zhì)問題源于照相器件受到影響，為此，本研究致力于對含有GN、GB和PN以及CC類混合失真的中子照相圖像進(jìn)行質(zhì)量評價。首先，依據(jù)中子照相圖像的獨特混合失真類型，借助已有公共圖像數(shù)據(jù)庫構(gòu)建可以模擬真實中子照相圖像失真類型的實驗數(shù)據(jù)集，并結(jié)合一個質(zhì)量評價性能優(yōu)異的FRIQA方法對構(gòu)建的數(shù)據(jù)集進(jìn)行質(zhì)量分?jǐn)?shù)標(biāo)注，最后通過數(shù)據(jù)驅(qū)動的訓(xùn)練方式獲得評價模型參數(shù)，以實現(xiàn)對不同失真程度中子照相圖像的客觀質(zhì)量評價。

1 評價模型和方法

參考中子照相圖像的混合失真類型，對Waterloo Exploration Database［10］公共數(shù)據(jù)庫中的部分圖片進(jìn)行灰度化，并添加10個失真等級的混合噪聲來設(shè)計實驗數(shù)據(jù)集。由于高斯噪聲是與圖像內(nèi)容無關(guān)的白噪聲，而泊松噪聲是跟圖像內(nèi)容有關(guān)的統(tǒng)計噪聲，且隨著圖像像素強(qiáng)度而變化，并且高斯模糊和對比度失真一直存在。因此，根據(jù)包含噪聲類型的不同，將實驗數(shù)據(jù)集劃分為兩部分：包含GN以及GB和CC的混合失真數(shù)據(jù)集A；包含GN和PN以及GB和CC的混合失真數(shù)據(jù)集B。文獻(xiàn)［11］指出由于主觀圖像質(zhì)量評價的局限性，對于數(shù)量較大的數(shù)據(jù)集，無法通過HVS獲得其質(zhì)量分?jǐn)?shù)，而FR-IQA方法發(fā)展已經(jīng)相當(dāng)成熟，可以通過使用可靠且性能優(yōu)異的FR-IQA方法代替HVS方法實現(xiàn)對未加簽圖像數(shù)據(jù)集的標(biāo)定。受此啟發(fā)，本研究采用文獻(xiàn)［12］中的FR-IQA方法，即梯度幅度相似性偏差（Gradient Magnitude Similarity Deviation，GMSD），對所設(shè)計的混合失真圖像數(shù)據(jù)集添加分?jǐn)?shù)標(biāo)簽，以用于本研究的網(wǎng)絡(luò)模型端到端的訓(xùn)練。

1.1 評價模型

文獻(xiàn)［9］指出ResNet很好地解決了深度神經(jīng)網(wǎng)絡(luò)的退化問題，并在ImageNet和CIFAR-10等圖像分類任務(wù)上取得了較好的結(jié)果，同等層數(shù)網(wǎng)絡(luò)的前提下殘差網(wǎng)絡(luò)也收斂得更快。因此，本研究基于ResNet-50而提出的網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示，由特征提取和分?jǐn)?shù)回歸兩部分組成。需要注意，Layer1～Layer4對應(yīng)的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖1 用于中子照相圖像質(zhì)量評價的ResNet網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network architecture of ResNet used for quality assessment of neutron radiographic images

圖2 圖1中的Layer的網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network architecture of Layer in Fig.1

特征提取部分用于提取輸入圖像的抽象特征。為了使模型適用于灰度圖像，本研究將ResNet-50的輸入通道設(shè)置為1。此外，為減小模型復(fù)雜度，本研究將ResNet-50的4個殘差層重復(fù)個數(shù)從3、4、6和3均更改為1。為保證每個層的輸出特征映射圖大小和下一層網(wǎng)絡(luò)結(jié)構(gòu)相適應(yīng)，本研究的內(nèi)核、步長S以及最大池化層參數(shù)設(shè)置均與ResNet-50一致。至此，特征提取部分由一個內(nèi)核大小為7×7，步長S等于2，輸出特征映射圖數(shù)目為64的Conv7-64的卷積層，一個內(nèi)核大小為3×3，步長S為2的最大池化層，4個殘差層（Layer1～Layer4）以及一個1×1的自適應(yīng)平均池化層（Adaptive Average Pooling，AAP）等組成。其中，Conv7-64卷積層用來對輸入圖片按步長進(jìn)行特征采樣，最大池化層用來降低特征維數(shù)，殘差層用來更好地提取圖像的抽象特征，AAP層用來進(jìn)一步降低特征維數(shù)，減少模型參數(shù)。4個殘差層的主分支及從分支的網(wǎng)絡(luò)結(jié)構(gòu)組成見表1。需要注意，卷積操作默認(rèn)的步長S為1。另外，為了闡述的簡潔性，本研究在模塊組成中省略了對批歸一化（Batch Normalization，BN）和激活函數(shù)（Rectified Linear Units，ReLU）的闡述。

表1 圖1中的4個Layer的主從分支組成Table 1 The composition of master and slave branches of the four Layer in Fig.1

分?jǐn)?shù)回歸部分用于將提取的特征映射為圖像質(zhì)量分?jǐn)?shù)。為了使模型適用于圖像質(zhì)量預(yù)測任務(wù)以及增加模型的非線性擬合能力，本研究使用兩個全連接層代替ResNet-50中適用于多分類任務(wù)的單全連接層。至此，分?jǐn)?shù)回歸部分由全連接層FC-512、比率為0.5的丟棄層（Dropout）和全連接層FC-1組成。其中，本研究添加Dropout層是為了增加模型的泛化能力。

1.2 數(shù)據(jù)集

為減少由于訓(xùn)練樣本過大而消耗過多訓(xùn)練時間，本研究選擇Waterloo Exploration Database數(shù)據(jù)庫中928張圖片作為參考圖片。中子照相圖像噪聲來源于兩個方面：信號相關(guān)噪聲與信號不相關(guān)噪聲。文獻(xiàn)［2］指出，信號相關(guān)噪聲主要是散粒噪聲，噪聲隨信號的增大而變大，可以使用泊松分布來模擬；信號不相關(guān)噪聲主要包含GN、GB以及CC等。因而，中子照相圖像噪聲可以使用GN、GB、PN以及CC進(jìn)行模擬。為了模擬真實失真的中子照相圖像，本研究對獲得的參考圖像添加GN、GB、PN［13］以及CC混合失真。

GN的概率密度函數(shù)為：

式中：z表示灰度值；μ表示z的平均值；σ表示z的標(biāo)準(zhǔn)差。參考中子失真范圍，本研究中GN的均值為0，方差為σ。σ為首項為0、末項為5.9×10-3、公差為5×10-4的等差數(shù)列，也即σ共有10個數(shù)值。需要注意，數(shù)據(jù)集的建立所使用的具體參數(shù)值為實驗經(jīng)驗值。

GB的計算原理為：假設(shè)有一個單通道圖像矩陣f，高斯模板矩陣h，則卷積公式如下：

式中：m和n分別表示在一個大小為(2M+1)·(2N+1)的高斯模板矩陣h中的橫縱坐標(biāo)；i和j分別表示圖像矩陣f中的橫縱坐標(biāo)。則g(i，j)表示以(i，j)為中心的(2M+1)·(2N+1)領(lǐng)域內(nèi)的數(shù)據(jù)與對應(yīng)高斯模板矩陣h的權(quán)重因子的乘積加和的結(jié)果。高斯模板矩陣的權(quán)重計算公式如下：

式中：x和y分別表示高斯模板矩陣中的橫縱坐標(biāo)，模板矩陣的中心位置為原點。ζ是控制高斯曲面的變化程度的高斯核函數(shù)中的一個參數(shù)。本研究實驗使用的高斯模板的半徑為N=M，N為首項為1、末項為19、公差為3的等差數(shù)列，也即N共有10個數(shù)值。參數(shù)ζ的數(shù)值為ζ=N/6。

CC的計算公式為：

式中：q(i，j)表示調(diào)整圖像矩陣f后的輸出值；l為亮度調(diào)節(jié)系數(shù)。l為首項為0.2、末項為1、公差為8.5×10-2的等差數(shù)列，也即l共有10個數(shù)值。

1.2.1 數(shù)據(jù)集A

給每幅參考圖片添加10個等級的GB失真，為了增加產(chǎn)生樣本中不同失真等級的GB與GN隨機(jī)組合的多樣性，隨后隨機(jī)打亂GN對應(yīng)的10個σ數(shù)值，并繼續(xù)將對應(yīng)的GN添加到圖像中。由于實際噪聲產(chǎn)生中，GB和GN是隨機(jī)產(chǎn)生的，為了模擬這種隨機(jī)性，需再次調(diào)整GB與GN的添加順序，即先給每幅參考圖片添加10個被打亂了失真等級的GN，隨后繼續(xù)添加10個等級的GB?？紤]到中子照相圖像失真也包含對比度失真，本研究進(jìn)一步隨機(jī)打亂CC對應(yīng)的10個l，并將l對應(yīng)的CC添加到圖像中。由于中子照相圖像普遍為灰度圖，故需對降質(zhì)的圖像進(jìn)一步進(jìn)行灰度化處理，并通過GMSD方法對降質(zhì)后的圖像進(jìn)行圖像質(zhì)量分?jǐn)?shù)標(biāo)注，以建立數(shù)據(jù)集A。至此，數(shù)據(jù)集A共包含18 560張，為方便度量圖像質(zhì)量，本研究將GMSD標(biāo)注的分?jǐn)?shù)歸一化為0～1，該分?jǐn)?shù)數(shù)值越大表示圖像失真越嚴(yán)重。數(shù)據(jù)集A的部分樣本如圖3所示。其中，（a～d）和（e～f）分別為GB-GN-CC和GN-GB-CC類混合失真，對應(yīng)的數(shù)值為GMSD標(biāo)注分?jǐn)?shù)。

圖3 數(shù)據(jù)集A中的部分圖片F(xiàn)ig.3 Partial images of dataset A

1.2.2 數(shù)據(jù)集B

除了與信號不相關(guān)的GN噪聲，數(shù)據(jù)集B進(jìn)一步引入了與信號相關(guān)的PN噪聲及失真。其中，GN對應(yīng)的10個σ數(shù)值被隨機(jī)打亂。隨后，本研究繼續(xù)給降質(zhì)圖片添加l隨機(jī)排序后對應(yīng)的CC，并將處理后的圖片進(jìn)行灰度化處理，使用GMSD方法對圖像標(biāo)注分?jǐn)?shù)。至此，數(shù)據(jù)集B共包含55 680張失真圖片，部分圖片如圖4所示，其中，（a～d）、（e～h）、（i～l）、（m～p）、（q～t）和（u～x）分別為向GB-GN-PN類混合失真、GB-PN-GN類混合失真、GN-GB-PN類混合失真、GN-PN-GB類混合失真、PN-GB-GN類混合失真和PN-GN-GB類混合失真，每類失真均添加了CC失真的混合失真圖像。

圖4 數(shù)據(jù)集B中的部分圖片F(xiàn)ig.4 Partial images of dataset B

2 實驗與結(jié)果

2.1 實驗描述

將所建立的混合數(shù)據(jù)集A和B作為本研究的實驗數(shù)據(jù)集，實驗數(shù)據(jù)集按照80%和20%的比例被隨機(jī)劃分為訓(xùn)練集及測試集。訓(xùn)練集被用來訓(xùn)練模型，而測試集被用來評估模型的性能。該劃分重復(fù)10次，最終的斯皮爾曼等級相關(guān)系數(shù)（Spearman Rank Order Correlation Coefficient，SROCC）和皮爾遜線性相關(guān)系數(shù)（Pearson Linear Correlation Coefficient，PLCC）值是在10次隨機(jī)劃分的測試集上測試結(jié)果的中值。SROCC和PLCC分別表示模型預(yù)測值與真實值的單調(diào)性和線性度，被用于本研究停止訓(xùn)練模型的依據(jù)。

訓(xùn)練階段，在訓(xùn)練的每次迭代中，訓(xùn)練數(shù)據(jù)集中的每張圖片被隨機(jī)裁剪出一個224×224的子塊，并使用自適應(yīng)矩估計算法（Adaptive Moment Estimation，ADAM）來優(yōu)化模型，模型的目標(biāo)函數(shù)使用加了L2正則項約束的均方差損失函數(shù)，其為：

式中：K表示每次送入模型子塊的數(shù)目；f(yk)表示第k張輸入圖片yk對應(yīng)的模型預(yù)測輸出分?jǐn)?shù)；gk表示輸入圖片的實際分?jǐn)?shù)；ω表示網(wǎng)絡(luò)中所有卷積層和全連接層的權(quán)重數(shù)值；λ是一個用來懲罰較大權(quán)重的調(diào)節(jié)系數(shù)。本研究端到端訓(xùn)練的目標(biāo)為使損失值L盡可能達(dá)到最小值。

測試階段，本研究按照步長224對一副圖像進(jìn)行裁剪，假設(shè)該幅圖像被裁剪成Kp個子塊，則該圖像的質(zhì)量分?jǐn)?shù)Q可表示為10個模型下的均值：

式中：t表示使用第t次隨機(jī)劃分后訓(xùn)練得到的模型進(jìn)行圖像質(zhì)量評估。

2.2 測試集圖像的質(zhì)量預(yù)測

為測試模型在測試集上的準(zhǔn)確性，本研究選用了測試集中含有不同失真類型的圖片進(jìn)行質(zhì)量評估，測試結(jié)果如圖5所示。對比圖5（a～h）可以看出，本研究的模型可以較好地感知圖像質(zhì)量變化。比如圖5（b）和5（c）對比度相近，但圖5（c）紋理細(xì)節(jié)較圖5（b）模糊，故模型對圖5（c）的質(zhì)量評價分?jǐn)?shù)高于圖5（b）。而圖5（e）和（f）模糊度相近，但圖5（f）比圖5（e）更暗，故模型對圖5（f）的質(zhì)量評價分?jǐn)?shù)高于圖5（e）。此外，模型在測試集上的測試分?jǐn)?shù)和GMSD標(biāo)注的分?jǐn)?shù)值較接近。綜上可得，模型在測試集上具有較好的預(yù)測性能。

圖5 模型對測試集中不同失真類型的部分圖片的質(zhì)量評估，括號外的數(shù)值為模型預(yù)測值Fig.5 Quality assessment of parts of images with different types of distortion in the testing set by using the model,and the value outside bracket denotes the predicted value of the model

2.3 中子照相圖像的質(zhì)量預(yù)測

為進(jìn)一步驗證模型在評估真實中子照相圖像質(zhì)量時的有效性，對兩組不同實驗環(huán)境下得到的真實中子照相圖像進(jìn)行質(zhì)量預(yù)測。圖6和圖7為在德國慕尼黑技術(shù)大學(xué)的FRM-II研究堆上拍攝的中子照相圖像，F(xiàn)RM-II反應(yīng)堆采用了緊湊堆芯概念，其作為中子源具有功率高（20 MW）和熱中子注量率較高（約8×1014n·cm-2·s-1）的特點。其中，圖6為樣品與探測器距離相同，而準(zhǔn)直比L/D不同下所獲得的小電機(jī)中子照相圖像。圖7為準(zhǔn)直比L/D相同，而拍攝距離不同下獲得的軟盤驅(qū)動器中子照相圖像。為驗證FR-IQA方法在這兩組中子照相圖像上的預(yù)測精度，假設(shè)以上兩組圖片中每組中最清晰的圖片為對應(yīng)的參考圖片，使用全參考方法結(jié)構(gòu)相似性（Structural SIMilarity，SSIM）［14］算法，峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）以及本研究提出的方法對這兩組中子圖片進(jìn)行質(zhì)量評價。其中，SSIM評估數(shù)值越接近于1表明圖像質(zhì)量越好，而PSNR值越大，表明圖像質(zhì)量越好。

本研究首先假設(shè)圖6（d）為圖6（a～c）的參考圖像，假設(shè)圖7（c）為圖7（a、b）的參考圖像，使用以上三個方法的評價結(jié)果見表2。通過人眼視覺對圖6和圖7的質(zhì)量評價，可得圖6（a～c）和圖7（a、b）的質(zhì)量均依次升高。

從表2可以看出，PSNR對圖6（a）、（b）的質(zhì)量預(yù)測值差別較小，而實際圖像間的清晰度差別較大，預(yù)測值應(yīng)該有較大的差異（比如±3dB）。此外，PSNR對圖6（b）和（c）的質(zhì)量預(yù)測值均為15.01 dB，即圖6（b）、（c）的質(zhì)量相同，這與圖6（b）、（c）的客觀質(zhì)量并不存在一致性關(guān)系。表中PSNR對圖7（a）的預(yù)測值小于對圖7（b）的預(yù)測值，盡管預(yù)測結(jié)果和圖像客觀質(zhì)量相一致，但通過綜合PSNR的表現(xiàn)可以得出，PSNR在此類情況下對中子照相圖像質(zhì)量評價并不穩(wěn)健。

圖6 在L/D為71(a)、115(b)、320(c)和大于500(d)情況下獲得的小電機(jī)中子照相圖像Fig.6 Neutron radiographic images of small motor obtained at L/D=71(a),L/D=115(b),L/D=320(c),and L/D>500(d)

圖7 拍攝距離為20 cm(a)、10 cm(b)和0 cm(c)情況下獲得的中子照相圖像Fig.7 Neutron radiographic images of floppy drive obtained at distances of 20 cm(a),10 cm(b)and 0 cm(c)

表2 不同方法對圖6和圖7的中子照相圖像的質(zhì)量評估Table 2 Quality assessment of neutron radiographic images in Fig.6 and Fig.7 with different methods

由表2，SSIM對圖6（a）、（b）和（c）的評價數(shù)值依次降低，即它們的質(zhì)量依次降低，這與圖6（a）、（b）和（c）的圖像質(zhì)量依次變好這一客觀事實相反。表2中SSIM對圖7（a）的預(yù)測值小于對圖7（b）的預(yù)測值，盡管預(yù)測結(jié)果和圖像客觀質(zhì)量相一致，但通過綜合SSIM的表現(xiàn)可以得出，SSIM在此類情況下對中子照相圖像質(zhì)量評價依然不穩(wěn)健。造成PSNR和SSIM評估結(jié)果魯棒性較差的主要原因在于其對理想?yún)⒖紙D像的依賴性，而本研究假設(shè)的參考圖像本身含有較多的噪聲。但在實際中子照相乃至其他核成像實驗中，都難以獲得理想的參考圖像。

因此，經(jīng)典的PSNR和SSIM等FR-IQA方法都無法直接應(yīng)用于真實中子照相的圖像質(zhì)量評估。而本研究方法對圖6（a）、（b）和（c）的預(yù)測值逐漸減小，即圖像質(zhì)量逐漸增高，這與圖6（a）、（b）和（c）的客觀圖像質(zhì)量變化相吻合。同時，本研究方法的預(yù)測值也非常好地符合圖7（a）和（b）的客觀圖像質(zhì)量變化。

3 結(jié)語

本研究針對真實中子照相不具有參考圖像而難以對其進(jìn)行客觀質(zhì)量評價的問題，參考中子照相圖像的失真類型，構(gòu)建了可以模擬失真中子照相圖像的混合失真實驗數(shù)據(jù)集，并采用數(shù)據(jù)驅(qū)動的訓(xùn)練方式獲得了中子照相圖像質(zhì)量預(yù)測模型。實驗結(jié)果表明：本研究提出的方法無論在測試集還是真實中子照相圖像上，都具有與圖像的客觀質(zhì)量相一致的預(yù)測結(jié)果，因而證明了其在中子照相中的應(yīng)用潛力。此外，本方法還可以為中子照相圖像處理算法的優(yōu)化設(shè)計提供參考。