基于NSCT和PCNN的醫(yī)學圖像偽彩色處理技術研究*

李 江

（北京工業(yè)大學計算機學院 北京 100124）

1 引言

由于成像原理及人體器官結構的復雜性，現(xiàn)有的單一模態(tài)的醫(yī)學圖像僅能提供有限的信息，不同模態(tài)的醫(yī)學圖像之間既有冗余性又有獨立性。比如電子計算機斷層掃描（CT）能清晰呈現(xiàn)高密度的骨骼結構，而磁共振成像（MRI）可以較好地顯示軟組織信息。近年來醫(yī)學圖像融合技術的研究得到了廣泛重視，醫(yī)學圖像融合對于臨床診斷具有重要的應用價值，它在病癥診斷及治療時為醫(yī)生提供更多、更準確的信息［1～2］。

目前，在醫(yī)學圖像融合中一類研究較多的方法是將非下采樣 contourlet 變換（NSCT）［3～4］與脈沖耦合神經(jīng)網(wǎng)絡（PCNN）［5～6］相結合［7］，通過發(fā)揮 NSCT具有的平移不變性、多尺度、多方向特性以及PCNN 更符合人類視覺神經(jīng)系統(tǒng)處理機制的特點進行圖像融合，既保持了圖像的邊緣信息和輪廓結構也提取了有效的細節(jié)信息。由于CT 圖像和MRI圖像都是灰度圖像，通過NSCT 和PCNN 得到的融合圖像也是灰度圖像。但是人眼對灰度圖像的識別能力遠遠低于對彩色圖像的識別能力［8～10］，且無法根據(jù)灰度融合圖像判斷特征點來源，導致融合圖像攜帶信息量變少，所以需要對圖像進行偽彩色處理。

本文提出了一種基于NSCT 和PCNN 的醫(yī)學圖像偽彩色處理方法，首先，根據(jù)源圖像的灰度信息，計算源圖像公共區(qū)域。然后，使用NSCT 和PCNN對源圖像進行處理得到灰度融合圖像，并根據(jù)NSCT 分解生成的低頻子帶和方向子帶進行處理，得到融合圖像來源信息。最后，根據(jù)人類視覺特性，使用源圖像公共區(qū)域和融合圖像來源信息，對灰度融合圖像進行偽彩色處理得到偽彩色融合圖像。并通過對比灰度融合圖像和偽彩色融合圖像，證明了本文算法得到的偽彩色融合圖像突出了源圖像的公共區(qū)域和來源信息，有利于發(fā)現(xiàn)病灶。

2 相關工作

2.1 NSCT

NSCT 由非下采樣的塔式分解（NSPFB）和非下采樣的方向濾波器組（NSDFB）構成。NSCT變換的圖像分解框架如圖1 所示，從中可以看出在NSCT變換中，NSPFB 完成了圖像的多分辨率分解，得到了圖像的頻率子帶、NSDFB 完成了圖像的多方向分解，得到了圖像的方向子帶。

圖1 NSCT分解原理框架

圖像的低頻子帶集中了大部分源圖像能量信息和輪廓信息［11］?；叶葓D像的能量主要體現(xiàn)在像素點灰度值，灰度值越大，則代表圖像的能量越多。圖像的輪廓信息代表源圖像部分區(qū)域與其他區(qū)域之間的對比度，即兩個區(qū)域之間的差值越大，代表它們之間的輪廓越清晰。選擇能量較大和輪廓明顯的點，有利于獲得源圖像的更多低頻信息。圖像的高頻子帶集中了源圖像細節(jié)信息［11］。由于人眼對圖像對比度及邊緣、紋理的高敏感度，高頻子帶多方向分解生成的方向子帶使用更符合人類視覺神經(jīng)系統(tǒng)處理機制的PCNN處理。

圖2 二維頻譜劃分

2.2 PCNN

脈沖耦合神經(jīng)網(wǎng)絡（PCNN）具備同步脈沖發(fā)放、捕獲特性，使其對信號的處理更符合人類視覺特征，使用PCNN 對方向子帶進行融合，可以得到更符合人眼特性的融合方向子帶。PCNN 模型如圖3所示，數(shù)學表達式詳見參考文獻［12］。

圖3 PCNN簡化模型

2.3 圖像的偽彩色處理

不同模態(tài)的醫(yī)學圖像之間既有冗余性又有獨立性，CT 圖像能清晰反映物質(zhì)的密度，即CT 值越高，密度越高。而人體的高密度區(qū)域除骨骼外，還可能有鈣化、出血、實體腫瘤等［13］。MRI 圖像軟組織分辨率高，顯示腫瘤的范圍、軟組織腫塊及相應骨髓水腫有明顯優(yōu)勢［13］。圖像的來源信息代表了圖像不同的特點，而在灰度融合圖像中，無法判斷圖像的來源信息，如圖4 所示。因此，圖像的偽彩色處理至關重要。

在圖 4 中，（a）、（b）、（e）、（f）為源圖像，（c）為通過融合（a）和（b）得到的灰度融合圖像，（d）為通過融合（a）和（b）得到的偽彩色融合圖像，（g）為通過融合（e）和（f）得到的灰度融合圖像，（h）為通過融合（e）和（f）得到的偽彩色融合圖像?？梢钥闯龌叶热诤蠄D像無法保留來源信息，同時無法突出源圖像的重疊區(qū)域，不同源圖像可能得到同樣的灰度融合圖像。相較于灰度融合圖像，偽彩色融合圖像保留了來源信息，同時可以看出重疊區(qū)域。

圖4 圖像偽彩色處理示意圖

3 基于NSCT 和PCNN 的醫(yī)學圖像偽彩色處理方法

在本節(jié)中，論文介紹一種基于NSCT 和PCNN的醫(yī)學圖像偽彩色處理的方法。首先，根據(jù)源圖像的灰度信息，計算兩幅源圖像中灰度均較大的區(qū)域，即源圖像的公共區(qū)域。然后，使用NSCT對源圖像進行分解，根據(jù)圖像的低頻子帶和高頻字帶，得到圖像的來源信息和灰度融合圖像。最后，根據(jù)人類視覺特性，使用源圖像公共區(qū)域和融合圖像來源信息，對灰度融合圖像進行偽彩色處理得到偽彩色融合圖像。

3.1 計算源圖像公共區(qū)域

在灰度圖像中，灰度值值越高的點，特征越明顯。源圖像的公共區(qū)域，由兩幅源圖像中特征均明顯的點組成，需要選擇兩幅圖像灰度值均較高的區(qū)域。選擇高亮區(qū)域時，首先，忽略較暗區(qū)域的像素點，當灰度值之和較低時，認為源圖像灰度值均較低或某一副源圖像的灰度值過低。然后，選擇兩幅源圖像中均為較亮區(qū)域的像素點，即源圖像特征均較明顯。最后，針對兩幅圖像均存在特征的像素點，選擇灰度值比率在一定范圍內(nèi)的像素點，即源圖像的灰度值均較高，同時不存在一副圖像的像素點遠遠大于另一幅的情況。最終得到的重疊區(qū)域如圖6所示。

在圖6 中，黑色區(qū)域代表了源圖像的重疊區(qū)域，從圖5 中可以看出，當圖像灰度較高或較低時，人眼對灰度分辨率差［14］。所以選擇灰度值從0～64的區(qū)域作為源圖像的較暗區(qū)域，灰度值從192～255的區(qū)域作為源圖像的高亮區(qū)域。而在灰度值從64～192 的區(qū)域中，存在單獨某一副源圖像中特征不明顯，但在融合圖像中特征明顯的情況，由于源圖像經(jīng)過歸一化處理，所以選擇斜率為1 的直線及其周圍區(qū)域。

酒款亮點：科波拉酒莊莊主就是電影《教父》的導演弗朗西斯·福特·科波拉（Francis Ford Coppola），2006年他收購了這個位于美國索諾瑪縣（Sonoma）33公頃的葡萄園，將其更名為科波拉酒莊（Francis Ford Coppola Winery），建立起一個龐大的葡萄酒帝國。柯波拉酒莊的釀酒團隊由5位世界級釀酒大師和60位技術員工組成。酒莊所釀造的葡萄酒詮釋了加州的風土特色。這款酒在美國和法國橡木桶里陳釀了14個月，并加入小西拉進行混釀，增強口感，結構良好，余味留有辛香氣息。

圖5 人眼對灰度的分辨能力

圖6 源圖像的公共區(qū)域

3.2 計算灰度融合圖像來源信息

多模態(tài)圖像中，不同的圖像來源代表不同的信息，比如CT圖像能清晰呈現(xiàn)密度的變化，所以其灰度較高區(qū)域代表骨骼等信息，而MRI圖像表示軟組織信息，其灰度值較高區(qū)域代表血管等信息?；叶热诤蠄D像中，無法判斷圖像的來源，只能依靠醫(yī)生的經(jīng)驗，因此圖像的來源信息可以幫助醫(yī)生更好地分析組織結構和診斷病情。

由于圖像的低頻子帶和高頻子帶表征不同的信息，低頻子帶代表了能量信息和輪廓信息，所以我們使用像素灰度值選大融合方法［15］對低頻子帶進行融合，得到圖像的融合低頻子帶，并記錄其來源信息。融合低頻子帶來源信息計算公式如下：

式（1）中，F(xiàn)L表示融合低頻子帶的來源信息，(i，j)代表像素點的當前位置，X1代表第一幅源圖像的低頻子帶灰度值，X2代表第二幅源圖像的低頻子帶灰度值。

由于圖像的高頻子帶集中了細節(jié)信息，使用具有的同步脈沖發(fā)放、捕獲特性的PCNN 對高頻子帶分解生成的方向子帶進行處理，得到點火映射圖，根據(jù)點火映射圖生成融合方向子帶，并記錄融合方向子帶信息來源。融合方向子帶來源信息計算公式如下：

式（2）中，F(xiàn)D代表融合方向子帶的來源信息，k代表當前頻率子帶，l代表當前方向子帶，Y1代表第一幅源圖像當前方向子帶的點火次數(shù)，Y2代表第二幅源圖像當前方向子帶的點火次數(shù)。

針對相同頻率的方向子帶，使用來源信息求和的方式得到來自于某一副圖像所占的比值。得到了當前頻率的來源信息占比。高頻子帶來源信息計算公式如下：

式（3）中，F(xiàn)HS表示頻率子帶的來源信息，n代表頻率子帶分解得到的方向子帶數(shù)目。

針對高頻子帶，將高頻來源信息進行累加，然后根據(jù)累加和判斷融合高頻子帶的來源信息。融合高頻子帶來源信息計算公式如下：

式（4）中，SFH表示頻率子帶來源信息的累加和，m代表頻率子帶數(shù)目。

式（5）中，F(xiàn)H表示高頻子帶的來源信息。

最后，對融合低頻子帶來源信息和融合高頻子帶來源信息進行融合，當來源相同時，設置為共同來源，當來源不同時，根據(jù)源圖像的灰度值判斷，選擇灰度值較大的來源。

式（6）中，F(xiàn)表示融合圖像的來源信息，S1代表第一幅源圖像灰度值，S2代表第二幅源圖像灰度值。

3.3 灰度融合圖像的偽彩色處理

根據(jù)人眼對不同顏色的分辨率［8］，選擇分辨率較高的顏色，所以使用黑色表示源圖像的底色，白色表示源圖像的公共區(qū)域，紅色表示信息來源于第一副源圖像的區(qū)域，青色表示信息來源于第二副源圖像的區(qū)域。計算公式如下所示：

式（7）中，Color代表所選取顏色的 RGB 值，Gray代表灰度融合圖像中的灰度值，Img代表偽彩色融合圖像的RGB 值。偽彩色顯示中白色RGB值為［255，255，255］，紅色RGB 值為［255，0，0］，青色RGB值為［0，128，128］。

3.4 偽彩色處理過程

目前，在醫(yī)學圖像融合中研究較多的方法是NSCT 和 PCNN 的方法，本文基于 NSCT 和 PCNN 對圖像進行處理得到偽彩色融合圖像，大致流程如圖7所示。

圖7 基于NSCT和PCNN的融合圖像偽彩色處理方法框架

首先，根據(jù)源圖像的灰度值計算得到源圖像公共區(qū)域，即兩幅源圖像中灰度均較高的區(qū)域。其次，對源圖像進行NSCT分解，得到源圖像的各個頻率子帶。對高頻子帶進行方向分解，得到高頻子帶的各個方向子帶，因為不同的頻率子帶代表圖像不同部分的信息，所以不同的頻率子帶應使用不同的融合規(guī)則。針對低頻子帶使用低頻融合方法，同時記錄融合低頻子帶的圖像來源信息。針對方向子帶，使用PCNN 生成點火映射圖，根據(jù)點火映射圖計算得到圖像的融合方向子帶，同時記錄融合方向子帶的圖像來源信息。然后，對融合低頻子帶來源信息和融合方向子帶來源信息進行計算得到灰度融合圖像的來源信息。最后，對融合低頻字帶和融合方向子帶使用NSCT 重構得到灰度融合圖像，同時根據(jù)人類視覺特性，對源圖像公共區(qū)域和灰度融合圖像的來源信息進行偽彩色處理，得到偽彩色融合圖像。

4 實驗結果

為了驗證本文算法的有效性，本文進行了比較實驗。使用經(jīng)配準后的醫(yī)學圖像作為源圖像，分別是骨腫瘤CT 圖像和MRI 圖像。對比效果如圖8 所示。從中可以看出灰度融合圖像很好地保留了源圖像的輪廓信息和細節(jié)信息，但是灰度融合圖像中，MRI 圖像（圖8（b））中的特征被CT 圖像（圖8（a））中的特征覆蓋，而偽彩色融合圖像（圖8（d））與灰度融合圖像（圖8（c））相比，突出了公共區(qū)域和來源信息，保留了更豐富的信息。

圖8 骨腫瘤CT/MRI圖像及不同融合圖像

圖9 圖8中局部區(qū)域?qū)Ρ?/p>

圖 8 中，（a）為骨腫瘤 CT 圖像，（b）為骨腫瘤MRI 圖像，（c）為骨腫瘤灰度融合圖像，（d）為骨腫瘤偽彩色融合圖像。

為了更清楚地說明偽彩色融合圖像保留更豐富的信息，本文將圖8 中的部分區(qū)域取出并放大。比較圖9 中的圖像，偽彩色融合圖像的信息來源明顯，同時突出了灰度融合圖像中忽略的病灶。

圖9 中，（a）為骨腫瘤 CT 局部圖像，（b）為骨腫瘤MRI局部圖像，（c）為骨腫瘤灰度融合局部圖像，（d）為骨腫瘤偽彩色融合局部圖像。

5 結語

醫(yī)學圖像融合一方面要求融合后的圖像盡可能準確、豐富地體現(xiàn)源圖像的所含有的信息；另一方面要求融合圖像應適應人類視覺特性?；诖?，本文在基于NSCT 和PCNN 的圖像融合基礎上，計算融合圖像的公共區(qū)域和來源信息，對圖像進行偽彩色處理，得到信息更豐富，更符合人類視覺特性的偽彩色融合圖像。本文進一步的處理工作主要體現(xiàn)在以下幾個方面。

1）目前實驗數(shù)據(jù)較為單一，由于配準圖像的獲取較難，目前論文所使用的圖像都是精度較低的圖像，需要已配準的高精度圖像對算法進行更好的驗證。

2）目前缺少對彩色圖像的客觀評價準則，所以需要使用客觀的偽彩色圖像評價準則進行評價。

3）目前處理的源圖像是骨腫瘤CT 和MRI 圖像，針對其他醫(yī)學圖像的偽彩色處理需要進一步優(yōu)化。