基于多域先驗(yàn)的乳腺超聲圖像協(xié)同分割

邵昊陽(yáng)　張英濤　鮮敏，2　李致勛　唐降龍

基于多域先驗(yàn)的乳腺超聲圖像協(xié)同分割

邵昊陽(yáng)1張英濤1鮮敏1，2李致勛1唐降龍1

乳腺超聲（Breast ultrasound，BUS）圖像具有較低的信噪比、較低的對(duì)比度以及較模糊的邊緣，其分割是一項(xiàng)富有挑戰(zhàn)性的工作.本文提出了一種多域協(xié)同分割模型，該模型通過結(jié)合空域與頻域先驗(yàn)，并引入?yún)f(xié)同分割的思想來實(shí)現(xiàn)對(duì)乳腺超聲序列的分割.模型在空域中得到腫瘤的姿態(tài)、位置和強(qiáng)度信息，在頻域中通過使用相位一致性與零交叉檢測(cè)得到腫瘤的邊緣信息，最后利用協(xié)同分割的思想構(gòu)建起全局能量項(xiàng)，有效地利用了圖像序列信息.實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)的乳腺超聲圖像分割方法相比，本文提出的分割模型能夠很好地處理低對(duì)比度低回聲圖像以及單幀分割模型不能有效分割的圖像，分割結(jié)果具有更高的準(zhǔn)確性.

乳腺超聲圖像，協(xié)同分割，多域先驗(yàn)，計(jì)算機(jī)輔助診斷

引用格式邵昊陽(yáng)，張英濤，鮮敏，李致勛，唐降龍.基于多域先驗(yàn)的乳腺超聲圖像協(xié)同分割.自動(dòng)化學(xué)報(bào)，2016，42（4）: 580?592

乳腺癌是導(dǎo)致女性死亡的主要癌癥之一［1］，它嚴(yán)重影響著女性的身心健康.早期診斷和早期綜合治療是防止乳腺癌的最有效手段［2］.由于成本低廉，性價(jià)比高、無(wú)輻射以及無(wú)創(chuàng)傷等原因，超聲成像技術(shù)已經(jīng)成為檢測(cè)乳腺癌的重要手段.然而，乳腺超聲（Breast ultrasound，BUS）圖像往往需要有臨床經(jīng)驗(yàn)的醫(yī)生來進(jìn)行判讀，醫(yī)生判讀的準(zhǔn)確性又會(huì)受到各種內(nèi)部或外部因素的影響.為了克服這種缺陷，幫助醫(yī)生提高診斷的準(zhǔn)確率和客觀性，計(jì)算機(jī)輔助診斷（Computer aided diagnosis，CAD）系統(tǒng)越來越多的被應(yīng)用于臨床實(shí)踐中［3?5］.

分割是乳腺超聲圖像CAD系統(tǒng)中重要的一個(gè)環(huán)節(jié)，通過分割可以定位腫瘤區(qū)域的位置，為后續(xù)腫瘤特征提取以及良惡性分類提供必要的信息.由于超聲圖像具有高噪聲、低對(duì)比度、邊緣模糊不清等特點(diǎn)，超聲圖像的分割成為圖像處理領(lǐng)域中一個(gè)難度較高、亟待解決的問題.近年來，許多基于不同模型的乳腺腫瘤分割方法已經(jīng)被提了出來，例如：區(qū)域增長(zhǎng)方法（Region growing）［6］、馬爾科夫隨機(jī)場(chǎng)方法（Markov random field，MRF）［7］、主動(dòng)輪廓方法（Active contour）［8］、神經(jīng)網(wǎng)絡(luò)方法（Neural network）［9］、水平集方法（Level set）［10］等.國(guó)內(nèi)的學(xué)者也提出了許多不同的方法［11?13］.雖然現(xiàn)有的一些分割方法通過結(jié)合多種先驗(yàn)知識(shí)，已經(jīng)取得了較好的效果，但是這些方法仍然存在一些問題：

1）乳腺超聲圖像對(duì)比度較低，而且在圖像的脂肪層以及肌肉層存在較多的與腫瘤強(qiáng)度接近的低回聲區(qū)域，現(xiàn)有的依賴空間域特征的方法不能有效地將腫瘤與低回聲區(qū)域區(qū)分開來，特別是當(dāng)?shù)突芈晠^(qū)域與腫瘤區(qū)域的邊界較為接近時(shí)，現(xiàn)有的方法往往會(huì)出現(xiàn)過分割.

2）現(xiàn)有的乳腺超聲圖像分割方法都將單幀靜態(tài)超聲圖像作為研究對(duì)象，然而單幀靜態(tài)圖像只能反映腫瘤某一側(cè)面的信息.實(shí)際臨床中，醫(yī)生在掃查和診斷中用的是超聲視頻序列，這個(gè)視頻序列與單幀靜態(tài)圖像相比，可以提供更完整、更全面的腫瘤信息.

為了解決上述問題，本文提出了一種基于多域先驗(yàn)的協(xié)同分割模型來對(duì)乳腺超聲序列進(jìn)行分割.協(xié)同分割（Co-segmentation）方法最早由Rother等［14］提出，是一種無(wú)監(jiān)督學(xué)習(xí)的分割方法，目的是將多幅具有相同或相似目標(biāo)的圖像分割為前景和背景.目前越來越多的人開始對(duì)協(xié)同分割方法進(jìn)行研究.現(xiàn)有的大多數(shù)協(xié)同分割方法是基于馬爾可夫隨機(jī)場(chǎng)（MRF）的優(yōu)化問題［15］，其基本思想是建立起包括圖像內(nèi)部能量項(xiàng)和圖像間全局能量項(xiàng)的能量方程，然后將能量方程轉(zhuǎn)化到MRF問題上進(jìn)行優(yōu)化.這類方法通常是在全局能量項(xiàng)上進(jìn)行改進(jìn)，使全局能量項(xiàng)更合理或者使整個(gè)模型的優(yōu)化更便利.除了基于MRF的方法外，還有一些其他的協(xié)同分割方法被提出.Joulin等［16］從聚類的角度出發(fā)，通過將圖像內(nèi)部聚類與全局圖像聚類結(jié)合起來，提出了基于聚類的協(xié)同分割方法.Kim等［17］從各向異性熱擴(kuò)散的原理出發(fā)，將協(xié)同分割問題視作溫度最大化問題來解決.Meng等［18］通過將多幅圖像構(gòu)建成圖，然后使用最短路徑的方法來進(jìn)行協(xié)同分割.現(xiàn)有的協(xié)同分割方法大都是在自然圖像上進(jìn)行分割的，方法使用的特征也是從自然圖像的角度考慮的.與自然圖像相比，乳腺超聲圖像有較低的分辨率和對(duì)比度，圖像中各個(gè)組織之間的邊界比較模糊，圖像內(nèi)部有較多的噪聲，所以已有的協(xié)同分割方法在乳腺超聲圖像中并不適用.

本文提出的多域協(xié)同分割模型充分結(jié)合了乳腺超聲圖像的特點(diǎn).一方面，通過考慮乳腺超聲圖像在空間域的強(qiáng)度分布、位置和姿態(tài)信息，與頻率域的邊緣信息相結(jié)合，建立起超聲圖像內(nèi)部的能量關(guān)系；另一方面，本文結(jié)合了乳腺腫瘤圖像的特征來對(duì)協(xié)同分割框架中的能量項(xiàng)進(jìn)行了設(shè)計(jì)，建立起超聲序列之間的全局能量模型.該模型可以有效地利用序列圖像特點(diǎn)進(jìn)行乳腺腫瘤分割.

1　基于多域先驗(yàn)的協(xié)同分割模型

本文提出的多域協(xié)同分割模型分割步驟如圖1所示.模型處理的是乳腺超聲序列.在使用多域協(xié)同分割模型分割之前，需要對(duì)輸入序列進(jìn)行預(yù)分割.腫瘤在乳腺超聲圖像中表現(xiàn)為“顏色相對(duì)較暗、團(tuán)塊狀”區(qū)域.然而，圖像中的肌肉和脂肪組織也有類似的外觀.預(yù)分割可以給出腫瘤所在區(qū)域的位置，使腫瘤區(qū)域成為前景區(qū)域，肌肉、脂肪和其他區(qū)域成為背景區(qū)域.這是個(gè)粗定位的過程，無(wú)法獲得腫瘤準(zhǔn)確的邊界.文獻(xiàn)［19］提出了一種基于單幀顯著性的乳腺腫瘤檢測(cè)方法，文章首先根據(jù)醫(yī)學(xué)先驗(yàn)對(duì)乳腺腫瘤進(jìn)行定位，然后根據(jù)乳腺的背景特征以及強(qiáng)度特征構(gòu)建起解剖學(xué)線索和對(duì)比度線索，最終得到乳腺腫瘤的顯著性映射結(jié)果.因?yàn)槲墨I(xiàn)［20］中的方法具有全自動(dòng)、定位準(zhǔn)確等特點(diǎn)，本文用其進(jìn)行預(yù)分割.預(yù)分割算法的復(fù)雜度為O（K3），其中，K為圖像中超像素塊的數(shù)量.

圖1　多域協(xié)同分割模型Fig.1　Co-segmentation model based on multiple-domain

1.1分割模型概述

本文提出的多域協(xié)同分割模型包括兩個(gè)部分：內(nèi)部能量項(xiàng)和全局能量項(xiàng).為了便于后續(xù)表示，使用表示含有M 幀圖像的乳腺超聲序列，使用表示第Ik幀圖像對(duì)應(yīng)的二值標(biāo)簽集合，其中圖像Ik含有的像素個(gè)數(shù)為N，表示圖像Ik的第i個(gè)像素對(duì)應(yīng)的二值標(biāo)簽，x取值為1時(shí)其為前景，取值為0時(shí)其為背景.本文的目標(biāo)是通過多域協(xié)同分割模型來實(shí)現(xiàn)更優(yōu)分割，也就是對(duì)標(biāo)簽集合實(shí)現(xiàn)最優(yōu)分配，這個(gè)問題可以通過最小化式（1）中的能量方程來實(shí)現(xiàn)：

式中，EIn表示單幀圖像內(nèi)部的能量項(xiàng)，用來約束單幀圖像內(nèi)前景像素與背景像素的關(guān)系，EGlobal表示序列之間的全局能量項(xiàng)，用來構(gòu)建序列之間的能量關(guān)系.其中EIn又分為空域能量項(xiàng)和頻域能量項(xiàng)兩部分，所以式（1）可以表示為

式中，ESC表示空域能量項(xiàng)，用來對(duì)腫瘤的強(qiáng)度、位置和姿態(tài)進(jìn)行描述.EFC表示頻域能量項(xiàng)，用來對(duì)腫瘤的邊緣信息進(jìn)行描述，ESC和EFC共同建立起超聲圖像內(nèi)部的能量關(guān)系.λ是空域能量項(xiàng)的權(quán)值，用于調(diào)節(jié)空域能量項(xiàng)與頻域能量項(xiàng)在模型中所占的比重.以下分別對(duì)模型中的各項(xiàng)進(jìn)行詳細(xì)說明.

1.2空域能量項(xiàng)

由于腫瘤區(qū)域與低回聲區(qū)域在強(qiáng)度上具有較大的相似性，僅使用強(qiáng)度信息很難將之區(qū)分，并容易產(chǎn)生過分割.文獻(xiàn)［4］從單幀腫瘤圖像的特點(diǎn)出發(fā)，提取了腫瘤姿態(tài)、位置和強(qiáng)度分布等空間域信息來區(qū)分腫瘤與正常組織區(qū)域，本文利用文獻(xiàn)［4］中的思想，并將其擴(kuò)展到序列圖像中，得到了如下的空域能量項(xiàng)表示：

1.2.1姿態(tài)與位置描述

腫瘤的姿態(tài)和位置是區(qū)分良惡性腫瘤的重要特征，能不隨圖像亮度和對(duì)比度的變化而變化［4］.由于本文使用的所有乳腺超聲圖像中均只含有一個(gè)腫瘤，所以這里使用2維橢圓高斯方程來表示腫瘤的姿態(tài)與位置：

式中，使用的橢圓由預(yù)分割結(jié)果中的前景擬合得到，擬合時(shí)，將前景區(qū)域的質(zhì)心做為橢圓的中心，將與前景區(qū)域具有相同標(biāo)準(zhǔn)二階中心矩的橢圓的長(zhǎng)軸作為橢圓長(zhǎng)軸，將與前景區(qū)域具有相同標(biāo)準(zhǔn)二階中心矩的橢圓的短軸作為橢圓短軸，將與前景區(qū)域具有相同標(biāo)準(zhǔn)二階中心距的橢圓的長(zhǎng)軸與水平軸的夾角作為橢圓的傾角.（ix0，iy0）和（ix，iy）分別表示圖像Ik中橢圓的中心坐標(biāo)和像素i處的坐標(biāo).a，b，c用來控制橢圓的姿態(tài)，參數(shù)a，b，c由式（6）給出：

式中，θ表示橢圓的傾角，σx和σy分別表示1/2長(zhǎng)度的橢圓長(zhǎng)軸與短軸.橢圓高斯方程能夠?qū)⒎指罱Y(jié)果有效地約束在自身的范圍內(nèi)，排除遠(yuǎn)離腫瘤區(qū)域中與腫瘤區(qū)域相似的低回聲區(qū)域.

1.2.2強(qiáng)度約束

一些方法在使用強(qiáng)度分布對(duì)乳腺超聲圖像進(jìn)行分割時(shí)，會(huì)先假設(shè)圖像的強(qiáng)度滿足一定的先驗(yàn)分布，例如：瑞利（Rayleigh）分布、伽瑪（Gamma）分布或者指數(shù)（Exponential）分布等，由于乳腺超聲圖像在采集時(shí)可能使用不同的設(shè)備，或者使用不同的參數(shù)來進(jìn)行采集，這些預(yù)先定義的強(qiáng)度分布與圖像的實(shí)際情況會(huì)有一定的偏差.因此，本節(jié)在對(duì)強(qiáng)度進(jìn)行定義的時(shí)候，并沒有假設(shè)圖像的強(qiáng)度分布，而是使用圖像的前景與背景直方圖來進(jìn)行表示，這種表示方法比預(yù)先假設(shè)強(qiáng)度分布具有更好的魯棒性.強(qiáng)度表示的一階定義如式（7）：

式中，［φ］為指示函數(shù)，當(dāng)φ為真時(shí)，取值為1；當(dāng)φ為假時(shí)，取值為和分別表示圖像Ik在像素i和j處的強(qiáng)度值.表示圖像Ik在像素i處的不連續(xù)性，當(dāng)i處比較平滑時(shí)，值相對(duì)較小，當(dāng)i處不平滑時(shí)，值相對(duì)越大.σ用來控制不連續(xù)性的大小，實(shí)驗(yàn)表明，當(dāng)σ取15時(shí)能達(dá)到最好效果.

1.3頻域能量項(xiàng)

因?yàn)槿橄俪晥D像在采集時(shí)使用的參數(shù)會(huì)有變動(dòng)，其亮度與對(duì)比度也會(huì)隨之變化.傳統(tǒng)的基于空間域的分割方法在檢測(cè)邊緣時(shí)，往往會(huì)受到這些變化的影響，進(jìn)而不能得到滿意的結(jié)果.相位一致性［20］與零交叉［21］是兩種重要的頻率域邊緣檢測(cè)方法，能夠不隨圖像亮度與對(duì)比度的變化而變化，目前已經(jīng)被廣泛地應(yīng)用于圖像處理領(lǐng)域［22］.本部分將相位一致性與零交叉方法相結(jié)合，構(gòu)建起了模型的頻域能量項(xiàng)：

式中，ZC和PCM分別表示零交叉檢測(cè)與最大能量響應(yīng)對(duì)應(yīng)的相位一致性值.本節(jié)中相位一致性的計(jì)算采用文獻(xiàn)［4］中的方法.該方法將圖像與一系列不同尺度不同方向的Log-Gabor濾波器做卷積，然后進(jìn)行相位一致性的求解.濾波器最大響應(yīng)處對(duì)應(yīng)的尺度和方向能夠反映圖像局部區(qū)域的平滑程度以及方向.如果一個(gè)點(diǎn)在較大的尺度上有較大的響應(yīng)，則此點(diǎn)附近的區(qū)域較為平滑；相反，如果一個(gè)點(diǎn)在較小的尺度上有較大的響應(yīng)，則此點(diǎn)附近的區(qū)域不平滑［4］.在方向方面，如果一個(gè)點(diǎn)在方向角θ上有較大的響應(yīng)，則此點(diǎn)處對(duì)應(yīng)的方向角接近于θ.因此，腫瘤邊緣的尺度和方向與濾波器的尺度和方向相同時(shí)，濾波器的局部響應(yīng)最大.本文中，選擇一個(gè)點(diǎn)處Log-Gabor濾波器最大實(shí)部ens，no對(duì)應(yīng)的尺度（ns）和方向（no）作為該點(diǎn)的邊緣尺度和方向.

零交叉檢測(cè)ZC的形式如式（11）：

最大能量響應(yīng)對(duì)應(yīng)的相位一致性值PCM的形式如式（12）：

1.4全局能量項(xiàng)

乳腺超聲序列中，相鄰的乳腺超聲圖像在前景區(qū)域具有相似性.協(xié)同分割方法正是從序列圖像前景區(qū)域的相似性出發(fā)構(gòu)建起全局能量項(xiàng)的，這種方法通過對(duì)多幀圖像的前景和背景建模，得到更準(zhǔn)確的前景與背景分布，進(jìn)而實(shí)現(xiàn)比單幀分割更準(zhǔn)確的序列分割.

現(xiàn)在的一些協(xié)同分割方法［24］在構(gòu)建全局能量項(xiàng)時(shí)，通常是對(duì)兩幅圖像使用強(qiáng)度直方圖來進(jìn)行約束.由于乳腺超聲序列中圖像數(shù)量多于兩幅，這種只能處理成對(duì)圖像的方法不能夠充分地利用序列信息.因此，本部分使用了文獻(xiàn)［15］中的基于高斯混合模型（Gaussian mixture model，GMM）的方法來定義全局能量項(xiàng).GMM有以下優(yōu)點(diǎn)：1）GMM是一種概率分布模型，具有較高的準(zhǔn)確率；2）GMM能夠詳細(xì)地描述一個(gè)目標(biāo)不同區(qū)域的分布情況.本文中全局能量項(xiàng)的定義如式（13）：

1.5模型優(yōu)化

本文的目標(biāo)是從乳腺超聲序列中分割出腫瘤，這是一個(gè)二分割問題.Boykov等提出的交互式圖割［25］為本文模型的優(yōu)化提供了一種有效的手段.在圖割方法中，標(biāo)準(zhǔn)的能量方程形式如式（14）所示［26］：

式中，L=｛Lp|p∈P｝為圖像P的標(biāo)簽集合，Dp（·）為數(shù)據(jù)懲罰項(xiàng)，Vp，q為平滑項(xiàng)，N為所有相鄰像素對(duì)的集合.本文提出的多域協(xié)同分割模型中，式（3）空域能量項(xiàng)中的對(duì)應(yīng)數(shù)據(jù)懲罰項(xiàng)，對(duì)應(yīng)平滑項(xiàng)，式（9）頻域能量項(xiàng)對(duì)應(yīng)平滑項(xiàng)，式（13）全局能量項(xiàng)對(duì)應(yīng)數(shù)據(jù)懲罰項(xiàng).這樣，本文提出的模型可以映射到標(biāo)準(zhǔn)能量方程的形式上去.又因?yàn)楸疚哪Ｐ蜐M足文獻(xiàn)［27］中的圖表示形式，即：

所以本文提出的模型能夠使用最大流最小割算法1來進(jìn)行全局最優(yōu)化，模型復(fù)雜度為O（n2m|C|），其中n為頂點(diǎn)數(shù)，m為邊數(shù)，|C|為最小割的數(shù)量. 1.6算法實(shí)現(xiàn)

因?yàn)樵陂_始求解模型時(shí)，乳腺超聲序列的前景和背景是通過預(yù)分割得到的，預(yù)分割結(jié)果比較粗糙，可以通過迭代的方式來對(duì)乳腺超聲序列進(jìn)行分割.迭代終止的條件可以為：GMM的參數(shù)滿足收斂條件，或者達(dá)到最大迭代次數(shù)（通常使用5～10次迭代）.完整的分割算法流程如下：

步驟1.使用文獻(xiàn)［19］中的方法對(duì)乳腺圖像序列進(jìn)行預(yù)分割；

步驟2.使用圖割算法對(duì)式（1）中的EIn進(jìn)行最小化，產(chǎn)生初步分割結(jié)果；

步驟4.使用圖割算法對(duì)式（2）進(jìn)行最小化；

步驟6.循環(huán)執(zhí)行步驟3和步驟5直到滿足收斂條件或者達(dá)到最大迭代次數(shù)為止.

2　實(shí)驗(yàn)結(jié)果

2.1數(shù)據(jù)集

為了驗(yàn)證本文提出方法在乳腺超聲序列圖像上的分割效果，本文對(duì)50組乳腺超聲序列進(jìn)行了分割. 50組序列中包括25組惡性序列和25組良性序列，每組序列包括5～12幀圖像，總計(jì)400幀圖像，圖像的平均大小為600像素×480像素.本文采用的所有乳腺超聲圖像序列由哈爾濱醫(yī)科大學(xué)附屬第二醫(yī)院超聲科提供，并由超聲專家對(duì)腫瘤區(qū)域進(jìn)行手工標(biāo)注，作為金標(biāo)準(zhǔn)驗(yàn)證分割的效果.本文實(shí)驗(yàn)在一臺(tái)4核2.13GHz CPU、12GB內(nèi)存的計(jì)算機(jī)上運(yùn)行，使用Matlab來進(jìn)行算法實(shí)現(xiàn)，平均處理一幀圖像的時(shí)間為10.02s.

2.2評(píng)價(jià)標(biāo)準(zhǔn)

為了對(duì)分割效果進(jìn)行評(píng)價(jià)，本文使用了面積和邊界兩種誤差評(píng)價(jià)標(biāo)準(zhǔn).其中面積評(píng)價(jià)標(biāo)準(zhǔn)包括：真陽(yáng)性比（True positive ratio，TPR）、假陽(yáng)性比（False positive ratio，F(xiàn)PR）和總體相似度（Similarity ratio，SIR）：

其中，Am表示醫(yī)生手工標(biāo)定的腫瘤區(qū)域，Ar為算法分割出的腫瘤區(qū)域.TPR指標(biāo)越高，則分割結(jié)果覆蓋手工標(biāo)定區(qū)域的程度越高；FPR指標(biāo)越低，則覆蓋的錯(cuò)誤區(qū)域越少；SIR指標(biāo)越高，則分割結(jié)果與手工標(biāo)定的區(qū)域越接近［28?29］.

豪斯多夫距離（Hausdorff distance，HD）和平均絕對(duì)距離（Mean absolute distance，MD）用來評(píng)價(jià)兩個(gè)邊界的差異程度［28］.這里將超聲專家標(biāo)注的邊界記為Q=｛q1，q2，···，qη｝將分割得到乳腺腫瘤邊界記為P=｛p1，p2，···，pj，pα｝，Q和P對(duì)應(yīng)于同一個(gè)腫瘤邊界.對(duì)于P上的任意一點(diǎn)pj，定義：

其中，‖·‖表示2維歐氏距離，α和η分別表示邊界P和Q上點(diǎn)的個(gè)數(shù).HD和MD的定義如下：

HD表示兩個(gè)邊界的最大不一致程度，MD表示兩個(gè)輪廓的平均不一致程度.本文中使用所有腫瘤圖像的平均豪斯多夫距離（Average Hausdorff distance，AHD）以及平均絕對(duì)誤差距離（Average mean absolute distance，AMD）來對(duì)分割結(jié)果的邊界進(jìn)行評(píng)估，AHD與AMD值越大，分割得到的邊界與手工標(biāo)定的邊界差別越大.

2.3結(jié)果

為了全面展示本文提出的模型，本節(jié)首先展示模型的部分中間結(jié)果以及模型中參數(shù)的變化對(duì)最終分割結(jié)果的影響.然后，將本文提出的模型與三種最新的全自動(dòng)分割方法［4，30?31］進(jìn)行對(duì)比分析，從模型對(duì)與腫瘤相似區(qū)域的分割能力，模型處理低對(duì)比度、邊界模糊的超聲圖像的能力以及模型處理單幀分割不容易區(qū)分的能力等方面對(duì)模型進(jìn)行評(píng)價(jià)（由于篇幅有限，每個(gè)序列取3幀圖像表示）.實(shí)驗(yàn)中，所有的實(shí)驗(yàn)數(shù)據(jù)均是在相應(yīng)方法各自的最優(yōu)參數(shù)條件下獲得.

圖2顯示了本文提出算法的部分中間結(jié)果，圖2（a）是原始圖像序列，圖2（b）是原始圖像序列的預(yù)分割結(jié)果，預(yù)分割能夠定位腫瘤的位置，并進(jìn)行簡(jiǎn)單分割.圖2（c）是乳腺腫瘤序列在空間域中得到的2D高斯橢圓，用來對(duì)腫瘤的姿態(tài)與位置進(jìn)行約束，從圖2中可以看出，高斯橢圓能夠準(zhǔn)確地限制腫瘤區(qū)域的位置，排除背景噪聲的干擾.圖2（d）是乳腺腫瘤序列對(duì)應(yīng)的強(qiáng)度分布序列，強(qiáng)度圖能夠有效地利用空間域中的強(qiáng)度信息來表示腫瘤，圖2（e）是乳腺腫瘤序列在頻率域?qū)?yīng)的邊緣檢測(cè)結(jié)果，從圖像中可以看出，最大能量響應(yīng)處對(duì)應(yīng)的相位一致性值能夠明顯地表示出腫瘤圖像中的邊緣信息.圖2（c）和（d）為空間域中數(shù)據(jù)項(xiàng)對(duì)應(yīng)的中間結(jié)果，圖2（e）為頻率域的部分中間結(jié)果.圖2（f）是本文提出的多域協(xié)同分割模型最后的分割結(jié)果.

圖2　本文提出算法的部分中間結(jié)果Fig.2　Part of intermediate results of our proposed method

參數(shù)λ用來控制空間域信息和頻率域信息對(duì)分割結(jié)果的影響.當(dāng)λ較小時(shí)，空域能量項(xiàng)對(duì)分割結(jié)果的影響較小，頻域能量項(xiàng)對(duì)結(jié)果的影響較大，分割結(jié)果對(duì)邊緣信息更為敏感，容易將疑似邊緣區(qū)域作為腫瘤邊緣.隨著λ增大，空域能量項(xiàng)對(duì)分割結(jié)果的影響逐漸增大.當(dāng)λ取較大值時(shí)，空域能量項(xiàng)會(huì)對(duì)分割結(jié)果產(chǎn)生較大影響，分割結(jié)果對(duì)強(qiáng)度信息更為敏感，容易將與腫瘤區(qū)域近似的組織區(qū)域誤判斷為腫瘤，產(chǎn)生過分割.圖3（b）～（d）分別是采用λ=0.05，λ=10和λ=0.3對(duì)圖3（a）的序列分割的結(jié)果.采用過小的λ值（λ=0.05）時(shí)，模型過多考慮了頻率域信息，而采用過大的λ值（λ=10）時(shí)，分割產(chǎn)生了過多細(xì)小的區(qū)域和曲折的邊界曲線，即過分割.實(shí)驗(yàn)表明，當(dāng)λ=0.3時(shí)，模型分割出的區(qū)域與實(shí)際腫瘤區(qū)域最相近.

圖4所示的序列中，腫瘤圖像內(nèi)部含有較多與腫瘤區(qū)域相似的正常組織.圖4（b）～（e）分別是文獻(xiàn)［28］提出的基于人工神經(jīng)網(wǎng)絡(luò)的模型，文獻(xiàn)［29］提出的基于目標(biāo)識(shí)別的分割模型，文獻(xiàn)［4］提出的基于圖分割的模型與本文提出的多域協(xié)同分割模型對(duì)圖4（a）所示序列的分割結(jié)果.通過對(duì)比圖4（f）醫(yī)生標(biāo)定的腫瘤區(qū)域可以看出，文獻(xiàn)［28］中的分割結(jié)果中包含較多的正常組織，文獻(xiàn)［4，29］則正確的區(qū)分了腫瘤區(qū)域與正常組織.本文提出的模型最接近醫(yī)生手工標(biāo)定的腫瘤區(qū)域.

圖5展示了4種分割方法在低對(duì)比度、邊界模糊的乳腺超聲序列上的分割結(jié)果.通過對(duì)比醫(yī)生標(biāo)定的腫瘤區(qū)域可以看出，本文提出的協(xié)同分割模型對(duì)于低對(duì)比度、邊界模糊的超聲圖像仍可以準(zhǔn)確地分割（圖5（e）），文獻(xiàn)［4］中的方法也得到了相似的結(jié)果，但是其上邊緣部分沒有完整地收斂到腫瘤的邊界.文獻(xiàn)［29］中的方法只能識(shí)別部分腫瘤區(qū)域，文獻(xiàn)［28］中的方法雖然將腫瘤區(qū)域正確識(shí)別，但其結(jié)果中包含了較多的正常組織.

圖6和圖7分別是4種分割方法在單幀不容易區(qū)分的乳腺超聲序列上的分割結(jié)果.觀察這些序列中的圖像可以看出，這些序列中部分腫瘤圖像對(duì)比度較低，腫瘤內(nèi)部不均勻，有部分低回聲區(qū)域同時(shí)也有部分較亮的區(qū)域（圖6的2幀圖像，圖7的第2幀圖像）.在使用單幀分割時(shí)，往往會(huì)將腫瘤內(nèi)部較亮與較暗區(qū)域的分界處作為邊界，造成誤分割（圖6（b）～（d），7（b）～（d））.本文提出的多域協(xié)同分割模型能夠通過結(jié)合序列圖像中所有圖像的前景信息來進(jìn)行分割，利用圖像序列的全局信息對(duì)分割結(jié)果進(jìn)行糾正，從而得到正確的結(jié)果（圖6（e）和圖7（e））.

圖3　使用不同參數(shù)λ時(shí)的分割結(jié)果Fig.3　Segmentation results corresponding to different λ

表1列出了文獻(xiàn)［4，28?29］中的方法與本文提出的方法在同一數(shù)據(jù)集上的整體表現(xiàn).從結(jié)果中可以看出，文獻(xiàn)［4］中的方法有稍高的TPR（82.61%）值，這表明其模型分割得到的腫瘤區(qū)域與實(shí)際的腫瘤區(qū)域有較高的重合部分.不過，本文提出的模型有較低的FPR（17.54%）值和較高的SIR（73.63%）值，這表明本文提出的模型能夠有效地區(qū)分與腫瘤區(qū)域相似的正常組織區(qū)域.從邊界評(píng)價(jià)標(biāo)準(zhǔn)上來看，本文的方法也遠(yuǎn)低于文獻(xiàn)［4，28?29］中的結(jié)果，這表明本文模型得到的分割結(jié)果更接近于實(shí)際腫瘤邊界.4類方法的受試者工作特征（Receiver operating characteristic curve，ROC）曲線見圖8，表2列出了4類方法的AUC（Area under roc curve）值，從表2中可以看出，本文模型的AUC面積最大，這表明本文模型有最好的分割效果.

表1　4類方法在所有乳腺超聲圖像上的整體分割結(jié)果Table 1　Segmentation results of four methods on all breast ultrasound images

圖4　含較多與腫瘤區(qū)域相似的正常組織的超聲序列分割結(jié)果Fig.4　Segmentation results of normal breast ultrasound sequence similar to tumor regions

圖5　低對(duì)比度、邊界模糊的超聲序列的分割結(jié)果Fig.5　Segmentation results of breast ultrasound sequence with low contrast and blurry boundaries

圖6　單幀不易分割的超聲序列的分割結(jié)果Fig.6　Segmentation results of breast ultrasound sequence hard to segment for single frame

圖7　單幀不易分割的超聲序列的分割結(jié)果Fig.7　Segmentation results of breast ultrasound sequence hard to segment for single frame

表2　4類分割方法的AUC值Table 2　Results of AUC of four segmentation methods

3　結(jié)論

本文提出了一種多域協(xié)同分割模型來對(duì)乳腺超聲圖像序列進(jìn)行分割，本文的主要貢獻(xiàn)有：1）通過將空域與頻域信息結(jié)合，既可以利用空域中腫瘤的姿態(tài)、位置與強(qiáng)度特征，又可以通過頻域來得到腫瘤的邊緣特征，使結(jié)果的準(zhǔn)確性有較大的提升；2）結(jié)合了乳腺腫瘤圖像的特征來對(duì)現(xiàn)有協(xié)同分割框架中的能量項(xiàng)進(jìn)行設(shè)計(jì)，建立起乳腺超聲圖像序列模型，有效地利用序列圖像特點(diǎn)進(jìn)行乳腺腫瘤分割.實(shí)驗(yàn)結(jié)果表明，本文的方法可以準(zhǔn)確地對(duì)超聲圖像序列進(jìn)行分割.在未來的工作中，如何更好地利用圖像序列前景之間的相似性，例如腫瘤在形狀上的關(guān)系，以及分割多腫瘤圖像，是今后進(jìn)一步的研究方向.

圖8　4類方法的ROC曲線Fig.8　The curves of ROC of four methods

References

1 Cheng H D，Shan J，Ju W，Guo Y H，Zhang L.Automated breast cancer detection and classification using ultrasound images:a survey.Pattern Recognition，2010，43（1）: 299?317

2 Cheng H D，Shi X J，Min R，Hu L M，Cai X P，Du H N.Approaches for automated detection and classification of masses in mammograms.Pattern Recognition，2006，39（4）: 646?668

3 Chen D R，Chang R F，Huang Y L.Breast cancer diagnosis using self-organizing map for sonography.Ultrasound in Medicine&Biology，2000，26（3）:405?411

4 Xian M，Zhang Y T，Cheng H D.Fully automatic segmentation of breast ultrasound images based on breast characteristics in space and frequency domains.Pattern Recognition，2015，48（2）:485?497

5 Shan J，Wang Y X，Cheng H D.Completely automatic segmentation for breast ultrasound using multiple-domain features.In:Proceedings of the 17th IEEE International Conference on Image Processing（ICIP）.Hong Kong，China: IEEE，2010.1713?1716

6 Drukker K，Giger M L，Horsch K，Kupinski M A，Vyborny C J，Mendelson E B.Computerized lesion detection on breast ultrasound.Medical Physics，2002，29（7）:1438?1446

7 Boukerroui D，Baskurt A，Noble J A，Basset O.Segmentation of ultrasound images-multiresolution 2D and 3D algorithm based on global and local statistics.Pattern Recognition Letters，2003，24（4?5）:779?790

8 Chen D R，Chang R F，Wu W J，Moon W K，Wu W L.3-D breast ultrasound segmentation using active contour model. Ultrasound in Medicine&Biology，2003，29（7）:1017?1026

9 Chen D R，Chang R F，Kuo W J，Chen M C，Huang Y L. Diagnosis of breast tumors with sonographic texture analysis using wavelet transform and neural networks.Ultrasound in Medicine&Biology，2002，28（10）:1301?1310

10 Liu Bo，Huang Jian-Hua，Tang Xiang-Long，Liu Jia-Feng，Zhang Ying-Tao.Combing global probability density difference and local gray level fitting for ultrasound image segmentation.Acta Automatica Sinica，2010，36（7）:951?959（劉博，黃劍華，唐降龍，劉家鋒，張英濤.結(jié)合全局概率密度差異與局部灰度擬合的超聲圖像分割.自動(dòng)化學(xué)報(bào)，2010，36（7）: 951?959）

11 Qian Sheng，Chen Zong-Hai，Lin Ming-Qiang，Zhang Chen-Bin.Saliency detection based on conditional random field and image segmentation.Acta Automatica Sinica，2015，41（4）:711?724（錢生，陳宗海，林名強(qiáng)，張陳斌.基于條件隨機(jī)場(chǎng)和圖像分割的顯著性檢測(cè).自動(dòng)化學(xué)報(bào)，2015，41（4）:711?724）

12 Tang Li-Ming，Tian Xue-Quan，Huang Da-Rong，Wang Xiao-Feng.Imagesegmentationmodelcombinedwith FCMS and variational level set.Acta Automatica Sinica，2014，40（6）:1233?1248（唐利明，田學(xué)全，黃大榮，王曉峰.結(jié)合FCMS與變分水平集的圖像分割模型.自動(dòng)化學(xué)報(bào)，2014，40（6）:1233?1248）

13 Long Jian-Wu，Shen Xuan-Jing，Zang Hui，Chen Hai-Peng. An adaptive thresholding algorithm by background estimation in Gaussian scale space.Acta Automatica Sinica，2014，40（8）:1773?1782（龍建武，申鉉京，臧慧，陳海鵬.高斯尺度空間下估計(jì)背景的自適應(yīng)閾值分割算法.自動(dòng)化學(xué)報(bào)，2014，40（8）:1773?1782）

14 Rother C，Minka T，Blake A，Kolmogorov V.Cosegmentation of image pairs by histogram matching-incorporating a global constraint into MRFs.In:Proceedings of the 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition（CVPR）.New York，USA:IEEE，2006.993?1000

15 Yu H K，Xian M，Qi X J.Unsupervised co-segmentation based on a new global GMM constraint in MRF.In: Proceedings of the 2014 IEEE International Conference on Image Processing（ICIP）.Paris，F(xiàn)rance:IEEE，2014. 4412?4416

16 Joulin A，Bach F，Ponce J.Multi-class cosegmentation.In: Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Providence，RI，USA:IEEE，2012.542?549

17 Kim G，Xing E P，Li F F，Kanade T.Distributed cosegmentation via submodular optimization on anisotropic diffusion. In:Proceedings of the 2011 IEEE International Conference on Computer Vision（ICCV）.Barcelona，Spain:IEEE，2011. 169?176

18 Meng F M，Li H L，Liu G H，Ngan K N.Object cosegmentation based on shortest path algorithm and saliency model.IEEE Transactions on Multimedia，2012，14（5）: 1429?1441

19 Shao H Y，Zhang Y T，Xian M，Cheng H D，Xu F，Ding J R. A saliency model for automated tumor detection in breast ultrasound images.In:Proceedings of the 2015 IEEE International Conference on Image Processing（ICIP）.Quebec，Canada:IEEE，2015.1424?1428

20 Morrone M C，Ross J，Burr D C，Owens R.Mach bands are phase dependent.Nature，1986，324（6094）:250?253

21 Mallat S.Zero-crossings of a wavelet transform.IEEE Transactions on Information Theory，1991，37（4）:1019?1033

22 Xian M，Huang J H，Zhang Y T，Tang X L.Multiple-domain knowledge based MRF model for tumor segmentation in breast ultrasound images.In:Proceedings of the 19th IEEE International Conference on Image Processing（ICIP）.Orlando，F(xiàn)L，USA:IEEE，2012.2021?2024

23 Kovesi P.Image features from phase congruency.Videre: Journal of Computer Vision Research，1999，1（3）:1?26

24 Vicente S，Kolmogorov V，Rother C.Cosegmentation revisited:models and optimization.Computer Vision（ECCV 2010）.Berlin Heidelberg:Springer，2010.465?479

25 Boykov Y Y，Jolly M P.Interactive graph cuts for optimal boundary®ion segmentation of objects in N-D images.In:Proceedings of the 8th IEEE International Conference on Computer Vision（ICCV）.Vancouver，BC，Canada: IEEE，2001.105?112

26 Boykov Y，Kolmogorov V.An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision.IEEE Transactions on Pattern Analysis and Machine Intelligence，2004，26（9）:1124?1137

27 Kolmogorov V，Zabin R.What energy functions can be minimized via graph cuts?IEEE Transactions on Pattern Analysis and Machine Intelligence，2004，26（2）:147?159

28 Shan J，Cheng H D，Wang Y X.Completely automated segmentation approach for breast ultrasound images using multiple-domain features.Ultrasound in Medicine&Biology，2012，38（2）:262?275

29 Huang Q H，Yang F B，Liu L Z，Li X L.Automatic segmentation of breast lesions for interaction in ultrasonic computer-aided diagnosis.Information Sciences，2015，314: 293?310

30 Chen Yu-Xi，Liu Qi，Huang Yun-Zhi，Zhang Jing，He Ling，Deng Li-Hua.Level set segmentation based on phase information of the breast ultrasound image.Chinese Journal of Medical Imaging Technology，2015，31（3）:463?466（陳雨羲，劉奇，黃韞梔，張勁，何凌，鄧麗華.基于相位信息的乳腺超聲圖像水平集分割.中國(guó)醫(yī)學(xué)影像技術(shù)，2015，31（3）:463?466）

31 Xian M，Cheng H D，Zhang Y T.A fully automatic breast ultrasound image segmentation approach based on neutroconnectedness.In:Proceedings of the 22nd International Conference on Pattern Recognition（ICPR）.Stockholm，Sweden:IEEE，2014.2495?2500

邵昊陽(yáng)哈爾濱工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院碩士研究生.主要研究方向?yàn)獒t(yī)學(xué)圖像處理和模式識(shí)別.E-mail:541998476@qq.com

（SHAO Hao-YangMaster student at the School of Computer Science and Technology，Harbin Institute of Technology.His research interest covers medical imaging and pattern recognition.）

張英濤哈爾濱工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院副教授.主要研究方向?yàn)槟Ｊ阶R(shí)別與醫(yī)學(xué)圖像處理.本文通信作者.E-mail:yingtao@hit.edu.cn

（ZHANG Ying-TaoAssociate professor at the School of Computer Science and technology，Harbin Institute of Technology.Her research interest covers pattern recognition and medical imaging.Corresponding author of this paper.）

鮮 敏哈爾濱工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院和美國(guó)猶他州立大學(xué)計(jì)算機(jī)科學(xué)系博士研究生.主要研究方向?yàn)閳D像處理，模式識(shí)別，人工智能.E-mail:min.xian@aggiemail.usu.ed

（XIAN MinPh.D.candidate at the School of Computer Science and Technology，Harbin Institute of Technology and the Department of Computer Science，Utah State University.His research interest covers medical imaging，pattern recognition，and artificial intelligence.）

李致勛南昌大學(xué)信息工程學(xué)院講師，哈爾濱工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院博士研究生.主要研究方向?yàn)獒t(yī)學(xué)圖像處理與模式識(shí)別.E-mail:zhixun.li@163.com

（LI Zhi-XunLecturer at the School of Information Engineering，Nanchang University and Ph.D.candidate at the School of Computer Science and Technology，Harbin Institute of Technology.His research interest covers medical image processing and pattern recognition.）

唐降龍哈爾濱工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院教授.主要研究方向?yàn)槿斯ぶ悄芘c信息處理.E-mail:tangxl@hit.edu.cn

（TANGXiang-LongProfessor at the School of Computer Science and Technology，Harbin Institute of Technology.His research interest covers artificial intelligence and information processing.）

Breast Ultrasound Image Co-segmentation by Means of Multiple-domain Knowledge

SHAO Hao-Yang1ZHANG Ying-Tao1XIAN Min1，2LI Zhi-Xun1TANG Xiang-Long1

Because of low signal-noise ratio，low contrast and blurry boundaries，breast ultrasound（BUS）image segmentation is quite challenging.In this paper，a multiple-domain knowledge based co-segmentation model is proposed for BUS segmentation.It combines spatial and frequency domain prior knowledge and introduces the idea of co-segmentation to segment BUS sequence.First，tumor poses，position and intensity distribution are modeled to constrain the segmentation in the spatial domain，and then the phase feature and zero-crossing feature in the frequency domain.Finally，the BUS sequence segmentation is formulated as a co-segmentation problem.Experimental results show that the proposed method can handle low contrast and hypoechoic BUS images well and segment BUS accurately.

Breast ultrasound（BUS）images，co-segmentation，multiple-domain knowledge，computer-aided diagnosis（CAD）

Manuscript April 20，2015；accepted November 17，2015

10.16383/j.aas.2016.c150199

Shao Hao-Yang，Zhang Ying-Tao，Xian Min，Li Zhi-Xun，Tang Xiang-Long.Breast ultrasound image cosegmentation by means of multiple-domain knowledge.Acta Automatica Sinica，2016，42（4）:580?592

2015-04-20錄用日期2015-11-17

國(guó)家自然科學(xué)基金（61370162）資助

Supported by National Natural Science Foundation of China（61370162）

本文責(zé)任編委賈云得

Recommended by Associate Editor JIA Yun-De

1.哈爾濱工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 哈爾濱 150001中國(guó)2.猶他州立大學(xué)計(jì)算機(jī)科學(xué)系洛根UT 84322美國(guó)

1.School of Computer Science and Technology，Harbin Institute of Technology，Harbin 150001，China2.Department of Computer Science，Utah State University，Logan UT 84322，USA